Blog ブログ

CCSプログラマの吉村と申します。

皆様はログの集計などを行われた事はありますでしょうか？

中でもログデータが100万件などを超えた場合は集計に時間が掛かってしまいます。

そこで今回紹介するのが、MySQLのVer5.1から使用出来るようになった
パーティションになります。

振り分けて管理することができるというものです。

データ取得時にもパーティション毎にデータを取得できるので、

パーティションにはいくつか種類がありますので一部簡単に紹介します。
今回使用するのはRANGEになります。

・RANGE 　・・・　範囲を指定して振り分ける
　　　利用例としては、履歴を蓄積するテーブルを日や月単位で分割する等
　　　

・LIST　・・・　格納する値で振り分ける
　　　利用例としては、地域IDに基づく分割等

・HASH　・・・　1つのカラムの値を式の結果で振り分ける
　　　利用例としては、独立した複数のディスクそれぞれに表領域を作成し、
　　　ディスク間で均等になるようにデータを配置したい場合等

１．テーブルを作成しましょう。

今回は呼び出されたAPIを、日付毎に保存するようなDBを作成します。
注意が必要な点としてパーティションのキーになるカラムは、
プライマリーキーに含める必要があります。

CREATE TABLE IF NOT EXISTS `kpi_log`.`partition_test` (
  `id` BIGINT NOT NULL AUTO_INCREMENT COMMENT ‘ID’,
  `date` DATETIME NOT NULL COMMENT ‘日’,
  `api` BIGINT NOT NULL COMMENT ‘api’,
  `user_id` BIGINT NOT NULL COMMENT ‘ユーザーID’,
  PRIMARY KEY (`id`, `date`))
COMMENT = ‘パーティションテスト’;

テスト用のテーブルを用意しました。

２．作成したテーブルにパーティションを作成しましょう。
以下は、１日おきにパーティションを作成するSQLになります。

ALTER TABLE partition_test PARTITION BY RANGE columns(date) (
PARTITION p20150605 VALUES LESS THAN (‘2015-06-05 00:00:00’),
PARTITION p20150606 VALUES LESS THAN (‘2015-06-06 00:00:00’),
PARTITION p20150607 VALUES LESS THAN (‘2015-06-07 00:00:00’),
PARTITION pmax VALUES LESS THAN MAXVALUE
);

これでパーティションの作成が行えました。

３．実際に作成出来ているか確認して見ましょう。
以下のSQLでパーティションを確認する事が出来ます。

select　TABLE_SCHEMA,TABLE_NAME,PARTITION_NAME,
PARTITION_ORDINAL_POSITION,
TABLE_ROWS
from INFORMATION_SCHEMA.PARTITIONS
WHERE TABLE_NAME=’partition_test’;

２．で指定した通り、１日おきにパーティションが作成されている事が確認出来ました。

４．実際に値が入るかデータを入れて確認してみましょう。
 下記のようなテストデータを用意します。

再度、パーティションの中身を確認してみましょう。

実際に日付毎にデータが分けて入っているのが確認出来ましたね。

５．最後にデータを取得してみましょう。

上記のSQLでは、指定したパーティションからデータの取得を行います。

1件しかデータを取得していない事から、
指定したパーティションから、データを取得出来ている事が確認出来た事が分かります。

これで作成からデータの取得までの一連の流れをおこないましたが、

これにより、本来全データから集計を行う所を、日毎にデータの取得を行う事が出来るようになるのです。
いかがでしょうか？

皆さんもパーティションをうまく使用して、快適なログ収集を行えるようになりましょう。

採用情報