THP108 加速器技術/加速器制御 8月6日 小ホール 13:00 - 15:00 |
HBase/Hadoopを利用したJ-PARC運転データアーカイバの改良 |
Improvement of the J-PARC operation data archiver using HBase/Hadoop |
○池田 浩,菊澤 信宏(日本原子力研究開発機構),吉位 明伸(新日鉄住金ソリューションズ株式会社),加藤 裕子(日本原子力研究開発機構) |
○Hiroshi Ikeda, Nobuhiro Kikuzawa (Japan Atomic Energy Agency), Akinobu Yoshii (NS Solutions Corporation), Yuko Kato (Japan Atomic Energy Agency) |
J-PARCのLINAC, RCSから得られる制御に必要な大量なデータは、現在PostgreSQLに格納しているが、これをHBaseに格納する計画を進めている。HBaseはいわゆるNoSQLと呼ばれるデータストアで、大量のデータをスケーラブルに扱うことが可能である。HBaseはHadoopの分散ファイルシステム上で構築され、複数のマシンで構成するクラスタを使用し、障害時の自動復旧や容量増設の容易性が利点として挙げられる。前回の発表では、Hadoopのバージョンアップによって単一障害点であったマスタノードを冗長化し、この新しいバージョンに対する我々のツールの対応と課題について述べたが、同時に、クラスタの構成そのものに対しても幾つかの問題点も述べた。今回の発表では、この問題への対応を含みクラスタの再構築で行ったことについて述べる。具体的には、マスタノード用ハードウェアの強化やノード構築の自動化スクリプトの作成、ノードのモニタリングの導入が挙げられる。また、新規ハードウェアや構成の変更から必要に応じてHadoop/HBaseの設定を調整し、システムのパフォーマンスの測定を行い、その結果と検討を報告する。 |