ソネット・メディア・ネットワークス株式会社様

導入事例 ソネット・メディア・ネットワークス株式会社様

大量のログデータを
解析するための基盤づくり
コロケーションとクラウドのハイブリッド構成で実現

ソネット・メディア・ネットワークス株式会社では、同社の提供しているディスプレイ広告配信最適化プラットフォーム「Logicad(ロジカド)」から生成されるログを解析するためのプラットフォームを、ビットアイルのコロケーションとAWSのハイブリッド構成で構築。オンプレミス側にHadoopクラスタを構築し、AWSからロードされたログを高速、低コストに解析できる環境を実現した。

ソネット・メディア・ネットワークス株式会社様
(左から)安田 祟浩氏、平野 友信氏
増尾 智之氏、福士 紗織氏

導入のポイント

導入のポイント

導入イメージ

ビットアイルデータセンター内にHadoopクラスタ環境を構築。Amazon S3に保管された配信ログを、Hadoopクラスタにロードして解析を行う。ビットアイルデータセンターとAWSの接続には「ビットアイル コネクト」を採用し、高速で安定性の高いネットワーク構築を実現している。

導入イメージ

コロケーションとAWSの組み合わせでハイブリッド環境を構築。高速なログ解析基盤を実現

大量のログを解析する基盤をハイブリッド構成で構築

ソネット・メディア・ネットワークスが提供するディスプレイ広告配信最適化プラットフォーム「Logicad(ロジカド)」は2012年、Amazon Web Services(以下、AWS)上で構築され、サービスの提供を開始した。2013年にはビットアイルデータセンターとAWSを「ビットアイル コネクト」で接続したハイブリッド構成へシステム基盤を移行。そして2014年、「Logicad」から生成されるログを解析するための基盤を、Hadoopクラスタを活用して、新たに構築した。

「Logicad」から生成されるログは1日に約400GB(2014年8月当時)。同社ではこのログを解析して、広告配信の最適化や広告配信に利用する機械学習など、さまざまな用途に活用している。安田氏は、「ログのデータ量は1年に約2倍というスピードで増加しています。従来、ログ解析にはAmazon EMRやAmazon Redshift、あるいは、オンプレミスに立てたカラムナーDBにロードして使用していましたが、データ量の増加により課題が現れていました」と当時を振り返る。AWS上でテラバイトを超えるデータを転送、解析するには時間がかかり、それに伴いコストの問題も発生する。解析サイクルとスピード低下が課題となっていた。

そこで、ログ解析のサイクルを高速化させるために、同社ではさまざまな解析製品やサービスを検討。最終的には、オンプレミス環境にHadoopクラスタを構築し、AWSと接続するハイブリッド構成にすることが、性能やコスト面で大きなメリットがあるという結論に達した。「HadoopクラスタにはマルチCPU、大容量メモリ、大容量のディスクが必要です。クラウドはディスク容量単価こそ安いものの、CPU単価やメモリ単価が高いため、オンプレミスでHadoopクラスタを構築することとしました」と安田氏は話す。

性能が向上しコストパフォーマンスにも優れた解析基盤を実現

その後の検討で、コロケーション先として選ばれたのがビットアイルだ。増尾氏はビットアイル採用の理由を、「東京都心という利便性の高さに加え、サービス基盤のコロケーション先としてもすでにビットアイルを利用していたので、対応やサポートの良さは熟知していました」と話す。

2014年5月には、Hadoopクラスタの構築、データまわりの開発がスタート。設計から構築にあたってのビットアイルの柔軟な対応を、増尾氏は高く評価している。

「高密度のサーバでは1台あたりの消費電力も高くなります。そこで、高負荷電源対応ラックを用 意してもらいました 。また 、Hadoopクラスタで利用しているL2スイッチは、ビットアイルのサポートラインナップにない機器でしたが、快く運用を引き受けてもらえました」(増尾氏)

今回のHadoopクラスタの構築では、10Gbイーサネットスイッチを導入し、効率的に通信を行うためにジャンボフレームを採用している。「ビットアイル コネクト」でAWSに接続した当初は、HadoopクラスタとAWS間にジャンボフレームに対応させていないスイッチが存在し、AWS側でジャンボフレームを採用しているインスタンスとうまく接続できないという問題もあったが、設定の工夫などで解決している。「コツは必要ですが、それほど難しい問題ではありませんでした。データ量の多い時にもスムーズに処理できています」と増尾氏は述べる。

2014年8月、新たな解析基盤は正式に稼働を開始した。以来、解析基盤は安定して稼働を続けている。コロケーションとAWSのハイブリッド環境構築による効果を平野氏は次のように語る。

「今回オンプレミスに構築したHadoopクラスタは、AWS上で解析を行う方法と比較して約50%のコスト減で、処理によっては最大3~6倍程度の処理速度を実現しています。特に性能面の向上により、これまではできなかったログの全カラム・全レコード分析や、長時間を要していたクエリーの連続実行が可能となり、クエリー実行者や依頼者にAWSの利用料金を意識させずに、潜在的に投入されるクエリーを引き出せたことは重要な効果です」(平野氏)

ビットアイルの手厚いサポートも高く評価

稼働から1年ほど経過した現在でも、ビットアイルでは手厚い運用サポートを提供している。福士氏は、「ディスク故障の発生時などにも、電話1本で対応いただいて助かっています。特に、緊急性の高いものに関しては、当日の修理にも対応いただいています。データセンターでの作業では、修理についてはお任せして、自分の業務に集中することができています」と、サポート体制を高く評価している。

今後もソネット・メディア・ネットワークスでは、「Logicad」を軸にサービスを拡大していく。最後に安田氏に今後の展望を聞いた。

「広告配信を最適化するためには、膨大なデータを高速かつ効率的に処理することが求められます。サービスが大きくなればなるほど、その費用対効果や性能という要素は重要になってきます。そういう面で、今後もビットアイルにはさまざまな支援を期待しています」(安田氏)

ビットアイル データセンターについて

耐災害性に優れた立地と設備を完備した都市型データセンター。24時間365日の運用体制で、お客様のシステムを運用監視。コロケーションサービス、ビットアイルクラウドサービス、お客様拠点、他社クラウドを組み合わせた、ハイブリッドクラウド環境の設計、構築、運用をトータルにサポートしている。

ビットアイル データセンター

ビットアイルコネクトについて

ビットアイルのデータセンターとすべてのデータセンターやクラウドサービス、さらに他事業者のクラウドサービスとの接続環境を ご 提 供。AWSやSoftLayer、Azureなどの主要クラウドとのマルチクラウド接続を実現する。

ビットアイルコネクト

掲載している会社名、商品名は、それぞれ各社の商標または登録商標です。
掲載内容は、2015年11月現在のものです。
Amazon Web Services、“Powered by Amazon Web Services”ロゴ、[およびかかる資料で使用されるその他のAWS商標]は、米国その他の諸国における、Amazon.com, Inc.またはその関連会社の商標です。

導入サービス