成果報告書詳細
管理番号20140000000788
タイトル平成24年度-平成25年度成果報告書 IT融合による新社会システムの開発・実証プロジェクト (データ処理基盤分野)リアルタイム大規模データ解析処理基盤の研究開発
公開日2015/3/25
報告書年度2012 - 2013
委託先名日本電気株式会社 株式会社Preferred Infrastructure 独立行政法人産業技術総合研究所
プロジェクト番号P12009
部署名電子・材料・ナノテクノロジー部
和文要約件名:平成24年度-25年度成果報告書 IT融合による新社会システムの開発・実証プロジェクト (データ処理基盤分野)リアルタイム大規模データ解析処理基盤の研究開発

(1-1)大規模時系列データのリアルタイム解析:リアルタイム解析エンジンとしての分散オンライン機械学習基盤の高速化研究開発を実施。まず性能解析基盤を整備し、新しいアルゴリズムの導入や実装静的なによるアルゴリズムの改善、マルチコア対応、効率的な特徴抽出処理などの実装と検証を行った。その結果、最も高速化が鍵となる外れ値検出や近傍探索タスクで目標の1000QPS/台のスループットの実現を実証した。
(1-2)多種多様な情報を用いたデータ処理技術:リアルタイム解析エンジンにおいて、実世界からの、多種多様な時系列データの利活用を可能にするデータ処理技術の研究開発を行った。任意のデータに対するデータ変換するカスタムタイプ変換方式しと、それを利用したメディアデータに対する高速な特徴量抽出モジュール群を開発と、多数の動画像ストリームに対する異常値検知システムを構築して実機による評価を行った。学習フェーズの性能改善手法を複数検討・実装した結果、各CPUコアにおいて20FPSの動画像データを解析するという目標を十分に上回る性能を得た。また、リアルタイム解析エンジンの特徴量抽出機能の増強と相互運用性の向上を図るため、多言語で記述された特徴抽出器を利用するためのソフトウェア機構等を開発し、実機での評価でフィージビリティを確認した。
(2-1)大規模リアルタイム解析を支える高速分散データストア:複数のアクセス要求を結合し一括で処理することで高速なスループットを実現するセミリアル・アクセス要求処理技術の研究開発を行った。分散データストアにStaged設計とReadの性能を大きく改善するdata-to-op手法を提案。更に一貫性を保ちながらスナップショットを提供する分散一貫性制御アルゴリズムを実装し、目標とする50万opsを達成した。
(2-2)次世代メモリストレージノード技術:(a)リアルタイムデータストアに最適なデータアクセス制御技術の研究を実施。サイズが小さく、大量のセンサデータを対象とするPCIe-SSDデバイスの性能特性に合ったアクセス制御技術を開発。蓄積するデータ構造とアクセスサイズ、内部のデータ管理構造を最適化することで、目標を超える60万opsを達成。(b) ストレージノードが受信する入力データを事前に加工・抽出する技術を開発。ネットワークカード上のFPGAアクセラレーターで蓄積データ利用の縮約処理と出力データの意味情報に応じたフィルタ処理を実行することで、ストレージノードに渡すデータ量を、目標を超える約94%の削減を実証。
(2-3)次世代メモリストレージデバイス:リアルタイムデータストアに最適な、NAND型フラッシュメモリのストレージデバイスを開発。ストレージ性能のボトルネックは、NAND型フラッシュメモリのガーベージコレクションであり、その頻度を減らす、あるいは時間の短縮を検討。データベースストレージエンジンとストレージデバイスが協調し、NAND型フラッシュメモリに最適な制御を行うシステムを開発しデータベースの書き換え性能3.8倍高速化と、46%の電力削減の同時達成を実証した。また汎用的に使えるシステムとして、ファイルシステムとストレージデバイスが協調するミドルウェアを開発し、汎用アプリケーションを用いた場合でも、書き換え性能を4倍、消費電力を60%削減、書き換え回数の55%減を実証。
英文要約Title: IT Integration-based New Social System Development and Demonstration Projects / Data processing infrastructure field / Development of Scalable Real-time Processing Platforms for Large-scale Data Analysis (FY2012-2013) Final Report

(1-1) Real-time Analytics of Massive Time-series Data: We developed speed-ups of distributed online machine learning algorithms for real-time analytics. First we provide a framework for evaluating the scalabilities. Then we implemented and evaluated new algorithms, optimization, multi-core support, and efficient feature extraction. As a result, we achieved planned throughput of 1,000 queries per second per server for anomaly detection and nearest neighbor search.
(1-2) Data-processing Technologies for Various Real-world Data: We developed data-processing technologies for various time-series data, which can be obtained from Real-world. The data-processing technologies realize efficient conversion from any types of input data, e.g., multimedia data, into feature vectors, and provide the reusability and interoperability between our real-time analytics engine. We achieved processing 20FPS camera-captured video streams per each CPU core and detecting anomalies from them in real-time.
(2-1) Distributed data store for real-time analysis: We proposed two methods; one is Staged storage design and the other is data-to-op method to enhance READ performance. And we also proposed distributed time-framing consistency control and micro-snapshot. We developed the distributed data store for real-time analysis engine.
(2-2) Next-generation memory storage node: (a) we developed data access control. It focuses on both PCIe-SSD and sensor stream data, where the size of data is small and the number of data is extremely large. We have optimized data structure stored at PCIe-SSD and access block size, and to reduce PCIe-SSD access. Then totally achived 600kops.(b)We proposes a novel stream event processing mechanism, which enables to integrate stored historical data processing with live event processing. Our mechanism allows stored data processing to read a consistent snapshot of historical data continuously updated by live data processing. The mechanism on FPGA-based card successfully reduced the size of sensor data by 94%.
(2-3) Next-generation memory storage device technology: NAND flash memory based storage for real-data store applications is developed. Conventionally, storage system’s write throughput is limited by garbage collection (GC) overhead. A storage engine and flash translation layer (FTL) are optimized for the NAND flash memory. By these treatments, the frequency of GC is decreased. As a result, performance increases by 3.8 times and power consumption decreases by 46%. For more general applications, an intermediate layer is inserted between the file system and the FTL for NAND flash memory optimization. As a result, 4-times performance improvement, 60% energy consumption reduction and 55% endurance enhancement are achieved.
ダウンロード成果報告書データベース(ユーザ登録必須)から、ダウンロードしてください。

▲トップに戻る