« 今日の夕飯 (2011/01/16) | Main | Google、YouTubeなどのメインサイトを1日限定でIPv6対応に »

2011.01.18

バッチ処理の並列化で高速に

ITproに「リアルタイムに近づくバッチ処理、大容量・高速・安価が身近に」という記事が載りました。
Hadoopなどを使って並列処理をすることで高速化ができる、というものですが、ポイントなのはデータ整合性を意識しなくて済む部分に使っている点です。

こちらの記事にもありますが、変化の無い眠っているデータに対してHadoopなどを適用することでRDBMSでは性能が不足する分析処理を高速化させつつハードウェア価格を抑えることができるようになります。
DWHなどにもこの手の超並列化処理が組み込まれることになるでしょうが、データのライフサイクルを意識したフレームワークなども出てくるかもしれません。

|

« 今日の夕飯 (2011/01/16) | Main | Google、YouTubeなどのメインサイトを1日限定でIPv6対応に »

Comments

Post a comment



(Not displayed with comment.)


Comments are moderated, and will not appear on this weblog until the author has approved them.



TrackBack

TrackBack URL for this entry:
http://app.cocolog-nifty.com/t/trackback/27186/50618133

Listed below are links to weblogs that reference バッチ処理の並列化で高速に:

« 今日の夕飯 (2011/01/16) | Main | Google、YouTubeなどのメインサイトを1日限定でIPv6対応に »