製品-
- uji
- 480ポイント
- 投稿時間:2010/03/14 23:00
Hadoopと云えばHDFSやMapReduceが浮かびますが、その他の Pig というプロダクトについて、どういった場合に使えるものかわかりません。 Hadoop Pig http://oss.infoscience.co.jp/hadoop/pig/index.html 上記ページには「大規模なデータセットを分析するためのプラットフォーム」という記述がありますが、もう少し分かりやすい説明はありませんか？そもそもデータセットという単語に馴染みがない詳細な機能は抜きにして、平凡なITエンジニアでも、お～そういう用途で使われるんだ、という程度の理解ができればいいのですが・・。
- 回答数 (1)
- クリップ数 (0)
- アクセス数 (931)
- 回答
（自己レスします） Hadoop HDFS上に保管されたテキスト形式のデータに対して、目的の集計処理(例えばある単語のカウント)をするために、Map／Reduceと呼ばれる仕組みでプログラムを作成します。 このプログラムは通常Java言語で記述する必要があります。 しかし、エンジニア全員がJavaで記述できるわけではありません。そこで、他の言語でもMap/Reduceプログラムを作成できるように、付加ソフトウェアが登場しました。 そのひとつがHadoop Pigです。 こういった目的のソフトウェアをいくつか挙げておきます。 Hadoop Streaming ・・・ PerlやPHP言語でMap/Reduceプログラムを作成 Hadoop Hive ・・・ SQL風言語でMap/Reduceプログラムを作成 Hadoop Pig ・・・ MapプログムラはPerl言語など、ReduceプログラムはPig Latinという独自言語で作成〔*1〕 〔*1〕Pig Latin言語で記述したスクリプトの中で、Perlスクリプトファイルを実行するイメージです。
5
回答
2
回答
4
回答
1
回答
(2009/11/04 11:09)
by xylish
3
回答
1
回答
2
回答
(2009/03/11 10:19)
by four_pointone
- 0クリップ
- 2727アクセス
- プログラミング / 開発言語 / JavaScript
4
回答
0
回答
ページトップへ
Q&Aトップへ戻る
総合 サーバマシン カテゴリへ![[重要]okyuu.comサービス終了のお知らせ](http://image.okyuu.k-img.com/images/special/closing/channel_right_box.gif?1269849980 "[重要]okyuu.comサービス終了のお知らせ")
