Hadoop nextGen, 맵리듀스v2

최근 맵리듀스v2가 trunk에 머지되면서 하둡이 아주 빠르게 진화하고 있습니다.

This wiki tracks the applications written (or being written) on top of YARN i.e. Next Generation Hadoop processing framework aka NextGenMapReduce.

• Apache Hadoop MapReduce, of course! - https://issues.apache.org/jira/browse/MAPREDUCE-279
• Spark - https://github.com/mesos/spark-yarn/
• Apache HAMA - https://issues.apache.org/jira/browse/HAMA-431
• Apache Giraph - https://issues.apache.org/jira/browse/GIRAPH-13
• Open MPI - https://issues.apache.org/jira/browse/MAPREDUCE-2911
• Generic Co-Processors for Apache HBase - https://issues.apache.org/jira/browse/HBASE-4047 

• Other ideas: Apache HBase deployment using YARN - https://issues.apache.org/jira/browse/HBASE-4329

Spark, MPI와 BSP 컴퓨팅엔진 (Apache Hama) 은 물론, Y!가 하고있는 map-only 컴퓨팅 기반의 Giraph까지 다 올라가네요. Y!처럼 대형 Hadoop 클러스터를 사용하는 회사에서는 반가운 소식이 될 것입니다.

예전부터 듣기로 Google은 컴퓨팅 관련하여 많은 infra- 가 있다라고 하였는데 바로 이런 모양이 아니었을까 생각되네요.