Cloudera 파운더가 새로운 '빅데이터' 스타트업을 꾸렸네요.

Cloudera founder Christophe Bisciglia unveiled his new startup Odiago this morning, giving to the business side scoop to TechCrunch and the technical details to Curt Monash. The company is launching a product called Wibidata (“we be data”) specializing in data management and what it Monash calls “investigative analytics.”

Wibidata is built on Apache Hadoop and HBase, which Cloudera specializes in supporting and developing. Monash defines investigative analytics as “seeking (previously unknown) patterns in data,” as opposed to monitoring-oriented analytics that aren’t investigative and don’t necessarily yield new patterns.

구글을 거쳐 클라우데라를 창업했던 크리스토프 비시켈라가 구글의 에릭 슈미트, 클라우데라의 마이크 올슨, 그리고 기타 등등 VCs를 끼고 위비데이터라는 새로운 스타트업을 꾸렸네요.

Cloudera vs. Hortonworks 2파전에서 3파전으로 들어가려나 봅니다.

Apache Hama 충남대 세미나 자료

Introduction of Apache Hama - 2011

View more presentations from Edward J. Yoon

* 본 세미나에서는 현재 아파치 재단 인큐베이터의 공개소프트웨어로 진행되는 Hadoop 생태계에 대표적인 과학연산 분산 컴퓨팅 솔루션인 아파치 하마 프로젝트를 소개하고 그 응용범위와 현재 KT 내부 트래픽분석에 활용된 내용을 간단히 소개한다. 더불어, 차세대 Hadoop 버전과의 통합 및 향후 분산 처리 분야의 방향을 공유한다.

Hadoop 재팬: Large-Scale Graph Processing on Hadoop

Large-Scale Graph Processing〜Introduction〜(LT版)

View more presentations from Takahiro Inoue

Hadoop nextGen, 맵리듀스v2

최근 맵리듀스v2가 trunk에 머지되면서 하둡이 아주 빠르게 진화하고 있습니다.

This wiki tracks the applications written (or being written) on top of YARN i.e. Next Generation Hadoop processing framework aka NextGenMapReduce.

• Apache Hadoop MapReduce, of course! - https://issues.apache.org/jira/browse/MAPREDUCE-279
• Spark - https://github.com/mesos/spark-yarn/
• Apache HAMA - https://issues.apache.org/jira/browse/HAMA-431
• Apache Giraph - https://issues.apache.org/jira/browse/GIRAPH-13
• Open MPI - https://issues.apache.org/jira/browse/MAPREDUCE-2911
• Generic Co-Processors for Apache HBase - https://issues.apache.org/jira/browse/HBASE-4047 

• Other ideas: Apache HBase deployment using YARN - https://issues.apache.org/jira/browse/HBASE-4329

Spark, MPI와 BSP 컴퓨팅엔진 (Apache Hama) 은 물론, Y!가 하고있는 map-only 컴퓨팅 기반의 Giraph까지 다 올라가네요. Y!처럼 대형 Hadoop 클러스터를 사용하는 회사에서는 반가운 소식이 될 것입니다.

예전부터 듣기로 Google은 컴퓨팅 관련하여 많은 infra- 가 있다라고 하였는데 바로 이런 모양이 아니었을까 생각되네요.

Monitoring and Mining Network Traffic in Clouds

Check out this SlideShare Presentation:

Monitoring and mining network traffic in clouds

View more presentations from Edward J. Yoon.

실시간 웹 어플리케이션과 연동된 HBase의 실사례

팀원들에게 HBase 실사례와 Hadoop 페어 스케쥴러 관련 내용을 프리젠테이션하면서 작성했던 간략한 ppt 문서를 첨부하여 공유합니다.

실시간 URL shortener 서비스 (udanax.org, tweetple.com, ...) 는 HBase 기반에서 제공되고 있으며, 로그데이터는 현재까지 20억 rows 정도가 쌓여있습니다. 그 시스템에 대한 내용과 응용범위를 설명하고 (연관성은 없습니다만) 추가적으로 Job Scheduler 중 최소공유값을 전체 값으로 나눠 비율을 계산하는 방식의 fair scheduler 에 대한 요약이 담겨있습니다.

Usage case of HBase for real-time application

View more presentations from Edward J. Yoon.

클라우드 인프라스트럭처 자원관리 - Mesos 프로젝트

UC 버클리에서 Nexus 라는 이름으로 개발진행되던 프로젝트가 Mesos라는 이름으로 Apache 재단에 공개SW 로 제안되었습니다.

Mesos is system for sharing resources between cluster applications such as Hadoop MapReduce, HBase, MPI, and web applications. It is motivated by three use cases. First, organizations that use several of these applications can use Mesos to share nodes between them, increasing utilization and simplifying management. Second, inspired by MapReduce, a wide array of new cluster programming frameworks are being proposed, such as Apache Hama, Microsoft Dryad, and Google's Pregel and Caffeine. Mesos provides a common interface for such frameworks to share resources, allowing organizations to use multiple frameworks in the same cluster. Third, Mesos allows users of a framework such as Hadoop to have multiple instances of the framework on the same cluster, facilitating workload isolation and incremental deployment of upgrades.

[Read More]

>

프로젝트의 제안내용은 위와 같이, 최근 MapReduce 외에 많은 클라우드 인프라스트럭처, 컴퓨팅 엔진 (e.g., Apache HBase, MPI, Apache Hama, Microsoft Dryad, and Google's Pregel and Caffeine) 들이 출현함으로써, 이것들을 모두 묶어 통합적으로 자원을 관리하겠다는것입니다.

현재는 MapReduce와 MPI, Spark 를 구현했고 Twitter와 Facebook 에서 테스트완료했다는군요.

Cloud Computing

View more presentations from butest.

Apache Hama 또한 릴리즈 되는 동시에 다양한 업체에서 쓰이게 될것으로 기대되네요. :-)