한국 하둡 빅데이터 커뮤니티 2회

한국 하둡 빅데이터 커뮤니티 2회 행사를 기획중입니다.

현재까지 취합된 아래의 Agenda [1]를 확인하여주시고, 추가로 발표 내용이 있으시다 하시면 edward.yoon@oracle.com 으로 "[발표자 신청] 성함" 이메일을 보내어 주시기 바랍니다.

감사합니다.

https://docs.google.com/document/d/1Z4QNejpYajPKwkGQzbPL86iZJ589N18mKWW0549AJME/edit

[Amazon Web Services] Business Seminar 101 초대

안녕하세요. 이번에 서울에서 Amazon Web Services중 EMR Technical Workshop을 개최하게 되어,Hadoop User Group 회원님들 께도 안내해 드리고자 Edward J. Yoon님의 도움을 받아 Posting 합니다.이번 기회에AWS의EMR의개념/사례 및 적용방법 등에 대해 익히실수 있는 기회가 되셨으면 좋겠습니다. 감사합니다.

 AWS EMR Workshop 등록 바로가기

 Technical Workshop: AWS Elastic MapReduce (EMR)

안녕하세요.  이번에 AWS를 사용해 주시는 고객 분들을 대상으로 EMR Workshop을 진행하려고 합니다. 짧은 시간에 기본적인 지식을 함축적으로 쌓으실 수 있는 기회라고 생각됩니다. 꼭 참여 하셔서 비즈니스에 도움이 되시면 좋을 듯합니다. 고객님이 아니시더라도, 관심을 가지실 다른 분들에게 소개 시켜 주셔도 감사하겠습니다. 실습 자리가 한정(30석)되어있는 관계로 가급적이면 빨리 등록 해 주시면 감사하겠습니다.

Seoul - 19 September

빅데이터는 이제 더이상 IT 업계의 실체없는 유행어가 아닙니다. 수천개의 기업들이 이미 빅데이터를 활용하여 자사의 제품을 차별화 시키고 미디어/광고, 전자상거래, 게임, 헬스케어, 금융 등 다양한 산업에서의 압축적인 성장을 견인하고 있습니다. 이번 워크숍은 AWS 클라우드를 활용하여 비용효율적으로 탄력적인 컴퓨팅 자원, 스토리지 그리고 분석 Tool 등을 익힐 수 있는 기회가 될 수 있을 것이라 생각됩니다.
Elastic MapReduce(이하 EMR) 워크숍은 EMR환경의 애플리케이션을 개발을 위한 필수적인 개발 스킬을 익히실 수 있습니다. Hadoop의 MapReduce 의 기본이 되는 개념 및 활용방법에 대해서 EMR, S3 등 AWS의 Service와 함께 설명을 해드릴 수 있을 것입니다. 만약 고객님께서 EMR을 처음 사용하신다면, 현재 사용하고 계시는 데이터를 활용하여 EMR로 빠르게 이전하고 EMR이 데이터 분석을 위해 제공하는 새로운 기능들에 대해 활용하실 수 있는 방법 역시 제공해 드립니다.
In the workshop we will cover:

• EMR 서비스 개요
• EMR을 활용한 아키텍처, 디자인 패턴, 모니터링, 디버깅 시 고려사항
• EMR 비용 최적화
• EMR을 활용한Hive 및 Pig 소개
• EMR job에 대한 실행, 디버깅, 모니터링 실습 및 Pig/Hive 예제

Why Attend?

프로그래머/시스템 엔지니어/솔루션 아키텍트 및Big Data를 처음 접하는 초보자에게 이 워크샵은 단시간 내 지식을 쌓으실 수 있는 기회가 되실 것입니다. 고객님께서 직면하고 계시는 데이터 분석 시 문제를 해결하실 수 있는 방법을 가이드 해드릴 수 있습니다.

Who Should Attend?

시스템 관리자, 솔루션 아키텍트, 개발자, 데이터 분석 연구원, Hadoop 프로그래머 등Big Data기술에 대한 기본적인 지식을 갖추신 분 및 EMR 실습 세션을 통해 Big Data 문제 해결을 원하시는 분.

• Amazon DynamoDB
• Amazon Elastic MapReduce

Workshop Pre-Requisites:

MapReduce 프레임워크에 대한 기본적인 이해와 Hadoop에 대한 경험이 있으신 분
AWS의 기본적인 서비스들 (EC2, S3) 과 Security Group과 같은 개념을 습득하고 계신 분
S3, EMR, EC2 등 AWS 서비스를 이용할 수 있는 AWS Account를 보유하고 계신분 (만약 없으신 경우, workshop 이전에 가입하셔서 Free-Tier로 사용해 보실 수 있습니다.)
만약, 위와 같은 조건에 부합하시 않으시다면 9/18 화요일에 개최하는 2개의 세미나를 선택하셔서 수강하시는 것을 권해 드립니다.

• AWS 101 Cloud Computing Seminar
• AWS 201 Technical Workshop

Schedule and Location

Time 9:00am to 6:00pm Venue 서울시 강남구 삼성동 159-1 한국종합무역센터 33층 리저스 (Regus)

서울 Big Data 첫 모임 후기

IR group에서 자주뵈던 분들과 marshall university, 서울대, KT, 와이즈넛 등 다양한 orgs 에서 참석해주셨고 덕분에 좋은 시간을 보낸 것 같습니다. 그 중 한 교수님분은 미국에서 con-call이라도 들어오시겠다니 매우 기뻤습니다 :-)

오픈소스 개발참여에 관심이 있다는것을 알았고, MapReduce Alternatives 에도 조금씩 관심이 높아지는것을 느꼈습니다. 오신분들 모두 저녁식사라도 대접할 작정이었는데 몸살감기 때문에 일찍 집에 들어간게 조금 아쉽습니다만.

다음 9월 또는 10월 모임엔 보다 좋은 시간이 되도록, 그리고 목표한 바를 이루기 위해 노력할 생각입니다~

꾸준한 관심부탁 드립니다.
감사합니다.

Seoul Big Data Meetup #1 발표 자료

Seoul Big Data Meetup #1 on Prezi

[서울] Big Data, Hadoop, and Open Source 개발자 모임

서울 Big Data 개발자 정기 오프모임을 개설하였습니다.

그 동안 뜬구름잡는 클라우드부터 빅데이터 오프모임까지, 이게 당췌 제품설명회인지 뭔지 잔뜩 끓어오른 기대와 달리 김빠지는 공개 세미나들로 꽤 피로도^Fatigue가 누적되었으리라 압니다.

이 오프모임은 장기적으로 Big Data 기술 트렌드와 분석 방법론에 대해 깊이있는 노하우를 공유하고, 한국 오픈소스 커미터 양성 프로그램 또한 함께 진행해볼 생각입니다.

이번 1차 오프모임에는 한국 오라클의 송규호님과 ASF재단에 윤진석님이 참석합니다.

인맥 교류는 셀프서비스, 우리네 개발자들 삶의 애환을 달래고 함께 나누는 커피타임으로 구성될 예정이오니, Big Data 분야의 개발자분들께 많은 참석 부탁 바랍니다.

Sessions

Hadoop 개요 - 송규호, Oracle (30분)

Coffe Time - (30분)
Big Data Analytics - Edward J. Yoon, Apache Software Foundation (30분)

신청 : http://onoffmix.com/event/8342

클라우데라, Hadoop 배포판 최신 버전 "CDH4"를 릴리즈

Hadoop 데이터 분석 방법의 선택폭 확대 (2012 년 06 월 06 일)
(Joab Jackson / IDG News Service 뉴욕 지국)

 * 원문보기

미국 Cloudera는 6 월 5 일 오픈 소스 대규모 분산 병렬 처리 프레임 워크 "Apache Hadoop"에 구축된 데이터 처리 플랫폼 (Hadoop 배포판)의 최신판 "CDH4 (Cloudera 's Distribution Including Apache Hadoop, version 4 ) " 공급한다고 발표했다.

Cloudera의 제품 담당 부사장  찰스 제도루스키 (Charles Zedlewski) 씨는 "CDH4는 Hadoop에서 주로 사용되던 MapReduce 이외의 데이터 처리 알고리즘이 사용할 수 있게 되었고 다양한 기능으로 한층 향상된 탄력성 덕분에, 이제 이용 기업은 보다 중요한 작업을 시스템에 실행할 수 있게 되었다"고 말했다.

 * MapReduce란? 데이터 분석 작업을 여러 노드에 분할해 처리하고 작업이 완료되면 그 결과를 하나로 취합하는 구조로 되어 있다.

CDH4는 "보조 프로세서"라는 새로운 기능도 도입하고 있다. 이 기능은 소프트웨어 프로그램이 데이터 자체에 임베드 될 수 있게 한다. 이 기능의 개념은 데이터베이스 트리거 및 저장 프로 시저와 비슷하여 프로그램이 특정 조건이 충족되면 (예를 들어 일련의 평균 개수가 미리 정의된 임계값에 도달했을 때) 실행된다. 이 프로그램은 여러 서버에 분산되어 데이터와 함께 존재한다.

보조 프로세서는 MapReduce 보다 높은 유연성을 제공한다. "보다 실시간적이고 지속적인 동적 데이터 처리가 가능하게 한다"고 제도루스키 씨는 말했다.

 * 역자 보조 설명: Coprocessors는 Google's BigTable에서 언급된 개념으로 각 태블릿 서버의 태블릿에서 실행되는 임의의 프로그램. HBase에서는 클라이언트에 의해 각 region에서 처리됨.

또한 CDH4에서는 사용자가 MapReduce 이외의 자체 데이터 분석 프레임 워크를 구현할 수있게 한다. "더 이상 모든 작업을 하나의 틀에 끼울 필요가 없어졌다"고 제도루스키씨가 말했다.

 * 역자 보조 설명: 이유는 MapReduce 모델로 커버하기 힘든 반복적인 알고리즘이 많기 때문.

CDH4에서 실행시킬 수 있는 프로그램의 예로써는, 과학 연산에 사용할 수있는 대량 동기식 병렬 컴퓨팅 프레임 워크 "Apache Hama"가 있다. Hama는 MapReduce가 사용하는 데이터를 같이 다룰 수 있고, MapReduce 작업을 사용하는 것과 동일한 CPU, 메모리를 빌릴 수 있다.

 * 역자 보조 설명: 지난 달 Hama는 Apache 최상위 프로젝트가 되었으며 Apache Hadoop 2.0, BigTop, 그리고 Whirr에 통합된다. 프로젝트 Vice President가 한국인.

이외에도, CDH4에는 많은 기능이 탑재되어 있다. 그들은 모두 Hadoop 플랫폼을 구성하는 오픈 소스 (파일 시스템 "HDFS"나 데이터베이스 시스템 "HBase"등)의 최신 버전으로 구성되어 있다.

한편, CDH4는 네임노드 SPoF 문제를 해결하기 위해 백업 이름 노드를 설정하는 기능이 포함되어 있다. 백업 네임노드는 기본 네임노드에 장애가 발생하면 자동으로 복구한다.

Cloudera 파운더가 새로운 '빅데이터' 스타트업을 꾸렸네요.

Cloudera founder Christophe Bisciglia unveiled his new startup Odiago this morning, giving to the business side scoop to TechCrunch and the technical details to Curt Monash. The company is launching a product called Wibidata (“we be data”) specializing in data management and what it Monash calls “investigative analytics.”

Wibidata is built on Apache Hadoop and HBase, which Cloudera specializes in supporting and developing. Monash defines investigative analytics as “seeking (previously unknown) patterns in data,” as opposed to monitoring-oriented analytics that aren’t investigative and don’t necessarily yield new patterns.

구글을 거쳐 클라우데라를 창업했던 크리스토프 비시켈라가 구글의 에릭 슈미트, 클라우데라의 마이크 올슨, 그리고 기타 등등 VCs를 끼고 위비데이터라는 새로운 스타트업을 꾸렸네요.

Cloudera vs. Hortonworks 2파전에서 3파전으로 들어가려나 봅니다.