인텔이 2월 26일, 독자적인 하둡 디스트리뷰션(배포판) "Intel Distribution for Apache Hadoop"의 제공 시작을 발표했다.

인텔은 최근 몇 년사이 자사의 프로세서가 폭넓은 컴퓨팅 용도로 도입 되도록 하기 위한 소프트웨어 투자를 확대하고 있다. 인텔은 수 년 동안 고객과 협력해 Hadoop 디스트리뷰션의 개발을 진행하고 있고, 이번 발표는 3번째 릴리즈가 된다.

인텔은 이번 발표를 기회로 사업으로서의 소프트웨어 대응을 강화한다. 인텔은 향후 다른 많은 오픈 소스 프로바이더와 같이 자사의 디스트리뷰션 지원 및 유지보수 서비스를 판매한다고 밝혔다.

Hadoop은 대규모 데이터 세트의 분산 프로세싱 체제로, 대규모 오픈 소스 프로젝트의 성과물을 포함하고 있다. 이러한 소프트웨어가 동작하여 대량의 데이터의 보존, 관리, 분석을 지원한다. 이것은 부가 가치의 창조를 목적으로, 웹 로그나 트랜잭션(transaction) 기록등 방대한 데이터를 검색하기 위한 소프트웨어 플랫폼으로서 이용된다.

Hadoop에는 Hadoop Distributed File System(HDFS), Hadoop Processing Framework, Hive, Hbase의 개선 버전이 포함되어 있다. 인텔은 이러한 프로그램을 제온 프로세서의 기능(AES 암호화를 고속화하는 프로세서 명령등)을 이용할 수 있도록 개선했다.

 

 

 

또, 인텔 제온 프로세서 플랫폼에서 네트워킹과 IO 기술을 위한 최적화는 한층 높은 수준의 분석 성능을 제공한다. 이전에는 1테라바이트(terabyte)의 데이터 분석에 4시간 이상의 처리 시간이 소요된 반면, 현재 인텔의 하드웨어와 인텔 Distribution의 조합으로 7분만에 가능하다. 인텔은 현재 매 11초마다 HD 비디오 13년의 양과 맞먹는 1페타바이트(PB)(1000 테라바이트(TB))의 데이터가 생산되고 있다고 추정하고 있고, 이를 고려할 때 인텔의 기술은 보다 큰 가능성을 제공할 수 있다고 설명한다.

"반도체 베이스의 암호화 지원 기능에 Hadoop Distributed File System이 대응된 것으로, 기업은 퍼포먼스에 영향없이 데이터를 보다 안전하게 분석할 수 있게 된다"고 공식 성명에서 밝히고 있다.

한편, Intel Distribution에 포함되는 툴의 일부는 인텔이 독자적으로 개발한 것으로 오픈 소스로서 공개되지는 않는다. 이러한 툴에는 전개 / 구성 툴인 Intel Manager for Apache Hadoop 이나 클러스터 퍼포먼스 튜닝 툴인 Active Tuner for Apache Hadoop 등이 있다.

인텔에 의하면 인텔의 프로세서, SSD, 10Gbps Ethernet 카드등 완전한 인텔 베이스의 하드웨어로 구성한 서버로 Intel Distribution를 실행하면 그렇지 않은 플랫폼에서 실행하는 경우에 비해 40% 높은 퍼포먼스를 얻을 수 있다고 밝혔다.

인텔은 약 20여개 파트너와 각사의 제품이 Intel Distribution상에서 원활히 동작하도록 협력하고 있다. 이러한 파트너에는 독일의 SAP, 미국의 레드햇, 시스코, 테라 데이터, 캐나다의 심바 테크놀로지, 인도의 인포시스, 와이프로등이 협력하고 있다.