인텔은 바이두가 인텔® 옵테인™ DC 퍼시스턴트 메모리(Intel® Optane™ DC persistent memory)의 대용량 및 고성능 기능을 활용하기 위해 바이두 피드 스트림(Feed Stream) 서비스의 인메모리(in-memory) 데이터베이스를 설계한다고 발표했다. 2세대 인텔® 제온® 스케일러블 프로세서(Intel® Xeon® Scalable processors)가 탑재되고 인텔 옵테인 DC 퍼시스턴트 메모리를 바탕으로 한 새로운 메모리 플랫폼을 구축함으로써 바이두는 총소유비용(TCO)을 낮추면서도 더욱 맞춤화된 검색 결과를 사용자에게 제공할 수 있게 된다. 인텔과 바이두는 지난 목요일(29일) 베이징에서 열린 바이두 ABC 서밋 2019(2019 Baidu ABC Summit)에서 이러한 구축 및 여타 협력 사례에 대한 세부 내용을 공개했다.

인텔 부사장 겸 클라우드 플랫폼 및 테크놀로지 그룹의 총괄 매니저인 제이슨 그레베(Jason Grebe)는 “인텔과 바이두는 10년 이상 검색에서 AI, 자율주행, 클라우드 서비스에 이르기까지 바이두의 핵심 비즈니스에 박차를 가할 수 있도록 긴밀하게 협력해왔다. 양사 간 긴밀한 협력을 통해 최신 인텔 기술을 신속하게 구축하고 고객이 바이두의 서비스를 경험하는 방식을 개선하도록 지원한다”고 밝혔다.

바이두와 같은 기업들이 폭발적으로 증가하는 데이터를 관리하게 되면서 빠르고 효율적인 데이터 액세스 및 저장이 불가피하게 됐다. 이번 발표로 바이두는 고객에게 더 맞춤화된 콘텐츠를 제공하도록 피드 스트림 서비스를 개선한다.

바이두는 클라우드 기반의 피드 스트림 서비스에서 데이터 저장 및 정보 검색을 지원하고자 첨단 인메모리 데이터베이스인 ‘피드큐브(Feed-Cube)’를 사용하고 있다. 바이두는 인텔 옵테인 DC 퍼시스턴트 메모리와 2세대 인텔 제온 프로세서를 배치하여 피드큐브에 대한 우수한 병행처리(concurrency), 대용량 및 고성능을 보장하는 동시에 총소유비용(TCO)¹을 감소시킨다.

인텔과 바이두는 긴밀한 협업을 통해 바이두 피드 스트림 서비스 내에 인텔 옵테인 DC 퍼시스턴트 메모리와 DRAM이 모두 탑재되는 하이브리드 메모리 구성을 설계했다. 이러한 접근 방식을 통해 피드큐브는 대규모 동시 접속¹의 압박에도 검색 결과에 대한 응답 시간이 향상되었다. 동시에 단일 서버 DRAM 사용량이 절반 아래로 감소했으며, 피드큐브¹의 페타바이트급 스토리지 용량 측면에서 비용이 절감이 이루어진다. 인텔과 바이두는 레디스(Redis), 스파크(Spark) 및 서비스 기능 등 인텔 옵테인 DC 퍼시스턴트 메모리 기술을 사용하는 다른 애플리케이션의 사례를 포함하여 해당 연구에 대한 상세한 케이스 스터디를 공개했다.

바이두 추천 테크놀로지 아키텍처(Recommendation Technology Architecture) 부문의 수석 설계자인 타오 왕(Tao Wang)은 “피드큐브 데이터베이스에 인텔 옵테인 DC 퍼시스턴트 메모리를 사용하면 바이두가 비용 효율적으로 메모리 용량을 확장해 피드 스트림 서비스에 대한 지속적으로 증가하는 요구에 대응할 수 있다”라고 밝혔다.

이번 발표는 인텔과 바이두가 최근 바이두의 핵심 사업 부문에서 양사의 협업을 강화하는 것을 목표로 하는 새로운 양해각서(MOU)를 체결한 내용을 바탕으로 하고 있다. 인텔과 바이두는 주요 애플리케이션 및 서비스뿐만 아니라 핵심 인터넷 비즈니스 시나리오를 강화하는 데 있어 점차 중요한 역할을 담당할 새로운 제품 및 기술을 구현하기 위해 지속해서 협력할 예정이다. 인텔과 바이두의 긴밀한 협업은 바이두가 자사 고객들에게 더욱 다양하고 매력적인 사용자 경험을 제공하는 데 도움을 줄 예정이다.

 

바이두 ABC 서밋 2019 에서 추가로 발표된 내용:

 

• 바이두 ABC 스토리지를 위한 새로운 HPC 솔루션: 인텔과 바이두는 고성능 컴퓨팅 워크로드에서 머신러닝 성능을 가속화하는 새로운 스토리지 솔루션을 공개했다. 새로운 HPC 솔루션은 바이두의 클라우드 환경에서 제공되며, 사용자에게 데이터 전처리, 모델 트레이닝 및 평가에서 추론 및 결과 공개에 이르기까지 다양한 기능을 아우르는 엔드-투-엔드 HPC 지원을 제공한다. 바이두 클라우드 ABC 스토리지 서비스는 인텔® 옵테인™ DC SSD와 인텔® QLC 3D NAND SSD를 사용한다.
• 컨피덴셜 컴퓨팅 컨소시움(CCC): 인텔과 바이두는 최근 리눅스 파운데이션 산하 컨피덴셜 컴퓨팅 컨소시움(CCC)에 합류했다. 컨소시엄의 일환으로 인텔과 바이두는 업계 파트너들과 협력하여 인텔® 소프트웨어 가드 익스텐션(인텔® SGX®) 기술을 바탕으로 바이두 클라우드에 프라이빗 신뢰 컴퓨팅 서비스를 구축 및 저장할 예정이다.
  

보도 - 인텔