전회까지는 CRAY 시리즈, 정확히는 CRI(Cray Research Inc.)와 CCI(Cray Computer Inc.)의 계보를 설명했으나 이쪽은 기본적으로 벡터형 머신이다.

명령 포맷은 SIMD(Single Instruction Multi Data)에서 1개의 명령으로 복수의 데이터에 같은 처리를 한다는 것이다.

SIMD의 경우 명령의 해석은 처음 1회뿐 이후 오로지 데이터 읽기 → 실행 → 시작을 하기 때문에 메모리 로드-스토어만 맞추면 피크 성능을 내세우기 쉽다.

반대로 말하면 이 메모리 로드-스토어가 느리면 성능이 전혀 나오지 않는 것으로 CRAY-3가 유령 같은 메모리 시스템을 탑재한 것도 무리는 아니지만 이는 당연히 비용 상승으로 이어져 소비 전력도 만만치 않다.

Thinking Machines사의 커넥션 머신 CM-1. 사진은 Computer History Museum

이런 트렌드와 또 다른 방향의 연구도 이뤄졌다. 그것은 멀티 프로세서의 방향성이다. 1990년대에는 Massively parallel 이라고 불리는 것이 그 후에는 Grid Computing 이라는 말로 바뀌었지만 내용은 멀티 프로세서다.

단적인 이야기로, 지금은 싱글 코어의 CPU는 PC의 세계에서도 극히 소수로, 보통 2P 또는 4P 의 코어가 탑재되어 그것을 다 사용해 나름대로 쾌적한 PC 환경이 실현되고 있다.

이처럼 복수의 CPU 코어를 마련해 각각 독자적으로 프로그램을 실행시키면 그 만큼 성능이 올라간다. 이를 많이 나열하면 그 만큼 성능이 올라간다는 것이다.

물론 이것은 간단하지 않다. 예를 들면 모든 CPU에서 메모리를 공유하면 우선 메모리가 병목이 된다. 또 어느 정도 이상 숫자의 프로세서를 접속하려면 이번에는 프로세서 간의 접속도 병목이 된다.

이는 OS가 긴밀하게 연결된 멀티 프로세서를 전제로 한 것으로 되어 있는 것이 최대 이유로 대규모 멀티 프로세서 구성은 취하기 어렵게 되어 있다.

다만 그런 소프트웨어 호환성을 무시하면 예를 들어 CPU와 메모리를 한 덩어리로 그 덩어리들을 네트워크로 연결하면 병목은 상대적으로 발생하기 어려워진다. 이른바 PC 클러스터를 더 작은 단위로 구현하는 것이다. 물론 이 경우에 네트워크를 어떻게 구축할지가 최대의 관건이 된다.

그 대규모 멀티 프로세서에 관한 연구는 특히 80년대 들어 활발해졌다. 그러한 가운데 매사추세츠 공과 대학의 William Daniel Hillis 박사가 1981년 9월 내놓은 "The Connection Machine(Computer Architecture for the New Wave)" 라는 메모에서 비롯된 것이 지금 소개할 Thinking Machines 사의 커넥션 머신이다.

	William Daniel Hillis 박사가 1981년 9월 내놓은 커넥션 시스템 메모

병렬 컴퓨팅을 실현한 커넥션 머신

Hillis 박사는 당시 MIT의 AI Lab에 속해 그 안에서 차세대 프로세서의 기본 방향에 대한 여러가지 연구를 했다. 이 메모를 보면 알겠지만 내용은 프로세서의 아키텍처보다 더 큰 Massive Parallel 이라는 시스템을 어떻게 구축할 것인지에 대해 논한 것이다.

사실 이는 Hillis(당시는 석사)의 박사 논문의 소재도 있는데 여기서 박사 학위를 취득하려면 메모의 내용을 실현할 필요가 있었다.

거기서 그는 Sheryl Handler 와 공동으로 Thinking Machines 사를 1983년에 설립했다. 이곳에서 그의 메모 내용을 CM-1(Connection Machine-1)으로 구현해 최종적으로는 이 CM-1에 관한 논문으로 그는 박사 학위를 취득했다.

	CM-1과 그 내부. 사진은 Computer History Museum

6만 5536개의 프로세서를 병렬 처리하는 대규모 멀티 프로세서 구성

CM-1의 최초 목적은 뉴런(신경 세포)을 본뜬 모델의 시뮬레이션이었다고 한다. 따라서 프로세서 1개 1개의 성능은 낮아도 그 대신 다수의 프로세서를 집적한 머신이 필요했다.

이 목적에 따라 CM-1은 4Kbit의 RAM을 탑재한 1bit(정확히는 3bit 입력, 2bit 출력)의 프로세서(이를 node라고 칭함)을 합계 6만 5536개 집적한 것이 됐다.

워낙 규모가 작아 당시의 반도체 기술로 높은 집적화는 쉬웠기 때문에 16node을 1개의 칩으로 집적했으며 1장의 기판에는 이 칩이 32개 탑재되고 있다.

이 기판을 16장 탑재한 상자를 Cube 라고 부르며 Cube을 8개 연결했다. 16×32×16×8=6만 5536 따라서 실제로 CM-1은 Cube을 8개, 정육면체 모양으로 구성한 것이다. 이 정육면체 크기는 각변 1.5m 정도였다.

	CM-1의 내부 구조. CM1과 CM-2는 이 수준에서는 동일한 아키텍처이다

그리고 이 node 만으로는 아무것도 할 수 없으므로 실제로는 프론트 엔드에 DEC(Digital Equipment Corporation)의 VAX 또는 Symbolics 3600 워크 스테이션을 4대 준비해 4×4의 크로스 바 스위치(위의 사진으로 Nexus 한 것)을 거쳐 4개의 Sequencers 에 명령을 발행하는 형태가 되어 있었다.

이 시퀀서(Sequencer)란 자신의 부하에 있는 2cube(1만 6384개)의 node 들에게 일제히 명령을 배포하고 브로드캐스트 작업을 벌이는 SIMD 명령을 해석하는 타입의 것이었다.

각각의 칩속의 16node는 2차원 그물 모양 구조에서 인접한 node와 통신이 가능하게 되어 있다. 한편 칩과는 node와 별도로 라우터라고 하는 통신 채널이 마련되어 이 라우터를 통해 칩간의 통신이 이루어지는 방식이었다.

	CM-1의 에어 플로우. 사진은 Computer History Museum

비싸서 살 수 없는 꿈의 머신 "CM-1"

CM-1 최초의 프로토 타입은 4MHz 동작으로 시스템 전체의 소비 전력은 12KW. node1개 당의 소비 전력은 0.1W 안팎이지만 루터와 시퀀서, 다음으로 통신 등이 있기 때문에 타당한 숫자다.

그리고 CM-1 전체에서 32bit의 가산을 할 경우의 성능은 대체로 1000MIPS, 메모리 대역은 최저치에서 32Mbit/초, 전형치에서 1Gbit/초 정도. 고속 변환을 한 경우의 성능은 50Gbit/초에 이른다는 숫자가 논문에 기재되어 있다.

32bit의 가산은 node를 32개 나란히 각각 1bit씩 가산 하는 구조다. 캐리의 처리 등을 무시하면 동시에 2048개의 가산을 실행할 수 있게 되어 4MHz 동작에는 8192MIPS의 성능이 되는데 실제로는 부하(헤드)가 꾀 있기 때문에 그렇게는 잘 안됐다.

하지만 프로토 타입에서 1000MIPS 라는 것은 대단한 성능으로 이 당시 이곳까지 성능을 낼 수 있는 머신은 아니었기에 CM-1은 크게 유망해졌다.

	CM-1은 프로그램이 머신상에서 실행됐는지를 LED에서 확인. 사진은 Computer History Museum

또 CM-1은 가상 프로세서를 구성하는 것도 가능 했었다. 실제로는 1bit의 프로세서이기 때문에 구성을 자유롭게 조합함으로써 임의의 CPU의 명령을(완전히는 아니라도)모방할 수 있는 것도 특징이었다.

그러나 이건 하드웨어적으로는 가능해도 그런 소프트웨어가 움직이지 않으면 불 가능한 까닭에 그렇게 쉽지 않았을 것이다.

그런데 이야기를 되돌리면 CM-1는 원래 연구 목적의 머신 구현이었다. 특히 AI 계열의 시뮬레이션을 위해 LIPS가 이용한 만큼 AI 계열 연구자에게는 꿈의 머신이었던 것 같다. "다운"이란 CM-1은 당시 가격으로 500만 달러 정도로 AI 계열 연구 기관에서는 어찌할 수 없었기 때문이다.

CM-1은 통산 7대가 판매됐는데 이는 DARPA(Defense Advanced Research Projects Agency:국방 고등 연구 계획)의 후원과 보조금 덕분으로 평범하게 판매해도 팔릴 전망은 낮았다.

CRAY Y-MP의 2배 이상의 성능을 기록한 후계 "CM-2"

비싸서 팔릴 가망이 없었던 CM-1을 좀 더 범용적인 용도로 쓸 수 있도록 하겠다는 아이디어가 나온다. 이에 따라 1987년에 제품화 된 것이 CM-2.

CM-1과 CM-2의 아키텍처 면에서 가장 큰 차이는 부동 소수점 연산 능력의 강화다. CM-1의 정수 연산은 매우 고속이지만 부동 소수점 연산을 같이 하면 성능이 떨어졌다.

거기서 이를 보완하기 위해 하드웨어에서 부동 소수점 연산을 구현하게 됐다. 실제로는 32node에 1개꼴, 즉 시스템 전체로는 2048개의 Weitek WTL3132 FPU가 탑재됐다.

	CM-2의 내부 구조. 1990년판 Connection Machine Model CM-2 Technical Summary(Version 6.0)에서 발췌. 하단의 "Floating-Point Execution"이 WTL3132.

WTL3132는 범용 32bit 부동 소수점 프로세서에 사이클 시간 100나노초의 WTL3132-100이 20MFLOPS, 120나노초의 WTL3132-120이 16MFLOPS의 성능으로 알려졌다.

100나노초 즉 10MHz 동작이라면 보통 10MFLOPS 지만, WTL3132는 MAC 연산(곱셈+가산)을 1주기로 실행할 수 있으므로 2배인 20MFLOPS.

그리고 자료가 없지만 부동 소수점 연산 성능과 밝혀진 것으로 역산하면 탑재된 것은 WTL3132-120 이었던 것 같다. 또 메모리도 node 당 4Kbit에서 8Kbit(32node 모두 256Kbit)로 배가되고 있다. 또 ECC도 추가됐다.

또한 위의 이미지에서 NEWS Grid 문구는 North/East/West/South에서 찍은 것이다. 본래 CM-2는 입방체 구성 그리드로 물리적으로는 접속되는데 이를 가상적으로 2차원 그리드에 매핑한 것이 NEWS Grid로 생각하면 된다.

참고로 CM-2와 동시에 제공된 것으로 Data Vault 라는 RAID 배열이 있다. 42대의 HDD(3대가 스페어)을 스트라이핑으로 움직여 100MB/초 이상의 전송 속도와 최대 480GB의 용량을 실현하는 것이었다.

	CM-2. CM-1과 구조가 거의 변하지 않아 외형은 비슷. CM-2의 오른쪽에 있는 것이 Data Vault. 사진은 Computer History Museum

CM-2는 사이클 시간이 142나노초(약 7MHz)로 CM-1 보다는 꾀 빠른 것으로 당시로서는 그렇게 고속의 부류는 아니다. 그러나 그 성능은 무시무시해 6만 5536node 구성 CM-2는 이론상의 피크 성능에서 28GFLOPS, 실제 성능에서도 5.2GFLOPS의 성능을 기록하고 있다.

1987년이라면 CRAY Y-MP가 완성하기 전이지만, 다음 1988년에 등장한 CRAY Y-MP가 8프로세서 구성으로 실효 2.1GFLOPS 였음을 감안하면 CM-2의 숫자는 상당히 훌륭하다.

CM-2는 최대 구성이 64Knode지만 16K/32Knode 구성도 가능했다. 이 CM-2의 저가판으로 4K/8Knode의 구성 CM-2a도 뒤에 추가된다.

또 정확한 등장 시기가 불명이지만 아마 1980년대 후반에는 사이클 시간을 100나노초(10MHz)로 올린 CM-200도 출시한다. 이것은 64Knode 구성에서 실효 성능 9.8GFLOPS를 기록하고 있다.

Thinking Machines 사는 CM-2를 발표한 후 절정기에 들어간다. 1989년 이 회사 매출은 4500만 달러로 이익은 70만 달러 가량으로 알려졌다. 이 시기는 다양한 정부 조직이 고성능 컴퓨터를 조달하려던 시기였다.

NSF(National Science Foundation:미국 국립 과학 재단) HPCC(High Performance Computing and Communication)프로그램은 실제로는 12개 정부 조직이 참여했으며 Thinking Machines에 편향된 DAPRA도 이에 가담했다. 

HPCC는 1996년까지 1TFLOPS의 머신을 구축한다는 것으로 Thinking Machines도 이에 응모할 수 있도록 CM-5를 구축한다. 다음은 이것을 설명 한다.

출처 - http://ascii.jp