미국 엔비디아(NVIDIA)는 차세대 Ampere(암페어) 아키텍처 기반 하이엔드 GPU로 NVIDIA A100을 발표했다.

암페어 A100은 TSMC 7나노 프로세스의 하이엔드 GPU로, 다이 사이즈는 826mm2로 Volta와 거의 동등한 사이즈에 트랜지스터는 540억으로 Volta의 2배 이상, D램은 HBM2, 메모리 인터페이스는 6144비트, 6개의 HBM 스택을 GPU에 접속한다. 메모리 대역은 1.6TB/s, 메모리 용량은 40GB로 현시점 몬스터 급의 수퍼 GPU.

현행 GPU로는 최대 규모인 A100은 연산 성능도 월등하여 CUDA 코어가 6912, FP64에서 9.7TFLOPS, FP32에서 19.5 TFLOPS의 연산 성능, 동작주파수는 최대 1.4GHz로 추정되고 있다.

NVIDIA GPU는 Volta 이후 딥러닝 전용의 텐서 연산 유닛으로 텐서 코어(Tensor Core)를 탑재하고 있다.GPU는 본질적으로는 벡터 연산 프로세서지만 텐서 연산 프로세서를 조합한 하이브리드로 구성 함으로써 딥러닝 성능을 향상시켰으며 신형 암페어(Ampere) 아키텍쳐도 그것을 계승하고 있다.

NVIDIA A100의 텐서 코어 수는 432개로, 각 SM마다 4코어가 배치된다. SM마다 8코어였던 Volta와 비교해 텐서 코어 수가 줄어든 것처럼 보이지만 이는 텐서 코어의 합계 방식이 달라졌기 때문이다. Volta에서는 각 SM 프로세싱 블록마다 16×16 텐서 연산 유닛을 2개로 카운트했으나 Ampere는 16x32 유닛으로 카운트 되고 있다.

Ampere는 텐서 코어가 대폭 확장됐다. 우선 새롭게 BFloat16과 Tensor Float32, 2개의 새로운 데이터 포맷이 지원됐다. BFloat 16(Brain Floating Point 16)은 뉴럴 네트워크 용도를 전제로 제안된 새로운 부동소수점수 포맷으로 프로세서 업계 전체에서 채용이 진행되고 있다. 기존의 IEEE 754 부동소수점은 FP32(32-bit 단정밀도 부동소수점)가 부호부(Sign) 1-bit, 지수부(Exponent) 8-bit, 가수부(Mantissa) 23-bit로 구성되어 있다. 그에 반해 FP16(16-bit 부동소수점)에서는 부호부(Sign) 1-bit, 지수부(Exponent) 5-bit, 가수부(Mantissa) 10-bit.bfloat 16(BF16)은 부호부(Sign) 1-bit, 지수부(Exponent) 8-bit, 가수부(Mantissa) 7-bit.

데이터 사이즈는 FP16과 동등하면서도 다이내믹 레인지는 FP32와 동등하며 가수부의 데이터 정밀도를 줄였다. 다이나믹 레인지가 중요한 뉴럴 네트워크(neural network)에 적합한 포맷이다. Tensor Float32(TF32)는 부호부(Sign)1-bit, 지수부(Exponent)8-bit, 가수부(Mantissa)10-bit로 다이내믹 레인지는 FP32와 동등하지만 가수부의 데이터 밀도는 FP16과 동등하며 FP32의 다이내믹 레인지를 들여오면서 FP16의 정밀도를 유지하는 새로운 포맷이다. Ampere의 텐서 코어는 FP16 이외에 BF16, TF32, Int8, Int4, FP64를 폭넓게 지원하며 TF32는 딥 러닝 훈련에 주안점을 둔 확장으로 TF32 도입으로 훈련 성능이 크게 증가한다.

또, 벡터부 FP64는 9.7TFLOPS지만 텐서부 FP64는 19.5TFLOPS로 FP16의 벡터 연산과 동등한 성능을 달성한다. 이것은 과학 기술계 애플리케이션을 의식한 확장으로 보이며 딥 러닝 액셀러레이터에 대한 GPU는 범용성이 포인트로 Ampere는 과학 기술에서 중요한 FP64로 범용적인 컴퓨팅도 강화하고 있다.

그 외 Ampere 아키텍처는 GPU 칩 내의 자원을 분할하고 다른 인스턴스를 나란히 하는 멀티 인스턴스에 대응한다. 최대 7인스턴스를 1칩에서 가동시킬 수 있다. NVIDIA GPU는 그 동안 큰 워크로드에서 칩 전체가 대응하는 것에 초점을 맞춰 왔다. 그러나 Ampere는 AMD GPU와 같이 보다 정밀도가 작은 작업을 병렬화하는 방향으로 진행하고 있다.

딥러닝에서 뉴럴 네트워크의 사이즈는 점점 커지고 있어 GPU에는 스케일 업이 요구된다. NVIDIA는 이러한 상황에 대응해 GPU에 칩 간 인터커넥트 기술인 NVLink를 탑재하여 GPU 간의 다이렉트한 접속을 실현해 왔다. NVLink는 Volta 아키텍처의 Tesla V100에서 칩 전체 대역은 피크 300GB/s였으나 Ampere 아키텍처의 A100은 NV Link 전체 대역은 피크 600GB/s에 달하고 있다.

NVIDIA는 A100을 GPU 컴퓨팅 시스템 DGX 시리즈로 제공한다. Ampere 기반의 DGX A100은 8개의 NVIDIA A100 GPU와 2개의 64코어 AMD Rome CPU, 거기에 NVLink 스위치인 NVSwitch가 6개의 구성으로 되어 있다. 시스템 전체의 성능은 FP16에서 5 PFLOPS.

- 이하 엔비디아 공식 기술 설명

과학자, 연구자, 엔지니어와 같은 이 시대의 다빈치와 아인슈타인들이 AI와 고성능 컴퓨팅(HPC)을 통해 세계에서 가장 중요한 과학, 산업, 빅 데이터 과제를 해결하려 노력하고 있습니다. 기업들과 전체 산업들은 온프레미스와 클라우드 모두에서 대규모 데이터 세트로부터 새로운 인사이트를 추출하기 위해 AI의 힘을 활용하려고 합니다. 탄력적 컴퓨팅의 시대에 맞게 설계된 NVIDIA Ampere 아키텍처는 이전 세대 대비 혁신적인 성능 도약으로 모든 규모에서 비교할 수 없는 가속화를 제공하여 혁신가들이 중요한 연구 과제를 수행할 수 있도록 지원합니다.

540억 개의 트랜지스터로 제작된 NVIDIA Ampere는 현재까지 제작된 가장 큰 7나노미터(nm) 칩으로, 획기적인 5개의 핵심 혁신을 선보입니다.

3세대 Tensor 코어
NVIDIA Volta™ 아키텍처에서 최초로 도입된 NVIDIA Tensor 코어 기술은 AI에 극적인 가속을 제공하여 트레이닝 시간을 몇 주에서 몇 시간으로 단축하고 추론을 막대하게 가속시킵니다. NVIDIA Ampere 아키텍처는 새로운 정밀도인 Tensor Float(TF32) 및 부동 소수점 정밀도 64(FP64)를 도입하여 이러한 혁신을 토대로 AI 채택을 단순화하고 Tensor 코어의 성능을 HPC로 확장합니다.

TF32는 FP32와 같이 작동하면서 코드 변경 없이 AI를 최대 20배까지 가속합니다. NVIDIA Automatic Mixed Precision를 사용하여 연구원은 코드를 단 한 줄만 추가해도 2배의 추가 성능을 얻을 수 있습니다. 그리고 NVIDIA A100 Tensor 코어 GPU의 Tensor 코어는 bfloat16, INT8 및 INT4 에 대한 지원으로 AI 트레이닝 및 추론 양쪽에 놀랍도록 다재다능한 가속기를 생성합니다. 또한, A100은 Tensor 코어의 성능을 HPC에 도입하여 완전하고 IEEE 인증을 받은 FP64 정밀도로 매트릭스 연산을 가능케 합니다.

MIG(Multi-Instance GPU)
모든 AI 및 HPC 애플리케이션은 가속의 이점을 얻을 수 있지만 모든 애플리케이션에 A100 GPU의 전체 성능이 필요한 것은 아닙니다. MIG를 통해 각 A100은 자체 고대역폭 메모리, 캐시, 컴퓨팅 코어로 하드웨어 수준에서 완전히 격리되고 보호되는 무려 7개의 GPU 인스턴스로 분할될 수 있습니다. 이제 개발자는 크고 작은 모든 응용 프로그램의 획기적인 가속화에 액세스할 수 있으며 보장된 서비스 품질을 경험할 수 있습니다. 그리고 IT 관리자는 최적화된 활용을 위한 적절한 규모의 GPU 가속화를 제공할 수 있으며 베어 메탈 및 가상화된 환경 전반에서 모든 사용자와 애플리케이션으로 액세스를 확장할 수 있습니다.

3세대 NVLink
여러 GPU에서 애플리케이션을 확장하려면 데이터 이동 속도가 매우 빨라야 합니다. A100의 3세대 NVLink는 GPU 간의 직접적인 대역폭을 2배인 600GB/s로 증가시키며 이는 PCIe Gen4의 10배에 달합니다. 최신 세대의 NVSwitch와결합되는 경우 서버의 모든 GPU는 서로 간에 최대 NVLink 속도로 통신하며 데이터를 놀랍도록 빠르게 전송할 수 있습니다.

NVIDIA DGX™ A100 다른 선두 컴퓨터 제조업체의 서버는 NVLink 및 NVSwitch 기술을 통해 NVIDIA HGX™ A100 baseboards는 HPC 및 AI 워크 로드에 더 높은 확장성을 제공 합니다.

구조적 희소성
최신 AI 네트워크는 수백만 개, 일부 경우에는 수십억 개의 매개변수와 함께 점점 더 커지고 있습니다. 이 매개변수가 정확한 예측과 추론에 모두 필요한 것은 아니므로, 일부는 정확성을 감소시키지 않고 모델을 "희소"하게 만들기 위해 0으로 변환할 수 있습니다. A100의 Tensor 코어는 희소한 모델에 대해 최대 2배 높은 성능을 제공할 수 있습니다. 희소성 기능은 AI 추론에 더 수월하게 이점을 제공하지만, 모델 트레이닝의 성능을 개선하는 데 사용할 수도 있습니다.

A100은 데이터센터에 방대한 양의 컴퓨팅을 제공합니다. 이러한 컴퓨팅 엔진의 활용도를 완전하게 유지하기 위해 업계 최고 수준인 1.5TB/s의 메모리 대역폭을 보유하여 이전 세대에 비해 67% 증가했습니다. 또한, A100은 40MB 레벨 2 캐시를 포함하여 이전 세대에 비해 7배 더 많은 온 칩 메모리를 보유함으로써 컴퓨팅 성능을 극대화합니다.

NVIDIA Ampere 아키텍처와 NVIDIA Mellanox의 ConnectX-6 Dx SmartNIC의 조합인 NVIDIA EGX™ A100는 전례없는 컴퓨팅 성능과 네트워크 가속 기능으로 엣지에서 생성되는 대규모 데이터를 처리합니다. Mellanox SmartNIC는 최대 200GB/s의 회선 속도로 해독하는 보안 오프로드를 포함하며 GPUDirect™는 AI 처리를 위해 비디오 프레임을 GPU 메모리로 직접 전송합니다. EGX A100 덕분에 비즈니스는 엣지에서 AI 배포를 더 안전하고 효율적으로 가속할 수 있습니다.