1. 개요

• 출장 일자 : 2022.09.12 ~ 2022.09.17
• 출장지 : 미국, 산호세, 산타클라라 매리어트
• 숙박지 : FairField Inn & Suits by Marriott San Jose
• 교통편 : ICN → SFO (아시아나, 직항), SFO → San Jose (우버)

2. AI Hardware Summit 2022

2022 AI Hardware Summit (dapi)

• AI Hardware에 관련된 회사들이 거의 대부분 참석하는 컨퍼런스 (NVIDIA, AMD 등등)
• 발표들은 거의 회사들의 자사 서비스 소개같은 느낌
• 네트워킹이 메인
• Edge용 프로세서는 주로 Edge AI Summit에서 다룸 (동일한 장소에서 열림, 등록비 500달러)

현장 사진

배경 설명

• AI 계산
  • 학습 (Training)
    • 답안지 등의 데이터로 모델의 여러 parameter를 결정하는 과정
  • 추론 (Inference)
    • parameter들이 결정된 모델로 연산해 답을 계산하는 과정

• AI 계산 장소
  • Cloud/Data Center
  • Edge
  • Device/IoT

• 프로세서
  • 아래로 내려갈수록 특수 목적을 수행하나 AI 연산에서는 전력을 적게 사용함
  • 위로 갈 수록 범용적이고 전력을 많이 소비
  • 목록
    • CPU : Central Processing Unit
      • 컴퓨터에서 연산, 제어 등을 맡는 프로세서
      • 작업을 순차적으로 수행
    • GPU : Graphics Processing Unit
      • 컴퓨터 그래픽을 처리하기 위해 특화된 프로세서로 병렬 연산 특화
      • 2000년대 후반부터는 AI 계산 등 병렬 연산이 필요한 곳에서 사용 중
    • NPU : Neural Processing Unit
      • 인공지능 연산에 최적화된 프로세서
      • 신경망 구조를 하드웨어 설계에 이용
      • 사피온이 만드는 칩이 여기에 속함
    • FPGA : Field-Programmable Gate Array
      • 프로그래밍이 가능한 프로세서
      • HDL (Hardware Descriptrion Language)를 통해 합성(컴파일) 되어 하드웨어 내부의 논리연산과 배선이 조정됨
      • FPGA로 테스트 해보고 ASIC을 생산하거나 NPU를 생산하거나 함
    • ASIC : Application-Specific Integrated Circuit
      • 특정 목적을 위해 설계된 프로세서
      • 효율이 가장 좋음 (전력 소모 등)
      • 대규모 생산이 안되기 때문에 비쌈

• Foundation Model
  • 대규모 데이터와 자체 지도 학습으로 생성된 다목적으로 사용되는 모델
  • Parameter이 엄청나게 많고 모델 크기가 매우 큼
  • 학습 시간이 무지막지함
  • 예시) BERT, GPT, DALL-E 포함 요즘 핫한 모델들

전망 및 느낀점

• 현재 Data Center용 (주로 모델 학습용) 프로세서는 NVIDA GPU가 반 독점, 이를 Cerebras, Graphcore, Sambanova 등 다양한 기업이 GPU 보다 효율적이고 고성능인 프로세서나 시스템으로 파이를 뺏으려고 하는 상황
  • NVIDIA DGX-A100을 비교군으로 많이 사용 (동네북)
    • 마이크로소프트 같은 경우는 이거 8개가 든 서버를 수백개 연결한 데이터센터를 가지고 있다고… (AI Supercomputer)
  • Atos 같은 기업은 Large Scale AI Infrastructure를 (대규모 데이터 센터 등) 서포팅하는 냉각 기술(수냉)등을 선보임
  • 클라우드로도 사용 하거나 On-Premise로 할 수 있도록 자사 칩이 포함된 서버를 대여 하는 서비스도 있음

• Edge용 하드웨어는 춘추전국시대로 보임
  • 학습이 아닌 추론위주기 때문에 저전력이고 가격이 저렴해야함 (가성비 좋아야함)
  • NPU, FPGA, ASIC 등이 주로 사용되는 분야
  • 이쪽을 주력으로 하는 비교적 작은 회사들이 많음
• Foundation Model을 지원하려는 움직임이 활발
  • 메모리 크게 만들기, 칩 자체를 크게 만들기, bandwidth 늘리기, 거대 데이터 센터 구성 등등 다양한 전략