AI 하드웨어 성능을 위한 차세대 100X는 더욱 어려워질 것입니다

하드웨어를 좋아하고 이번 주 Hot Chips 2023 컨퍼런스에서 TPUv5e AI 프로세서와 주변 시스템, 상호 연결 및 소프트웨어 스택에 대한 큰 공개를 희망하는 우리를 위해 Jeff Dean과 Amin Vahdat의 오프닝 기조연설이 가장 좋았습니다. Google의 중요한 기술자는 약간 실망스러웠습니다. 그러나 구글 토크는 우리에게 AI 사고 실험을 위한 음식을 제공했습니다.

비행기 탑승이나 암벽 등반을 절대 허용해서는 안 될 만큼 Google이 개발한 수많은 기술에 중요한 역할을 한 Dean이 종이 조각에 계산을 하여 다음과 같은 사실을 알아낸 지 10년이 지났습니다. Google이 자신의 이름을 딴 검색 엔진에 AI 기능을 추가했다면 데이터 센터 공간의 크기를 두 배로 늘려야 하고 Google이 맞춤형 Tensor Processor Unit(TPU) 매트릭스 수학 엔진을 만들도록 보냈을 것입니다.

10년이 지난 지금, AI는 더욱 복잡해지고 컴퓨팅 집약적이며 많이 논의된 TPUv4 아이언은 현재와 향후 수년 동안 유용하지만 다소 오래 기다려 보입니다. TPUv4 시스템은 TPUv5e에 의해 강화되었으며, 5나노미터 프로세스를 기반으로 할 가능성이 높으며 Google 데이터 센터에서 실행되는 원시 최고 성능의 두 배 이상일 가능성이 높습니다. (작년 10월 TPUv4 시스템에 대해 심층적으로 조사했지만 올해 초 공개된 광 스위치 상호 연결로 아직 업데이트하지 않았으며 이번 주 Hot Chips에서 자세히 논의할 예정입니다.)

그리고 예상했던 대로 Hot Chips 2023과 동시에 진행된 Google Cloud Next 2023 이벤트에서 훈련과 추론 모두에 사용되는 TPUv5e 변종에 대한 일부 세부 정보가 공개되었으며, 이에 대한 모든 내용은 곧 다루겠습니다. 또한 TPUv5e를 실행하는 클라우드 인스턴스를 사용할 수 있게 되면 Google Cloud의 이전 TPUv4 인스턴스보다 비용 대비 약 30% 더 나은 성능을 제공할 것으로 기대합니다. 비용 대비 훨씬 더 나은 결과를 얻을 수도 있습니다. 우리는 봐야 할 것입니다.

우리는 Google Next 기조연설 대신 Hot Chips의 Google 강연을 선택했습니다. 왜냐하면 Dean이 강연할 때 시스템 설계자는 들어야 하기 때문입니다. Dean은 Google의 거의 모든 핵심 기술에 참여했습니다. 빅데이터를 분석하는 MapReduce 방식, Spanner 분산 스토리지 시스템을 위한 BigTable 관계형 오버레이, PaLM 제품군에서 가장 큰 AI 모델을 뒷받침하는 TensorFlow 및 Pathways 소프트웨어, TPU 하드웨어, 그리고 이제는 OpenAI의 GPT-4 및 GPT-5 모델에 돈벌이를 제공할 Gemini 대형 언어 모델입니다. (글쎄, 모든 사람들은 반도체 공장과 하드웨어 제조업체 외부 어딘가에 돈이 있기를 바라고 있습니다.) Dean은 수년 동안 Google Research를 운영했으며 최고의 AI 연구원과 DeepMind 인수를 함께 모은 Google Brain 팀을 공동 창립했습니다. 그는 현재 수석 과학자입니다.

그의 기조 연설은 Dean과 마찬가지로 Google Fellow이자 현재 회사의 엔지니어링 부사장이자 샌디에이고 캘리포니아 대학의 컴퓨터 과학 및 엔지니어링 교수이자 Google 센터의 이사였던 Amin Vahdat와 나누어졌습니다. 그는 2010년에 Google에 합류하기 전에 네트워크 시스템을 사용하여 네트워킹 기술 리드를 맡았고, 그 후 컴퓨팅, 스토리지, 네트워킹 기술 리드를 맡았으며, 최근에는 회사에서 기계 학습, 시스템, 클라우드 AI 팀을 담당하고 있습니다. Google에서 시스템 연구를 담당하고 있습니다. MSCA는 CPU, TPU, GPU 컴퓨팅 엔진 제품군인 Compute Engine과 Borg, 이를 서로 연결하는 네트워크, 그리고 Google과 클라우드 고객이 프로덕션에 사용하는 전체 AI 소프트웨어 스택을 개발하고 유지 관리합니다.

Dean과 Vahdat는 Google 인프라를 거의 정의하고 만듭니다. Google 연구원이자 회사의 엔지니어링 첫 번째 부사장, 당시 검색 부사장이자 20년 넘게 기술 인프라 팀을 담당한 엔지니어링 수석 부사장인 Urs Hölzle가 현재 어떤 역할을 맡고 있는지는 확실하지 않습니다. 뉴질랜드 오클랜드에 있는 그의 새 집. Hot Chips에서 Dean은 AI를 위한 지형을 마련했고 Vahdat는 해당 지형을 통과하기 위해 증가하는 수요와 하드웨어에 대해 이야기했습니다.