이 모듈에서는 기존 웹 애플리케이션과 비교하여 AI 워크로드에 필요한 특수 네트워킹 요구사항을 자세히 알아봅니다. 데이터 수집부터 추론까지 파이프라인 각 단계의 대역폭 및 지연 시간에 대한 요구사항을 살펴보고, '굿풋'을 극대화하도록 설계된 Google Cloud의 A3 및 A4 GPU 머신 유형의 '레일 정렬' 네트워크 아키텍처를 분석합니다.

이 모듈에서는 대규모 데이터 세트를 클라우드로 효율적으로 이전하는 전략을 자세히 알아봅니다. 고대역폭 파이프라인 구축을 위한 크로스 클라우드 네트워크 및 Cloud Interconnect 사용법을 살펴보고, 프로토콜 오버헤드를 줄이고 처리량을 최적화하기 위한 점보 프레임(MTU) 사용 설정 같은 구성 권장사항을 알아봅니다.

이 모듈에서는 분산 모델 학습에서 지연 시간이 짧은 네트워킹의 중요성을 자세히 알아봅니다. 그래디언트 동기화를 위한 원격 직접 메모리 액세스(RDMA)의 필요성, CPU 리소스를 확보하는 데 있어 Google의 Titanium 오프로드 아키텍처의 이점, 그리고 병목 현상 없이 클러스터를 확장하는 데 필요한 토폴로지 선택에 대해 살펴봅니다.

이 모듈에서는 급증하는 트래픽과 장시간 지속되는 연결처럼 생성형 AI 추론에 특화된 네트워킹 문제를 자세히 알아봅니다. GKE Inference Gateway와 '큐 깊이' 라우팅을 사용하여 첫 번째 토큰까지의 시간을 최적화하는 방법을 살펴보고, 네트워크 안정성 및 Identity and Access Management(IAM)에 대한 권장사항도 함께 알아봅니다.

모든 모듈에 대한 학생 PDF 링크