Theo Google, TPU 8t là "siêu chip huấn luyện mạnh mẽ", được thiết kế đặc biệt cho việc xử lý khối lượng công việc AI thông lượng cao. Hiệu năng tính toán cũng cao hơn gần ba lần so với các thế hệ trước.
Cụ thể, TPU 8t tích hợp 9.600 chip trong một siêu cụm duy nhất, cung cấp khả năng tính toán 121 exaflop (một tỷ tỷ phép tính dấu phẩy động mỗi giây, là ngưỡng sức mạnh điện toán cao nhất hiện nay) và hai petabyte bộ nhớ dùng chung liên kết với nhau thông qua kết nối liên chip tốc độ cao (ICI). Băng thông ICI được tăng gấp đôi giúp đảm bảo ngay cả những mô hình phức tạp nhất cũng đạt được khả năng mở rộng gần như tuyến tính và tối đa hóa hiệu suất hệ thống.
"Giờ đây, chúng tôi có thể rút ngắn thời gian huấn luyện từ nhiều tháng xuống còn vài tuần với sức mạnh của hơn một triệu chip TPU trong một cụm máy chủ duy nhất, được điều phối bởi Pathways và JAX", đại diện Google cho biết.
Hai mẫu chip TPU 8t (trái) và TPU 8i. Ảnh: Google
Trong khi đó, TPU 8i là hệ thống suy luận đột phá của Google dành cho suy luận và học tăng cường (RL). Chip mang lại độ trễ cực thấp cho quy trình làm việc dựa trên tác nhân AI và Mô hình hỗn hợp chuyên gia (MoE). Bằng cách tăng gấp ba bộ nhớ SRAM trên chip lên 384 MB và tăng bộ nhớ băng thông cao (HBM) lên 288 GB, chip được đánh giá phá vỡ rào cản bộ nhớ, lưu trữ bộ nhớ đệm hoàn toàn trên chip.
TPU 8i cũng được Google tăng gấp đôi băng thông ICI lên 19,2 Tb/giây, giảm đường kính mạng ICI hơn 50%. Công ty cũng giới thiệu công cụ tăng tốc mới có tên Collectives Acceleration Engine (CAE) giúp giảm độ trễ trên chip đến 5 lần, giảm thiểu độ trễ trong nhiều tác vụ được vận hành đồng thời. Với thiết kế này, TPU 8i mang lại hiệu suất trên mỗi USD tốt hơn 80% so với thế hệ trước cho suy luận, cho phép trải nghiệm người dùng nhanh chóng, tương tác và tiết kiệm chi phí.
Nguồn: VnExpress Khoa học
Bài viết được tổng hợp tự động bởi voz.com.vn