# Beyond the Rack: How Co-Packaged Optics (CPO) and Next-Gen Storage Are Solving AI's Data Movement Problem
Tại CIOE 2026 ở Thâm Quyến, một sự thay đổi đáng kinh ngạc trong cuộc trò chuyện đã xuất hiện giữa các kiến trúc sư trung tâm dữ liệu. Năm năm trước, các cuộc thảo luận tập trung vào TFLOPS của GPU và số lượng lõi CPU. Ngày nay? Sự ám ảnh là PB/s (petabyte mỗi giây) và ngân sách độ trễ nano giây.
Tại sao? Bởi vì trong kỷ nguyên của các mô hình AI có hàng nghìn tỷ tham số và suy luận thời gian thực, nút thắt cổ chai đã chuyển từ tính toán sang di chuyển dữ liệu. Một GPU H200 hiện đại có thể xử lý 4.8 PFLOPS — nhưng nó đang thiếu dữ liệu. Huấn luyện một mô hình lớp GPT-4 đòi hỏi phải di chuyển 45 petabyte dữ liệu huấn luyện trên hàng nghìn GPU, hàng tỷ lần.
Bài viết này khám phá hai công nghệ hội tụ được giới thiệu tại CIOE 2026 đang định nghĩa lại cơ sở hạ tầng AI: 1. Quang học đóng gói đồng thời (CPO) và Quang học gần gói (NPO) – loại bỏ các nút thắt cổ chai điện 2. Lưu trữ doanh nghiệp thế hệ tiếp theo – SSD và hệ thống bộ nhớ được xây dựng cho nhu cầu khổng lồ của AI
Các mô-đun quang học truyền thống kết nối với các bộ chuyển mạch thông qua các đường dẫn điện trên PCB. Khi tốc độ dữ liệu tăng lên trên 1.6Tbps, các đường dẫn này trở thành rào cản không thể vượt qua:
- Suy hao tín hiệu: 30-40 dB/m ở 112Gbps PAM4 (56GHz) - Tiêu thụ điện năng: Bộ định thời và DSP tiêu thụ 15-20W mỗi mô-đun - Độ trễ: SerDes điện thêm 100-200ns khứ hồi - Mật độ: Giới hạn mặt trước QSFP-DD khoảng 51Tbps mỗi ASIC chuyển mạch
Giới thiệu Quang học đóng gói đồng thời: tích hợp các bộ máy quang học bên trong cùng một gói với silicon chuyển mạch.
Đi bộ qua triển lãm, CPO đã chuyển từ các bài báo hội nghị sang silicon đang được vận chuyển:
#### 1. Bộ máy quang học NPO 6.4T (华工正源/Huagong Zhongyuan) - Cấu hình: 8× 800G làn sử dụng laser DWDM chấm lượng tử - Hiệu quả năng lượng: 3.5 pJ/bit (so với 8 pJ/bit cho mô-đun cắm được) - Yếu tố hình thức: Tích hợp vào đế gói chuyển mạch - Trạng thái: Lấy mẫu cho các hyperscaler Hạng 1 vào Q4 2026
#### 2. Nền tảng Quang tử Silicon (GlobalFoundries) Quy trình SiPh tương thích CMOS 45nm của họ cho phép: - Tích hợp đơn khối laser, bộ điều biến và bộ tách sóng quang - Kiểm tra quy mô wafer giảm chi phí lắp ráp 60% - Nguồn đa bước sóng cho các ứng dụng DWDM
#### 3. Đột phá Phần cứng của Light联芯科 Công ty khởi nghiệp Trung Quốc đã giới thiệu hệ thống quang khắc lập trình không mặt nạ ZW1000 cho quang tử silicon: - Tạo mẫu nhanh: Tuần thay vì tháng cho các thiết kế mới - Sản xuất số lượng nhỏ: Kinh tế cho <10K unitsyear - Tính linh hoạt: Sóng dẫn có thể cấu hình lại cho các ứng dụng tùy chỉnh
Điều này giải quyết thách thức lớn nhất của CPO: chu kỳ lặp lại thiết kế. Chi phí mặt nạ quang truyền thống (hơn 200 nghìn đô la) khiến việc thử nghiệm trở nên quá đắt đỏ.
Không phải tất cả các ứng dụng đều đòi hỏi sự phức tạp của CPO. Đây là lúc mỗi công nghệ có ý nghĩa:
| Kiến trúc | Tốt nhất cho | Băng thông | Năng lượng | Chi phí | Khả dụng | |--------------|----------|-----------|-------|------|--------------| | Cắm được (QSFP-DD) | Mạng Spine-leaf | 800G-1.6T | 15-20W | $ | Hiện tại | | LPO (Linear Pluggable) | Từ rack đến rack <100m | 800G 8-12W $$ Now NPO (Gần gói) | Cụm huấn luyện AI | 3.2-6.4T | 5-8W | $$$ | 2027 | | CPO (Đóng gói đồng thời) | Mạng chuyển mạch | 12.8T+ | 3-5W | $$$$ | 2028 |
Thông tin chi tiết chính từ CIOE: Đối với các triển khai năm 2026-2027, kiến trúc lai chiếm ưu thế: - CPO cho các bộ chuyển mạch spine (51.2Tbps+ mỗi ASIC) - Mô-đun cắm 800G cho các bộ chuyển mạch leaf - LPO cho kết nối GPU của mạng tính toán
Đối với các kỹ sư đánh giá các giải pháp CPO, việc hiểu kiến trúc là rất quan trọng:
#### Đường dẫn Mô-đun Cắm được Truyền thống: ``` GPU → PCIe → ASIC NIC → Đường dẫn PCB (30cm) → Bộ định thời → DSP Mô-đun → Laser → Sợi quang → Bộ tách sóng quang → DSP → Bộ định thời → Đường dẫn PCB → ASIC Chuyển mạch ``` Tổng độ trễ: ~800ns Năng lượng: ~35W cho 800G hai chiều
#### Đường dẫn CPO: ``` ASIC Chuyển mạch → Sóng dẫn trên gói (3mm) → Bộ điều biến → Sợi quang → Bộ tách sóng quang → Sóng dẫn → ASIC Chuyển mạch ``` Tổng độ trễ: ~200ns Năng lượng: ~8W cho 800G hai chiều
Việc giảm độ trễ mang tính cách mạng cho huấn luyện song song đồng bộ(ví dụ: ZeRO-3, FSDP), nơi các nguyên tắc giao tiếp tập thể (all-reduce, all-gather) chiếm thời gian thực thi.
Mặc dù có những lợi thế kỹ thuật hấp dẫn, CPO phải đối mặt với những trở ngại:
1. Sự non nớt của chuỗi cung ứng: Chỉ có 3-4 nhà cung cấp đủ tiêu chuẩn trên toàn cầu 2. Thiết kế lại ASIC chuyển mạch: Yêu cầu phát triển đồng thời với Broadcom/Nvidia/Marvell 3. Quản lý nhiệt: ASIC chuyển mạch 400W+ + bộ máy quang học = làm mát phức tạp 4. Kinh tế sửa chữa: Bộ máy quang học bị lỗi = loại bỏ toàn bộ mô-đun chuyển mạch (hơn 50 nghìn đô la)
Sự đồng thuận của ngành tại CIOE: CPO sẽ chiếm 15-20% thị trường chuyển mạch năm 2028, tập trung vào các cụm AI hyperscale. Mô-đun cắm được vẫn chiếm ưu thế cho doanh nghiệp và viễn thông.
Trong khi mọi người đều tập trung vào GPU, các triển lãm lưu trữ doanh nghiệp tại CIOE đã kể một câu chuyện quan trọng không kém: đường ống dữ liệu của AI chỉ nhanh bằng thành phần chậm nhất của nó.
Huấn luyện mô hình có 1 nghìn tỷ tham số trên 10TB dữ liệu đòi hỏi: - Tải tập dữ liệu: Đọc 10TB từ bộ nhớ lưu trữ → bộ nhớ GPU - Kiểm tra điểm: 2TB trọng số mô hình được ghi mỗi kỷ nguyên (10-100 lần mỗi lần chạy huấn luyện) - Các hoạt động xáo trộn: Các mẫu truy cập ngẫu nhiên trên toàn bộ tập dữ liệu - Đồng bộ hóa gradient: Ghi phân tán trong quá trình lan truyền ngược
HDD SAS truyền thống? Không đủ một cách lố bịch. Ngay cả SSD SATA cũng gặp khó khăn. Đây là nơi SSD NVMe PCIe 5.0 và bộ nhớ bền DDR5 xuất hiện.
#### 1. SSD Doanh nghiệp PCIe 5.0: Mức cơ bản mới Triển lãm của Topstar bao gồm các ổ Micron 7500 Series và Kingston DC1500M chứng minh: - Đọc tuần tự: 14.000 MB/s (so với 3.500 MB/s cho PCIe 3.0) - IOPS đọc ngẫu nhiên: 2.5M (quan trọng cho việc tải dữ liệu huấn luyện phân tán) - Độ bền: 3 DWPD (Lượt ghi ổ mỗi ngày) trong 5 năm = tổng cộng 82PB ghi trên ổ 15TB
Tác động thực tế: Một JBOF NVMe 16 ổ có thể bão hòa hai liên kết 100GbE để truyền dữ liệu tập dữ liệu — loại bỏ bộ nhớ lưu trữ như một nút thắt cổ chai trong quá trình huấn luyện.
#### 2. Bộ nhớ Máy chủ DDR5-5600: Vượt quá Dung lượng Các khối lượng công việc AI đòi hỏi cả dung lượng(512GB-2TB mỗi máy chủ) và băng thông(>400GB/s mỗi socket). DDR5-5600 cung cấp: - Băng thông: 44.8 GB/s mỗi DIMM (so với 32 GB/s cho DDR4-3200) - Dung lượng: Mô-đun RDIMM 128GB trở thành tiêu chuẩn - Hiệu quả năng lượng: 1.1V so với 1.2V cho DDR4 (giảm 10%)
Tại CIOE, chúng tôi đã thấy Samsung's 512GB DDR5-5600 RDIMMs – cho phép 2TB mỗi socket (16× DIMM) cho máy chủ suy luận LLM. Điều này cho phép các mô hình có 70B tham số hoàn chỉnh vẫn cư trú trong DRAM, loại bỏ chi phí trao đổi mô hình.
#### 3. Mở rộng Bộ nhớ CXL: Yếu tố thay đổi cuộc chơi Compute Express Link (CXL) 2.0 cho phép gộp bộ nhớ trên các máy chủ: - Bể bộ nhớ chia sẻ: Nhiều CPU truy cập DRAM/bộ nhớ bền chung - Độ trễ: <200ns for remote memory access (vs. milliseconds NVMe) - Trường hợp sử dụng: Các cụm suy luận LLM chia sẻ KV-cache trên các nút
Mặc dù vẫn đang nổi lên (sản xuất hạn chế vào năm 2026), việc mở rộng bộ nhớ CXL có thể giảm chi phí cụm suy luận 30% bằng cách loại bỏ việc cung cấp bộ nhớ quá mức trên mỗi nút.
Dựa trên các cuộc thảo luận tại CIOE với các kiến trúc sư trung tâm dữ liệu, ngăn xếp lưu trữ AI tối ưu là:
#### Cấp 1: Bộ nhớ băng thông cao HBM của GPU - Dung lượng: 80-192GB mỗi GPU (H200/B200) - Băng thông: 4-5 TB/s - Mục đích: Các lô huấn luyện đang hoạt động, trọng số mô hình trong quá trình truyền xuôi/ngược
#### Cấp 2: DRAM Máy chủ (DDR5) - Dung lượng: 1-2TB mỗi máy chủ - Băng thông: 400-800 GB/s mỗi socket - Mục đích: Truy cập trước tập dữ liệu, tích lũy gradient, KV-cache suy luận
#### Cấp 3: Lưu trữ SSD NVMe - Dung lượng: 60-240TB mỗi máy chủ (4-16× ổ 15TB) - Băng thông: 50-200 GB/s (RAID 0 trên các ổ) - Mục đích: Lưu trữ toàn bộ tập dữ liệu, kiểm tra điểm, phiên bản mô hình dài hạn
Tỷ lệ quan trọng: Mục tiêu DRAM Máy chủ : NVMe = 1:50(ví dụ: 2TB DRAM, 100TB NVMe). Điều này đảm bảo việc truy cập trước tập dữ liệu không bao giờ làm chậm quá trình huấn luyện GPU.
Xem xét một cụm huấn luyện AI 1.000 GPU: - Chi phí GPU: 30 triệu đô la (1.000× 30 nghìn đô la cho mỗi H100) - Điện năng hàng năm: 5 triệu đô la (150 đô la/GPU × 1.000 × 8.760 giờ × 0,12 đô la/kWh) - Chi phí cơ hội: 5.000 đô la/giờ cho cụm nhàn rỗi (43 triệu đô la/năm ở mức sử dụng 100%)
Bây giờ hãy tưởng tượng các nút thắt cổ chai lưu trữ làm giảm mức sử dụng GPU hiệu quả xuống 85%(15% nhàn rỗi chờ dữ liệu): - Thời gian GPU lãng phí: 6,45 triệu đô la/năm - Chi phí để loại bỏ nút thắt cổ chai: 500 nghìn đô la (NVMe cao cấp + DDR5 + mạng 100GbE)
ROI: 1.200% trong năm đầu tiên. Đây là lý do tại sao các hyperscaler không ngần ngại triển khai SSD PCIe 5.0 trị giá 2.000 đô la.
Là một người tham gia CIOE 2026 và là nhà cung cấp trong ngành, Topstar Technology định vị khách hàng một cách độc đáo để thành công trong cơ sở hạ tầng AI:
#### Kết nối Quang học - Mô-đun QSFP-DD/OSFP 800G/1.6T - Giải pháp 400G/200G cho kiến trúc lai - Cáp AOC/DAC cho kết nối quy mô rack - Dây đai sợi quang MPO/MTP
#### Lưu trữ Doanh nghiệp - SSD: Micron, Kingston, Samsung NVMe doanh nghiệp (PCIe 4.0/5.0) - Bộ nhớ Máy chủ: Mô-đun RDIMM và LRDIMM DDR5-4800/5600 - Bộ nhớ GPU: HBM2e/HBM3 cho bộ tăng tốc AI (nguồn OEM)
#### Thành phần Máy chủ AI - GPU NVIDIA H100/H200/B100 (nhà phân phối được ủy quyền) - NIC Mellanox ConnectX-7 (400GbE cho RDMA) - Bộ chuyển mạch Broadcom và SmartNIC
#### 1. Đơn giản hóa Nhà cung cấp Duy nhất Ngừng quản lý 10 nhà cung cấp khác nhau. Chúng tôi cung cấp các giải pháp rack AI hoàn chỉnh: - Tối ưu hóa Danh sách Vật liệu (BOM) - Tiền xác nhận khả năng tương thích - Vận chuyển và hỗ trợ hợp nhất
#### 2. Tùy chọn Nguồn cung cấp Linh hoạt - Thành phần cấp OEM cho các triển khai hyperscale - Mô-đun thương hiệu gốc(tương thích Cisco/Arista/Mellanox) - Giải pháp hộp trắng cho các dự án nhạy cảm về chi phí
#### 3. Phát triển Đồng thời Kỹ thuật Các kỹ sư của chúng tôi hợp tác về: - Thiết kế cấu trúc liên kết mạng(Clos, Fat-tree, Dragonfly) - Kích thước cấp lưu trữ dựa trên hồ sơ khối lượng công việc - Ngân sách điện và làm mát cho các triển khai cấp rack
#### 4. Thời gian triển khai nhanh chóng Trong một ngành có thời gian chờ 16-24 tuần, chúng tôi duy trì: - Hàng tồn kho thành phần chiến lược(hơn 5 triệu đô la) - Giao hàng 4-8 tuần cho các cấu hình tiêu chuẩn - Tùy chọn đẩy nhanh cho các triển khai khẩn cấp
Một dự án khách hàng gần đây minh họa khả năng end-to-end của chúng tôi:
Yêu cầu: - 500× GPU NVIDIA H100 - Lưu trữ tập dữ liệu 100TB mỗi nút - Độ trễ mạng <10μs cho các hoạt động all-reduce
Giải pháp Topstar: - Mạng: - 500× NIC Mellanox ConnectX-7 400GbE - Mô-đun quang QSFP-DD 800G 64× cho các bộ chuyển mạch spine - Mô-đun QSFP-DD 400G 1.024× cho các bộ chuyển mạch leaf - Lưu trữ: - 4.000× SSD NVMe Kingston DC1500M 15TB (8 mỗi máy chủ) - Bộ điều khiển RAID với bộ nhớ cache 8GB mỗi máy chủ - Bộ nhớ: - 32.000× Samsung DDR5-5600 64GB RDIMMs (64 mỗi máy chủ, 4TB/nút)
Thời gian triển khai: - Tuần 1-2: Hoàn thiện BOM và mua sắm - Tuần 3-6: Giao hàng và tích hợp thành phần - Tuần 7-8: Lắp đặt rack và vận hành mạng - Tuần 9: Xác nhận khối lượng công việc và bàn giao
Kết quả: Cụm đạt 94,2% sử dụng GPU trong các lần chạy huấn luyện kéo dài một tuần — trong số những mức cao nhất trong ngành.
Dựa trên những hiểu biết từ CIOE 2026 và lộ trình ngành, đây là những gì sắp tới:
- Mô-đun quang 3.2T bắt đầu sản xuất hàng loạt - Lấy mẫu DDR6 bắt đầu (7.200 MT/s, 60GB/s mỗi DIMM) - SSD PCIe 6.0 cung cấp tốc độ đọc tuần tự 28GB/s - CXL 3.0 cho phép gộp bộ nhớ trên các rack
- ASIC chuyển mạch 12.8T với CPO tích hợp - Tín hiệu 400G mỗi làn(so với mức tối đa 200G hiện tại) - Chuyển mạch mạch quang cho phân bổ băng thông động - Bộ tăng tốc AI quang tử thương mại đầu tiên(tính toán quang tương tự)
- Chuyển mạch cấp rack bằng quang học thay thế phân phối điện - Quang tử silicon rẻ hơn đồng ở tốc độ >100Gbps - Bộ nhớ bền(gắn CXL) thay thế NVMe cho lưu trữ ấm - Liên kết bảo mật vướng víu lượng tử để đồng bộ hóa mô hình AI giữa các DC
Các mô hình AI đang thu hút sự chú ý — GPT-5, Gemini Ultra, Claude Opus — chỉ có khả năng bằng cơ sở hạ tầng bên dưới chúng. Tại CIOE 2026, thông điệp là không thể nhầm lẫn: kỷ nguyên AI đang được xây dựng từng mô-đun quang, từng SSD và từng DIMM bộ nhớ.
Đối với các tổ chức triển khai cơ sở hạ tầng AI, ba mệnh lệnh đã xuất hiện:
1. Đừng chờ đợi công nghệ hoàn hảo – 800G và DDR5 đã sẵn sàng sản xuất ngay bây giờ 2. Thiết kế cho di chuyển dữ liệu, không chỉ tính toán – Lưu trữ và mạng ngang hàng với GPU 3. Hợp tác với các nhà cung cấp hiểu rõ ngăn xếp – Quang học, lưu trữ và tính toán phải được kiến trúc cùng nhau
Topstar Technology đứng ở giao điểm này — kết hợp các thành phần tiên tiến, chuyên môn kỹ thuật sâu và sự nhanh nhẹn của chuỗi cung ứng để đáp ứng các mốc thời gian triển khai đầy tham vọng. Cho dù bạn đang xây dựng cụm AI đầu tiên hay mở rộng lên 100.000 GPU, chúng tôi sẵn sàng trở thành đối tác cơ sở hạ tầng của bạn.
Tương lai của trí tuệ đang được xây dựng ngày hôm nay. Hãy cùng nhau xây dựng nó.
---
Topstar là nhà cung cấp hàng đầu các thành phần cơ sở hạ tầng AI, chuyên về: - Mô-đun Quang học: Giải pháp CPO/NPO QSFP-DD 800G/1.6T, OSFP 400G - Lưu trữ Doanh nghiệp: SSD NVMe (PCIe 4.0/5.0), SATA Doanh nghiệp, các yếu tố hình thức U.2/U.3 - Bộ nhớ Máy chủ: DDR5 RDIMM/LRDIMM, HBM cho bộ tăng tốc AI - GPU & Mạng: GPU AI NVIDIA, SmartNIC Mellanox, Bộ chuyển mạch Broadcom
Với hơn 15 năm phục vụ các trung tâm dữ liệu hyperscale, nhà mạng viễn thông và khách hàng doanh nghiệp, chúng tôi kết hợp chất lượng cấp OEM với kinh tế hộp trắng.
📧 Yêu cầu Kỹ thuật: dsale@topsfp.com 🌐 Danh mục Sản phẩm: www.opticalmodulemanufacturers.com | www.qsfp28module.com 📱 Kết nối: [Facebook](https://www.facebook.com/topstar.sfp/) | [LinkedIn](https://www.linkedin.com/company/13177171/)
---
Từ khóa: Quang học đóng gói đồng thời, CPO, NPO, trung tâm dữ liệu AI, SSD doanh nghiệp, bộ nhớ máy chủ DDR5, NVMe PCIe 5.0, quang tử silicon, kết nối quang học, lưu trữ GPU, CIOE 2026, mạng tốc độ cao, cơ sở hạ tầng AI
Thẻ SEO: #CoPackagedOptics #CPO #NPO #AIInfrastructure #EnterpriseSSD #DDR5Memory #DataCenter #CIOE2026 #SiliconPhotonics #GPUStorage #OpticalModules #NVMe
Người liên hệ: Ms. Vicky Tian
Tel: +86 19860146913
Fax: 86-0755-82552969
Vietnamese
