Quản lý nhiệt
Blogs

Các kỹ sư của chúng tôi thường xuyên cập nhật những công nghệ mới nổi và vật liệu tiên tiến trong lĩnh vực thiết kế tản nhiệt. Chúng tôi chia sẻ các trường hợp thực tế trong ngành, dữ liệu thử nghiệm và phân tích kỹ thuật để bạn tham khảo. Những hiểu biết thực tiễn này nhằm mục đích truyền cảm hứng và giúp bạn giải quyết các thách thức về tản nhiệt trong các dự án thiết kế sắp tới.

Tản nhiệt ống dẫn nhiệt 750W

Giải pháp làm mát bằng dầu ngâm máy chủ GPU NVIDIA H200

Chia sẻ bài đăng này:

Trong kỷ nguyên bùng nổ sức mạnh tính toán AI, GPU, với vai trò là các đơn vị tính toán cốt lõi, phải đối mặt với những thách thức đáng kể về độ ổn định phần cứng và hiệu suất tính toán do hiệu quả tản nhiệt của chúng. Mức tiêu thụ điện năng của GPU NVIDIA H200 thay đổi tùy thuộc vào kiểu máy và kịch bản sử dụng. Phiên bản tiêu chuẩn có công suất thiết kế nhiệt (TDP) là 700W. Mặt khác, phiên bản H200 NVL có TDP là 600W, phù hợp hơn với các hệ thống rack doanh nghiệp làm mát bằng không khí với yêu cầu điện năng thấp hơn. Trong hoạt động thực tế, mức tiêu thụ điện năng cũng thay đổi tùy thuộc vào tải. Ví dụ, trong quá trình huấn luyện AI, mức tiêu thụ điện năng động của H200 có thể đạt khoảng 750W. Với hệ thống làm mát bằng chất lỏng và ép xung được bật, mức tiêu thụ điện năng có thể vượt quá 800W. Khi tám GPU được triển khai trên một bo mạch chủ duy nhất, tổng mức tiêu thụ điện năng vượt quá 6000W, đặt ra thách thức đáng kể đối với giải pháp làm mát ban đầu của NVIDIA. Bài viết này không chỉ xem xét logic tối ưu hóa làm mát cho kịch bản công suất cao này mà còn dựa trên kinh nghiệm của chúng tôi trong việc tùy chỉnh giải pháp cho nhà máy AI FIRMUS của Úc (trang web chính thức: www.firmus.com) và cung cấp 3000 mẫu. Điều này cung cấp tài liệu tham khảo thực tiễn cho thiết kế làm mát bằng chất lỏng cho các cụm GPU mật độ cao.

1, Bối cảnh giải pháp: Vấn đề tản nhiệt của máy chủ H200 8 GPU và những điểm khó khăn của Firmus


GPU NVIDIA H200, phần cứng cốt lõi cho đào tạo AI hiện tại và điện toán hiệu suất cao, thường tiêu thụ 750W điện năng cho mỗi card, tăng 30% so với các thế hệ trước. Khi sử dụng thiết kế bo mạch chủ 8 GPU, hệ thống phải đồng thời xử lý nguồn nhiệt tập trung 6,000W. Hơn nữa, diện tích chip GPU nhỏ và mật độ thông lượng nhiệt cực kỳ cao. Nếu tản nhiệt không được quản lý đầy đủ, không chỉ xảy ra hiện tượng điều chỉnh tần số phần cứng (dẫn đến mất công suất tính toán hơn 20%) mà nhiệt độ cao kéo dài cũng có thể làm giảm tuổi thọ của GPU. Điểm khó khăn này đặc biệt nghiêm trọng trong bối cảnh của Firmus, một nhà máy AI của Úc. Là một công ty chuyên phát triển thuật toán AI công nghiệp và cho thuê năng lượng tính toán quy mô lớn, các trung tâm dữ liệu của Firmus được đặt tại Singapore và Công viên Công nghệ Sydney. Chúng phải đồng thời đáp ứng ba yêu cầu cốt lõi: triển khai mật độ cao (20+ máy chủ H200 8 GPU trên mỗi tủ), độ ồn thấp (giới hạn tiếng ồn ban đêm ≤40dB) và hoạt động ổn định (mất điện năng tính toán không quá một giờ quanh năm). Giải pháp của NVIDIA rõ ràng đã không đáp ứng được các yêu cầu này.

Ban đầu, Firmus tập trung vào thiết kế toàn bộ phòng máy tính và đảm bảo sự ổn định của hệ thống đường ống. Tuy nhiên, sau khi nhận được bộ tản nhiệt GPU H200 nguyên bản của NVIDIA, họ phát hiện ra rằng nó không hoạt động với hệ thống tản nhiệt ngâm dầu. Thiết kế cốt lõi và các vấn đề như sau:
• Cấu trúc làm mát: Một đáy buồng hơi + Tổ hợp ống dẫn nhiệt hàn truyền nhiệt từ lõi GPU đến các cánh tản nhiệt thông qua quá trình thay đổi pha của quá trình bay hơi và ngưng tụ của chất lỏng làm việc bên trong buồng hơi. Tuy nhiên, do toàn bộ đáy được bao bọc trong chất làm mát, chất lỏng làm việc bên trong buồng hơi không thể bốc hơi, ngăn cản quá trình truyền nhiệt. Khi hoạt động đầy tải, nhiệt độ lõi H200 thường xuyên vượt quá 95°C (gần ngưỡng an toàn 100°C), và việc giảm tần suất thường xuyên đã ảnh hưởng đến tiến độ đào tạo AI. Do đó, sau khi nhận được yêu cầu dự án, các kỹ sư của chúng tôi tại Kenfa Tech đã thiết kế một giải pháp làm mát ngâm hiệu suất cao hơn chỉ trong một ngày và cuối cùng đã xác nhận tính khả thi của giải pháp này với nhóm nghiên cứu sinh tiến sĩ của khách hàng.

Giải pháp tối ưu hóa: Triển khai công nghệ làm mát bằng dầu ngâm và thiết kế tùy chỉnh của Firmus

Để giải quyết các điểm nghẽn của giải pháp làm mát bằng không khí và đáp ứng các yêu cầu về mật độ cao, tiếng ồn thấp của Firmus, chúng tôi đã nâng cấp môi trường tản nhiệt từ không khí sang dầu nhiệt cách nhiệt. Giải pháp làm mát bằng dầu ngâm tùy chỉnh này tận dụng độ dẫn nhiệt cao và độ êm của chất lỏng để giải quyết các vấn đề chính. Chi tiết thiết kế cụ thể như sau:

2, Nâng cấp cấu trúc làm mát lõi: Kết hợp tấm đế đồng + ống dẫn nhiệt tương thích với GPU H200 8 GPU.

Thiết kế "buồng hơi + quạt" làm mát bằng không khí truyền thống đã được thay thế bằng tấm đế bằng đồng + hàn độc lập ống dẫn nhiệt Cấu trúc phù hợp hơn với môi trường làm mát bằng dầu. Khả năng tương thích cũng đã được tối ưu hóa cho kích thước bo mạch chủ máy chủ Firmus:
• Đế đồng: Được làm bằng đồng T2, bám dính trực tiếp vào lõi GPU H200 (với dung sai lắp đặt ≤0.05mm). Độ dẫn nhiệt của đồng (401W/m·K) cao hơn không khí gấp 1000 lần, giúp hấp thụ nhiệt lõi nhanh chóng và ngăn ngừa sự tích tụ nhiệt độ cao cục bộ.

• Ống dẫn nhiệt được hàn độc lập: Mỗi GPU được trang bị 24 ống dẫn nhiệt bằng đồng không chứa oxy đường kính 6mm, được kết nối với tấm đế bằng đồng thông qua quy trình hàn chân không (điện trở nhiệt tại mối hàn ≤0.02°C/W). Tốc độ chuyển pha của chất lỏng làm việc trong các ống dẫn nhiệt nhanh hơn 50% so với các trường hợp làm mát bằng không khí, đảm bảo truyền nhiệt hiệu quả đến dầu. Chìa khóa nằm ở khả năng truyền một lượng nhiệt lớn đến cánh tản nhiệt trong một khu vực cục bộ, sau đó được loại bỏ bởi chất làm mát.

3, Lựa chọn dầu và kiểm soát nhiệt độ: Đáp ứng yêu cầu hoạt động ổn định quanh năm của Firmus


Để đáp ứng yêu cầu “quanh năm, không gián đoạn” của Firmus, việc tối ưu hóa dự phòng đã được thực hiện trong thiết kế hệ thống lựa chọn và lưu thông dầu:

• Lựa chọn dầu: Dầu cách điện khoáng cấp công nghiệp có độ dẫn nhiệt 1.14 W/m·K, điện áp đánh thủng ≥ 50 kV (để ngăn ngừa hư hỏng điện cho phần cứng) và độ nhớt ở nhiệt độ thấp ≤ 20 mm²/s (để thích ứng với nhiệt độ thấp tại trung tâm dữ liệu của Sydney vào mùa đông và ngăn ngừa sự suy giảm tính lưu động).

Kiểm soát nhiệt độ: Bộ trao đổi nhiệt ngoài tuần hoàn kép được thiết kế để duy trì nhiệt độ dầu ổn định ở khoảng 40°C (với biên độ dao động ±2°C). Điều này ngăn ngừa sự suy giảm hiệu suất tản nhiệt do nhiệt độ dầu tăng, ngay cả khi Firmus hoạt động hết công suất vào mùa hè (tám GPU chạy đồng thời bài tập mô hình lớn).
• Dự phòng: Bộ trao đổi nhiệt được trang bị một bộ bơm dự phòng. Nếu bơm chính bị hỏng, bơm dự phòng có thể được chuyển sang hoạt động trong vòng 0.5 giây, đáp ứng yêu cầu về độ tin cậy của Firmus là "không gián đoạn hoạt động quá một giờ mỗi năm".

4,Giao hàng mẫu FIRMUS: Kiểm định quy mô 3,000 sản phẩm

Để đảm bảo tính ổn định của giải pháp, chúng tôi đã cung cấp 3,000 mô-đun làm mát bằng dầu ngâm cho FIRMUS theo ba đợt, đáp ứng các yêu cầu thử nghiệm của năm cụm máy tính của họ:

• Lô đầu tiên gồm 1,000 thiết bị (tháng 10 năm 2024): Được sử dụng để kiểm tra tải đầy đủ của một máy chủ duy nhất nhằm xác minh nhiệt độ lõi. Với bộ tản nhiệt tốt, nhiệt độ toàn bộ GPU được kiểm soát ở mức khoảng 68°C. Kết quả này đã được chuyển giao thành công đến người dùng cuối, đạt được tổng điểm hiệu suất làm mát (PUE) khoảng 1.145 trong trung tâm dữ liệu. • Lô thứ hai gồm 900 thiết bị (tháng 4 năm 2025): Được triển khai trong cụm 100 máy chủ để kiểm tra khả năng phối hợp làm mát trong môi trường mật độ cao; một lần nữa, hiệu suất vẫn ổn định, với nhiệt độ GPU được kiểm soát hoàn hảo dưới 68°C.
• Lô hàng thứ ba gồm 1200 sản phẩm (tháng 9 năm 2025): Được sử dụng trong thử nghiệm tải tủ tại Singapore để kiểm tra độ ổn định trong môi trường nhiệt độ cao 45°C. Một lần nữa, nhiệt độ GPU được kiểm soát ổn định dưới 68°C, chứng minh đầy đủ rằng giải pháp thiết kế của chúng tôi giải quyết hoàn hảo các vấn đề quản lý nhiệt của GPU H200.

5, Kết quả giải pháp: Từ dữ liệu phòng thí nghiệm đến phản hồi thực tế của Firmus


Cả dữ liệu thử nghiệm của chúng tôi và phản hồi thực tế của Firmus đều chứng minh những ưu điểm của giải pháp làm mát bằng dầu ngâm. Các chỉ số hiệu suất chính như sau:
• Nhiệt độ lõi GPU: Ổn định ở mức khoảng 68°C khi tải đầy đủ, giảm 22°C so với giải pháp tản nhiệt bằng không khí trước đây của Firmus (trên 90°C). H200 không bao giờ bị giới hạn xung nhịp, giúp tăng công suất tính toán khoảng 18% (và giảm thời gian đào tạo mô hình lớn của Firmus khoảng 15%).
• Mức độ tiếng ồn: Trung tâm dữ liệu mức độ tiếng ồn đã giảm từ 65dB xuống dưới 10dB (tuân thủ đầy đủ các giới hạn tiếng ồn do Công viên Công nghệ Sydney và Khu công nghệ cao Singapore đặt ra).
• So sánh mức tiêu thụ năng lượng: Bộ trao đổi nhiệt bên ngoài của hệ thống làm mát bằng dầu ngâm được đặt trên mái của toàn bộ khuôn viên. Nhờ hệ thống làm mát bằng không khí tự nhiên và quạt thông minh, nhiệt độ đầu vào của chất làm mát luôn được duy trì ở mức 45°C trước khi đến phòng máy tính của trung tâm dữ liệu. So với mức tiêu thụ điện năng 400W của quạt không khí giải pháp làm mát, mức tiêu thụ năng lượng bổ sung giảm 62.5%. Theo Firmus… Tính toán trên quy mô 1,000 máy chủ, điều này có thể tiết kiệm chi phí điện năng cao hàng năm, giúp việc thuê máy chủ của họ có lợi nhuận hơn.
• Độ tin cậy của mẫu: Trong thời gian thử nghiệm 12 tháng của Firmus, không có mẫu nào trong số 3,000 mẫu gặp sự cố về làm mát, dẫn đến tỷ lệ lỗi bằng không, đáp ứng yêu cầu về “độ tin cậy cao” của họ.

Tóm tắt và triển vọng: Làm mát bằng dầu ngâm mở ra con đường mới cho các trung tâm dữ liệu AI mật độ cao

Dựa trên kinh nghiệm tùy chỉnh giải pháp cho FIRMUS và cung cấp 3,000 mẫu, chúng tôi nhận thấy rằng đối với các máy chủ GPU mật độ công suất cao như NVIDIA H200 8 card, hệ thống tản nhiệt khí truyền thống gặp khó khăn trong việc khắc phục các điểm nghẽn về lưu lượng nhiệt cao, tiếng ồn lớn, độ tin cậy thấp và PUE xấp xỉ 1.1. Hệ thống tản nhiệt dầu ngâm, thông qua sự kết hợp giữa vật liệu tản nhiệt được nâng cấp và thiết kế tùy chỉnh, không chỉ giải quyết các vấn đề về nhiệt độ lõi mà còn thích ứng với các nhu cầu cá nhân hóa trong các tình huống khác nhau (chẳng hạn như mật độ cao, tiếng ồn thấp và độ tin cậy cao của FIRMUS).

Trong tương lai, chúng tôi dự định hợp tác với FIRMUS để phát triển giải pháp tấm làm mát lỏng + hợp kim lỏng hiệu quả hơn cho GPU NVIDIA GB200 và GB300, tối ưu hóa cấu trúc làm mát cho máy chủ GPU thế hệ tiếp theo. Mục tiêu của chúng tôi là giữ nhiệt độ dầu dưới 45°C trong khi vẫn duy trì nhiệt độ GPU dưới 70°C. Chúng tôi cũng sẽ chuẩn hóa kinh nghiệm thực tế của FIRMUS và tiếp tục hỗ trợ kỹ thuật cho các dự án của họ vào năm tới, cung cấp giải pháp làm mát dầu ngâm có thể tái sử dụng cho nhiều nhà máy AI ở nước ngoài hơn.