Một nền tảng sẵn sàng cho AI từ NVIDIA

NVIDIA AI Enterprise là bộ phần mềm cho phép các tổ chức khai thác sức mạnh của AI, ngay cả khi họ không có chuyên môn về AI. Được tối ưu để chuẩn hóa việc phát triển và triển khai AI, NVIDIA AI Enterprise bao gồm các container và framework mã nguồn mở đã được chứng minh, và chứng nhận để chạy trên các nền tảng trung tâm dữ liệu phổ biến như VMware và Red Hat, các máy chủ được chứng nhận (NVIDIA Certified-Systems) được định cấu hình với GPU hoặc chỉ CPU, và trên dịch vụ đám mây. Vì được bao gồm gói hỗ trợ, các khách hàng sẽ có được tính minh bạch của nguồn mở mà vẫn đảm bảo rằng nhóm Enterprise Support của NVIDIA toàn cầu sẽ giúp các dự án AI đi đúng hướng. Với phần mềm NVIDIA AI Enterprise, các công ty, tổ chức ở mọi quy mô đều có thể truy cập AI, cung cấp sức mạnh xử lý chuyên sâu, công cụ và các hỗ trợ từ chuyên gia của NVIDIA để có thể tập trung vào việc tạo ra giá trị kinh doanh từ AI, chứ không phải vào bản thân hạ tầng AI.

Được tối ưu để mọi công ty đều có thể “rành rẽ” với AI: Mọi bước của quy trình làm việc AI đều được sắp xếp hợp lý, từ việc chuẩn bị dữ liệu, đến đào tạo, suy luận và triển khai, và các nhà nghiên cứu AI có thể đào tạo các neural network model phức tạp, cũng như các tree-based model. Được tối ưu cho việc phát triển và triển khai AI, NVIDIA AI Enterprise bao gồm các container và framework nguồn mở đã được chứng minh, giúp dễ dàng áp dụng AI doanh nghiệp, chẳng hạn như Conversational AI thường được sử dụng để hỗ trợ khách hàng tự động và các nhân viên bán hàng ảo (digital agent) và thị giác máy tính được sử dụng để chia lớp, phân loại và phát hiện.

Được chứng nhận để triển khai ở mọi nơi: Được chứng nhận để chạy trên các máy chủ phổ thông được NVIDIA chứng nhận với phần mềm NVIDIA AI Enterprise — cho dù là ảo hóa, máy chủ vật lý, chỉ có CPU, trên dịch vụ đám mây, hoặc được tăng tốc bởi GPU – NVIDIA AI Enterprise có thể được triển khai ở hầu hết mọi nơi và cho phép các dự án AI để có thể được truy cập linh hoạt qua các trung tâm dữ liệu dạng hybrid hiện nay.

Được hỗ trợ bởi đội ngũ chuyên gia của NVIDIA: Với NVIDIA Enterprise Support, cả chuyên gia trực triển khai AI và đội ngũ quản trị IT đều có thể tiếp cận với các chuyên gia NVIDIA trên toàn cầu, để được phối hợp hỗ trợ trên toàn bộ giải pháp bao gồm các sản phẩm của đối tác, cũng như kiểm soát lịch trình nâng cấp và bảo trì với sự hỗ trợ lâu dài (LTS) tùy chọn và quyền truy cập vào các khóa đào tạo khách hàng có người hướng dẫn, cũng như các nguồn tài nguyên kiến ​​thức nền tảng khác.

Hiểu quy trình làm việc AI toàn diện

Bộ phần mềm NVIDIA AI Enterprise cung cấp cho bạn mọi thứ bạn cần để triển khai và hỗ trợ cho hạ tầng AI. Hình ảnh bên dưới phác thảo quy trình làm việc điển hình của AI và cách triển khai các công cụ, tính năng cũng như GPU.

Bắt đầu từ bên trái, các học viên AI phải chuẩn bị dữ liệu trước khi họ đào tạo mạng neural. Để làm được điều này, RAPIDS là một công cụ tuyệt vời cho tải công việc ML, cũng như dữ liệu định dạng và ghi nhãn sẽ được sử dụng cho các workflow đào tạo. Khi dữ liệu đã sẵn sàng, người thực hành AI sẽ chuyển sang giai đoạn đào tạo. NVIDIA AI Enterprise cung cấp các container được tùy biến, xây dựng sẵn để đào tạo mạng thần kinh bằng các công cụ như TensorFlow và PyTorch. NVIDIA TAO Toolkit cung cấp cho bạn cách thức nhanh hơn, dễ dàng hơn để tăng tốc đào tạo và nhanh chóng tạo ra các mô hình AI đàm thoại và giao tiếp có độ chính xác cao và hiệu quả, theo lĩnh vực cụ thể. Thông tin bổ sung liên quan đến các container được đề cập trong phần bên dưới. Người thực hành AI có thể tối ưu hóa hơn nữa các mô hình mới được đào tạo của họ để trở nên hiệu quả nhất bằng cách sử dụng TensorRT SDK và các công cụ của NVIDIA. Điều này được thực hiện bằng cách hợp nhất các lớp và loại bỏ các bước không cần thiết. Cuối cùng, khi mô hình đã sẵn sàng cho giai đoạn production ở quy mô lớn, máy chủ suy luận NVIDIA Triton có thể phục vụ các yêu cầu inference được gửi đến. Nó cho phép các ứng dụng client front-end gửi các yêu cầu inference cho một cụm suy luận AI và có thể phục vụ các mô hình từ kho lưu trữ mô hình AI.

Vui lòng tham khảo Hướng dẫn giải pháp AI dành cho doanh nghiệp để hiểu thêm về cách cài đặt và triển khai các AI pipeline cấp doanh nghiệp toàn diện này.

NVIDIA AI Enterprise

Bộ phần mềm NVIDIA AI Enterprise bao gồm các framework và container AI cung cấp các framework và công cụ khoa học dữ liệu, đào tạo và suy luận được tối ưu hóa hiệu suất nhằm đơn giản hóa việc xây dựng, chia sẻ và triển khai phần mềm AI, vì vậy doanh nghiệp có thể thu thập các thông tin chiết xuất dữ liệu nhanh hơn và mang lại giá trị kinh doanh sớm hơn. Ngay cả các tổ chức thiếu chuyên môn về AI cũng có thể áp dụng AI vì NVIDIA AI Enterprise bao gồm các công cụ dễ sử dụng cho mọi giai đoạn của quy trình làm việc AI, từ chuẩn bị dữ liệu đến đào tạo, suy luận và triển khai trên quy mô lớn.

• NVIDIA TAO Toolkit – cung cấp cho bạn một cách nhanh hơn, dễ dàng hơn để tăng tốc đào tạo và nhanh chóng tạo ra các mô hình AI đàm thoại và giao tiếp có độ chính xác cao và hiệu quả, theo lĩnh vực cụ thể. Nó loại bỏ sự phức tạp của các framework AI/Deep Learning, cho phép bạn tinh chỉnh các mô hình được đào tạo trước, chất lượng cao của NVIDIA chỉ với một phần dữ liệu so với đào tạo từ đầu. Các nhà phát triển có thể vượt ra ngoài khả năng tùy chỉnh và tối ưu hóa các mô hình này được yêu cầu để có độ trễ thấp, thông lượng cao. Điều này cho phép bạn tạo các mô hình AI tùy chỉnh, sẵn sàng với giai đoạn production trong vài giờ, thay vì vài tháng, mà không cần đầu tư lớn vào chuyên môn về AI.
• NVIDIA RAPIDS – Bước đầu tiên trong quy trình AI end-to-end yêu cầu chuẩn bị dữ liệu trước khi có thể đào tạo mạng nơ-ron. NVIDIA RAPIDS được tối ưu hóa để tăng tốc GPU. Nó làm giảm các quy trình khoa học dữ liệu từ hàng giờ xuống còn vài giây, khi kết hợp với NVIDIA A100, cho hiệu suất nhanh hơn tới 70 lần và tiết kiệm chi phí hơn tới 20 lần khi so sánh với các cấu hình chỉ dành cho CPU tương tự.
• PyTorch và TensorFlow – Các framework học sâu mã nguồn mở để đào tạo và học máy, chẳng hạn như PyTorch và TensorFlow, được tích hợp với NVIDIA RAPIDS để đơn giản hóa việc phát triển AI của doanh nghiệp. Tận dụng các công cụ này và các mô hình được đào tạo trước, tăng tốc chu kỳ phát triển và triển khai, loại bỏ nhu cầu mua sắm, quản lý, chứng nhận và triển khai các môi trường khác nhau.
• Các ứng dụng dựa trên TensorRT hoạt động nhanh hơn tới 40 lần so với các nền tảng chỉ dùng CPU trong quá trình suy luận. Với TensorRT, bạn có thể tối ưu hóa các mô hình mạng thần kinh được đào tạo trong tất cả các khuôn khổ chính, hiệu chỉnh để có độ chính xác thấp hơn với độ chính xác cao và triển khai cho các trung tâm dữ liệu siêu tỷ lệ, nền tảng sản phẩm nhúng hoặc ô tô.
• Máy chủ suy luận NVIDIA Triton – Máy chủ suy luận Triton đơn giản và tối ưu hóa việc triển khai các mô hình AI trên quy mô sản xuất. Nó tích hợp với Kubernetes để điều phối và tự động mở rộng quy mô, đồng thời cho phép các ứng dụng client front end gửi các yêu cầu suy luận từ một cụm suy luận AI và có thể phục vụ các mô hình từ kho lưu trữ mô hình AI. Triton Inference Server hỗ trợ tất cả các khuôn khổ chính, chẳng hạn như TensorFlow, TensorRT, PyTorch, MXNet, Python, v.v. Triton Inference Server cũng bao gồm phần phụ trợ RAPIDS Forest Inference Library (FIL) 1 dành cho việc suy luận GPU và CPU của các mô hình ‘khu rừng ngẫu nhiên’, GBDT và ‘cây quyết định’. Triton với phần phụ trợ FIL mang lại hiệu suất suy luận tốt nhất cho các mô hình tree-based trên GPU, cho phép triển khai đơn giản các mô hình cây lớn trên GPU với độ trễ thấp và độ chính xác cao.

---

Phần cứng và phần mềm được hỗ trợ

Các dòng GPU hỗ trợ cho NVIDIA AI Enterprise:

• NVIDIA DGX H100³
• NVIDIA H100 PCIe⁴
• NVIDIA DGX A100³
• NVIDIA A100 40GB
• NVIDIA A100 HGX 40GB
• NVIDIA A100X 40GB
• NVIDIA A100 80GB
• NVIDIA A100 HGX 80GB
• NVIDIA A100X 80GB
• NVIDIA A40¹

• NVIDIA A30
• NVIDIA A30X
• NVIDIA A10
• NVIDIA A16
• NVIDIA A2
• NVIDIA RTX A6000²
• NVIDIA RTX A5000²
• NVIDIA T4
• NVIDIA V100

Các hệ thống được NVIDIA chứng nhận (NVIDIA Certified-Systems) được chứng nhận đặc biệt xác thực để triển khai NVIDIA AI Enterprise một cách tối ưu.

Mở rộng quy mô đa node yêu cầu một NIC ethernet hỗ trợ RoCE. Để có hiệu suất tốt nhất, NVIDIA khuyến nghị sử dụng NVIDIA Mellanox ConnectX-6 Dx và GPU NVIDIA A100 trong mỗi máy ảo được sử dụng để mở rộng đa nút. Vui lòng tham khảo các tài liệu Sizing guide và hướng dẫn giải pháp Multi-node Training để biết thêm thông tin.

Phần mềm Hypervisor:

• VMware vSphere Hypervisor (ESXi) Enterprise Plus Edition 7.0 Cập nhật 2 trở lên
• VMware vCenter Server 7.0 Update 2 trở lên

NVIDIA AI Enterprise 1.1

• VMware vSphere Hypervisor (ESXi) Enterprise Plus Edition 6.7
• VMware vCenter Server 6.7

Hệ điều hành Guest và máy vật lý:

NVIDIA AI Enterprise 2.1

• Red Hat Enterprise Linux 9.0
• Ubuntu 22.04

NVIDIA AI Enterprise 2.0

• Red Hat CoreOS 4.9 trở lên

Nền tảng điều phối vùng chứa:

NVIDIA AI Enterprise 1.1

• VMware vShpere 7.0 Cập nhật 3c với Tanzu

NVIDIA AI Enterprise 2.0

• Red Hat OpenShift 4.9 trở lên

Các phần mềm thành phần của NVIDIA AI Enterprise

Software Components	NVIDIA Release Version
NVIDIA vGPU Software	510.85.03
NVIDIA AI Enterprise Driver Software	510.85.02
NVIDIA GPU Operator	v1.11.1
NVIDIA Network Operator	v1.2.0
TensorFlow 1	22.07
Pytorch	22.07
NVIDIA Triton Inference Server	22.07
NVIDIA TensorRT	22.07
NVIDIA RAPIDS	22.06
TAO Toolkit for Language Model (Conv AI)	3.22.05
TAO Toolkit for Conv AI	3.22.05
TAO Toolkit for CV	3.22.05

Giới thiệu về NVIDIA

NVIDIA với xuất phát điểm từ hãng sản xuất card tăng tốc đồ họa từ năm 1993, đến nay, hãng đã chuyển mình thành công ty chuyên cung cấp giải pháp điện toán Data Center hiệu năng cao, siêu máy tính cho AI và phân tích dữ liệu.

SEAONER SOLUTION là nhà cung cấp các giải pháp hạ tầng CNTT, Điện toán Hiệu năng cao (HPC) cho AI với kinh nghiệm kinh doanh phần cứng từ năm 2005. Chúng tôi là nhà phân phối chính thức của NVIDIA cho các hệ thống điện toán hiệu năng cao dựa trên GPU bao gồm DGX A100, DGX Station A100 và hệ thống cụm siêu máy tính DGX SuperPOD với sức mạnh lưu trữ song song của DDN và mạng tốc độ cao từ Mellanox.