Intel® Advanced Matrix Extensions là gì?

Bộ xử lý có khả năng thay đổi Intel® Xeon® và Tiện ích mở rộng Ma trận nâng cao Intel®

Khối lượng công việc học sâu, chẳng hạn như những công việc tạo ra dựa vào AI, mô hình ngôn ngữ lớn (LLM) và thị giác máy tính, có thể đòi hỏi hiệu năng cao và thường xuyên có thêm phần cứng chuyên dụng để đảm bảo triển khai AI thành công. Chi phí phân bổ của các yêu cầu này có thể nhanh chóng leo thang và việc thêm các giải pháp phần cứng rời có thể tạo ra các lớp phức tạp và vấn đề tương thích không cần thiết.

Để giúp khối lượng công việc học sâu của bạn hiệu quả hơn, tiết kiệm chi phí và dễ dàng hơn để đào tạo và triển khai, Intel® AMX trên bộ xử lý có khả năng thay đổi Intel® Xeon® mang lại khả năng tăng tốc để suy luận và đào tạo đồng thời giảm thiểu nhu cầu về phần cứng chuyên dụng.

Intel® AMX là một trong hai công cụ Intel® AI Engines được tích hợp vào bộ xử lý Có khả năng thay đổi Intel® Xeon®, giúp bạn tận dụng tối đa CPU của mình để tăng cường khối lượng công việc đào tạo và suy luận AI ở quy mô lớn để mang lại nhiều lợi ích bao gồm cải thiện hiệu quả, giảm chi phí suy luận, đào tạo và triển khai và tổng chi phí sở hữu (TCO) thấp hơn. Là bộ tăng tốc tích hợp nằm trên mỗi lõi CPU và được đặt gần bộ nhớ hệ thống, Intel® AMX thường ít phức tạp hơn để sử dụng hơn các bộ tăng tốc rời, dẫn đến thời gian tạo ra giá trị nhanh hơn.

Mặc dù tổ chức có nhiều cách hỗ trợ khối lượng công việc AI nâng cao, nền tảng dựa trên bộ xử lý có khả năng thay đổi Intel® Xeon® với bộ tăng tốc AI mạnh mẽ, có thể giúp bạn đạt được các mục tiêu hiệu suất đào tạo và suy luận của mình đồng thời giảm độ phức tạp, chi phí triển khai và vận hành của hệ thống để mang lại hiệu quả doanh nghiệp lớn hơn.

Cách Intel® AMX hoạt động

Intel® AMX là khối phần cứng chuyên dụng được tìm thấy trên lõi bộ xử lý có khả năng thay đổi Intel® Xeon® giúp tối ưu hóa và tăng tốc khối lượng công việc đào tạo và suy luận học sâu dựa trên ma trận.

Intel® AMX cho phép các khối lượng công việc AI chạy trên CPU thay vì phải dỡ tải sang một bộ gia tốc rời, nhờ đó cải thiện đáng kể hiệu năng.² Cấu trúc của công cụ hỗ trợ các loại dữ liệu BF16 (đào tạo/suy luận) và int8 (suy luận) và bao gồm hai thành phần chính:

• Tile: Chúng bao gồm tám thanh ghi hai chiều, mỗi thanh ghi 1 kilobyte kích thước, lưu trữ khối dữ liệu lớn.
• Phép nhân Ma trận Tile (TMUL): TMUL là công cụ tăng tốc được gắn vào các ô thực hiện tính toán ma trận cho AI.

Cùng nhau, các thành phần này cho phép Intel® AMX lưu trữ nhiều dữ liệu hơn trong mỗi lõi và tính toán ma trận lớn hơn trong một hoạt động duy nhất. Ngoài ra, Intel® AMX được kiến trúc để có thể mở rộng và mở rộng hoàn toàn.

Lợi ích của Intel® AMX cho kết quả kinh doanh tốt hơn

Intel® AMX cho phép bộ xử lý có khả năng thay đổi Intel® Xeon® tăng hiệu năng của khối lượng công việc đào tạo và suy luận học sâu bằng cách cân bằng suy luận, trường hợp sử dụng nổi bật nhất cho CPU trong các ứng dụng AI, với nhiều khả năng đào tạo hơn.

Nhiều khách hàng của Intel đang tận dụng Intel® AMX để mang lại kết quả tốt hơn cho tổ chức của họ. Với bộ xử lý Intel® Xeon® thế hệ thứ 5, khách hàng có thể trải nghiệm khả năng đào tạo và suy luận nhanh hơn lên đến 14 lần so với bộ xử lý Intel® Xeon® thế hệ thứ 3.³

Lợi ích chính của Intel® AMX bao gồm:

• Hiệu suất được cải thiện
  Tăng tốc dựa trên CPU có thể cải thiện hiệu quả sử dụng năng lượng và tài nguyên, mang lại cho bạn hiệu năng tốt hơn với cùng một mức giá.
  Ví dụ, Intel® Xeon® Platinum 8592+ thế hệ thứ 5 với Intel® AMX BF16 đã cho thấy hiệu năng suy luận nhận dạng giọng nói thời gian thực (RNN-T) cao hơn lên đến 10,7 lần và hiệu năng/watt cao hơn 7,9 lần so với bộ xử lý Intel® Xeon® thế hệ thứ 3 với FP32.⁴
• Giảm Tổng chi phí sở hữu (TCO)
  bộ xử lý có khả năng thay đổi Intel® Xeon® với Intel® AMX cho phép một loạt các cải tiến hiệu quả giúp giảm chi phí, hạ thấp TCO và thúc đẩy các mục tiêu bền vững.
  Là bộ tăng tốc tích hợp trên bộ xử lý có khả năng thay đổi Intel® Xeon® mà bạn có thể đã sở hữu, Intel® AMX cho phép bạn tối đa hóa khoản đầu tư mà bạn đã thực hiện và nhận được nhiều hơn từ CPU của mình, loại bỏ chi phí và độ phức tạp thường được phân bổ bằng bộ tăng tốc rời.
  Bộ xử lý có khả năng thay đổi Intel® Xeon® với Intel® AMX cũng có thể cung cấp cấu trúc máy chủ tiết kiệm chi phí hơn so với các tùy chọn có sẵn khác, mang lại cả lợi ích giảm năng lượng và phát thải.
  So với các máy chủ AMD Genoa 9654, bộ xử lý Intel® Xeon® Platinum thế hệ thứ 5 với Intel® AMX mang lại hiệu năng suy luận Xử lý Ngôn ngữ Tự nhiên theo nhóm (BERT-Large) cao hơn lên đến 2,69 lần và hiệu năng trên mỗi watt cao hơn 2,96 lần.⁵
• Giảm thời gian phát triển
  Để đơn giản hóa quá trình phát triển các ứng dụng học sâu, chúng tôi làm việc chặt chẽ với cộng đồng nguồn mở, bao gồm các dự án TensorFlow và PyTorch, để tối ưu hóa khung cho phần cứng Intel®, nâng cấp các tối ưu hóa và tính năng mới nhất của chúng tôi để chúng có sẵn ngay lập tức cho nhà phát triển. Điều này cho phép bạn tận dụng lợi ích hiệu năng của Intel® AMX với việc bổ sung một vài dòng mã, giảm thời gian phát triển tổng thể.
  Chúng tôi cũng cung cấp quyền truy cập vào các công cụ, thư viện và tài nguyên phát triển Intel® miễn phí.

Các tình huống sử dụng học sâu Intel® AMX

Intel® AMX có thể được triển khai trong nhiều trường hợp sử dụng học sâu để cung cấp hiệu năng đáng kể dẫn đến giá trị doanh nghiệp và người dùng cuối lớn hơn.

• Hệ thống đề xuất: Sử dụng Intel® AMX như là giải pháp tiết kiệm chi phí hơn cho các mô hình đề xuất AI, giúp tăng khả năng phản hồi của sản phẩm, nội dung và khuyến nghị dịch vụ cho các tình huống sử dụng, bao gồm thương mại điện tử, phương tiện truyền thông xã hội, giải trí trực tuyến và ngân hàng cá nhân hóa. Ví dụ: các nhà cung cấp nội dung thường sử dụng Intel® AMX để tăng tốc độ phân phối các đề xuất phim hoặc quảng cáo được nhắm mục tiêu hoặc để cung cấp hệ thống giới thiệu dựa trên học sâu có các tín hiệu hành vi người dùng và các tính năng ngữ cảnh trong thời gian thực như thời gian và địa điểm gần thời gian thực. Bộ xử lý Intel® Xeon® thế hệ thứ 5 mang lại hiệu năng suy luận Hệ thống Đề xuất theo nhóm (DLRM) cao hơn lên đến 8,7 lần và hiệu năng trên watt cao hơn 6,2 lần so với bộ xử lý Intel® Xeon® thế hệ thứ 3 với FP32.⁶
• Xử lý ngôn ngữ tự nhiên (NLP): Tăng tốc các tình huống sử dụng dựa trên văn bản để hỗ trợ và mở rộng các ứng dụng NLP, chẳng hạn như những ứng dụng được sử dụng trong chăm sóc sức khỏe và khoa học đời sống để trích xuất thông tin chi tiết từ ghi chú lâm sàng hoặc xử lý một lượng lớn dữ liệu y tế để giúp phát hiện sớm các vấn đề sức khỏe và cải thiện việc chăm sóc. Trong các dịch vụ tài chính, Intel® AMX có thể được sử dụng để cải thiện khả năng phản hồi chatbot trực tuyến để giúp kết nối khách hàng với thông tin họ cần nhanh hơn đồng thời giải phóng số lượng nhân viên vốn đã hạn chế để giải quyết các yêu cầu khác phức tạp hơn.
  Tương tự như lợi ích tiết kiệm chi phí cho hệ thống giới thiệu, Intel® AMX có thể là giải pháp tiết kiệm chi phí hơn cho NLP. Ví dụ, khi sử dụng để triển khai mô hình Ngôn ngữ Tự nhiên AI BERT-Large, Intel® AMX trên bộ xử lý Intel® Xeon® thế hệ thứ 4 đã tiết kiệm lên đến 79% so với AMD Genoa 9354.⁷
• AI sáng tạo: Tận dụng Intel® AMX để tăng tốc hiệu năng của khối lượng công việc đào tạo và suy luận học sâu cho các tình huống sử dụng AI sáng tạo như tạo nội dung, bao gồm hình ảnh, video và âm thanh, dịch ngôn ngữ, tăng cường tổng hợp dữ liệu và tóm tắt. Ví dụ: đánh giá hiệu năng của bộ xử lý Intel® Xeon® Platinum 8480+ với Intel® AMX cho các loại dữ liệu BF16 so với bộ xử lý Intel® Xeon® Platinum 8380 cho các loại dữ liệu FP32 đã giảm thời gian tạo hình ảnh từ văn bản Khuếch tán Ổn định xuống dưới năm giây và tinh chỉnh các mô hình Khuếch tán Ổn định xuống dưới năm phút.⁸
• Thị giác máy tính: Giảm thời gian từ video và ảnh đến thông tin chi tiết và hành động để mang lại trải nghiệm khách hàng đặc biệt và giúp doanh nghiệp của bạn cải thiện hiệu quả và giảm chi phí hoạt động. Ví dụ: trong các cửa hàng bán lẻ, Intel® AMX có thể giúp giảm thiểu thời gian giao dịch cho khách hàng sử dụng thị giác máy tính, thanh toán không ma sát và hỗ trợ giám sát gần thời gian thực để theo dõi dữ liệu hàng tồn kho và thông báo ngay lập tức cho nhân viên khi mặt hàng hết hàng. Trong sản xuất, phân tích video tăng tốc từ camera thị giác máy tính trên cánh tay robot có thể giúp tiết kiệm thời gian và chi phí với khả năng phát hiện lỗi tự động.

Để tìm thêm ví dụ về cách khách hàng Intel® đang sử dụng Intel® AMX để thúc đẩy kết quả kinh doanh tốt hơn, hãy truy cập thư viện tiêu điểm khách hàng của chúng tôi.

Bắt đầu với Intel® AMX

Chúng tôi cung cấp nhiều tài nguyên phát triển khác nhau để giúp bạn tận dụng bộ tăng tốc Intel® AMX tích hợp trong bộ xử lý có khả năng thay đổi Intel® Xeon® của mình.

Để bắt đầu, hãy xem lại hướng dẫn từng bước để tăng hiệu năng với Intel® AMX trong hướng dẫn sau:

• Hướng dẫn bắt đầu nhanh Intel® AI: Cung cấp hướng dẫn để cải thiện hiệu năng khối lượng công việc AI với Thư viện và Khung AI được tối ưu hóa cho Intel®. Hướng dẫn này bao gồm các chỉ dẫn từng bước cho TensorFlow, XGBoost, PyTorch và nhiều nền tảng khác.
• Hướng dẫn điều chỉnh để cải thiện hiệu năng AI học sâu: cung cấp các khuyến nghị để điều chỉnh bộ xử lý cho bộ công cụ AI được tối ưu hóa Intel® để đạt được hiệu năng tốt nhất có thể.

Để biết chi tiết thông tin kỹ thuật, hướng dẫn, ví dụ mã và mô-đun thử nghiệm, hãy truy cập:

• Khung AI Tối ưu Intel® AMX
• Bộ tham khảo AI Intel® AMX
• Hướng dẫn tham khảo dành cho nhà phát triển Intel® AMX
• Mẫu mã Intel® AMX

Bạn có thể truy cập tất cả hướng dẫn điều chỉnh của chúng tôi cho bộ xử lý có khả năng thay đổi Intel® Xeon® trong danh mục công cụ phần mềm dành cho nhà phát triển của chúng tôi.

Để giúp bạn hợp lý hóa những nỗ lực phát triển AI của mình, chúng tôi cung cấp bộ công cụ, thành phần và tối ưu hóa Intel® oneAPI của mình, bao gồm:

• Bộ công cụ phân tích Intel® AI oneAPI
• Intel® oneAPI Math Kernel Library
• Intel® Extension cho TensorFlow
• Tối ưu hóa PyTorch từ Intel

Thử nghiệm với Intel® AMX ngay hôm nay

Ngoài các tài liệu tham khảo của chúng tôi, bạn có thể thử nghiệm phần cứng Intel®, Intel® AMX và các tính năng tăng tốc tích hợp khác bằng Intel® Developer Cloud.

Nền tảng trực tuyến miễn phí để học tập, tạo mẫu, thử nghiệm và chạy khối lượng công việc cũng bao gồm hỗ trợ cho một số bộ công cụ, công cụ và thư viện phát triển phần mềm Intel®.

Mở rộng và nâng cao khả năng AI trên CPU của bạn với Intel® AMX

Khi tổ chức của bạn tìm kiếm các giải pháp để đáp ứng nhu cầu điện toán ngày càng tăng để hỗ trợ khối lượng công việc đào tạo và suy luận học sâu, Intel® AMX có thể giúp tăng hiệu năng bằng phần cứng Intel® mà bạn có thể đã sở hữu, mà không cần chi phí và độ phức tạp đi kèm với phần cứng chuyên dụng bổ sung và trong thời gian phát triển ít hơn tương đối, sử dụng tối ưu hóa Intel® trong các khung nguồn mở phổ biến và truy cập vào các công cụ và tài nguyên phát triển Intel® miễn phí.