Đạt được hiệu năng làm việc suy luận lớn hơn tới 64% bằng cách chọn các phiên bản AWS M6i có Bộ xử lý có khả năng mở rộng Intel® Xeon® 3

6.0 Lớn:

  • Gặt hái hiệu năng lớn hơn tới 64% trên các phiên bản 64-vCPU m6i.16xlarge có bộ xử lý có khả năng thay đổi Intel Xeon thế hệ thứ 3 so với các phiên bản m5n.16xlarge.

  • Xử lý thông lượng PRI-Large cao hơn tới 40% trên các phiên bản 32-vCPU m6i.8xlarge có bộ xử lý có khả năng thay đổi Intel Xeon thế hệ thứ 3 so với các phiên bản m5n.8xlarge.

author-image

Bởi

Trên các kích thước phiên bản khác nhau, các phiên bản M6i thực hiện nhiều hoạt động suy luận hơn mỗi giây so với phiên bản M5n với Bộ xử lý có khả năng mở rộng Intel Xeon 2

Các công ty sử dụng khối lượng công việc suy luận học máy bằng ngôn ngữ tự nhiên cho nhiều ứng dụng kinh doanh, chẳng hạn như chatbot phân tích văn bản do khách hàng và người dùng khác gõ. Loại công việc này đặt ra nhu cầu lớn về tài nguyên máy tính, làm cho việc chọn các phiên bản đám mây hiệu suất cao rất quan trọng.

DL là mô hình xử lý ngôn ngữ tự nhiên đa năng (NLP) mà chúng tôi đã chọn để đo hiệu năng của hai loại phiên bản đám mây Amazon Web Services (AWS) EC2. Chúng tôi đã thử nghiệm hai kích thước phiên bản M6i với bộ xử lý có khả năng thay đổi Intel Xeon thế hệ thứ 3 và các phiên bản M5n với bộ xử lý có khả năng thay đổi Intel Xeon thế hệ thứ 2. Chúng tôi đã tìm thấy rằng cả 32 vCPU và 64 vCPU M6i với bộ xử lý có khả năng thay đổi Intel Xeon thế hệ thứ 3 đều hoạt động tốt hơn các đối tác M5n của chúng. Dựa trên những phát hiện này, các doanh nghiệp có thể mang lại trải nghiệm nhanh hơn cho người dùng của họ bằng cách chọn phiên bản M6i.

Phiên bản M6i với 64 vCKU

Để so sánh hiệu suất suy luận TƯ-Lớn của hai chuỗi phiên bản AWS, chúng tôi đã sử dụng khung TensorFlow. Như hình 1 cho thấy, phiên bản 64-vCPU m6i.16xlarge được kích hoạt bởi bộ xử lý có khả năng thay đổi Intel Xeon thế hệ thứ 3 cung cấp thông lượng cao hơn 64% so với phiên bản m5n.16xlarge với bộ xử lý có khả năng thay đổi Intel Xeon thế hệ thứ 2.

Hình 1. Hiệu năng suy luận lớn PRI-Large đạt được nhờ phiên bản m6i.16xlarge với bộ xử lý có khả năng thay đổi Intel Xeon thế hệ thứ 3 và bởi phiên bản m5n.16xlarge với bộ xử lý có khả năng thay đổi Intel Xeon thế hệ thứ 2. Thử nghiệm được sử dụng độ chính xác INT8, kích thước lô 1 và chiều dài trình tự là 384. Cao hơn là tốt hơn.

Phiên bản M6i với 32 vCPU

Như hình 2 cho thấy, phiên bản 32-vCPU m6i.8xlarge được kích hoạt bởi bộ xử lý có khả năng thay đổi Intel® Xeon® thế hệ thứ 3 cung cấp thông lượng cao hơn 40% so với phiên bản m5n.8xlarge với bộ xử lý có khả năng thay đổi Intel Xeon thế hệ thứ 2.

Hình 2. Hiệu năng suy luận lớn PRI-Large đạt được nhờ phiên bản m6i.8xlarge với bộ xử lý có khả năng thay đổi Intel Xeon thế hệ thứ 3 và phiên bản m5n.8xlarge với bộ xử lý có khả năng thay đổi Intel Xeon thế hệ thứ 2. Thử nghiệm được sử dụng độ chính xác INT8, kích thước lô 1 và chiều dài trình tự là 384. Cao hơn là tốt hơn.

Kết thúc

Chúng tôi đã thử nghiệm hiệu năng suy luận xử lý ngôn ngữ tự nhiên lớn PRI-Large của hai dòng phiên bản AWS: Các phiên bản M6i có bộ xử lý có khả năng mở rộng Intel Xeon thế hệ thứ 3 và các phiên bản M5n có bộ xử lý có khả năng thay đổi Intel Xeon thế hệ thứ 2. Ở hai kích cỡ khác nhau, các phiên bản M6i vượt trội hơn các phiên bản M5n tới 64%. Để mang lại trải nghiệm nhanh hơn cho khách hàng của bạn và những người dùng khác, chạy khối lượng công việc suy luận NLP của bạn trên các phiên bản Amazon M6i với bộ xử lý có khả năng mở rộng Intel Xeon 3.

Tìm hiểu thêm

Để bắt đầu chạy khối lượng công việc suy luận NLP của bạn trên các phiên bản Amazon M6i với bộ xử lý có khả năng thay đổi Intel Xeon thế hệ thứ 3, hãy truy cập https://aws.amazon.com/ec2/instance-types/m6i/.

Các thử nghiệm máy ảo đơn của Intel vào ngày 30 tháng 11 năm 2021. Tất cả các máy ảo được định cấu hình bằng Ubuntu 20.04 LTS, 5.11.0-1022-aws, Bộ lưu trữ EBS, GCC=8.4.0, Python=3.6.9, tensorflow=2.5.0, Docker=20.10.7, container=1.5.5, mẫu TAY, kích thước lô 1, độ dài chuỗi 384, độ chính xác INT8. Chi tiết phiên bản: m6i.8xlarge, 32vcpus, Intel® Xeon® Platinum CPU 8375C @ 2,90GHz, tổng bộ nhớ DDR4 128 GB; m5n.8xlarge, 32vcpus, Intel® Xeon® Platinum CPU 8259CL @ 2,50GHz, tổng bộ nhớ DDR4 128 GB; m6i.16xlarge, 64vcpus, Intel® Xeon® Platinum CPU 8375C @ 2,90GHz, tổng bộ nhớ DDR4 256 GB; m5n.16xlarge, 64vcpus, Intel® Xeon® Platinum CPU 8259CL @ 2,50GHz, tổng bộ nhớ DDR4 256 GB.

Nội dung gốc bằng tiếng Anh trên trang này vừa do con người vừa do máy dịch. Nội dung này chỉ để cung cấp thông tin chung và giúp quý vị thuận tiện. Quý vị không nên tin đây là thông tin hoàn chỉnh hoặc chính xác. Nếu có bất kỳ mâu thuẫn nào giữa bản tiếng Anh và bản dịch của trang này, thì bản tiếng Anh sẽ chi phối và kiểm soát. Xem phiên bản tiếng Anh của trang này.