FPGA là gì?
Mạch tích hợp cỡ lớn dùng cấu trúc mảng phần tử logic mà người dùng có thể lập trình được (FPGA) là các mạch tích hợp với kết cấu phần cứng có thể lập trình được. Không giống như các đơn vị xử lý đồ họa (GPU) hoặc ASIC, mạch bên trong vi mạch FPGA không cố định – nó có thể được lập trình lại khi cần. Khả năng này làm cho FPGA trở thành lựa chọn thay thế tuyệt vời cho ASIC, đòi hỏi thời gian phát triển dài – và đầu tư đáng kể – để thiết kế và chế tạo.
Ngành công nghệ đã áp dụng FPGA cho học máy và học sâu tương đối gần đây. Năm 2010, Microsoft Research đã chứng minh một trong những trường hợp sử dụng AI đầu tiên trên FPGA như một phần trong nỗ lực tăng tốc tìm kiếm web.1FPGA cung cấp sự kết hợp giữa tốc độ, khả năng lập trình và tính linh hoạt – mang lại hiệu suất mà không tăng chi phí và độ phức tạp của việc phát triển các mạch tích hợp dành riêng cho ứng dụng tùy chỉnh (ASIC). Năm năm sau, công cụ tìm kiếm Bing của Microsoft đã sử dụng FPGA trong sản xuất, chứng minh giá trị của chúng cho các ứng dụng học sâu. Bằng cách sử dụng FPGA để tăng tốc xếp hạng tìm kiếm, Bing đã nhận ra mức tăng 50% thông lượng.1
Tại sao chọn FPGA cho Học sâu?
Khối lượng công việc AI sớm, như nhận dạng hình ảnh, phụ thuộc rất nhiều vào điện toán song song. Bởi vì GPU được thiết kế đặc biệt để hiển thị video và đồ họa, việc sử dụng chúng cho học máy và học sâu trở nên phổ biến. GPU vượt trội trong việc xử lý điện toán song song, thực hiện một số lượng rất lớn các hoạt động phép tính số học song song. Nói cách khác, chúng có thể mang lại khả năng tăng tốc đáng kinh ngạc trong trường hợp cùng một khối lượng công việc phải được thực hiện nhiều lần liên tiếp nhanh chóng.
Tuy nhiên, chạy AI trên GPU có giới hạn của nó. GPU không mang lại nhiều hiệu năng như ASIC, một vi mạch được xây dựng nhằm mục đích cho khối lượng công việc học sâu nhất định.
FPGA cung cấp tùy chỉnh phần cứng với AI tích hợp và có thể được lập trình để cung cấp hành vi tương tự như GPU hoặc ASIC. Bản chất có thể lập trình lại, có thể cấu hình lại của FPGA giúp chúng rất phù hợp cho bối cảnh AI đang phát triển nhanh chóng, cho phép các nhà thiết kế kiểm tra các thuật toán nhanh gọn và nhanh chóng tiếp cận thị trường. FPGA cung cấp một số lợi thế cho các ứng dụng học sâu và khối lượng công việc AI khác:
Hiệu suất tuyệt vời với thông lượng cao và độ trễ thấp: FPGA vốn có thể cung cấp độ trễ thấp cũng như độ trễ xác định cho các ứng dụng thời gian thực như phát trực tiếp video, phiên mã và nhận dạng hành động bằng cách trực tiếp đưa video vào FPGA, vượt qua CPU. Các nhà thiết kế có thể xây dựng mạng thần kinh từ đầu và cấu trúc FPGA cho phù hợp nhất với mô hình.
Giá trị và chi phí tuyệt vời: FPGA có thể được lập trình lại cho các chức năng và loại dữ liệu khác nhau, khiến chúng trở thành một trong những tùy chọn phần cứng hiệu quả nhất hiện có. Hơn nữa, FPGA có thể được sử dụng cho nhiều ứng dụng khác vượt xa AI. Bằng cách tích hợp các khả năng bổ sung vào cùng một vi mạch, các nhà thiết kế có thể tiết kiệm chi phí và không gian bo mạch. FPGA có vòng đời sản phẩm dài, vì vậy các thiết kế phần cứng dựa trên FPGA có thể có vòng đời sản phẩm dài, được đo bằng năm hoặc nhiều thập kỷ. Đặc tính này làm cho chúng trở nên lý tưởng để sử dụng trong thị trường quốc phòng công nghiệp, y tế và ô tô.
Tiêu thụ năng lượng thấp: Với FPGA, các nhà thiết kế có thể tinh chỉnh phần cứng cho ứng dụng, giúp đáp ứng các yêu cầu hiệu quả năng lượng. FPGA cũng có thể chứa nhiều chức năng, mang lại hiệu quả năng lượng nhiều hơn từ vi mạch. Có thể sử dụng một phần của FPGA cho một chức năng, thay vì toàn bộ vi mạch, cho phép FPGA lưu trữ nhiều chức năng song song.
Ứng dụng AI và Học sâu trên FPGA
FPGA có thể mang lại lợi thế hiệu suất so với GPU khi ứng dụng đòi hỏi độ trễ thấp và kích thước lô thấp – ví dụ, với nhận dạng giọng nói và khối lượng công việc xử lý ngôn ngữ tự nhiên khác. Do giao diện I/O có thể lập trình và kết cấu rất linh hoạt, FPGA cũng rất phù hợp với các tác vụ sau:
Khắc phục tắc nghẽn I/O. FPGA thường được sử dụng khi dữ liệu phải đi qua nhiều mạng khác nhau ở độ trễ thấp. Chúng cực kỳ hữu ích trong việc loại bỏ bộ nhớ đệm và khắc phục tắc nghẽn I/O – một trong những yếu tố hạn chế nhất trong hiệu suất hệ thống AI. Bằng cách tăng tốc lượng dữ liệu, FPGA có thể tăng tốc toàn bộ quy trình làm việc AI.
Tích hợp AI vào khối lượng công việc. Bằng cách sử dụng FPGA, các nhà thiết kế có thể bổ sung các khả năng AI, như kiểm tra gói sâu hoặc phát hiện gian lận tài chính, vào khối lượng công việc hiện có.
Kích hoạt phản ứng tổng hợp cảm biến. FPGA vượt trội khi xử lý đầu vào dữ liệu từ nhiều cảm biến, chẳng hạn như camera, LIDAR và cảm biến âm thanh. Khả năng này có thể cực kỳ có giá trị khi thiết kế phương tiện tự động, robot và thiết bị công nghiệp.
Cung cấp khả năng tăng tốc cho các cụm điện toán hiệu suất cao (HPC). FPGA có thể giúp tạo điều kiện thuận lợi cho sự hội tụ của AI và HPC bằng cách đóng vai trò là bộ gia tốc có thể lập trình để suy luận. 2
Bổ sung thêm khả năng vượt xa AI. FPGA giúp thêm khả năng bảo mật, I/O, kết nối mạng hoặc trước/xử lý sau mà không cần bổ sung thêm vi mạch.
Phần mềm và Phần cứng Intel® FPGA
Một trong số ít rào cản cần khắc phục khi sử dụng FPGA là phần cứng thường đòi hỏi chuyên môn lập trình chuyên biệt. Intel đang giảm lượng chuyên môn cần thiết với mô hình lập trình dựa trên phần mềm. Mô hình lập trình FPGA cấp cao hơn này cho phép nhà khoa học dữ liệu hoặc nhà phát triển mô hình tạo ra mạng thần kinh bằng cách sử dụng khung AI phổ biến — chẳng hạn như TensorFlow hoặc Caffe — và triển khai nó trên FPGA mà không cần biết chi tiết về cấu trúc FPGA. Intel đã phát triển một số công cụ giúp lập trình FPGA dễ dàng hơn nhiều:
Bản phân phối Intel® của bộ dụng cụ OpenVINO™ cung cấp cho các nhà phát triển thị giác máy tính một công cụ duy nhất để tăng tốc các mô hình trên một số nền tảng phần cứng, bao gồm FPGA.
Intel® FPGA AI Suite cung cấp các công cụ và cấu trúc được tối ưu hóa để tăng tốc suy luận với Intel® FPGA. Nó giao tiếp với bộ dụng cụ OpenVINO™, cung cấp khả năng mở rộng để hỗ trợ các mạng tùy chỉnh.
Open FPGA Stack (OFS) là cơ sở hạ tầng phần mềm và phần cứng nguồn mở cung cấp khung cho nền tảng dựa trên FPGA tùy chỉnh và phát triển khối lượng công việc. Tất cả mã nguồn có sẵn trên GitHub.
Các giải pháp công nghệ học sâu Intel® FPGA bao gồm một loạt các dòng sản phẩm và các công cụ phần mềm để giúp giảm thời gian và chi phí phát triển. Các sản phẩm phần cứng sau đây có giá trị cụ thể cho các trường hợp sử dụng học sâu:
FPGA Intel Agilex® 5 và SoC là FPGA tầm trung có khối DSP nâng cao đầu tiên của ngành với AI Tensor, mang lại chức năng xử lý tín hiệu kỹ thuật số (DSP) và AI hiệu quả cao. Dòng sản phẩm này mang lại, trung bình, hiệu suất kết cấu cao hơn 50% và tổng tiêu thụ năng lượng thấp hơn tới 42% so với Intel® FPGA thế hệ trước.3
Danh mục Intel cho AI
Khi việc áp dụng AI phát triển, phạm vi ứng dụng và môi trường mà nó hoạt động — từ các thiết bị điểm cuối đến máy chủ biên đến trung tâm dữ liệu — sẽ trở nên cực kỳ đa dạng. Không có cấu trúc, vi mạch hoặc kích thước duy nhất sẽ đủ điều kiện để đáp ứng các yêu cầu của tất cả các ứng dụng AI. Các kiến trúc sư cơ sở hạ tầng phải có quyền lựa chọn cấu trúc của họ.
Intel cung cấp bốn loại silicon cho phép phát triển AI: FPGA, GPU và ASIC để tăng tốc và CPU cho điện toán có mục đích chung. Mỗi cấu trúc phục vụ các nhu cầu riêng biệt, vì vậy các kiến trúc sư cơ sở hạ tầng có thể chọn cấu trúc chính xác mà họ cần để hỗ trợ bất kỳ ứng dụng AI nào. Với đa dạng loại điện toán được tối ưu hóa cho năng lượng và hiệu suất, chúng sẽ luôn có được các công cụ phù hợp cho công việc đang diễn ra.