Bước nhanh để cải thiện thời gian tải mẫu trên GPU
Việc tải Trình đại diện trung gian (IR) của mô hình đầu vào sang GPU mất nhiều thời gian hơn so với tải cùng một mô hình lên CPU.
Tạo thư mục cl_cache hành theo cách thủ công trong thư mục làm việc của ứng dụng của bạn.
Trình điều khiển sẽ sử dụng thư mục này để lưu trữ các đại diện nhị phân của các hạt nhân được biên dịch. Tính năng này sẽ hoạt động trên tất cả các OS được hỗ trợ.
Tham khảo bài viết này để biết thêm thông tin về quản lý tài sản cl_cache.
Việc tải mô hình đầu vào của bạn ở định dạng Đại diện Trung gian (IR) sang GPU mất nhiều thời gian hơn việc tải cùng một mô hình vào CPU vì ngăn xếp GPU dựa trên OpenCL*. Thời gian tải phụ thuộc vào thời gian biên dịch của hạt nhân OpenCL*.
Khi bạn bật trình điều cl_cache, lần đầu tiên bạn tải model, nó sẽ mất nhiều thời gian vì openCL* kernel sẽ biên dịch. Tuy nhiên, mỗi lần tải tiếp theo của cùng một model sẽ nhanh hơn nhiều.