Thách thức
Các hồ sơ khí tượng lịch sử, thu được từ các cảm biến tự động trên khắp Hoa Kỳ, tạo thành xương sống của các mô hình dự báo, phân tích rủi ro và hệ thống cảnh báo sớm. Khi các hồ sơ đó không đầy đủ hoặc không đáng tin cậy, các nhà quản lý khẩn cấp phải đối mặt với thời gian khách hàng tiềm năng cảnh báo ngắn hơn, dự đoán tác động ít chính xác hơn và có khả năng gây thiệt hại về nhân mạng và tài sản lớn hơn. Khi sử dụng các bản lưu trữ và phân tích lịch sử mạnh mẽ, kết quả sẽ được cải thiện đáng kể. Ví dụ: trong cơn bão Harvey, thời gian sơ tán trung bình đã giảm 40% nhờ vào kế hoạch dựa trên các mẫu lũ lụt trong quá khứ.1
Xu hướng thời tiết khắc nghiệt kể từ năm 1930 đã cho thấy sự thay đổi lớn ở các mức áp suất khí quyển thấp hơn và các vùng áp cao kéo dài hơn, đang gây ra thời tiết khắc nghiệt với cả tần suất tăng và cường độ cao hơn. Khi các hệ thống và biện pháp cảnh báo được thiết lập mà không có dữ liệu lịch sử liên quan, các nhà quản lý khẩn cấp có thể không thể chuẩn bị đầy đủ cho các tác động thời tiết tại địa điểm của họ.
Nhà khí tượng học trưởng Liên bang Sunny Wescott chuyên về các mối đe dọa thời tiết cực đoan quốc gia và các tác động đối với Nguồn tài nguyên chính của khu vực công và tư nhân, cũng như các mối đe dọa liên hoàn đối với cơ sở hạ tầng quan trọng. Cô hiện đang thực hiện một dự án nghiên cứu tại Trường Cao học Hải quân, tập trung vào việc các thay đổi khí quyển liên quan đến các hoạt động của An ninh Nội địa. Sự thay đổi áp lực nghiêm trọng có thể ảnh hưởng đến hành vi của con người, điều này có thể ảnh hưởng đến cả tần suất cần vận hành, cũng như sức khỏe của nhân viên và khả năng làm việc hết công suất vào những ngày mà họ thực sự cần thiết.
Wescott muốn truy cập bộ dữ liệu công cộng từ Đại học bang Iowa để điều tra các mức áp suất khí quyển cao và thấp tại hàng trăm địa điểm cụ thể ở Hoa Kỳ, cũng như để có được cái nhìn tổng thể về thời tiết đã thay đổi như thế nào trong 90 năm qua. Tuy nhiên, mặc dù bộ dữ liệu này chứa một kho dữ liệu khí hậu cụ thể tại địa điểm, nhưng nó ở một định dạng cổ xưa gọi là GEMPAK, mà ít nhà khoa học đương đại có thể truy cập.
Giải pháp
Để tìm cách giải nén bộ dữ liệu GEMPAK, Wescott đã liên hệ với Government Acquisitions, Inc. (GAI), nhà tích hợp hệ thống mà cô đã làm việc cùng trong các dự án trước. Emma White, nhà khoa học dữ liệu tại GAI, biết những gì cần phải được thực hiện: chuyển đổi định dạng dữ liệu kế thừa sang Parquet, một định dạng lưu trữ dữ liệu theo cột phổ biến, nguồn mở, được tối ưu hóa để truy vấn phân tích và xử lý dữ liệu. Nhưng việc chuyển đổi thử nghiệm trên một phần nhỏ bộ dữ liệu đã cho thấy White cần sự trợ giúp thêm. Cô và Wescott đã kết nối với Kamiwaza AI, một công ty chuyên về các giải pháp GenAI. Các kỹ sư của Kamiwaza đã sử dụng AI để quét định dạng tệp GEMPAK, cung cấp cho tác nhân AI một tệp nền duy nhất mô tả định dạng GEMPAK, và sau đó bắt đầu xử lý dữ liệu.
“Không ai mà chúng tôi biết hiểu định dạng GEMPAK. Và bộ dữ liệu lớn hơn nhiều so với bất kỳ một người nào có thể xem xét và hiểu được. “Nếu AI không tồn tại như ngày nay, tôi không nghĩ rằng chúng tôi sẽ có thể xử lý nó.” —Luke Norris, CEO, Kamiwaza AI
Sử dụng tác nhân AI, nhóm nghiên cứu đã chuyển đổi dữ liệu từ GEMPAK thành Parquet—1,3 tỷ hàng và gần một nghìn tỷ điểm dữ liệu—chỉ trong hơn một tuần. Mất thêm vài tuần nữa để làm sạch dữ liệu, đào tạo tác nhân AI và tạo ra hơn 200 đồ thị. Nếu tính toán thủ công, sẽ cần 5-10 kỹ sư dữ liệu và hơn một năm để hoàn thành dự án này.2
Với dữ liệu được chuyển đổi sang Parquet, White đã hướng tác nhân AI do Kamiwaza phát triển đến dữ liệu để phân tích. Cô đã bảo tác nhân tìm kiếm dữ liệu cụ thể, đưa dữ liệu vào một vùng chứa và làm sạch nó. Điều này bao gồm việc loại bỏ các giá trị null hoặc các giá trị khí áp rõ ràng không chính xác. Nhân viên hiểu rất rõ những gì nhóm nghiên cứu đang tìm kiếm và đã thực hiện các hành động để tăng cường dữ liệu, chẳng hạn như tạo biểu đồ hỗ trợ hoặc đặt các câu hỏi theo dõi.
Với bộ dữ liệu lớn như vậy và rất nhiều phân tích, báo cáo và biểu đồ như vậy, nhóm nghiên cứu cần đủ sức mạnh điện toán. Tác nhân AI đã chạy nhiều mô hình LLM và cần một hệ thống với gần một terabyte VRAM. Wescott và các cộng tác viên của cô đã triển khai hệ thống chạy CPU Intel® Xeon® 6 và tám bộ gia tốc Intel® Gaudi® . Theo Luke Norris, Giám đốc điều hành tại Kamiwaza, cấu hình này cho phép nhóm “nhận thông tin chi tiết trong vài giây thay vì vài ngày hoặc vài tuần.”2
Khi tối ưu hóa các công cụ AI của Kamiwaza để chạy trên bộ gia tốc Intel Gaudi, Norris ghi nhận việc công ty ông là thành viên của Chương trình Liftoff của Intel đã giúp quá trình chuyển đổi nhanh chóng và dễ dàng. Chương trình cung cấp tài nguyên phát triển để giúp viết lại một số đoạn mã của Kamiwaza và xác thực nó.
Mặc dù hiệu năng suy luận là quan trọng, Wescott cũng coi trọng hiệu quả năng lượng của hệ thống phần cứng và môi trường lưu trữ. Bộ gia tốc Intel Gaudi 3 mang lại hiệu quả năng lượng tốt hơn 40% để suy luận, so với đối thủ cạnh tranh.3
“Chương trình AI Liftoff mang lại giá trị cực kỳ lớn cho Kamiwaza. Nó giúp chúng tôi có được các nguồn lực cần thiết. Tôi nghĩ đó là sự chuyển đổi dễ dàng nhất mà chúng tôi từng thực hiện." —Luke Norris, CEO, Kamiwaza
Một lợi thế khác của việc làm việc với Intel ON dự án, theo GAI, là chuỗi cung ứng mạnh mẽ và an toàn cao của Intel. “Điều đó rất quan trọng đối với việc truy cập liên tục vào loại phần mềm và phần cứng này, cũng như phần bảo mật, vốn rất quan trọng trong khu vực công,” White nói.
Kết quả
Bên cạnh việc củng cố bài nghiên cứu của bà về sự thay đổi áp suất khí quyển theo thời gian, nền tảng có thể giúp các nhà quản lý khẩn cấp và những người khác hiểu rõ hơn và chuẩn bị cho các sự kiện thời tiết tại địa điểm của họ. Ví dụ, một người quản lý khẩn cấp mới có thể không biết liệu dự báo gió 65 dặm một giờ là bình thường hay là đang phá kỷ lục. Sử dụng các truy vấn ngôn ngữ tự nhiên, người quản lý có thể yêu cầu tác nhân AI do Kamiwaza và GAI phát triển tìm tất cả các trường hợp mà các cơn gió có tính chất đó đã xảy ra tại địa điểm đó và tóm tắt các tác động. Nếu biểu đồ chỉ hiển thị ba trường hợp và các tiêu đề nói về đường dây điện bị đổ hoặc cây bị đổ, người quản lý có thể chuẩn bị cho phù hợp.
“Tính bền vững là một phần lớn trong cuộc trò chuyện [với Kamiwaza]. Tôi muốn chứng minh với nhóm của mình rằng tôi đang đưa ra những lựa chọn thông minh bằng cách sử dụng AI." —Sunny Wescott, Nhà khí tượng học trưởng Liên bang
Hoặc, nếu nó đã xảy ra 2.000 lần, khu vực này có thể đã được gia cố để chống lại những cơn gió như vậy, vì vậy nhà quản lý có thể coi đây là một sự kiện thời tiết bình thường.
Nền tảng AI do nhóm cộng tác Người Tạo có những hệ quả vượt xa việc giúp Wescott truy cập dữ liệu mà cô cần cho luận án của mình. Đó là một nền tảng dễ sử dụng, không yêu cầu bất kỳ trải nghiệm mã hóa nào để khám phá dữ liệu. Dựa trên những bài học then chốt thu được từ dự án của Wescott với bộ dữ liệu của Đại học Bang Iowa, Kamiwaza có vị thế thuận lợi để giúp các bên liên quan khác trong khu vực công và tư nhân chuyển đổi các kho dữ liệu lịch sử và thời gian thực khổng lồ thành những thông tin chi tiết có thể áp dụng thực tế.
“Đó là một nền tảng thực sự linh hoạt. Nó thật đẹp. Thật dễ sử dụng.” —Emma White, Nhà khoa học dữ liệu, GAI
Ví dụ, Trung tâm Dữ liệu Phao Quốc gia (NDBC) vận hành Hệ thống Phao Quốc gia—một mạng lưới khổng lồ gồm các phao neo cố định, phao trôi dạt và các trạm ven biển. Các phao này đóng vai trò là nguồn dữ liệu theo thời gian thực quan trọng để dự báo thời tiết biển, theo dõi khí hậu và lập kế hoạch ứng phó khẩn cấp. Nền tảng AI do Kamiwaza và GAI phát triển có thể khai thác dữ liệu này để giúp cải thiện an toàn hàng hải cho tàu, hoạt động khoan ngoài khơi và hoạt động ven biển.
Ví dụ khác, các công ty tiện ích theo dõi điều kiện sông bằng cách sử dụng nhiều cảm biến thủy văn và môi trường để tối ưu hóa phát điện thủy điện, đảm bảo an toàn đập và duy trì tuân thủ môi trường. Dữ liệu này được lưu trữ ở nhiều định dạng khác nhau, bao gồm các định dạng nhị phân độc quyền, dữ liệu chuỗi thời gian, cơ sở dữ liệu quan hệ, văn bản, JSON và XML. Do khối lượng dữ liệu và các định dạng khác nhau, tác nhân AI của Kamiwaza có thể tăng tốc đáng kể việc phân tích dữ liệu và mang lại những thông tin chuyên sâu mới để thúc đẩy hiệu quả hoạt động của thủy điện.