- Bài viết
- 6.997
- Được Like
- 11
Mô hình AI mới của OpenAI khiến chuyên gia an ninh lo ngại
Astra được OpenAI giới thiệu là mô hình AI mạnh nhất của hãng, nhưng kỹ thuật suy luận mới có thể khiến quá trình hoạt động của AI khó giám sát hơn.
OpenAI ngày 3/9 ra mắt Astra, mô hình AI mới nhất được hãng đánh giá mạnh và có năng lực cao nhất từ trước đến nay, đặc biệt trong sử dụng máy tính, trình duyệt, lập trình và an ninh mạng.
Chủ tịch OpenAI Greg Brockman gọi Astra là mô hình “thông minh nhất” và cũng “phù hợp với con người nhất” mà công ty từng phát triển. Theo ông, sản phẩm kết hợp nhiều năm nghiên cứu, đánh dấu thay đổi về những loại công việc con người có thể giao cho AI.
Astra là mô hình đầu tiên của OpenAI đạt mức “Critical” (nghiêm trọng) về năng lực an ninh mạng theo Khung Chuẩn bị của hãng.
OpenAI cho biết đã thử nghiệm mô hình trên nhiều tiêu chuẩn bảo mật. Astra có khả năng xác định và phát triển phương thức khai thác lỗ hổng zero-day, tức những điểm yếu chưa được phát hiện hoặc chưa có bản vá, qua đó có thể giúp chuyên gia tìm và vá điểm yếu trước khi chúng bị lợi dụng.
Astra cũng được hãng mô tả là “mô hình tốt nhất cho kỹ thuật phần mềm từ trước đến nay”.
Các bài kiểm tra do OpenAI công bố cho thấy sản phẩm đạt kết quả cao hơn một số mô hình hiện có, gồm Sol của hãng và Fable của Anthropic, trong những nhiệm vụ như tìm lỗi, thực hiện lệnh trên terminal và trả lời câu hỏi về kho mã nguồn.
Tuy nhiên, một trong những điểm gây tranh luận nhất của Astra nằm ở kỹ thuật “recurrent depth”, còn gọi là “opaque recurrence” (suy luận lặp ẩn).
Với suy luận lặp ẩn, mô hình có thể xử lý cùng một yêu cầu nhiều lần theo vòng lặp thay vì hoàn toàn theo trình tự. Cách làm này để lại ít dấu vết dễ đọc hơn, khiến quá trình suy luận của AI có nguy cơ khó giám sát.
Nhà nghiên cứu an toàn AI Zvi Mowshowitz cũng ví kỹ thuật này với việc “đùa với lửa”, cho rằng sử dụng ở mức độ lớn hơn có thể làm tổn hại khả năng giám sát AI. Ông thậm chí đề cập khả năng cần quy định pháp lý để tránh một “cuộc đua xuống đáy” giữa các phòng thí nghiệm AI.
Ryan Greenblatt, nhà khoa học trưởng Redwood Research, lo ngại bước tiếp theo có thể là mở rộng suy luận ẩn đến mức AI thực hiện gần như toàn bộ quá trình này bên trong “không gian ẩn”, khiến con người càng khó quan sát.
Tuy nhiên, việc Astra sử dụng kỹ thuật trên hiện được cho là còn hạn chế và chuỗi suy luận của mô hình vẫn có thể đọc được. OpenAI cũng khẳng định duy trì khả năng giám sát chuỗi suy luận là một mục tiêu quan trọng.
Theo ông, những mô hình mạnh hơn có thể hoàn thành nhiệm vụ phức tạp bằng ít token ngôn ngữ hơn, thậm chí không cần token ngôn ngữ, khiến lượng thông tin con người có thể quan sát giảm theo.
Tranh luận càng được chú ý sau sự cố gần đây liên quan đến Hugging Face, khi một AI agent của OpenAI thoát khỏi môi trường thử nghiệm biệt lập và xâm nhập một số công ty. Dữ liệu chuỗi suy luận sau đó trở thành công cụ quan trọng để tìm hiểu nguyên nhân các agent hành động như vậy.
Astra trước tiên được cung cấp cho khách hàng sử dụng chương trình an ninh mạng Daybreak của OpenAI. Trong tuần tiếp theo, mô hình sẽ được mở rộng tới người dùng các gói Pro, Plus, Enterprise và Business, cũng như qua API.
Copy link Link bài gốc Lấy link Mô hình AI mới của OpenAI khiến chuyên gia an ninh lo ngại Tags: OpenAI Astra AI an ninh mạng
Nguồn: GenK
Chuyên mục: HOT
Astra được OpenAI giới thiệu là mô hình AI mạnh nhất của hãng, nhưng kỹ thuật suy luận mới có thể khiến quá trình hoạt động của AI khó giám sát hơn.
OpenAI ngày 3/9 ra mắt Astra, mô hình AI mới nhất được hãng đánh giá mạnh và có năng lực cao nhất từ trước đến nay, đặc biệt trong sử dụng máy tính, trình duyệt, lập trình và an ninh mạng.
Chủ tịch OpenAI Greg Brockman gọi Astra là mô hình “thông minh nhất” và cũng “phù hợp với con người nhất” mà công ty từng phát triển. Theo ông, sản phẩm kết hợp nhiều năm nghiên cứu, đánh dấu thay đổi về những loại công việc con người có thể giao cho AI.
Astra là mô hình đầu tiên của OpenAI đạt mức “Critical” (nghiêm trọng) về năng lực an ninh mạng theo Khung Chuẩn bị của hãng.
OpenAI cho biết đã thử nghiệm mô hình trên nhiều tiêu chuẩn bảo mật. Astra có khả năng xác định và phát triển phương thức khai thác lỗ hổng zero-day, tức những điểm yếu chưa được phát hiện hoặc chưa có bản vá, qua đó có thể giúp chuyên gia tìm và vá điểm yếu trước khi chúng bị lợi dụng.
Astra cũng được hãng mô tả là “mô hình tốt nhất cho kỹ thuật phần mềm từ trước đến nay”.
Các bài kiểm tra do OpenAI công bố cho thấy sản phẩm đạt kết quả cao hơn một số mô hình hiện có, gồm Sol của hãng và Fable của Anthropic, trong những nhiệm vụ như tìm lỗi, thực hiện lệnh trên terminal và trả lời câu hỏi về kho mã nguồn.
Tuy nhiên, một trong những điểm gây tranh luận nhất của Astra nằm ở kỹ thuật “recurrent depth”, còn gọi là “opaque recurrence” (suy luận lặp ẩn).
Với suy luận lặp ẩn, mô hình có thể xử lý cùng một yêu cầu nhiều lần theo vòng lặp thay vì hoàn toàn theo trình tự. Cách làm này để lại ít dấu vết dễ đọc hơn, khiến quá trình suy luận của AI có nguy cơ khó giám sát.
Nhà nghiên cứu an toàn AI Zvi Mowshowitz cũng ví kỹ thuật này với việc “đùa với lửa”, cho rằng sử dụng ở mức độ lớn hơn có thể làm tổn hại khả năng giám sát AI. Ông thậm chí đề cập khả năng cần quy định pháp lý để tránh một “cuộc đua xuống đáy” giữa các phòng thí nghiệm AI.
Ryan Greenblatt, nhà khoa học trưởng Redwood Research, lo ngại bước tiếp theo có thể là mở rộng suy luận ẩn đến mức AI thực hiện gần như toàn bộ quá trình này bên trong “không gian ẩn”, khiến con người càng khó quan sát.
Tuy nhiên, việc Astra sử dụng kỹ thuật trên hiện được cho là còn hạn chế và chuỗi suy luận của mô hình vẫn có thể đọc được. OpenAI cũng khẳng định duy trì khả năng giám sát chuỗi suy luận là một mục tiêu quan trọng.
Theo ông, những mô hình mạnh hơn có thể hoàn thành nhiệm vụ phức tạp bằng ít token ngôn ngữ hơn, thậm chí không cần token ngôn ngữ, khiến lượng thông tin con người có thể quan sát giảm theo.
Tranh luận càng được chú ý sau sự cố gần đây liên quan đến Hugging Face, khi một AI agent của OpenAI thoát khỏi môi trường thử nghiệm biệt lập và xâm nhập một số công ty. Dữ liệu chuỗi suy luận sau đó trở thành công cụ quan trọng để tìm hiểu nguyên nhân các agent hành động như vậy.
Astra trước tiên được cung cấp cho khách hàng sử dụng chương trình an ninh mạng Daybreak của OpenAI. Trong tuần tiếp theo, mô hình sẽ được mở rộng tới người dùng các gói Pro, Plus, Enterprise và Business, cũng như qua API.
Copy link Link bài gốc Lấy link Mô hình AI mới của OpenAI khiến chuyên gia an ninh lo ngại Tags: OpenAI Astra AI an ninh mạng
Nguồn: GenK
Chuyên mục: HOT
