Một phân tích cập nhật từ OpenAI cho thấy nhu cầu về tài nguyên tính toán đã tăng lên đáng kể như thế nào để đạt được từng bước đột phá AI mới.

Năm 2018, OpenAI đã phát hiện ra rằng lượng năng lượng tính toán được sử dụng để đào tạo các mô hình AI lớn nhất đã tăng gấp đôi sau mỗi 3,4 tháng kể từ năm 2012.

Phòng thí nghiệm nghiên cứu AI vì lợi nhuận có trụ sở tại San Francisco hiện đã thêm dữ liệu mới vào phân tích của mình. Điều này cho thấy cách nhân đôi sau năm 2012 so với thời gian nhân đôi lịch sử kể từ khi bắt đầu lĩnh vực. Từ năm 1959 đến 2012, lượng điện năng được sử dụng tăng gấp đôi cứ sau hai năm, theo dõi Moore Moore Law. Điều này có nghĩa là tài nguyên được sử dụng ngày nay đang tăng gấp đôi với tốc độ nhanh hơn bảy lần so với trước đây.

Sự gia tăng mạnh mẽ về tài nguyên cần thiết này đã nhấn mạnh đến mức độ thành công của lĩnh vực này đã trở nên tốn kém. Hãy nhớ rằng biểu đồ trên cho thấy một thang logarit. Trên thang đo tuyến tính (bên dưới), bạn có thể thấy rõ hơn cách sử dụng tính toán đã tăng 300.000 lần trong bảy năm qua.

Biểu đồ này cũng đáng chú ý không bao gồm một số đột phá gần đây nhất, bao gồm mô hình ngôn ngữ quy mô lớn của Google, BERT, mô hình ngôn ngữ OpenAI Way GPT-2 hoặc mô hình chơi trò chơi StarMraft II của DeepMind.

Trong năm qua, ngày càng có nhiều nhà nghiên cứu đã gióng lên hồi chuông cảnh báo về chi phí bùng nổ của việc học sâu. Vào tháng 6, một phân tích từ các nhà nghiên cứu tại Đại học Massachusetts, Amherst, đã chỉ ra làm thế nào những chi phí tính toán ngày càng tăng này trực tiếp chuyển thành khí thải carbon.

Trong bài báo của mình, họ cũng lưu ý rằng xu hướng làm trầm trọng thêm việc tư nhân hóa nghiên cứu AI vì nó làm suy yếu khả năng các phòng thí nghiệm hàn lâm cạnh tranh với các công ty tư nhân giàu tài nguyên hơn nhiều.

Để đáp ứng mối quan tâm ngày càng tăng này, một số nhóm ngành đã đưa ra khuyến nghị. Viện Trí tuệ nhân tạo Allen, một công ty nghiên cứu phi lợi nhuận ở Seattle, đã đề xuất rằng các nhà nghiên cứu luôn công bố chi phí tài chính và tính toán của việc đào tạo các mô hình của họ cùng với kết quả thực hiện của họ, ví dụ.

Trong blog riêng của mình, OpenAI đề nghị các nhà hoạch định chính sách tăng tài trợ cho các nhà nghiên cứu hàn lâm để thu hẹp khoảng cách tài nguyên giữa các phòng thí nghiệm học thuật và công nghiệp.