Các ngân hàng chuyển sang kinh tế học token AI để kiểm soát chi phí công nghệ gia tăng

Các ngân hàng đang vượt qua giai đoạn thử nghiệm trí tuệ nhân tạo và triển khai AI trong nhiều hoạt động kinh doanh hơn. Khi mức độ sử dụng mở rộng, các tổ chức tài chính ngày càng chú trọng đến một câu hỏi quan trọng: họ đang nhận được giá trị gì từ mỗi token được sử dụng?

Những thỏa thuận AI dành cho doanh nghiệp trong giai đoạn đầu thường áp dụng mô hình định giá cố định, cho phép doanh nghiệp tiếp cận rộng rãi các công cụ mạnh mẽ với một mức phí có thể dự đoán. Mô hình này ngày càng được thay thế bằng phương thức định giá dựa trên mức sử dụng, trong đó các nhà cung cấp AI hàng đầu tính phí theo khối lượng dữ liệu được mô hình xử lý.

Dữ liệu này được đo lường bằng “token”, tạo ra một lĩnh vực quản trị mới được gọi là kinh tế học token AI. Thuật ngữ này mô tả quy trình theo dõi, quản lý và tối ưu hóa chi phí sử dụng AI trong doanh nghiệp.

Vì sao mức sử dụng token đã trở thành vấn đề đối với ngành ngân hàng

Các nhà cung cấp AI đang xử lý khối lượng token khổng lồ mỗi tháng, và các chuyên gia phân tích dự báo mức tiêu thụ sẽ tiếp tục tăng khi doanh nghiệp giao thêm nhiều công việc cho các hệ thống AI và tác nhân tự hành.

Tuy nhiên, mức sử dụng cao hơn không tự động đồng nghĩa với năng suất cao hơn. Moody’s Ratings cảnh báo rằng việc doanh nghiệp cố gắng tối đa hóa mức tiêu thụ token chỉ để thể hiện hoạt động AI có thể làm gia tăng chi phí mà không tạo ra lợi ích kinh doanh tương xứng.

Các tác nhân AI có thể đẩy chi phí lên cao hơn nữa. Mỗi khi một tác nhân gọi một công cụ phần mềm, lặp lại một tác vụ, trao đổi thông tin với một tác nhân khác hoặc mở rộng quá trình suy luận, hệ thống có thể tiêu thụ thêm token.

• Accenture dự báo mức tiêu thụ token của doanh nghiệp sẽ tăng 78% trong hai năm tới.
• Giá token được dự báo sẽ giảm khoảng 19% trong cùng giai đoạn.
• Một phần ba số công ty được khảo sát cho biết họ đã sử dụng hết ngân sách token hằng năm trước khi năm tài chính kết thúc.
• Các quy trình làm việc dựa trên tác nhân hiện chiếm khoảng 11% lượng token sử dụng, nhưng tỷ lệ này được dự báo sẽ tăng.

Kết quả là áp lực ngày càng lớn đối với ban điều hành và hội đồng quản trị ngân hàng trong việc gắn chi tiêu cho AI với lợi nhuận có thể đo lường. Ngay cả khi giá của từng token giảm, tổng chi tiêu vẫn có thể tiếp tục tăng khi ngày càng nhiều quy trình được chuyển giao cho AI.

Token AI là gì?

Token là các đơn vị dữ liệu mà một mô hình AI đọc, xử lý hoặc tạo ra. Token không phải là đơn vị đo lường được tiêu chuẩn hóa như kilôgam hay inch, và kích thước của chúng có thể thay đổi tùy theo nhà cung cấp, mô hình và ngôn ngữ.

Các nhà cung cấp AI thường chia chi phí token thành hai nhóm:

• Token đầu vào: Thông tin, chỉ dẫn, tài liệu và ngữ cảnh được cung cấp cho mô hình.
• Token đầu ra: Văn bản, phân tích hoặc kết quả khác do mô hình tạo ra.

Token đầu vào thường chiếm phần lớn mức sử dụng, trong khi token đầu ra thường có giá cao hơn vì tạo ra kết quả được yêu cầu. Do đó, một câu lệnh dài chứa nhiều thông tin nền có thể tốn kém hơn một yêu cầu tập trung.

Chi phí cũng phụ thuộc vào mức độ tinh vi của mô hình. Các mô hình tiên tiến cung cấp năng lực cao hơn nhưng thường đắt hơn các mô hình nhỏ hoặc kém mạnh hơn. Vì lý do đó, ngân hàng có thể giảm chi phí bằng cách ghép mỗi tác vụ với một mô hình đủ khả năng hoàn thành công việc mà không cần đến năng lực xử lý dư thừa.

Chi phí có thể khó dự đoán, đặc biệt khi có sự tham gia của các tác nhân AI. Một chỉ dẫn ngắn có thể kích hoạt một chuỗi dài các hoạt động tự động và tiêu thụ hàng triệu token. Nếu không có hệ thống giám sát và kiểm soát, người dùng có thể không biết một yêu cầu sẽ tốn vài đô la hay hàng trăm đô la.

Các ngân hàng đặt câu hỏi AI mang lại gì từ khoản chi tiêu

Mối lo ngại về chi phí AI ngày càng xuất hiện trong các cuộc thảo luận về kết quả kinh doanh của ngân hàng và tại các hội nghị trong ngành. Lãnh đạo ngân hàng thừa nhận trí tuệ nhân tạo có thể tạo ra những cải thiện đáng kể về năng suất, nhưng cũng nhận thức rõ rằng việc triển khai, quản trị và sử dụng liên tục đều kéo theo chi phí lớn.

Chủ tịch kiêm Tổng giám đốc điều hành Bank of America, Brian Moynihan, đã đề cập đến tầm quan trọng ngày càng tăng của kinh tế học token, nhấn mạnh rằng chi tiêu cho AI không thể tăng vô hạn và phải gắn liền với giá trị kinh doanh.

Các lãnh đạo tại First Horizon cũng lưu ý rằng kỳ vọng ban đầu cho rằng AI sẽ ngay lập tức loại bỏ chi phí khỏi hệ thống đã không tính đến chi phí vận hành các chương trình AI và thiết lập cơ chế quản trị phù hợp.

Ban lãnh đạo U.S. Bank cũng nhấn mạnh sự cần thiết phải xác định liệu chi phí token có đang tăng nhanh hơn lợi nhuận hay không. Tổ chức này đã đầu tư vào các năng lực cho phép chuyển từ những mô hình đắt tiền sang các lựa chọn tiết kiệm hơn khi phù hợp.

Những nhận định này phản ánh một sự thay đổi rộng hơn trong ngành ngân hàng. Trọng tâm thảo luận đang chuyển từ việc các tổ chức chi bao nhiêu cho AI sang việc họ nhận lại được gì từ khoản đầu tư đó.

Quản lý chi phí AI trong môi trường vận hành thực tế

Khi các ngân hàng chuyển các dự án AI từ chương trình thử nghiệm sang vận hành chính thức, việc kiểm soát mức sử dụng token đang trở thành một trách nhiệm quản lý cốt lõi. Một thách thức là thay đổi hành vi của nhân viên sau nhiều năm sử dụng phần mềm theo mô hình giá cố định hoặc thuê bao.

Người dùng có thể đã quen với việc nhập các câu lệnh dài, đính kèm tệp lớn và cung cấp lượng ngữ cảnh phong phú. Mỗi từ bổ sung, tài liệu bổ sung hoặc chỉ dẫn lặp lại đều có thể làm tăng mức tiêu thụ token.

Các kỹ thuật như lưu vào bộ nhớ đệm có thể giúp giảm hoạt động xử lý không cần thiết. Bằng cách lưu giữ thông tin liên quan từ công việc trước đó, hệ thống AI có thể tránh lặp lại cùng một phân tích cho một yêu cầu tương tự. Ngân hàng cũng phải quản lý kích thước cửa sổ ngữ cảnh của mô hình, cân bằng giữa chất lượng phản hồi và chi phí xử lý thêm dữ liệu.

Ravi Khokhar của Capgemini so sánh quy trình này với việc lựa chọn phương tiện phù hợp cho một nhiệm vụ. Một mô hình mạnh và đắt tiền có thể hữu ích cho công việc phức tạp, nhưng không cần thiết đối với một yêu cầu đơn giản mà mô hình nhỏ hơn hoặc ứng dụng phần mềm có thể xử lý.

Đào tạo nhân viên cách viết câu lệnh tập trung và cung cấp cho họ hướng dẫn sử dụng rõ ràng có thể giúp giảm mức tiêu thụ token. Các ngân hàng đã áp dụng biện pháp tối ưu hóa có thể giảm khối lượng token từ 10% đến 30%, đồng thời tiếp tục tiết kiệm thêm nhờ các biện pháp kiểm soát chặt chẽ hơn và thiết kế câu lệnh tốt hơn.

Bốn cách ngân hàng có thể cải thiện kinh tế học token AI

1. Thiết lập ngân sách token cho từng cá nhân hoặc phòng ban

Ngân hàng nên tránh cung cấp quyền truy cập không giới hạn vào các mô hình AI đắt tiền. Phân bổ ngân sách token cho nhân viên, nhóm hoặc dự án giúp tạo trách nhiệm giải trình và thiết lập quy trình rõ ràng để yêu cầu thêm năng lực sử dụng.

2. Sử dụng bộ định tuyến mô hình AI

Công nghệ định tuyến mô hình sẽ chuyển từng yêu cầu đến hệ thống phù hợp và tiết kiệm chi phí nhất. Một tác vụ đơn giản có thể được xử lý bởi mô hình nhỏ hơn, trong khi một phân tích phức tạp có thể được gửi đến nền tảng mạnh hơn.

Ví dụ, yêu cầu tra cứu nhiệt độ tại một thành phố cụ thể có thể được xử lý thông qua giao diện lập trình ứng dụng thay vì mô hình ngôn ngữ lớn. Cách tiếp cận này ngăn các mô hình đắt tiền bị sử dụng cho những tác vụ thường nhật.

3. Áp dụng cơ chế phân bổ chi phí và thu hồi chi phí

Cơ chế phân bổ chi phí giúp người dùng nhận thức được chi phí từ hoạt động AI của họ. Thông tin này có thể được so sánh với các chỉ số năng suất, mức độ dịch vụ và những chỉ số hiệu quả chính khác.

Cơ chế thu hồi chi phí tiến thêm một bước bằng cách phân bổ chi phí AI cho một phòng ban, dự án hoặc mảng kinh doanh cụ thể. Phương thức phổ biến trong điện toán đám mây này khuyến khích các nhóm cân nhắc chi phí trước khi mở rộng một ứng dụng AI trên toàn tổ chức.

4. Cân nhắc các mô hình có trọng số mở và mã nguồn mở

Không phải mọi tác vụ ngân hàng đều yêu cầu một mô hình AI tiên tiến nhất. Accenture ước tính chỉ khoảng 10% khối lượng công việc AI cần đến các hệ thống hiện đại nhất.

Các mô hình có trọng số mở và mã nguồn mở có thể mang đến lựa chọn tiết kiệm hơn cho các hoạt động thường nhật, tùy thuộc vào yêu cầu về bảo mật, tuân thủ và hiệu suất của ngân hàng. Việc lựa chọn các phương án này khi phù hợp có thể giảm sự phụ thuộc vào các mô hình có chi phí cao.

Tương lai của chi tiêu cho AI trong ngành ngân hàng

Kinh tế học token nhiều khả năng sẽ tiếp tục là mối quan tâm quản lý lớn khi các tổ chức tài chính mở rộng việc sử dụng AI tạo sinh và các tác nhân tự hành. Ngân hàng sẽ cần theo dõi không chỉ mức độ sử dụng AI, mà còn cả mô hình nào đang được sử dụng, phòng ban nào chịu trách nhiệm về khoản chi tiêu và liệu lợi ích đạt được có tương xứng với chi phí hay không.

Các tổ chức thành công nhất sẽ xem việc sử dụng AI là một lĩnh vực cần được vận hành có kỷ luật, thay vì một nguồn lực công nghệ không giới hạn. Thông qua ngân sách, định tuyến mô hình, đào tạo nhân viên và đo lường hiệu quả chi tiết, ngân hàng có thể theo đuổi hiệu quả do AI thúc đẩy trong khi vẫn kiểm soát được chi phí.

Nguồn: thefinancialbrand.com