Đây không phải là một định dạng trình diễn mới. Nội dung này tuân theo quy trình kiểm chứng case công khai hiện có của chúng tôi. Nguồn tư liệu là một case công khai chính thức của KPMG. Trước tiên, chúng tôi tách riêng đáp án được tiết lộ sau đó trong bài viết, rồi chỉ tái dựng những gì có thể biết được tại thời điểm ra quyết định thành một gói dữ liệu huấn luyện. Minerva Advisor đã hoàn thành một phiên chạy trực tiếp có trả phí. Video này là bản phát lại kiểm chứng thực tế của Decision Room. Điều này không ngụ ý rằng KPMG đã sử dụng, xem xét, chứng thực, tài trợ, chứng nhận hay ủy quyền cho Minerva Advisor, và cũng không đại diện cho kết quả thực tế của công ty nguồn. Đây là một mô phỏng giảng dạy độc lập dựa trên nguồn công khai chính thức, không phải thư từ thực tế hay kết quả thực tế của khách hàng.

Case bắt đầu với một công ty thanh toán toàn cầu phải đồng thời duy trì giao dịch thuận tiện, khả năng phòng chống gian lận tinh vi và một thương hiệu đáng tin cậy. Các quy định toàn cầu, yêu cầu chồng chéo giữa các khu vực, áp lực cạnh tranh và rủi ro danh tiếng đều đan xen với nhau, trong khi ban lãnh đạo còn muốn duy trì năng lực khoa học dữ liệu tiên tiến. Minerva đã xác định rõ quyết định thực sự cần đưa ra: áp dụng cùng một mức độ yêu cầu quản trị cho tất cả các mô hình machine learning cùng một lúc, hay trước tiên triển khai một dự án thí điểm có phạm vi giới hạn, có thể đảo ngược, tập trung vào các mô hình có tác động cao nhất.

Phiên chạy trực tiếp này để lại năm minh chứng công việc. Hệ thống đã chốt một nguồn được chọn. Xác định bốn tác nhân và một sự kiện. Tách riêng bốn sự kiện thực tế, hai suy luận và ba câu hỏi còn bỏ ngỏ. So sánh hai phương án khả thi. Và lưu giữ ba cách diễn giải thay thế, một điều kiện đảo ngược, cùng ba bên liên quan còn vắng mặt. Nhà điều hành có thể kiểm chứng từng hạng mục công việc của hệ thống, mà không cần phải tin tưởng vào một bản tóm tắt được đánh bóng.

Những gì thực sự còn thiếu là ba bằng chứng: mức độ bao phủ quản trị hiện tại thực sự đạt đến đâu, những mô hình nào có thể gây ra tác động thực tế lớn nhất, và chi phí thực sự của việc áp dụng quản trị đồng loạt ở cường độ tối đa đối với tốc độ ra mắt và trải nghiệm giao dịch. Các dữ kiện đã biết, các suy luận và các câu hỏi còn bỏ ngỏ được hiển thị tách biệt trên màn hình. Minerva không mặc định rằng các mô hình hiện có tuân thủ hay không tuân thủ, và cũng không để các khía cạnh kiểm soát mà KPMG áp dụng sau này lọt vào dữ liệu đầu vào.

Ba cách diễn giải thay thế được lưu giữ. Mức độ bao phủ hiện tại có thể đã đủ. Chi phí về tốc độ của việc quản trị toàn diện có thể bị đánh giá quá cao. Và việc xếp hạng tác động mô hình có thể dễ dàng hơn dự kiến. Thách thức mạnh mẽ nhất: dự án thí điểm có phạm vi giới hạn phụ thuộc hoàn toàn vào một bảng xếp hạng tác động mô hình có thể bảo vệ được về mặt lý lẽ; nếu bảng xếp hạng đó sai, dự án thí điểm có thể nhắm sai mô hình trong khi rủi ro tiềm ẩn ở các mô hình bị loại trừ vẫn tiếp tục phơi nhiễm lâu hơn, khiến nó không còn dễ đảo ngược hơn một đợt triển khai toàn diện. Điều kiện đảo ngược: nếu bản kiểm kê kiểm toán cho thấy các kịch bản rủi ro cao đã được bao phủ phần lớn và tác động về tốc độ là tối thiểu, thì việc triển khai toàn diện đồng loạt cần phải được cân nhắc lại.

Khung quản trị, rủi ro và kiểm soát mà KPMG sau này xây dựng, bao gồm chất lượng dữ liệu, thiên lệch, khả năng giải thích, quy trình rủi ro, công nghệ, các công cụ tăng tốc tự động hóa, chương trình kiểm toán và lợi ích của nó, chưa bao giờ được đưa vào dữ liệu đầu vào của quyết định. Đáp án đã công bố đó bị loại trừ hoàn toàn. Điều này chứng minh Minerva đã phân tích tình huống mà không biết trước kết quả công khai, chứ không phải tái dựng lại nó sau khi đã biết đáp án.

Đội ngũ Minerva sau đó chia cùng một nhận định thành ba bước kiểm chứng. Marcus xác định quyết định thực sự cần đưa ra. Sofia mô phỏng hậu quả đối với sản phẩm, rủi ro, kiểm toán và ban lãnh đạo. Evelyn chuyên trách việc thách thức bằng chứng và các cam kết đã đưa ra. Ba cố vấn cùng đối chiếu chéo một nhận định, và kết luận chung của họ không phải là áp dụng ngay một khung toàn diện, mà là trước tiên khép lại các khoảng trống về mức độ bao phủ quản trị và xếp hạng tác động mô hình, trước khi quyết định có triển khai dự án thí điểm phạm vi giới hạn hay không.

Trong tương tác phát lại, nhà điều hành đã nêu rõ một điều kiện chắc chắn: bộ phận kiểm toán nội bộ phải kiểm kê mức độ bao phủ hiện tại trước, và đội ngũ rủi ro phải đưa ra được một bảng xếp hạng tác động mô hình có thể bảo vệ được; nếu một trong hai điều kiện này không hoàn thành, dự án thí điểm sẽ không được triển khai. Hệ thống ngay lập tức ghi lại một minh chứng phản hồi và đánh dấu rõ ràng rằng nhận định ban đầu vẫn giữ nguyên. Bổ sung này củng cố các điều kiện tiên quyết của dự án thí điểm nhưng không biến những điều chưa biết thành điều đã biết. Hệ thống cho thấy liệu dữ liệu đầu vào của nhà điều hành có thực sự làm thay đổi nhận định nền tảng hay không. Đoạn này phản ánh việc nhà điều hành đang vận hành bản phát lại, chứ không phải một kết luận mới của mô hình.

Việc triển khai toàn diện đồng loạt mang lại tính nhất quán và một câu chuyện tuân thủ rõ ràng, nhưng nếu thiếu dữ liệu, nó có nguy cơ làm chậm mọi thứ và khó đảo ngược. Dự án thí điểm phạm vi giới hạn ưu tiên nỗ lực quản trị vào nơi có tác động tiềm năng cao nhất, giữ lại dư địa để điều chỉnh, nhưng nếu xếp hạng sai thì có nghĩa là kiểm thử nhầm mục tiêu trong khi các mô hình bị loại trừ vẫn có thể tích lũy rủi ro. Vì vậy, nhà điều hành nghiêng về Phương án 2, không phải như một lần triển khai vô điều kiện, mà như một lộ trình có điều kiện.

Cuối cùng, nhà điều hành đã chọn dự án thí điểm có phạm vi giới hạn, có thể đảo ngược, phân theo cấp độ rủi ro, và giao nhiệm vụ xếp hạng tác động mô hình cùng kiểm kê hiện trạng trong hai tuần cho đội ngũ gian lận và rủi ro cùng bộ phận kiểm toán nội bộ. Decision Room hiện chuyển sang trạng thái chờ kết quả thực thi. Minerva cung cấp nhận định, bằng chứng phản biện và cơ chế theo dõi, nhưng không ký thay cho nhà điều hành, và cũng không tuyên bố bất kỳ kết quả quản trị nào chưa thực sự xảy ra.

Case KPMG này đã đạt đủ mười trên mười tiêu chí kiểm tra chất lượng quyết định. Phiên chạy đã hiệu chỉnh đi thẳng qua lộ trình nhận định đầu tiên hiện có của Decision Room, sử dụng bốn lượt gọi mô hình. Hệ thống đưa ra quyết định đầu tiên trong 19,183 giây, thấp hơn nhiều so với ngưỡng 30 giây cho quyết định đầu tiên, và hoàn tất toàn bộ kết quả, bao gồm cả ba lượt đối chiếu chéo của cố vấn, trong 26,607 giây, dưới ngưỡng 45 giây cho kết quả hoàn chỉnh. Đây không phải là việc hạ thấp chất lượng hay bỏ qua các chuyên gia; nó phản ánh việc loại bỏ một luồng chat cũ mà Decision Room chính thức sẽ không thực thi. Chất lượng quyết định, trải nghiệm của nhà điều hành và tình trạng hiệu năng đều đạt yêu cầu, nhưng đây vẫn chỉ là một bài kiểm tra trực tiếp trên một case đơn lẻ, không tương đương với mức dịch vụ sản xuất thực tế hay kết quả thực tế của khách hàng.