Đây không phải là một định dạng minh họa mới. Đây chính là quy trình xác minh tình huống công khai mà Minerva Advisor áp dụng cho mọi nghiên cứu tình huống. Tài liệu nguồn được lấy từ nghiên cứu tình huống công khai chính thức của Booz Allen Hamilton về trích xuất dữ liệu tại khoa cấp cứu. Video này là một mô phỏng giảng dạy độc lập, được xây dựng dựa trên tài liệu đã công bố đó. Đây không phải là trao đổi thực tế, và cũng không phản ánh kết quả thực tế của khách hàng. Booz Allen Hamilton không sử dụng, xem xét, chứng thực, tài trợ, chứng nhận hay ủy quyền cho Minerva Advisor thực hiện bài tập này. Minerva Advisor đã hoàn thành một phiên chạy trực tiếp có trả phí, và những gì quý vị đang xem là bản phát lại đã được xác minh của một phiên làm việc thực tế tại Decision Room.

Tình huống bắt đầu với hơn hai thập kỷ dữ liệu hồ sơ bệnh án điện tử tích lũy các ghi chú của bác sĩ và bản ghi âm chuyển thành văn bản. Trong khối lượng dữ liệu đó, những dữ kiện tiền sử bệnh mà bác sĩ lâm sàng cần nhất tại khoa cấp cứu thường bị vùi lấp, và mức độ liên quan lại thay đổi theo từng triệu chứng chính mới. Quyết định đặt ra cho ủy ban là nên triển khai hệ thống trích xuất tự động trên toàn hệ thống ngay lập tức, hay trước tiên chạy thí điểm dưới sự giám sát của bác sĩ lâm sàng, giới hạn ở các triệu chứng chính và nhóm bệnh nhân cụ thể, để có thể kiểm chứng độ bao phủ thông tin, các liên kết gây hiểu nhầm, thiên lệch, quyền riêng tư và tác động đến quy trình làm việc trước khi mở rộng quy mô.

Trước khi hình thành bất kỳ khuyến nghị nào, phiên chạy để lại một biên nhận công việc gồm năm mục. Nó chọn ra một nguồn công khai. Nó xác định bốn vai trò liên quan đến quyết định. Nó tách ra sáu dữ kiện đã biết từ hồ sơ. Nó đánh dấu hai suy luận rút ra từ các dữ kiện đó. Và nó giữ lại ba câu hỏi mở vẫn chưa có lời giải tại thời điểm ra quyết định. Mỗi mục trong số này đều được kiểm tra và ghi lại, tạo cho ủy ban một dấu vết có thể kiểm toán đằng sau phán đoán cuối cùng.

Những gì đã biết tại thời điểm ra quyết định: tiền sử bệnh quan trọng thực sự khó tìm thấy trong các hồ sơ này, mức độ liên quan thay đổi theo từng triệu chứng chính, và các bản tóm tắt tự động có nguy cơ bỏ sót thông tin hoặc gắn nhầm chi tiết cho sai bệnh nhân. Những gì vẫn chưa biết: hiệu suất bao phủ thông tin, thiên lệch, và hành vi sử dụng của bác sĩ trên các cơ sở, nhóm bệnh nhân, triệu chứng chính và định dạng hồ sơ khác nhau, cùng với gánh nặng quy trình do các cảnh báo mới và nguy cơ mô hình bị trôi lệch theo thời gian. Không một yếu tố chưa biết nào trong số này được giải quyết bởi các dữ liệu công khai sẵn có trước thời điểm ra quyết định.

Thách thức mạnh mẽ nhất được nêu ra trong phiên chạy là bản thân việc thí điểm cũng có giới hạn. Thành công của thí điểm có thể chỉ phản ánh các triệu chứng chính được chọn để thử nghiệm, các bác sĩ có thể hành động thận trọng hơn đơn giản vì biết mình đang được quan sát, và các vấn đề tích hợp hoặc hiện tượng mô hình trôi lệch có thể chỉ xuất hiện sau khi mở rộng quy mô lớn hơn. Điều kiện đảo ngược được nêu rõ ràng: nếu dữ liệu thí điểm ban đầu trên nhiều triệu chứng chính và nhóm bệnh nhân cho thấy độ bao phủ thông tin luôn ở mức cao, không có sai sót bỏ sót gây hại nghiêm trọng, và không có bằng chứng về việc bác sĩ lâm sàng phụ thuộc quá mức, thì khuyến nghị sẽ đảo ngược theo hướng đẩy nhanh triển khai.

Để kiểm tra khả năng phán đoán độc lập, phiên chạy đã giữ lại mọi thông tin mà Booz Allen Hamilton và MedStar Health Research Institute công bố sau thời điểm ra quyết định này. Điều đó bao gồm công trình xử lý ngôn ngữ tự nhiên và giao diện lập trình ứng dụng sau này của họ, các vòng phản hồi từ bác sĩ lâm sàng, sản phẩm kết quả có tên Dictation Lens, mười năm dữ liệu đằng sau quá trình phát triển sản phẩm đó, và các kết quả thí điểm cho thấy chẩn đoán nhanh hơn, chính xác hơn. Không một phần nào trong đáp án được giữ lại đó khả dụng với Minerva khi hệ thống hình thành khuyến nghị của riêng mình.

Ba cố vấn mô phỏng đối chiếu cùng một phán đoán từ những góc độ khác nhau. Marcus xác định quyết định thực sự nằm ở việc xác định mức độ bằng chứng an toàn nào mới đủ để biện minh cho việc mở rộng. Sofia mô hình hóa các hệ quả về lâm sàng, thông tin và quyền riêng tư đối với khoa cấp cứu. Evelyn đặt câu hỏi liệu bất kỳ thí điểm nào, dù được thiết kế tốt đến đâu, có thể phát hiện một cách đáng tin cậy những sai sót hiếm gặp nhưng nghiêm trọng hay không. Cả ba đều đi đến cùng một kết luận: nên chạy thí điểm dưới sự giám sát của bác sĩ lâm sàng, giữ nguyên toàn quyền truy cập hồ sơ và phán đoán của bác sĩ, thay vì triển khai ngay lập tức.

Chủ tịch điều hành bổ sung một điều kiện cụ thể trước khi khuyến nghị được hoàn tất: thí điểm phải bao quát đa dạng triệu chứng chính, cơ sở và nhóm bệnh nhân, phải duy trì toàn quyền truy cập hồ sơ và phán đoán của bác sĩ trong suốt quá trình, và phải dừng ngay lập tức nếu xảy ra bất kỳ sai sót bỏ sót gây hại nghiêm trọng, mô hình thiên lệch, hoặc gánh nặng quy trình nào vượt quá ngưỡng đã thống nhất. Hệ thống kiểm tra xem điều kiện bổ sung này có làm thay đổi phán đoán nền tảng hay không, xác nhận rằng nó củng cố chứ không đảo ngược khuyến nghị ưu tiên thí điểm, và ghi lại ý kiến của lãnh đạo điều hành dưới dạng biên nhận phản hồi.

So sánh hai phương án song song: triển khai toàn diện ngay lập tức giúp rút ngắn thời gian tra cứu nhanh nhất, nhưng nếu không được kiểm chứng thì có nguy cơ khuếch đại các sai sót bỏ sót và liên kết sai lệch trên quy mô lớn, và sẽ khó đảo ngược một khi các bác sĩ lâm sàng đã phụ thuộc vào hệ thống. Thí điểm dưới sự giám sát của bác sĩ lâm sàng giúp kiểm chứng độ an toàn, thiên lệch và tác động đến quy trình làm việc trước, đổi lại là lợi ích ngắn hạn đến chậm hơn. Trước mức độ rủi ro trong chăm sóc cấp cứu, lãnh đạo điều hành chọn con đường thí điểm.

Hành động được cam kết: xác định phạm vi thí điểm về triệu chứng chính, cơ sở và nhóm bệnh nhân, thiết lập tiêu chí kiểm chứng cho độ bao phủ thông tin và thiên lệch, và xây dựng quy trình leo thang cùng quy trình khôi phục, tất cả trước khi triển khai chính thức. Ủy ban an toàn lâm sàng và quản trị số phê duyệt phạm vi này, phân công giám sát của bác sĩ và báo cáo sự cố, duy trì toàn quyền truy cập hồ sơ, và thiết lập các điều kiện dừng hoặc mở rộng rõ ràng, gắn với bằng chứng mà thí điểm tạo ra.

Phiên chạy này sử dụng bốn lượt gọi mô hình. Hệ thống đưa ra quyết định đầu tiên trong 15.806 giây và hoàn tất trong 23.642 giây, đạt ngưỡng ba mươi giây cho quyết định đầu tiên và ngưỡng bốn mươi lăm giây cho kết quả hoàn chỉnh. Tình huống này đạt mười trên mười tiêu chí kiểm tra chất lượng quyết định. Minerva Advisor không cấu thành tư vấn y tế và không tuyên bố có bất kỳ công nghệ chính thức hay kết quả chẩn đoán nào thực sự xảy ra. Đây vẫn chỉ là một bài kiểm tra tình huống đơn lẻ về bằng chứng đánh giá sản phẩm, không thay thế cho tiêu chuẩn dịch vụ ở cấp độ vận hành thực tế hay kết quả thực tế của khách hàng.