ベテラン医師の経験か、AIの解析結果か
長年の経験を持つ、一人の外科医。彼が自身の臨床経験から「良性」と判断した腫瘍に対し、最新のAI画像診断システムは「悪性の疑い92%」という解析結果を提示します。
モニターに映し出されるのは、AIが根拠としたという、人間には知覚できない微細なパターン。しかし、その思考プロセスはブラックボックスの中にあり、AIがどのような論理でその結論に至ったのか、人間には検証できない状態です。この時、医師は何を信じるべきでしょうか？これは単なるデータ選択の問題ではありません。医師自身の職業的責任と、患者の人生の重みを背負った問いでもあるのです。
AIを搭載したソフトウェア医療機器（SaMD: Software as a Medical Device）は、医療に革命をもたらす大きな可能性を秘めています。しかし、その成否を分けるのは、技術の先進性だけではありません。日々、自らの経験と専門知識に重い責任を負う医療従事者が、その道具を心から信頼し、臨床の現場に迎え入れられるかどうかにかかっています。
本記事では、数多くの医療機器UXやAI評価を手がけてきたUismの知見をもとに、医療現場で信頼される医療AIの設計ポイントを5つご紹介します。
- 技術からではなく、現場の課題から始める
- AIの思考プロセスを可視化し、透明性を担保する
- 人間の主体性を維持し、過信を防ぐ仕組みを設ける
- データのプライバシーと完全性を最優先する
- 「導入して終わり」にせず、継続的な学びの機会を提供する
それでは、一つずつ見ていきましょう。
1. 技術からではなく、現場の課題から始める
「AIを使えば何かすごいことができるはず」という技術先行の発想は、失敗の典型的なパターンです。開発の出発点は、常に患者と医療チームが直面している、生々しい課題でなければなりません。「AIをどう使うか」の前に、「解決すべき本当の問題は何か」を問いましょう。
現場のニーズに根ざした医療AIは、医療従事者にとって得体の知れない新技術ではなく、自分の仕事を助けてくれる、価値ある道具として認識されます。
具体的な設計のヒント：
「AIに何ができるか」ではなく「医師は、本当は何に困っているのか」を明らかにするため、開発の初期段階でこそ現場観察やインタビューを実施する。
2. AIの思考プロセスを可視化し、透明性を担保する
多くの医療従事者は、「なぜ、この結論に至ったのか」が分からないAIを信頼しません。医師が患者への説明責任を果たし、自ら納得してAIを使いこなすためには、その思考プロセスを可能な限り可視化する透明性が不可欠です。
これは、HCIの分野で古くから議論されてきたオートメーションへの信頼（Trust in Automation）という考え方においても重要視されており、システムの挙動を理解できることが適切な信頼関係に繋がるとされています。
具体的な設計のヒント：
- AIが画像診断の際に注目した箇所をヒートマップで表示したり、判断根拠として参照した類似症例や論文へのリンクを提示する。
- 「悪性の疑いあり」といった断定的な表現だけでなく、「悪性の疑い：92%（信頼度スコア）」のように、AIの“自信”を数値で示す。
3. 人間の主体性を維持し、過信を防ぐ仕組みを設ける
優れたAI搭載SaMDは、単に正確な結果を提示するだけでなく、人間の思考を止めさせないように設計されます。つまり、意図的に人間の監視と介入を促す「セーフティ・バイ・デザイン（Safety by Design）」の思想が求められます。AIの解析結果に常に健全な批判精神を向け、最終的な判断は人間が行う、という原則をユーザーに促すリスクコントロールの仕組みを組み込みましょう。
AIの性能が向上するにつれ、ユーザーが無批判に結果を受け入れてしまう過信のリスクも増大します。これは、近年のAI倫理において「ヒューマン・オーバーサイト（Human Oversight）」の重要性として広く議論されている課題です。
具体的な設計のヒント：
- AIの提案を承認する際に、単に「OK」ボタンを押させるのではなく、「AIの診断結果を確認し、これに同意します」といった能動的なチェックや所見の追記を必須とし、医師の思考を促す。
- 医師がAIの判断に同意しない場合に、その根拠を簡単に記録・フィードバックできる仕組みを設ける。
4. データのプライバシーと完全性を最優先する
医療において、データは人の命に直結します。そのプライバシー保護と完全性の維持は、法的義務である以前に、信頼の絶対的な基盤です。データの転送、保管、利用方法のすべてにおいて、極めて高いレベルのセキュリティ意識が求められます。
特に日本においては、薬機法などの厳しい規制を遵守することはもちろん、患者と医療従事者の双方に安心感を与える倫理的なデータ利用が、製品の受容性を大きく左右します。
具体的な設計のヒント：
- 患者のデータが「どこで」「どのように」扱われるかを可視化した「データフロー図」を作成し、チーム全員でセキュリティリスクを共有する。
- 設計の早い段階で、法務・薬事の専門家を交えたプライバシー観点のデザインレビューを実施する。
5. 「導入して終わり」にせず、継続的な学びの機会を提供する
AI、特に機械学習アルゴリズムは、日々進化し続けます。一度の研修だけで、医療従事者がその価値を最大限に引き出し、長期的に信頼し続けることは困難です。多くの開発チームは「マニュアルやFAQを用意すれば十分」と考えがちですが、実際の現場では資料が読まれず、使い方が分からないまま放置されることも少なくありません。学びの機会は継続的であると同時に、日常の中に自然に組み込まれていることが重要です。
さらに、アルゴリズムの更新情報を通知するだけでは、「また変わった」「分かりづらい」とマイナスに捉えられることも。その変化が、医師の判断をどう補強したのかを伝える工夫が、信頼の深化につながります。
具体的な設計のヒント：
- 機能の初回利用時にヒントを表示したり、「このAIの判断は〇〇という論理に基づいています」といった補足情報を提供する。
- アルゴリズムの精度向上などを通知し、AIが成長し続けていることを伝え、信頼関係を深める。
まとめ：信頼こそが、医療AIを普及させる鍵
これらの要点を通じて、最先端の技術を提供するだけでなく、医療従事者という専門家から深い信頼を勝ち取る医療AIを設計することができます。
Uismは、医療機器のUXリサーチやHFE（ヒューマンファクターズエンジニアリング）における豊富な実績を基に、開発の初期ニーズ探索から形成的・総括的評価まで、製品ライフサイクルを一貫してご支援します。
さらに、Uismでは技術と臨床現場の橋渡しをより確かなものにするため、医療分野の専門家と密に連携しています。医療分野の協働パートナーである高山哲郎医師は、長年にわたりAI技術を臨床に応用してきた経験をもち、大学や企業との協業において実践的な医療ツールの開発にも携わってきました。現場の知見に基づいた助言と実装面でのサポートを通じて、Uismのリサーチが臨床現場のリアルを外さないための、重要な役割を果たしています。
日本の医療現場に本当に受け入れられる医療AIの実現に向けて、まずはお気軽に現状の課題やお考えをお聞かせください。
関連記事
医療AIに限らず、AIプロダクトにおいて「信頼」をどのように設計するかという問いは共通しています。
以下の記事では、その前提となるUXの考え方を「文脈」「対話」「信頼」という3つの視点から整理しています。
アクセシビリティやインクルーシブデザインの実践ポイントを紹介しており、医療現場で使いやすいAIを考える際の参考になります。
