WO2023053991A1

WO2023053991A1 - 医療画像処理装置、医療画像処理装置の作動方法、及び医療画像処理装置用プログラム

Info

Publication number: WO2023053991A1
Application number: PCT/JP2022/034597
Authority: WO
Inventors: 弘亮岩根
Original assignee: 富士フイルム株式会社
Priority date: 2021-09-30
Filing date: 2022-09-15
Publication date: 2023-04-06
Also published as: CN118042977A; JPWO2023053991A1

Abstract

より信頼性又は精度が高い画像認識処理結果を得ることができる医療画像処理装置、医療画像処理装置の作動方法、及び医療画像処理用プログラムを提供する。　医療画像処理装置（１０）は、取得した医療画像に基づき画像認識処理を行い、医療画像と画像認識処理の結果とをディスプレイ（２０）に表示する制御を行い、医療画像に基づき画像認識処理に不適切な領域である不適切領域を検出する不適切領域検出処理を行い、不適切領域検出処理の検出結果に基づき、検出結果を報知する制御を行う。

Description

医療画像処理装置、医療画像処理装置の作動方法、及び医療画像処理装置用プログラム

　本発明は、医療画像処理装置、医療画像処理装置の作動方法、及び医療画像処理装置用プログラムに関する。

　医療分野においては、内視鏡またはＣＴ（Ｃｏｍｐｕｔｅｄ　Ｔｏｍｏｇｒａｐｈｙ、コンピュータ断層撮影装置）もしくはＭＲＩ（Ｍａｇｎｅｔｉｃ　Ｒｅｓｏｎａｎｃｅ　Ｉｍａｇｉｎｇ、磁気共鳴画像）等の各種のモダリティにより得られる医療画像を用いて画像認識処理を行うことにより、医師の診断を支援するための診断支援情報を得ることが行われている。近年では、機械学習の技術を用いた画像認識処理により所望の情報を得る方法が各種開発されている。

　医療画像に基づいて病変を検出する画像認識処理が知られている。内視鏡システムにおいて、ユーザが病変を見落とす見落としリスクの度合いに基づき、報知手段等を制御して病変部の報知を行う内視鏡システム等が知られている（特許文献１）。

国際公開第２０２０／１１０２１４号

　医療画像に基づいた画像認識処理を行う場合、画像認識処理自体が有効に実施されることにより、画像認識処理の信頼性又は精度を高めることができ、病変等によっては、これを見落とすリスクを減少させることも可能である。

　本発明は、より信頼性又は精度が高い画像認識処理結果を得ることができる医療画像処理装置、医療画像処理装置の作動方法、及び医療画像処理装置用プログラムを提供することを目的とする。

　本発明の医療画像処理装置は、プロセッサを備える。プロセッサは、被検体像を含む医療画像を取得し、医療画像に基づき画像認識処理を行い、医療画像と画像認識処理の結果とをディスプレイに表示する制御を行い、医療画像に基づき画像認識処理に不適切な領域である不適切領域を検出する不適切領域検出処理を行い、不適切領域検出処理の検出結果に基づき、検出結果を報知する制御を行う。

　不適切領域検出処理は、医療画像における不適切領域の位置を特定し、検出結果は、医療画像における不適切領域の位置を含むことが好ましい。

　プロセッサは、検出結果を、ディスプレイに対して画像により報知すること、振動発生手段に対し振動により報知すること、及び、音声発生手段に対し音声の発生により報知することのうち少なくとも１種の制御を行うことが好ましい。

　プロセッサは、メイン領域とサブ領域とを備えるディスプレイに対し、医療画像をメイン領域に表示し、検出結果をサブ領域に表示する制御を行うことが好ましい。

　プロセッサは、ディスプレイに対し、検出結果を医療画像に重畳した重畳画像を表示する制御を行うことが好ましい。

　プロセッサは、医療画像に基づき不適切領域が画像認識処理に不適切である不適切要因を識別する不適切要因識別処理を行い、不適切要因識別処理の識別結果に基づき、識別結果を報知する制御を行うことが好ましい。

　識別結果は、複数の不適切要因を含み、プロセッサは、不適切要因毎に互いに異なる態様により識別結果を報知する制御を行うことが好ましい。

　識別結果は、複数の不適切要因を含み、プロセッサは、複数の不適切要因のうち少なくとも２つを組み合わせて得られる組み合わせ不適切要因に基づき、識別結果を報知する制御を行うことが好ましい。

　不適切要因は、医療画像におけるブレもしくはボケ、水、血液、残渣、もしくはレンズの汚れの像、又は、暗部もしくはハレーション部の像であることが好ましい。

　不適切要因は、画像認識処理の結果に基づいて算出される正診率が予め設定した値以下であることであることが好ましい。

　不適切要因と不適切要因の回避方法とが関連付けられた回避情報を備え、不適切要因識別処理は、不適切要因と回避情報とを参照することにより、不適切領域における不適切要因の回避方法を取得し、識別結果は、不適切領域における不適切要因の回避方法を含むことが好ましい。

　プロセッサは、被検体を撮影して医療画像を生成する撮影装置を制御し、撮影装置に不適切要因の回避方法を実行させる制御を行うことが好ましい。

　不適切領域検出処理は、不適切要因毎に画像認識処理に不適切である程度を表す不適切度を識別し、プロセッサは、不適切度に基づき、検出結果の報知の態様を異ならせる制御を行うことが好ましい。

　プロセッサは、検出結果を報知する制御を行う際に、予め報知に関する閾値を設定し、報知に関する閾値に基づき、検出結果の報知の態様を異ならせる制御を行うことが好ましい。

　プロセッサは、画像保存部と接続し、医療画像と、画像認識処理の結果、検出結果、及び識別結果のうち少なくとも１つを医療画像に重畳した情報重畳画像とを、画像保存部に保存する制御を行うことが好ましい。

　プロセッサは、画像保存部と接続し、医療画像の付属情報に、画像認識処理の結果、検出結果、及び識別結果のうち少なくとも１つを加えた情報付与画像を、画像保存部に保存する制御を行うことが好ましい。

　プロセッサは、医療画像が有する不適切領域に基づき、医療画像の品質指標を算出し、ディスプレイに対して品質指標を表示する制御を行うことが好ましい。

　医療画像は、被検体の検査において得られたものであり、プロセッサは、ディスプレイに対して検査において得られた複数の医療画像の品質指標に基づき算出した検査全体スコアを表示する制御を行うことが好ましい。

　また、本発明の医療画像処理装置の作動方法は、被検体像を含む医療画像を取得するステップと、医療画像に基づき画像認識処理を行うステップと、医療画像と画像認識処理の結果とをディスプレイに表示する制御を行うステップと、医療画像に基づき画像認識処理に不適切な領域である不適切領域を検出する不適切領域検出処理を行うステップと、不適切領域検出処理の検出結果に基づき、検出結果を報知する制御を行うステップと備える。

　また、本発明の医療画像処理装置用プログラムは、被検体像を含む医療画像を取得する処理と、医療画像に基づき画像認識処理を行う処理と、医療画像と画像認識処理の結果とをディスプレイに表示する制御を行う処理と、医療画像に基づき画像認識処理に不適切な領域である不適切領域を検出する不適切領域検出処理を行う処理と、不適切領域検出処理の検出結果に基づき、検出結果を報知する制御を行う処理とをコンピュータに実行させる。

　本発明によれば、より信頼性又は精度が高い画像認識処理結果を得ることができる。

医療画像処理装置の機能を示すブロック図である。医療画像処理装置の構成を説明するブロック図である。認識処理部の機能を示すブロック図である。図４（ａ）は、注目領域検出器が検出した注目領域を、注目領域の形状により表示する処理を説明する説明図であり、図４（ｂ）は、注目領域検出器が検出した注目領域を、矩形の形状により表示する処理を説明する説明図である。内視鏡画像及び検出処理である認識処理の結果を表示する画像図である。内視鏡画像及び分類処理である認識処理の結果を表示する画像図である。内視鏡画像及び部位認識処理である認識処理の結果を表示する画像図である。不適切領域検出部の機能を示すブロック図である。図９（ａ）は、不適切領域検出器が検出したハレーション部による不適切領域を説明する説明図であり、図９（ｂ）は、不適切領域検出器が検出した暗部による不適切領域を説明する説明図である。内視鏡画像、検出処理の結果、及び不適切領域検出処理の結果をサブ領域に表示する画像図である。内視鏡画像、検出処理の結果、及び不適切領域検出処理の結果をメイン領域に表示する画像図である。不適切要因識別器を備える不適切領域検出部の機能を示すブロック図である。図１３（ａ）は、不適切要因識別器が検出したハレーション部である不適切要因を説明する説明図であり、図１３（ｂ）は、不適切要因識別器が検出した暗部である不適切要因を説明する説明図である。不適切要因識別器による不適切要因識別結果を報知する画像の画像図である。各種検出部を備える不適切領域検出部の機能を示すブロック図である。各検出部による不適切要因識別結果を報知する画像の画像図である。回避情報を備える不適切領域検出部の機能を示すブロック図である。回避情報を説明する説明図である。回避方法と不適切要因識別結果とを報知する画像図である。撮影装置制御部を備える不適切領域検出部の機能を示すブロック図である。回避実行情報と不適切要因識別結果とを報知する画像図である。不適切度閾値情報を備える不適切領域検出部の機能を示すブロック図である。不適切度閾値情報を説明する説明図である。情報付与画像を説明する説明図である。品質指標算出部を備える医療画像処理装置の機能を示すブロック図である。品質指標を表示する画像図である。全体マップを説明する画像図である。全体チェックシートを説明する画像図である。医療画像処理装置の処理の流れを説明するフローチャートである。

　本発明の基本的な構成の一例について説明する。図１に示すように、医療画像処理装置１０は、医療画像取得部１１、認識処理部１２、表示制御部１３、不適切領域検出部１４、及び報知制御部１５を備える。医療画像処理装置１０は、内視鏡装置１８、Ｘ線検査等の各種モダリティ（図示せず）、ＲＩＳ（放射線科情報システム、Radiology Information Systems）もしくは内視鏡情報システム等の検査情報システム（図示せず）、及びＰＡＣＳ（医療用画像管理システム、Picture Archiving and Communication System）１９等の医療画像の出力が可能な装置、ディスプレイ２０等の表示装置、及びキーボード等の入力デバイス２１等と接続する。

　医療画像処理装置１０は、内視鏡装置１８等から取得した医療画像に基づき画像認識処理を行い、医療画像と医療画像の画像認識処理結果とをディスプレイ２０に表示する制御を行う。ユーザである医師は、ディスプレイ２０に示された医療画像と画像認識処理結果とを診断に役立てる。また、医療画像処理装置１０は、医療画像に基づき、画像認識処理に不適切な領域である不適切領域を検出する不適切領域検出処理を行い、不適切領域検出処理の検出結果を医師に報知する制御を行う。検出結果において、不適切領域を検出したとの報知があった場合、医師は、画像認識処理に用いた医療画像は、画像認識処理に不適切な領域があったことを認識できる。一方、不適切領域を検出したとの報知がなかった場合、医師は、画像認識処理に用いた医療画像は、画像認識処理に不適切な領域がなかったことを認識できる。

　医療画像は、主に検査により得られた検査動画又は静止画であり、例えばＰＡＣＳ１９が扱う医療画像である。具体的には、Ｘ線検査によるＸ線画像、ＭＲ検査によるＭＲＩ画像、ＣＴ検査によるＣＴ画像、内視鏡検査による内視鏡画像、又は超音波検査による超音波画像等が挙げられる。

　医療画像処理装置１０は、検査中又は検査後に作動する。したがって、医療画像処理装置１０は、検査中にリアルタイムで医療画像を取得するか、又は、検査後に各種の医療画像を保存する装置に保存されていた医療画像を取得する。そして、取得した医療画像に基づき、その後の動作を続けて行う。

　画像認識処理は、医療画像を用いて行われる各種の認識処理であり、例えば、病変等の注目領域を検出する注目領域検出処理、病変に対して病種を分類する分類処理、又は、撮影した部位を認識する部位認識処理等が挙げられる。これらの処理のそれぞれは、注目領域検出処理が分類処理を兼ねる等、２つ以上の種類の処理を兼ね備えてもよい。

　画像認識処理は、機械学習アルゴリズムに対し学習を実施して構築された画像認識用学習モデルにより実施される。この画像認識用学習モデルは、それぞれの処理毎に、医療画像を入力することにより目的の結果を出力するように学習及び調整等が行われた学習モデルである。具体的には、注目領域検出処理での学習の場合、学習データセットは、医療画像と医療画像が有する注目領域の正解データとからなる。医療画像と画像認識処理の結果とは、ディスプレイ２０に表示される。ユーザは、ディスプレイ２０の表示により認識処理の結果を確認し、診断支援情報として診断に役立てる。

　不適切領域検出処理は、医療画像における不適切領域を検出する処理であり、画像認識処理と並行して行う。不適切領域検出処理は、機械学習アルゴリズムに対し学習を実施して構築された不適切領域検出用学習モデル等により実施される。この不適切領域検出用学習モデルは、医療画像を入力することにより不適切領域を出力するように学習及び調整等が行われた学習モデルである。具体的には、学習データセットは、医療画像と医療画像における不適切領域の正解データとからなる。

　医療画像における不適切領域を示す不適切領域の正解データは、例えば、医療画像に基づいて医師が判定して医療画像に付与する。また、医療画像に基づいて画像認識処理を行った際に、正診率が低い領域又は目的の結果を出力することに失敗した領域を、不適切領域として医療画像に付与してもよい。画像認識処理が目的の結果を出力することに失敗したか否かは、医師が医療画像を目視して診断した結果、又は、生検等の検査の結果等と、認識処理の結果とにより判定する。

　ここで、正診率は、医療画像に対して行った画像認識処理等の各種学習モデルによる認識処理の結果が、医師が診断した結果と同じであった程度を示す。例えば、生検等の検査結果も含め医療画像に写る被検体の実際の状況を医師が診断した結果に対して、医療画像に対して行った注目領域検出処理の画像認識処理の結果であって、医師が診断した注目領域の結果と同じであった割合とすることができる。したがって、正診率が低い領域とは、医療画像に対し、画像認識処理の結果と医師の診断結果とが一致する割合が小さい領域である。

　不適切領域の正解データは、不適切領域となった原因である不適切要因に関する正解データを含んでもよい。不適切要因に関する正解データは、医師が医療画像を目視して不適切要因の正解データを付与してもよいし、不適切要因を識別する不適切要因識別用学習モデルにより識別して得た不適切要因により、医療画像に不適切領域及び不適切要因の正解データを付与してもよい。

　不適切要因に関する正解データは、医師が付与する場合は、医師が医療画像を目視して判定することにより付与することができる。医師が判定する不適切要因は、例えば、医療画像におけるブレもしくはボケ等の不適焦点の像、水、血液、残渣、もしくは、レンズの汚れもしくは曇り等の被検体以外の像、又は、暗部もしくはハレーション部等の不適露出の像等が挙げられる。

　不適切要因は、画像認識処理の結果に基づいて算出される正診率が予め設定した閾値以下の領域であってもよい。また、画像認識処理の正診率が低い領域又は画像認識処理が失敗した領域等において、医師によってはその要因が判定できない要因の場合がありうる。不適切要因識別器９１（図１２参照）によれば、画像認識処理の正診率が低い領域又は画像認識処理が失敗した領域等において、医師によってはその要因が判定できない要因であっても、不適切要因を識別することができる。不適切要因識別器９１等については、後述する。

　不適切領域検出処理により不適切領域が検出された場合に行われる報知は、医師に医療画像において不適切領域が検出されたことを認識させることができる方法により行うことができる。例えば、不適切領域が検出されたことを、取得した医療画像を表示するディスプレイ２０に表示することにより、医師は、不適切領域検出処理によって、医療画像には画像認識処理に不適切な領域が存在すると検出されたことを認識できる。また、報知がない場合、医師は、医療画像において不適切領域検出処理によって画像認識処理に不適切な領域が検出されなかったことを認識できる。

　画像認識処理を行う場合に医療画像の不適切領域が存在すると、適切な画像解析処理が行われないおそれがある。例えば、医療画像に写る被検体が病変等の注目領域を含む場合に、不適切領域のために、注目領域を検出する画像認識処理が注目領域を正しく検出できないおそれがある。

　また、不適切領域における不適切要因は、医療画像において病変等の注目領域の存在の有無に関わらず生じる。すなわち、医療画像に写る被検体において病変等が存在しない正常な領域のみを含む場合に、不適切領域のために、注目領域を検出する画像認識処理が注目領域を検出してしまうおそれがある。以上のように、画像解析処理の結果を診断支援情報として診断を行う場合、適切な診断とならない可能性がある。

　医療画像処理装置１０は、病変等の存在に関わらず、医療画像に対し画像認識処理を行うに際して不適切な不適切領域を検出して医師に報知する。したがって、例えば、医師がディスプレイ２０に表示された医療画像と、表示により報知された不適切領域とを見て、不適切領域となった要因が認識でき、不適切な要因を回避することが可能であれば、医師は、検査において医療画像の撮影環境を変える等の対応をすることが可能となる。したがって、医師は不適切な要因を回避し、より信頼性又は精度が高い画像認識処理の結果を得ることができる。

　また、医療画像処理装置１０により、不適切領域の検出が医師に報知された場合、医師が不適切領域となった要因が認識できなくても、ディスプレイ２０に表示された画像認識処理の結果には、不適切領域の存在のために信頼できない箇所がある可能性を認識することができる。したがって、不適切領域の検出の結果が得られない場合と比較して、画像認識処理の結果に対し注意を払うことができる。このように、不適切領域となった要因が認識できない場合も、不適切領域の検出の報知は画像認識処理の結果の信頼性又は精度に関する有用な情報となり、医師はこれらの情報を自動的に得ることができる。一方、不適切領域検出処理を行っている場合に、不適切領域の報知がない場合は、医師は、画像認識処理の結果に対して一定の信頼性又は精度があることを認識できる。

　以上のように、医療画像処理装置１０により、医師は、不適切領域が存在する医療画像に対しても、不適切領域が存在しない医療画像に対しても、また、注目領域が検出された領域のみならず、病変等の注目領域が存在しない正常領域に対しても、不適切領域の報知により、信頼性又は精度が高い画像認識処理結果を得ることができる。

　本発明の医療画像処理装置１０について実施形態の一例を説明する。図２に示すように、本実施形態の医療画像処理装置１０は、ハードウェア構成としては、入力装置である入力デバイス２１、出力装置であるディスプレイ２０、制御部３１、通信部３２、及び記憶部３３が、データバス３４を介して電気的に相互接続されているコンピュータである。

　入力デバイス２１は、キーボード、マウス、又はディスプレイ２０のタッチパネル等の入力装置である。ディスプレイ２０は、出力装置の一種である。ディスプレイ２０は、マウスやキーボード等の入力デバイス２１の操作に応じた各種操作画面を表示する。操作画面にはＧＵＩ(Graphical User Interface)による操作機能が備えられる。医療画像処理装置１０を構成するコンピュータは、操作画面を通じて入力デバイス２１からの操作指示の入力を受け付けることができる。

　制御部３１は、プロセッサであるＣＰＵ（Central Processing Unit)４１、ＲＡＭ（Random Access Memory）４２、及びＲＯＭ（Read Only Memory）４３等を含む。ＣＰＵ４１は、記憶部３３等に記憶されたプログラムをＲＡＭ４２、又はＲＯＭ４３へロードして、プログラムにしたがった処理を実行することにより、コンピュータの各部を統括的に制御する。通信部３２は、ネットワーク３５を介した各種情報の伝送制御を行うネットワークインターフェースである。なお、ＲＡＭ４２、又はＲＯＭ４３は、記憶部３３の機能を備えていてもよい。

　記憶部３３は、メモリの一例であり、例えば、医療画像処理装置１０を構成するコンピュータに内蔵、もしくはケーブルやネットワークを通じて接続されたハードディスクドライブ、ソリッドステートドライブ、又はハードディスクドライブ等を複数台連装したディスクアレイである。記憶部３３には、制御プログラム、各種アプリケーションプログラム、これらのプログラムに使用するための各種データ、及び、これらのプログラムに付随する各種操作画面の表示データ等が記憶されている。

　本実施形態の記憶部３３は、医療画像処理装置用プログラム４４、医療画像処理装置用データ４５等の各種データを記憶する。医療画像処理装置用プログラム４４又は医療画像処理装置用データ４５は、医療画像処理装置１０の各種機能を実施するためのプログラム又はデータである。医療画像処理装置用プログラム４４と医療画像処理装置用データ４５とにより、医療画像処理装置１０の機能が実現される。また、医療画像処理装置用データ４５は、医療画像処理装置用プログラム４４により生成された各種データの一時保存又は保存のための一時保存部１６及びデータ保存部１７を含み、各種のデータを記憶する。

　医療画像処理装置１０を構成するコンピュータは、専用に設計された装置の他、汎用のサーバ装置、又はＰＣ（Personal Computer）等とすることができる。また、医療画像処理装置１０の機能を発揮することができればよく、単独のコンピュータとしてもよいし、他の機能を装置とコンピュータを共用してもよい。例えば、内視鏡用プロセッサ装置等の他の機能を果たす装置とコンピュータを共用してもよいし、内視鏡管理システム等に医療画像処理装置１０の機能又はコンピュータを組み込んでもよい。本実施形態では、医療画像処理装置１０を構成するコンピュータは、医療画像の画像認識処理を行うＰＣと共用とする。

　本実施形態の医療画像処理装置１０はプロセッサを備えるプロセッサ装置であり、医療画像処理装置１０には医療画像処理に関するプログラムがプログラム用メモリである記憶部３３に格納されている。医療画像処理装置１０においては、プロセッサ等によって構成される制御部３１により、プログラム用メモリ内のプログラムが動作することによって、医療画像取得部１１と、認識処理部１２と、表示制御部１３と、不適切領域検出部１４と、報知制御部１５との機能が実現される（図１参照）。

　医療画像取得部１１は、医療画像を出力可能な装置から医療画像を取得する。医療画像としては、主に検査により得られる検査動画を取得する。本実施形態では、内視鏡装置１８を用いた内視鏡検査において得られる内視鏡画像を検査中にリアルタイムで取得する。内視鏡画像は医療画像の一種であり、内視鏡装置１８が備える内視鏡で被検体を撮影して得た画像である。以下、医療画像として内視鏡画像を用いた場合について説明する。なお、内視鏡画像という場合には、動画及び／又は静止画とする。また、動画には、内視鏡装置１８が予め設定したフレーム数で撮影した個々のフレーム画像が含まれる。

　認識処理部１２は、医療画像取得部１１が取得した内視鏡画像に対する画像認識処理を行う。画像認識処理の内容としては、本実施形態では、医療画像取得部１１が取得した内視鏡画像に対し、検査中にリアルタイムで病変等の注目領域を検出する。したがって、本実施形態では、画像認識処理は注目領域検出処理である。注目領域検出処理の他に、病変に対して病種を分類する分類処理、撮影中の部位に関する情報を認識する部位認識処理、又は、これらを複数組み合わせて行う処理が可能である。

　図３に示すように、認識処理部１２は、注目領域検出器５１を含む。注目領域検出器５１は、取得した内視鏡画像６１に基づき、内視鏡画像６１に写る被検体が含む注目領域を検出する注目領域検出処理を行う。

　注目領域検出処理は、注目領域検出器５１を用いて行う。図４（ａ）に示すように、注目領域検出器５１は、内視鏡画像６１が入力されることにより、内視鏡画像６１に映る被検体が注目領域６２を含む場合に、注目領域６２の有無又は注目領域６２の場所を含む認識処理の結果６３を出力する。認識処理の結果６３の出力は、例えば、認識処理により検出された注目領域６２である検出注目領域６４の領域自体を画像の形態として表示する。また、図４（ｂ）に示すように、認識処理の結果６３の出力は、検出注目領域６４の領域自体の出力ではなく、検出注目領域６４の位置を示す出力でもよい。例えば、認識処理の結果６３の出力は、検出注目領域６４を示す矩形の図形の形態として表示する。認識処理の結果６３は、画像、図形、又はテキスト等の各種の形態で出力することにより医師に通知される。

　注目領域検出器５１は、画像処理により注目領域を検出するものであってもよいし、機械学習による学習モデルにより注目領域を検出するものであってもよい。本実施形態では、注目領域検出器５１は、機械学習アルゴリズムを用いて構築された注目領域検出用学習モデルであり、内視鏡画像６１を注目領域検出器５１に入力した場合に、内視鏡画像６１における注目領域の有無を目的変数として出力することが可能な学習モデルである。注目領域検出用学習モデルは、画像認識用学習モデルの一例である。注目領域検出器５１は、内視鏡画像６１における注目領域の有無を目的変数として出力することが可能なように、予め、機械学習アルゴリズムを用いて、内視鏡画像６１と注目領域の正解データとからなる注目領域検出器５１用の初期画像データセットにより学習され、パラメータ等の調整が行われている。

　注目領域検出器５１に用いる機械学習アルゴリズムとしては、教師あり学習に用いられるアルゴリズムであれば各種のアルゴリズムを用いることができるが、画像認識において良好な推論結果を出力するとされるアルゴリズムを用いることが好ましい。例えば、多層ニューラルネットワーク、又は畳み込みニューラルネットワークを用いることが好ましく、いわゆるディープラーニングと称される手法を用いることが好ましい。また、注目領域検出器５１には、注目領域の検出の精度の向上、又は検出速度の向上等、学習モデルの性能の向上のために一般的に行われる、入力画像である内視鏡画像６１に対する加工、複数の学習モデルの使用等の技術を用いてもよい。

　認識処理の結果６３である注目領域の検出の結果には、内視鏡画像６１において検出した注目領域の場所、大きさもしくは面積、形状、又は、個数等が含まれ、注目領域の場所又は大きさ等が０であった、すなわち、注目領域が検出されなかったとの内容も含む。

　表示制御部１３は、内視鏡画像６１と認識処理の結果６３とをディスプレイ２０に表示する制御を行う。内視鏡画像６１と認識処理の結果６３との表示方法としては、医師が内視鏡画像６１と認識処理の結果６３とを確認できる方法を採用することができ、例えば、内視鏡画像６１に認識処理の結果６３を重畳して示す、ディスプレイ２０のメイン領域に内視鏡画像６１を表示し、サブ領域に認識処理の結果６３を表示する、又は、認識処理の結果６３をテキストで示す等とすることができる。内視鏡画像６１と認識処理の結果６３との表示方法は、認識処理部１２が行う認識処理の内容、又は、認識処理の結果６３の内容等に合わせて適切な表示形態とすることが可能である。

　図５に示すように、本実施形態では、認識処理部１２は注目領域検出処理を行うため、内視鏡装置１８による検査中に使用するディスプレイ２０のメイン領域７１に内視鏡画像６１と認識処理の結果６３である注目領域検出処理の結果とを表示する。内視鏡画像６１が注目領域６２を含む場合は、内視鏡画像６１を表示することにより、医師は、被検体が有する注目領域６２を確認することができる。

　そして、認識処理の結果６３は、例えば、メイン領域７１において、注目領域検出表示枠７２として、検出した注目領域６２に近い内視鏡画像６１の枠の形状及び色を、通常の枠から変化させて表示することができる。また、ディスプレイ２０のサブ領域７４に、注目領域検出表示図形７３として、検出した注目領域６２の位置を示す図形を表示することによって、検出した注目領域６２の位置を示すことができる。

　医師は、ディスプレイ２０のメイン領域７１又はサブ領域７４を見ることで、認識処理部１２により注目領域６２が検出されたことを認知できる。医師は、認識処理の結果６３を示す注目領域検出表示枠７２又は注目領域検出表示図形７３により、認識処理の結果６３を診断に役立てることができる。なお、検査中の内視鏡画像６１を含む検査動画、及び、認識処理の結果６３等のデータは、一時保存部１６に保存される。

　なお、例えば、認識処理部１２が病変に対して病種を分類する分類処理を行う場合であって、内視鏡装置１８による検査中に使用するディスプレイ２０に内視鏡画像６１と認識処理の結果６３である分類処理の結果とを表示する場合は、図６に示すように、検査中に使用するディスプレイ２０のメイン領域７１に内視鏡画像６１と認識処理の結果６３とを表示し、また、ディスプレイ２０のサブ領域７４にも認識処理の結果６３を表示する。なお分類処理においては、内視鏡画像６１における病変の位置を検出し、この病変の種類を分類する。メイン領域７１に表示する認識処理の結果６３では、分類結果表示テキスト７５により認識処理の結果６３を表示する。具体的には、「ＨＹＰＥＲＰＬＡＳＴＩＣ」等のテキストにより表示する。また、サブ領域７４にも、認識処理の結果６３として、分類結果色別表示７６により、病変の位置とこの病変の種類とが、この病変の種類を示す色により表示される。図６では、分類結果色別表示７６により、病変が過形成（ｈｙｐｅrｐｌａｓｔｉｃ）であることが示される。

　また、例えば、認識処理部１２が部位に関する情報を認識する部位認識処理等を行う場合であって、内視鏡装置１８による検査終了後において、検査レポート作成用のディスプレイ２０の検査レポート作成ソフトにおけるメイン領域７１に、内視鏡画像６１と認識処理の結果６３である部位認識処理の結果とを表示する場合は、図７に示すように、例えば、メイン領域７１に内視鏡画像６１と部位名表示テキスト７７とを表示し、また、サブ領域７４にも、部位名のタイルの強調表示７８により、認識処理の結果６３を表示する。

　不適切領域検出部１４は、内視鏡画像６１に基づき不適切領域検出処理を行う。不適切領域検出処理では、画像認識処理に不適切な領域である不適切領域を、不適切領域検出結果８２として出力する。本実施形態では、注目領域検出処理にとって不適切な領域である不適切領域を、不適切領域検出結果８２として検出する。不適切領域は、具体的には、内視鏡画像６１上の領域であって、内視鏡画像６１に起因して、注目領域検出処理が適正に行われない可能性がある領域である。不適切領域検出処理は、内視鏡画像６１における不適切領域の位置を特定する。したがって、不適切領域検出結果８２は内視鏡画像６１における不適切領域の位置を含む。

　不適切領域検出処理では、内視鏡画像６１において注目領域検出処理が適正に行われない可能性がある領域を検出することができればよく、例えば、機械学習による学習モデルを利用する方法、又は、不適切領域となった要因である不適切要因について、画像処理により不適切要因を識別することにより不適切領域を検出する方法等を採用することができる。本実施形態では、機械学習による学習モデルを利用する。画像処理により不適切要因を識別する場合については、後述する。

　図８に示すように、不適切領域検出部１４は、不適切領域検出器８１を含む。不適切領域検出器８１は、取得した内視鏡画像６１に基づき、注目領域検出処理に対する不適切領域を検出する不適切領域検出用学習モデルである。

　図９（ａ）に示すように、不適切領域検出器８１は、内視鏡画像６１が入力されることにより、内視鏡画像６１に写る被検体が注目領域検出処理に対する不適切領域を含む場合に、不適切領域検出結果８２を出力する。図９（ａ）において、内視鏡画像６１は、ハレーション領域６５を含む。ハレーション領域６５は、内視鏡画像６１において画素値が飽和状態又は飽和に近い状態にあるため、認識処理部１２は、画素の特徴量により画像認識処理を行うことができず、ハレーション領域６５に基づく場合は適正に注目領域検出処理を行うことができない。不適切領域検出器８１は、ハレーション領域６５を含む内視鏡画像６１の入力により、ハレーション領域６５を検出した場合に、ハレーション領域６５の検出不適切領域８３を含む不適切領域検出結果８２を出力する。不適切領域検出結果８２には、注目領域検出処理により検出された検出不適切領域８３を含む場合と、検出不適切領域８３を含まない場合とがある。

　また、図９（ｂ）に示すように、内視鏡画像６１は、内視鏡の照明光が届かない管腔の奥を撮影した暗部領域６６を含む。暗部領域６６は、逆に、内視鏡画像６１において画素値が０又は０に近い状態にあるため、認識処理部１２は、画素の特徴量により画像認識処理を行うことができず、暗部領域６６に基づく場合は適正に注目領域検出処理を行うことができない。したがって、不適切領域検出器８１は、暗部領域６６を含む内視鏡画像６１の入力により、暗部領域６６の検出不適切領域８３を含む不適切領域検出結果８２を出力する。

　不適切領域検出器８１は、具体的には機械学習アルゴリズムを用いて構築された不適切領域検出用学習モデルであり、内視鏡画像６１を不適切領域検出器８１に入力した場合に、内視鏡画像６１における不適切領域の有無を目的変数として出力することが可能な学習モデルである。不適切領域検出器８１は、内視鏡画像６１における不適切領域の有無を目的変数として出力することが可能なように、予め、機械学習アルゴリズムを用いて、内視鏡画像６１と不適切領域の正解データとからなる不適切領域検出器８１用の初期画像データセットにより学習され、パラメータ等の調整が行われている。

　不適切領域検出器８１に用いる機械学習アルゴリズムとしては、教師あり学習に用いられるアルゴリズムであれば各種のアルゴリズムを用いることができるが、画像認識において良好な推論結果を出力するとされるアルゴリズムを用いることが好ましい。例えば、多層ニューラルネットワーク、又は畳み込みニューラルネットワークを用いることが好ましく、いわゆるディープラーニングと称される手法を用いることが好ましい。また、不適切領域検出器８１には、不適切領域の検出の精度の向上、又は検出速度の向上等、学習モデルの性能の向上のために一般的に行われる、入力画像である内視鏡画像６１に対する加工、複数の学習モデルの使用等の技術を用いてもよい。

　不適切領域検出結果８２には、内視鏡画像６１において検出した不適切領域の場所、大きさもしくは面積、形状、又は、個数等が含まれ、不適切領域の場所又は大きさ等が０であった、すなわち、不適切領域が検出されなかったとの内容も含む。

　報知制御部１５は、不適切領域検出結果８２に基づき、これを報知する制御を行う。報知の制御方法は、予め設定することができる。例えば、不適切領域検出結果８２が、不適切領域が検出されないとの内容である場合は、報知を行わないものとし、不適切領域が検出された場合は、医師にその旨を通知する報知を行うものとする。

　報知の方法としては、医師が、内視鏡画像６１において注目領域検出処理に対する不適切領域を含むことについて認識できる方法であればよい。したがって、報知は、医師の五感により認識できる報知手段を用いる方法を採用することができる。

　報知は、具体的には、不適切領域が検出されたとの不適切領域検出結果８２について、ディスプレイ２０を用いて画像により報知することができる。内視鏡装置１８による検査中である場合は、不適切領域検出結果８２を表示するディスプレイ２０は、検査中に内視鏡画像６１を表示するディスプレイ２０と同じであることが好ましい。不適切領域検出結果８２をディスプレイ２０に表示することにより、医師は、通常の検査と変わらない動作により、不適切領域検出結果８２を確認することができる。なお、画像による報知の場合、報知制御部１５は、報知の指示を表示制御部１３に対して行い、具体的な表示の制御は、表示制御部１３が行う。

　また、振動発生手段に対し、不適切領域が検出されたとの不適切領域検出結果８２が得られた際に、振動発生手段を用いて振動により報知してもよい。振動発生手段としては、通信により振動を発生することができる小型端末、携帯電話、又は、スマートフォン等が採用できる。また、不適切領域が検出されたとの不適切領域検出結果８２が得られた際に、スピーカ等の音声発生手段を用いて、音及び／又は声を含む音声により報知してもよい。不適切領域検出結果８２の報知において、音声発生手段又は振動発生手段を用いることにより、医師は、ディスプレイ２０の表示を通常の検査等と同じにすることができる。

　報知制御部１５は、本実施形態では、不適切領域検出結果８２を画像として表示することにより報知する制御をディスプレイ２０に対して行う。例えば、ディスプレイ２０は、メイン領域７１とサブ領域７４とを備え、メイン領域７１に内視鏡画像６１を表示する。サブ領域７４は、内視鏡画像６１での位置を示すポジションマップを表示する。ポジションマップには、検出処理による不適切領域検出結果８２を表示する。メイン領域７１及び／又には、注目領域の検出処理である認識処理の結果６３を表示してもよい。

　図１０に示すように、検査中、メイン領域７１に、内視鏡画像６１と、注目領域検出表示枠７２により認識処理の結果６３である注目領域６２とが表示される。サブ領域７４のポジションマップには、検出不適切領域８３と、認識処理の結果６３である注目領域検出表示図形７３とが表示される。内視鏡画像６１は、白く写るハレーション領域６５と暗く写る暗部領域６６とを含む。したがって、不適切領域検出結果８２にハレーション領域６５と暗部領域６６とが含まれるため、サブ領域７４に示されるポジションマップには、これらの領域が検出不適切領域８３であることが表示される。メイン領域７１とサブ領域７４とに、認識処理の結果６３及び不適切領域検出結果８２を表示することにより、医師は、検査中の内視鏡画像６１の認識処理の結果６３を確認するためにディスプレイ２０を見ることにより、検査中の被検体の観察と同時に不適切領域検出結果８２等を把握することができる。したがって、不適切領域検出結果８２をサブ領域７４に表示することにより、メイン領域７１の表示を通常の検査から変えずにすみ、医師の内視鏡画像６１の観察を妨げない。

　また、内視鏡画像６１に不適切領域検出結果８２を重畳してディスプレイ２０に表示してもよい。図１１に示すように、内視鏡画像６１と検出不適切領域８３とを重畳して表示してもよい。ここにさらに、認識処理の結果６３を重畳して表示してもよい。この場合、不適切領域検出結果８２を検出不適切領域８３として表示し、認識処理の結果６３を注目領域検出表示枠７２として表示する等により、不適切領域検出結果８２と認識処理の結果６３とを異なる態様で示すことが好ましい。内視鏡画像６１に、不適切領域検出結果８２等を重畳して表示することにより、サブ領域７４を設けないディスプレイ２０であっても、医師は、検査中の内視鏡画像６１を確認するためにディスプレイ２０を見ることにより、被検体の観察と同時に不適切領域検出結果８２等を把握することができる。

　以上のとおり、医療画像処理装置１０は、不適切領域検出結果８２を報知する制御を行い、不適切領域検出結果８２を医師等に対し報知する。これにより、内視鏡画像６１における注目領域検出処理等の画像認識処理の結果に関わらず、内視鏡画像６１において画像認識処理に不適切な領域を医師に認識させることができる。たとえば、注目領域検出処理が、注目領域を検出した場合のみならず、被検体が病変等を含まない正常部からなり注目領域を検出しない場合、又は、注目領域検出処理が誤検出をしている場合であっても、不適切領域を検出する。また、画像認識処理が被検体の病変を検出できない場合であっても、不適切領域の検出及び報知が行われ、その後病変を検出できる可能性が高くなる。

　さらに、不適切領域検出結果８２は、人が視認した場合ではそれほど問題がないと思われる内視鏡画像６１であっても、画像認識処理を行うにあたって問題となる領域を含む。すなわち、不適切領域に関して医師による判定結果と画像認識処理による判定結果とが異なる領域についても、不適切領域として医師に報知することができる。医師は、これらの報知により、例えば、内視鏡を用いた検査において、不適切領域となる得るブレもしくはボケを是正する、レンズの汚れを除去する、拡大率もしくは被検体との距離を調整する等、不適切領域が発生しないように内視鏡を操作することを含む種々の操作を行うことができる。したがって、医師により不適切領域の発生を抑えることが可能であり、注目領域検出処理が適正に行われる内視鏡画像６１を撮影していくことも可能となる。以上のように、医療画像処理装置１０では、適正な画像認識処理により、より信頼性又は精度が高い画像認識処理結果を得ることができる。

　また、不適切領域検出結果８２をディスプレイ２０に表示して報知する場合は、医師は、検査中に被検体を確認するディスプレイ２０を見ることで、内視鏡画像６１に加え不適切領域検出結果８２等の情報も得ることができる。

　次に、不適切要因について説明する。不適切領域検出部１４は、内視鏡画像６１に基づき、不適切領域が画像認識処理に不適切な理由である不適切要因を識別する不適切要因識別処理を行ってもよい。この場合、報知制御部１５は、不適切要因識別処理の識別結果に基づき、識別結果を報知する制御を行う。上記したように、不適切要因には複数の種類があり得る。不適切要因識別処理は、内視鏡画像６１の不適切領域のそれぞれについて、複数の種類の不適切要因のうちいずれであるかを識別する。

　例えば、画像認識処理により病変等を見落とすリスクのみについて評価及び報知する場合は、病変等を見落とすリスクについては報知されるが、どのような要因により病変等を見落とすリスクとなっているかは医師に報知されないため、医師はこれらのリスクについて認識することができない場合がある。したがって、これらのリスクの回避操作をすることができない可能性がある。医療画像処理装置１０によれば、不適切要因が何であるかを識別し、報知することが可能であり、医師は不適切要因を回避する操作を行うことが可能である。そして、不適切要因を回避することにより、画像認識処理が適切に行われる可能性が高まる。

　また、不適切領域について不適切要因を識別して報知することにより、不適切領域を検出する学習モデルによる検出結果について説明可能とすることができ、検出結果に関する理由が不明となる場合があるといった、機械学習を採用することによる不便を解消し、より有用な機械学習の利用につながる。

　不適切要因識別処理は、機械学習による学習モデルを利用する方法、又は、画像処理により不適切要因を識別する方法等が挙げられる。図１２に示すように、学習モデルを利用する場合は、不適切領域検出部１４は不適切要因識別器９１を備える。不適切要因識別器９１は、不適切領域検出器８１により検出された不適切領域について、不適切要因を識別する不適切要因識別処理を行う。不適切領域が複数検出された場合は、それぞれの不適切領域について不適切要因を識別する。

　図１３（ａ）に示すように、不適切要因識別器９１は、ハレーション領域６５である検出不適切領域８３を有する内視鏡画像６１が入力されることにより、検出不適切領域８３における不適切要因を識別して不適切要因識別結果９２を出力する。不適切要因識別結果９２は、ハレーション領域識別結果９３として、領域の表示及び／又は「不適露出：ハレーション」のようなテキストにより出力する。同様に、図１３（ｂ）に示すように、不適切要因識別器９１は、暗部領域６６であった検出不適切領域８３を有する内視鏡画像６１が入力されることにより、検出不適切領域８３における不適切要因を識別して不適切要因識別結果９２を出力する。不適切要因識別結果９２は、暗部領域識別結果９４として、領域の表示及び／又は「不適露出：暗部」のようなテキストにより出力する。不適切要因識別結果９２の出力は、ディスプレイ２０のサブ領域７４等に表示する。

　不適切要因識別器９１は、機械学習アルゴリズムを用いて構築された不適切要因識別用学習モデルであり、内視鏡画像６１の不適切領域に関する情報を不適切要因識別器９１に入力した場合に、入力した不適切領域の不適切要因を識別して、不適切要因を目的変数として出力することが可能な学習モデルである。不適切要因識別器９１は、内視鏡画像６１における不適切領域の不適切要因を目的変数として出力することが可能なように学習又は調整される。

　不適切要因識別器９１に用いる機械学習アルゴリズムとしては、教師あり学習に用いられる各種のアルゴリズムを用いることができるが、画像認識において良好な推論結果を出力するとされるアルゴリズムを用いることが好ましい。例えば、多層ニューラルネットワーク、又は畳み込みニューラルネットワークを用いることが好ましく、いわゆるディープラーニングと称される手法を用いることが好ましい。

　なお、不適切要因識別器９１は、出力する結果を複数の項目の割合として出力するものであってもよい。この場合、出力は、複数の不適切要因がそれぞれの確率により出力される。具体的には、アルゴリズムとして畳込みニューラルネットワークを用いた深層学習を行う場合に、活性化関数としてソフトマックス関数を用いる等の手法が行われる。これにより、不適切要因識別器９１により、複数の不適切要因の確率が出力されるため、これらの不適切要因を検討して最終的な不適切要因を決定することができる。また、不適切要因識別器９１には、不適切要因の識別の精度の向上、又は識別速度の向上等、学習モデルの性能の向上のために一般的に行われる、入力画像である内視鏡画像６１等に対する加工、複数の学習モデルの使用等の技術を用いてもよい。不適切要因識別結果９２には、不適切領域を識別した不適切要因の内容が含まれ、不適切要因が不明であったとの結果も含む。

　不適切要因識別器９１は、不適切領域を有する内視鏡画像６１と、不適切領域における不適切要因の正解データとを含む学習データセットにより学習される。不適切要因の正解データとしては、上記したようなボケ、ブレ、又はハレーション等による不適切領域のそれぞれに対し、医師等により、ボケ、ブレ、又はハレーション等の不適切要因の内容をそれぞれ付与することにより正解データとすることができる。また、不適切要因が、画像認識処理の結果に基づいて算出される正診率が予め設定した閾値以下である場合については、この内視鏡画像６１に対して行った検出処理等の画像認識処理の結果に基づいて算出した正診率を正解データとすることができる。

　正診率は、内視鏡画像６１に対して行った検出処理等の認識処理の結果６３を医師が判定して内視鏡画像６１の領域毎に付与することができる。例えば、認識処理の結果６３が医師の診断と全く同じである場合は１００を、認識処理の結果６３が医師の診断と全く異なる場合は０を付与する等、０から１００の段階的な数値で医師が付与することにより、正診率が正解データとして付与された内視鏡画像６１を学習データセットとすることができる。正診率の正解データが付与された内視鏡画像６１により学習した不適切要因識別器９１により、正診率が未知の内視鏡画像６１を入力することにより、内視鏡画像６１の領域毎に推測された正診率を不適切要因識別結果９２として出力することができる。正診率が高い領域は、その不適切領域が画像認識処理に不適切である程度が低いといえる。したがって、正診率を用いることにより、不適切要因の識別により、不適切要因の内容のみならず、不適切要因の不適切さを表す程度に関する情報も得ることができる。

　なお、正診率と同様の不適切要因として誤診率を用いてもよい。誤診率は、内視鏡画像６１に対して行った検出処理等の画像認識処理の結果と、医師が診断した結果が異なった程度を示し、例えば、正診率と反対に、生検等の検査結果も含め内視鏡画像６１に写る被検体の実際の状況を医師が診断した結果に対して、内視鏡画像６１に対して行った検出処理等の画像認識処理の結果が医師が診断した結果と異なるものであった割合とすることができる。誤診率も正診率と同様に用いることができる。不適切要因として、誤診率が高い領域は、その不適切領域が画像認識処理に不適切である程度が高いといえる。

　報知制御部１５は、不適切要因識別結果９２に基づき、識別結果を報知する制御を行う。報知の制御については予め設定することができる。例えば、不適切要因識別結果９２が、医師が見落とす可能性が高い不適切領域に対する不適切要因であって、内視鏡の操作により不適切要因を回避しやすい不適切要因である場合は、積極的に報知を行う、又は、目立つ態様により報知を行う、といったように制御することができる。一方、不適切要因識別結果９２がハレーション領域６５等であり、医師が目視により認識できる可能性が高い不適切要因の場合は、報知を行わないようにする、又は、目立たない態様により報知を行う、といったように制御することができる。

　報知の方法としては、注目領域検出処理の場合と同様とすることができ、例えば、不適切要因識別結果９２をディスプレイ２０に対して画像により報知すること、振動発生手段に対し振動により報知すること、及び音声発生手段に対し音声の発生により報知することのうち少なくとも１種を行うことができる。

　また、不適切要因識別結果９２が複数の不適切要因を含む場合、報知制御部１５は、不適切要因毎に互いに異なる態様により不適切要因識別結果９２を報知する制御を行ってもよい。態様は、報知の各手段において、報知の内容が互いに異なることが認識できる態様であればよい。例えば、画像により報知する場合は、互いに異なる色、図形、又はテキストを表示するとの態様により、報知の内容が互いに異なることを認識することができる。振動による場合は振動のパターンにより、音声による場合は音声の内容又は音声のパターンにより、互いに異なる態様とすることができる。

　図１４に示すように、例えば、不適切要因識別結果９２を画像により報知する場合、識別された不適切要因毎に色を異ならせて表示することにより、不適切要因識別結果９２を報知することができる。不適切要因がハレーション領域６５である検出不適切領域８３は、ポジションマップにおいて、ハレーション領域識別結果９３を示す色により表示する。また、不適切要因が暗部領域６６である検出不適切領域８３は、ポジションマップにおいて、暗部領域識別結果９４を示す色により表示する。これにより、この場合、不適切要因と色との関係を確認できるように、不適切要因の内容と表示の色とを対応させて表示した不適切要因凡例９５を表示することが好ましい。

　不適切要因の組み合わせにより報知を制御してもよい。識別結果が複数の不適切要因を含む場合、すなわち、内視鏡画像６１が複数の不適切要因を含む場合、報知制御部１５は、複数の不適切要因のうち少なくとも２つを組み合わせて得られる組み合わせ不適切要因に基づいて、検出結果の報知の態様を異ならせる制御を行うことができる。

　組み合わせ不適切要因は、それぞれの不適切要因を用いて得られる要因である。それぞれの不適切要因を用いて組み合わせ不適切要因とする場合には、各不適切要因に重み付けを行うことができる。例えば、正診率の不適切要因と、その他の不適切要因とを組み合わせた組み合わせ不適切要因において、正診率の不適切要因が予め設定した値以上である場合は、その他の不適切要因が何であっても報知を行わないとすることができる。組み合わせ不適切要因を用いることにより、報知を詳細にコントロールすることが可能となる。組み合わせ不適切要因とする場合の不適切要因は、定量化したものであってもよい。定量化された不適切要因である不適切度については、後述する。

　なお、不適切要因識別器９１の種類によっては、内視鏡画像６１に基づいて、不適切要因を識別して不適切要因識別結果９２を得るのと同時に、不適切要因識別結果９２を有する領域、すなわち、不適切領域を検出することができる。内視鏡画像６１と、この内視鏡画像６１が含む各種の不適切要因とその領域とを学習データセットとして学習させることにより、内視鏡画像６１を入力した際に、不適切要因と、その不適切要因が存在する不適切領域とを出力する学習モデルとすることができる。したがって、この場合は、不適切要因識別処理により、不適切要因識別処理と、不適切領域を検出する不適切領域検出処理とを、同時に行うことができる。

　また、不適切要因識別処理において、画像処理により不適切要因を識別する方法を採用することができる。この場合も、不適切要因識別処理と、不適切領域を検出する不適切領域検出処理とを、同時に行ってもよい。不適切領域検出部１４は、複数の不適切要因のそれぞれを画像処理により検出し、検出結果に基づき不適切要因を識別する。これらの不適切要因を識別する画像処理は、並列して作動させる。

　図１５に示すように、例えば、不適切要因を、不適露出、ボケ等の不適焦点、及び残渣の存在とした場合、不適切領域検出部１４は、不適露出を検出する露出不適検出部１０１、ボケを検出する焦点不適検出部１０２、及び、残渣の存在を検出する残渣検出部１０３等を備える。その他、検出する不適切要因に応じて、ブレを検出するブレ検出部、又は、レンズの汚れ等を検出する汚れ検出部等を適宜設定することができる。具体的には、露出不適検出部１０１は画素値を用いた判定アルゴリズムにより識別することができる。ブレ検出部又はボケを検出する焦点不適検出部１０２は、画像のコントラストを用いた判定アルゴリズムにより識別することができる。残渣検出部１０３は、周囲の色と異なることから、画素値を用いた判定アルゴリズムにより識別することができる。

　この場合の処理の流れとしては、医療画像取得部１１が取得した内視鏡画像６１について、認識処理部１２が注目領域を認識するのと並行して、不適切領域検出部１４の各検出部である露出不適検出部１０１、焦点不適検出部１０２、及び残渣検出部１０３が並行して作動する。そして、認識処理部１２の認識処理の結果は表示制御部１３に送られ、ディスプレイ２０に表示する制御が行われる。そして、不適切領域検出部１４の各検出部の検出結果は、報知制御部１５に送られ、予め設定した態様により報知が行われる。

　図１６に示すように、内視鏡画像６１が暗部領域６６、残渣が写る残渣領域１１１、及びハレーション領域を含む場合であって、不適切要因識別結果９２について画像に表示することによる報知が設定されている場合、ディスプレイ２０のサブ領域７４に、露出不適検出部１０１の画像処理結果であるハレーション領域識別結果９３及び暗部領域識別結果９４、並びに、残渣検出部１０３の画像処理結果である残渣領域識別結果１１２とが、それぞれ異なる色により表示される。なお、図１６においては、サブ領域７４のポジションマップにおいて、検出注目領域６４が表示されない場合である。検出注目領域６４が表示されないことにより、医師は、残渣のためか、認識処理部１２が注目領域６２を認識できなかったことを確認できる。このような情報を得ることにより、医師は種々の操作を検討することができる。

　不適切要因を識別する場合、識別した不適切要因を活用することができる。例えば、識別した不適切要因により、不適切要因を回避する回避方法を医師に報知することができる。図１７に示すように、この場合、不適切領域検出部１４は、不適切要因と不適切要因の回避方法とが関連づけられた回避情報１２１と備える。回避情報１２１は、それぞれの不適切要因毎に、その不適切要因を回避する回避方法が関連付けられるものである。そして、不適切要因識別処理において識別した不適切要因と回避情報１２１とから、不適切領域における回避方法を不適切要因識別結果９２として報知することができる。

　図１８に示すように、具体的には、回避情報１２１では、不適切要因が残渣の存在であった場合、回避方法として、「被写体又は残渣への送水」等の回避方法が関連付けられ、不適切要因が「ボケ」であった場合、回避方法として、「スコープ操作をゆっくりする」等が、また、不適切要因が「レンズ汚れ」であった場合、回避方法として「レンズ面への送気送水」等が関連付けられている。

　不適切領域検出部１４は、不適切要因識別処理において不適切要因を識別し、回避情報１２１を用いて不適切要因の回避方法を得る。そして、不適切領域の不適切要因とこの不適切要因を回避する回避方法とを識別結果として報知する。図１９に示すように、画像等の表示により識別結果を報知する場合、ディスプレイ２０に、内視鏡画像６１、認識処理の結果６３、不適切要因識別結果９２である暗部領域識別結果９4とボケ領域識別結果１３３、及び、不適切要因である暗部領域とボケのそれぞれの回避方法１２２とを表示する。なお、暗部両利きの回避方法１２２としては「スコープの移動・回転」を表示し、ボケの回避方法１２２としては「露光時間の短縮」を表示している。

　回避方法１２２を表示により報知する場合、ディスプレイ２０における表示の態様は、予め設定することができる。例えば、内視鏡画像６１の観察の妨げにならないよう、メイン領域７１以外に表示してもよいし、回避方法１２２の認識を優先する場合は、メイン領域７１に回避方法１２２を重畳して表示する態様としてもよい。

　また、不適切要因が内視鏡装置１８等の医療画像の撮影装置の作動により回避できるものについては、医療画像処理装置１０は、撮影装置に不適切要因の回避方法１２２を実行させる制御を行ってもよい。この場合、図２０に示すように、不適切領域検出部１４は、撮影装置制御部１３１を備える。撮影装置制御部１３１は、回避方法１２２を受け取り、回避方法１２２に基づいて、被検体を撮影して医療画像を生成する撮影装置を制御する。撮影装置による回避方法１２２の実行は、自動で行われることが好ましい。

　本実施形態では、撮影装置は内視鏡画像６１を取得する内視鏡装置１８であるから、撮影装置制御部１３１は、内視鏡装置１８を制御することにより不適切要因の回避方法１２２を実行させる。不適切要因を内視鏡装置１８の動作により回避できるものとしては、内視鏡画像６１を撮影する際に調整する項目であり、例えば、露光時間、フレームレート、拡大率、又は照明光等が挙げられる。

　なお、撮影装置に不適切要因の回避方法１２２を実行させる制御を行った場合、不適切要因を回避したことを報知することが好ましい。図２１に示すように、図１９に示す場合に、撮影装置制御部１３１が内視鏡装置１８において露光時間の短縮を実行することにより、不適切要因であるボケを回避した場合、ディスプレイ２０の不適切要因凡例９５の表示において、「露光時間短縮中」といった回避実行情報１３４を表示して、不適切要因を回避したことを報知してもよい。医師は、メイン領域７１を確認することにより、ボケの検出不適切要因が回避されていることを認識できる。なお、この場合、サブ領域７４のポジションマップには、一定時間、ボケを回避する前のボケ領域識別結果１３３の不適切要因の領域を表示しておき、医師がどの領域に不適切要因があったのかを認識できるようにしてもよい。

　識別した不適切要因は、次のようにも活用できる。例えば、不適切要因毎に画像認識処理に不適切である程度を表す不適切度を識別して用いることができる。不適切領域検出部１４は、不適切要因識別器９１により不適切要因毎に不適切度を識別する。そして、報知制御部１５は、不適切度に基づいて不適切領域検出処理の検出結果の報知の態様を異ならせる制御を行うことができる。

　不適切度は、不適切要因が画像認識処理に不適切である程度を表し、不適切要因毎に、また、画像認識処理の種類により設定できる。例えば、画像認識処理の種類が注目領域の検出処理であって、不適切要因がブレである場合、ブレ量を算出する手段により算出したブレ量を基本とし、例えば、算出したブレ量に対する重み付け係数を１とする等により、注目領域の検出処理におけるブレの不適切要因における不適切度を算出することができる。

　また、不適切要因によっては、不適切要因自体を不適切度としてもよい。例えば、不適切要因が注目領域の検出処理における正診率である場合、正診率自体を不適切度とすることができる。また、不適切要因が残渣である場合、内視鏡画像６１全体の面積に対する残渣が存在する面積の割合を不適切度とすることができる。不適切要因が画像認識処理に不適切である程度をより適切に表すように、各不適切要因毎に不適切度を設定することが好ましい。

　なお、不適切度は、不適切要因識別器９１により算出してもよい。上記したように、学習モデルの種類によっては、出力する結果を複数の項目の割合として出力することができる。これにより、不適切要因識別器９１において、それぞれの不適切要因の不適切度を出力させてもよい。

　例えば、不適切要因がブレである場合、目的関数を低度のブレ、中度のブレ、及び高度のブレの３クラスとし、不適切領域についてブレの３クラスのそれぞれの割合にクラス分類する。そしてもっとも高い割合となったクラスを、その不適切領域のブレの不適切度とすることができる。不適切要因識別器９１により、他の不適切要因についても、同様にして不適切度を算出することができる。

　報知制御部１５は、不適切度に基づいて不適切領域検出結果８２の報知の態様を異ならせる制御を行うことができる。この場合、不適切度と予め設定した不適切度の閾値とに基づいて、不適切領域検出結果８２の報知の態様を異ならせる制御を行うことが好ましい。不適切度の閾値は、不適切要因毎に予め設定することができる。閾値は、不適切度に関する予め設定した値とすることができ、不適切度の最低値又は最高値を含む。また、不適切要因が識別されても報知しない、又は、不適切要因が識別された場合は不適切度に関わらず全て報知する、との報知の態様とすることができる。

　図２２に示すように、不適切領域検出部１４は、検出した不適切要因毎に不適切度の閾値を設定し、不適切度の閾値に基づいて報知の態様を異ならせた情報を有する不適切度閾値情報１３５を備えてもよい。図２３に示すように、不適切度閾値情報１３５は、不適切要因毎に、不適切度の内容と、各画像検出処理における報知を行う不適切度の閾値との情報を有する。図２３に示す場合は、不適切度が閾値以上の場合に報知を行う。また、報知の態様をさらに詳細に設定する場合は、閾値を複数種類設定して、第１の閾値で報知の有無を決定し、第２の閾値で報知の態様を異ならせる等とすることができる。報知制御部１５は、不適切度閾値情報１３５に基づいて、不適切領域検出結果８２の報知の態様を異ならせる制御を行うことができる。

　不適切度の閾値により、必要な場合の報知は行い、報知が頻繁となることで内視鏡検査に支障をきたすような場合の報知を行わないようにすることができる。例えば、医師がスコープを移動させていることによってブレ又はボケが発生している場合は、医師が内視鏡画像６１が不適切領域を含むことが医師にとって明らかであるため、これらの場合については不適切度の閾値を高く設定し、報知をしないように設定できる。したがって、不適切度の閾値を用いることにより、報知を詳細にコントロールすることが可能となる。

　なお、不適切度は、定量化した不適切要因とみることができるため、上記したように、組み合わせ不適切要因を構成する不適切要因として、不適切要因の不適切度を用いることができる。不適切領域検出部１４は、不適切要因の種類毎に識別された複数の不適切度のそれぞれを用いて組み合わせ不適切要因とし、組み合わせ不適切要因に基づいて、検出結果の報知の態様を異ならせてもよい。この場合、不適切度のそれぞれに対し重み付けをした上で、組み合わせ不適切要因としてもよい。また、不適切度のそれぞれを用いて、加減乗除等により算出して、組み合わせ不適切要因としてもよい。

　例えば、ブレの不適切要因と、その他の不適切要因とを組み合わせた組み合わせ不適切要因において、ブレの不適切度が予め設定した値以上である場合は、その他の不適切度については報知しないとすることができる。ブレ量が高く、ブレの不適切度が高い場合は、スコープが移動中である場合が多い。スコープの移動中は、その他の不適切要因について報知を行って解消したとしても、ブレが解消されない限り不適切要因が解消されないと考えられるためである。また、組み合わせ不適切要因に基づいて、検出結果の報知の態様を異ならせる場合は、不適切度と同様であり、組み合わせ不適切要因の閾値を設定して報知の態様の決定に用いてもよい。以上のように、組み合わせ不適切要因を用いることにより、検査の場面に合わせ、報知を詳細にコントロールすることが可能となる。

　次に、報知に関する閾値を用いる場合について説明する。報知制御部１５は、検出結果を報知する制御を行う際に、予め報知に関する閾値を設定してもよい。そして、報知に関する閾値に基づき、検出結果の報知の態様を異ならせる制御を行ってもよい。

　報知に関する閾値は、不適切要因、不適切度、又は組み合わせ不適切要因等の、検出された不適切領域に基づく情報のみならず、検出処理等に用いた内視鏡画像６１に基づく情報、又は、内視鏡画像６１を撮影した際の撮影条件等の情報に対しても設定することができる。

　例えば、報知に関する閾値は、注目領域検出器５１、不適切領域検出器８１、又は不適切要因識別器９１における各処理結果の信頼度に対して設定することができる。学習モデルにおける信頼度には各種の算出方法が挙げられ、例えば、混同行列（Ｃｏｎｆｕｓｉｏｎ　ｍａｔｒｉｘ）、正解率（Ａｃｃｕｒａｃｙ）、適合率（Ｐｒｅｃｉｓｉｏｎ）、又は再現率（Ｒｅｃａｌｌ）等が用いられる。これらをうちいずれかを信頼度として採用し、この信頼度に閾値を設定し、信頼度が閾値以上である場合は報知を行わないように制御することができる。

　また、報知に関する閾値は、不適切要因を、露出不適検出部１０１、焦点不適検出部１０２、又は残渣検出部１０３等による画像処理により識別する場合の、各検出部が用いる判定アルゴリズムによる値に対して設定することができる（図１５参照）。露出不適検出部１０１の場合は、判定アルゴリズムの値が設定した閾値より低いことにより、不適切領域において、コントラストが設定した値より低い領域であるといえる。したがって、露出不適検出部１０１における判定アルゴリズムの値にが、設定した閾値以下である場合は、ブレ又はボケである可能性が高いため、この場合は報知を行わないように制御することができる。

　また、内視鏡画像６１を撮影した際の撮影条件等の情報を用いて設定する場合としては、例えば、内視鏡画像６１の撮影条件における時間的な連続性、又は、内視鏡画像６１自体の空間的な連続性を用いることができる。

　内視鏡画像６１の撮影条件における時間的な連続性としては、例えば、内視鏡画像６１が、連続１０フレーム以上において、不適切要因の少なくとも１つが連続している場合について、報知を行うように制御することができる。また、内視鏡画像６１自体の空間的な連続性としては、内視鏡画像６１の画素値を用いることができ、例えば、画素数において、縦１０画素以上かつ横１０画素以上の矩形領域において不適切要因が検出された場合について、報知を行うように制御することができる。

　以上のように、不適切要因等の不適切領域以外の情報も用いて、報知に関する閾値を設定することにより、報知を詳細にコントロールすることが可能となり、例えば、不適切要因の誤検出を除去すること等が可能となる。

　次に、不適切領域検出結果８２等の保存について説明する。医療画像処理装置１０は、画像保存部であるデータ保存部１７と接続し、内視鏡画像６１と、認識処理の結果６３、不適切領域検出結果８２、及び不適切要因識別結果９２のうち少なくとも１つを内視鏡画像６１に重畳した情報重畳画像とを、データ保存部１７に保存する制御を行うことが好ましい。認識処理の結果６３、不適切領域検出結果８２、又は不適切要因識別結果９２のそれぞれには、上記したように、不適切要因の他に、不適切度、又は各種の閾値等を含む。これらの情報は、結果が出される毎に一時保存部１６に保存される。したがって、一時保存部１６に保存されたこれらの情報を統合することにより、情報重畳画像とすることができる。

　情報重畳画像は、例えば、注目領域を検出した認識処理の結果６３を示す注目領域検出表示枠７２と、検出不適切領域８３とを、内視鏡画像６１に重畳した画像である（図１１参照）。内視鏡画像６１に重畳させる各種の結果、及び重畳の態様は、適宜設定することができる。

　また、医療画像処理装置１０は、データ保存部１７と接続し、内視鏡画像６１の付帯情報に、認識処理の結果６３、不適切領域検出結果８２、及び不適切要因識別結果９２のうち少なくとも１つを加えた情報付与画像を、データ保存部１７に保存する制御を行ってもよい。

　内視鏡装置１８を用いる検査においては、内視鏡画像６１には患者を特定するための患者情報が付帯する場合がある。例えば、動画を含む内視鏡画像６１又は検査情報データは、ＤＩＣＯＭ（Ｄｉｇｉｔａｌ　Ｉｍａｇｉｎｇ　ａｎｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ　ｉｎ　Ｍｅｄｉｃｉｎｅ）の規格により統一化されており、この規格には、患者の氏名等の患者の個人情報が含まれる。

　情報付与画像は、患者の氏名等の付帯情報と同様に、認識処理の結果６３、不適切領域検出結果８２、及び不適切要因識別結果９２のうち少なくとも１つの情報を付帯情報として加えた画像である。情報重畳画像の場合と同様に、認識処理の結果６３、不適切領域検出結果８２、又は不適切要因識別結果９２のそれぞれには、上記したように、不適切要因の他に、不適切度、又は各種の閾値等を含む。これらの情報は、結果が出される毎に一時保存部１６に保存される。したがって、一時保存部１６に保存されたこれらの情報を統合することにより、情報付与画像とすることができる。なお、一般的に、付帯情報はタグと呼ばれる場合があり、付帯情報とタグとは同じものとすることができる。

　図２４に示すように、情報付与画像１４１は、内視鏡画像６１の付帯情報１４２として通常付帯される、画像を特定する画像ＩＤ、検査を特定する検査識別情報、患者を特定する患者識別情報に加え、認識情報と記載される認識処理の結果６３、検出情報と記載される不適切領域検出結果８２、及び識別情報と記載される不適切要因識別結果９２を有する。付帯させる情報は、適宜選択の上で付帯することができる。

　なお、画像保存部であるデータ保存部１７は、医療画像処理装置１０が備えるが、画像保存部が医療画像処理装置１０以外の外部装置が備えるものであってもよい。例えば、医療施設において用いられている画像管理システム等に保存する、又は、外部ネットワークを介してクラウド上に保存する等であってもよい。

　情報重畳画像又は情報付与画像１４１は、各種の結果の情報を有する画像であるため、これらの情報を様々に用いることが可能となる。例えば、これらの情報を検索して情報重畳画像を選択することができる。したがって、情報重畳画像を保存して利用することにより、検査レポートもしくはカルテ等に載せる画像、又は、二次読影に送る画像等を、場合によっては自動的に選択することができる。

　次に、不適切領域検出処理の検出結果に基づく内視鏡画像６１の品質について説明する。医療画像処理装置１０は、内視鏡画像６１が有する不適切領域検出処理の検出結果に基づき、内視鏡画像６１の品質指標を算出する。品質指標は、内視鏡画像６１毎に算出することが好ましい。表示制御部１３は、ディスプレイ２０に対して品質指標を表示する制御を行う。したがって、ディスプレイ２０に内視鏡画像６１を表示する際に、医師は、品質表示を表示するか否かを指定することができ、表示制御部１３は、指定が合った場合に内視鏡画像６１に応じて品質表示を表示する制御を行う。

　図２５に示すように、この場合、医療画像処理装置１０は、品質指標算出部１５１を備える。品質指標算出部１５１は、内視鏡画像６１における不適切領域検出結果８２に基づき、内視鏡画像６１毎に品質指標を算出する。品質指標は、内視鏡画像６１の品質を示す指標である。例えば、内視鏡画像６１毎に不適切領域検出結果８２を統合した指標とすることができ、具体的には、内視鏡画像６１のサイズに対する不適切領域以外のサイズの割合等とすることができる。この場合、品質指標が小さいほど品質が高く、品質指標が高いほど品質が低いと評価することができる。

　品質指標の表示の態様としては、品質指標の低度が認識できる態様であればよく、数値で示す、又は、メータもしくはインジケータの形状で示す等が挙げられる。図２６に示すように、例えば、内視鏡画像６１において、暗部領域６６である不適切領域が内視鏡画像６１の全体のサイズのうち１０％のサイズの部分に存在する場合、品質指標算出部１５１は、不適切領域検出結果８２に基づき、内視鏡画像６１のサイズに対する不適切領域以外のサイズの割合が９０％であったと算出する。スコア指標１５２は、品質指標を１から１００までの数値により示す。したがって、スコア指標１５２では、「スコア＝９０」とのテキストが示される。同様に、メータ指標１５３では、メータの図形において、メータ指針１５４が右を指すほど高い指標を示し、ここではスコアが約９０であることを示す。同様に、インジケータ指標１５５では、各インジケータに色が表示されることにより指標の値を示し、品質指標が３３に達した場合に第１インジケータ１５５ａに色が表示され、品質指標が６６に達した場合に第２インジケータ１５５ｂに色が表示され、品質指標が１００に達した場合に第３インジケータ１５５ｃに色が表示される。

　品質指標をディスプレイ２０に図形又はテキスト等で報知することにより、内視鏡画像６１の全体の品質をすぐに把握することができる。

　また、品質指標を用いることにより、内視鏡検査全体のスコアを算出することができる。品質指標算出部１５１は、検査において得られた複数の内視鏡画像の品質指標に基づいて、さらに、検査全体スコアを算出する。そして、ディスプレイ２０に対して、検査全体スコアを表示する制御を行う。

　検査の目的にもよるが、内視鏡装置１８を用いた内視鏡検査において、医師は、検査に重要な管腔の各部位のポイントにおいて内視鏡画像６１を取得し、保存する。各部位において取得した内視鏡画像６１について品質指標を算出することができ、品質指標を一覧することができる。

　図２７に示すように、検査の全体マップ１６１として、管腔の各部位のポイントにおいて取得した内視鏡画像６１を表示する。各部位のポイントは、検査において、内視鏡画像６１を取得すべきポイントである。全体マップ１６１は、シェーマ図１６２と、複数の内視鏡画像６１と、スコア表示部１６３とから構成される。なお、図において、煩雑さを避けるため一部にのみ符号を付す場合がある。

　例えば、下部内視鏡検査において、内視鏡画像６１を取得すべき各部位のポイントをシェーマ図１６２で示し、各部位のポイントにおいて取得された内視鏡画像６１をシェーマ図１６２の周りに配置する。内視鏡画像６１には、それぞれの内視鏡画像６１の品質指標を示す品質表示マークを重畳して表示する。品質表示マークは、品質指標が６６以上である「良」を示す品質良マーク１６４ａ、品質指標が３３から６５の範囲内である「可」を示す品質可マーク１６４ｂ、品質指標が１から３２の範囲内である「不可」品質不可マーク１６４ｃの３段階とし、それぞれを互いに異なる色で表示する。なお、内視鏡画像６１が表示されない位置は、内視鏡画像未取得部位１６５であり、検査において、内視鏡画像６１が取得されなかった部位である。

　スコア表示部１６３は、全体マップ１６１に表示した内視鏡画像６１を総合した検査総合スコア、画像取得率、及び、良画像率がテキストで表示される。検査総合スコアは、全体マップ１６１に表示された内視鏡画像６１のそれぞれが有する品質指標を平均した値であり、０以上１００以下の範囲内の数値で示される。図２７の場合では７０と示される。画像取得率は、検査において取得すべき内視鏡画像６１の数に対する、実際に取得した内視鏡画像６１の数の割合であり、図２７の場合では、１０枚取得すべきところ７枚を取得したため、７０％と表示される。良画像率は、実際に取得した内視鏡画像６１の数に対する、品質指標が良であった内視鏡画像６１の数の割合であり、図２７の場合では、取得した８枚のうち５枚が良であったため、６３％と表示される。

　品質指標を用いることにより、検査において取得した内視鏡画像６１の品質が一目で把握することができる。また、内視鏡検査において必要な部位の内視鏡画像が、どのような品質で取得できているか、また、再検査が必要であるか等の情報を得ることができ、今後の検査又は治療等の計画にも役立てることができる。

　また、全体マップ１６１以外にも、チェックシートの態様で、品質指標と取得した内視鏡画像６１とを確認することができる。図２８に示すように、全体チェックシート１７１は、内視鏡検査において内視鏡画像６１を取得すべき部位名と、それぞれの部位名の行の左に付された正方形形状の品質指標付きチェック欄１７２とからなる。品質指標付きチェック欄には、対象の部位の内視鏡画像６１が取得され次第品質指標が算出されて、内視鏡画像６１の品質指標に応じた色が付される。全体チェックシート１７１において、部位名が「食道」である行の左のチェック欄には、品質良チェック１７２ａの色が付されているため、検査において「食道」の部位については、品質指標が「良」の内視鏡画像６１が取得されたことが示されている。また、同様に、部位名が「噴門部」である行の左のチェック欄には、品質可チェック１７２ｂの色が付されているため、検査において「噴門部」の部位については、品質指標が「可」の内視鏡画像６１が取得されたことが示されている。なお、図において、同じ種類の網掛けは、同じ色を示す。チェック欄に色が付されていない部位名は、その部位の内視鏡画像６１が取得されていないことを示す。

　なお、これらのチェック欄は、内視鏡画像６１を取得後、内視鏡画像６１に対し部位識別処理等により自動的に部位名が付され、上記したように、品質指標も自動的に算出されることから、部位名及び品質指標が自動的に付与される。

　品質指標を用いて、検査の全体チェックシート１７１を作成することにより、部位名に付されるチェック欄が色分けして表示されるため、どの品質によりどこの部位の内視鏡画像６１が取得されているか、ひと目で把握することができる。検査中に全体チェックシート１７１を確認した場合は、必要な部位の内視鏡画像６１の撮影し忘れを防ぐことができ、また、品質指標が不可である内視鏡画像６１が取得されていた場合、より優れた品質の内視鏡画像６１を取得しなおす契機となる。

　次に、本実施形態の医療画像処理装置１０による処理の流れについて説明する。図２９に示すように、医療画像取得部１１が内視鏡装置１８により得られた内視鏡画像６１を取得する（ステップＳＴ１１０）。内視鏡画像６１には被検体が写っている。認識処理部１２は、医療画像取得部１１が取得した内視鏡画像６１に対し、被検体が有する注目領域の検出の画像認識処理を行う（ステップＳＴ１２０）。内視鏡画像６１と認識処理の結果６３とは、ディスプレイ２０に表示される（ステップＳＴ１３０）。

　次に、内視鏡画像６１に基づき、注目領域の検出の画像認識処理に不適切な不適切領域を検出する不適切領域検出処理を行う（ステップＳＴ１４０）。不適切領域検出処理の検出結果に基づき、この検出結果を報知する制御を行う（ステップＳＴ１５０）。

　上記実施形態等は、医療画像処理用のプログラムであって、被検体像を含む医療画像を取得する処理と、医療画像に基づき画像認識処理を行う処理と、医療画像と画像認識処理の結果とをディスプレイに表示する制御を行う処理と、医療画像に基づき画像認識処理に不適切な領域である不適切領域を検出する不適切領域検出処理を行う処理と、不適切領域検出処理の検出結果に基づき、検出結果を報知する制御を行う処理とをコンピュータに実行させる医療画像処理用プログラムを含む。

　上記実施形態において、プロセッサ装置である医療画像処理装置１０に含まれる医療画像取得部１１、認識処理部１２、表示制御部１３、不適切領域検出部１４、及び報知制御部１５等の処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

　１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。

１０　医療画像処理装置
１１　医療画像取得部
１２　認識処理部
１３　表示制御部
１４　不適切領域検出部
１５　報知制御部
１６　一時保存部
１７　データ保存部
１８　内視鏡装置
１９　ＰＡＣＳ
２０　ディスプレイ
２１　入力デバイス
３１　制御部
３２　通信部
３３　記憶部
３４　データバス
３５　ネットワーク
４１　ＣＰＵ
４２　ＲＡＭ
４３　ＲＯＭ
４４　医療画像処理装置用プログラム
４５　医療画像処理装置用データ
５１　注目領域検出器
６１　内視鏡画像
６２　注目領域
６３　認識処理の結果
６４　検出注目領域
６５　ハレーション領域
６６　暗部領域
７１　メイン領域
７２　注目領域検出表示枠
７３　注目領域検出表示図形
７４　サブ領域
７５　分類結果表示テキスト
７６　分類結果色別表示
７７　部位名表示テキスト
７８　部位名のタイルの強調表示
８１　不適切領域検出器
８２　不適切領域検出結果
８３　検出不適切領域
９１　不適切要因識別器
９２　不適切要因識別結果
９３　ハレーション領域識別結果
９４　暗部領域識別結果
９５　不適切要因凡例
１０１　露出不適検出部
１０２　焦点不適検出部
１０３　残渣検出部
１１１　残渣領域
１１２　残渣領域識別結果
１２１　回避情報
１２２　回避方法
１３１　撮影装置制御部
１３２　ボケ領域
１３３　ボケ領域識別結果
１３４　回避実行情報
１３５　不適切度閾値情報
１４１　情報付与画像
１４２　付帯情報
１５１　品質指標算出部
１５２　スコア指標
１５３　メータ指標
１５４　メータ指針
１５５　インジケータ指標
１５５ａ　第１インジケータ
１５５ｂ　第２インジケータ
１５５ｃ　第３インジケータ
１６１　全体マップ
１６２　シェーマ図
１６３　スコア表示部
１６４ａ　品質良マーク
１６４ｂ　品質可マーク
１６４ｃ　品質不可マーク
１６５　内視鏡画像未取得部位
１７１　全体チェックシート
１７２　品質指標付きチェック欄
１７２ａ　品質良チェック
１７２ｂ　品質可チェック
ＳＴ１１０～ＳＴ１５０　ステップ

Claims

　プロセッサを備え、
　前記プロセッサは、
　被検体像を含む医療画像を取得し、
　前記医療画像に基づき画像認識処理を行い、
　前記医療画像と前記画像認識処理の結果とをディスプレイに表示する制御を行い、
　前記医療画像に基づき前記画像認識処理に不適切な領域である不適切領域を検出する不適切領域検出処理を行い、
　前記不適切領域検出処理の検出結果に基づき、前記検出結果を報知する制御を行う医療画像処理装置。
　前記不適切領域検出処理は、前記医療画像における前記不適切領域の位置を特定し、
　前記検出結果は、前記医療画像における前記不適切領域の位置を含む請求項１に記載の医療画像処理装置。
　前記プロセッサは、前記検出結果を、前記ディスプレイに対して画像により報知すること、振動発生手段に対し振動により報知すること、及び、音声発生手段に対し音声の発生により報知することのうち少なくとも１種の制御を行う請求項１又は２に記載の医療画像処理装置。
　前記プロセッサは、メイン領域とサブ領域とを備える前記ディスプレイに対し、前記医療画像を前記メイン領域に表示し、前記検出結果を前記サブ領域に表示する制御を行う請求項１又は２に記載の医療画像処理装置。
　前記プロセッサは、前記ディスプレイに対し、前記検出結果を前記医療画像に重畳した重畳画像を表示する制御を行う請求項１又は２に記載の医療画像処理装置。
　前記プロセッサは、前記医療画像に基づき前記不適切領域が前記画像認識処理に不適切である不適切要因を識別する不適切要因識別処理を行い、
　前記不適切要因識別処理の識別結果に基づき、前記識別結果を報知する制御を行う請求項１ないし５のいずれか１項に記載の医療画像処理装置。
　前記識別結果は、複数の前記不適切要因を含み、
　前記プロセッサは、前記不適切要因毎に互いに異なる態様により前記識別結果を報知する制御を行う請求項６に記載の医療画像処理装置。
　前記識別結果は、複数の前記不適切要因を含み、
　前記プロセッサは、複数の前記不適切要因のうち少なくとも２つを組み合わせて得られる組み合わせ不適切要因に基づき、前記識別結果を報知する制御を行う請求項６に記載の医療画像処理装置。
　前記不適切要因は、前記医療画像におけるブレもしくはボケ、水、血液、残渣、もしくはレンズの汚れの像、又は、暗部もしくはハレーション部の像である請求項６ないし８のいずれか１項に記載の医療画像処理装置。
　前記不適切要因は、前記画像認識処理の結果に基づいて算出される正診率が予め設定した値以下であることである６ないし８のいずれか１項に記載の医療画像処理装置。
　前記不適切要因と前記不適切要因の回避方法とが関連付けられた回避情報を備え、
　前記不適切要因識別処理は、前記不適切要因と前記回避情報とを参照することにより、前記不適切領域における前記不適切要因の回避方法を取得し、
　前記識別結果は、前記不適切領域における前記不適切要因の回避方法を含む請求項６ないし１０のいずれか１項に記載の医療画像処理装置。
　前記プロセッサは、前記被検体を撮影して前記医療画像を生成する撮影装置を制御し、
　前記撮影装置に前記不適切要因の回避方法を実行させる制御を行う請求項１１に記載の医療画像処理装置。
　前記不適切領域検出処理は、前記不適切要因毎に前記画像認識処理に不適切である程度を表す不適切度を識別し、
　前記プロセッサは、前記不適切度に基づき、前記検出結果の報知の態様を異ならせる制御を行う請求項６ないし１２のいずれか１項に記載の医療画像処理装置。
　前記プロセッサは、前記検出結果を報知する制御を行う際に、予め前記報知に関する閾値を設定し、前記報知に関する閾値に基づき、前記検出結果の報知の態様を異ならせる制御を行う請求項１ないし１３のいずれか１項に記載の医療画像処理装置。
　前記プロセッサは、画像保存部と接続し、
　前記医療画像と、前記画像認識処理の結果、前記検出結果、及び前記識別結果のうち少なくとも１つを前記医療画像に重畳した情報重畳画像とを、前記画像保存部に保存する制御を行う請求項１ないし１４のいずれか１項に記載の医療画像処理装置。
　前記プロセッサは、画像保存部と接続し、
　前記医療画像の付属情報に、前記画像認識処理の結果、前記検出結果、及び前記識別結果のうち少なくとも１つを加えた情報付与画像を、前記画像保存部に保存する制御を行う請求項１ないし１４のいずれか１項に記載の医療画像処理装置。
　前記プロセッサは、前記医療画像が有する前記不適切領域に基づき、前記医療画像の品質指標を算出し、
　前記ディスプレイに対して前記品質指標を表示する制御を行う請求項１ないし１６のいずれか１項に記載の医療画像処理装置。
　前記医療画像は、前記被検体の検査において得られたものであり、
　前記プロセッサは、前記ディスプレイに対して前記検査において得られた複数の前記医療画像の前記品質指標に基づき算出した検査全体スコアを表示する制御を行う請求項１７に記載の医療画像処理装置。
　被検体像を含む医療画像を取得するステップと、
　前記医療画像に基づき画像認識処理を行うステップと、
　前記医療画像と前記画像認識処理の結果とをディスプレイに表示する制御を行うステップと、
　前記医療画像に基づき前記画像認識処理に不適切な領域である不適切領域を検出する不適切領域検出処理を行うステップと、
　前記不適切領域検出処理の検出結果に基づき、前記検出結果を報知する制御を行うステップと備える医療画像処理装置の作動方法。
　医療画像処理装置用のプログラムであって、
　前記プログラムは、
　被検体像を含む医療画像を取得する処理と、
　前記医療画像に基づき画像認識処理を行う処理と、
　前記医療画像と前記画像認識処理の結果とをディスプレイに表示する制御を行う処理と、
　前記医療画像に基づき前記画像認識処理に不適切な領域である不適切領域を検出する不適切領域検出処理を行う処理と、
　前記不適切領域検出処理の検出結果に基づき、前記検出結果を報知する制御を行う処理とをコンピュータに実行させる医療画像処理装置用プログラム。