JP7289373B2 - 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム - Google Patents

Description

本発明は医療画像処理装置、内視鏡システム、診断支援方法及びプログラムに関する。

内視鏡検査においては、検査の対象とする臓器等における複数の部位について網羅的に観察することが求められる。特許文献１には、検査の対象とする臓器について必須の撮影部位が定められている場合に、撮影漏れを抑制するための支援技術が提案されている。特許文献１に記載の画像表示装置は、内視鏡画像から所定の解剖学的ランドマークを検出し、検査対象の臓器における既撮影領域と未撮影領域とを表すマップ画像を生成してモニタにマップ画像を表示させる。

特許文献２には、機械学習を用いた画像認識の技術が記載されている。特許文献２に記載の画像認識装置は、入力画像データについてのクラス認識の処理を行い、そのクラス認識結果を表示装置に表示させる。特許文献２に記載の画像認識装置は、クラス認識結果に対するユーザの評価を受け付け、ユーザによる評価結果と入力画像データとを学習データとして用いて識別部についての追加学習を行うことで、認識精度の向上を図っている。特許文献２の段落００５７によれば、画像認識装置は内視鏡コントロールユニットに搭載される。

特開２０１８－５０８９０号公報 特開２０１２－１７４２２２号公報

内視鏡等の医療機器を用いた検査では、検査の目的に応じて対象とする部位の全箇所を網羅的に診断しなければならない。例えば胃の内部部位を詳細に分けると１０か所以上の小部位から構成されており、医師が胃の内部を観察する場合に一部の部位を見落とす可能性がある。医療画像の分野では人工知能（ＡＩ：Artificial Intelligence）を利用して様々な支援を行う技術の開発が進められており、内視鏡画像等の医療画像に対して画像認識技術を利用することにより、医師が特定の部位の観察を完了したか否かを自動的に判定し、その判定結果を表示することにより、観察漏れ（見落とし）を抑制することが期待される。

しかし、観察すべき部位の見落としを抑制するための深層学習等を使ったＡＩによる部位の観察完了判定は、医師による観察完了の判断基準と異なる場合がある。ある部位について観察を完了したか否かは、医師が意識的に観察を行ったかどうかという医師自身の主観的な要素も含まれるため、特許文献２に記載されているような画像解析に基づく通常の画像分類のタスクでは判定が難しい場合がある。ある部位についてＡＩが観察完了と判定した場合でも、実際には医師が観察を行っていないか、若しくは観察の程度が不十分であるというケースが想定され、ＡＩによる観察完了判定と人間の判断とに食い違い（不一致）が発生し得る。

上述したこれらの課題は、内視鏡検査に限らず、各種の医療画像について、ある部位の観察を完了したかどうかの判定処理を行う場合に想定される共通の課題である。

本発明はこのような事情に鑑みてなされたもので、上述した複数の課題のうちの少なくとも１つの課題を解決し、画像処理を用いた観察完了判定を利用しつつ、誤判定への対処が可能であり、医師による観察対象の部位の見落としを抑制できる医療画像処理装置、内視鏡システム、診断支援方法及びプログラムを提供することを目的とする。

本開示の一態様に係る医療画像処理装置は、少なくとも１つのプロセッサを有する医療画像処理装置であって、少なくとも１つのプロセッサは、医療画像を取得し、医療画像に基づき対象部位について観察が完了したか否かの観察完了判定を行い、観察完了判定の判定結果をディスプレイに表示させる表示制御を行い、観察完了判定の判定結果を示す表示内容を修正する指示を含むユーザ入力を受け付け、ユーザ入力によって修正された内容を表示に反映させる。

本態様の医療画像処理装置によれば、医療画像を処理することによって得られる部位の観察完了判定の判定結果がディスプレイに表示される。ユーザは判定結果の表示に対して修正を加えるユーザ入力を行うことができる。ユーザ入力によって指示された修正内容はディスプレイの表示に反映され、部位の観察完了又は観察未完了を報知する表示が変更される。

「修正された内容を表示に反映させる」という記載は、修正内容を表示させること、すなわち、修正を反映した修正後の内容を表示させること、と理解してよい。

本態様の医療画像処理装置では、少なくとも１つのプロセッサが医療画像を処理することによって得られる部位の観察完了判定と、医師（ユーザ）の判断とが異なった場合、ユーザのインタラクションを受けて、判定結果の表示をユーザ入力に従い修正することができる。これにより、観察完了部位に関する正しい情報を表示させることが可能となり、部位の見落としを抑制する支援が可能である。

医療画像処理装置は、単一の装置として構成されてもよいし、複数の装置を組み合わせて構成されてもよい。例えば、医療画像処理装置は、１台又は複数台のコンピュータを用いて実現し得る。「装置」という記載は、「システム」及び「モジュール」の概念を含む。

本開示の他の態様に係る医療画像処理装置において、観察完了判定の判定結果を表示するディスプレイをさらに備える構成とすることができる。

本開示の他の態様に係る医療画像処理装置において、少なくとも１つのプロセッサは、特定の部位の目印が医療画像の画像上に存在する場合に特定の部位について観察完了と判定する構成とすることができる。

「目印」とは、ランドマークであり、部位の特徴的な形状及び／又は模様などであってもよいし、特定の部位と共に画像上に写る内視鏡の一部など人体以外の部材が含まれてよい。

「特定の部位」は、検査の対象とする臓器の一部、すなわち小部位であってもよいし、臓器の全体であってもよい。複数の部位を網羅的に観察する場合、複数の部位のそれぞれを「特定の部位」として設定しておくことができる。

本開示の他の態様に係る医療画像処理装置において、少なくとも１つのプロセッサは、特定の部位が医療画像の画像上に一定時間以上存在する場合に特定の部位について観察完了と判定する構成とすることができる。

例えば、動画像のような時系列の医療画像において、同じ部位が画像上に一定時間存在する場合は、その特定の部位について医師が意識的な観察を行ったものと推定することができる。ここでの「一定時間」とは、予め定められた時間の長さである。

本開示の他の態様に係る医療画像処理装置において、少なくとも１つのプロセッサは、特定の部位の目印が医療画像の中央部に存在する場合に特定の部位について観察完了と判定する構成とすることができる。

「中央部」という記載は、厳密な中央に限らず、医療画像の画像領域における概ね中央の部分と理解される範囲を含む。医師が特定の部位に注目して意識的に観察を行う場合、その対象物は画像の中央部に捉えられることが多いと考えられる。

本開示の他の態様に係る医療画像処理装置において、特定の部位の目印が医療画像の画像上に存在することを第１の条件とし、特定の部位が医療画像の画像上に一定時間以上存在することを第２の条件とし、特定の部位の目印が医療画像の中央部に存在することを第３の条件とする場合に、少なくとも１つのプロセッサは、第１の条件、第２の条件、及び第３の条件のうち少なくとも１つの条件に適合する場合に特定の部位について観察完了と判定する構成とすることができる。

少なくとも１つのプロセッサは、第１の条件、第２の条件、及び第３の条件のうちいずれか１つの条件に適合する場合に観察完了と判定してもよいし、２つ以上の条件に適合する場合に観察完了と判定してもよい。

本開示の他の態様に係る医療画像処理装置において、少なくとも１つのプロセッサは、静止画像の撮影タイミングを示す撮影指示信号の入力を受け付け、撮影指示信号の入力を受けた場合に、静止画像の撮影対象である部位について観察完了と判定する構成とすることができる。

本開示の他の態様に係る医療画像処理装置において、メモリをさらに備え、メモリには、医療画像及び観察完了判定の判定結果を示す判定結果情報が記憶され、少なくとも１つのプロセッサがユーザ入力を受けた場合、メモリには、ユーザ入力情報と、ユーザ入力による修正対象とされた判定結果情報と、判定結果情報が得られた医療画像と、が紐付けされて保存される構成とすることができる。

この態様によれば、少なくとも１つのプロセッサが観察完了判定を誤った医療画像とその医療画像に対する正しい判定結果の情報とがメモリに保存される。このメモリに保存されたデータを学習データに利用して、観察完了判定の処理に用いる推論モデルの推論精度向上のための追加の学習及び／又は新たなモデルの開発などが可能である。

本開示の他の態様に係る医療画像処理装置において、メモリと、通信装置と、をさらに備え、メモリには、医療画像及び観察完了判定の判定結果を示す判定結果情報が記憶され、少なくとも１つのプロセッサがユーザ入力を受けた場合、通信装置は、ユーザ入力情報と、ユーザ入力による修正対象とされた判定結果情報と、前記判定結果情報が得られた前記医療画像と、を外部機器へ送信する構成とすることができる。

この態様によれば、少なくとも１つのプロセッサが観察完了判定を誤った医療画像とその医療画像に対する正しい判定結果の情報とが外部機器へ送信される。外部機器に送信されたデータは学習データに利用することができ、外部機器又は外部機器以外の他の機器において、観察完了判定の処理に用いる推論モデルの推論精度向上のための追加の学習及び／又は新たなモデルの開発などが可能である。

本開示の他の態様に係る医療画像処理装置において、少なくとも１つのプロセッサは、観察完了判定の判定結果が観察未完了となっている部位の観察未完了表示について、観察完了であることを示す観察完了表示に修正するユーザ入力を受け付け、ユーザ入力に基づき、観察未完了表示の表示内容を、観察完了表示の表示内容に変更する構成とすることができる。

本開示の他の態様に係る医療画像処理装置において、少なくとも１つのプロセッサは、観察完了判定の判定結果が観察完了となっている部位の観察完了表示について、観察未完了であることを示す観察未完了表示に修正するユーザ入力を受け付け、ユーザ入力に基づき、観察完了表示の表示内容を、観察未完了表示の表示内容に変更する構成とすることができる。

本開示の他の態様に係る医療画像処理装置において、少なくとも１つのプロセッサは、観察完了判定によって観察完了と判定された観察完了部位について部位情報の表示を、別の部位を示す部位情報の表示に修正するユーザ入力を受け付け、ユーザ入力に基づき、観察完了部位についての部位情報の表示内容を修正する構成とすることができる。

本開示の他の態様に係る医療画像処理装置において、少なくとも１つのプロセッサは、医療画像をディスプレイの第１表示領域に表示させ、観察完了判定の判定結果をディスプレイにおける第１表示領域と異なる第２表示領域に表示させる構成とすることができる。

本開示の他の態様に係る医療画像処理装置において、少なくとも１つのプロセッサは、観察完了部位についての部位情報を、対象部位を含む人体の部位を模式的に表したモデル図形によって表示させる構成とすることができる。

モデル図形は、例えば、臓器の形状を模したシェーマ画像などであってよい。

本開示の他の態様に係る医療画像処理装置において、少なくとも１つのプロセッサは、モデル図形において観察完了部位と観察未完了部位とを色分けして表示させる構成とすることができる。

かかる態様によれば、医師は観察完了部位と観察未完了部位とを一見して容易に把握することができる。

本開示の他の態様に係る医療画像処理装置において、少なくとも１つのプロセッサは、観察完了部位についての部位情報を文字情報として表示させる構成とすることができる。

本開示の他の態様に係る医療画像処理装置において、ユーザが指示の入力を行う際に用いる入力装置をさらに備え、少なくとも１つのプロセッサは、入力装置からユーザ入力を受け付ける構成とすることができる。

入力装置は、キーボード、タッチパネル、音声入力装置、内視鏡スコープに設けられたスイッチ、及びフットスイッチのうち少なくとも１つを含む構成であってよい。

本開示の他の態様に係る医療画像処理装置において、少なくとも１つのプロセッサは、観察の対象とされる複数の部位が設定され、複数の部位の部位ごとに観察完了判定を行い、観察完了判定の判定結果に基づき、複数の部位のうちの観察完了部位を示す情報と観察未完了部位を示す情報とを表示させる構成であってよい。

かかる態様によれば、観察が完了した部位（観察完了部位）と観察が非完了である部位（観察未完了部位）とを明示的に分別してこれらの情報の表示を行うことができ、複数の部位を網羅的に観察することが求められる場合に、観察漏れ（部位の見落とし）を効果的に抑制することができる。

本開示の他の態様に係る医療画像処理装置において、少なくとも１つのプロセッサは、ニューラルネットワークを用いて観察完了判定を行う構成とすることができる。

少なくとも１つのプロセッサは、深層学習などの機械学習によって部位認識及び観察完了判定のタスクを行うように学習された学習済みのモデルを用いて観察完了判定を行うことができる。

本開示の他の態様に係る医療画像処理装置において、少なくとも１つのプロセッサは、時系列の医療画像を取得する構成とすることができる。

時系列の医療画像は、動画像であってもよいし、連写、若しくはインターバル撮影などのように、特定の時間間隔で撮影される画像群であってもよい。また、時系列による撮影の時間間隔は必ずしも一定でなくてもよい。

医療画像は、内視鏡を用いて撮影された内視鏡画像であってよい。内視鏡は、内視鏡スコープであってよいし、カプセル内視鏡であってもよい。

本開示の他の態様に係る内視鏡システムは、内視鏡スコープと、少なくとも１つのプロセッサと、を備える内視鏡システムであって、少なくとも１つのプロセッサは、内視鏡スコープを用いて体内を撮影することによって得られる内視鏡画像を取得し、内視鏡画像に基づき対象部位について観察が完了したか否かの観察完了判定を行い、観察完了判定の判定結果をディスプレイに表示させる表示制御を行い、観察完了判定の判定結果を示す表示内容を修正する指示を含むユーザ入力を受け付け、ユーザ入力によって修正された内容を表示に反映させる。

本態様の内視鏡システムによれば、観察中の内視鏡画像に対してリアルタイムに観察完了判定の判定結果を表示させることが可能であり、誤った判定結果の表示が行われた場合に、ユーザは適時にその表示を正しい表示内容に修正することができる。

本開示の他の態様に係る診断支援方法は、少なくとも１つのプロセッサが実施する診断支援方法であって、少なくとも１つのプロセッサが、医療画像を取得することと、医療画像に基づき対象部位について観察が完了したか否かの観察完了判定を行うことと、観察完了判定の判定結果をディスプレイに表示させる表示制御を行うことと、観察完了判定の判定結果を示す表示内容を修正する指示を含むユーザ入力を受け付けることと、ユーザ入力によって修正された内容を表示に反映させることと、を含む。

本開示の他の態様に係るプログラムは、コンピュータに、医療画像を取得する機能と、医療画像に基づき対象部位について観察が完了したか否かの観察完了判定を行う機能と、観察完了判定の判定結果をディスプレイに表示させる表示制御を行う機能と、観察完了判定の判定結果を示す表示内容を修正する指示を含むユーザ入力を受け付ける機能と、ユーザ入力によって修正された内容を表示に反映させる機能と、を実現させるためのプログラムである。

本発明によれば、医療画像の画像処理に基づき、対象とする部位について観察を完了したかどうかを判定してその判定結果を表示させることができ、判定結果に誤りがある場合にはユーザ入力によって正しい内容の表示に修正することができる。これにより、部位の見落としを抑制することができ、適正な検査の実施を支援することが可能になる。

図１は、本発明の実施形態に係る内視鏡システムの外観を例示的に示す斜視図である。 図２は、内視鏡システムの構成例を示すブロック図である。 図３は、第１実施形態に係る医療画像処理装置の機能を示す機能ブロック図である。 図４は、第１実施形態に係る医療画像処理装置の動作を示すフローチャートである。 図５は、モニタの画面に表示される表示画像の例１である。 図６は、モニタの画面に表示される表示画像の例２である。 図７は、モニタの画面に表示される表示画像の例３である。 図８は、モニタの画面に表示される表示画像の例４である。 図９は、観察完了判定の判定結果に基づく観察完了情報の表示を観察未完了の情報に修正する場合の表示画像の例である。 図１０は、観察完了判定の判定結果に基づく観察未完了情報の表示を観察完了の情報に修正する場合の表示画像の例である。 図１１は、観察完了判定の判定結果に基づく部位の観察完了情報の表示を、別の部位の観察完了の情報に修正する場合の表示画像の例である。 図１２は、胃の噴門部を観察しているときに得られる観察画像の例である。 図１３は、胃の噴門部を観察しているときに得られる他の観察画像の例である。 図１４は、第１実施形態に係る医療画像処理装置のハードウェア構成の例を示すブロック図である。 図１５は、第２実施形態に係る医療画像処理装置の機能を示す機能ブロック図である。 図１６は、第２実施形態に係る医療画像処理装置のハードウェア構成の例を示すブロック図である。

以下、添付図面に従って本発明の好ましい実施の形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明は適宜省略する。

《内視鏡システムの概要》
図１は、本発明の実施形態に係る内視鏡システム１０の外観を例示的に示す斜視図である。内視鏡システム１０は、内視鏡スコープ１００と、プロセッサ装置２００と、光源装置３００と、モニタ４００と、を備える。

内視鏡スコープ１００は電子内視鏡であり、例えば軟性内視鏡である。内視鏡スコープ１００は、手元操作部１０２、挿入部１０４、及びユニバーサルケーブル１０６を備える。手元操作部１０２は、アングルノブ１４０、送気送水ボタン１４１、吸引ボタン１４２、機能ボタン１４３、及び撮影ボタン１４４を備える。

アングルノブ１４０は、挿入部１０４における湾曲部１１４の湾曲方向及び湾曲量を指示する湾曲操作に用いられる。アングルノブ１４０は、湾曲部１１４を上下方向に湾曲させる上下アングルノブと、湾曲部１１４を左右方向に湾曲させる左右アングルノブとの２種類のノブを含む。

送気送水ボタン１４１は、送気指示及び送水指示の操作を受け付ける。吸引ボタン１４２は吸引指示の操作を受け付ける。機能ボタン１４３には各種の機能が割り付けられる。機能ボタン１４３は各種機能の指示操作を受け付ける。撮影ボタン１４４は撮影指示操作を受け付ける。「撮影」という用語には、静止画像の撮影及び動画像の撮影の両方の概念が含まれる。撮影指示操作には、静止画像の撮影タイミングを指示する操作、及び動画像の撮影開始タイミングと撮影終了タイミングとを指示する操作が含まれる。

ユーザは、手元操作部１０２を把持して内視鏡スコープ１００を操作し、挿入部１０４を被検体の体内に挿入することにより体内を観察する。ここでの「ユーザ」とは、術者である医師を指す。「被検体」という記載は、患者、被検者あるいは被検査者と同義である。

挿入部１０４は、被検体の体内に挿入される部分である。挿入部１０４は、手元操作部１０２に連設されており、手元操作部１０２の側から順に、軟性部１１２、湾曲部１１４及び先端硬質部１１６を備える。

軟性部１１２は、手元操作部１０２と湾曲部１１４との間に設けられる可撓性を有する部分である。湾曲部１１４は、手元操作部１０２の操作によって湾曲可能な機構を含む部分である。ユーザはアングルノブ１４０を操作することにより湾曲部１１４を湾曲させて、先端硬質部１１６の向きを上下左右に変えることができる。

図１には先端硬質部１１６の一部を拡大して図示する。先端硬質部１１６には、撮影レンズ１３２を含む撮像部と、照明用レンズ１２３Ａ，１２３Ｂを含む照明部と、鉗子口１２６とが設けられる。なお、撮像部は図２において符号１３０を付して図示する。また、照明部は図２において符号１２３を付して図示する。

観察及び処置の際には、ユーザによる操作に応じて照明用レンズ１２３Ａ，１２３Ｂを介して白色光及び／又は狭帯域光を照射することができる。狭帯域光には、赤色狭帯域光、緑色狭帯域光、青色狭帯域光、及び紫色狭帯域光のうち少なくとも１つが含まれる。

また、送気送水ボタン１４１が操作された場合、不図示の送水ノズルから洗浄水が放出され、又は不図示の送気ノズルから気体が放出される。洗浄水及び気体は、撮影レンズ１３２及び照明用レンズ１２３Ａ，１２３Ｂ等の洗浄に用いることができる。なお、送水ノズル及び送気ノズルを共通化してもよい。

鉗子口１２６は、挿入部１０４の内部に配置される不図示の処置具挿通路と連通している。処置具挿通路には不図示の処置具が挿通される。手元操作部１０２には処置具を処置具挿通路内に導入するための不図示の処置具導入口が設けられている。処置具としては、例えば、生検鉗子、カテーテル、高周波スネアなどがあり得る。また、処置具には、カイドチューブ、トラカールチューブ、スライディングチューブなども含まれる。処置具は処置具挿通路において適宜進退可能に支持される。腫瘍摘出等の際に、ユーザは処置具を用いて被検体に対して必要な処置を施すことが可能である。

ユニバーサルケーブル１０６は、内視鏡スコープ１００をプロセッサ装置２００及び光源装置３００に接続するためのケーブルである。ユニバーサルケーブル１０６には、挿入部１０４から延設される電気ケーブル及びライトガイドが挿通されている。電気ケーブルには、信号の伝達に用いる通信ケーブルと電力供給に用いる給電ケーブルとが含まれる。内視鏡スコープ１００は、ユニバーサルケーブル１０６を介してプロセッサ装置２００及び光源装置３００と接続される。

なお、内視鏡システム１０は、ユーザからの指示等を入力する入力装置として、手元操作部１０２の他に、不図示のフットスイッチ及び／又は音声入力装置などを備えてもよい。フットスイッチはペダルとケーブルとを備える。フットスイッチのケーブルはプロセッサ装置２００と接続される。

《内視鏡システムの構成例》
図２は、内視鏡システム１０の構成例を示すブロック図である。以下、内視鏡スコープ１００、光源装置３００、及びプロセッサ装置２００の順に、それぞれの構成例について説明する。

〔内視鏡スコープの説明〕
内視鏡スコープ１００は、撮像部１３０と、照明部１２３と、を備える。撮像部１３０は先端硬質部１１６の内部に配置される。撮像部１３０は、撮影レンズ１３２を含む撮影光学系と、撮像素子１３４と、駆動回路１３６と、アナログフロントエンド（ＡＦＥ：Analog Front End）１３８と、を備える。

撮影レンズ１３２は先端硬質部１１６の先端側端面１１６Ａに配置される。撮影レンズ１３２の奥（先端側端面１１６Ａよりも湾曲部１１４に近い側の位置）には撮像素子１３４が配置される。撮像素子１３４は、例えば、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型のイメージセンサである。撮像素子１３４としてＣＣＤ（Charge Coupled Device）型のイメージセンサを適用してもよい。

撮像素子１３４は、例えばカラー撮像素子であり、撮像素子１３４の受光面（撮像面）には不図示のカラーフィルタを備えた複数の受光素子により構成される複数の画素が特定のパターン配列によって２次元配置されている。撮像素子１３４の各画素は、マイクロレンズ、カラーフィルタ及び光電変換部（フォトダイオード等）を含んでいる。カラーフィルタとして、例えば、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）を含む原色カラーフィルタが用いられる。カラーフィルタの色パターンの配置形態は、特に限定されず、例えばベイヤー配列などであってよい。

また、撮像素子１３４は、不図示の紫色光源に対応した紫色カラーフィルタ、及び／又は不図示の赤外光源に対応した赤外用フィルタを備えた画素を含んでいてもよい。

駆動回路１３６は、プロセッサ装置２００から送信される制御信号に基づき、撮像素子１３４の動作に必要な各種のタイミング信号を撮像素子１３４へ供給する。

観察対象である被写体の光学像は、撮影レンズ１３２を介して撮像素子１３４の受光面に結像される。撮像素子１３４は、被写体の光学像を電気信号へ変換する。撮像素子１３４から出力される電気信号はアナログフロントエンド１３８による処理を経てデジタル画像信号に変換される。

アナログフロントエンド１３８はアンプ、フィルタ及びアナログデジタル変換器を備える。アナログフロントエンド１３８は、撮像素子１３４の出力信号に対して、増幅、ノイズ除去及びアナログデジタル変換等の処理を施す。アナログフロントエンド１３８の出力信号はプロセッサ装置２００へ送られる。なお、撮像素子１３４、駆動回路１３６、及びアナログフロントエンド１３８は、モノリシック集積回路として構成することができ、これらの各回路素子は、１つの撮像チップに搭載され得る。

照明部１２３は、照明用レンズ１２３Ａ，１２３Ｂを備える。照明用レンズ１２３Ａ，１２３Ｂは、先端硬質部１１６の先端側端面１１６Ａにおいて撮影レンズ１３２の隣接位置に配置される。照明用レンズ１２３Ａ，１２３Ｂの奥に、ライトガイド１７０の射出端が配置される。

ライトガイド１７０は、図１に示す挿入部１０４、手元操作部１０２及びユニバーサルケーブル１０６に挿通される。ライトガイド１７０の入射端は、ユニバーサルケーブル１０６の端部に設けられたライトガイドコネクタ１０８の内部に配置される。

〔光源装置の説明〕
光源装置３００は、ライトガイドコネクタ１０８を介してライトガイド１７０へ照明光を供給する。照明光は、白色光（白色の波長帯域の光又は複数の波長帯域の光）、或いは１又は複数の特定の波長帯域の光、或いはこれらの組み合わせなど観察目的に応じた各種波長帯域の光が選択される。なお、特定の波長帯域は、白色の波長帯域よりも狭い帯域である。観察範囲に照射する照明光は観察光と呼ばれる場合がある。

光源装置３００は、照明用の光源３１０、絞り３３０、集光レンズ３４０及び光源制御部３５０を備える。光源装置３００は、ライトガイド１７０へ観察光を入射させる。光源３１０は、赤色光源３１０Ｒ、緑色光源３１０Ｇ及び青色光源３１０Ｂを備える。赤色光源３１０Ｒ、緑色光源３１０Ｇ及び青色光源３１０Ｂはそれぞれ、赤色、緑色及び青色の狭帯域光を放出する。

光源３１０は、赤色、緑色及び青色の狭帯域光を任意に組み合わせた観察光を生成し得る。例えば、光源３１０は赤色、緑色及び青色の狭帯域光を組み合わせて白色光を生成し得る。また、光源３１０は赤色、緑色及び青色の狭帯域光の任意の二色を組み合わせて狭帯域光を生成し得る。

光源３１０は赤色、緑色及び青色の狭帯域光の任意の一色を用いて狭帯域光を生成し得る。光源３１０は、白色光又は狭帯域光を選択的に切り替えて放出し得る。なお、狭帯域光は特殊光と同義である。光源３１０は、赤外光を放出する赤外光源及び紫外光を放出する紫外光源等を備え得る。

光源３１０は、白色光を放出する白色光源、白色光を通過させるフィルタ及び狭帯域光を通過させるフィルタを備える態様を採用し得る。かかる態様の光源３１０は、白色光を通過させるフィルタ及び狭帯域光を通過させるフィルタを切り替えて、白色光又は狭帯域光のいずれかを選択的に放出し得る。

狭帯域光を通過させるフィルタは、異なる帯域に対応する複数のフィルタが含まれ得る。光源３１０は、異なる帯域に対応する複数のフィルタを選択的に切り替えて、帯域が異なる複数の狭帯域光を選択的に放出し得る。

光源３１０は、観察対象の種類及び観察の目的等に応じた、種類及び波長帯域等を適用し得る。光源３１０の種類の例として、レーザ光源、キセノン光源及びＬＥＤ（Light-Emitting Diode）光源等が挙げられる。

光源装置３００にライトガイドコネクタ１０８が接続されることにより、ライトガイド１７０の入射端が集光レンズ３４０の出射光の光路上に配置される。光源３１０から放出された観察光は、絞り３３０及び集光レンズ３４０を介して、ライトガイド１７０の入射端へ到達する。観察光はライトガイド１７０を介して照明用レンズ１２３Ａ、１２３Ｂに伝送され、照明用レンズ１２３Ａ、１２３Ｂから観察範囲に照射される。

光源制御部３５０は、プロセッサ装置２００から送信される指示信号に基づき、光源３１０及び絞り３３０へ制御信号を送信する。光源制御部３５０は、光源３１０から放出される観察光の照度、観察光の切り替え及び観察光のオンオフ等を制御する。

〔プロセッサ装置２００の構成〕
プロセッサ装置２００は、画像入力コントローラ２０２、画像処理部２０４、通信制御部２０５、ビデオ出力部２０６、及び記憶部２０７を備える。また、プロセッサ装置２００は、ＣＰＵ２１０、ＲＯＭ２１１、ＲＡＭ２１２、操作部２０８、音声処理部２０９及びスピーカ２０９Ａを備える。

画像入力コントローラ２０２は、内視鏡スコープ１００から撮像信号を取得する。画像処理部２０４は、画像入力コントローラ２０２を介して取得された撮像信号を処理することにより、観察対象の内視鏡画像を生成する。なお、「画像」という用語は、画像自体及び画像を表す画像データの意味を含む。画像は動画像及び静止画像の両方の概念を含む。内視鏡スコープ１００から出力される撮像信号は「内視鏡画像」の一態様と理解してよい。

画像処理部２０４は、入力された撮像信号に対してホワイトバランス処理及びシェーディング補正処理等のデジタル信号処理を適用した画質補正を実施し得る。画像処理部２０４は、画像処理専用のデジタル信号処理回路を用いて構成されてよい。また、画像処理部２０４の処理機能の一部又は全部は、ＣＰＵ２１０がプログラムを実行することによって実現されてもよい。画像処理部２０４は、内視鏡スコープ１００から得られる撮像信号を基に、１つ又は複数の分光画像を生成することが可能である。また、画像処理部２０４は、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格で規定された付帯情報を内視鏡画像へ付加してもよい。

記憶部２０７は、内視鏡スコープ１００を用いて生成された内視鏡画像を記憶する。記憶部２０７は、内視鏡画像に付帯する各種情報（付帯情報）を記憶し得る。

ビデオ出力部２０６は、画像処理部２０４を用いて生成された画像を含む各種の表示信号をモニタ４００へ送信する。モニタ４００は、ビデオ出力部２０６から出力される表示信号に従い観察対象の画像等を表示する。

通信制御部２０５は、病院内ローカルエリアネットワーク（ＬＡＮ：Local Area Network）及び病院内システム（ＨＩＳ：Hospital Information System）等を介して通信可能に接続される装置との通信を制御する。通信制御部２０５はＤＩＣＯＭ規格に準拠した通信プロトコルを適用し得る。

ＣＰＵ２１０は、プロセッサ装置２００内の各部を制御し、かつ内視鏡システム１０の全体を統括的に制御する全体制御部として機能する。ＣＰＵ２１０は、ＲＯＭ（Read Only Memory）２１１及びＲＡＭ（Random Access Memory）２１２を制御するメモリコントローラとして機能する。ＲＯＭ２１１には、プロセッサ装置２００の動作を制御するための各種プログラム及び制御パラメータ等のデータが記憶される。

ＲＡＭ２１２は、各種処理におけるデータの一時記憶領域及びＣＰＵ２１０を用いた演算処理の処理領域に用いられる。ＲＡＭ２１２には、ＣＰＵ２１０により実行されるプログラムが記憶される。ＲＡＭ２１２は、撮像信号や内視鏡画像を取得した際のバッファメモリとして用いることができる。

操作部２０８はユーザの操作を受け付け、ユーザの操作に応じた指示信号を出力する。操作部２０８は、例えばキーボード、マウス、ジョイスティック、タッチパネル、フットスイッチ及び音声入力装置のうちの１つ又は複数の組み合わせを用いて構成される。内視鏡スコープ１００に設けられた撮影ボタン１４４等のスイッチは操作部２０８に含まれると理解してもよい。

ＣＰＵ２１０は、操作部２０８から送信される指示信号（ユーザ入力信号）を取得し、取得したユーザ入力信号に対応する処理や制御を実施する。

音声処理部２０９は、音声として報知される情報を表す音声信号を生成する。スピーカ２０９Ａは、音声処理部２０９を用いて生成された音声信号を音声に変換する。スピーカ２０９Ａから出力される音声の例として、メッセージ、音声ガイダンス及び警告音等が挙げられる。

プロセッサ装置２００は、内視鏡スコープ１００を用いて生成された内視鏡画像、又は通信制御部２０５を介して取得された内視鏡画像に対して各種の処理を実施し、内視鏡画像及び内視鏡画像に付帯する各種情報をモニタ４００へ表示させる。また、プロセッサ装置２００は、内視鏡画像及び内視鏡画像に付帯する各種情報を記憶部２０７に記憶することができる。

また、プロセッサ装置２００には、ＡＩを用いた内視鏡画像の診断支援システムが実装されている。詳細は後述するが、プロセッサ装置２００は、観察対象の内視鏡画像が体内のどの部位を写した画像であるかを認識して対象部位について観察が完了したか否かを判定する観察完了判定機能と、観察完了判定の判定結果をモニタ４００に表示させる表示制御機能と、表示させた判定結果の情報を修正する指示を含むユーザ入力を受け付けるユーザ入力受付機能と、ユーザ入力によって修正された内容を表示に反映させる表示修正機能と、を備える。プロセッサ装置２００は、本開示における「医療画像処理装置」の一例である。モニタ４００は、本開示における「ディスプレイ」の一例である。「認識」という用語は、識別、判別、推論、推定、検出、及び分類などの概念を含む。

《第１実施形態に係る医療画像処理装置の概要》
図３は、本発明の第１実施形態に係る医療画像処理装置２０の機能を示す機能ブロック図である。医療画像処理装置２０は、画像取得部２２と、観察完了判定部２４と、表示制御部２６と、ユーザ入力受付部２８と、を備える。

画像取得部２２は、内視鏡スコープ１００を用いて撮影された内視鏡画像１８を取得する。内視鏡画像１８は、内視鏡スコープ１００から出力された撮像信号によって表される画像であってもよいし、図２に示す画像処理部２０４による処理が施されて生成された画像であってもよい。

図２に示す画像入力コントローラ２０２は画像取得部２２として機能し得る。なお、画像取得部２２は、通信回線を介して外部装置から内視鏡画像１８を取り込むための通信インターフェースを含んで構成されてもよいし、メモリカード等の可搬型情報記憶媒体に記憶された内視鏡画像を取り込むメディアインターフェースを含んで構成されてもよい。図２に示す通信制御部２０５は画像取得部２２として機能し得る。

また、画像取得部２２は、図２に示すプロセッサ装置２００の内部の処理回路から内視鏡画像１８の入力を受け付けるデータ入力インターフェース及び／又はデータ入力端子であってもよい。例えば、画像取得部２２は、図２の画像処理部２０４が生成した内視鏡画像１８の入力を受ける端子であってよい。内視鏡画像１８は本開示における「医療画像」の一例である。

画像取得部２２は、内視鏡スコープ１００によって撮影された時系列のフレーム画像１８Ｂから構成される動画像１８Ａを取得し得る。また、画像取得部２２は、動画像１８Ａの撮影中にユーザから静止画像撮影指示が入力されて静止画像１９の撮影が実施された場合に、静止画像撮影指示に応じて撮影された静止画像１９を取得し得る。

観察完了判定部２４は、画像取得部２２を介して取得された内視鏡画像１８のシーンを認識して対象部位の観察完了判定を行う処理部である。観察完了判定とは、対象部位について観察が完了したか否かを判定する処理である。観察完了判定部２４は、ユーザである医師が対象の部位について実際に意識的に観察を行い、その部位について観察を完了したかどうかを推定する処理を行う。

観察完了判定部２４は、例えば、内視鏡画像１８のシーンを認識して内視鏡画像１８に写っている部位のラベルを付与する画像分類の処理を行う部位認識器を用いて構成される。部位認識器は、例えば、深層学習などの機械学習によって学習されたニューラルネットワーク等の学習済みモデルを用いて構成される。観察完了判定部２４は、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を用いて構成することができる。観察完了判定部２４は、内視鏡画像１８を基に、対象部位の認識及び対象部位についての観察完了判定のタスクを行うＡＩモデルを用いて構成されるＡＩモジュールであってよい。観察完了判定部２４は、部位認識器と、観察完了の有無の判定器と、の組み合わせによって構成されてもよいし、内視鏡画像１８の入力に対して、部位の分類と観察完了の有無とを出力するように、機械学習によって学習されたＡＩモデルを用いて構成されてもよい。

観察完了判定部２４は、時系列に取得される複数のフレーム画像１８Ｂの一部又は全部について、フレーム画像ごとに部位の認識と観察完了判定の処理を実施し得る。

表示制御部２６は、モニタ４００における表示内容を制御する。すなわち、表示制御部２６は、モニタ４００への表示出力に必要な表示信号を生成する。表示信号には、内視鏡画像１８を表す表示信号の他、観察完了判定の判定結果を示す情報に関する報知を行うための表示信号が含まれる。

表示制御部２６は、判定結果情報表示制御部２６Ａと、表示修正処理部２６Ｂと、を含む。判定結果情報表示制御部２６Ａは、観察完了判定部２４によって得られる判定結果情報をモニタ４００に表示させるための表示信号を生成する。

判定結果情報表示制御部２６Ａによって生成された表示信号はモニタ４００に出力される。モニタ４００は表示制御部２６からの表示信号に従い、観察完了判定の判定結果を示す情報及び内視鏡画像１８等を表示する。

ユーザ入力受付部２８は、入力装置２３４を用いて入力されるユーザ入力信号を受け付ける。ユーザ入力信号には、モニタ４００に表示されている観察完了判定結果の情報を修正する指示の信号が含まれる。入力装置２３４は、図２に示す操作部２０８に相当する。入力装置２３４は、例えば、キーボード、マウス、タッチパネル、フットスイッチ、若しくは、音声入力装置、又はこれらの適宜の組み合わせであってよい。ユーザは、入力装置２３４を操作することにより、各種の指示を入力することができる。

表示修正処理部２６Ｂは、ユーザ入力信号に従いモニタ４００に表示させる情報（表示内容）を修正する処理を行い、修正内容を表示に反映させる表示信号を生成する。表示修正処理部２６Ｂは、観察完了判定部２４から出力された判定結果の情報を書き換える処理を実施してもよいし、観察完了判定部２４から出力された誤判定の判定結果の情報を装置内に保持しつつ、モニタ４００における表示内容を修正してもよい。

ユーザ入力信号に基づき表示修正処理部２６Ｂによって修正された内容はモニタ４００の表示に反映される。表示制御部２６は、図２に示すビデオ出力部２０６に対応する。

また、図２に示すＣＰＵ２１０は、観察完了判定部２４として機能し得る。図２に示す画像処理部２０４及びＣＰＵ２１０の組み合わせが観察完了判定部２４の機能を適宜分担して実施してもよい。

《医療画像処理装置２０の動作の例》
図４は、医療画像処理装置２０の動作を示すフローチャートである。図４のフローチャートの各ステップは、医療画像処理装置２０に搭載されるＣＰＵ２１０等のプロセッサがプログラムを実行することによって実施される。

ステップＳ１２の画像取得工程において、医療画像処理装置２０は内視鏡画像を取得する。

ステップＳ１４の観察完了判定工程において、医療画像処理装置２０は観察対象の部位を認識して部位の観察を完了したかどうかを判定する。

ステップＳ１６の観察完了部位表示工程において、医療画像処理装置２０は観察完了判定の判定結果に基づき、観察が完了したと判定された観察完了部位の情報をモニタ４００に表示させる。

ステップＳ１８において、医療画像処理装置２０は観察完了部位の表示内容に対する修正の指示を含むユーザ入力の有無を判定する。ユーザが表示の修正を指示する入力を行うと、医療画像処理装置２０はステップＳ２０のユーザ入力情報表示工程に進む。

ステップＳ２０において、医療画像処理装置２０はユーザが入力した修正内容をモニタ４００の表示に反映させる。

ステップＳ１８において、ユーザから表示の修正を指示する入力がなければ、医療画像処理装置２０はステップＳ２０をスキップし、観察完了判定の判定結果が示す観察完了部位の情報の表示を維持して図４のフローチャートを終了する。医療画像処理装置２０は、時系列で順次に取得される複数のフレーム画像１８Ｂのそれぞれに対して図４のフローチャートによる処理を実施し得る。

図４のフローチャートに示される医療画像処理装置２０の作動方法は、医療画像処理装置２０が実施する診断支援方法と理解してよいし、医療画像処理装置２０が実施する画像処理方法と理解してもよい。

〈表示画像の例１〉
図５は、モニタ４００の画面４０に表示される表示画像の例１である。図５にはビデオ軟性胃十二指腸鏡を用いて撮影された内視鏡画像の例を示す。図５は、胃体上部の観察画像の例である。モニタ４００の画面４０は、メイン画面４２と、サブ画面４４と、を含む。メイン画面４２には観察画像としての内視鏡画像１８が表示される。メイン画面４２には撮影中の内視鏡画像１８がリアルタイムに動画像として表示される。メイン画面４２は観察画像表示領域として機能する。

サブ画面４４は、観察完了部位に関する情報が表示される。ユーザはメイン画面４２に表示される体内画像（内視鏡画像１８）を見ながら内視鏡スコープ１００の操作を行う。部位の観察完了情報はサブ画面４４に表示される。医療画像処理装置２０は、内視鏡画像１８についてのシーン認識の処理に基づき、ある部位の観察が完了したか否かを判定し、その判定結果を図及び／又はリストなどの表示形態によってサブ画面４４に表示させる。メイン画面４２は本開示における「第１表示領域」の一例である。サブ画面４４は本開示における「第２表示領域」の一例である。

図５の第１サブ画面４４Ａには、検査対象の臓器である胃を模式的に表したシェーマ画像４６が示され、観察完了部位４７と観察未完了部位４８とが色分けされて表示される。図５には、胃体上部の観察が完了したと判定された場合の表示例である。胃は本開示における「人体の部位」の一例であり、シェーマ画像４６は本開示における「モデル図形」の一例である。

第２サブ画面４４Ｂには、観察完了判定部２４の判定結果を示す文字情報が表示される。すなわち、第２サブ画面４４Ｂには、観察対象として認識された部位情報と、観察が完了したか否かの判定結果を示す判定結果情報とが文字列による情報として表示される。こここでは部位情報としての「胃体上部」という表示と、判定結果情報としての「観察完了」という表示がなされている例が示されている。

〈表示画像の例２〉
図６は、モニタ４００の画面４０に表示される表示画像の例２である。図６は、直腸の観察画像の例を示す。図６には、大腸内視鏡検査において直腸の観察が完了したと判定された場合の表示例である。図６における第１サブ画面４４Ａには、大腸のシェーマ画像４６が表示され、直腸の部位が観察完了部位４７となっている様子が示されている。図６の第２サブ画面４４Ｂには、観察対象として認識された部位情報としての「直腸」という文字情報による表示と、判定結果情報としての「観察完了」という表示が成されている例が示されている。

〈表示画像の例３〉
図７は、モニタ４００の画面４０に表示される表示画像の例３である。図５で説明したシェーマ画像４６を用いた表示に代えて、図７に示すように、観察済みの部位の情報をリスト化して文字情報として表示してもよい。

図７における第１サブ画面４４Ａには観察済みの部位のリストが表示され、第２サブ画面４４Ｂには現在の観察中の部位の情報が表示される。図７では、観察済みの部位として、胃底部、胃体上部、胃体中部、及び胃体下部がリストアップされている。

図７のメイン画面４２に表示されている内視鏡画像１８は、胃の前庭部を捉えた観察画像である。観察完了判定部２４によって前庭部の観察が完了したと判定されると、第２サブ画面４４Ｂには、前庭部が観察完了と判定されたことを示す文字情報が表示される。

〈表示画像の例４〉
図８は、モニタ４００の画面４０に表示される他の表示画像の例である。図８では、観察済みの部位が存在しておらず、第１サブ画面４４Ａにおいて観察済みの部位に関する情報はブランクの状態となっている。図８では、観察完了判定部２４によって直腸の観察が完了したと判定されたときの様子が示されている。この場合、第２サブ画面４４Ｂにおいて直腸が観察完了と判定されたことを示す文字情報が表示される。

〈ユーザ入力による表示の修正例１〉
図９は、観察完了判定の判定結果に基づく観察完了情報の表示を観察未完了の情報に修正する場合の表示画像の例である。図９において左側に修正前の表示内容を示し、右側に修正後の表示内容を示す。

観察完了判定部２４によって前庭部について観察完了の判定がなされ、モニタ４００の画面４０には、図９の左図に示すように、前庭部観察完了を報知する表示が行われる。

第１サブ画面４４Ａのシェーマ画像４６において、既に観察完了済みであることが確定している部位に対応する領域ブロック５１は、例えば、観察完了部位であることを表す表示色（例えば青色）の塗りつぶしによって表示されている。そして、今回新たに前庭部の部位が観察完了と判定されたとすると、シェーマ画像４６における前庭部に対応する領域ブロック５２が、例えば、新たに観察完了部位とし判定された部位であることを表す表示色（例えばオレンジ色）の塗りつぶしによって表示される。また、第２サブ画面４４Ｂにおいて前庭部が観察完了と判定されたことを示す文字情報が表示される。

図９の左図に示す表示状態において、ユーザによる修正の指示の入力がないまま所定時間が経過すると、前庭部の観察完了情報が正しいものとして確定され、領域ブロック５２の表示色がオレンジ色から青色に変わる。「所定時間」は例えば、数秒程度であってよい。また、ここでは、シェーマ画像４６における観察完了部位の表示に関して「オレンジ色」を経由して「青色」の確定表示になる例を説明したが、このような色の変化を経由しなくてもよい。図９の左図に示すサブ画面４４の表示内容は、本開示における「観察完了表示」の一例である。

図９の左図に示す表示に対して、ユーザによる実際の観察においては前庭部について観察未完了である場合、ユーザは入力装置２３４を操作して前庭部についての「観察完了」を示す表示の内容を「観察未完了」であることを示す表示に修正する指示を入力することができる。

ユーザによる修正の指示の入力方法は、第２サブ画面４４Ｂにおける文字情報を修正する文字入力であってもよいし、プルダウンメニューのような修正候補が提示されるメニューの中から「観察未完了」を選択する操作であってもよい。

このように表示内容を修正するユーザ入力が行われると、ユーザ入力による修正内容が反映され、図９の左図に示す表示から、図９の右図に示すような修正後の表示内容に変更される。図９の右図では、シェーマ画像４６における前庭部に対応する領域ブロック５２が観察未完了であることを示す表示色（例えば、グレー色）によって表示され、第２サブ画面４４Ｂにおいて前庭部が「観察未完了」であることを示す文字情報が表示される。なお、図９の右図におけるシェーマ画像４６においては、表示が修正された領域ブロック５２を明示するために図示の便宜上、領域ブロック５２の枠線を破線によって示しているが、実際の画面表示においてはこのような枠線は表示されなくてよい。図９の右図に示すサブ画面４４の表示内容は、本開示における「観察未完了表示」の一例である。

〈ユーザ入力による表示の修正例２〉
図１０は、観察完了判定の判定結果に基づく観察未完了情報の表示を観察完了の情報に修正する場合の表示画像の例である。観察完了判定部２４によって前庭部について観察未完了の判定がなされ、モニタ４００の画面４０には、図１０の左図に示す通り、前庭部については観察完了情報が報知されていない。なお、図１０におけるシェーマ画像４６では、前庭部に対応する領域ブロック５２が「観察未完了」となっていることを明示するために図示の便宜上、領域ブロック５２の枠線を破線によって示しているが、実際の画面表示においてはこのような枠線は表示されない。

図１０の左図に示す表示に対して、ユーザによる実際の観察においては前庭部について観察が完了している場合、ユーザは入力装置２３４を操作して前庭部についての「観察未完了」を示す表示の内容を「観察完了」であることを示す表示に修正する指示を入力することができる。

このように表示内容を修正するユーザ入力が行われると、ユーザ入力による修正内容が反映され、図１０の左図に示す表示から、図１０の右図に示すような修正後の表示内容に変更される。図１０の右図では、シェーマ画像４６における前庭部に対応する領域ブロック５２が観察完了であることを示す表示色（例えば、オレンジ色又は青色）によって表示され、第２サブ画面４４Ｂにおいて前庭部が「観察完了」であることを示す文字情報が表示される。

〈ユーザ入力による表示の修正例３〉
図１１は、観察完了判定の判定結果に基づく部位の観察完了情報の表示を、別の部位の観察完了の情報に修正する場合の表示画像の例である。観察完了判定部２４によって前庭部について観察完了の判定がなされ、モニタ４００の画面４０には、図１１の左図に示す通り、前庭部については観察完了情報が報知されている。また、図１１のシェーマ画像４６では、胃体下部については観察未完了であることを示す表示となっている。

図１１の左図に示す表示に対して、ユーザによる実際の観察においては前庭部について観察が未完了であり、胃体下部について観察が完了している場合、ユーザは入力装置２３４を操作して観察完了部位に関する情報の表示を「前庭部」から「胃体下部」に修正する指示を入力することができる。

このように表示内容を修正するユーザ入力が行われると、ユーザ入力による修正内容が反映され、図１１の左図に示す表示から、図１１の右図に示すような修正後の表示内容に変更される。図１１の右図では、シェーマ画像４６における胃体下部に対応する領域ブロック５３が観察完了であることを示す表示色（例えば、オレンジ色又は青色）によって表示され、前庭部に対応する領域ブロック５２は観察未完了であることを示す表示色（例えば、グレー色）によって表示される。

また、第２サブ画面４４Ｂにおいて胃体下部が「観察完了」であることを示す文字情報が表示される。

図９から図１１に例示したように、本実施形態に係る医療画像処理装置２０によれば、観察完了判定の判定結果が誤っている場合に、その判定結果に基づく「観察完了」又は「観察未完了」の表示における情報の入れ替え、あるいは観察完了部位の情報の変更などが可能である。

《観察完了判定における判定基準の例》
観察完了判定部２４において観察完了と判定する際の判定基準として、例えば、次に示す条件を用いることができる。

［条件１］対象部位の目印（ランドマーク）が画像上に写っていること。

［条件２］対象部位が一定時間以上観察されること。

［条件３］対象部位が画像の中央部に写っていること。

観察完了判定部２４は、これら条件１～３の少なくとも１つの条件に適合したときに観察完了と判定する。観察完了判定部２４は、これら複数の条件のうちの２つ以上の条件に適合したときに観察完了と判定してもよい。

条件１における「目印」は、解剖学的ランドマークであってよく、例えば、粘膜の特定の模様、及び／又は、部位の特徴的構造などであってよい。目印は部位ごとに設定される。観察完了判定部２４は、内視鏡画像１８から目印を認識したら、その目印に紐付いた部位について観察完了と判定し得る。

図１２は、胃の噴門部を観察しているときに得られる観察画像の例である。図１２には条件１に適合したことで観察完了と判定された場合の例を示す。噴門部は内視鏡スコープ１００の湾曲部１１４を折り曲げて観察するため、観察時には噴門の穴７０と内視鏡スコープ１００が内視鏡画像１８に写る。噴門の穴７０及び内視鏡スコープ１００は、噴門部についての目印となり得る。観察完了判定部２４は、内視鏡画像１８から目印を認識（検出）し、画像上に目印が存在する場合に観察完了と判定する。

図１２のメイン画面４２に示されているような内視鏡画像１８が得られた場合、観察完了判定部２４は条件１に適合するとして噴門部についての観察を完了したと判定し得る。観察完了判定部２４が噴門部について観察完了の判定を下すと、第１サブ画面４４Ａのシェーマ画像４６において噴門部に対応する領域ブロック５４が観察完了であることを示す表示色によって表示される。また、第２サブ画面４４Ｂには噴門部が観察完了であることを示す文字情報が表示される。

条件２に関して、観察完了判定部２４は、内視鏡画像１８から部位を認識し、同一の部位が画像上に一定時間以上存在する場合に観察完了と判定する。観察完了判定部２４は、例えば、特定の時間間隔により時系列で取得されるフレーム画像１８Ｂに対してフレーム画像１８Ｂごとに部位の検出を行い、同一部位が検出されるフレーム画像１８Ｂが所定枚数以上連続している場合に、その部位についての観察を完了したと判定し得る。条件２でいう「一定時間」は、予め適宜の値に設定しておくことが可能であり、例えば、数秒程度であってよい。

図１３は、胃の噴門部を観察しているときに得られる他の観察画像の例である。図１３には条件３に適合したことで観察完了と判定された場合の例を示す。図１３では噴門の穴７０が内視鏡画像１８の中央部に写っている。観察完了判定部２４は、例えば、内視鏡画像１８から対象とする目印を検出し、画像内における目印の位置と部位の種別（分類）を認識して目印が画像の中央部に存在するか否かを判定する。観察完了判定部２４は、内視鏡画像１８の中央部に対象部位の目印が存在している場合に、その部位についての観察を完了したと判定し得る。

噴門部は本開示における「特定の部位」の一例であり、噴門の穴７０は本開示における「目印」の一例である。条件１は本開示における「第１の条件」の一例である。条件２は本開示における「第２の条件」の一例である。条件３は本開示における「第３の条件」の一例である。

観察完了判定の判定基準は、条件１から条件３に限らない。例えば、観察完了判定部２４は、内視鏡スコープ１００の撮影ボタン１４４が操作されることによって静止画像の撮影が行われた場合に、その静止画像の被写体である部位の観察を完了したと判定してもよい。すなわち、観察完了判定部２４は、静止画像の撮影タイミングを示す撮影指示信号の入力を受け付け、撮影指示信号の入力を受けた場合に、静止画像の撮影対象である部位について観察完了と判定してもよい。観察完了判定の判定基準として、「静止画像の撮影が行われたこと」という条件４を用い、観察完了判定部２４は、条件１から条件４のうちの１つ以上の条件に適合したときに観察完了と判定してもよい。

《医療画像処理装置２０のハードウェア構成の例》
図１４は、医療画像処理装置２０のハードウェア構成を例示的に示すブロック図である。医療画像処理装置２０は、プロセッサ装置２００に搭載される形態に限らず、プロセッサ装置２００とは別の情報処理装置に適用することが可能である。例えば、医療画像処理装置２０の処理機能は、病院内ネットワークに接続されている画像処理サーバなどに実装されてもよい。

医療画像処理装置２０は、１台又は複数台のコンピュータを用いて構成されるコンピュータシステムによって実現することができる。すなわち、医療画像処理装置２０は、コンピュータにプログラムをインストールすることにより実現される。

医療画像処理装置２０は、プロセッサ２２２、非一時的な有体物であるコンピュータ可読媒体２２４、画像入力インターフェース２２５、画像処理プロセッサ２２６、通信インターフェース２２７、入出力インターフェース２２８、及びバス２３０を備える。

プロセッサ２２２はＣＰＵを含む。プロセッサ２２２はＧＰＵ（Graphics Processing Unit）を含んでもよい。プロセッサ２２２は、バス２３０を介してコンピュータ可読媒体２２４、画像入力インターフェース２２５、画像処理プロセッサ２２６、通信インターフェース２２７、及び入出力インターフェース２２８と接続される。医療画像処理装置２０は、入力装置２３４と表示装置２３６とをさらに備えてもよい。入力装置２３４及び表示装置２３６は入出力インターフェース２２８を介してバス２３０に接続される。

コンピュータ可読媒体２２４は、主記憶装置であるメモリ及び補助記憶装置であるストレージを含む。コンピュータ可読媒体２２４は、例えば、半導体メモリ、ハードディスク（ＨＤＤ：Hard Disk Drive）装置、若しくはソリッドステートドライブ（ＳＳＤ：Solid State Drive）装置又はこれらの複数の組み合わせであってよい。

画像入力インターフェース２２５は、図３に示す画像取得部２２として機能し得る。医療画像処理装置２０は、画像入力インターフェース２２５を介して内視鏡スコープ１００と接続される。

画像処理プロセッサ２２６は、図２に示す画像処理部２０４に相当する画像処理専用のプロセッサである。

通信インターフェース２２７は、図２に示す通信制御部２０５に相当する。医療画像処理装置２０は、通信インターフェース２２７を介して不図示の通信回線に接続される。通信回線は、例えば、病院内に構築されるローカルエリアネットワーク（ＬＡＮ：Local Area Network）であってよい。病院内の通信ネットワークを病院内ネットワークという。病院内ネットワークは、ルーターを介してさらにインターネットなどのワイドエリアネットワークと接続されてもよい。病院内ネットワークには、ＰＡＣＳ（Picture Archiving and Communication Systems）サーバなどの画像保存サーバ５００が接続される。

ＰＡＣＳサーバは、各種モダリティを用いて撮影された医療画像を含む各種データを保存して管理するコンピュータであり、大容量外部記憶装置及びデータベース管理用ソフトウェアを備えている。ＰＡＣＳサーバは、病院内ネットワークを介して他の装置と通信を行い、画像データを含む各種データを送受信する。ＰＡＣＳサーバは、ＤＩＣＯＭのプロトコルに基づいて動作するＤＩＣＯＭサーバであってよい。

医療画像処理装置２０は、通信インターフェース２２７を介して接続された画像保存サーバ５００から内視鏡画像を取得してもよい。

コンピュータ可読媒体２２４には、観察完了判定プログラム２４０と、表示制御プログラム２６０と、が記憶される。また、コンピュータ可読媒体２２４は、画像記憶部２７１と、判定情報記憶部２７２と、ユーザ入力情報記憶部２７３と、を備える。コンピュータ可読媒体２２４には、図２で説明した画像処理部２０４としての処理の一部又は全部をプロセッサ２２２に実行させるための命令を含む不図示の画像処理プログラムが記憶されていてよい。

画像記憶部２７１は、画像入力インターフェース２２５又は通信インターフェース２２７を介して取得された内視鏡画像を記憶しておく記憶領域である。

観察完了判定プログラム２４０は、図３で説明した観察完了判定部２４としての処理をプロセッサ２２２に実行させるための命令を含むプログラムである。

表示制御プログラム２６０は、図３で説明した表示制御部２６としての処理をプロセッサ２２２に実行させるための命令を含むプログラムである。表示制御プログラム２６０はメイン画面制御モジュール２６１と、サブ画面制御モジュール２６２と、表示修正モジュール２６３と、を含む。

メイン画面制御モジュール２６１は、メイン画面４２の表示に関する制御を行うプログラムモジュールである。サブ画面制御モジュール２６２は、サブ画面４４の表示に関する制御を行うプログラムモジュールである。サブ画面制御モジュール２６２は、図３で説明した判定結果情報表示制御部２６Ａとしての処理をプロセッサ２２２に実行させるための命令を含む。表示修正モジュール２６３は、図３で説明した表示修正処理部２６Ｂとしての処理をプロセッサ２２２に実行させるための命令を含むプログラムモジュールである。なお、表示制御プログラム２６０の一部又は全部は観察完了判定プログラム２４０の中に組み込まれていてもよい。

判定情報記憶部２７２は、観察完了判定プログラム２４０の実行によって得られた判定結果の情報を記憶する記憶領域である。ユーザ入力情報記憶部２７３は、入力装置２３４から入出力インターフェース２２８を介して入力されたユーザ入力情報を記憶する記憶領域である。コンピュータ可読媒体２２４には、内視鏡システム１０を使用して行う検査の種類ごとに、対象とする臓器と一連の検査にて観察すべき複数の小部位（小領域）に関する情報が記憶されている。具体的には、例えば、胃の内部部位の全てを観察する検査を行う場合には、観察すべき部位として、噴門部、胃底部、胃角部、胃体上部、胃体中部、胃体下部、前庭部、及び幽門部などが設定される。

ここでは、胃の小部位について例示するが、部位の分類ラベルはこの例に限らない。また、観察の完了判定を行う際の部位の対象は１つの臓器に限らず、複数の臓器にまたがるものであってもよい、例えば、胃のみならず、食道及び十二指腸を含む検査範囲の各部位について、観察完了判定を実施してもよい、食道の部位として、例えば、食道上部、食道中部、食道下部などの分類が適用される。十二指腸の部位として、例えば、十二指腸球部、十二指腸球後部などの分類が適用される。

表示装置２３６は、例えば、液晶ディスプレイ、有機ＥＬ（organic electro-luminescence:ＯＥＬ）ディスプレイ、若しくは、プロジェクタ、又はこれらの適宜の組み合わせであってよい。表示装置２３６は、認識結果の他、処理の対象となった画像、及び、処理に必要な各種設定情報などの各種情報を表示し得る。表示装置２３６は、図２に示すモニタ４００に相当する。表示装置２３６は、本開示における「ディスプレイ」の一例である。

観察完了判定プログラム２４０による観察完了判定の判定結果はサブ画面制御モジュール２６２に送られ、サブ画面４４に表示される。表示修正モジュール２６３は、入力装置２３４からのユーザ入力を受け付け、ユーザ入力に応じてサブ画面４４の表示内容を修正する。

本実施形態に係る医療画像処理装置２０によれば、観察中の内視鏡画像１８から対象部位について観察を完了したか否かを自動的に判定して、観察完了部位の情報をモニタ４００に表示させることができる。また、ＡＩを用いて行われる部位の観察完了判定の判定結果と、ユーザである人間（医師）の判断とが異なった場合、ユーザのインタラクションを受けて、観察完了判定の結果を示す表示を修正することができる。

医療画像処理装置２０によれば、複数の部位を順次に観察していく検査の過程において、取得される内視鏡画像１８から医師の観察行動を判定してリアルタイムに観察完了部位の情報を提供することができる。これにより、複数の部位を網羅的に観察することが求められる検査において、ユーザに対して観察完了部位の情報と観察未完了部位の情報とを適時に提供することが可能であり、観察部位の見落としを抑制することができる。

《第２実施形態》
図１５は、第２実施形態に係る医療画像処理装置２０Ｂの機能を示す機能ブロック図である。図１５において、図３に示す構成と同一又は類似の要素には同一の符号を付し、その説明を省略する。第１実施形態との相違点を説明する。

図１５に示す医療画像処理装置２０Ｂは、第１実施形態に係る医療画像処理装置２０の処理機能に加え、観察完了判定プログラム２４０による判定結果情報とユーザによる修正情報とを保存する機能と、その保存した情報を不図示の外部機器に送信する機能と実装されている。

医療画像処理装置２０Ｂは、修正情報記憶部２７４と、通信部２７７と、を備える。修正情報記憶部２７４は、観察完了判定部２４による判定処理の対象となった観察画像と、その観察画像を基に観察完了判定部２４が出力した判定結果情報と、ユーザ入力による修正内容を示すユーザ入力情報と、を記憶しておく情報保存部である。

医療画像処理装置２０Ｂは、ユーザ入力受付部２８からユーザによる修正の指示が入力された場合に、ユーザ入力情報と、ユーザ入力による修正対象とされた修正前の判定結果情報と、その判定結果情報が得られた観察画像、すなわち、観察完了判定部２４が誤判定した観察画像と、を紐付けして、これらのデータを修正情報記憶部２７４に保存する。

修正情報記憶部２７４に保存されたデータは、観察完了判定部２４に適用されるＡＩモデルの改善等のために利用することが可能である。例えば、観察完了判定部２４が誤判定した観察画像と、その観察画像に対してユーザが入力した正しい判定結果のラベルと、を学習データとして用い、ＡＩモデルについての追加の学習を行うことにより、判定精度の向上を図ることができる。

修正情報記憶部２７４に保存されたデータは、通信部２７７を介して不図示の外部機器に送信することが可能である。また、修正情報記憶部２７４に保存されたデータは、不図示の可搬型記憶媒体などに記憶させて医療画像処理装置２０Ｂの外部に取り出すことも可能である。

通信部２７７は、所定の通信プロトコルに従い、不図示の外部機器と通信を行う。通信部２７７は、図２に示す通信制御部２０５及び図１４に示す通信インターフェース２２７に対応する構成である。通信部２７７は本開示における「通信装置」の一例である。外部機器は、例えば病院内ネットワークに接続されているコンピュータであってよい。また、外部機器は、病院外の施設に設置されるクラウドサーバなどであってもよい。外部機器は、観察完了判定部２４に適用されるＡＩモデルの機械学習を実行するコンピュータシステムであってもよいし、機械学習のための学習データセットを保存しておくデータ保存サーバなどであってもよい。

医療画像処理装置２０Ｂは、観察完了判定部２４の判定結果の表示に対するユーザの修正指示が入力される都度、その修正情報等を外部機器に送信してもよいし、予め定められた通信タイミングに、あるいは、一定量以上のデータ群が蓄積された場合に、データ群を送信してもよい。

図１６は、第２実施形態に係る医療画像処理装置２０Ｂのハードウェア構成を例示的に示すブロック図である。図１６において、図１４に示す構成と同一又は類似の要素には同一の符号を付し、その説明は省略する。

医療画像処理装置２０Ｂのコンピュータ可読媒体２２４は、修正情報記憶部２７４としての記憶領域を有する。プロセッサ２２２は、観察完了判定プログラム２４０によって得られた観察完了判定の判定結果の表示に対して、ユーザから修正の指示が入力された場合に、修正の対象とされた判定結果が得られた観察画像と、その判定結果情報と、修正内容を示すユーザ入力情報と、を紐付けして、これらのデータを修正情報記憶部２７４に保存する処理を行う。

プロセッサ２２２は、修正情報記憶部２７４に保存されたデータを、通信インターフェース２２７を介して不図示の外部機器に送信することができる。

《各処理部及び制御部のハードウェア構成について》
図２で説明した画像処理部２０４、通信制御部２０５、及び光源制御部３５０、図３で説明した画像取得部２２、観察完了判定部２４、表示制御部２６、判定結果情報表示制御部２６Ａ、表示修正処理部２６Ｂ、ユーザ入力受付部２８、図１５で説明した通信部２７７などの各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。

各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。例えば、１つの処理部は、複数のＦＰＧＡ、或いは、ＣＰＵとＦＰＧＡの組み合わせ、又は、ＣＰＵとＧＰＵの組み合わせなどによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第一に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第二に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

《内視鏡システムの観察光について》
観察光は、白色光、或いは１又は複数の特定の波長帯域の光、或いはこれらの組み合わせなど観察目的に応じた各種波長帯域の光が選択される。白色光は、白色の波長帯域の光又は複数の波長帯域の光である。「特定の波長帯域」は、白色の波長帯域よりも狭い帯域である。特定の波長帯域に関する具体例を以下に示す。

〈第１例〉
特定の波長帯域の第１例は、例えば可視域の青色帯域又は緑色帯域である。この第１例の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下の波長帯域又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、且つ第１例の光は、３９０ｎｍ以上４５０ｎｍ以下の波長帯域内又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する。

〈第２例〉
特定の波長帯域の第２例は、例えば可視域の赤色帯域である。この第２例の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下の波長帯域又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、且つ第２例の光は、５８５ｎｍ以上６１５ｎｍの波長帯域内以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する。

〈第３例〉
特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍの波長帯域、４７０±１０ｎｍの波長帯域、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、且つ第３例の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域内にピーク波長を有する。

〈第４例〉
特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察（蛍光観察）に用いられ、且つこの蛍光物質を励起させる励起光の波長帯域、例えば、３９０ｎｍから４７０ｎｍである。

〈第５例〉
特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下の波長帯域又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、且つ第５例の光は、７９０ｎｍ以上８２０ｎｍ以下の波長帯域内又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域内にピーク波長を有する。

《観察光の切り替えについて》
光源の種類は、レーザ光源、キセノン光源、若しくは、ＬＥＤ（Light-Emitting Diode）光源又はこれらの適宜の組み合わせを採用し得る。光源の種類、波長、フィルタの有無等は被写体の種類、観察の目的等に応じて構成することが好ましく、また観察の際は被写体の種類、観察の目的等に応じて照明光の波長を組み合わせ及び／又は切り替えることが好ましい。波長を切り替える場合、例えば光源の前方に配置され特定波長の光を透過又は遮光するフィルタが設けられた円板状のフィルタ（ロータリカラーフィルタ）を回転させることにより、照射する光の波長を切り替えてもよい。

電子内視鏡に用いる撮像素子は、各画素に対しカラーフィルタが配設されたカラー撮像素子に限定されるものではなく、モノクロ撮像素子でもよい。モノクロ撮像素子を用いる場合、照明光の波長を順次切り替えて面順次（色順次）で撮像することができる。例えば出射する照明光の波長を、紫色、青色、緑色、及び赤色の間で順次切り替えてもよいし、広帯域光（白色光）を照射してロータリカラーフィルタ（赤色、緑色、青色等）により出射する照明光の波長を切り替えてもよい。また、１又は複数の狭帯域光を照射してロータリカラーフィルタにより出射する照明光の波長を切り替えてもよい。狭帯域光は波長の異なる２波長以上の赤外光でもよい。

《特殊光画像の生成例》
プロセッサ装置２００は、白色光を用いて撮像して得られた通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を生成してもよい。なお、ここでいう生成には「取得」の概念が含まれる。この場合、プロセッサ装置２００は、特殊光画像取得部として機能する。プロセッサ装置２００は、特定の波長帯域の信号を、通常光画像に含まれる赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）、或いはシアン（Ｃ）、マゼンタ（Ｍ）、及びイエロー（Ｙ）の色情報に基づく演算を行うことで得ることができる。

《特徴量画像の生成例》
プロセッサ装置２００は、医療画像として、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常光画像、並びに特定の波長帯域の光を照射して得る特殊光画像の少なくともいずれかに基づく演算を用いて、特徴量画像を生成し得る。特徴量画像は医療画像の一形態である。

《蛍光体を利用する照明》
ライトガイド１７０の出射端と、内視鏡スコープ１００の照明用レンズ１２３Ａ，１２３Ｂとの間に、蛍光体が配置されてもよい。例えば、ライトガイド１７０を通った青色レーザ光は蛍光体に照射され、蛍光体を励起状態にすると共に、その一部は蛍光体を透過して青色光として照明用レンズ１２３Ａ，１２３Ｂから出射される。

蛍光体は、青色レーザ光で励起され、光の波長帯域における青色と緑色の境界あたりの波長域から赤色の波長域までの広範囲の光（色としては黄色）を発光する。この黄色光と蛍光体を透過する青色光とが混合されて白色光となり、照明用レンズ１２３Ａ、１２３Ｂを通して被写体を照明する構成であってもよい。なお、蛍光体を透過する青色光には、蛍光体で発光する青色光も一部含む。

蛍光体は、例えば、波長４４５ｎｍの青色レーザ光の照射を受けた場合に黄色光を発光すると共に波長４４５ｎｍの青色光を透過するが、波長４０５ｎｍの青色レーザ光の照射を受けた場合にはその殆どを透過する性質を持つものであってよい。このような蛍光体を用い、光源装置において波長４４５ｎｍの青色レーザ光と波長４０５ｎｍの青色レーザ光との混合割合を制御することで、蛍光体を透過する青色光と、蛍光体で発光する黄色光との割合を制御することが可能である。

《変形例１》
上述の実施形態では、軟性内視鏡である内視鏡スコープ１００を用いる例を説明したが、体内を撮影する内視鏡は、軟性内視鏡に限らず、硬性内視鏡であってもよいし、カプセル内視鏡であってもよい。本開示に係る医療画像処理装置が扱う医療画像は、内視鏡画像に限らず、超音波診断装置など、他の医療画像撮影装置によって生成される画像であってよい。医療画像撮影装置は、例えば、Ｘ線撮影装置、ＣＴ（Computed Tomography）撮影装置、ＭＲＩ（magnetic resonance imaging）撮影装置、及び核医学診断装置のうちの少なくとも１つであってよい。これら各種医療画像撮影装置（モダリティー）を用いて取得される医療画像を処理する装置について、本開示の技術を適用できる。

《変形例２》
本開示の医療画像処理装置は、医師等による診察、治療、又は診断などを支援する診断支援装置として用いることができる。「診断支援」という記載は、診察支援、治療支援、検査支援、観察支援、及び病変鑑別支援の概念を含む。

《変形例３》
複数の部位を網羅的に観察したか否かをユーザに報知するための表示態様は、シェーマ画像４６などのモデル図形を利用したエリア表示や文字情報によるリスト表示に限らず、観察の進捗状況を表す進捗バー表示、若しくは、観察済みの部位にチェックマークを付す形式のチェックリスト表示などであってもよい。

《医療情報管理システムへの応用例》
本開示に係る医療画像処理装置は、図１に例示した内視鏡システム１０のプロセッサ装置２００に適用する形態に限らず、様々な応用が可能である。例えば、医療画像処理装置は、内視鏡画像を含む様々な医療情報を管理する医療情報管理システムに応用することができる。

本開示に係る医療画像処理装置の処理機能が実装された情報管理装置は、例えば、病院内の手術室、検査室、若しくは、カンファレンス室などに設置してもよいし、院外施設の医療機関、若しくは研究機関などに設置してもよい。情報管理装置は、診察、治療、診断などの支援を行うワークステーションであってもよいし、医療業務を支援する業務支援装置であってもよい。業務支援装置は、臨床情報の蓄積、診断書類の作成支援、レポート作成支援などを行う機能を備えていてよい。

《コンピュータに医療画像処理装置の機能を実現させるプログラムについて》
上述の実施形態で説明した医療画像処理装置２０，２０Ｂの機能をコンピュータに実現させるプログラムを光ディスク、磁気ディスク、若しくは、半導体メモリその他の有体物たる非一時的な情報記憶媒体であるコンピュータ可読媒体に記録し、この情報記憶媒体を通じてプログラムを提供することが可能である。またこのような有体物たる非一時的な情報記憶媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの電気通信回線を利用してプログラム信号をダウンロードサービスとして提供することも可能である。

また、上述の実施形態で説明した医療画像処理装置の機能の一部又は全部をアプリケーションサーバとして提供し、電気通信回線を通じて処理機能を提供するサービスを行うことも可能である。

《実施形態及び変形例等の組み合わせについて》
上述した実施形態で説明した構成要素、及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。

《付記》
本明細書は、上述した各実施形態及び変形例等に加えて、以下に記載の発明の開示を含む。

（付記１）
医療画像処理装置は、医療画像解析処理部と、医療画像解析結果取得部と、を有し、医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。

医療画像解析処理部は、画像認識部を含んでよい。

（付記２）
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。

（付記３）
医療画像解析結果取得部は、医療画像の解析結果を記録する記録装置から取得し、解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、若しくは両方である医療画像処理装置。

（付記４）
医療画像は、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。

（付記５）
医療画像は、特定の波長帯域の光を照射して得た画像であり、特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。

（付記６）
特定の波長帯域は、可視域の青色若しくは、緑色帯域である医療画像処理装置。

（付記７）
特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する 医療画像処理装置。

（付記８）
特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。

（付記９）
特定の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。

（付記１０）
特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。

（付記１１）
特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は、６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。

（付記１２）
医療画像は生体内を写した生体内画像であり、生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。

（付記１３）
蛍光は、ピーク波長が３９０ｎｍ以上４７０ｎｍ以下である励起光を生体内に照射して得る医療画像処理装置。

（付記１４）
医療画像は生体内を写した生体内画像であり、特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。

（付記１５）
特定の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。

（付記１６）
医療画像取得部は、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、医療画像は特殊光画像である医療画像処理装置。

（付記１７）
特定の波長帯域の信号は、通常光画像に含まれるＲＧＢ或いはＣＭＹの色情報に基づく演算により得る医療画像処理装置。

（付記１８）
白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、医療画像は特徴量画像である医療画像処理装置。

（付記１９）
付記１から付記１８のいずれか１つに記載の医療画像処理装置と、白色の波長帯域の光、又は、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、を備える内視鏡装置。

（付記２０）
付記１から付記１８のいずれか１つに記載の医療画像処理装置を備える診断支援装置。

（付記２１）
付記１から付記１８のいずれか１つに記載の医療画像処理装置を備える医療業務支援装置。

《その他》
以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、又は削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で同等関連分野の通常の知識を有する者により、多くの変形が可能である。

１０ 内視鏡システム
１８ 内視鏡画像
１８Ａ 動画像
１８Ｂ フレーム画像
１９ 静止画像
２０、２０Ｂ 医療画像処理装置
２２ 画像取得部
２４ 観察完了判定部
２６ 表示制御部
２６Ａ 判定結果情報表示制御部
２６Ｂ 表示修正処理部
２８ ユーザ入力受付部
４０ 画面
４２ メイン画面
４４ サブ画面
４４Ａ 第１サブ画面
４４Ｂ 第２サブ画面
４６ シェーマ画像
４７ 観察完了部位
４８ 観察未完了部位
５１、５２、５３、５４ 領域ブロック
７０ 穴
１００ 内視鏡スコープ
１０２ 手元操作部
１０４ 挿入部
１０６ ユニバーサルケーブル
１０８ ライトガイドコネクタ
１１２ 軟性部
１１４ 湾曲部
１１６ 先端硬質部
１１６Ａ 先端側端面
１２３ 照明部
１２３Ａ、１２３Ｂ 照明用レンズ
１２６ 鉗子口
１３０ 撮像部
１３２ 撮影レンズ
１３４ 撮像素子
１３６ 駆動回路
１３８ アナログフロントエンド
１４０ アングルノブ
１４１ 送気送水ボタン
１４２ 吸引ボタン
１４３ 機能ボタン
１４４ 撮影ボタン
１７０ ライトガイド
２００ プロセッサ装置
２０２ 画像入力コントローラ
２０４ 画像処理部
２０５ 通信制御部
２０６ ビデオ出力部
２０７ 記憶部
２０８ 操作部
２０９ 音声処理部
２０９Ａ スピーカ
２１０ ＣＰＵ
２１１ ＲＯＭ
２１２ ＲＡＭ
２２２ プロセッサ
２２４ コンピュータ可読媒体
２２５ 画像入力インターフェース
２２６ 画像処理プロセッサ
２２７ 通信インターフェース
２２８ 入出力インターフェース
２３０ バス
２３４ 入力装置
２３６ 表示装置
２４０ 観察完了判定プログラム
２６０ 表示制御プログラム
２６１ メイン画面制御モジュール
２６２ サブ画面制御モジュール
２６３ 表示修正モジュール
２７１ 画像記憶部
２７２ 判定情報記憶部
２７３ ユーザ入力情報記憶部
２７４ 修正情報記憶部
２７７ 通信部
３００ 光源装置
３１０ 光源
３１０Ｂ 青色光源
３１０Ｇ 緑色光源
３１０Ｒ 赤色光源
３３０ 絞り
３４０ 集光レンズ
３５０ 光源制御部
４００ モニタ
Ｓ１２～Ｓ２０ 医療画像処理装置が実施する処理のステップ

Claims (26)

1. 少なくとも１つのプロセッサを有する医療画像処理装置であって、
   前記少なくとも１つのプロセッサは、
   医療画像を取得し、
   前記医療画像に基づき対象部位について観察が完了したか否かの観察完了判定を行い、
   前記観察完了判定の判定結果をディスプレイに表示させる表示制御を行い、
   前記観察完了判定の判定結果を示す表示内容を修正する指示を含むユーザ入力を受け付け、
   前記ユーザ入力によって修正された内容を表示に反映させる、
   医療画像処理装置。
2. 前記観察完了判定の判定結果を表示する前記ディスプレイをさらに備える、請求項１に記載の医療画像処理装置。
3. 前記少なくとも１つのプロセッサは、
   特定の部位の目印が前記医療画像の画像上に存在する場合に前記特定の部位について観察完了と判定する、
   請求項１又は２に記載の医療画像処理装置。
4. 前記少なくとも１つのプロセッサは、
   特定の部位が前記医療画像の画像上に一定時間以上存在する場合に前記特定の部位について観察完了と判定する、
   請求項１から３のいずれか一項に記載の医療画像処理装置。
5. 前記少なくとも１つのプロセッサは、
   特定の部位の目印が前記医療画像の中央部に存在する場合に前記特定の部位について観察完了と判定する、
   請求項１から４のいずれか一項に記載の医療画像処理装置。
6. 特定の部位の目印が前記医療画像の画像上に存在することを第１の条件とし、前記特定の部位が前記医療画像の画像上に一定時間以上存在することを第２の条件とし、前記特定の部位の目印が前記医療画像の中央部に存在することを第３の条件とする場合に、
   前記少なくとも１つのプロセッサは、
   前記第１の条件、前記第２の条件、及び前記第３の条件のうち少なくとも１つの条件に適合する場合に前記特定の部位について観察完了と判定する、
   請求項１から３のいずれか一項に記載の医療画像処理装置。
7. 前記少なくとも１つのプロセッサは、
   静止画像の撮影タイミングを示す撮影指示信号の入力を受け付け、前記撮影指示信号の入力を受けた場合に、前記静止画像の撮影対象である部位について観察完了と判定する、
   請求項１から６のいずれか一項に記載の医療画像処理装置。
8. メモリをさらに備え、
   前記メモリには、前記医療画像及び前記観察完了判定の判定結果を示す判定結果情報が記憶され、
   前記少なくとも１つのプロセッサが前記ユーザ入力を受けた場合、
   前記メモリには、ユーザ入力情報と、前記ユーザ入力による修正対象とされた修正前の前記判定結果情報と、前記判定結果情報が得られた前記医療画像と、が紐付けされて保存される、
   請求項１から７のいずれか一項に記載の医療画像処理装置。
9. メモリと、
   通信装置と、
   をさらに備え、
   前記メモリには、前記医療画像及び前記観察完了判定の判定結果を示す判定結果情報が記憶され、
   前記少なくとも１つのプロセッサが前記ユーザ入力を受けた場合、
   前記通信装置は、ユーザ入力情報と、前記ユーザ入力による修正対象とされた修正前の前記判定結果情報と、前記判定結果情報が得られた前記医療画像と、を外部機器へ送信する、
   請求項１から７のいずれか一項に記載の医療画像処理装置。
10. 前記少なくとも１つのプロセッサは、前記観察完了判定の判定結果が観察未完了となっている部位の観察未完了表示について、観察完了であることを示す観察完了表示に修正する前記ユーザ入力を受け付け、
    前記ユーザ入力に基づき、前記観察未完了表示の表示内容を、前記観察完了表示の表示内容に変更する、
    請求項１から９のいずれか一項に記載の医療画像処理装置。
11. 前記少なくとも１つのプロセッサは、前記観察完了判定の判定結果が観察完了となっている部位の観察完了表示について、観察未完了であることを示す観察未完了表示に修正する前記ユーザ入力を受け付け、
    前記ユーザ入力に基づき、前記観察完了表示の表示内容を、前記観察未完了表示の表示内容に変更する、
    請求項１から１０のいずれか一項に記載の医療画像処理装置。
12. 前記少なくとも１つのプロセッサは、
    前記観察完了判定によって観察完了と判定された観察完了部位について部位情報の表示を、別の部位を示す部位情報の表示に修正する前記ユーザ入力を受け付け、
    前記ユーザ入力に基づき、観察完了部位についての部位情報の表示内容を修正する、
    請求項１から１１のいずれか一項に記載の医療画像処理装置。
13. 前記少なくとも１つのプロセッサは、
    前記医療画像を前記ディスプレイの第１表示領域に表示させ、
    前記観察完了判定の判定結果を前記ディスプレイにおける前記第１表示領域と異なる第２表示領域に表示させる、
    請求項１から１２のいずれか一項に記載の医療画像処理装置。
14. 前記少なくとも１つのプロセッサは、
    観察完了部位についての部位情報を、前記対象部位を含む人体の部位を模式的に表したモデル図形によって表示させる、
    請求項１から１３のいずれか一項に記載の医療画像処理装置。
15. 前記少なくとも１つのプロセッサは、
    前記モデル図形において観察完了部位と観察未完了部位とを色分けして表示させる、
    請求項１４に記載の医療画像処理装置。
16. 前記少なくとも１つのプロセッサは、
    観察完了部位についての部位情報を文字情報として表示させる、
    請求項１から１５のいずれか一項に記載の医療画像処理装置。
17. ユーザが前記指示の入力を行う際に用いる入力装置をさらに備え、
    前記少なくとも１つのプロセッサは、
    前記入力装置から前記ユーザ入力を受け付ける、
    請求項１から１６のいずれか一項に記載の医療画像処理装置。
18. 前記入力装置は、キーボード、タッチパネル、音声入力装置、内視鏡スコープに設けられたスイッチ、及びフットスイッチのうち少なくとも１つを含む、
    請求項１７に記載の医療画像処理装置。
19. 前記少なくとも１つのプロセッサは、
    観察の対象とされる複数の部位が設定され、
    前記複数の部位の部位ごとに前記観察完了判定を行い、
    前記観察完了判定の判定結果に基づき、前記複数の部位のうちの観察完了部位を示す情報と観察未完了部位を示す情報とを表示させる、
    請求項１から１８のいずれか一項に記載の医療画像処理装置。
20. 前記少なくとも１つのプロセッサは、
    ニューラルネットワークを用いて前記観察完了判定を行う、
    請求項１から１９のいずれか一項に記載の医療画像処理装置。
21. 前記少なくとも１つのプロセッサは、
    時系列の前記医療画像を取得する、
    請求項１から２０のいずれか一項に記載の医療画像処理装置。
22. 前記医療画像は、内視鏡を用いて撮影された内視鏡画像である、
    請求項１から２１のいずれか一項に記載の医療画像処理装置。
23. 内視鏡スコープと、少なくとも１つのプロセッサと、を備える内視鏡システムであって、
    前記少なくとも１つのプロセッサは、
    前記内視鏡スコープを用いて体内を撮影することによって得られる内視鏡画像を取得し、
    前記内視鏡画像に基づき対象部位について観察が完了したか否かの観察完了判定を行い、
    前記観察完了判定の判定結果をディスプレイに表示させる表示制御を行い、
    前記観察完了判定の判定結果を示す表示内容を修正する指示を含むユーザ入力を受け付け、
    前記ユーザ入力によって修正された内容を表示に反映させる、
    内視鏡システム。
24. 少なくとも１つのプロセッサが実施する診断支援方法であって、
    前記少なくとも１つのプロセッサが、
    医療画像を取得することと、
    前記医療画像に基づき対象部位について観察が完了したか否かの観察完了判定を行うことと、
    前記観察完了判定の判定結果をディスプレイに表示させる表示制御を行うことと、
    前記観察完了判定の判定結果を示す表示内容を修正する指示を含むユーザ入力を受け付けることと、
    前記ユーザ入力によって修正された内容を表示に反映させることと、
    を含む診断支援方法。
25. コンピュータに、
    医療画像を取得する機能と、
    前記医療画像に基づき対象部位について観察が完了したか否かの観察完了判定を行う機能と、
    前記観察完了判定の判定結果をディスプレイに表示させる表示制御を行う機能と、
    前記観察完了判定の判定結果を示す表示内容を修正する指示を含むユーザ入力を受け付ける機能と、
    前記ユーザ入力によって修正された内容を表示に反映させる機能と、
    を実現させるためのプログラム。
26. 非一時的かつコンピュータ読取可能な記録媒体であって、請求項２５に記載のプログラムが記録された記録媒体。

Images