JP7280270B2 - 内視鏡システム - Google Patents

Description

本発明は、医療画像の解析結果を用いる内視鏡システム及び医療画像処理システムに関する。

現在の医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムなどのように、医療画像を用いる医療画像処理システムが普及している。また、近年においては、医療画像から病変部の可能性のある注目領域を抽出し、抽出した注目領域に対して画像解析を行うことによって、病態に関する診断情報を取得することが行われている。

例えば、特許文献１では、医療画像から検出した注目領域の画像を保存しておき、医療画像上から注目領域が途絶したタイミングで、医療画像を表示する観察領域とは別の領域に、保存しておいた注目領域の画像を表示している。また、特許文献２では、注目領域を検出したときの血管情報を保存しておくことで、注目領域を画面上から消失した場合であっても、保存しておいた血管情報を手掛かりに、再度、注目領域の位置に戻れるようにしている。また、特許文献３では、注目領域を検出した場合に、ユーザーが観察に用いる観察画像を表示する領域とは別の領域に、注目領域の静止画像を表示している。

国際公開第２０１７／２１６９２２号 特開２０１２－１０７３３号公報 国際公開第２０１７／０７３３３７号

内視鏡システムを用いる内視鏡検査においては、スクリーニングのように、病変等の注目領域の検出を目的とする場合には、内視鏡の先端部を一番奥の位置まで挿入した後、先端部を徐々に動かして抜去することが行われている。ここで、抜去時に、注目領域がある観察領域を一瞬で通り過ぎてしまった場合には、たとえ、自動的に注目領域の検出を行ったとしても、ユーザーは注目領域に気付かないおそれがある。また、仮にユーザーが注目領域に気付いたとしても、注目領域の周辺は観察対象の形状の変化等によって、注目領域がある観察領域にまで戻ることが難しい場合がある。したがって、ユーザーが見落とした注目領域がある観察領域にまで戻ることができるように、ユーザーをサポートすることが求められていた。なお、特許文献２には、注目領域を通り過ぎた場合において、再度、注目領域の位置に戻ることについて記載はあるが、上記のように、注目領域の周辺は観察対象の形状等の変化することがあるため、注目領域の位置に戻るまでのサポートがないと、注目領域の位置にまで戻ることが難しいことがある。

本発明は、ユーザーが見落とした注目領域がある観察領域にまで戻ることができるように、ユーザーをサポートすることができる内視鏡システム及び医療画像処理システムを提供することを目的とする。

本発明の内視鏡システムは、観察対象を撮像して医療画像を出力する撮像素子が先端部に設けられた内視鏡と、プロセッサと、を備えた内視鏡システムであり、プロセッサは、医療画像を取得する医療画像取得部と、第１タイミングに取得した医療画像から、観察対象のうち第１観察領域にある注目領域を検出する注目領域検出部と、先端部が、第１観察領域から離れて、第１観察領域と異なる第２観察領域に向かう方向に移動した後、先端部が、第２観察領域から離れて第１観察領域に向かう方向に移動する場合において、第１タイミングと異なる第２タイミングに取得した医療画像から、先端部が第１観察領域に戻ったかどうかを判定する第１判定処理を行う第１判定部と、第１判定部の判定結果を用いてディスプレイの表示制御を行う表示制御部と、第１観察領域の注目領域を見落としたかどうかを判定する第２判定処理を行う第２判定部と、して機能し、第２判定部は、注目領域がディスプレイから消えてからの時間を示す第２時間を用いて、第２判定処理を行い、第２時間が第２判定用第２時間以上である場合に、第１観察領域の注目領域を見落としたと判定し、第２判定部は、第１観察領域の注目領域を検出してから、注目領域がディスプレイから消えるまでの時間を示す第１時間をさらに用いて、第２判定処理を行い、第２判定部は、第１時間が第２判定用第１時間よりも短く、且つ、第２時間が第２判定用第２時間以上経過して第１観察領域の注目領域を検出しなかった場合に、第１観察領域の注目領域を見落としたと判定し、表示制御部は、第２判定処理により第１観察領域の注目領域を見落としたと判定した見落とし判定タイミングと、先端部が第１観察領域に戻ったと判定した再訪判定タイミングとにおいて、第１観察領域の注目領域を表示した注目領域画像に関する表示制御を行い、表示制御部は、見落とし判定タイミングにて注目領域画像の表示を開始し、見落とし判定タイミングから再訪判定タイミングまでの間、注目領域画像の表示を維持する。

第１判定部は、第１タイミングの医療画像と第２タイミングの医療画像との類似度を用いて、第１判定処理を行うことが好ましい。第１判定部は、類似度が第１判定用類似度以上である場合に、先端部が第１観察領域に位置すると判定することが好ましい。第１判定部は、類似度が第１判定用類似度以上であり、且つ、注目領域検出部が第１観察領域の注目領域を検出している場合に、先端部が第１観察位置に戻ったと判定することが好ましい。

第１観察領域の注目領域を見落としたかどうかを判定する第２判定処理を行う第２判定部を有し、表示制御部は、第１判定部の判定結果及び第２判定部の判定結果を用いて表示制御を行うことが好ましい。第２判定部は、第１観察領域の注目領域を検出してから、注目領域が表示部から消えるまでの時間を示す第１時間、又は、注目領域が表示部から消えてからの時間を示す第２時間の少なくとも一方を用いて、第２判定処理を行うことが好ましい。

第２判定部は、第１時間が第２判定用第１時間よりも短い場合に、第１観察領域の注目領域を見落としたと判定することが好ましい。第２判定部は、第１時間が第２判定用第１時間よりも短く、且つ、第２時間が第２判定用第２時間以上である場合に、第１観察領域の注目領域を見落としたと判定することが好ましい。第２判定部は、医療画像取得部で取得した医療画像と第１タイミングの医療画像との類似度が第２判定用類似度を下回る場合に、第１観察領域の注目領域を見落としたと判定することが好ましい。第２判定部は、第１観察領域の注目領域を検出してから、注目領域が表示部から消えるまでの時間を示す第１時間、又は、注目領域が表示部から消えてからの時間を示す第２時間の少なくとも一方と、医療画像取得部で取得した医療画像と第１タイミングの医療画像との類似度とを用いて、第２判定処理を行うことが好ましい。

表示制御部は、第２判定処理により第１観察領域の注目領域を見落としたと判定した見落とし判定タイミングと、先端部が第１観察領域に戻ったと判定した再訪判定タイミングとにおいて、第１観察領域の注目領域を表示した注目領域画像に関する表示制御を行うことが好ましい。表示制御部は、見落とし判定タイミングにて注目領域画像の表示を開始し、見落とし判定タイミングから再訪判定タイミングまでの間、注目領域画像の表示を維持することが好ましい。表示制御部は、再訪判定タイミングにて、注目領域画像を非表示にすることが好ましい。表示制御部は、再訪判定タイミングにて、注目領域画像に対して強調処理を施した強調画像を表示することが好ましい。

本発明の医療画像処理システムは、医療画像取得部と、注目領域検出部と、第１判定部と、表示制御部とを備える。医療画像取得部は、観察対象を撮像して得られる医療画像を取得する医療画像取得部と、注目領域検出部は、第１タイミングに取得した前記医療画像から、観察対象のうち第１観察領域にある注目領域を検出する。第１判定部は、第１タイミングと異なる第２タイミングに取得した医療画像に、第１観察領域に画像の少なくとも一部が含まれるかどうかを判定する第１判定処理を行う。表示制御部は、第１判定部の判定結果を用いて表示部の表示制御を行う。

本発明によれば、ユーザーが見落とした注目領域がある観察領域にまで戻ることができるように、ユーザーをサポートすることができる。

画像処理システムと内視鏡システムなどを示すブロック図である。 内視鏡システムを示すブロック図である。 内視鏡を示す概略図である。 医療画像解析処理部の機能を示すブロック図である。 内視鏡の先端部が第１観察領域から第２観察領域に移動し、第１観察領域に戻ることを示す説明図である。 見落とし判定タイミングにて注目領域画像を表示することを示す説明図である。 再訪判定タイミングにて注目領域画像を非表示にすることを示す説明図である。 再訪判定タイミングにて強調画像を表示することを示す説明図である。 第１時間を示す説明図である。 第２時間を示す説明図である。 注目領域表示期間及び注目領域非表示期間における類似度を示す説明図である。 類似度を用いる再訪判定処理を示す説明図である。 類似度及び注目領域の検出結果を用いる再訪判定処理を示す説明図である。 見落とし判定処理及び再訪判定処理の一連の流れを示すフローチャートである。 画像処理システムを含む診断支援装置を示す概略図である。 画像処理システムを含む医療業務支援装置を示す概略図である。

図１に示すように、画像処理システム１０は、医療画像取得部１１、医療画像解析処理部１２、表示部１３、表示制御部１５、入力受信部１６、統括制御部１７、及び、保存部１８を備える。

医療画像取得部１１は、医療装置である内視鏡システム２１等から直接に、または、ＰＡＣＳ（Picture Archiving and Communication System）２２等の管理システムもしくはその他情報システムを介して、被写体像を含む医療画像を取得する。医療画像は静止画像または動画（いわゆる検査動画）である。医療画像が動画である場合、医療画像取得部１１は、検査後に動画を構成するフレーム画像を静止画像として取得することができる。また、医療画像が動画である場合、医療画像の表示には、動画を構成する１つの代表フレームの静止画像を表示することのほか、動画を１または複数回、再生することを含む。また、医療画像取得部１１が取得する医療画像には、内視鏡システム２１等の医療装置を用いて医師が撮影した画像の他、内視鏡システム２１等の医療装置が医師の撮影指示に依らず自動的に撮影した画像を含む。なお、本実施形態では、画像処理システム１０及び内視鏡システム２１ともに医療画像を用いて画像処理を行うことから、画像処理システム１０及び内視鏡システム２１はいずれも医療画像処理システムに相当する。医療画像システムとしては、その他、リアルタイムに画像を取得して表示する超音波診断装置も含まれる。

医療画像取得部１１は、複数の医療画像を取得し得る場合、これらの医療画像のうち１または複数の医療画像を選択的に取得できる。また、医療画像取得部１１は、複数の互いに異なる検査において取得した複数の医療画像を取得できる。例えば、過去に行った検査で取得した医療画像と、最新の検査で取得した医療画像と、の一方または両方を取得できる。すなわち、医療画像取得部１１は、任意に医療画像を取得できる。

本実施形態においては、被写体像を含む医療画像を複数取得する。より具体的には、１回の特定の検査において撮影した医療画像を取得し、かつ、１回の特定の検査において撮影した医療画像が複数ある場合には、一連の医療画像のうち複数の医療画像を取得する。また、本実施形態においては、画像処理システム１０は、内視鏡システム２１と接続し、内視鏡システム２１から医療画像を取得する。すなわち、本実施形態において医療画像は、内視鏡画像である。

表示部１３は、医療画像取得部１１が取得した医療画像、及び、医療画像解析処理部１２の解析結果を表示するディスプレイである。画像処理システム１０が接続するデバイス等が含むモニタまたはディスプレイを共用し、画像処理システム１０の表示部１３として使用できる。表示制御部１５は、表示部１３における医療画像及び解析結果の表示態様を制御する。

入力受信部１６は、画像処理システム１０に接続するマウス、キーボード、その他操作デバイスからの入力を受け付ける。画像処理システム１０の各部の動作はこれらの操作デバイスを用いて制御できる。

統括制御部１７は、画像処理システム１０の各部の動作を統括的に制御する。入力受信部１６が操作デバイスを用いた操作入力を受信した場合には、統括制御部１７は、その操作入力にしたがって画像処理システム１０の各部を制御する。

保存部１８は、画像処理システム１０が含むメモリ等の記憶デバイス（図示しない）、または、内視鏡システム２１等の医療装置もしくはＰＡＣＳ２２が含む記憶デバイス（図示しない）に、医療画像の静止画等を保存する。

図２に示すように、本実施形態において画像処理システム１０が接続する内視鏡システム２１は、白色の波長帯域の光もしくは特定の波長帯域の光の少なくともいずれかを照射して被写体を撮影することにより画像を取得する内視鏡３１、内視鏡３１を介して被写体内に照明光を照射する光源装置３２、プロセッサ装置３３、及び、内視鏡３１を用いて撮影した内視鏡画像等の医療画像を表示するモニタ３４を有する。内視鏡３１が照明光に使用する特定の波長帯域の光は、例えば、緑色波長帯域よりも短波長帯域の光、特に可視域の青色帯域または紫色帯域の光である。

プロセッサ装置３３は、医療画像取得部３５、医療画像解析処理部３６、表示制御部３７を備えている。医療画像取得部３５は、内視鏡３１から出力される医療画像を取得する。医療画像解析処理部３６は、医療画像取得部３５で取得した医療画像に対して、解析処理を行う。医療画像解析処理部３６での処理内容は、画像処理システム１０の医療画像解析処理部１２での処理内容と同様である。表示制御部３７は、医療画像解析処理部３６で得られた医療画像をモニタ３４（表示部）に表示する。プロセッサ装置３３は画像処理システム１０と接続される。なお、医療画像取得部３５は医療画像取得部１１と同様であり、医療画像解析処理部３６は医療画像解析処理部１２と同様であり、表示制御部３７は表示制御部１５と同様である。

図３に示すように、内視鏡３１は、被検体内に挿入される挿入部４０と、挿入部４０の基端部分に設けられた操作部４１とを備えている。挿入部４０の先端部４０ａの内部には、被検体内の観察対象を撮像する撮像素子４２が設けられている。撮像素子４２によって撮像された医療画像は、プロセッサ装置３３に送信される。

医療画像解析処理部３６は、医療画像取得部１１が取得した医療画像を用いて解析処理をする。図４に示すように、医療画像解析処理部１２は、注目領域検出部４５、見落とし判定部４６（第２判定部）、及び、再訪判定部４７（第１判定部）を含む。注目領域検出部４５では、医療画像から注目領域を検出する注目領域検出処理を行う。注目領域を検出した場合には、注目領域を表示する注目領域画像がプロセッサ装置３３内の画像記憶部（図示しない）に記憶される。注目領域検出処理としては、例えば、ＮＮ（Neural Network）、ＣＮＮ（Convolutional Neural Network）、Adaboost、ランダムフォレストなどを用いてもよい。また、注目領域検出処理として、医療画像の色情報、画素値の勾配等で得られる特徴量を元に、注目領域の検出を行ってもよい。なお、画素値の勾配等は、例えば、被写体の形状（粘膜の大局的な起伏または局所的な陥凹もしくは隆起等）、色（炎症、出血、発赤、または萎縮に起因した白化等の色）、組織の特徴（血管の太さ、深さ、密度、もしくはこれらの組み合わせ等）、または、構造の特徴（ピットパターン等）等によって、変化が表れる。

なお、注目領域検出部４５で検出される注目領域は、例えば、がんに代表される病変部、良性腫瘍部、炎症部（いわゆる炎症の他、出血または萎縮等の変化がある部分を含む）、大腸憩室、治療痕（ＥＭＲ（Endoscopic mucosal resection）瘢痕、ＥＳＤ（Endoscopic Submucosal Dissection）瘢痕、クリップ箇所）、出血点、穿孔、血管異形性、加熱による焼灼跡もしくは着色剤、蛍光薬剤等による着色によってマーキングしたマーキング部、または、生体検査（いわゆる生検）を実施した生検実施部を含む領域である。すなわち、病変を含む領域、病変の可能性がある領域、生検等の何らかの処置をした領域、クリップやかん子などの処置具、または、暗部領域（ヒダ（襞）の裏、管腔奥のため観察光が届きにくい領域）など病変の可能性にかかわらず詳細な観察が必要である領域等が注目領域になり得る。内視鏡システム２１においては、注目領域検出部４５は、病変部、良性腫瘍部、炎症部、大腸憩室、治療痕、出血点、穿孔、血管異形性マーキング部、または、生検実施部のうち少なくともいずれかを含む領域を注目領域として検出する。

見落とし判定部４６は、図５に示すように、第１タイミングにて取得した医療画像５０において、注目領域検出部４５によって、観察対象のうち第１観察領域ＯＰ１の注目領域５１を検出した場合に、ユーザーが注目領域を見落としたかどうかの見落とし判定処理（第２判定処理）を行う。見落とし判定処理の詳細については、後述する。また、再訪判定部４７は、ユーザーが注目領域の見落としに気付いて、内視鏡の先端部４０ａを移動させることにより、先端部４０ａが元の第１観察領域ＯＰ１に戻ったかどうかの再訪の判定を行う。

そして、注目領域検出部４５によって注目領域５１が検出されたものの、ユーザーが注目領域の存在に気付かない場合には、内視鏡の先端部４０ａは、第１観察領域ＯＰ１から離れて、第１観察領域と異なる第２観察領域ＯＰ２に向かう方向に移動する。この後に、ユーザーが注目領域の見落しに気付いた場合には、先端部４０ａは、ユーザーの操作によって、第２観察領域ＯＰ２から離れて、第１観察領域ＯＰ１に向かう方向に移動させる。そして、再訪判定部４７は、先端部４０ａが第１観察領域ＯＰ１に向かう方向に移動する第２タイミングにて取得した医療画像５２を用いて、先端部４０ａが元の第１観察領域ＯＰ１に戻ったか否かを判定する。即ち、再訪判定部４７は、第２タイミングの医療画像５２に、第１観察領域ＯＰ１の画像の少なくとも一部がふくまれているかどうかを判定する再訪判定処理（第１判定処理）を行う。再訪判定処理は、見落とし判定タイミングから一定間隔にて継続して行われる。再訪判定処理の詳細については後述する。

上記のように、注目領域の見落しが発生する状況下としては、内視鏡の先端部４０ａを被検体内で移動させながら行う病変のスクリーニングがある。病変のスクリーニングでは、内視鏡の先端部４０ａを移動させるスピードによっては、ユーザーが注目領域に気付かずに注目領域の位置を通り過ぎてしまうことがある。このような場合に、注目領域の見落しが発生する。

また、再訪の判定を行うのは、内視鏡３１が挿入される消化管の形状は送気などの操作で変化し易いため、そのような消化管の形状によって、病変等の注目領域が隠れてしまうことがあるためである。そのため、ユーザーによる目視だけに頼るのではなく、再訪判定部４７による自動判定を用いることで、確実に元の第１観察領域ＯＰ１に戻れるようにしている。

見落とし判定部４６において見落とし判定処理が行われた場合には、表示制御部３７は、見落とし判定部４６の判定結果を用いて、モニタ３４の表示制御を行う。見落とし判定部４６によって、第１観察領域ＯＰ１の注目領域の見落しがあると判定された見落とし判定タイミングにおいては、表示制御部４７は、図６に示すように、モニタ３４のうち医療画像を表示する第１表示領域３４ａとは別の第２表示領域３４ｂに対して、第１観察領域の注目領域５１を表示した注目領域画像５５の表示を開始する。これにより、ユーザーは、第１表示領域３４ａの医療画像と第２表示領域３４ｂの注目領域画像５５を見比べながら、内視鏡３１を操作することにより、内視鏡の先端部４０ａを、注目領域５１を見落とした第１観察領域ＯＰ１にまで戻すことができる。

なお、見落とし判定部４６によって、第１観察領域ＯＰ１の注目領域の見落しが無いと判定された場合には、第２表示領域３４ｂには注目領域画像５５は表示されない。また、第２表示領域３４ｂに対する注目領域画像５５の表示は、少なくとも、見落とし判定タイミングから後述の再訪判定タイミングまでの間、維持することが好ましい。

再訪判定部４７において再訪判定処理が行われた場合には、表示制御部３７は、再訪判定部４７の判定結果を用いて、モニタ３４の表示制御を行う。再訪判定部４７によって、内視鏡の先端部４０ａが第１観察領域に戻ったと判定した再訪判定タイミングにおいては、表示制御部３７は、図７に示すように、見落とし判定タイミング以降、表示維持された注目領域画像５５を非表示にすることが好ましい。これにより、ユーザーは、元の第１観察領域に戻ったことを把握することができ、且つ、第１観察領域の注目領域の観察を再開した後は、不要な情報をモニタ３４上から消すことにより、ユーザーの観察意欲を低下させることがなくなる。なお、再訪判定タイミングにおいては、表示制御部３７は、図８に示すように、注目領域画像５５の外枠等に対して強調処理を施した強調画像５６を第２表示領域３４ｂに表示するようにしてもよい。

見落とし判定部４６による見落とし判定処理の詳細について、以下説明をする。見落とし判定部４６は、図９に示すように、第１タイミングにて注目領域５１を検出してから、注目領域５１がモニタ３４の第１表示領域３４ａから消えるまでの時間を示す第１時間を用いて、見落とし判定処理を行う。ここで、医療画像５８は、第１表示領域３４ａから注目領域５１が消えた注目領域消失タイミングに得られた画像である。見落とし判定部４６は、第１時間が第２判定用第１時間よりも短い場合には、注目領域５１の見落しがあったと判定する。第１時間が第２判定用第１時間よりも短い場合とは、例えば、内視鏡の先端部４０ａが、一瞬（例えば３フレーム）で第１観察領域の注目領域を通り過ぎるような場合である。

また、見落とし判定部４６は、図１０に示すように、第１時間に加えて、注目領域５１が第１表示領域３４ａから消えてからの時間を示す第２時間を用いて、見落とし判定処理を行ってもよい。この場合、見落とし判定部４６は、第１時間が第２判定用第１時間よりも短く、且つ、第２時間が第２判定用第２時間以上である場合に、注目領域５１の見落しがあったと判定する。第２時間が第２判定用第２時間以上である場合とは、例えば、注目領域５１が第１表示領域３４ａから消えたにも関わらず、再度、注目領域５１に気付かずに、一定時間（例えば１０秒）経過しても第１観察領域ＯＰ１の注目領域に戻らないような場合である。なお、医療画像６０は、注目領域消失タイミングから第２時間経過した時点で得られる画像である。

なお、第１時間については、時間そのものを計測する場合の他、注目領域検出部４５によって注目領域５１を検出しているフレーム数または時間を用いて、計測するようにしてもよい。また、第２時間については、時間そのものを計測する場合の他、注目領域検出部４５によって注目領域５１を計測していないフレーム数または時間を用いて、計測するようにしてもよい。ここで、注目領域検出部４５によってフレーム数又は時間を計測する場合は、注目領域検出部４５による誤検出、検出失敗を考慮して、最新のフレームから一定時間前のフレームの検出結果を用いて、計測することが好ましい。

また、見落とし判定部４６は、第１タイミングの後に取得した医療画像と第１タイミングの医療画像との画像類似度を用いて、見落とし判定処理を行ってもよい。図１１に示すように、注目領域５１が第１表示領域３４ａに表示されている期間（注目領域表示期間）は、第１タイミング以降の医療画像に注目領域５１が含まれているため、第１タイミングの医療画像との画像類似度は一定値以上となっている。一方、注目領域５１が第１表示領域３４ａから消失した期間（注目領域非表示期間）では、医療画像に注目領域５１が含まれなくなるため、第１タイミングの医療画像との画像類似度は極めて低くなる。そして、見落とし判定部４６は、画像類似度が第２判定用類似度を下回る場合に、第１観察領域ＯＰ１の注目領域５１を見落としたと判定する。なお、画像類似度は、画像全体を比較して得られる値の他、画像から抽出した特徴量を比較して得られる値とすることが好ましい。なお、見落とし判定部４６では、第１時間、又は第２時間の少なくとも一方と、第１タイミングの後に取得した医療画像と第１タイミングの医療画像との画像類似度とを組み合わせて、見落とし判定を行うようにしてもよい。

再訪判定部４７による再訪判定処理の詳細について、以下説明をする。再訪判定部４７では、第２タイミングの医療画像５２と第１観察領域の画像との類似度を用いて、再訪判定処理を行うことが好ましい。画像類似度は、第２タイミングの医療画像５２と第１観察画像の画像との画像全体を比較して得られる値の他、画像から抽出した特徴量を比較して得られる値とすることが好ましい。図１２に示すように、第２タイミングの医療画像５８に第１観察領域ＯＰ１の画像が一定面積以上含まれているような場合には、再訪判定部４７は、第２タイミングの医療画像５２と第１観察領域の画像の類似度が、第１判定用類似度以上である場合には、先端部４０ａが第１観察領域ＯＰ１に戻ったと判定する。このように、画像類似度を用いて判定を行うことにより、注目領域５１が検出されなかったとしても、注目領域５１の付近にいることを把握することができる。

また、再訪判定部４７では、第２タイミングの医療画像５２と第１観察領域の画像との類似度に加えて、注目領域検出部４５の検出結果を用いて、再訪判定処理を行うことが好ましい。図１３に示すように、再訪判定部４７は、第２タイミングの医療画像５２と第１観察領域の画像の類似度が、第１判定用類似度以上であり、且つ、注目領域検出部４５により注目領域５１を検出した場合には、先端部４０ａが第１観察領域ＯＰ１に戻ったと判定する。画像類似度のみを用いた場合には、第１観察領域ＯＰ１と似た観察領域を第１観察領域として誤って判定しまうおそれがある。これに対して、画像類似度に加えて、注目領域の検出結果を用いることで、より高い信頼度にて再訪判定処理を行うことが可能となる。

次に、見落とし判定処理及び再訪判定処理の一連の流れについて、図１４に示すフローチャートに沿って説明を行う。まず、第１タイミングの医療画像５０から、注目領域検出部４５によって注目領域５１が検出される。検出された注目領域５１の画像は、注目領域画像として、プロセッサ装置３３内の画像記憶部（図示しない）に記憶される。そして、ユーザーは注目領域５１の検出に気が付かずに、内視鏡の先端部４０ａが、注目領域５１がある第１観察領域ＯＰ１を通り過ぎてしまう。このようにユーザーが注目領域５１を見落とした場合において、見落とし判定部４６によって見落とし判定処理が行われる。

見落とし判定部４６は、注目領域５１の検出から、注目領域５１がモニタ３４の第１表示領域３４ａから消えるまでの第１時間、注目領域５１が第１表示領域３４ａから消えてからの時間を示す第２時間、又は、第１タイミングの医療画像５０との類似度を用いて、見落とし判定処理を行う。見落とし判定処理の結果、注目領域５１を見落としたと判定した場合には、画像記憶部に記憶された注目領域画像が、モニタ３４の第２表示領域３４ｂに表示される。一方、見落とし判定処理の結果、注目領域５１を見落としていないと判定した場合には、モニタ３４の第２表示領域３４ｂには注目領域画像５５は表示されない。

ユーザーが、第２表示領域３４ｂに表示された注目領域画像に気付いた場合には、ユーザーは、内視鏡３１を操作して、内視鏡の先端部４０ａを第１観察領域ＯＰ１にまで戻す操作を行う。先端部４０ａが第１観察領域ＯＰ１に戻ったかどうかを把握できるようにするために、再訪判定部４７によって、再訪判定処理を行う。再訪判定部４７は、第１タイミングと異なる第２タイミングにて得られた医療画像５２と第１タイミングの医療画像５０の類似度、又は、注目領域検出部４５の検出結果を用いて、再訪判定処理を行う。再訪判定処理の結果、先端部４０ａが第１観察領域ＯＰ１に戻ったと判定された場合には、第２表示領域３４ｂに対する注目領域画像５５の表示を消去、又は、強調画像を第２表示領域３４ｂに表示する。再訪判定処理は、先端部４０ａが第１観察領域ＯＰ１に戻ったと判定されるまで、繰り返し行われる。

なお、図１５に示すように、内視鏡システム２１その他モダリティやＰＡＣＳ２２とを組み合わせて使用する診断支援装置６１０は、上記実施形態及びその他変形例の画像処理システム１０を含むことができる。また、図１６に示すように、例えば内視鏡システム２１を含む、第１検査装置６２１、第２検査装置６２２、…、第Ｎ検査装置６３３等の各種検査装置と任意のネットワーク６２６を介して接続する医療業務支援装置６３０は、上記実施形態及びその他変形例の画像処理システム１０を含むことができる。

この他、画像処理システム１０、内視鏡システム２１、及び、画像処理システム１０を含む各種装置またはシステムは、以下の種々の変更等をして使用できる。

医療画像としては、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像を用いることができる。

医療画像としては、特定の波長帯域の光を照射して得た画像を使用する場合、特定の波長帯域は、白色の波長帯域よりも狭い帯域を用いることができる。

特定の波長帯域は、例えば、可視域の青色帯域または緑色帯域である。

特定の波長帯域が可視域の青色帯域または緑色帯域である場合、特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有することが好ましい。

特定の波長帯域は、例えば、可視域の赤色帯域である。

特定の波長帯域が可視域の赤色帯域である場合、特定の波長帯域は、５８５ｎｍ以上６１５ｎｍまたは６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有することが好ましい。

特定の波長帯域は、例えば、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有することができる。

特定の波長帯域が、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する場合、特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有することが好ましい。

医療画像が生体内を写した生体内画像である場合、この生体内画像は、生体内の蛍光物質が発する蛍光の情報を有することができる。

また、蛍光は、ピーク波長が３９０ｎｍ以上４７０ｎｍ以下である励起光を生体内に照射して得る蛍光を利用できる。

医療画像が生体内を写した生体内画像である場合、前述の特定の波長帯域は、赤外光の波長帯域を利用することができる。

医療画像が生体内を写した生体内画像であり、前述の特定の波長帯域として、赤外光の波長帯域を利用する場合、特定の波長帯域は、７９０ｎｍ以上８２０ｎｍまたは９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有することが好ましい。

医療画像取得部１１は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の信号を有する特殊光画像を取得する特殊光画像取得部を有することができる。この場合、医療画像として特殊光画像を利用できる。

特定の波長帯域の信号は、通常光画像に含むＲＧＢまたはＣＭＹの色情報に基づく演算により得ることができる。

白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備えることができる。この場合、医療画像として特徴量画像を利用できる。

内視鏡システム２１については、内視鏡３１としてカプセル内視鏡を使用できる。この場合、光源装置３２と、プロセッサ装置３３の一部と、はカプセル内視鏡に搭載できる。

上記実施形態及び変形例において、医療画像取得部１１、医療画像解析処理部１２及び医療画像解析処理部１２を構成する各部、表示制御部１５、入力受信部１６、統括制御部１７、並びに、医療画像取得部３５、医療画像解析処理部３６、表示制御部３７、注目領域検出部４５、見落とし判定部４６、再訪判定部４７といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路、リアルタイム画像処理に特化した演算装置ないしプロセッサであるGPU (Graphical Processing Unit)などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ、ＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。

本発明の他の形態としては、
プロセッサ装置とを備え、
プロセッサ装置は、
医療画像取得部によって、観察対象を撮像して得られる医療画像を取得し、
注目領域検出部によって、第１タイミングに取得した前記医療画像から、前記観察対象のうち第１観察領域にある注目領域を検出し、
第１判定部が、前記先端部が、前記第１観察領域から離れて、前記第１観察領域と異なる第２観察領域に向かう方向に移動した後、前記先端部が、前記第２観察領域から離れて前記第１観察領域に向かう方向に移動する場合において、前記第１タイミングと異なる第２タイミングに取得した医療画像から、前記先端部が前記第１観察領域に戻ったかどうかを判定する第１判定処理を行い、
表示制御部が、前記第１判定部の判定結果を用いて表示部の表示制御を行う医療画像処理システム。

１０ 画像処理システム
１１ 医療画像取得部
１２ 医療画像解析処理部
１３ 表示部
１５ 表示制御部
１６ 入力受信部
１７ 統括制御部
１８ 保存部
２１ 内視鏡システム
２２ ＰＡＣＳ
３１ 内視鏡
３２ 光源装置
３３ プロセッサ装置
３４ モニタ
３４ａ 第１表示領域
３４ｂ 第２表示領域
３５ 医療画像取得部
３６ 医療画像解析処理部
３７ 表示制御部
４０ 挿入部
４０ａ 先端部
４１ 操作部
４２ 撮像素子
４５ 注目領域検出部
４６ 見落とし判定部
４７ 再訪判定部
４７ 表示制御部
５０ 医療画像
５１ 注目領域
５２ 医療画像
５５ 注目領域画像
５６ 強調画像
５８ 医療画像
６０ 医療画像
６１０ 診断支援装置
６２１ 第１検査装置
６２２ 第２検査装置
６２６ ネットワーク
６３０ 医療業務支援装置
６３３ 検査装置
ＯＰ１ 第１観察領域
ＯＰ２ 第２観察領域

Claims (9)

1. 観察対象を撮像して医療画像を出力する撮像素子が先端部に設けられた内視鏡と、
   プロセッサと、を備えた内視鏡システムであり、
   前記プロセッサは、
   前記医療画像を取得する医療画像取得部と、
   第１タイミングに取得した前記医療画像から、前記観察対象のうち第１観察領域にある注目領域を検出する注目領域検出部と、
   前記先端部が、前記第１観察領域から離れて、前記第１観察領域と異なる第２観察領域に向かう方向に移動した後、前記先端部が、前記第２観察領域から離れて前記第１観察領域に向かう方向に移動する場合において、前記第１タイミングと異なる第２タイミングに取得した医療画像から、前記先端部が前記第１観察領域に戻ったかどうかを判定する第１判定処理を行う第１判定部と、
   前記第１判定部の判定結果を用いてディスプレイの表示制御を行う表示制御部と、
   前記第１観察領域の注目領域を見落としたかどうかを判定する第２判定処理を行う第２判定部と、して機能し、
   前記第２判定部は、前記注目領域が前記ディスプレイから消えてからの時間を示す第２時間を用いて、前記第２判定処理を行い、前記第２時間が第２判定用第２時間以上である場合に、前記第１観察領域の注目領域を見落としたと判定し、
   前記第２判定部は、前記第１観察領域の注目領域を検出してから、前記注目領域が前記ディスプレイから消えるまでの時間を示す第１時間をさらに用いて、前記第２判定処理を行い、
   前記第２判定部は、前記第１時間が第２判定用第１時間よりも短く、且つ、前記第２時間が前記第２判定用第２時間以上経過して前記第１観察領域の注目領域を検出しなかった場合に、前記第１観察領域の注目領域を見落としたと判定し、
   前記表示制御部は、前記第２判定処理により前記第１観察領域の注目領域を見落としたと判定した見落とし判定タイミングと、前記先端部が前記第１観察領域に戻ったと判定した再訪判定タイミングとにおいて、前記第１観察領域の注目領域を表示した注目領域画像に関する表示制御を行い、
   前記表示制御部は、前記見落とし判定タイミングにて前記注目領域画像の表示を開始し、前記見落とし判定タイミングから前記再訪判定タイミングまでの間、前記注目領域画像の表示を維持する内視鏡システム。
2. 前記第１判定部は、前記第１タイミングの医療画像と前記第２タイミングの医療画像との類似度を用いて、前記第１判定処理を行う請求項１記載の内視鏡システム。
3. 前記第１判定部は、前記類似度が第１判定用類似度以上である場合に、前記先端部が前記第１観察位置に戻ったと判定する請求項２記載の内視鏡システム。
4. 前記第１判定部は、前記類似度が第１判定用類似度以上であり、且つ、前記注目領域検出部が前記第１観察領域の注目領域を検出している場合に、前記先端部が前記第１観察位置に戻ったと判定する請求項２記載の内視鏡システム。
5. 前記第２判定部は、前記医療画像取得部で取得した医療画像と前記第１タイミングの医療画像との類似度をさらに用いて、前記第２判定処理を行う請求項１記載の内視鏡システム。
6. 前記表示制御部は、前記再訪判定タイミングにて、前記注目領域画像を非表示にする請求項１記載の内視鏡システム。
7. 前記表示制御部は、前記再訪判定タイミングにて、前記注目領域画像に対して強調処理を施した強調画像を表示する請求項１記載の内視鏡システム。
8. 前記表示制御部は、前記第２判定部で前記第１観察領域の見落としがあると判定された場合に、前記第１観察領域の注目領域を表示した注目領域画像の表示を開始する請求項１ないし７いずれか１項記載の内視鏡システム。
9. 前記表示制御部は、前記第１判定部で前記第１観察領域に戻ったと判定された場合に、前記注目領域画像を非表示、又は、前記注目領域画像の外枠に対して強調処理を施した強調画像を表示する請求項８記載の内視鏡システム。

Images