JPWO2019078237A1

JPWO2019078237A1 - 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置

Info

Publication number: JPWO2019078237A1
Application number: JP2019549311A
Authority: JP
Inventors: 典雅繁田
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2017-10-18
Filing date: 2018-10-17
Publication date: 2020-10-22
Also published as: US20200237184A1; WO2019078237A1; US11426054B2

Abstract

医療画像から注目領域を検出する場合において、注目領域に含まれる注目対象の見逃しを防止する医療画像処理システム、内視鏡システム、診断支援装置、並びに医療業務支援装置を提供する。注目領域検出部は、医療画像から、観察対象のうち注目対象を含む注目領域を検出する。見逃し判定部は、ユーザーが注目対象を見逃したか否かを判定する。モニタ（１８）は、医療画像を動画表示し、且つ注目領域を表示する第１画面と、第１画面と異なる画面であって注目領域を表示する第２画面とを有する。見逃し用報知制御部は、前記注目対象を見逃していると判定した場合に、見逃し発生報知の制御を行う。

Description

本発明は、医療画像から注目領域を検出する医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置に関する。

現在の医療分野においては、内視鏡システムに組み込まれる内視鏡用のプロセッサ装置などのように、医療画像を用いる医療画像処理装置が普及している。また、近年においては、医療画像から病変部の可能性のある注目領域を検出し、検出した注目領域に対して画像解析を行うことによって、病態に関する診断支援情報を取得することが行われている。取得した診断支援情報については、モニタなどの表示部に表示することによって、ユーザーに提供される。

以上のように注目領域の検出を行う場合には、注目領域が検出されたタイミングで、注目領域に含まれる注目対象を見逃さないようにすることが求められている。例えば、特許文献１では、医療画像から注目領域を検出した場合には、予告音、報知音、終了音などの音声によって、注目領域が検出されたことをユーザーに報知するようにしている。また、特許文献２では、医療画像から注目領域を検出した場合には、ユーザーの視線を検知し、検知した視線が注目領域に向けられている時間を観察時間として算出し、この算出時間に基づいて、注目対象の見逃しが有ったか否かを判断するようにしている。

また、特許文献３では、医療画像から注目領域を検出した場合には、音声の他、メッセージ、文字、アイコン、ポップアップ等で、注目領域の検出を報知するようにしている。また、特許文献４では、医療画像から注目領域を検出した場合には、注目領域を検出したタイミングで医療画像を取り込むとともに、注目領域をマークした医療画像をサムネイルとして表示するようにしている。

特許第４７５１５９３号特開２０１０−３５７５６号公報特開２０１０−１７２６７３号公報特開２００６−１９８１０６号公報

医療画像を用いる観察対象の観察時には、注目領域を検出したものの、注目対象が画面からすぐに消失した場合などは、どれほどユーザーが気を付けても、注目対象を見逃す場合がある。例えば、内視鏡の場合であれば、内視鏡の移動速度が速い場合、注目対象がひだ等の裏に隠れたりする場合、注目対象が画面の端部にある場合などは、注目対象が画面に一瞬しか表示されず、すぐに消失することがある。そのため、このような場合であっても、ユーザーが、注目対象を見逃すことなく、確実に気付くことができることが求められていた。

本発明は、医療画像から注目領域を検出する場合において、注目領域に含まれる注目対象の見逃しを防止する医療画像処理システム、内視鏡システム、診断支援装置、並びに医療業務支援装置を提供することを目的とする。

本発明の医療画像処理システムは、画像取得部と、注目領域検出部と、見逃し判定部と、表示部と、見逃し用報知制御部とを備える。画像取得部は、観察対象を撮像して得られる医療画像を取得する。注目領域検出部は、医療画像から、観察対象のうち注目対象を含む注目領域を検出する。見逃し判定部は、ユーザーが注目対象を見逃したか否かを判定する。表示部は、医療画像を動画表示し、且つ注目領域を表示する第１画面と、第１画面と異なる画面であって注目領域を表示する第２画面とを有する。見逃し用報知制御部は、注目対象を見逃していると判定した場合に、注目対象の見逃し発生報知に関する制御を行う。

第２画面には、注目領域及び注目対象を含む医療画像の静止画が表示されることが好ましい。第２画面には、ユーザーによる注目領域の確認を促すための第１アラートが表示されることが好ましい。注目領域の確認に関する注目領域確認信号を発する確認信号発生部を有し、表示部は、注目領域確認信号が発せられた場合に、第２画面に、ユーザーによる注目領域の確認が完了したことを示す第２アラートを表示することが好ましい。注目領域が正しく検出されたか否かに関する領域判定指示を発する領域判定指示発生部を有する。表示部は、領域判定指示として、注目領域が正しく検出された旨の指示が発せられた場合に、第２画面に、注目領域が正しく検出されたことを示す第３アラートを表示し、領域判定指示として、注目領域が誤って検出された旨の指示が発せられた場合に、第２画面に、注目領域が誤って検出されたことを示す第４アラートを表示することが好ましい。

表示部は、第１画面及び第２画面と異なる画面であって複数の静止画を一覧表示する第３画面を有する。第３画面には、ユーザーによる注目領域の確認を促すための第１アラート、ユーザーによる注目領域の確認が完了したことを示す第２アラート、注目領域が正しく検出されたことを示す第３アラート、又は、注目領域が誤って検出されたことを示す第４アラートのいずれかが表示されることが好ましい。第２画面は、注目領域を検出したタイミングにおいて表示される。

見逃し判定部は、医療画像又は注目領域の検出結果から、注目対象の見逃しを判定することが好ましい。ユーザーが表示部に向けている視線を検知する視線検知部を有し、見逃し判断部は、視線が注目領域に向けられている観察時間に基づいて、注目対象の見逃しを判定することが好ましい。見逃し用報知制御部は、見逃し発生報知として、見逃しが発生した旨のメッセージを表示部に表示する制御を行うことが好ましい。

第１画面に第１のタイミングで表示される第１の注目対象と、第１のタイミングと異なる第２のタイミングに第１画面に表示される第２の注目対象が同一か否かの判定する同一注目対象判定部と、同一注目対象判定部での判定結果に基づいて、第２の注目対象を、注目領域として第１画面又は第２画面上に表示又は非表示する制御を行う表示制御部とを備えることが好ましい。表示制御部は、第１の注目対象と第２の注目対象が同一である場合には、第２の注目対象を、注目領域として第１画面又は第２画面上に表示しないことが好ましい。表示部は、注目対象に対してＩＤ番号を付して表示することが好ましい。

本発明の内視鏡システムは、内視鏡と、画像取得部と、注目領域検出部と、見逃し判定部と、表示部と、見逃し用報知制御部とを備える。内視鏡は観察対象を撮像する。画像取得部は、観察対象を撮像して得られる医療画像を取得する。注目領域検出部は、医療画像から、観察対象のうち注目対象を含む注目領域を検出する。見逃し判定部は、ユーザーが注目対象を見逃したか否かを判定する。表示部は、医療画像を動画表示し、且つ注目領域を表示する第１画面と、第１画面と異なる画面であって注目領域を表示する第２画面とを有する。見逃し用報知制御部は、注目対象を見逃していると判定した場合に、見逃し発生報知の制御を行う。

本発明の診断支援装置は、上記記載の医療画像処理システムを有する。本発明の医療業務支援装置は、上記記載の医療画像処理システムを有する。

本発明によれば、医療画像から注目領域を検出する場合において、注目領域に含まれる注目対象の見逃しを防止することができる。

内視鏡システムの外観図である。内視鏡システムのブロック図である。第１実施形態の画像処理部の機能を示すブロック図である。メイン画面、サブ画面、静止画一覧画面を備えるモニタの画像図である。注目領域が検出された場合のモニタの画像図である。メイン画面から注目対象が消失した場合のモニタの画像図である。「確認済み」のメッセージが表示されたモニタの画像図である。「承認」のメッセージが表示されたモニタの画像図である。「誤検出」のメッセージが表示されたモニタの画像図である。「見逃し発生」のメッセージが表示されたモニタの画像図である。注目対象の見逃しを防止する一連の流れを示すフローチャートである。視線画像生成部を備える画像処理部の機能を示すブロック図である。視線ポイントＥＰが表示される視線画像の画像図である。注目領域ＲＯＩが表示された医療画像と視線画像を合成した合成画像の画像図である。第２実施形態の画像処理部の機能を示すブロック図である。第１の注目対象ＴＧ１と第２の注目対象ＴＧ２とが同一の場合に第２の注目対象を注目領域として表示しないことを示す説明図である。第１の注目対象ＴＧ１と第２の注目対象ＴＧ２とが同一の場合に、第１の注目対象は注目領域として表示せず、第２の注目対象を注目対象として表示することを示す説明図である。複数のLEDを備える光源部を示すブロック図である。複数のLEDを発光して得られる白色光のスペクトルを示すグラフである。複数のLEDを発光して得られる特定光のスペクトルを示すグラフである。レーザ光源を備える光源部と蛍光体を示すブロック図である。レーザ光源及び蛍光体を用いて発光する白色光のスペクトルを示すグラフである。レーザ光源及び蛍光体を用いて発光する特定光のスペクトルを示すグラフである。広帯域光源及び回転フィルタを備える光源部を示すブロック図である。回転フィルタを示す平面図である。診断支援装置を示すブロック図である。医療業務支援装置を示すブロック図である。

［第１実施形態］
図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８と、ユーザーインターフェース１９と、を備える。内視鏡１２は、観察対象である被写体に照明光を照射し、照明光で照射された被写体を撮像する。光源装置１４は、被写体に照射するための照明光を発生する。プロセッサ装置１６は、内視鏡システム１０のシステム制御及び画像処理等を行う。モニタ１８は、プロセッサ装置１６から出力された画像を表示する表示部である。ユーザーインターフェース１９は、プロセッサ装置１６等への設定入力等を行う入力デバイスであり、キーボードＫＢやマウスＭＳなどから構成される。なお、ユーザーインターフェース１９は、マウスＭＳ、キーボードＫＢに限定されず、グラフィカルユーザーインターフェースや音声入力、タッチディスプレイなどであってもよい。

内視鏡１２は、被検体内に挿入する挿入部１２ａと、挿入部１２ａの基端部分に設けた操作部１２ｂと、挿入部１２ａの先端側に設けた湾曲部１２ｃと、先端部１２ｄと、を有している。操作部１２ｂのアングルノブ１２ｅを操作することにより、湾曲部１２ｃが湾曲する。湾曲部１２ｃが湾曲することにより、先端部１２ｄが所望の方向に向く。先端部１２ｄには、被写体に向けて空気や水等を噴射する噴射口（図示しない）が設けられている。

また、操作部１２ｂには、アングルノブ１２ｅの他、ズーム操作部１３ａが設けられている。ズーム操作部１３ａを操作することによって、被写体を拡大または縮小して撮像することができる。また、操作部１２ｂには、医療画像の静止画を取得するためのフリーズボタン１３ｂが設けられている。フリーズボタン１３ｂの操作により得られた医療画像の静止画は、ＩＤ（IDentification）番号が付されてから、モニタ１８の静止画一覧画面７６（図４参照）に表示される。ＩＤ番号は、最初に取得した静止画には「１」が付与され、その後、静止画の取得順に従って、「１」ずつ大きくしたＩＤ番号が付与される。また、挿入部１２ａから先端部１２ｄにわたって、処置具などを挿通するための鉗子チャンネル（図示しない）が設けられている。処置具は、鉗子入口１２ｆから鉗子チャンネル内に挿入される。

図２に示すように、光源装置１４は、光源部２０と、光源制御部２２と、を備える。光源部２０は、被写体を照明するための照明光を発光する。光源部２０は、１又は複数の光源を備えている。光源制御部２２は、光源部２０の駆動を制御する。光源制御部２２は、光源部２０を構成する光源の点灯または消灯のタイミング、及び、点灯時の発光量等をそれぞれ独立に制御する。その結果、光源部２０は、発光量や発光タイミングが異なる複数種類の照明光を発光することができる。

光源部２０が発光した照明光は、ライトガイド４１に入射する。ライトガイド４１は、内視鏡１２及びユニバーサルコード（図示しない）内に内蔵されており、照明光を内視鏡１２の先端部１２ｄまで伝搬する。ユニバーサルコードは、内視鏡１２と光源装置１４及びプロセッサ装置１６とを接続するコードである。なお、ライトガイド４１としては、マルチモードファイバを使用できる。一例として、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３〜０．５ｍｍの細径なファイバケーブルを使用できる。

内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂが設けられている。照明光学系３０ａは、照明レンズ４５を有しており、この照明レンズ４５を介して照明光が被写体に向けて出射する。撮像光学系３０ｂは、対物レンズ４６、ズームレンズ４７、及びイメージセンサ４８を有している。イメージセンサ４８は、対物レンズ４６及びズームレンズ４７を介して、被写体から戻る照明光の反射光等（反射光の他、散乱光、被写体が発する蛍光、または、被写体に投与等した薬剤に起因した蛍光等を含む）を用いて被写体を撮像する。ズームレンズ４７は、ズーム操作部１３ａの操作をすることで移動し、イメージセンサ４８を用いて撮像する被写体を拡大または縮小する。

イメージセンサ４８は、例えば原色系のカラーフィルタを有するカラーセンサであり、青色カラーフィルタを有するＢ画素（青色画素）、緑色カラーフィルタを有するＧ画素（緑色画素）、及び、赤色カラーフィルタを有するＲ画素（赤色画素）の３種類の画素を備える。青色カラーフィルタは、主として紫色から青色の光を透過する。緑色カラーフィルタは、主として緑色の光。赤色カラーフィルタは、主として赤色の光を透過する。上記のように原色系のイメージセンサ４８を用いて被写体を撮像すると、最大で、Ｂ画素から得るＢ画像（青色画像）、Ｇ画素から得るＧ画像（緑色画像）、及び、Ｒ画素から得るＲ画像（赤色画像）の３種類の画像を同時に得ることができる。

なお、イメージセンサ４８としては、ＣＣＤ（Charge Coupled Device）センサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを利用可能である。また、本実施形態のイメージセンサ４８は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色−原色色変換をすれば、Ｂ画像、Ｇ画像、及びＲ画像に変換できる。また、カラーセンサの代わりに、カラーフィルタを設けていないモノクロセンサをイメージセンサ４８として使用できる。この場合、ＢＧＲ等各色の照明光を用いて被写体を順次撮像することにより、上記各色の画像を得ることができる。

プロセッサ装置１６は、中央制御部５２と、画像取得部５４と、画像処理部６１と、表示制御部６６とを有する。中央制御部５２は、照明光の照射タイミングと撮像のタイミングの同期制御等の内視鏡システム１０の統括的な制御を行う。また、ユーザーインターフェース１９等を用いて、各種設定の入力等をした場合には、中央制御部５２は、入力された各種設定を、光源制御部２２、イメージセンサ４８、または画像処理部６１等の内視鏡システム１０の各部に入力する。

画像取得部５４は、イメージセンサ４８から、被写体を撮像した画像を取得する。この画像取得部５４で取得する画像は、内視鏡１２のような医療用装置により得られた画像であることから、医療画像と称する。画像取得部５４は、ＤＳＰ（Digital Signal Processor）５６と、ノイズ低減部５８と、変換部５９と、を有し、これらを用いて、取得した医療画像に必要に応じて各種処理を施す。ＤＳＰ５６は、取得した医療画像に対し、必要に応じて欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びＹＣ変換処理等の各種処理を施す。

欠陥補正処理は、イメージセンサ４８の欠陥画素に対応する画素の画素値を補正する処理である。オフセット処理は、欠陥補正処理を施した画像から暗電流成分を低減し、正確な零レベルを設定する処理である。ゲイン補正処理は、オフセット処理をした画像にゲインを乗じることにより各画像の信号レベルを整える処理である。リニアマトリクス処理は、オフセット処理をした画像の色再現性を高める処理であり、ガンマ変換処理は、リニアマトリクス処理後の画像の明るさや彩度を整える処理である。

なお、イメージセンサ４８がカラーセンサである場合には、デモザイク処理が行われる。デモザイク処理（等方化処理や同時化処理とも言う）は、欠落した画素の画素値を補間する処理であり、ガンマ変換処理後の画像に対して施す。欠落した画素とは、カラーフィルタの配列に起因して（イメージセンサ４８において他の色の画素を配置しているため）、画素値がない画素である。例えば、Ｂ画像はＢ画素において被写体を撮像して得る画像なので、Ｇ画素やＲ画素に対応する位置の画素には画素値がない。デモザイク処理は、Ｂ画像を補間して、イメージセンサ４８のＧ画素及びＲ画素の位置にある画素の画素値を生成する。ＹＣ変換処理は、デモザイク処理後の画像を、輝度チャンネルＹと色差チャンネルＣｂ及び色差チャンネルＣｒに変換する処理である。

ノイズ低減部５８は、輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒに対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部５９は、ノイズ低減処理後の輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒを再びＢＧＲの各色の画像に再変換する。

図３に示すように、画像処理部６１は、注目領域検出部７０と、診断支援情報算出部７２と、確認信号発生部７７と、領域判定指示発生部７８と、見逃し判定部８０と、見逃し用報知制御部８２とを備えている。注目領域検出部７０は、医療画像から検査または診断の対象として注目すべき注目領域を検出する領域検出処理を行う。注目領域の検出時には、注目領域に含まれる注目対象の静止画も合わせて取得する。取得した注目対象の静止画には、ＩＤ番号が付与されて、静止画一覧画面７６（図４参照。図４以外の図面では「ＩＤ番号」の表記を省略。）上に表示される。ＩＤ番号の付与については、フリーズボタン１３ｂにより静止画を取得した場合と同様である。

注目領域検出部７０は、例えば、ＣＮＮ（Convolutional Neural Network）や、画素勾配特徴を利用したＡｄａｂｏｏｓｔから構成される。したがって、注目領域検出部７０は、領域検出処理の他、注目領域の検出精度を上げるための学習処理が可能である。領域検出処理又は学習処理のいずれを行うかは、ユーザーインターフェース１９の操作によって決定される。なお、注目領域検出部７０では、注目対象に関する判別スコアも合わせて算出するようにしてもよい。判別スコアは、注目対象が、注目すべき対象としての確からしさが高いものほど、大きくなるように定められている。

診断支援情報算出部７２は、注目領域検出部７０で検出された注目領域から各種指標値を算出し、算出した各種指標値に基づいて、病変部の診断を支援するための診断支援情報を算出する。各種指標値としては、血管密度や血管走行パターンなどの血管に関する血管指標値や、腺管構造に関する腺管指標値などが含まれる。診断支援情報としては、例えば、病変部の進行度（ステージ）などが挙げられる。

表示制御部６６は、画像処理部６１から送られる医療画像又は診断支援情報を用い、モニタ１８での表示に適した形式に変換してモニタ１８に出力する。これにより、モニタ１８には、医療画像と診断支援情報が少なくとも表示される。図４に示すように、モニタ１８上には、医療画像の動画像を表示するメイン画面７４（第１画面）と、注目領域を検出したタイミングにおいて注目領域及び注目対象を表示するサブ画面７５（第２画面）と、ユーザーがフリーズボタン１３ｂを操作して得られた静止画又は注目領域検出部７０によって注目領域を検出したタイミングで得られた静止画を時系列順に沿って表示する静止画一覧画面７６（第３画面）が表示される。

メイン画面７４においては、画面中央に設けられ、医療画像の動画像を表示する医療画像表示部７４ａと、画面の側方に設けられ、診断支援情報が表示される診断支援情報表示部７４ｂとが設けられている。サブ画面７５は、注目領域検出部７０による注目領域の検出が無い場合には、モニタ１８上には非表示となっている（図４では、サブ画面７５は、非表示を表す点線で表している。）。そして、注目領域検出部７０によって注目領域が検出されると、図５に示すように、サブ画面７５が表示される。

サブ画面７５においては、注目領域ＲＯＩと、この注目領域ＲＯＩに含まれる注目対象ＴＧとを含む医療画像の静止画が合わせて表示される。サブ画面７５で表示する静止画は、注目領域ＲＯＩの検出時に得られる医療画像のうち特定の代表画像とすることが好ましい。また、サブ画面７５の枠７５ａは、注目領域ＲＯＩが検出されたことに対してユーザーに確認を促すためのアラート（第１アラート）として、第１の色（例えば「赤色」）で表示される。なお、図５では、注目領域ＲＯＩの形状を四角（矩形）で表しているが、矩形以外の形状は、例えば、円、楕円などで表してもよい。また、サブ画面７５の静止画は、また、サブ画面７５の静止画は、注目領域の検出が行われる毎に、判別スコアが高いものに更新するようにすることが好ましい。また、内視鏡１２の先端部１２ｄを止めて観察する場合においては、サブ画面７５の静止画を一定時間おきに更新することが好ましい。

なお、注目領域ＲＯＩの検出時には、メイン画面７４においても、注目領域ＲＯＩと注目対象ＴＧが合わせて表示される。また、静止画一覧画面７６においても、注目対象ＴＧの静止画が表示され、且つ、静止画の画面の枠７６ａの色は、サブ画面の枠の色と同じ第１の色で表示される。なお、注目領域ＲＯＩが検出され場合には、音声、振動（内視鏡の操作部１２ｂを振動させる）、照明光の変更（白色光から青色単色光への変更など）の他、モニタ１８上に矢印などのアイコン表示をすることによって、「注目領域の検出」を報知してもよい。

また、図６に示すように、サブ画面７５は、メイン画面７４から注目対象ＴＧが表示されなくなった後も、一定時間の間、継続して表示される。このようにサブ画面７５を継続表示することで、仮に、内視鏡１２の移動速度が速くて、一瞬で注目対象ＴＧを通過し、メイン画面７４から一瞬で消えて場合など、ユーザーが注目対象ＴＧを見逃してしまった場合であっても、ユーザーは注目対象ＴＧを見逃したことに気付くことができる。なお、メイン画面７４から注目対象ＴＧが表示されなくなった後は、注目対象ＴＧの見逃しを報知するために、サブ画面７５の枠７５ａを点滅表示したり、第１の色と異なる色で表示するようにしてもよい

なお、注目領域ＲＯＩの検出時には、ユーザーが注目対象ＴＧを確認したことを記録しておくために、確認操作を行うことが好ましい。確認操作としては、例えば、メイン画面７４が表示された後、ユーザーは内視鏡１２を操作して、注目対象ＴＧをメイン画面７４の中央付近に近づける。この注目対象ＴＧを中央付近に維持し、一定時間が経過したら、確認信号発生部７７から注目領域確認信号が発せられる。注目領域確認信号が発せられると、ユーザーが注目対象ＴＧを確認したことを示す「確認済み」のメッセージが、モニタ１８上に表示される。合わせて、サブ画面７５の枠７５ａの色は、ユーザーが注目対象ＴＧを確認したことを示すアラート（第２アラート）として、第１の色と異なる第２の色（例えば「黄色」）に変更される。

なお、注目領域確認信号が発せられた場合には、静止画一覧画面における静止画の画面の枠７６ａの色も、サブ画面７５の枠の色と同じ第２の色に変更される。また、注目対象ＴＧを中央付近に表示できない時には、ユーザーインターフェース１９が操作されたことを契機に、注目領域確認信号を発するようにしてもよい。また、注目領域の確認が取れたタイミングで、音声、振動（内視鏡の操作部１２ｂを振動させる）、照明光の変更（白色光から青色単色光への変更など）の他、モニタ１８上に矢印などのアイコン表示をすることによって、「注目領域の確認」を報知してもよい。

また、注目対象ＴＧの確認後は、注目領域ＲＯＩとして正しく検出されたか否かの正否判定を行うようにすることが好ましい。例えば、ユーザーが、注目領域検出部７０によって検出された注目領域が正しく検出されたと考える場合には、操作部１２ｂに設けられた領域承認用ボタン１３ｃ（図２参照）を１回押圧操作する。これに従って、領域判定指示発生部７８は、注目領域の検出の正否に関する領域判定指示として、注目領域が正しく検出された旨の指示を発する。この場合には、図８に示すように、注目領域として正しく検出されたことを示す「承認」のメッセージが表示される。合わせて、サブ画面７５の枠７５ａの色は、注目領域として正しく検出されたことを示すアラート（第３アラート）として、第１及び第２の色と異なる第３の色（例えば「緑色」）に変更される。

なお、静止画一覧画面における静止画の画面の枠７６ａの色についても、サブ画面の枠の色と同じ第３の色に変更される。また、注目領域が正しく検出されたと判定された場合には、音声、振動（内視鏡の操作部１２ｂを振動させる）、照明光の変更（白色光から青色単色光への変更など）の他、モニタ１８上に矢印などのアイコン表示をすることによって、「注目領域が正しく検出されたこと」の報知を行ってもよい。

これに対して、ユーザーが、注目領域検出部７０によって検出された注目領域が誤って検出されたと考える場合には、操作部１２ｂに設けられた領域承認用ボタン１３ｃ（図２参照）を２回続けて押圧操作する。これに従って、領域判定指示発生部７８は、注目領域の検出の正否に関する領域判定指示として、注目領域が誤って検出された旨の指示を発する。この場合には、図９に示すように、注目領域として誤った検出されたことを示す「誤検出」のメッセージが表示される。合わせて、サブ画面７５の枠７５ａの色は、注目領域として誤って検出されたことを示すアラート（第４アラート）として、第１及び第２の色と異なる第３の色（例えば「グレー」）に変更される。

なお、静止画一覧画面における静止画の画面の枠７６ａの色についても、サブ画面の枠の色と同じ第３の色に変更される。また、注目領域が誤って検出されたと判定された場合には、音声、振動（内視鏡の操作部１２ｂを振動させる）、照明光の変更（白色光から青色単色光への変更など）の他、モニタ１８上に矢印などのアイコン表示をすることによって、「注目領域が誤って検出されたこと」の報知を行ってもよい。

なお、以上の注目領域が正しく検出されたか否かの判定結果は、注目領域検出時に得られた医療画像と関連付けられて、注目領域検出部７０を学習するための学習用データとして、プロセッサ装置１６内のメモリ（図示しない）に保存される。注目領域検出部７０は、学習処理が選択された場合に、メモリから学習用データを読み出して学習処理を行う。この学習処理を行うことにより、注目領域検出部７０による注目領域の検出精度は向上する。

見逃し判定部８０は、注目領域検出部７０から順次医療画像及び注目領域の検出結果を受け取り、これら医療画像及び注目領域の検出結果から、注目対象ＴＧの見逃し判定に用いる注目対象の見逃し判定用の情報を算出する。見逃し判定部８０は、注目対象の見逃し判定用の情報に基づいて、見逃し判定用指標値を算出する。見逃し判定用指標値は、注目対象の見逃し判定用の情報のうち、例えば、内視鏡１２の移動方向Ｄ１、注目対象ＴＧのメイン画面７４における表示時間Ｄ２、注目対象ＴＧの大きさＤ３、注目対象のメイン画面７４における位置Ｄ４の４つの情報に対して、重み付け係数Ｋ１〜Ｋ４及び変換係数Ｃ１〜Ｃ４を掛け合わせて加算することで得られる（見逃し判定用指標値＝ｋ１×Ｄ１＋ｋ２×Ｄ２＋ｋ３×Ｄ３＋ｋ４×Ｄ４）。

なお、変換係数Ｃ１〜Ｃ４は、内視鏡１２の移動方向Ｄ１、注目対象ＴＧのメイン画面７４における表示時間Ｄ２、注目対象ＴＧの大きさＤ３、又は、注目対象のメイン画面７４における位置Ｄ４を、見逃し判定用指標値の数値に変換するための係数である。これら変換係数Ｃ１〜Ｃ４は、予め定められた値に設定されている。

ここで、内視鏡１２の移動方向には、内視鏡１２を管腔内に沿って挿入する挿入方向と、反対に、内視鏡１２を管腔内に沿って抜去する抜去方向がある。内視鏡の移動方向が挿入方向か抜去方向のいずれかは、注目対象ＴＧの大きさ、位置の情報から判定する。注目対象ＴＧが時間とともに大きくなり、且つメイン画面７４の下端部から消失する場合には、内視鏡１２の移動方向は挿入方向と判定される。一方、注目対象ＴＧが時間とともに小さくなりメイン画面７４の中央付近から消失する場合には、内視鏡１２の移動方向は抜去方向と判定される。

見逃し判定用指標値を算出する際、内視鏡の移動方向Ｄ１に関しては、抜去方向の場合の重み付け係数Ｋ１を、挿入方向の場合の重み付け係数Ｋ１よりも大きくする。これは、抜去方向の場合には、挿入方向の場合よりも、観察対象をより詳細に観察するためである。また、注目対象ＴＧのメイン画面７４における表示時間Ｄ２に関しては、注目領域を検出した後、メイン画面７４から消失するまでの間の表示時間が特定の表示時間よりも短く、且つ、注目対象ＴＧが消失してからの時間が特定の消失時間を超える場合に、重み付け係数Ｋ２を大きくする。このような場合は、内視鏡１２の移動速度が速く、注目対象ＴＧを一瞬で通過したおそれがあり、注目対象ＴＧの見逃しの可能性が高いためである。

また、注目対象ＴＧの大きさＤ３が小さいほど、重み付け係数Ｋ３を大きくする。これは、注目対象ＴＧが小さいと、見逃しやすいためである。また、注目対象のメイン画面７４における位置Ｄ４がメイン画面７４の端部に近くなる程、重み付け係数Ｋ４を大きくする。これは、注目対象がメイン画面７４の端部にある場合には、メイン画面７４からすぐに消失するため、見逃しやすいからである。

見逃し判定部８０は、見逃し判定用指標値が、予め定めた見逃し判定用閾値を超えると判定した場合には、注目対象ＴＧを見逃した可能性が高いと判定する。この場合には、見逃し用報知制御部８２は、注目対象ＴＧを見逃した可能性が高いことを示す見逃し発生報知に関する制御を行う。表示制御部６６は、見逃し用報知制御部８２による制御に従って、見逃し発生報知をモニタ１８上に表示する。モニタ１８に見逃し発生報知が表示されることで、ユーザーは注目対象ＴＧの見逃しに気付くことができる。見逃し発生報知に加えて、注目対象ＴＧがメイン画面７４から消滅した後も、サブ画面７５を一定時間継続的に表示することで、見逃しを二重に防止することが可能になる。

なお、見逃し発生報知としては、図１０に示すように、例えば、モニタ１８に「見逃し発生」のメッセージを表示する。また、音声、振動（内視鏡の操作部１２ｂを振動させる）、照明光の変更（白色光から青色単色光への変更など）の他、モニタ１８上に矢印などのアイコン表示をすることによって、「見逃し発生」があることを報知してもよい。また、注目対象の消失方向に応じて、異なる音声で報知するようにしてもよい。例えば、サブ画面７５の下端部から消失した場合は第１音声で報知し、サブ画面７５の中央部から消失した場合には、第１音声と異なる第２音声で報知する。

これに対して、見逃し判定部８０は、見逃し判定用指標値が、予め定めた見逃し判定用閾値以下であると判定した場合には、注目対象ＴＧを見逃した可能性は低いと判定する。この場合には、見逃し発生報知は行わない。これにより、不必要に見逃し発生報知が行われないため、ユーザーにとって、煩わしい状態を回避することができる。なお、見逃し判定部８０において注目対象ＴＧを見逃したか否かの判定結果は、プロセッサ装置１６内のメモリ（図示しない）に保存することが好ましい。

次に、注目対象の見逃しを防止する一連の流れを、図１１のフローチャートに沿って説明を行う。観察対象の撮像を行うことにより、医療画像が得られる。医療画像は、モニタ１８のメイン画面７４に動画表示される。また、注目領域検出部７０は、医療画像から注目領域を検出する。メイン画面７４上に注目対象ＴＧが出現し、注目領域検出部７０によって注目領域が検出されると、モニタ１８上のサブ画面７５の表示が開始される。このサブ画面７５上には、注目領域ＲＯＩと、この注目領域ＲＯＩに含まれる注目対象ＴＧを含む医療画像の静止画が表示される。合わせて、メイン画面７４上にも、注目対象ＴＧに対して、注目領域ＲＯＩが表示される。

ユーザーは、メイン画面７４上の注目対象ＴＧに気付いた場合には、注目対象ＴＧの確認操作と、注目領域の検出に関する正否判定を行う。これに対して、ユーザーがメイン画面上７４の注目対象ＴＧを見逃して、メイン画面７４から注目対象ＴＧが表示されなくなった場合にも、サブ画面７５は一定時間継続して表示される。これにより、ユーザーは注目対象ＴＧを見逃したことに気付くことができる。

また、見逃し判定部８０は、見逃し判定用指標値を算出し、算出した見逃し判定用指標値が、見逃し判定用閾値を超えたか否かを判定する。見逃し判定用指標値が見逃し判定用閾値を超えた場合には、見逃し発生報知を行う。見逃し発生報知が行われた場合には、内視鏡１２を操作して、注目対象ＴＧがあった位置に戻し、再度、メイン画面７４に注目対象ＴＧが表示されるようにする。注目対象ＴＧがメイン画面７４に表示されたら、注目対象ＴＧの確認操作と、注目領域の検出に関する正否判断を行う。

なお、第１実施形態では、見逃し判定部８０は、注目領域検出部７０からの医療画像又は注目領域の検出結果に基づいて、注目対象ＴＧの見逃しの判定を行っているが、これに代えて、図１２に示すように、視線検知部９０によって、注目領域に向けているユーザーの視線を検知し、この視線の検知結果に基づいて、注目対象ＴＧの見逃しの判定を行うようにしてもよい。

図１３に示すように、視線検知部９０は、モニタ１８の前面に設けられており、ユーザーがモニタ１８に向けている視線を表す視線ポイントを検出する。視線画像生成部９２は、視線検知部９０で検知した視線ポイントに関する情報に基づいて、視線画像を生成する。視線画像は、一定の時間間隔Ｔ１〜ＴＮ（図１３ではＮ＝７。Ｎの数が大きくなる程、時間的に新しいことを意味する。）において取得した複数の視線ポイントＥＰ（Ｔ１）〜ＥＰ（ＴＮ）を表示し、且つ、各視線ポイントＥＰ（Ｔ１）〜ＥＰ（ＴＮ）間は、視線の軌跡が分かるように、連結線ＣＬによって連結されている。なお、一定の時間間隔を経た視線ポイントは、視線画像から消去するようにし、代わりに、最新の視線ポイントを表示するようにする。

視線画像が生成されると、図１４に示すように、モニタ１８には、注目領域ＲＯＩが表示された医療画像と視線画像を合成した合成画像が表示される。この合成画像によって、注目領域ＲＯＩと、ユーザーが現在注視している視線ポイントＥＰとの位置関係が分かるようになる。また、視線ポイントＥＰが注目領域ＲＯＩ含まれている時間も分かるようになる。

見逃し判定部８０は、視線ポイントＥＰが注目領域ＲＯＩ含まれている時間を、観察時間としてカウントする。見逃し判定部８０は、観察時間が特定の観察時間よりも短い場合には、注目対象ＴＧを見逃した可能性が高いと判定する。上記で示したような見逃し発生報知を行う。これに対して、見逃し判定部８０は、観察時間が特定の観察時間よりも長い場合には、注目対象ＴＧを見逃した可能性は低いと判定する。この場合には、見逃し発生報知は行わない。

［第２実施形態］
第２実施形態では、同一の注目対象が注目領域として複数回報知されることを避ける処理を行う。具体的には、メイン画面７４に第１のタイミングで表示される第１の注目対象と、第１のタイミングと異なる第２のタイミングにメイン画面７４に表示される第２の注目対象が同一か否かの判定を行う。この同一か否かの判定は、図１５に示す同一注目対象判定部９５において行われる。そして、表示制御部６６は、同一注目対象判定部９５での判定結果に基づいて、第２の注目対象を注目領域ＲＯＩとしてメイン画面７４又はサブ画面７５に表示又は非表示にする制御を行う。なお、第１の注目対象と第２の注目対象とが同一と判定された場合に、第１注目対象のＩＤ番号と第２注目対象のＩＤ番号が異なる場合には、どちらかのＩＤ番号に統合する処理を行うようにする。

例えば、図１６（Ａ）に示すように、第１のタイミングにおいて、メイン画面７４に第１の注目対象ＴＧ１が表示された後、図１６（Ｂ）に示すように、第１の注目対象ＴＧ１が、拍動などが生じてひだ等で隠れることにより、メイン画面７４から表示されなくなった場合には、メイン画面７４及びサブ画面７５における注目領域ＲＯＩの表示は行われない。そして、図１６（Ｃ）に示すように、第２のタイミングにおいて、ひだ等がメイン画面７４から消えて、第２の注目対象ＴＧ２がメイン画面７４に表示された場合には、同一注目対象判定部９５によって、第１の注目対象ＴＧ１と第２の注目対象ＴＧ２が同一か否かの判定が行われる。この場合には、ひだ等で隠れていただけであるので、第１の注目対象ＴＧ１と第２の注目対象ＴＧ２とは同一と判定される。この場合、表示制御部６６によって、第２の注目領域は、メイン画面７４及びサブ画面７５において注目領域ＲＯＩとして表示されない。これにより、同一の注目対象に対する二重報知が回避される。

なお、第１の注目対象ＴＧ１と第２の注目対象ＴＧ２とが同一と判定された場合には、注目領域ＲＯＩを表示しない他、音声、振動（内視鏡の操作部１２ｂを振動させる）、照明光の変更（白色光から青色単色光への変更など）の他、モニタ１８上に矢印などのアイコン表示は行わないようにすることが好ましい。また、第１の注目対象ＴＧ１と第２の注目対象ＴＧ２とが同一と判定された場合には、サブ画面７５の静止画を更新しないようにすることが好ましい。

ただし、内視鏡１２の先端部１２ｄを主として挿入方向に移動させる往路で第１の注目対象を検出し、反対に、内視鏡１２の先端部１２ｄを主として抜去方向に移動させる復路で、第１の注目対象と同一の第２の注目対象を検出した場合には、同一注目対象判定部９５において同一と判定された場合であっても、第２の注目対象を注目領域ＲＯＩとして表示するようにすることが好ましい。この場合には、往路か復路かを判断するために、第１実施形態で示したように、画像的特徴量から内視鏡１２の移動方向が挿入方向か抜去方向かを検出する必要がある。なお、第１の注目対象を検出してから第２の注目対象を検出するまでの時間間隔が特定の時間間隔の範囲内に収まっているか否かで、往路か復路かを判断するようにしてもよい。

例えば、図１７（Ａ）に示すように、往路で第１の注目対象を検出したタイミング（代第１のタイミング）では、第１の注目対象ＴＧ１は挿入方向に動いているため、注目領域ＲＯＩを表示しないようにする。これに対して、図１７（Ｂ）に示すように、復路で第２の注目対象ＴＧ２を検出したタイミング（第２のタイミング）では、第２の注目対象ＴＧ２が第１の注目対象と同一と判定された場合であっても、第２の注目対象ＴＧ２は抜去方向に動いているため、表示制御部６６は、第２の注目対象ＴＧを注目領域ＲＯＩとして表示する。これにより、注目対象を見落としていないかどうかをユーザーに気付かせることができる。

同一注目対象判定部９５による同一か否かの判定処理は、メイン画面７４に第１の注目対象と第２の注目対象が異なるタイミングで表示されている場合には、例えば、モーションフロー追跡を行うことが好ましい。また、第１の注目対象がメイン画面７４から消失した場合には、第２の注目対象は、第１の注目対象の静止画又は第１の注目対象の周囲の画像とマッチングにより行うことが好ましい。また、第１の注目対象の判別スコアと第２の注目対象の判別スコアとの類似性により同一か否かの判定を行ってもよい。また、第１の注目対象を検出した時の内視鏡の挿入部１２ａの挿入長と、第２の注目対象を検出した時の内視鏡の挿入部１２ａの挿入長との比較により、同一か否かの判定を行ってもよい。また、第１の注目対象を検出した時間を示す検出時間と、第２の注目対象を検出した時間を示す検出時間との比較により、同一か否かの判定を行ってもよい。なお、第１の注目対象と第２の注目対象が同一であるとは、それぞれ完全な同一の他、完全に同一ではないものの、画像的な類似度が高いような場合も含まれる。

なお、上記実施形態において、診断支援情報算出部７２で算出する血管指標値としては、例えば、血管密度、血管太さ、血管の指標値としては、血管の本数、分岐数、分岐角度、分岐点間距離、交差数、太さの変化、間隔、粘膜を基準とした深さ、高低差、傾き、コントラスト、色、色の変化、蛇行度、血液濃度、酸素飽和度、動脈の割合、静脈の割合、投与した色素の濃度、走行パターン、及び血流量などがある。

血管密度は、画像において特定領域に含まれる血管が占める割合によって表される。血管の太さ（血管径）とは、血管と粘膜の境界線間の距離であり、例えば、検出した血管のエッジから血管の中を通って血管の短手方向に沿って画素数を計数することにより計数する。したがって、血管の太さは画素数であるが、医療画像を撮影した際の撮影距離やズーム倍率等が既知の場合には、必要に応じて「μｍ」等の長さの単位に換算可能である。

血管の本数とは、医療画像全体または注目領域内で検出した血管の数である。血管の本数は、例えば、検出した血管の分岐点の個数（分岐数）や他の血管との交差点の個数（交差数）等を用いて算出する。血管の分岐角度は、２本の血管が分岐点においてなす角度である。分岐点間距離は、任意の分岐点とその隣の分岐点の直線距離、または、任意の分岐点とその隣の分岐点までの血管に沿った長さである。

血管の交差数とは、粘膜下の深さが異なる血管が医療画像上で交差する交差点の個数である。より具体的には、血管の交差数とは、相対的に粘膜下の浅い位置にある血管が、深い位置にある血管を横切る数である。

血管の太さの変化とは、血管の太さのばらつきに関する血管情報であり、口径不同度ともいう。血管の太さの変化は、例えば、血管径の変化率（拡張度ともいう）である。血管径の変化率は、血管の最も細い部分の太さ（最小径）と血管の最も太い部分の太さ（最大径）を用いて、「血管径の変化率（％）＝最小径／最大径×１００」で求める。

なお、過去の検査で観察対象を撮影して得た医療画像と、その後の新たな検査で同じ観察対象を撮影して得た医療画像と、を用いる場合、過去の検査で得た医療画像から検出した血管の太さに対して、その後の新たな検査で得た医療画像から検出した同じ血管の太さの時間的な変化を血管の太さの変化としてもよい。

また、血管の太さの変化として、細径部の割合、または太径部の割合を算出しても良い。細径部とは太さが閾値以下の部分であり、太径部とは太さが閾値よりも太い部分である。細径部の割合は、「細径部の割合（％）＝細径部の長さ／血管の長さ×１００」で求める。同様に、太径部の割合は、「太径部の割合（％）＝太径部の長さ／血管の長さ×１００」で求める。

血管の太さの変化の複雑度（以下、「太さ変化の複雑度」という）は、血管の太さ変化している場合に、その変化がどの程度複雑であるかを表す血管情報であり、血管の太さの変化を表す血管情報（すなわち血管径の変化率、細径部の割合、または太径部の割合）を複数組み合わせて算出する血管情報である。太さ変化の複雑度は、例えば、血管径の変化率と細径部の割合の積で求めることができる。

血管の長さとは、検出した血管の長手方向に沿って計数した画素数である。

血管の間隔とは、検出した血管のエッジ間にある粘膜を表す画素の画素数である。検出した血管が１本の場合、血管の間隔は値を持たない。

血管の深さは、粘膜（より具体的には粘膜の表面）を基準として測る。この粘膜を基準とした血管の深さは、例えば、血管の色に基づいて算出することができる。特殊観察画像の場合、粘膜の表面に近い位置にある血管はマゼンタ系の色で表され、粘膜の表面から遠く、粘膜下の深い位置にある血管はシアン系の色で表されるので、血管として検出した画素のＲ，Ｇ，Ｂ各色の信号のバランスに基づいて、粘膜を基準とした血管の深さを画素毎に算出する。

血管の高低差とは、血管の深さの差の大きさである。例えば、注目する１本の血管の高低差は、この血管の最も深い箇所の深さ（最大深さ）と、最も浅い箇所の深さ（最小深さ）の差で求める。深さが一定の場合、高低差は零である。

血管の傾きとは、血管の深さの変化率であり、血管の長さと血管の深さを用いて算出する。すなわち、血管の傾きは、「血管の傾き＝血管の深さ／血管の長さ」で求める。なお、血管を複数の区間に区切り、各区間で血管の傾きを算出してもよい。

血管の面積は、血管として検出した画素の画素数、または、血管として検出した画素の画素数に比例する値である。血管の面積は、注目領域内、注目領域外、または、医療画像全体について算出する。

血管のコントラストとは、観察対象の粘膜に対する相対的なコントラストである。血管のコントラストは、血管の輝度Ｙ_Vと、粘膜の輝度Ｙ_Mと、を用いて、例えば「Ｙ_V／Ｙ_M」または「（Ｙ_V−Ｙ_M）／（Ｙ_V＋Ｙ_M）」で算出する。

血管の色とは、血管を表す画素のＲＧＢの各値である。そして、血管の色の変化とは、血管を表す画素のＲＧＢ各値の各々の最大値と最小値の差または比である。例えば、血管を表すＢ画素の画素値の最大値と最小値の比、Ｇ画素の画素値の最大値と最小値の比、またはＲ画素の画素値の最大値と最小値の比は、血管の色の変化を表す。もちろん、補色に変換して、シアン、マゼンタ、イエロー、グリーン等の各値について血管の色及び血管の色の変化を算出しても良い。

血管の蛇行度とは、血管が蛇行して走行する範囲の広さを表す血管情報である。血管の蛇行度は、例えば、蛇行度を算出する血管を含む最小の長方形の面積（画素数）である。また、血管の始点と終点の直線距離に対する血管の長さの比を血管の蛇行度としても良い。

血管の血液濃度とは、血管が含むヘモグロビンの量に比例する血管情報である。血管を表すＲ画素の画素値に対するＧ画素の画素値の比（Ｇ／Ｒ）はヘモグロビンの量に比例するので、Ｇ／Ｒの値を算出することで、画素ごとに血液濃度を算出することができる。

血管の酸素飽和度とは、ヘモグロビンの総量（酸化ヘモグロビン及び還元ヘモグロビンの総量）に対する酸化ヘモグロビンの量である。酸素飽和度は、酸化ヘモグロビンと還元ヘモグロビンの吸光係数に違いが大きい特定の波長帯域の光（例えば、波長４７０±１０ｎｍ程度の青色光）で観察対象を撮影した医療画像を用いて算出することができる。波長４７０±１０ｎｍ程度の青色光を用いる場合、血管を表すＢ画素の画素値は酸素飽和度と相関があるので、Ｂ画素の画素値を酸素飽和度に対応付けるテーブル等を用いることで、血管を表す各画素の酸素飽和度を算出することができる。

動脈の割合とは、全血管の画素数に対する動脈の画素数の割合である。同様に、静脈の割合とは、全血管の画素数に対する静脈の画素数の割合である。動脈と静脈は、酸素飽和度によって区別することができる。例えば、酸素飽和度が７０％以上の血管を動脈とし、酸素飽和度が７０％未満の血管を静脈とすれば、検出した血管を動脈と静脈に分けられるので、上記動脈の割合及び静脈の割合を算出するするこができる。

投与した色素の濃度とは、観察対象に対して散布した色素、または静脈注射により血管に注入した色素の濃度である。投与した色素の濃度は、例えば、色素色以外の画素の画素値に対する色素色の画素値の割合で算出する。例えば、青色に着色する色素を投与した場合は、Ｂ画像とＧ画像の比率Ｂ／Ｇや、Ｂ画像とＲ画像の比率Ｂ／Ｒ等が、観察対象に定着（あるいは一時的に付着）した色素の濃度を表す。

血管の走行パターンとは、血管の走行方向に関する血管情報である。血管の走行パターンは、例えば、任意に設定する基準線に対する血管の平均角度（走行方向）や、任意に設定する基準線に対して血管がなす角度の分散（走行方向のばらつき）等である。

血管の血流量（血流速度ともいう）は、単位時間あたりに赤血球が通り抜ける数である。超音波プローブを内視鏡１２の鉗子チャンネル等を介して併用する場合等に、医療画像の血管を表す各画素のドップラーシフト周波数を、超音波プローブで得る信号を用いて算出する、血管の血流量を求めるができる。

なお、上記実施形態では、医療画像の一つである内視鏡画像の処理を行う内視鏡システムに対して、本発明の適用を行っているが、内視鏡画像以外の医療画像を処理する医療画像処理システムに対しても本発明の適用は可能である。また、医療画像を用いてユーザーに診断支援を行うための診断支援装置に対しても本発明の適用は可能である。また、医療画像を用いて、診断レポートなどの医療業務を支援するための医療業務支援装置に対しても本発明の適用は可能である。

なお、医療画像は、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得られた通常光画像であることが好ましい。

医療画像は、特定の波長帯域の光を照射して得た特殊光画像であり、特定の波長帯域の光は白色帯域よりも狭い帯域であることが好ましい。特定の波長帯域は可視域の青色もしくは緑色帯域に含まれることが好ましい。特定の波長帯域は３９０ｎｍ以上４５０ｎｍ以下、または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、３９０ｎｍ以上４５０ｎｍ以下、または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有することが好ましい。

特定の波長帯域は可視域の赤色帯域に含まれることが好ましい。特定の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下、または６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下、または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有することが好ましい。

特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸収係数の異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸収係数の異なる波長帯域にピーク波長を有することが好ましい。特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有することが好ましい。

医療画像は生体内を写した生体内画像であり、生体内画像は、生体内の蛍光物質が発する蛍光の情報を有することが好ましい。蛍光は、ピーク波長が３９０以上４７０ｎｍ以下の波長待機に含まれる励起光を生体内に照射して得られることが好ましい。

医療画像は生体内を写した生体内画像であり、特定の波長帯域は赤外光の波長帯域であることが好ましい。特定の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下、又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、７９０ｎｍ以上８２０ｎｍ以下、又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有することが好ましい。

画像取得部は、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得られた通常光画像に基づいて、特定の波長帯域の信号を有する特殊光画像を取得する特殊光画像取得部を有し、医療画像は特殊光画像であることが好ましい。

特定の波長帯域の信号は、通常光画像に含まれるＲＧＢあるいはＣＭＹの色情報に基づく演算により得られることが好ましい。

白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得られた通常光画像と、特定の波長帯域の光を照射して得られる特殊光画像との少なくとも一方に基づく演算によって、演算画像を生成する演算画像生成部を有し、医療画像は演算画像であることが好ましい。

なお、上記実施形態では、図１８に示すように、光源部２０として、Ｖ−ＬＥＤ（Violet Light Emitting Diode）２０ａ、Ｂ−ＬＥＤ（Blue Light Emitting Diode）２０ｂ、Ｇ−ＬＥＤ（Green Light Emitting Diode）２０ｃ、及びＲ−ＬＥＤ（Red Light Emitting Diode）２０ｄの４色のＬＥＤと、波長カットフィルタ２３とを用いて、照明光の発光を行うことが好ましい。

Ｖ−ＬＥＤ２０ａは、波長帯域３８０ｎｍ〜４２０ｎｍの紫色光Ｖを発する。Ｂ−ＬＥＤ２０ｂは、波長帯域４２０ｎｍ〜５００ｎｍの青色光Ｂを発する。Ｂ−ＬＥＤ２３ｂから出射した青色光Ｂのうち少なくともピーク波長の４５０ｎｍよりも長波長側は、波長カットフィルタ２３によりカットされる。これにより、波長カットフィルタ２３を透過した後の青色光Bxは、４２０〜４６０nmの波長範囲になる。このように、４６０ｎｍよりも長波長側の波長域の光をカットしているのは、この４６０ｎｍよりも長波長側の波長域の光は、観察対象である血管の血管コントラストを低下させる要因であるためである。なお、波長カットフィルタ２３は、４６０ｎｍよりも長波長側の波長域の光をカットする代わりに、４６０ｎｍよりも長波長側の波長域の光を減光させてもよい。Ｇ−ＬＥＤ２０ｃは、波長帯域が４８０ｎｍ〜６００ｎｍに及ぶ緑色光Ｇを発する。Ｒ−ＬＥＤ２０ｄは、波長帯域が６００ｎｍ〜６５０ｎｍに及び赤色光Ｒを発する。

白色帯域の光（白色光）を発光する場合、Ｖ−ＬＥＤ２０ａ、Ｂ−ＬＥＤ２０ｂ、Ｇ−ＬＥＤ２０ｃ、及びＲ−ＬＥＤ２０ｄを全て点灯させる。これにより、図１９に示すように、光源装置１４から、紫色光Ｖ、青色光Ｂｘ、緑色光Ｇ、及び赤色光Ｒを含む白色光が発せられる。白色光は、青色帯域から赤色帯域まで一定以上の強度を有しているため、ほぼ白色となっている。特定の波長帯域の光（特定光）として、４４０±１０ｎｍの波長帯域にピーク波長を有する特定光を発光する場合、例えば、図２０に示すように、青色光Bxの発光量が、紫色光V、緑色光Ｇ、及び赤色光Ｒのいずれの発光量よりも大きくなる特定光が発せられる。

また、上記実施形態では、レーザ光源と蛍光体を用いて、照明光の発光を行うようにしてもよい。この場合には、図２１に示すように、光源部２０には、ピーク波長４４５±１０ｎｍの青色レーザ光を発する青色レーザ光源（「４４５ＬＤ」と表記。ＬＤは「Laser Diode」を表す）１０４と、ピーク波長４０５±１０ｎｍの青紫色レーザ光を発する青紫色レーザ光源（「４０５ＬＤ」と表記）１０６とが設けられている。

照明光学系３０aには、照明レンズ４５の他に、ライトガイド４１からの青色レーザ光又は青紫色レーザ光が入射する蛍光体１１０が設けられている。蛍光体１１０は、青色レーザ光によって励起され、蛍光を発する。また、青色レーザ光の一部は、蛍光体１１０を励起させることなく透過する。青紫色レーザ光は、蛍光体１１０を励起させることなく透過する。蛍光体１１０を出射した光は、照明レンズ４５を介して、観察対象の体内を照明する。

ここで、白色光を発光する場合には、青色レーザ光源１０４が点灯して、主として青色レーザ光が蛍光体１１０に入射するため、図２２に示すような、青色レーザ光、及び青色レーザ光により蛍光体１１０から励起発光する蛍光を合波した白色光が発せられる。一方、特定の波長帯域の光（特定光）として、４４０±１０ｎｍの波長帯域にピーク波長を有する特定光を発光する場合には、青色レーザ光源１０４及び青紫色レーザ光源１０６が点灯して、青紫色レーザ光と青色レーザ光の両方を蛍光体１１０に入射させる。これにより、図２３に示すような、青紫色レーザ光、青色レーザ光、及び青色レーザ光により蛍光体１１０から励起発光する蛍光を合波した特定光が発せられる。

なお、青色レーザ光又は青紫色レーザ光の半値幅は±１０nm程度にすることが好ましい。また、青色レーザ光源１０４及び青紫色レーザ光源１０６は、ブロードエリア型のＩｎＧａＮ系レーザダイオードが利用でき、また、ＩｎＧａＮＡｓ系レーザダイオードやＧａＮＡｓ系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオードなどの発光体を用いた構成としてもよい。

なお、蛍光体１１０は、青色レーザ光の一部を吸収して、緑色〜黄色に励起発光する複数種の蛍光体（例えばＹＡＧ系蛍光体、或いはＢＡＭ（ＢａＭｇＡｌ₁₀Ｏ₁₇）などの蛍光体）を含んで構成されるものを使用することが好ましい。本構成例のように、半導体発光素子を蛍光体１１０の励起光源として用いれば、高い発光効率で高強度の白色光が得られ、白色光の強度を容易に調整できる上に、白色光の色温度、色度の変化を小さく抑えることができる。

また、上記実施形態では、キセノンランプ等の広帯域光源と回転フィルタを用いて、照明光の発光を行うようにしてもよい。この場合には、図２４に示すように、光源部２０には、広帯域光源２０２と、回転フィルタ２０４と、フィルタ切替部２０６とが設けられている。また、広帯域光源２０２と回転フィルタ２０４との間には絞り２０３が設けられており、この絞り２０３は絞り制御部２０５によって開口部の面積が調整される。絞り制御部２０５は、プロセッサ装置１６からの調光信号に基づいて絞り２０３の制御を行う。

広帯域光源２０２はキセノンランプや白色ＬＥＤ等であり、波長域が青色から赤色に及ぶ広帯域光を発する。回転フィルタ２０４は、回転軸に一番近い内側に設けた白色光用フィルタ２１０と、この白色光用フィルタ２１０の外側に設けた特定光用フィルタ２１２とを備えている（図２５参照）。

フィルタ切替部２０６は、回転フィルタ２０４を径方向に移動する。具体的には、フィルタ切替部２０６は、白色光を発光する場合に、白色光用フィルタ２１０を広帯域光の光路に挿入する。フィルタ切替部２０６は、特定の波長帯域の光（特定光）を発光する場合に、特定光用フィルタ２１２を広帯域光の光路に挿入する。

図２５に示すように、白色光用フィルタ２１０には、周方向に沿って、Ｂフィルタ２１０ａと、Ｇフィルタ２１０ｂと、Ｒフィルタ２１０ｃとが設けられている。Ｂフィルタ２１０ａは、広帯域光のうち４００〜５００nmの波長範囲を持つ広帯域の青色光Ｂを透過する。Ｇフィルタ２１０ｂは、広帯域光のうち緑色光Ｇを透過する。Ｒフィルタ２１０ｃは、広帯域光のうち赤色光Ｒを透過する。したがって、白色光を発光する場合には、回転フィルタ２０４が回転することで、白色光として、青色光B、緑色光G、赤色光Rが順次照射される。

特定光用フィルタ２１２には、周方向に沿って、Ｂｎフィルタ２１２ａと、Ｇフィルタ２１２ｂとが設けられている。Ｂｎフィルタ２１２ａは、広帯域光のうち４００〜４５０nmの青色狭帯域光Ｂｎを透過する。Ｇフィルタ２１２ｂは、広帯域光のうち緑色光Ｇを透過する。したがって、特定光を発光する場合には、回転フィルタ２０４が回転することで、特定光として、青色狭帯域光Ｂｎ、緑色光Ｇが、観察対象に向けて、順次照射される。

キセノンランプ等の広帯域光源と回転フィルタを用いて、照明光の発光を行う場合には、白色光の照明時には、青色光Ｂ、緑色光Ｇ、赤色光Ｒで観察対象を照明する毎にモノクロのイメージセンサで観察対象を撮像する。この観察対象の撮像により得られるＢ画像、Ｇ画像、Ｒ画像によって、白色光の成分を備える画像を生成する。また、特定光の照明時には、青色狭帯域光Ｂｎ、緑色光Ｇで観察対象を照明する毎にモノクロのイメージセンサで観察対象を撮像し、この撮像により得られるＢｎ画像、Ｇ画像によって、特定光の成分を備える画像を生成する。

例えば、図２６に示すように、診断支援装置６００は、医療画像処理システム６０２などのモダリティやＰＡＣＳ（Picture Archiving and Communication Systems）６０４を組み合わせて使用される。また、図２７に示すように、医療業務支援装置６１０は、第１医療画像処理システム６２１、第２医療画像処理システム６２２、…、第Ｎ医療画像処理システム６２３等の各種検査装置と任意のネットワーク６２６を介して接続する。医療業務支援装置６１０は、第１〜第N医療画像処理システム６２１、６２２・・・、６２３からの医療画像を受信し、受信した医療画像に基づいて、医療業務の支援を行う。

上記実施形態において、画像処理部６１に含まれる注目領域検出部７０、診断支援情報算出部７２、確認信号発生部７７、領域判定指示発生部７８、見逃し判定部８０、見逃し用報知制御部８２、視線画像生成部９２、同一注目対象判定部９５といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。

１０内視鏡システム
１２内視鏡
１２ａ挿入部
１２ｂ操作部
１２ｃ湾曲部
１２ｄ先端部
１２ｅアングルノブ
１２ｆ鉗子入口
１３ａズーム操作部
１３ｂフリーズボタン
１３ｃ領域承認用ボタン
１４光源装置
１６プロセッサ装置
１８モニタ
１９ユーザーインターフェース
２０光源部
２０ａＶ−ＬＥＤ（ＶｉｏｌｅｔＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）
２０ｂＢ−ＬＥＤ（ＢｌｕｅＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）
２０ｃＧ−ＬＥＤ（ＧｒｅｅｎＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）
２０ｄＲ−ＬＥＤ（ＲｅｄＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）
２２光源制御部
２３波長カットフィルタ
３０ａ照明光学系
３０ｂ撮像光学系
４１ライトガイド
４５照明レンズ
４６対物レンズ
４７ズームレンズ
４８イメージセンサ
５２中央制御部
５４画像取得部
５６ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）
５８ノイズ低減部
５９変換部
６１画像処理部
６６表示制御部
７０注目領域検出部
７２診断支援情報算出部
７４メイン画面
７４ａ医療画像表示部
７４ｂ診断支援情報表示部
７５サブ画面
７５ａ（サブ画面の）枠
７６静止画一覧画面
７６ａ（静止画一覧画面の）枠
７７確認信号発生部
７８領域判定指示発生部
８０見逃し判定部
８２見逃し用報知制御部
９０視線検知部
９２視線画像生成部
９５同一注目対象判定部
１０４青色レーザ光源
１０６青紫色レーザ光源
１１０蛍光体
２０２広帯域光源
２０４回転フィルタ
２０５絞り制御部
２０６フィルタ切替部
２１０白色光用フィルタ
２１０ａＢフィルタ
２１０ｂＧフィルタ
２１０ｃＲフィルタ
２１２特定光用フィルタ
２１２ａＢｎフィルタ
２１２ｂＧフィルタ
６００診断支援装置
６０２医療画像処理システム
６０４ＰＡＣＳ
６１０医療業務支援装置
６２１第１医療画像処理システム
６２２第２医療画像処理システム
６２３第Ｎ医療画像処理システム
６２６ネットワーク

Claims

観察対象を撮像して得られる医療画像を取得する画像取得部と、
前記医療画像から、前記観察対象のうち注目対象を含む注目領域を検出する注目領域検出部と、
ユーザーが前記注目対象を見逃したか否かを判定する見逃し判定部と、
前記医療画像を動画表示し、且つ前記注目領域を表示する第１画面と、前記第１画面と異なる画面であって前記注目領域を表示する第２画面とを有する表示部と、
前記注目対象を見逃していると判定した場合に、前記注目対象の見逃し発生報知に関する制御を行う見逃し用報知制御部と、
を備える医療画像処理システム。
前記第２画面には、前記注目領域及び前記注目対象を含む医療画像の静止画が表示される請求項１記載の医療画像処理システム。
前記第２画面には、ユーザーによる前記注目領域の確認を促すための第１アラートが表示される請求項１または２記載の医療画像処理システム。
注目領域の確認に関する注目領域確認信号を発する確認信号発生部を有し、
前記表示部は、前記注目領域確認信号が発せられた場合に、前記第２画面に、ユーザーによる前記注目領域の確認が完了したことを示す第２アラートを表示する請求項１ないし３いずれか１項記載の医療画像処理システム。
前記注目領域が正しく検出されたか否かに関する領域判定指示を発する領域判定指示発生部を有し、
前記表示部は、
前記領域判定指示として、前記注目領域が正しく検出された旨の指示が発せられた場合に、前記第２画面に、前記注目領域が正しく検出されたことを示す第３アラートを表示し、
前記領域判定指示として、前記注目領域が誤って検出された旨の指示が発せられた場合に、前記第２画面に、前記注目領域が誤って検出されたことを示す第４アラートを表示する請求項１ないし４いずれか１項記載の医療画像処理システム。
前記表示部は、前記第１画面及び前記第２画面と異なる画面であって複数の静止画を一覧表示する第３画面を有し、
前記第３画面には、ユーザーによる前記注目領域の確認を促すための第１アラート、ユーザーによる前記注目領域の確認が完了したことを示す第２アラート、前記注目領域が正しく検出されたことを示す第３アラート、又は、前記注目領域が誤って検出されたことを示す第４アラートのいずれかが表示される請求項１ないし５いずれか１項記載の医療画像処理システム。
前記第２画面は、前記注目領域を検出したタイミングにおいて表示される請求項１ないし６いずれか１項記載の医療画像処理システム。
前記見逃し判定部は、前記医療画像又は前記注目領域の検出結果から、前記注目対象の見逃しを判定する請求項１ないし７いずれか１項記載の医療画像処理システム。
ユーザーが前記表示部に向けている視線を検知する視線検知部を有し、
前記見逃し判断部は、前記視線が前記注目領域に向けられている観察時間に基づいて、前記注目対象の見逃しを判定する請求項１ないし７いずれか１項記載の医療画像処理システム。
前記見逃し用報知制御部は、前記見逃し発生報知として、前記見逃しが発生した旨のメッセージを前記表示部に表示する制御を行う請求項１ないし９いずれか１項記載の医療画像処理システム。
前記第１画面に第１のタイミングで表示される第１の注目対象と、前記第１のタイミングと異なる第２のタイミングに前記第１画面に表示される第２の注目対象が同一か否かの判定する同一注目対象判定部と、
前記同一注目対象判定部での判定結果に基づいて、前記第２の注目対象を、前記注目領域として前記第１画面又は前記第２画面上に表示又は非表示する制御を行う表示制御部とを備える請求項１ないし１０いずれか１項記載の医療画像処理システム。
前記表示制御部は、前記第１の注目対象と前記第２の注目対象が同一である場合には、前記第２の注目対象を、前記注目領域として前記第１画面又は前記第２画面上に表示しない請求項１１記載の医療画像処理システム。
前記表示部は、前記注目対象に対してＩＤ番号を付して表示する請求項１ないし１２いずれか１項記載の医療画像処理システム。
観察対象を撮像する内視鏡と、
観察対象を撮像して得られる医療画像を取得する画像取得部と、
前記医療画像から、前記観察対象のうち注目対象を含む注目領域を検出する注目領域検出部と、
ユーザーが前記注目対象を見逃したか否かを判定する見逃し判定部と、
前記医療画像を動画表示し、且つ前記注目領域を表示する第１画面と、前記第１画面と異なる画面であって前記注目領域を表示する第２画面とを有する表示部と、
前記注目対象を見逃していると判定した場合に、見逃し発生報知の制御を行う見逃し用報知制御部と、
を備える内視鏡システム。
請求項１ないし１３いずれか１項記載の医療画像処理システムを有する診断支援装置。
請求項１ないし１３いずれか１項記載の医療画像処理システムを有する医療業務支援装置。