JP7495511B2 - 医用画像処理装置及び医用画像処理装置の作動方法並びに医用画像処理装置用プログラム - Google Patents

Description

本発明は、医用画像に画像処理を施す医用画像処理装置、及び医用画像処理装置の作動方法並びに医用画像処理装置用プログラムに関する。

医療分野においては、内視鏡画像、X線画像、CT（Computed Tomography）画像、MR（Magnetic Resonanse）画像などの医用画像を用いて、患者の病状の診断や経過観察などの画像診断が行われている。このような画像診断に基づいて、医師などは治療方針の決定などを行っている。

近年、医用画像を用いた画像診断においては、１回の検査単位で取得した複数の医用画像に対して、医用画像処理装置が代表的な内視鏡画像を自動的に選別し、この選別した医用画像を画像診断や検査レポートに用いることが行われている。

特許文献１には、検査単位で取得した医用画像群から異常領域を含む異常画像を検出し、時系列近傍範囲に含まれる異常画像同士を異常画像群として抽出し、異常画像群の中から画像処理により、重要度の高い異常領域を含む異常画像、又は異常領域の視認性の良い異常画像を選別する医用画像処理装置について記載されている。

特開２０１５－１８１５９４号公報

上述したような画像診断を行う際の医用画像、特に内視鏡検査の場合、検査単位で取得する内視鏡画像は非常に枚数が多く、選別する医師の負担が大きい。そのため、効率的に医用画像を選別することが求められている。

しかしながら、特許文献１記載の医用画像処理装置では、医用画像の選別に画像処理を用いているが、医用画像を撮像した際の情報、例えば、撮像時刻、撮像の際に検出された病変部の情報、処置具による処置の有無、位置情報などは考慮されておらず、医師が取った行動が反映されていないため、医用画像の選別において医師が望むものとは異なる医用画像が選別される可能性がある。医師が望む医用画像とは異なるものである場合、結局は医師が手動で選別することになり、医師の負担を減少させることができない。

また、上記特許文献１記載の医用画像処理装置では、選別する医用画像の枚数は予め決まった枚数又は異常画像に比例した枚数であり、かつ異常領域が検出された異常画像群のみから医用画像を選別している。選別したい医用画像の枚数は、医師や病院の方針によって異なり、異常領域が検出されていない医用画像を選別する場合もある。

本発明は、複数の医用画像から、精度良く、かつ適正な比率で選別することができる医用画像処理装置及び医用画像処理装置の作動方法並びに医用画像処理装置用プログラムを提供することを目的とする。

本発明は、ユーザが撮像した複数の医用画像、及び各医用画像に関連付けて記録された付帯情報とを有する撮像情報を取得し、撮像情報から、医用画像を撮像した際のユーザの注目度を推定し、注目度に応じて複数の医用画像を分類した注目区間を設定し、注目度に応じた比率で各注目区間から医用画像を選別するプロセッサを備える医用画像処理装置であって、プロセッサは、複数の医用画像の中から、撮像情報に基づき注目医用画像を決定し、複数の医用画像を時系列順に配列した場合に、注目医用画像を含む医用画像群のうち少なくとも１つの医用画像に対して、画像処理を用いて注目度を推定する。

プロセッサは、画像処理を用いた注目度の推定として、時系列順に配列した場合に、前後の医用画像との類似度を注目度とすることが好ましい。

プロセッサは、異常領域を含む医用画像を注目医用画像として決定し、画像処理を用いた注目度の推定として、異常領域の異常度の大きさを注目度とすることが好ましい。

プロセッサは、異常領域を含む医用画像を注目医用画像として決定し、画像処理を用いた注目度の推定として、異常領域に対する処置状態を注目度とすることが好ましい。

プロセッサは、付帯情報から医用画像を撮像した撮像時刻を取得し、画像処理を用いた注目度の推定に加えて、時系列順に配列した場合に、前後の医用画像との撮像間隔に反比例した値を注目度とすることが好ましい。

医用画像は、内視鏡の撮像センサで撮像した内視鏡画像であり、付帯情報は、医用画像を撮像した際に、撮像センサが位置していた被検体内の位置を示す位置情報、及び医用画像を撮像した撮像時刻が記録されており、プロセッサは、位置情報、及び撮像時刻を取得し、医用画像を撮像した際に、撮像センサが同じ位置に滞在していた滞在時間の長さを注目度とすることが好ましい。

医用画像は、内視鏡の撮像センサで撮像した内視鏡画像であり、付帯情報は、医用画像を撮像した際に、撮像センサが位置していた被検体内の位置を示す位置情報が記録されており、プロセッサは、位置情報から、同じ位置で医用画像を撮像した撮像回数をカウントし、撮像回数を注目度とすることが好ましい。

付帯情報は、医用画像を撮像した際に用いた光源の波長帯域情報であり、プロセッサは、波長帯域情報から注目度を推定することが好ましい。

プロセッサは、ユーザが機器を操作することにより撮像された医用画像及び付帯情報を取得することが好ましい。あるいは、プロセッサは、ユーザが機器を操作せず自動的に撮像された医用画像及び付帯情報を取得してもよい。

プロセッサは、ユーザが指定した枚数を超えない範囲で医用画像を選別することが好ましい。プロセッサは、選別された医用画像を注目度に応じた順番で表示することが好ましい。プロセッサは、選別された医用画像を記憶装置に保存することが好ましい。

本発明の医用画像処理装置の作動方法は、ユーザが撮像した複数の医用画像、及び各医用画像に関連付けて記録された付帯情報とを有する撮像情報を取得するステップと、撮像情報から、医用画像を撮像した際のユーザの注目度を推定し、注目度に応じて複数の医用画像を分類した注目区間を設定するステップと、注目度に応じた比率で各注目区間から医用画像を選別するステップと、複数の医用画像の中から、撮像情報に基づき注目医用画像を決定し、複数の医用画像を時系列順に配列した場合に、注目医用画像を含む医用画像群のうち少なくとも１つの医用画像に対して、画像処理を用いて注目度を推定するステップと、を備える。

本発明の医用画像処理装置用プログラムは、医用画像に画像処理を施す医用画像処理装置にインストールされる医用画像処理装置用プログラムにおいて、コンピュータに、ユーザが撮像した複数の医用画像、及び各医用画像に関連付けて記録された付帯情報とを有する撮像情報を取得する機能と、撮像情報から、医用画像を撮像した際のユーザの注目度を推定し、注目度に応じて複数の医用画像を分類した注目区間を設定する機能と、注目度に応じた比率で各注目区間から医用画像を選別する機能と、複数の医用画像の中から、撮像情報に基づき注目医用画像を決定し、複数の医用画像を時系列順に配列した場合に、注目医用画像を含む医用画像群のうち少なくとも１つの医用画像に対して、画像処理を用いて注目度を推定する機能とを実現させる。

本発明によれば、複数の医用画像から、精度良く、かつ適正な比率で選別することができる。

内視鏡画像閲覧支援システム構成の概略を示す説明図である。 内視鏡システムの機能を示すブロック図である。 紫色光Ｖ、青色光Ｂ、青色光Ｂｘ、緑色光Ｇ、赤色光Ｒの分光スペクトルを示すグラフである。 第１実施形態の通常光の分光スペクトルを示すグラフである。 第１実施形態の特殊光の分光スペクトルを示すグラフである。 内視鏡システムにおける異常領域検出モード画像処理部、表示制御部及び画像保存制御部の機能を示すブロック図である。 画像ＤＢの内容を示す説明図である。 レポートＤＢの内容を示す説明図である。 検査レポート及びレポート表示画面の内容を示す説明図である。 内視鏡画像閲覧支援サーバ等に用いられるコンピュータの電気的な構成を示すブロック図である。 クライアント端末の機能概要を示す説明図である。 内視鏡画像閲覧支援サーバの機能概要を示す説明図である。 内視鏡画像取得部、注目区間設定部、内視鏡画像選別部における処理の概要を示す説明図である。 本発明の処理手順を示すフローチャートである。 本発明において複数の医用画像から注目度を推定する際の説明図である。 本発明において注目度に応じた比率で医用画像を選別する際の説明図である。 第２実施形態において複数の医用画像から注目度を推定する際の説明図である。 第３実施形態において複数の医用画像から注目度を推定する際の説明図である。 第４実施形態において挿入部の挿入長を取得する構成の概略図である。 第４実施形態において内視鏡の挿入部の挿入状態を取得する方法を説明する説明図である。 第４実施形態において複数の医用画像から注目度を推定する際の説明図である。 第５実施形態において複数の医用画像から注目度を推定する際の説明図である。 本発明の変形例５－１における処理手順を示すフローチャートである。 本発明の変形例５－２における内視鏡画像表示画面の内容を示す説明図である。 本発明の変形例５－３における内視鏡画像表示画面の内容を示す説明図である。

［第１実施形態］
図１に示す内視鏡画像閲覧支援システム１０は、内視鏡検査で得られた内視鏡画像１００（図７等参照）の閲覧を支援するために用いられるコンピュータシステムであり、ネットワーク１４を介して内視鏡システム１６と接続されている。ネットワーク１４は、例えば、病院内のＬＡＮ（Local Area Network）である。

内視鏡システム１６は、内視鏡検査（内視鏡１８を用いた各種処置を含む）に用いられる。内視鏡検査は、例えば、患者の担当医からの依頼を受けた検査医によって実施され、後述するように、内視鏡検査が実施されることで複数の内視鏡画像１００が得られる。

本実施形態の内視鏡画像閲覧支援システム１０では、後述する内視鏡画像閲覧支援サーバ８０が、これら複数の内視鏡画像１００の中から一部の内視鏡画像１００を選別し、内視鏡画像１００を表示する内視鏡画像表示画面１０４を生成したり、また選別した内視鏡画像１００を添付した検査レポート９４（図９参照）を作成する。検査レポート９４、及び内視鏡検査で得られた内視鏡画像１００は、患者の担当医などの閲覧に供されて患者の診断などに用いられる。

［内視鏡システムの構成］
内視鏡システム１６は、内視鏡１８と、光源装置１９と、プロセッサ装置２０と、ディスプレイ２１と、コンソール２２とを備えている。内視鏡１８は、患者の体内に挿入される挿入部２３と、挿入部２３の基端部分に設けた操作部２４とを備える。挿入部２３の先端側には、先端部２３ａ及び湾曲部２３ｂが設けられている。操作部２４に設けられたアングルノブ２４ａを操作することにより、湾曲部２３ｂが湾曲動作する。この湾曲動作によって、先端部２３ａが所望の方向に向けられる。

先端部２３ａは、先端面に、照明窓と、観察窓と、送気・送水ノズルと、鉗子出口とを有する（いずれも図示無し）。照明窓は、照明光を観察部位に照射するためのものである。観察窓は、観察部位からの光を取り込むためのものである。送気・送水ノズルは、照明窓及び観察窓を洗浄するためのものである。鉗子出口は、鉗子と電気メス等の処置具を用いて各種処置を行うためのものである。

また、操作部２４には、アングルノブ２４ａの他、フリーズスイッチ２４ｂ、モード切替部２４ｃ、ズーム操作部２４ｄ（図２参照）等を設けている。フリーズスイッチ２４ｂは、ディスプレイ２１に観察対象の静止画像を表示するフリーズ操作と、ストレージに静止画像を保存するレリーズ操作が可能である。

ユーザがフリーズスイッチ２４ｂを操作することにより、ディスプレイ２１に観察対象の静止画像がフリーズ表示する。そして、画像保存指示が画像保存制御部５５等に出力され、フリーズスイッチ２４ｂの操作タイミング前後に得られる内視鏡画像１００の静止画が、プロセッサ装置２０内の画像保存部５６（図２参照）に保存される。なお、画像保存部５６は、例えば、ハードディスクやＵＳＢ（Universal Serial Bus）メモリなどの記憶部である。

内視鏡システム１６は、観察モードとして、通常モードと、特殊光モードと、異常領域検出モードとを有している。観察モードが通常モードである場合、複数色の光を通常モード用の光量比Ｌｃで合波した通常光を発光する。また、観察モードが特殊光モードである場合、複数色の光を特殊光モード用の光量比Ｌｓで合波した特殊光を発光する。

また、観察モードが異常領域検出モードである場合、異常領域検出モード用照明光を発光する。本実施形態では、異常領域検出モード用照明光として、通常光を発光するが、特殊光を発光するようにしてもよい。

プロセッサ装置２０は、ディスプレイ２１及びコンソール２２と電気的に接続する。ディスプレイ２１は、観察対象の画像や、画像に付帯する情報等を出力表示する。コンソール２２は、ユーザの入力操作を受け付けるユーザインタフェースとして機能する。

図２に示すように、光源装置１９は、観察対象の照明に用いる照明光を発する光源部３０と、光源部３０を制御する光源制御部３１とを備えている。光源部３０は、複数色のＬＥＤ（Light Emitting Diode）等の半導体光源である。光源制御部３１は、ＬＥＤ等のオン／オフや、ＬＥＤ等の駆動電流や駆動電圧の調整によって、照明光の発光量を制御する。また、光源制御部３１は、光学フィルタの変更等によって、照明光の波長帯域を制御する。

第１実施形態では、光源部３０は、Ｖ－ＬＥＤ（Violet Light Emitting Diode）３０ａ、Ｂ－ＬＥＤ（Blue Light Emitting Diode）３０ｂ、Ｇ－ＬＥＤ（Green Light Emitting Diode）３０ｃ、及びＲ－ＬＥＤ（Red Light Emitting Diode）３０ｄの４色のＬＥＤと、波長カットフィルタ３２とを有している。図３に示すように、Ｖ－ＬＥＤ３０ａは、波長帯域３８０ｎｍ～４２０ｎｍの紫色光Ｖを発する。

Ｂ－ＬＥＤ３０ｂは、波長帯域４２０ｎｍ～５００ｎｍの青色光Ｂを発する。Ｂ－ＬＥＤ３０ｂから出射した青色光Ｂのうち少なくともピーク波長の４６０ｎｍよりも長波長側は、波長カットフィルタ３２によりカットされる。これにより、波長カットフィルタ３２を透過した後の青色光Ｂｘは、４２０～４６０ｎｍの波長範囲になる。このように、４６０ｎｍよりも長波長側の波長域の光をカットしているのは、この４６０ｎｍよりも長波長側の波長域の光は、観察対象である血管の血管コントラストを低下させる要因であるためである。なお、波長カットフィルタ３２は、４６０ｎｍよりも長波長側の波長域の光をカットする代わりに、４６０ｎｍよりも長波長側の波長域の光を減光させてもよい。

Ｇ－ＬＥＤ３０ｃは、波長帯域が４８０ｎｍ～６００ｎｍに及ぶ緑色光Ｇを発する。Ｒ－ＬＥＤ３０ｄは、波長帯域が６００ｎｍ～６５０ｎｍに及び赤色光Ｒを発する。なお、各ＬＥＤ３０ａ～３０ｄから発せられる光は、それぞれの中心波長とピーク波長とが同じであっても良いし、異なっていても良い。

光源制御部３１は、各ＬＥＤ３０ａ～３０ｄの点灯や消灯、及び点灯時の発光量等を独立に制御することによって、照明光の発光タイミング、発光期間、光量、及び分光スペクトルの調節を行う。光源制御部３１における点灯及び消灯の制御は、観察モードごとに異なっている。なお、基準の明るさは光源装置１９の明るさ設定部又はコンソール２２等によって設定可能である。

通常モード又は異常領域検出モードの場合、光源制御部３１は、Ｖ－ＬＥＤ３０ａ、Ｂ－ＬＥＤ３０ｂ、Ｇ－ＬＥＤ３０ｃ、及びＲ－ＬＥＤ３０ｄを全て点灯させる。その際、図４に示すように、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光量比Ｌｃは、青色光Ｂｘの光強度のピークが、紫色光Ｖ、緑色光Ｇ、及び赤色光Ｒのいずれの光強度のピークよりも大きくなるように、設定されている。これにより、通常モード又は異常領域検出モードでは、光源装置１９から、紫色光Ｖ、青色光Ｂｘ、緑色光Ｇ、及び赤色光Ｒを含む通常モード用又は異常領域検出モード用の多色光が、通常光として、が発せられる。通常光は、青色帯域から赤色帯域まで一定以上の強度を有しているため、ほぼ白色となっている。

特殊光モードの場合、光源制御部３１は、Ｖ－ＬＥＤ３０ａ、Ｂ－ＬＥＤ３０ｂ、Ｇ－ＬＥＤ３０ｃ、及びＲ－ＬＥＤ３０ｄを全て点灯させる。その際、図５に示すように、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光量比Ｌｓは、紫色光Ｖの光強度のピークが、青色光Ｂｘ、緑色光Ｇ、及び赤色光Ｒのいずれの光強度のピークよりも大きくなるように、設定されている。また、緑色光Ｇ及び赤色光Ｒの光強度のピークは、紫色光Ｖ及び青色光Ｂｘの光強度のピークよりも小さくなるように、設定されている。これにより、特殊光モードでは、光源装置１９から、紫色光Ｖ、青色光Ｂｘ、緑色光Ｇ、及び赤色光Ｒを含む特殊光モード用の多色光が、特殊光として発せられる。特殊光は、紫色光Ｖが占める割合が大きいことから、青みを帯びた光となっている。なお、特殊光は、４色全ての光が含まれていなくてもよく、４色のＬＥＤ３０ａ～３０ｄのうち少なくとも１色のＬＥＤからの光が含まれていればよい。また、特殊光は、４５０ｎｍ以下に主な波長域、例えばピーク波長又は中心波長を有することが好ましい。

図２に示すように、光源部３０が発した照明光は、ミラーやレンズ等で形成される光路結合部（図示しない）を介して、挿入部２３内に挿通したライトガイド３３に入射する。ライトガイド３３は、内視鏡１８及びユニバーサルコードに内蔵され、照明光を内視鏡１８の先端部２３ａまで伝搬する。ユニバーサルコードは、内視鏡１８と光源装置１９及びプロセッサ装置２０とを接続するコードである。なお、ライトガイド３３としては、マルチモードファイバを使用することができる。一例として、ライトガイド３３には、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３ｍｍ～φ０．５ｍｍの細径なファイバケーブルを使用することができる。

内視鏡１８の先端部２３ａには、照明光学系３５ａと撮像光学系３５ｂとを設けている。照明光学系３５ａは、照明レンズ３６を有している。この照明レンズ３６を介して、ライトガイド３３を伝搬した照明光によって観察対象を照明する。撮像光学系３５ｂは、対物レンズ３７と、拡大光学系３８と、撮像センサ３９とを有している。これら対物レンズ３７及び拡大光学系３８を介して、観察対象からの反射光、散乱光、及び蛍光等の各種の光が撮像センサ３９に入射する。これにより、撮像センサ３９に観察対象の像が結像する。

拡大光学系３８は、観察対象を拡大するズームレンズ３８ａと、ズームレンズ３８ａを光軸方向ＣＬに移動させるレンズ駆動部３８ｂとを備えている。ズームレンズ３８ａは、レンズ駆動部３８ｂによるズーム制御に従って、テレ端とワイド端の間で自在に移動させることで、撮像センサ３９に結像する観察対象を拡大又は縮小させる。

撮像センサ３９は、照明光が照射された観察対象を撮像するカラー撮像センサである。撮像センサ３９の各画素には、Ｒ（赤色）カラーフィルタ、Ｇ（緑色）カラーフィルタ、Ｂ（青色）カラーフィルタのいずれかが設けられている。撮像センサ３９は、Ｂカラーフィルタが設けられているＢ画素で紫色から青色の光を受光し、Ｇカラーフィルタが設けられているＧ画素で緑色の光を受光し、Ｒカラーフィルタが設けられているＲ画素で赤色の光を受光する。そして、各色の画素から、ＲＧＢ各色の画像信号を出力する。撮像センサ３９は、出力した画像信号を、ＣＤＳ回路４０に送信する。

通常モード又は異常領域検出モードにおいては、撮像センサ３９は、通常光が照明された観察対象を撮像することにより、Ｂ画素からＢｃ画像信号を出力し、Ｇ画素からＧｃ画像信号を出力し、Ｒ画素からＲｃ画像信号を出力する。また、特殊光モードにおいては、撮像センサ３９は、特殊光が照明された観察対象を撮像することにより、Ｂ画素からＢｓ画像信号を出力し、Ｇ画素からＧｓ画像信号を出力し、Ｒ画素からＲｓ画像信号を出力する。

撮像センサ３９としては、ＣＣＤ（Charge Coupled Device）撮像センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）撮像センサ等を利用可能である。また、ＲＧＢの原色のカラーフィルタを設けた撮像センサ３９の代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（緑）の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、ＣＭＹＧの４色の画像信号を出力する。このため、補色－原色色変換によって、ＣＭＹＧの４色の画像信号をＲＧＢの３色の画像信号に変換することにより、撮像センサ３９と同様のＲＧＢ各色の画像信号を得ることができる。また、撮像センサ３９の代わりに、カラーフィルタを設けていないモノクロセンサを用いても良い。

撮像センサ３９は、ディスプレイ２１にリアルタイム表示するための動画の撮像と、フリーズスイッチ２４ｂの操作による静止画の撮像とを行う。動画の撮像は、例えば、内視鏡システム１６の起動に伴って開始される。

ＣＤＳ回路４０は、撮像センサ３９から受信したアナログの画像信号に、相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）を行う。ＣＤＳ回路４０を経た画像信号はＡＧＣ回路４２に入力される。ＡＧＣ回路４２は、入力された画像信号に対して、自動利得制御（ＡＧＣ：Automatic Gain Control）を行う。Ａ／Ｄ（Analog to Digital）変換回路４４は、ＡＧＣ回路４２を経たアナログ画像信号を、デジタルの画像信号に変換する。Ａ／Ｄ変換回路４４は、Ａ／Ｄ変換後のデジタル画像信号を、プロセッサ装置２０に入力する。

図２に示すように、プロセッサ装置２０は、画像信号取得部５０と、ＤＳＰ（Digital Signal Processor）５１と、ノイズ低減部５２と、画像処理部５３と、表示制御部５４と、画像保存制御部５５と、画像保存部５６とを備えている。

画像処理部５３では、内視鏡画像１００を取得するとともに、内視鏡画像１００から観察対象内の異常領域を検出する。画像信号取得部５０は、内視鏡１８から、観察モードに対応したデジタル画像信号を取得する。通常モード又は異常領域検出モードの場合には、Ｂｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号を取得する。特殊光モードの場合には、Ｂｓ画像信号、Ｇｓ画像信号、Ｒｓ画像信号を取得する。異常領域検出モードの場合には、通常光の照明時に１フレーム分のＢｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号を取得し、特殊光の照明時に１フレーム分のＢｓ画像信号、Ｇｓ画像信号、Ｒｓ画像信号を取得する。

ＤＳＰ５１は、画像信号取得部５０が取得した画像信号に対して、欠陥補正処理、オフセット処理、ＤＳＰ用ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、及びデモザイク処理等の各種信号処理を施す。欠陥補正処理は、撮像センサ３９の欠陥画素の信号を補正する。オフセット処理は、欠陥補正処理した画像信号から暗電流成分を除き、正確なゼロレベルを設定する。ＤＳＰ用ゲイン補正処理は、オフセット処理した画像信号に特定のＤＳＰ用ゲインを乗じることにより信号レベルを整える。

リニアマトリクス処理は、ＤＳＰ用ゲイン補正処理した画像信号の色再現性を高める。ガンマ変換処理は、リニアマトリクス処理した画像信号の明るさや彩度を整える。ガンマ変換処理した画像信号には、デモザイク処理（等方化処理、又は同時化処理とも言う）を施すことによって、各画素で不足した色の信号を補間によって生成する。このデモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。ノイズ低減部５２は、ＤＳＰ５１でデモザイク処理等を施した画像信号に対して、例えば、移動平均法やメディアンフィルタ法等によるノイズ低減処理を施し、ノイズを低減する。ノイズ低減後の画像信号は画像処理部５３に入力される。

画像処理部５３は、通常モード画像処理部５８と、特殊光モード画像処理部５９と、異常領域検出モード画像処理部６０を備えている。通常モード画像処理部５８は、通常モードに設定されている場合に作動し、受信したＢｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理を行う。色変換処理では、ＲＧＢ画像信号に対して３×３のマトリックス処理、階調変換処理、及び３次元ＬＵＴ（Look Up Table）処理などにより色変換処理を行う。

色彩強調処理は、色変換処理済みのＲＧＢ画像信号に対して行われる。構造強調処理は、観察対象の構造を強調する処理であり、色彩強調処理後のＲＧＢ画像信号に対して行われる。上記のような各種画像処理等を行うことによって、通常画像が得られる。通常画像は、紫色光Ｖ、青色光Ｂｘ、緑色光Ｇ、赤色光Ｒがバランス良く発せられた通常光に基づいて得られた画像であるため、自然な色合いの画像となっている。通常画像は、表示制御部５４に入力される。

特殊光モード画像処理部５９は、特殊光モードに設定されている場合に作動する。特殊光モード画像処理部５９では、受信したＢｓ画像信号、Ｇｓ画像信号、Ｒｓ画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理を行う。色変換処理、色彩強調処理、及び構造強調処理の処理内容は、通常モード画像処理部５８と同様である。上記のような各種画像処理を行うことによって、特殊画像が得られる。特殊画像は、血管のヘモグロビンの吸収係数が高い紫色光Ｖが、他の色の青色光Ｂｘ、緑色光Ｇ、赤色光Ｒよりも大きい発光量となっている特殊光に基づいて得られた画像であるため、血管構造や腺管構造の解像度が他の構造よりも高くなっている。特殊画像は表示制御部５４に入力される。

異常領域検出モード画像処理部６０は、異常領域検出モード時に設定されている場合に作動する。図６に示すように、異常領域検出モード画像処理部６０は、検出用画像処理部６１と、異常領域検出部６２とを有している。検出用画像処理部６１は、受信したＢｃ画像信号、Ｇｃ画像信号、Ｒｃ画像信号に対して、色変換処理など通常モード画像処理部５８と同様の画像処理により内視鏡画像１００を順次取得する。

異常領域検出部６２は、内視鏡画像１００を画像解析し、観察対象内の異常領域を検出するための異常領域検出処理を行う。本実施形態では、異常領域検出部６２は、異常領域として観察対象内の病変部（例えば、腫瘍や炎症など）を検出する。この場合、異常領域検出部６２は、先ず内視鏡画像１００を複数の小領域、例えば画素数個分の正方領域に分割する。次いで、分割した内視鏡画像１００から画像的な特徴量を算出する。続いて、算出した特徴量に基づき、各小領域が病変部であるか否かを認識処理する。このような認識処理としては、畳み込みニューラルネットワーク（Convolutional Neural Network）や、深層学習（Deep Learning）などの機械学習アルゴリズムであることが好ましい。

また、異常領域検出部６２により内視鏡画像１００から算出される特徴量としては、観察対象における所定部位の形状、色又はそれら形状や色などから得られる値であることが好ましい。例えば、特徴量として、血管密度、血管形状、血管の分岐数、血管の太さ、血管の長さ、血管の蛇行度、血管の深達度、腺管形状、腺管開口部形状、腺管の長さ、腺管の蛇行度、色情報の少なくともいずれか、もしくは、それらを２以上組み合わせた値であることが好ましい。

最後に、同じ種類と特定された、ひとかたまりの小領域を１つの病変部として抽出する。異常領域検出部６２は、抽出した病変部の位置情報、寸法、病変の種類などの情報から構成される検出情報１０１Ａを、内視鏡画像１００に付帯させる付帯情報１０１として記録する。

表示制御部５４は、画像処理部５３からの画像やデータをディスプレイ２１に表示するための表示制御を行う。通常モードに設定されている場合には、表示制御部５４は、通常画像をディスプレイ２１に表示する制御を行う。特殊光モードに設定されている場合には、表示制御部５４は、特殊画像をディスプレイ２１に表示する制御を行う。

異常領域検出モードに設定されている場合、表示制御部５４は、異常領域検出モード画像処理部６０から出力された内視鏡画像１００、及び内視鏡画像１００に付帯情報１０１として記録された検出情報１０１Ａに基づき、内視鏡画像１００に対して異常領域を強調するリアルタイム表示、例えば、観察対象内の病変部を強調する表示を行う。

画像保存制御部５５は、内視鏡画像１００を保存する際、検出情報１０１Ａを含む付帯情報１０１を内視鏡画像１００に付帯させて画像保存部５６に保存する。なお、付帯情報１０１としては、検出情報１０１Ａの他に、固有の画像ＩＤや撮像時刻、観察モードの種類、光源の波長帯域情報などが、各内視鏡画像１００に関連付けて記録される。また、画像保存部５６に保存する内視鏡画像１００としては静止画だけではなく、動画として撮像された内視鏡画像（動画を構成するフレーム）を保存してもよい。

図１に示すように、内視鏡システム１６は、病院内のＬＡＮ（Local Area Network）などのネットワーク１４を通じて、内視鏡画像閲覧支援システム１０と接続されている。内視鏡システム１６で撮像された内視鏡画像１００は、内視鏡画像閲覧支援システム１０に保存される。

内視鏡画像閲覧支援システム１０は、内視鏡画像閲覧支援サーバ８０と、クライアント端末８１と、サーバ群８２とを備え、これらがＬＡＮなどのネットワーク８４を介して接続されている。内視鏡画像閲覧支援サーバ８０は、クライアント端末８１からの要求に基づいて、内視鏡画像１００を表示する内視鏡画像表示画面１０４の生成及び更新を行い、クライアント端末８１へ配信する、本発明の医用画像処理装置である。

サーバ群８２は、画像サーバ８６と、レポートサーバ８８とからなる。画像サーバ８６は、画像データベース（以下、画像ＤＢと称する）９０を備えている。画像ＤＢ９０には、内視鏡システム１６から送信された内視鏡画像１００が格納される（図７参照）。レポートサーバ８８は、レポートデータベース（以下、レポートＤＢと称する）９２を備えている。レポートＤＢ９２には、内視鏡検査の実施に伴って作成される検査レポート９４が格納される（図８参照）。これら、画像ＤＢ９０、及びレポートＤＢ９２は、例えば、患者毎に付与される患者ＩＤ（Identification Data）や、内視鏡検査毎に付与される検査ＩＤなどのキーワードによる検索が可能なデータベースである。

検査レポート９４は、内視鏡検査を行った検査医などの医師が内視鏡画像１００を閲覧して医学的な所見などをまとめたレポートである。検査レポート９４には所見の根拠となった内視鏡画像１００が添付される。

クライアント端末８１は、内視鏡画像１００や検査レポート９４を閲覧するための端末であり、検査医が検査終了後に内視鏡画像１００を閲覧したり、検査レポート９４を作成するために使用する。また、クライアント端末８１は、内視鏡検査を依頼した診療科の医師が内視鏡画像１００や検査レポート９４を閲覧するために使用される。クライアント端末８１は、例えば、ノート型やデスクトップ型のパソコンなどである。経過観察を行う場合など、過去の検査結果を参照する場合には、医師は、クライアント端末８１を使用して、内視鏡画像閲覧支援サーバ８０にアクセスして、保存された内視鏡画像１００や検査レポート９４を読み出して閲覧を行う。

図７に示すように、画像ＤＢ９０には、複数の画像フォルダ９６が設けられている。内視鏡検査が１回行われると、この内視鏡検査に対応する画像フォルダ９６が１つ作成される。そして、各画像フォルダ９６には、対応する内視鏡検査で取得された内視鏡画像１００が格納される。前述のように、内視鏡検査では、動画の撮像、フリーズスイッチ２４ｂによる任意のタイミングの静止画の撮像、所定時間間隔で行われる自動撮像の他、テスト撮像なども行われて、これらの撮像で得られた画像がすべて内視鏡画像１００として画像フォルダ９６内に格納される。

これらの内視鏡画像１００は、上述したように、固有の画像ＩＤや撮像時刻、検出情報などの付帯情報１０１が関連付けて記録された撮像情報１０２として画像フォルダ９６内に格納されている。各内視鏡画像１００に付帯情報１０１として記録される撮像時刻は、後述する注目区間設定部１４２が内視鏡画像１００の注目度を推定する際、各内視鏡画像１００を時系列順に配列する場合に使用される。

図７は、検査ＩＤがＡ（検査Ａ）の画像フォルダ９６内に、画像ＩＤがＡ１～Ａｎのｎ枚の内視鏡画像１００が格納された例を示している。ここで、画像ＩＤのＡ１～Ａｎの添字として付される数字は、撮像時刻の順番に昇順に付されている。図７において、撮像時刻が最も早い内視鏡画像１００の画像ＩＤはＡ１であり、それ以降、Ａ２、Ａ３・・・Ａｎの順番になる。

画像フォルダ９６は、画像サーバ８６において、内視鏡システム１６から送信される検査単位の内視鏡画像１００を保存する際に作成される。もちろん、画像フォルダ９６を内視鏡システム１６側で作成し、画像フォルダ９６毎、画像サーバ８６が受信してもよい。また、画像ＤＢ９０において、複数の内視鏡画像１００を検査単位で読み出しできる形態で格納されていれば、画像フォルダ９６はなくてもよい。

図８に示すように、レポートＤＢ９２には、複数のレポートフォルダ９８が設けられている。内視鏡検査毎に作成された検査レポート９４は、レポートフォルダ９８に格納される。もちろん、検査レポート９４についても、内視鏡画像１００と同様に、レポートＤＢ９２において、内視鏡検査毎に読み出しできる形態で格納されていれば、レポートフォルダ９８を設けなくてもよい。

図９に示すように、検査レポート９４、及び検査レポート９４を表示する際のレポート表示画面１０６は、レポート本体９４Ａ、及び、前述した検査識別情報や患者識別情報、並びに、作成者を示す作成者情報からなる。レポート本体９４Ａは、内視鏡検査の検査医の所見１０５と、検査レポート９４に添付される内視鏡画像１００とを有する。内視鏡画像１００は、所見１０５の根拠となった内視鏡画像１００であり、所見１０５毎に対応付けて添付される。図９は、１つ目の所見１０５（所見Ｎｏ１）に、画像ＩＤがＡ１３、Ａ２４の２枚の内視鏡画像１００が対応付けされ、２つ目の所見１０５（所見Ｎｏ２）に、画像ＩＤがＡ３７の１枚の内視鏡画像１００が対応付けされた例を示している。

検査レポート９４の作成において、内視鏡画像閲覧支援サーバ８０は、内視鏡検査単位で得られた複数の内視鏡画像１００の中から後述するユーザの注目度に基づき内視鏡画像１００を自動的に選別し、検査レポート９４の書式に合わせて、選別した内視鏡画像１００を添付し、また内視鏡画像１００に関連付けされた付帯情報１０１から検査識別情報や患者識別情報などを自動的にレイアウトする。

なお、以降の説明では、内視鏡検査で得られた内視鏡画像１００のうち、異常領域が含まれる注目内視鏡画像１００Ａ、ユーザの注目度に基づき選別された選別内視鏡画像１００Ｓ、ユーザの注目度に基づき選別されなかったものについては非選別内視鏡画像１００Ｎとして区別して呼ぶ場合がある。

検査医は、検査レポート９４に添付された内視鏡画像１００を観察しながら、所見１０５を入力する。選別内視鏡画像１００Ｓが検査レポート９４に添付される場合は、例えば、選別内視鏡画像１００Ｓがサムネイル画像の形態に変換される。

サムネイル画像に変換された選別内視鏡画像１００Ｓには、変換元の内視鏡画像１００の画像ＩＤが画像特定情報として記録される。画像特定情報により、検査レポート９４を読みだした場合に、検査レポート９４の対象となった内視鏡検査で撮像された複数の内視鏡画像１００の中から検査レポート９４に添付された内視鏡画像１００を特定することができる。図９は、検査Ａの検査レポート９４に、画像ＩＤがＡ１３、Ａ２４、Ａ３７の３枚の内視鏡画像１００が添付された例を示している。なお、図９などにおいて、内視鏡画像１００に付したＡ１３、Ａ２４、Ａ３７などの記号は、説明の便宜上付したものであり、実際の内視鏡画像１００の画面には表示されない。

本例では、検査レポート９４に添付する選別内視鏡画像１００Ｓを、サムネイル形態に変換して添付する例で説明をしたが、サムネイル形態に変換せずに、画像フォルダ９６に格納された内視鏡画像１００やそのコピーをそのまま添付してもよい。さらに、内視鏡画像１００そのものに代えて、内視鏡画像１００にアクセスするための格納先のアドレスなどを検査レポート９４に記録してもよい。このように内視鏡画像１００にアクセスするための情報を検査レポート９４に記録することも、検査レポート９４への内視鏡画像１００の添付に含まれる。

内視鏡画像閲覧支援サーバ８０やクライアント端末８１、及び、サーバ群８２を構成する画像サーバ８６、レポートサーバ８８は、パーソナルコンピュータ、サーバコンピュータ、ワークステーションといったコンピュータをベースに、オペレーティングシステム等の制御プログラムや、クライアントプログラム又はサーバプログラム等のアプリケーションプログラムをインストールして構成される。

図１０に示すように、各サーバ８０、８６、８８、及び、クライアント端末８１を構成するコンピュータは、基本的な構成は同じであり、それぞれ、ＣＰＵ（Central Processing Unit）１１０、メモリ１１２、ストレージデバイス１１４、通信Ｉ／Ｆ１１６、及び入出力部１１８を備えている。これらはデータバス１２０を介して接続されている。入出力部１１８は、ディスプレイ１２２と、キーボードやマウスなどの入力デバイス１２４とからなる。

ストレージデバイス１１４は、例えば、ＨＤＤ（Hard Disk Drive）であり、制御プログラムやアプリケーションプログラム（以下、ＡＰという）１２６が格納される。また、ＤＢが構築されるサーバ８６、８８には、プログラムを格納するＨＤＤとは別に、ＤＢ用のストレージデバイス１１４として、例えば、ＨＤＤを複数台連装したディスクアレイが設けられる。なお、ディスクアレイは、サーバ本体に内蔵されるものでもよいし、サーバ本体とは別に設けられ、サーバ本体にＬＡＮなどのネットワークを通じて接続されるものでもよい。

メモリ１１２は、ＣＰＵ１１０が処理を実行するためのワークメモリであり、ＲＡＭ（Random Access Memory）で構成される。ＣＰＵ１１０は、ストレージデバイス１１４に格納された制御プログラムをメモリ１１２へロードして、プログラムに従った処理を実行することにより、コンピュータの各部を統括的に制御する。通信Ｉ／Ｆ１１６は、ネットワーク８４との間の伝送制御を行うネットワークインタフェースである。

クライアント端末８１には、ＡＰ１２６として、クライアントプログラムがインストールされている。クライアントプログラムは、内視鏡画像閲覧支援サーバ８０にアクセスして内視鏡画像表示画面１０４又はレポート表示画面１０６の閲覧要求や更新要求などの各種要求を送信する機能、内視鏡画像閲覧支援サーバ８０からクライアント端末８１に送られた内視鏡画像表示画面１０４又はレポート表示画面１０６を受信して表示する機能を、クライアント端末８１に実行させるためのプログラムである。なお、クライアントプログラムは、内視鏡画像閲覧支援システム１０専用にプログラミングされたものであってもよいし、周知のウェブブラウザであってもよい。

図１１に示すように、クライアントプログラムが起動されると、クライアント端末８１のディスプレイ１２２には、ＧＵＩ（Graphical User Interface）による操作機能を備えた起動画面１２８が表示され、クライアント端末８１のＣＰＵ１１０は、メモリ１１２などと協働して、ＧＵＩ制御部１３０、及び内視鏡画像閲覧支援サーバ８０に対する各種の要求を発行する要求発行部１３２として機能する。

起動画面１２８には、検査ＩＤ入力欄１２８Ａ、決定ボタン１２８Ｂが設けられている。検査ＩＤ入力欄１２８Ａに検査ＩＤを入力し、決定ボタン１２８Ｂを操作することによって、複数の内視鏡検査の中から１つの内視鏡検査を指定することができる。内視鏡検査が指定されると、検査ＩＤ入力欄１２８Ａに入力された情報が、ＧＵＩ制御部１３０から要求発行部１３２に対して送信される。要求発行部１３２は、指定された内視鏡検査、すなわち、検査ＩＤ入力欄１２８Ａに入力された検査ＩＤに対応する内視鏡検査で得られた内視鏡画像１００を表示する内視鏡画像表示画面１０４の配信要求を生成し、内視鏡画像閲覧支援サーバ８０に対して発行する。この配信要求に応答して内視鏡画像閲覧支援サーバ８０から初期状態の内視鏡画像表示画面１０４が配信され、クライアント端末８１のディスプレイ１２２に表示される。

内視鏡画像表示画面１０４は、例えば、ＸＭＬ（Extensible Markup Language）などのマークアップ言語により記述されたデータで構成され、この内視鏡画像表示画面１０４自体もＧＵＩによる操作機能を備えている。ＧＵＩ制御部１３０は、キーボードからの入力操作や、マウスのポインタ１０８による操作ボタンのクリック操作など、内視鏡画像表示画面１０４を通じた入力デバイス１２４からの操作指示を受け付ける。要求発行部１３２は、ＧＵＩ制御部１３０が受け付けた操作指示に応じて、内視鏡画像表示画面１０４の更新要求などを発行する。

更新要求には、表示する内視鏡画像１００の切り替え指示や表示モードの切り替え指示など、内視鏡画像表示画面１０４の表示内容を更新する指示が含まれる。更新要求が内視鏡画像閲覧支援サーバ８０に送信されると、内視鏡画像閲覧支援サーバ８０は、内視鏡画像表示画面１０４を更新し、更新済みの内視鏡画像表示画面１０４をクライアント端末８１に配信する。これにより、クライアント端末８１において表示される内視鏡画像表示画面１０４が更新される。

内視鏡画像表示画面１０４には、後述する内視鏡画像選別部１４３により選別された複数の内視鏡画像１００が表示される他、内視鏡検査の検査ＩＤや、この内視鏡検査の検査対象の患者名や患者ＩＤが表示される。

［医用画像処理装置の構成］
図１２に示すように、内視鏡画像閲覧支援サーバ８０には、ＡＰ１２６として、サーバプログラムがインストールされている。サーバプログラムは、コンピュータを内視鏡画像閲覧支援サーバ８０（医用画像処理装置）として機能させるための作動プログラムである。サーバプログラムが起動されると、内視鏡画像閲覧支援サーバ８０のＣＰＵ１１０は、メモリ１１２などと協働して、受付部１４０、内視鏡画像取得部１４１（撮像情報取得部に相当する。）、注目区間設定部１４２、内視鏡画像選別部１４３（医用画像選別部に相当する。）、画面表示制御部１４４、保存制御部１４５として機能する。

受付部１４０は、クライアント端末８１から入力される内視鏡画像表示画面１０４又はレポート表示画面１０６の配信要求や更新要求を受け付け、これらの要求を画面表示制御部１４４へ出力する。前述のように、内視鏡画像表示画面１０４の配信要求は、起動画面１２８の検査ＩＤ入力欄１２８Ａに入力された検査ＩＤによって指定された複数の内視鏡画像１００から選別された内視鏡画像１００を表示する内視鏡画像表示画面１０４の配信を要求するものである。受付部１４０は、配信要求を受け付けると、配信要求で指定された検査ＩＤ（検査ＩＤ入力欄１２８Ａに入力された検査ＩＤ）を内視鏡画像取得部１４１及び内視鏡画像選別部１４３へ入力する。

図１３に示すように、内視鏡画像取得部１４１は、検査ＩＤが入力されると、画像サーバ８６にアクセスして、通知された検査ＩＤに対応する内視鏡検査で得られた全ての内視鏡画像１００を、画像ＤＢ９０から取得する。具体的には、内視鏡画像取得部１４１は、検査ＩＤを検索キーワードとして、画像ＤＢ９０を検索し、検査ＩＤが共通する撮像情報１０２を画像ＤＢ９０の画像フォルダ９６から読みだして取得する。上述したように、撮像情報１０２には、内視鏡画像１００と、内視鏡画像１００に関連付けて記録された付帯情報１０１とが含まれている。これにより、１回の内視鏡検査で得られた検査単位の複数の内視鏡画像１００と、内視鏡画像１００に関連付けて記録された付帯情報１０１がすべて取得される。内視鏡画像取得部１４１は、取得した内視鏡画像１００及び付帯情報１０１を、注目区間設定部１４２や内視鏡画像選別部１４３に出力する。

注目区間設定部１４２は、内視鏡画像１００又は付帯情報１０１から、内視鏡画像１００を撮像した際のユーザの注目度（以下、単に注目度とする）を推定する。本実施形態では、付帯情報１０１に含まれる検出情報１０１Ａから注目度を推定し、かつ所定の条件を満たす内視鏡画像１００については、画像処理を用いて注目度を推定する。注目区間設定部１４２は、内視鏡画像１００を撮像した際の注目度を推定した後、各内視鏡画像１００の注目度に応じて内視鏡画像１００を分類した注目区間を設定する。なお、注目区間設定部１４２が行う注目度の推定、及び注目区間の設定についての詳細な説明は後述する。

内視鏡画像選別部１４３は、注目区間設定部１４２が設定した各注目区間から注目区間設定部１４２が推定した注目度に応じた比率で、内視鏡画像１００を選別する。すなわち、内視鏡画像選別部１４３は、注目度が高い注目区間からは選別する内視鏡画像１００の枚数を多く、注目度が小さい注目区間からは選別する内視鏡画像１００の枚数を少なくする。内視鏡画像選別部１４３は、以上のように選別した内視鏡画像１００を選別内視鏡画像１００Ｓとして、保存制御部１４５及び画面データ生成部１４６に出力する。

画面表示制御部１４４は、画面データ生成部１４６及び出力制御部１４７を有する。画面データ生成部１４６には、内視鏡画像取得部１４１から内視鏡画像１００が直接入力される他、内視鏡画像選別部１４３から選別内視鏡画像１００Ｓが入力される。

画面データ生成部１４６は、入力された選別内視鏡画像１００Ｓや、選別内視鏡画像１００Ｓを含む内視鏡画像１００を表示する内視鏡画像表示画面１０４又はレポート表示画面１０６の生成及び更新を行う。画像データ生成部１４６は、選別内視鏡画像１００Ｓと、これらの選別内視鏡画像１００Ｓに関連付けて記録された付帯情報１０１とを用いて内視鏡画像表示画面１０４又はレポート表示画面１０６を作成する。

生成及び更新された内視鏡画像表示画面１０４は、出力制御部１４７へと入力される。出力制御部１４７は、入力された内視鏡画像表示画面１０４又はレポート表示画面１０６を、要求元のクライアント端末８１に配信する。クライアント端末８１では、出力制御部１４７から配信された内視鏡画像表示画面１０４をディスプレイ１２２に表示する。

内視鏡画像表示画面１０４の表示モードとしては、検査単位で取得された複数枚の内視鏡画像１００の中から、選別内視鏡画像１００Ｓを抽出して、選別内視鏡画像１００Ｓのみを時系列順に表示する選別内視鏡画像表示モード（図１１に示す表示モード）を少なくとも有している。

なお、本実施形態では、内視鏡画像表示画面１０４には、レポート表示画面１０６への切替ボタン１０４Ａが設けられている。例えば、内視鏡画像表示画面１０４に表示された選別内視鏡画像１００Ｓの１つを選択し、かつ切替ボタン１０４Ａを選択すると、選別内視鏡画像１００Ｓを添付した検査レポート９４を表示するレポート表示画面１０６に切り替えることができる。

保存制御部１４５は、選別内視鏡画像１００Ｓを記憶装置に保存する制御を行う。本実施形態では、保存制御部１４５は、選別内視鏡画像１００Ｓを画像サーバ８６に送信し、画像ＤＢ９０に保存させる。なお、この場合、選別内視鏡画像１００Ｓを新規に保存するのではなく、既に画像サーバ８６に保存され、画像ＩＤが同じ内視鏡画像１００の付帯情報１０１に選別内視鏡画像１００Ｓであることを記録してもよい。保存制御部１４５による選別内視鏡画像１００Ｓの保存先としては、画像ＤＢ９０に限らず、検査レポート９４に添付してレポートサーバ８８に送信し、レポートＤＢ９２に保存してもよく、あるいは、内視鏡画像閲覧支援サーバ８０に設けた記憶装置に保存してもよい。

図１４に示すフローチャート、図１５及び図１６に示す説明図を用いて、内視鏡画像閲覧支援サーバ８０における内視鏡画像１００の取得から、注目度の推定、内視鏡画像の選別、保存等について、より具体的に説明する。先ず、上述したようにクライアント端末８１からの配信要求を受け付けた場合、内視鏡画像取得部１４１が画像ＤＢ９０を検索し、１回の内視鏡検査で得られた検査単位の撮像情報１０２、すなわち複数の内視鏡画像１００と、内視鏡画像１００に関連付けて記録された付帯情報１０１とを画像ＤＢ９０から読み出して取得する（Ｓ１１）。

次に、取得した検査単位の複数の内視鏡画像１００と、内視鏡画像１００に関連付けて記録された付帯情報１０１について、注目区間設定部１４２が付帯情報１０１に含まれる検出情報１０１Ａから注目度を推定する（Ｓ１２）。この検出情報１０１Ａから注目度を推定する場合、図１５（Ａ）に示すように、検出情報１０１Ａから各内視鏡画像１００に異常領域が有るか無いかを判断して行う。すなわち、異常領域が無い、画像ＩＤがＡ１、Ａ２、Ａ６の内視鏡画像１００については、注目度が最も低いと推定する。なお、図１５及び図１６においては、注目度の値は、１が最も低く、１０が最も高い場合を例示している。また、図１５（Ａ）は、１回の内視鏡検査で得られた検査単位の複数の内視鏡画像１００について時系列順に配列したものの一例であり、図示の都合上、画像ＩＤがＡ７以降の内視鏡画像１００を省略している。

一方、注目区間設定部１４２は、異常領域である病変部ＬＳが有る、画像ＩＤがＡ３～Ａ５の内視鏡画像１００については、注目度が高いと推定し、かつこれら異常領域有りの内視鏡画像１００が注目内視鏡画像１００Ａ（注目医用画像に相当する。）であると決定する。

次に、図１５（Ｂ）に示すように、注目区間設定部１４２は、複数の内視鏡画像１００を時系列順に配列した場合に、注目内視鏡画像１００Ａを含む画像ＩＤがＡ３～Ａ５の内視鏡画像１００からなる内視鏡画像群（医用画像群に相当する。）のうち、少なくとも１つの内視鏡画像１００に対して、画像処理を用いて注目度を推定する。図１５（Ｂ）に示す例では、上記の内視鏡画像群の条件に合う画像ＩＤがＡ３～Ａ５の注目内視鏡画像１００Ａのうち、時系列的に中央に位置する画像ＩＤがＡ４の注目内視鏡画像１００Ａについて画像処理を用いて注目度を推定する。

注目区間設定部１４２は、画像処理を用いた注目度の推定として、時系列順に配列した場合に、注目度の推定の対象となる画像ＩＤがＡ４の注目内視鏡画像１００Ａと、前後のＡ３、Ａ５の内視鏡画像１００との類似度を注目度とする。この類似度は、周知のパターンマッチングによって算出することができる。なお、類似度の算出はこれに限らず、内視鏡画像１００の平均色を比較する方法、異常領域の位置、面積などの特徴量を比較する方法、ニューラルネットワークを用いた方法など、類似度を算出できる方法であればよい。

図１５（Ｂ）に示す例では、画像ＩＤがＡ４の注目内視鏡画像１００Ａについて、画像ＩＤがＡ３の内視鏡画像１００との類似度は１０で、画像ＩＤがＡ５の内視鏡画像１００との類似度は７となっている。上述したように、注目区間設定部１４２は、この類似度を、画像ＩＤがＡ４の注目内視鏡画像１００Ａに対する注目度とする。なお、この場合、前後のＡ３、Ａ５の内視鏡画像１００との類似度が互いに異なる値なので、類似度が高い方の値を注目度とする。なお、これに限らず、前後の内視鏡画像１００との類似度の平均値を注目度としてもよい。本実施形態では、画像ＩＤがＡ３、Ａ５の注目内視鏡画像１００Ａについても同様に類似度を求める。

図１６（Ａ）に示すように、画像ＩＤがＡ３、Ａ４、Ａ５の内視鏡画像１００については、上記のように類似度を算出し、それぞれの類似度が１０、１０、７となっている。すなわち、注目区間設定部１４２が推定する画像ＩＤがＡ３、Ａ４、Ａ５の内視鏡画像１００に対する注目度は、１０、１０、７である。

次に、注目区間設定部１４２は、算出した注目度に応じて複数の内視鏡画像１００を分類した注目区間を設定する（Ｓ１３）。図１６（Ｂ）に示す例では、注目度に応じて画像ＩＤがＡ１、Ａ２の内視鏡画像１００が注目区間Ｇ１、Ａ３～Ａ５の内視鏡画像１００が注目区間Ｇ２、Ａ６の内視鏡画像１００が注目区間Ｇ３に分類されている。注目区間設定部１４２による注目度に応じた分類は、例えば、時系列順に前後の内視鏡画像１００の注目度を比較し、一定の閾値未満であれば、同じ注目区間に属し、閾値以上の差があれば、別々の注目区間に分かれる。このように、注目区間設定部１４２は、時系列順に前後の内視鏡画像１００の注目度比較を繰り返して注目区間を設定する。注目区間設定部１４２は、設定した注目区間、及び各内視鏡画像の注目度を内視鏡画像選別部１４３に出力する。

次に、内視鏡画像選別部１４３は、注目度に応じた比率で各注目区間Ｇ１～Ｇ３から内視鏡画像１００を選別する（Ｓ１４）。この場合、例えば、各注目区間Ｇ１～Ｇ３に属する内視鏡画像１００の注目度について平均値を取る。注目区間Ｇ１、Ｇ３における注目度の平均値は１、注目区間Ｇ２における注目度の平均値は９である。なお、これに限らず、各注目区間Ｇ１～Ｇ３における注目度の最も高い値を用いてもよい。

以上のように、内視鏡画像選別部１４３は、各注目区間Ｇ１～Ｇ３における注目度から比率を決定し、この比率で内視鏡画像１００を選別する。図１５に示す例では、比率は１：９：１である。

図１６（Ｃ）に示す例では、注目度が低い注目区間Ｇ１、Ｇ３から選別された選別内視鏡画像１００Ｓは１枚であり、これは最も低い比率に応じた枚数である。一方、注目度が高い注目区間Ｇ２から選別された選別内視鏡画像１００Ｓは３枚であり、これは、最も高い比率に応じた枚数である。なお、比率に応じた枚数が１未満の場合は繰り上げて１枚とする。これに限らず、比率に応じた枚数が１未満の場合は端数を切り捨てて０枚にしてもよい。

なお、図１６（Ｃ）に示す例では、注目度が高い注目区間Ｇ２からは、比率に応じた結果として、全ての選別内視鏡画像１００Ｓが選別されているが、注目区間に属する内視鏡画像１００よりも比率に応じた枚数が少ない場合、例えば、注目区間内で注目度が高い順に内視鏡画像を選別してもよい。

注目度に応じた比率で各注目区間から選別された選別内視鏡画像１００Ｓは、画面表示制御部１４４及び保存制御部１４５に出力される。保存制御部１４５は、選別内視鏡画像１００Ｓを画像ＤＢ９０に保存させる（Ｓ１５）。一方、画面表示制御部１４４に入力された選別内視鏡画像１００Ｓは、内視鏡画像表示画面１０４又はレポート表示画面１０６の生成に用いられる。

以上のように、内視鏡画像閲覧支援サーバ８０では、内視鏡画像１００に関連付けて記録された付帯情報１０１から注目度を推定し、かつ内視鏡画像１００から画像処理を用いて注目度を推定し、注目度に応じて分類した注目区間を設定しているので、ユーザの注目度をより精度良く推定することが可能であり、注目度に応じた選別内視鏡画像１００Ｓの比率も適正となる。よって、複数の内視鏡画像から、医師や病院の方針を反映した内視鏡画像を精度良く、かつ適正な比率で選別することが可能となり、医師の負担を減少させることができる。

［第２実施形態］
上記第１実施形態では、注目区間設定部１４２が推定するユーザの注目度として、注目医用画像と前後の内視鏡画像との類似度を注目度としているが、これに限らず、注目度の推定として、異常領域に対する処置状態を注目度としてもよい。図１７においては、内視鏡検査において異常領域である病変部ＬＳに対する処置を処置具１５０で行っており、検出された異常領域の検出情報、及び処置具１５０による処置状態情報が付帯情報１０１に記録されている。なお、注目度の推定として、異常領域に対する処置状態を注目度としたこと以外は、第２実施形態は、上記第１実施形態と同様であり、説明を省略する。

先ず、クライアント端末８１からの配信要求を受け付けた場合、上記第１実施形態と同様に、内視鏡画像取得部１４１が１回の内視鏡検査で得られた複数の内視鏡画像１００と、内視鏡画像１００に関連付けて記録された付帯情報１０１とを画像ＤＢ９０から読み出して取得する。

次に、図１７（Ａ）に示すように、注目区間設定部１４２が付帯情報１０１から注目度を推定する。本実施形態では、各内視鏡画像１００に異常領域が有るか無いかとともに、処置具１５０による処置状態を判断する。すなわち、異常領域が無い、画像ＩＤがＡ１、Ａ２、Ａ７の内視鏡画像１００については、注目度が１であり、注目度が最も低いと推定する。なお、図１７（Ａ）は、１回の内視鏡検査で得られた検査単位の複数の内視鏡画像１００について時系列順に配列したものの一例であり、図示の都合上、画像ＩＤがＡ８以降の内視鏡画像１００を省略している。

一方、注目区間設定部１４２は、異常領域である病変部ＬＳが有る、画像ＩＤがＡ３～Ａ６の内視鏡画像１００については、注目度が高いと推定し、これら異常領域有りの内視鏡画像１００について、処置状態を判断する。なお、この場合、処置具１５０により病変部ＬＳを切除した切除跡１５１を含む内視鏡画像１００（図１７（Ａ）における画像ＩＤがＡ６の内視鏡画像１００）についても、異常領域有りの内視鏡画像１００に含まれる。そして、異常領域有り、かつ処置状態について処置前である画像ＩＤがＡ３、Ａ４の内視鏡画像１００については注目度が６であり、処置状態について処置中及び処置後である画像ＩＤがＡ５、Ａ６の内視鏡画像１００については注目度が最も高い１０である。

次に、注目区間設定部１４２は、算出した注目度に応じて複数の内視鏡画像１００を分類した注目区間を設定する。図１７（Ｂ）に示す例では、注目度に応じて画像ＩＤがＡ１、Ａ２の内視鏡画像１００が注目区間Ｇ１、Ａ３～Ａ６の内視鏡画像１００が注目区間Ｇ２、Ａ７の内視鏡画像１００が注目区間Ｇ３に分類されている。注目区間設定部１４２による注目度に応じた分類は、上記第１実施形態と同様である。注目区間設定部１４２は、設定した注目区間、及び各内視鏡画像の注目度を内視鏡画像選別部１４３に出力する。

以上のように、注目度の推定として、異常領域に対する処置状態を注目度とすることで、上記第１実施形態と同様に、ユーザの注目度をより精度良く推定することが可能であり、注目度に応じた選別内視鏡画像１００Ｓの比率も適正となる。なお、処置状態の判断については、付帯情報１０１に記録された処置状態情報に基づくものに限定するものではなく、内視鏡画像１００から画像処理を用いて判断してもよく、処置具１５０や、病変部ＬＳの切除跡１５１を、例えばパターンマッチングによって検出した場合、それぞれ処置中、処置後と判断してもよい。

［変形例２－１］
なお、上記第１及び第２実施形態では、注目区間設定部１４２が推定するユーザの注目度として、注目医用画像と前後の内視鏡画像との類似度、又は異常領域に対する処置状態を注目度としているが、本発明はこれに限らず、注目区間設定部１４２による注目度の推定として、異常領域の異常度の大きさを注目度としてもよい。この場合、異常領域の異常度としては、例えば、異常領域の色情報、形状、大きさ等から画像処理により判断する。なお、異常領域の大きさから異常度を判断する場合、測長機能のある内視鏡システム１６により、異常領域の寸法を測定し、この寸法を付帯情報１０１に記録することが好ましい。

［第３実施形態］
上記第１及び第２実施形態では、注目区間設定部１４２が推定するユーザの注目度として、異常領域に関する情報に基づいて注目度を推定しているが、これに限らず、注目度の推定として、時系列順に配列した場合に、前後の内視鏡画像との撮像間隔に反比例した値を注目度としてもよい。図１８においては、内視鏡検査において、内視鏡画像を撮像した撮像時刻を取得しており、取得された撮像時刻が付帯情報１０１に記録されている。図中の撮像時刻Ｔ１～Ｔ７は、内視鏡画像１００の画像ＩＤ（Ａ１～Ａ７）に対応している。なお、注目度の推定として、前後の内視鏡画像１００との撮像間隔に反比例した値を注目度としたこと以外は、第３実施形態は、上記第１実施形態と同様であり、説明を省略する。

先ず、クライアント端末８１からの配信要求を受け付けた場合、上記第１実施形態と同様に、内視鏡画像取得部１４１が１回の内視鏡検査で得られた複数の内視鏡画像１００と、内視鏡画像１００に関連付けて記録された付帯情報１０１とを画像ＤＢ９０から読み出して取得する。

次に、図１８（Ａ）に示すように、注目区間設定部１４２が付帯情報１０１から注目度を推定する。本実施形態では、付帯情報１０１として記録された撮像時刻Ｔ１～Ｔ７から前後の内視鏡画像１００との撮像間隔を算出し、撮像間隔に反比例した値を注目度とする。すなわち、前後の内視鏡画像１００との撮像間隔が大きい、画像ＩＤがＡ１、Ａ２、Ａ７の内視鏡画像１００については、注目度が１であり、注目度が最も低いと推定する。なお、図１８（Ａ）は、１回の内視鏡検査で得られた検査単位の複数の内視鏡画像１００について時系列順に配列したものの一例であり、図示の都合上、画像ＩＤがＡ８以降の内視鏡画像１００を省略している。

一方、注目区間設定部１４２は、前後の内視鏡画像１００との撮像間隔が小さい、画像ＩＤがＡ３～Ａ６の内視鏡画像１００については、注目度が高いと推定しており、画像ＩＤがＡ３、Ａ６の内視鏡画像１００については注目度が６であり、画像ＩＤがＡ４、Ａ５の内視鏡画像１００については注目度が最も高い１０である。

次に、注目区間設定部１４２は、算出した注目度に応じて複数の内視鏡画像１００を分類した注目区間を設定する。図１８（Ｂ）に示す例では、注目度に応じて画像ＩＤがＡ１、Ａ２の内視鏡画像１００が注目区間Ｇ１、Ａ３～Ａ６の内視鏡画像１００が注目区間Ｇ２、Ａ７の内視鏡画像１００が注目区間Ｇ３に分類されている。注目区間設定部１４２による注目度に応じた分類は、上記第１実施形態と同様である。注目区間設定部１４２は、設定した注目区間、及び各内視鏡画像の注目度を内視鏡画像選別部１４３に出力する。

以上のように、注目度の推定として、前後の内視鏡画像１００との撮像間隔に反比例した値を注目度とすることで、上記第１及び第２実施形態と同様に、ユーザの注目度をより精度良く推定することが可能であり、注目度に応じた選別内視鏡画像１００Ｓの比率も適正となる。

本実施形態は、上記第１及び第２実施形態と組み合わせること、すなわち、上記第１及び第２実施形態における画像処理を用いた注目度の推定に加えて、第３実施形態における撮像間隔に反比例した値を注目度とすることを組み合わせることが可能であり、例えば、第１及び第２実施形態のように異常領域に関する付帯情報１０１から画像処理により推定した注目度と、第３実施形態のように前後の内視鏡画像との撮像間隔に反比例した値である注目度とを合算した注目度を使用し、合算した注目度に応じて注目区間を分類し、また合算した注目度に応じた比率で内視鏡画像１００を選別してもよい。

［第４実施形態］
注目度の推定としては、上記第１～第３実施形態に限定するものではなく、内視鏡画像を撮像した際に、撮像センサが位置していた被検体内の位置情報を取得し、この位置情報から撮像センサが同じ位置で内視鏡画像を撮像した撮像回数をカウントし、撮像回数を注目度としてもよい。図１９及び図２０においては、内視鏡検査において、内視鏡画像を撮像する際、撮像センサが位置していた被検体内の位置情報を取得する内視鏡システムの一部について図示している。このような位置情報を取得する内視鏡システムは、国際公開２０１８／１７９９９１Ａ１号公報に詳しく説明されている。なお、被検体内の位置情報を取得する構成以外は、第４実施形態の内視鏡システムは、上記第１～第３実施形態の内視鏡システム１６と同様であり、説明を省略する。

図１９に示すように、内視鏡１８の挿入部２３の外周面には、被検体内への挿入部２３の挿入長を測定するための測定用目盛り１６１が設けられている。患者の口（上部内視鏡の場合）や肛門（下部内視鏡の場合）には測定用目盛り１６１を検出する目盛り検出センサ１６２が設けられている。図１９に示す例では、目盛り検出センサ１６２は、患者が口に咥えているマウスピースＭＰに設けられている。目盛り検出センサ１６２は、測定用目盛り１６１を検出することにより、挿入部２３の挿入長を取得する。目盛り検出センサ１６２は、プロセッサ装置２０と有線又は無線で接続しており、挿入部２３の挿入長をプロセッサ装置２０の挿入状態取得部１６３に送信する。

図２０に示すように、挿入状態取得部１６３は、挿入部２３が被検体内を往復する診断経路Ｑにおいて挿入部２３の挿入長に対応する先端部２３ａの位置を検出し、これにより先端部２３ａの検出位置（すなわち撮像センサ３９の位置）を取得する。この先端部２３ａの検出位置の取得は、挿入部２３の挿入長が測定される毎に行われる。符合Ｐ１、Ｐ２は、先端部２３ａの検出位置を示している。先端部２３ａの検出位置Ｐ２は、先端部２３ａの検出位置Ｐ１よりも被検体内の奥側とされている。すなわち、検出位置Ｐ２の挿入長は、検出位置Ｐ１の挿入長よりも長い。

なお、本実施形態では、挿入部２３の挿入長を用いて先端部２３ａの検出位置を取得しているが、これに限るものではなく、例えば挿入部２３に磁気センサ（図示無し）を設け、この磁気センサで得た情報を用いて、先端部２３ａの検出位置と挿入部２３の形状情報などを取得してもよい。また、被検体をＸ線で撮像することにより得たＸ線画像を用いて、先端部２３ａの検出位置を取得してもよい。

以上のように、内視鏡画像を撮像する際、先端部２３ａ（撮像センサ３９）が位置していた被検体内の位置情報を取得する内視鏡システムにより、取得した位置情報が付帯情報１０１に記録される。そして、上記各実施形態と同様に、クライアント端末８１からの配信要求を受け付けた場合、内視鏡画像取得部１４１が１回の内視鏡検査で得られた複数の内視鏡画像１００と、内視鏡画像１００に関連付けて記録された付帯情報１０１とを画像ＤＢ９０から読み出して取得する。

次に、図２１（Ａ）に示すように、注目区間設定部１４２が付帯情報１０１から注目度を推定する。本実施形態では、付帯情報１０１として記録された位置情報から、撮像センサ３９が同じ位置で内視鏡画像を撮像した撮像回数をカウントし、撮像回数を注目度とする。すなわち、撮像センサ３９が同じ位置で撮像した撮像回数が少ない、画像ＩＤがＡ１、Ａ６の内視鏡画像１００については、位置Ｐ１、Ｐ３における撮像回数がともに１回ずつであることから注目度が１であり、注目度が最も低いと推定する。なお、図２１（Ａ）は、１回の内視鏡検査で得られた検査単位の複数の内視鏡画像１００について時系列順に配列したものの一例であり、図示の都合上、画像ＩＤがＡ７以降の内視鏡画像１００を省略している。

一方、注目区間設定部１４２は、撮像センサ３９が同じ位置で撮像した撮像回数が多い、画像ＩＤがＡ２～Ａ５の内視鏡画像１００については、位置Ｐ２における撮像回数が４回であることから注目度が４であり、注目度が最も高いと推定する。

次に、注目区間設定部１４２は、算出した注目度に応じて複数の内視鏡画像１００を分類した注目区間を設定する。図２１（Ｂ）に示す例では、注目度に応じて画像ＩＤがＡ１の内視鏡画像１００が注目区間Ｇ１、Ａ２～Ａ５の内視鏡画像１００が注目区間Ｇ２、Ａ６の内視鏡画像１００が注目区間Ｇ３に分類されている。注目区間設定部１４２による注目度に応じた分類は、上記第１実施形態と同様である。注目区間設定部１４２は、設定した注目区間、及び各内視鏡画像の注目度を内視鏡画像選別部１４３に出力する。

以上のように、注目度の推定として、撮像センサ３９が同じ位置で内視鏡画像を撮像した撮像回数をカウントし、撮像回数を注目度とすることで、上記第１～第３実施形態と同様に、ユーザの注目度をより精度良く推定することが可能であり、注目度に応じた選別内視鏡画像１００Ｓの比率も適正となる。

本実施形態は、上記第１及び第２実施形態と組み合わせること、すなわち、上記第１及び第２実施形態における画像処理を用いた注目度の推定に加えて、第４実施形態における撮像回数を注目度とすることを組み合わせることが可能であり、例えば、第１及び第２実施形態のように異常領域に関する付帯情報１０１から画像処理により推定した注目度と、第４実施形態のように撮像センサ３９が同じ位置で内視鏡画像を撮像した撮像回数をカウントした場合の撮像回数である注目度とを合算した注目度を使用し、合算した注目度に応じて注目区間を分類し、また合算した注目度に応じた比率で内視鏡画像１００を選別してもよい。

［変形例４－１］
上記第４実施形態では、内視鏡画像を撮像した際に、撮像センサが位置していた被検体内の位置情報を取得し、この位置情報から撮像センサが同じ位置で内視鏡画像を撮像した撮像回数をカウントし、撮像回数を注目度としているが、これに限らず、内視鏡画像を撮像した際に、撮像センサが位置していた被検体内の位置情報と、撮像時刻の情報とから注目度を推定してもよい。本変形例の場合、上記第３実施形態と同様に撮像時刻を付帯情報１０１に記録し、かつ上記第４実施形態と同様に撮像センサが位置していた被検体内の位置情報を付帯情報１０１に記録する。

注目区間設定部１４２は、上述したように撮像時刻及び位置情報が記録された付帯情報１０１から注目度を推定する。この場合、注目区間設定部１４２は、位置情報及び撮像時刻を取得し、内視鏡画像を撮像した際に、撮像センサが同じ位置に滞在していた滞在時間の長さを注目度とすることが好ましい。医師が集中し、注意深く検査しなければいけない箇所は、自ずと撮像センサの滞在時間も長くなるからである。この場合、位置情報から、同じ位置に滞在している際に撮像された内視鏡画像であることを判断し、さらに同じ位置に滞在している際に撮像された内視鏡画像の撮像時刻の差から滞在時間を算出することができる。

以上のように、注目度の推定として、内視鏡画像を撮像した際に、撮像センサが同じ位置に滞在していた滞在時間の長さを注目度とすることで、上記各実施形態と同様に、ユーザの注目度をより精度良く推定することが可能であり、注目度に応じた選別内視鏡画像１００Ｓの比率も適正となる。また、本変形例の場合も上記第４実施形態と同様に、上記第１及び第２実施形態と組み合わせることができる。

［第５実施形態］
注目度の推定としては、上記第１～第４実施形態に限定するものではなく、内視鏡画像を撮像した際に用いた光源の波長帯域情報を取得し、この光源の波長帯域情報から注目度を推定してもよい。図２２においては、内視鏡検査において、内視鏡画像を撮像する際に用いた光源の波長帯域情報として、内視鏡画像を撮像する際に選択された観察モードの種類を取得しており、取得された観察モードの種類が付帯情報１０１に記録されている。なお、注目度の推定として、光源の波長帯域情報から注目度を推定したこと以外は、第５実施形態は、上記第１実施形態と同様であり、説明を省略する。

先ず、クライアント端末８１からの配信要求を受け付けた場合、上記第１実施形態と同様に、内視鏡画像取得部１４１が１回の内視鏡検査で得られた複数の内視鏡画像１００と、内視鏡画像１００に関連付けて記録された付帯情報１０１とを画像ＤＢ９０から読み出して取得する。

次に、図２２（Ａ）に示すように、注目区間設定部１４２が付帯情報１０１から注目度を推定する。本実施形態では、付帯情報１０１として内視鏡画像を撮像する際に選択された観察モードの種類から注目度を推定する。すなわち、観察モードが通常モードである、画像ＩＤがＡ１、Ａ６の内視鏡画像１００については、注目度が１であり、注目度が最も低いと推定する。なお、図２２（Ａ）は、１回の内視鏡検査で得られた検査単位の複数の内視鏡画像１００について時系列順に配列したものの一例であり、図示の都合上、画像ＩＤがＡ７以降の内視鏡画像１００を省略している。

一方、注目区間設定部１４２は、観察モードが特殊光モードである、画像ＩＤがＡ２～Ａ５の内視鏡画像１００については、注目度が最も高い１０と推定する。上述したように、特殊光モードでは、通常モードにおける通常光とは波長帯域が異なる特殊光を用いている。特殊光を内視鏡画像を撮像する際に用いることで、血管構造や腺管構造の解像度が高くなる。よって、ユーザは、特殊光モードの際に観察したい対象があること、すなわち注目度が高いことが推定される。

次に、注目区間設定部１４２は、算出した注目度に応じて複数の内視鏡画像１００を分類した注目区間を設定する。図２２（Ｂ）に示す例では、注目度に応じて画像ＩＤがＡ１の内視鏡画像１００が注目区間Ｇ１、Ａ２～Ａ５の内視鏡画像１００が注目区間Ｇ２、Ａ６の内視鏡画像１００が注目区間Ｇ３に分類されている。注目区間設定部１４２による注目度に応じた分類は、上記第１実施形態と同様である。注目区間設定部１４２は、設定した注目区間、及び各内視鏡画像の注目度を内視鏡画像選別部１４３に出力する。

以上のように、注目度の推定として、光源の波長帯域情報から注目度を推定することで、上記第１及び第２実施形態と同様に、ユーザの注目度をより精度良く推定することが可能であり、注目度に応じた選別内視鏡画像１００Ｓの比率も適正となる。

本実施形態は、上記第１及び第２実施形態と組み合わせること、すなわち、上記第１及び第２実施形態における画像処理を用いた注目度の推定に加えて、第５実施形態における光源の波長帯域情報から推定した注目度とを組み合わせることが可能であり、例えば、第１及び第２実施形態のように異常領域に関する付帯情報１０１から画像処理により推定した注目度と、第５実施形態のように光源の波長帯域情報から推定した注目度とを合算した注目度を使用し、合算した注目度に応じて注目区間を分類し、また合算した注目度に応じた比率で内視鏡画像１００を選別してもよい。

［変形例５－１］
上記各実施形態では、内視鏡画像選別部１４３は、各注目区間から注目度に応じた比率で内視鏡画像１００を選別しているが、これに限るものではなく、比率に応じた枚数が、ユーザが指定した枚数を超えた場合、ユーザが指定した枚数を超えない範囲で内視鏡画像を選別してもよい。この変形例では、内視鏡画像閲覧支援サーバ８０において、内視鏡画像を選別する際の上限の枚数を入力することができる。

本変形例では、図２３に示すように、内視鏡画像選別部１４３は、注目度に応じた比率を算出し、各注目区間において比率に応じた枚数がユーザ指定枚数を超えるか否かを判定する（Ｓ２４）。なお、図２３のフローチャートにおけるＳ２１～Ｓ２３は、上記第１実施形態の図１４のフローチャートにおけるＳ１１～Ｓ１３と同様であり説明を省略する。

比率に応じた枚数がユーザ指定枚数を超えた場合（Ｓ２４でＹ）、内視鏡画像選別部１４３は、該当する注目区間については、ユーザ指定枚数で内視鏡画像１００を選別する（Ｓ２５）。ユーザ指定枚数で注目区間から選別された選別内視鏡画像１００Ｓは、画面表示制御部１４４及び保存制御部１４５に出力される。保存制御部１４５は、選別内視鏡画像１００Ｓを画像ＤＢ９０に保存させる（Ｓ２６）。

一方、比率に応じた枚数がユーザ指定枚数を超えない場合（Ｓ２４でＮ）、内視鏡画像選別部１４３は、該当する注目区間については、注目度に応じた比率で内視鏡画像１００を選別する（Ｓ２７）。注目度に応じた比率で注目区間から選別された選別内視鏡画像１００Ｓは、画面表示制御部１４４及び保存制御部１４５に出力される。保存制御部１４５は、選別内視鏡画像１００Ｓを画像ＤＢ９０に保存させる（Ｓ２６）。

［変形例５－２］
上記各実施形態における内視鏡画像表示画面１０４では、内視鏡画像選別部１４３により選別された選別内視鏡画像１００Ｓのみを時系列順に表示する例のみを上げているが、本発明はこれに限るものではなく、図２４に示すように、選別内視鏡画像１００Ｓを注目区間設定部１４２で算出した注目度の順に表示してもよい。なお、図２４において各選別内視鏡画像１００Ｓに付した数字は注目度を示しており、左上から右下に向かって選別内視鏡画像１００Ｓを注目度の順に配列している。なお、図２４に示す例では、全ての選別内視鏡画像１００Ｓについて注目度を付しているが、これらの注目度は表示してもよいし、表示させなくてもよく、注目度が一定の閾値以上の場合のみ表示させてもよい。

［変形例５－３］
また、選別内視鏡画像１００Ｓのみを表示させる選別内視鏡画像表示モードだけではなく、図２５に示すように、内視鏡画像表示画面１０４として、１回の内視鏡検査で取得された複数枚の内視鏡画像１００のすべてを表示する全画像表示モードを行ってもよい。この場合、選別内視鏡画像１００Ｓと、選別されていない内視鏡画像１００である非選別内視鏡画像１００Ｎとをユーザが区別できるように、異なる表示にすることが好ましく、図２５に示す例では、選別内視鏡画像１００Ｓのみ外枠１７０を付して表示させている。これに限らず、背景色を変えるなど選別内視鏡画像１００Ｓと非選別内視鏡画像１００Ｎとが異なる表示であればよい。また、図２５に示す例では、選別内視鏡画像１００Ｓに加えて、非選別内視鏡画像１００Ｎも合わせて時系列順に表示しているが、これに限らず、注目度の順に表示してもよい。また、このような全画像表示モードにおいても、注目度は表示してもよいし、表示させなくてもよく、注目度が一定の閾値以上の場合のみ表示させてもよい。

なお、上記例では、選別内視鏡画像表示モード及び全画像表示モードの内視鏡画像表示画面１０４を別々に表示させているが、これに限らず、選別内視鏡画像表示モード及び全画像表示モードの内視鏡画像表示画面１０４を１つの画面内に表示させてもよく。ユーザの操作によって、表示モードを切り替えて表示できるようにしてもよい。

上記各実施形態では、内視鏡画像閲覧支援サーバ８０における内視鏡画像の取得から、注目度の推定、内視鏡画像の選別、保存まで、ユーザがフリーズスイッチ２４ｂを操作することにより得られる内視鏡画像の静止画のみを対象としているが、本発明はこれに限らず、ユーザが内視鏡システムを操作せず自動的に取得された内視鏡画像、例えば、動画として撮像された内視鏡画像（動画を構成するフレーム）を取得し、注目度の推定、内視鏡画像の選別、保存を行ってもよい。また、これに限らず、予め設定された撮像間隔で撮像された内視鏡画像、あるいは、ニューラルネットワークなどで予め設定された画像と特徴量が類似する内視鏡画像を取得してもよい。

上記各実施形態では、４色のＬＥＤ３０ａ～３０ｄを用いて観察対象の照明を行っているが、レーザ光源と蛍光体を用いて観察対象の照明を行ってもよい。また、上記各実施形態では、４色のＬＥＤ３０ａ～３０ｄを用いて観察対象の照明を行っているが、キセノンランプ等の白色光光源と回転フィルタを用いて観察対象の照明を行ってもよい。また、カラーの撮像センサ３９に代えて、モノクロの撮像センサで観察対象の撮像を行っても良い。

なお、上記実施形態では、医用画像として、内視鏡画像を取得する内視鏡システムに対して、本発明の医用画像処理装置を適用しているが、カプセル内視鏡など、さまざまな内視鏡システムに対して、適用可能であることはいうまでもなく、その他の医用画像として、X線画像、CT画像、MR画像、超音波画像、病理画像、ＰＥＴ（Positron Emission Tomography）画像などを取得する各種医用画像装置に対しても、本発明の医用画像処理装置の適用は可能である。

上記実施形態において、内視鏡画像取得部１４１、注目区間設定部１４２、内視鏡画像選別部１４３、画面表示制御部１４４、保存制御部１４５及び画面データ生成部１４６のような各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＧＰＵ（Graphical Processing Unit）、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ等）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。

１０ 内視鏡画像閲覧支援システム
１４ ネットワーク
１６ 内視鏡システム
１８ 内視鏡
１９ 光源装置
２０ プロセッサ装置
２１ ディスプレイ
２２ コンソール
２３ 挿入部
２３ａ 先端部
２３ｂ 湾曲部
２４ 操作部
２４ａ アングルノブ
２４ｂ フリーズスイッチ
２４ｃ モード切替部
２４ｄ ズーム操作部
３０ 光源部
３０ａ Ｖ－ＬＥＤ
３０ｂ Ｂ－ＬＥＤ
３０ｃ Ｇ－ＬＥＤ
３０ｄ Ｒ－ＬＥＤ
３１ 光源制御部
３２ 波長カットフィルタ
３３ ライトガイド
３５ａ 照明光学系
３５ｂ 撮像光学系
３６ 照明レンズ
３７ 対物レンズ
３８ 拡大光学系
３８ａ ズームレンズ
３８ｂ レンズ駆動部
３９ 撮像センサ
４０ ＣＤＳ回路
４２ ＡＧＣ回路
４４ Ａ／Ｄ変換回路
５０ 画像信号取得部
５１ ＤＳＰ（Digital Signal Processor）
５２ ノイズ低減部
５３ 画像処理部
５４ 表示制御部
５５ 画像保存制御部
５６ 画像保存部
５８ 通常モード画像処理部
５９ 特殊光モード画像処理部
６０ 異常領域検出モード画像処理部
６１ 検出用画像処理部
６２ 異常領域検出部
８０ 内視鏡画像閲覧支援サーバ
８１ クライアント端末
８２ サーバ群
８４ ネットワーク
８６ 画像サーバ
８８ レポートサーバ
９０ 画像データベース
９２ レポートデータベース
９４ 検査レポート
９４Ａ レポート本体
９６ 画像フォルダ
９８ レポートフォルダ
１００ 内視鏡画像
１００Ａ 注目内視鏡画像
１００Ｎ 非選別内視鏡画像
１００Ｓ 選別内視鏡画像
１０１ 付帯情報
１０１Ａ 検出情報
１０２ 撮像情報
１０４ 内視鏡画像表示画面
１０４Ａ 切替ボタン
１０５ 所見
１０６ レポート表示画面
１０８ ポインタ
１１０ ＣＰＵ（Central Processing Unit）
１１２ メモリ
１１４ ストレージデバイス
１１８ 入出力部
１２０ データバス
１２２ ディスプレイ
１２４ 入力デバイス
１２６ アプリケーションプログラム
１２８ 起動画面
１２８Ａ 入力欄
１２８Ｂ 決定ボタン
１３０ ＧＵＩ（Graphical User Interface）制御部
１３２ 要求発行部
１４０ 受付部
１４１ 内視鏡画像取得部
１４２ 注目区間設定部
１４３ 内視鏡画像選別部
１４４ 画面表示制御部
１４５ 保存制御部
１４６ 画面データ生成部
１４７ 出力制御部
１５０ 処置具
１５１ 切除跡
１６１ 測定用目盛り
１６２ 目盛り検出センサ
１６３ 挿入状態取得部
１７０ 外枠
Ａ 検査
Ｇ１、Ｇ２、Ｇ３ 注目区間
Ｑ 診断経路
Ｔ１～Ｔ７ 撮像時刻

Claims (16)

1. ユーザが撮像した複数の医用画像、及び各医用画像に関連付けて記録された付帯情報とを有する撮像情報を取得し、
   前記撮像情報から、前記医用画像を撮像した際のユーザの注目度を推定し、前記注目度に応じて複数の前記医用画像を分類した注目区間を設定し、
   各注目区間における前記注目度の平均値に応じた比率で各注目区間から医用画像を選別するプロセッサを備える医用画像処理装置であって、
   前記プロセッサは、
   複数の前記医用画像の中から、前記撮像情報に基づき注目医用画像を決定し、複数の前記医用画像を時系列順に配列した場合に、前記注目医用画像を含む医用画像群のうち少なくとも１つの医用画像に対して、画像処理を用いて注目度を推定する医用画像処理装置。
2. 前記プロセッサは、前記画像処理を用いた注目度の推定として、時系列順に配列した場合に、前後の医用画像との類似度を前記注目度とする請求項１記載の医用画像処理装置。
3. 前記プロセッサは、異常領域を含む医用画像を前記注目医用画像として決定し、
   前記画像処理を用いた注目度の推定として、前記異常領域の異常度の大きさを前記注目度とする請求項１記載の医用画像処理装置。
4. 前記プロセッサは、異常領域を含む医用画像を前記注目医用画像として決定し、
   前記画像処理を用いた注目度の推定として、前記異常領域に対する処置状態を前記注目度とする請求項１記載の医用画像処理装置。
5. ユーザが撮像した複数の医用画像、及び各医用画像に関連付けて記録された付帯情報とを有する撮像情報を取得し、
   前記撮像情報から、前記医用画像を撮像した際のユーザの注目度を推定し、前記注目度に応じて複数の前記医用画像を分類した注目区間を設定し、
   前記注目度に応じた比率で各注目区間から医用画像を選別するプロセッサを備える医用画像処理装置であって、
   前記プロセッサは、
   複数の前記医用画像の中から、前記撮像情報に基づき注目医用画像を決定し、複数の前記医用画像を時系列順に配列した場合に、前記注目医用画像を含む医用画像群のうち少なくとも１つの医用画像に対して、画像処理を用いて注目度を推定し、
   前記プロセッサは、前記付帯情報から前記医用画像を撮像した撮像時刻を取得し、前記画像処理を用いた注目度の推定に加えて、時系列順に配列した場合に、前後の医用画像との撮像間隔に反比例した値を注目度とする医用画像処理装置。
6. ユーザが撮像した複数の医用画像、及び各医用画像に関連付けて記録された付帯情報とを有する撮像情報を取得し、
   前記撮像情報から、前記医用画像を撮像した際のユーザの注目度を推定し、前記注目度に応じて複数の前記医用画像を分類した注目区間を設定し、
   前記注目度に応じた比率で各注目区間から医用画像を選別するプロセッサを備える医用画像処理装置であって、
   前記プロセッサは、
   複数の前記医用画像の中から、前記撮像情報に基づき注目医用画像を決定し、複数の前記医用画像を時系列順に配列した場合に、前記注目医用画像を含む医用画像群のうち少なくとも１つの医用画像に対して、画像処理を用いて注目度を推定し、
   前記医用画像は、内視鏡の撮像センサで撮像した内視鏡画像であり、
   前記付帯情報は、前記医用画像を撮像した際に、前記撮像センサが位置していた被検体内の位置を示す位置情報、及び前記医用画像を撮像した撮像時刻が記録されており、
   前記プロセッサは、前記位置情報、及び前記撮像時刻を取得し、前記医用画像を撮像した際に、前記撮像センサが同じ位置に滞在していた滞在時間の長さを前記注目度とする医用画像処理装置。
7. ユーザが撮像した複数の医用画像、及び各医用画像に関連付けて記録された付帯情報とを有する撮像情報を取得し、
   前記撮像情報から、前記医用画像を撮像した際のユーザの注目度を推定し、前記注目度に応じて複数の前記医用画像を分類した注目区間を設定し、
   前記注目度に応じた比率で各注目区間から医用画像を選別するプロセッサを備える医用画像処理装置であって、
   前記プロセッサは、
   複数の前記医用画像の中から、前記撮像情報に基づき注目医用画像を決定し、複数の前記医用画像を時系列順に配列した場合に、前記注目医用画像を含む医用画像群のうち少なくとも１つの医用画像に対して、画像処理を用いて注目度を推定し、
   前記医用画像は、内視鏡の撮像センサで撮像した内視鏡画像であり、
   前記付帯情報は、前記医用画像を撮像した際に、前記撮像センサが位置していた被検体内の位置を示す位置情報が記録されており、
   前記プロセッサは、前記位置情報から、前記撮像センサが同じ位置で前記医用画像を撮像した撮像回数をカウントし、前記撮像回数を前記注目度とする医用画像処理装置。
8. ユーザが撮像した複数の医用画像、及び各医用画像に関連付けて記録された付帯情報とを有する撮像情報を取得し、
   前記撮像情報から、前記医用画像を撮像した際のユーザの注目度を推定し、前記注目度に応じて複数の前記医用画像を分類した注目区間を設定し、
   前記注目度に応じた比率で各注目区間から医用画像を選別するプロセッサを備える医用画像処理装置であって、
   前記プロセッサは、
   複数の前記医用画像の中から、前記撮像情報に基づき注目医用画像を決定し、複数の前記医用画像を時系列順に配列した場合に、前記注目医用画像を含む医用画像群のうち少なくとも１つの医用画像に対して、画像処理を用いて注目度を推定し、
   前記付帯情報は、前記医用画像を撮像した際に用いた光源の波長帯域情報であり、
   前記プロセッサは、前記波長帯域情報から前記注目度を推定する医用画像処理装置。
9. 前記プロセッサは、ユーザが前記医用画像を撮像するための機器を操作することにより撮像された前記医用画像及び前記付帯情報を取得する請求項１ないし８のいずれか１項に記載の医用画像処理装置。
10. 前記プロセッサは、ユーザが前記医用画像を撮像するための機器を操作せず自動的に撮像された前記医用画像及び前記付帯情報を取得する請求項１ないし８のいずれか１項に記載の医用画像処理装置。
11. 前記プロセッサは、ユーザが指定した枚数を超えない範囲で前記医用画像を選別する請求項１ないし９のいずれか１項に記載の医用画像処理装置。
12. 前記プロセッサは、前記選別された前記医用画像を前記注目度に応じた順番で表示する請求項１ないし１１のいずれか１項に記載の医用画像処理装置。
13. 前記プロセッサは、前記選別された前記医用画像を記憶装置に保存する請求項１ないし１２のいずれか１項に記載の医用画像処理装置。
14. 前記注目区間については、時系列順に前後の前記医用画像の前記注目度を比較し、前記注目度の差が一定の閾値未満であれば同じ注目区間に属し、前記注目度の差が閾値以上であれば、別々の注目区間として設定される請求項１ないし１３のいずれか１項に記載の医用画像処理装置。
15. ユーザが撮像した複数の医用画像、及び各医用画像に関連付けて記録された付帯情報とを有する撮像情報を取得するステップと、
    前記撮像情報から、前記医用画像を撮像した際のユーザの注目度を推定し、前記注目度に応じて複数の前記医用画像を分類した注目区間を設定するステップと、
    各注目区間における前記注目度の平均値に応じた比率で各注目区間から医用画像を選別するステップと、
    複数の前記医用画像の中から、前記撮像情報に基づき注目医用画像を決定し、複数の前記医用画像を時系列順に配列した場合に、前記注目医用画像を含む医用画像群のうち少なくとも１つの医用画像に対して、画像処理を用いて注目度を推定するステップと、
    を備える医用画像処理装置の作動方法。
16. 医用画像に画像処理を施す医用画像処理装置にインストールされる医用画像処理装置用プログラムにおいて、
    コンピュータに、
    ユーザが撮像した複数の医用画像、及び各医用画像に関連付けて記録された付帯情報とを有する撮像情報を取得する機能と、
    前記撮像情報から、前記医用画像を撮像した際のユーザの注目度を推定し、前記注目度に応じて複数の前記医用画像を分類した注目区間を設定する機能と、
    各注目区間における前記注目度の平均値に応じた比率で各注目区間から医用画像を選別する機能と、
    複数の前記医用画像の中から、前記撮像情報に基づき注目医用画像を決定し、複数の前記医用画像を時系列順に配列した場合に、前記注目医用画像を含む医用画像群のうち少なくとも１つの医用画像に対して、画像処理を用いて注目度を推定する機能とを実現させるための医用画像処理装置用プログラム。

Images