JPWO2020067105A1 - 医用画像処理装置、医用画像処理方法、及びプログラム、診断支援装置並びに内視鏡システム - Google Patents

Abstract

医用画像の注目領域を適切な強調度で強調する医用画像処理装置、医用画像処理方法、及びプログラム、診断支援装置並びに内視鏡システムを提供する。時系列の医用画像に含まれる注目領域を設定された強調度で強調する強調処理部と、注目領域が強調された累計時間を計測する累計時間計測部と、累計時間が相対的に長いほど強調度を相対的に大きい値に設定する強調度設定部と、を備える医用画像処理装置によって上記課題を解決する。

Description

本発明は医用画像処理装置、医用画像処理方法、及びプログラム、診断支援装置並びに内視鏡システムに係り、特に時系列の医用画像の注目領域を報知する技術に関する。

医療分野において、近年、内視鏡スコープにより撮像された内視鏡画像等の医用画像から病変等の注目領域を自動検出する支援機能が、病変の見落とし防止に繋がるとして期待されている。

このような支援機能において、自動検出された結果のユーザへの報知方法として、検出結果を画像中の注目領域に重畳させる強調表示が知られている。

特許文献１には、被検体の観察画像の特徴量に基づいて病変候補領域を検出し、病変候補領域の強調処理を行う内視鏡システムが開示されている。

国際公開第２０１７／０７３３３７号

特許文献１に記載の内視鏡システムは、病変候補領域の検出が所定時間継続していると判定されると、強調処理を終了する。

しかしながら、強調処理を終了させることは、支援機能として不十分な場合がある。例えば、内視鏡は操作が難しく、ユーザが観察したい箇所に的確に留めておく間に強調処理が終了してしまうと、ユーザが注目領域を認識しきれない場合がある。

また、注目領域の検出時に強調度が相対的に大きい強調処理が行われると、強調処理が行われていない画像から強調処理が行われた画像への画像内の変化が大きくなり、画像の観察の妨げになるという問題点があった。

本発明はこのような事情に鑑みてなされたもので、医用画像の注目領域を適切な強調度で強調する医用画像処理装置、医用画像処理方法、及びプログラム、診断支援装置並びに内視鏡システムを提供することを目的とする。

上記目的を達成するために医用画像処理装置の一の態様は、時系列の医用画像に含まれる注目領域を設定された強調度で強調する強調処理部と、注目領域が強調された累計時間を計測する累計時間計測部と、累計時間が相対的に長いほど強調度を相対的に大きい値に設定する強調度設定部と、を備える医用画像処理装置である。

本態様によれば、時系列の医用画像に含まれる注目領域を設定された強調度で強調し、注目領域が強調された累計時間を計測し、累計時間が相対的に長いほど強調度を相対的に大きい値に設定するようにしたので、医用画像の注目領域を適切な強調度で強調することができる。

時系列の医用画像を取得する画像取得部と、医用画像から注目領域を検出する注目領域検出部と、を備えることが好ましい。これにより、取得した医用画像から注目領域を検出することができる。

累計時間計測部は、複数の注目領域に対して各注目領域の累計時間をそれぞれ計測し、強調度設定部は、各注目領域の累計時間に応じて各注目領域の強調度をそれぞれ設定することが好ましい。これにより、複数の注目領域の各注目領域に適切な強調度をそれぞれ設定することができる。

注目領域の特徴量を算出する特徴量算出部と、注目領域の特徴量と累計時間とを関連付けて記憶する注目領域記憶部と、第１医用画像に含まれる第１注目領域の特徴量と、注目領域記憶部に記憶された第１医用画像より時系列的に前の第２医用画像において強調された第２注目領域の特徴量との類似度から、第１注目領域が第２注目領域と同一であるか否かを判定する同一注目領域判定部と、を備え、累計時間計測部は、第１注目領域が第２注目領域と同一であると判定された場合に、第１注目領域の累計時間として第２注目領域の累計時間を引き継いで計測することが好ましい。これにより、第１注目領域の強調度として第１注目領域と同一の第２注目領域の強調度を引き継ぐことができる。

同一注目領域判定部は、第１注目領域が第２注目領域と同一でないと判定された場合に、第１注目領域の特徴量と、注目領域記憶部に記憶された第２医用画像より時系列的に前の第３医用画像において強調された第３注目領域の特徴量との類似度から、第１注目領域が第３注目領域と同一であるか否かをさらに判定し、累計時間計測部は、第１注目領域が第３注目領域と同一であると判定された場合に、第１注目領域の累計時間として第３注目領域の累計時間を引き継いで計測することが好ましい。これにより、第２医用画像に第１注目領域と同一の注目領域が含まれていなかった場合であっても、第１注目領域の強調度として第１注目領域と同一の第３注目領域の強調度を引き継ぐことができる。

同一注目領域判定部は、第１注目領域が第２注目領域と同一でないと判定された場合に、第１注目領域が第１医用画像内の予め定められた範囲内の位置に存在するか否かを判定し、累計時間計測部は、予め定められた範囲内の位置に存在すると判定された場合に、第１注目領域の累計時間として第２注目領域の累計時間を引き継いで計測することが好ましい。これにより、第１注目領域と第２注目領域が異なる領域であっても、予め定められた範囲内の位置に存在する場合は、第１注目領域の強調度として第２注目領域の強調度を引き継ぐことができる。

強調処理部は、注目領域の位置を示す図形を医用画像に重畳し、強調度設定部は、累計時間が相対的に長いほど図形の透過度を相対的に小さく設定することが好ましい。これにより、注目領域を適切な強調度で強調することができる。

強調処理部は、注目領域の位置を示す図形を医用画像に重畳し、強調度設定部は、累計時間が相対的に長いほど図形の色を色強度指標に基づいた色強度を相対的に高く設定することが好ましい。これにより、注目領域を適切な強調度で強調することができる。

強調処理部は、注目領域の位置を示す図形を医用画像に重畳し、強調度設定部は、累計時間が相対的に長いほど図形の大きさを相対的に大きく設定することが好ましい。これにより、注目領域を適切な強調度で強調することができる。

強調処理部は、注目領域を囲む枠形状の図形を医用画像に重畳し、強調度設定部は、累計時間が相対的に長いほど枠形状の図形の太さを相対的に太く設定することが好ましい。これにより、注目領域を適切な強調度で強調することができる。

強調度設定部は、１枚の医用画像に存在する注目領域の数が相対的に多いほど、累計時間に対する強調度の増加率を相対的に大きくすることが好ましい。これにより、注目領域を適切な強調度で強調することができる。

強調度設定部は、注目領域の医用画像内の位置に基づいて強調度の最小値、最大値、及び累計時間に対する強調度の増加率の少なくとも１つを変更することが好ましい。これにより、注目領域を適切な強調度で強調することができる。

強調度設定部は、注目領域の輝度値、又は注目領域の輝度値と注目領域外の輝度値との差分に基づいて強調度の最小値、最大値、及び累計時間に対する強調度の増加率の少なくとも１つを変更することが好ましい。これにより、注目領域を適切な強調度で強調することができる。

強調度設定部は、注目領域の色情報、又は注目領域の色情報と注目領域外の色情報との差分に基づいて強調度の最小値、最大値、及び累計時間に対する強調度の増加率の少なくとも１つを変更することが好ましい。これにより、注目領域を適切な強調度で強調することができる。

強調度設定部は、注目領域の動き量、又は注目領域の動き方向に基づいて強調度の最小値、最大値、及び累計時間に対する強調度の増加率の少なくとも１つを変更することが好ましい。これにより、注目領域を適切な強調度で強調することができる。

注目領域が強調された時系列の医用画像を表示部に順次表示させる表示制御部を備えることが好ましい。これにより、表示部において注目領域を報知することができる。

表示制御部は、注目領域が強調された時系列の医用画像を複数の表示部のうち少なくとも１つの表示部に順次表示させることが好ましい。これにより、複数の表示部のうち少なくとも１つの表示部において注目領域を報知することができる。

上記目的を達成するために診断支援装置の一の態様は、上記に記載の医用画像処理装置と、表示部と、を備えた診断支援装置である。本態様によれば、時系列の医用画像の注目領域を適切な強調度で強調して表示部に表示させることができる。

上記目的を達成するために内視鏡システムの一の態様は、上記に記載の医用画像処理装置と、時系列の医用画像を撮像する内視鏡スコープと、を備えた内視鏡システムである。本態様によれば、医用画像の注目領域を適切な強調度で強調することができる。

上記目的を達成するために医用画像処理方法の一の態様は、時系列の医用画像に含まれる注目領域を設定された強調度で強調する強調処理工程と、注目領域が強調された累計時間を計測する累計時間計測工程と、累計時間が長いほど強調度を大きい値に設定する強調度設定工程と、を備える医用画像処理方法である。

本態様によれば、医用画像の注目領域を適切な強調度で強調することができる。上記の医用画像処理方法をコンピュータに実行させるためのプログラムも本態様に含まれる。

本発明によれば、医用画像の注目領域を適切な強調度で強調することができる。

図１は、内視鏡システムの全体構成を示す概略図である。 図２は、医用画像処理装置の電気的構成を示すブロック図である。 図３は、第１実施形態に係る医用画像処理方法の各処理の一例を示すフローチャートである。 図４は、強調処理の一例を示す図である。 図５は、強調処理の他の例を示す図である。 図６は、注目領域の累計時間と強調度との関係の一例を示すグラフである。 図７は、強調度に応じた図形の変化の一例を示す図である。 図８は、強調度に応じた図形の変化の他の例を示す図である。 図９は、強調度に応じた図形の変化の他の例を示す図である。 図１０は、累計時間を説明するための図である。 図１１は、累計時間を説明するための図である。 図１２は、複数の注目領域が検出された際の図形の変化の一例を示す図である。 図１３は、図１２に示した例の強調度の変更を示すグラフである。 図１４は、視覚特性を説明するための図である。 図１５は、注目領域の輝度値に応じた強調度の変化を示すグラフである。 図１６は、同一でないが周囲に存在する注目領域を説明するための図である。 図１７は、複数の表示部を備えた医用画像処理装置の電気的構成を示すブロック図である。 図１８は、複数の表示部に対する表示内容を説明するための図である。 図１９は、複数の表示部に対する表示内容を説明するための図である。 図２０は、複数の表示部に対する表示内容を説明するための図である。 図２１は、第２実施形態に係る医用画像処理方法の各処理の一例を示すフローチャートである。

以下、添付図面に従って本発明の好ましい実施形態について詳説する。

〔内視鏡システムの全体構成〕
図１は、本実施形態に係る医用画像処理装置を含む内視鏡システム９の全体構成を示す概略図である。図１に示すように、内視鏡システム９は、電子内視鏡である内視鏡スコープ１０と、光源装置１１と、内視鏡プロセッサ装置１２と、表示装置１３と、医用画像処理装置１４と、操作部１５と、表示器１６と、を備える。

内視鏡スコープ１０は、時系列画像の医用画像を撮像するためのものであり、例えば軟性内視鏡である。この内視鏡スコープ１０は、被検体内に挿入され且つ先端と基端とを有する挿入部２０と、挿入部２０の基端側に連設され且つユーザ（医師）が把持して各種操作を行う手元操作部２１と、手元操作部２１に連設されたユニバーサルコード２２と、を有する。

挿入部２０は、全体が細径で長尺状に形成されている。挿入部２０は、その基端側から先端側に向けて順に可撓性を有する軟性部２５と、手元操作部２１の操作により湾曲可能な湾曲部２６と、不図示の撮像光学系（対物レンズ）及び撮像素子２８等が内蔵される先端部２７と、が連設されて構成される。

撮像素子２８は、ＣＭＯＳ（complementary metal oxide semiconductor）型又はＣＣＤ（charge coupled device）型の撮像素子である。撮像素子２８の撮像面には、先端部２７の先端面に開口された不図示の観察窓、及びこの観察窓の後方に配置された不図示の対物レンズを介して、被観察部位の像光が入射する。撮像素子２８は、その撮像面に入射した被観察部位の像光を撮像（電気信号に変換）して、撮像信号を出力する。

手元操作部２１には、ユーザによって操作される各種操作部材が設けられている。具体的に、手元操作部２１には、湾曲部２６の湾曲操作に用いられる２種類の湾曲操作ノブ２９と、送気送水操作用の送気送水ボタン３０と、吸引操作用の吸引ボタン３１と、が設けられている。また、手元操作部２１には、被観察部位の静止画３９の撮像指示を行うための静止画撮像指示部３２と、挿入部２０内を挿通している処置具挿通路（不図示）内に処置具（不図示）を挿入する処置具導入口３３と、が設けられている。

ユニバーサルコード２２は、内視鏡スコープ１０を光源装置１１に接続するための接続コードである。このユニバーサルコード２２は、挿入部２０内を挿通しているライトガイド３５、信号ケーブル３６、及び流体チューブ（不図示）を内包している。また、ユニバーサルコード２２の端部には、光源装置１１に接続されるコネクタ３７ａと、このコネクタ３７ａから分岐され且つ内視鏡プロセッサ装置１２に接続されるコネクタ３７ｂと、が設けられている。

コネクタ３７ａを光源装置１１に接続することで、ライトガイド３５及び流体チューブ（不図示）が光源装置１１に挿入される。これにより、ライトガイド３５及び流体チューブ（不図示）を介して、光源装置１１から内視鏡スコープ１０に対して必要な照明光と水と気体とが供給される。その結果、先端部２７の先端面の照明窓（不図示）から被観察部位に向けて照明光が照射される。また、前述の送気送水ボタン３０の押下操作に応じて、先端部２７の先端面の送気送水ノズル（不図示）から先端面の観察窓（不図示）に向けて気体又は水が噴射される。

コネクタ３７ｂを内視鏡プロセッサ装置１２に接続することで、信号ケーブル３６と内視鏡プロセッサ装置１２とが電気的に接続される。これにより、信号ケーブル３６を介して、内視鏡スコープ１０の撮像素子２８から内視鏡プロセッサ装置１２へ被観察部位の撮像信号が出力されるとともに、内視鏡プロセッサ装置１２から内視鏡スコープ１０へ制御信号が出力される。

光源装置１１は、コネクタ３７ａを介して、内視鏡スコープ１０のライトガイド３５へ照明光を供給する。照明光は、白色光（白色の波長帯域の光又は複数の波長帯域の光）、或いは１又は複数の特定の波長帯域の光、或いはこれらの組み合わせ等の観察目的に応じた各種波長帯域の光が選択される。なお、特定の波長帯域は、白色の波長帯域よりも狭い帯域である。

特定の波長帯域の第１例は、例えば可視域の青色帯域又は緑色帯域である。この第１例の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、且つ第１例の光は、３９０ｎｍ以上４５０ｎｍ以下又は５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する。

特定の波長帯域の第２例は、例えば可視域の赤色帯域である。この第２例の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、且つ第２例の光は、５８５ｎｍ以上６１５ｎｍ以下又は６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する。

特定の波長帯域の第３例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第３例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第３例の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、且つ第３例の光は、上記４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、又は６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する。

特定の波長帯域の第４例は、生体内の蛍光物質が発する蛍光の観察（蛍光観察）に用いられ且つこの蛍光物質を励起させる励起光の波長帯域（３９０ｎｍから４７０ｎｍ）である。

特定の波長帯域の第５例は、赤外光の波長帯域である。この第５例の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、且つ第５例の光は、７９０ｎｍ以上８２０ｎｍ以下又は９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する。

内視鏡プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して、内視鏡スコープ１０の動作を制御する。また、内視鏡プロセッサ装置１２は、コネクタ３７ｂ及び信号ケーブル３６を介して内視鏡スコープ１０の撮像素子２８から取得した撮像信号に基づき、被写体像を含む時系列のフレーム画像３８ａ（図２参照）からなる時系列の医用画像である動画３８を生成する。動画３８のフレームレートは、例えば３０ｆｐｓ（frame per second）である。

更に、内視鏡プロセッサ装置１２は、内視鏡スコープ１０の手元操作部２１にて静止画撮像指示部３２が操作された場合、動画３８の生成と並行して、動画３８中の１枚のフレーム画像３８ａを撮像指示のタイミングに応じて取得し、静止画３９とする。

動画３８及び静止画３９は、被検体内、即ち生体内を撮像した医用画像である。更に動画３８及び静止画３９が、上述の特定の波長帯域の光（特殊光）により得られた画像である場合、両者は特殊光画像である。そして、内視鏡プロセッサ装置１２は、生成した動画３８及び静止画３９を、表示装置１３と医用画像処理装置１４とにそれぞれ出力する。

なお、内視鏡プロセッサ装置１２は、上述の白色光により得られた通常光画像に基づいて、上述の特定の波長帯域の情報を有する特殊光画像を生成（取得）してもよい。この場合、内視鏡プロセッサ装置１２は、特殊光画像取得部として機能する。そして、内視鏡プロセッサ装置１２は、特定の波長帯域の信号を、通常光画像に含まれる赤（Red）、緑（Green）、及び青（Blue）のＲＧＢ色情報、或いはシアン（Cyan）、マゼンタ（Magenta）、及びイエロー（Yellow）のＣＭＹ色情報に基づく演算を行うことで得る。

また、内視鏡プロセッサ装置１２は、例えば、上述の白色光により得られた通常光画像と、上述の特定の波長帯域の光（特殊光）により得られた特殊光画像との少なくとも一方に基づいて、公知の酸素飽和度画像等の特徴量画像を生成してもよい。この場合、内視鏡プロセッサ装置１２は、特徴量画像生成部として機能する。なお、上記の生体内画像、通常光画像、特殊光画像、及び特徴量画像を含む動画３８又は静止画３９は、いずれも画像による診断、検査の目的で人体を撮像し、又は計測した結果を画像化した医用画像である。

表示装置１３は、内視鏡プロセッサ装置１２に接続されており、この内視鏡プロセッサ装置１２から入力された動画３８及び静止画３９を表示する。ユーザは、表示装置１３に表示される動画３８を確認しながら、挿入部２０の進退操作等を行い、被観察部位に病変等を発見した場合には静止画撮像指示部３２を操作して被観察部位の静止画撮像を実行し、また、診断、生検等を行う。

〔医用画像処理装置の構成〕
医用画像処理装置１４は、時系列の医用画像に含まれる注目領域をユーザに報知するものであり、本実施形態では、例えばパーソナルコンピュータが用いられる。また、操作部１５は、パーソナルコンピュータに有線接続又は無線接続されるキーボード及びマウス等が用いられ、表示器１６（表示部の一例）はパーソナルコンピュータに接続可能な液晶モニタ等の各種モニタが用いられる。

図２は、医用画像処理装置１４の電気的構成を示すブロック図である。図２に示す医用画像処理装置１４は、主として時系列画像取得部４０と、注目領域検出部４１と、注目領域情報取得部４２と、座標算出部４３と、累計時間計測部４４と、強調度設定部４５と、同一注目領域判定部４６と、制御部４７と、表示制御部４８と、記憶部４９と、から構成されている。

制御部４７は、記憶部４９に記憶されたプログラム（医用画像処理プログラム）５１に基づき、時系列画像取得部４０、注目領域検出部４１、注目領域情報取得部４２、座標算出部４３、累計時間計測部４４、強調度設定部４５、同一注目領域判定部４６、及び表示制御部４８を統括制御し、また、これらの各部の一部として機能する。

記憶部４９は、注目領域検出部４１による検出結果を記憶し、また、撮像された静止画３９を記憶するとともに、注目領域の特徴量と累計時間とを関連付けて記憶する注目領域記憶部５０、プログラム５１及び医用画像処理装置１４の各種制御に係る情報等を記憶する部分である。

時系列画像取得部４０は、内視鏡プロセッサ装置１２（図１）に有線接続又は無線接続された不図示の画像入出力インターフェースを用いて、内視鏡プロセッサ装置１２から被写体像を含む時系列のフレーム画像３８ａからなる動画３８（本例では、内視鏡スコープ１０により撮像される動画３８）を取得する。また、内視鏡スコープ１０にて動画３８の撮像途中に既述の静止画３９の撮像が行われた場合、時系列画像取得部４０は、内視鏡プロセッサ装置１２から動画３８及び静止画３９を取得する。

なお、時系列画像取得部４０は、内視鏡プロセッサ装置１２から動画３８を直接取得する代わりに、メモリーカード、ハードディスク装置等の各種情報記憶媒体を介して動画３８を取得してもよい。また、時系列画像取得部４０は、インターネット上のサーバ或いはデータベース等にアップロードされた動画３８をインターネット経由で取得してもよい。

注目領域検出部４１は、被検体内の観察中に撮像された動画３８から注目領域を検出する画像処理部である。注目領域検出部４１は、動画３８の各フレーム画像３８ａ（又は間引かれた一定間隔のフレーム画像３８ａ）の特徴量を算出し、画像内の注目領域の認識処理を行う畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を含む。

注目領域の例としては、ポリープ、癌、大腸憩室、炎症、ＥＭＲ（Endoscopic Mucosal Resection）瘢痕、ＥＳＤ（Endoscopic Submucosal Dissection）瘢痕、クリップ箇所、出血点、穿孔、血管異型性、処置具等がある。

注目領域検出部４１は、検出された注目領域が、「腫瘍性」、「非腫瘍性」、「その他」といった病変に関する複数のカテゴリのうちのいずれのカテゴリに属するかのカテゴリ分類等の認識結果を取得することも可能である。

なお、注目領域検出部４１は、ＣＮＮにより注目領域を検出するものに限らず、画像内の色、画素値の勾配、形状、大きさ等の特徴量を画像処理により解析して注目領域を検出するものでもよい。

注目領域情報取得部４２（特徴量算出部の一例）は、注目領域検出部４１により検出された注目領域の注目領域情報を取得する。注目領域情報は、例えば注目領域の輪郭の画像内の座標情報、及び注目領域の特徴量とすることができる。座標情報を特徴量に含めてもよい。

座標算出部４３は、注目領域検出部４１により検出された注目領域の画像内の位置を示す座標情報を算出する。座標算出部４３は、例えば注目領域を囲む多角形又は円の輪郭線上の１つ以上の座標情報を算出する。多角形の頂点の座標、又は多角形の辺の中点の座標を座標情報として算出してもよいし、円の円周を複数に等分割する点の座標を座標情報として算出してもよい。

累計時間計測部４４は、注目領域が注目領域検出部４１により検出されている累計検出時間を累計時間として計測する。強調度設定部４５は、累計時間が相対的に長いほど強調度を相対的に大きい値に設定する。強調度は、最小値、最大値、及び累計時間に対する強調度の増加率が予め定められている。したがって、累計時間から強調度を算出することができる。強調度設定部４５は、累計時間計測部４４が計測した累計時間から注目領域に応じた強調度を算出して設定する。

注目領域検出部４１によって複数の注目領域が検出された場合は、累計時間計測部４４は、複数の注目領域に対して各注目領域の累計時間をそれぞれ計測し、強調度設定部４５は、各注目領域の累計時間に応じて各注目領域の強調度をそれぞれ設定する。

なお、後述するように、注目領域は強調度設定部４５により設定された強調度で強調される。累計時間計測部４４は、注目領域が強調された累計時間を計測してもよい。

同一注目領域判定部４６は、動画３８のうちの医用画像に含まれる注目領域がその医用画像より時系列的に前の医用画像において強調された注目領域と同一であるか否かを判定する。同一注目領域判定部４６は、動画３８のうちの医用画像に含まれる注目領域がその医用画像より時系列的に前の医用画像において注目領域検出部４１により検出された注目領域と同一であるか否かを判定してもよい。この判定は、注目領域情報取得部４２により取得された注目領域の特徴量を用いて行う。

表示制御部４８は、画像表示制御部４８Ａ及び報知情報表示制御部４８Ｂを備えている。画像表示制御部４８Ａは、時系列画像取得部４０が取得した動画３８を表示器１６に出力し、表示器１６に動画３８を表示させる。即ち、表示器１６には、複数のフレーム画像３８ａが順次表示される。

報知情報表示制御部４８Ｂは、座標算出部４３により算出された座標情報に基づいて、かつ強調度設定部４５により設定された強調度に基づいて、注目領域を報知する報知情報を表示器１６に出力する。ここでは、報知情報として注目領域の位置を示す図形を注目領域の位置に重畳させる。これにより、表示器１６に表示される動画３８の注目領域の位置に、注目領域の累計時間に応じた図形が重畳される。したがって、注目領域は重畳された図形により設定された強調度で強調される。

このように、医用画像処理装置１４と表示器１６とで、診断支援装置として機能する。

〔医用画像処理方法：第１実施形態〕
内視鏡システム９を用いた医用画像処理方法について説明する。医用画像処理方法は、制御部４７が記憶部４９に記憶されたプログラム５１を実行することで実施される。

図３は、第１実施形態に係る医用画像処理方法の各処理の一例を示すフローチャートである。医用画像処理方法は、画像取得工程（ステップＳ１）と、注目領域検出工程（ステップＳ２）と、同一注目領域判定工程（ステップＳ３）と、累計時間計測工程（ステップＳ４）と、強調度設定工程（ステップＳ５）と、強調処理工程（ステップＳ６）と、を含む。

ステップＳ１では、時系列画像取得部４０は、内視鏡スコープ１０により撮像される動画３８のフレーム画像３８ａを取得する。このフレーム画像３８ａを、第１医用画像とする。

ステップＳ２では、注目領域検出部４１は、ステップＳ１で取得した第１医用画像から注目領域を検出する。第１医用画像から検出された注目領域を、第１注目領域とする。

ステップＳ３では、注目領域情報取得部４２は、第１医用画像から第１注目領域の特徴量を取得する。また、注目領域情報取得部４２は、動画３８の第１医用画像より１つ前のフレームのフレーム画像３８ａである第２医用画像において強調（検出）された第２注目領域の特徴量を注目領域記憶部５０から読み出す。

さらに、同一注目領域判定部４６は、第１注目領域の特徴量と第２注目領域の特徴量との類似度から、第１注目領域が第２注目領域と同一であるか否かを判定する。

ステップＳ４では、累計時間計測部４４は、第１注目領域の累計時間を計測する。累計時間とは、注目領域が強調されたタイミングから計時を開始する時間である。また、累計時間として、注目領域が検出されたタイミングから計時を開始する時間であってもよい。累計時間は、注目領域が強調されたタイミング又は注目領域が検出されたタイミングからの時系列画像のフレーム数としてカウントしてもよい。

ステップＳ３において第１注目領域が第２注目領域と同一でないと判定された場合は、累計時間計測部４４は、第１注目領域が新たに検出された注目領域であると判断して、累計時間の計測を新たに開始する。

一方、ステップＳ３において第１注目領域が第２注目領域と同一であると判定された場合は、累計時間計測部４４は、第１注目領域の累計時間として第２注目領域の累計時間を引き継いで計測する。即ち、累計時間計測部４４は、第２注目領域の累計時間を注目領域記憶部５０から読み出し、読み出した累計時間に第２医用画像から第１医用画像までの１フレーム分の時間を加算する。

ステップＳ５では、強調度設定部４５は、第１注目領域の強調度を設定する。

ステップＳ３において第１注目領域が第２注目領域と同一でないと判定された場合は、累計時間の計測を新たに開始したばかりであるので、強調度設定部４５は、第１注目領域の強調度を予め定められた最小値に設定する。

一方、ステップＳ３において第１注目領域が第２注目領域と同一であると判定された場合は、強調度設定部４５は、第１注目領域の強調度を第２注目領域の累計時間を引き継いで計測された累計時間に応じて設定する。

なお、強調度設定部４５は、第２注目領域の強調度を注目領域記憶部５０から読み出し、読み出した第２注目領域の強調度と第２医用画像から第１医用画像までの経過時間と予め定められた強調度の増加率とから第１注目領域の強調度を算出してもよい。

最後に、ステップＳ６では、表示制御部４８（強調処理部の一例）は、第１医用画像に含まれる第１注目領域を設定された強調度で強調する。ここでは、画像表示制御部４８Ａは、第１医用画像を表示器１６に出力し、表示器１６に第１医用画像を表示させる。また、報知情報表示制御部４８Ｂは、座標算出部４３により算出された座標情報に基づいて、かつ強調度設定部４５により設定された強調度に基づいて、第１注目領域を報知する報知情報を表示器１６に出力する。これにより、第１医用画像の第１注目領域の位置に、第１注目領域の累計時間に応じた図形が重畳される。したがって、第１注目領域が重畳された図形により設定された強調度で強調される。

また、ステップＳ６では、制御部４７は、第１注目領域の特徴量、累計時間、及び強調度を第１注目領域と紐付けて注目領域記憶部５０に記憶させる。

以上のように、医用画像処理方法によれば、医用画像の注目領域を適切に報知することができる。

〔強調処理〕
図４は、表示制御部４８において行われる強調処理の一例を示す図である。図４に示すＦ４Ａは、注目領域Ｒ１が検出されたフレーム画像３８ａを示す図である。また、図４に示すＦ４Ｂは、Ｆ４Ａに示すフレーム画像３８ａに注目領域Ｒ１を囲う枠形状の図形Ｅ１が注目領域Ｒ１の位置に重畳されたフレーム画像３８ａを示す図である。このように、表示制御部４８が注目領域Ｒ１の位置に図形を重畳させることで、注目領域Ｒ１を強調することができる。

画像に重畳させる枠形状の図形の形状は、矩形に限定されず、円形、楕円形、多角形であってもよい。また、画像に重畳させる図形は、注目領域を指し示す矢印等であってもよい。

また、図５は、強調処理の他の例を示す図である。図５に示すＦ５Ａは、注目領域Ｒ２が検出されたフレーム画像３８ａを示す図である。また、図５に示すＦ５Ｂは、Ｆ５Ａに示すフレーム画像３８ａに注目領域Ｒ２と略同形状であり、注目領域Ｒ２とは画素値の明度を異ならせた図形Ｅ１１を注目領域Ｒ２に重畳させたフレーム画像３８ａを示す図である。このように、表示制御部４８は、注目領域の位置に画素値を変化させた図形を重畳させてもよい。

注目領域の位置に重畳させる図形の画素値を注目領域の画素値と異ならせる処理は、明度を変化させる処理に限定されず、色相変化処理、彩度変化処理、コントラスト処理、ネガポジ反転処理、フィルタリング処理、及び周波数処理等であってもよい。これらの処理は、注目領域が注目領域外の領域と比べて際立つような処理であることが好ましい。

〔強調度の増加率〕
図６は、注目領域の累計時間と設定される強調度との関係の一例を示すグラフであり、横軸は時間、縦軸は強調度を示している。図６では、Ｆ６Ａ〜Ｆ６Ｅの５つの例について示している。

Ｆ６Ａ〜Ｆ６Ｅにおいて、時間ｔ１は注目領域が検出されたタイミングである。Ｆ６Ａ〜Ｆ６Ｅに示すように、強調度は、時間ｔ１において最小値に設定され、時間ｔ１より後のタイミングである時間ｔ２において最大値に設定される。また、強調度は、時間ｔ１から時間ｔ２にかけて累計時間が相対的に長いほど相対的に大きい値に設定される。なお、強調度が０の場合は、フレーム画像３８ａがそのまま表示される。

強調度は、Ｆ６Ａに示すように累計時間に比例して大きくしてもよいし、Ｆ６Ｂに示すように累計時間に対して指数関数的に大きくしてもよい。また、Ｆ６Ｃに示すように、段階的に大きくしてもよい。即ち、累計時間に対する強調度の増加率（以下、増加率と表記する）は、一定の値に限定されず、累計時間に対する関数で求められる値であってもよい。

強調度の最小値、最大値、及び増加率は、予め定められた固定値として記憶部４９に記憶される。また、強調度の最小値、最大値、及び増加率は、画像から得られる特徴量によって適宜変更してもよいし、ユーザが所望の値を設定可能に構成してもよい。

強調度が最大値に到達した後は、Ｆ６Ａ〜Ｆ６Ｃに示すようにそのまま最大値を維持してもよい。一定時間が経過するまでは強調度を最大値として強調することで、ユーザが注目領域を認識しやすくなる。

また、Ｆ６Ｄに示すように、強調度が最大値に到達した後に再度最小値から強調度の増加を繰り返してもよい。この場合、強調度が繰り返される点滅箇所は注意を引きやすくなるため、ユーザによる注目領域の見落とし防止に繋がる。

さらに、Ｆ６Ｅに示すように、強調度が最大値に到達した後に強調処理を終了、即ち強調度を０に設定してもよい。この場合は、強調処理を行う時間が長過ぎてユーザによる注目領域の観察の邪魔になるということを防止することができる。

これらの強調度が最大値に到達した後の態様は、注目領域に応じて適宜選択してもよいし、ユーザが所望の態様を設定可能に構成してもよい。

〔報知情報の変化〕
図７は、強調度に応じた図形の変化の一例を示す図である。図７に示すＦ７Ａは、注目領域Ｒ３を囲う枠形状の図形であって、強調度が最小値の図形Ｅ２１が重畳されたフレーム画像３８ａを示す図である。また、図７に示すＦ７Ｂは、注目領域Ｒ３を囲う枠形状の図形であって、強調度が最大値の図形Ｅ２２が重畳されたフレーム画像３８ａを示す図である。Ｆ７Ａに示すフレーム画像３８ａよりも、Ｆ７Ｂに示すフレーム画像３８ａの方が、時系列的に後のフレーム画像である。

図形Ｅ２１と図形Ｅ２２とは線の太さ及び色が同一の図形であり、それぞれ透過度が異なっている。ここでは、強調度設定部４５は、累計時間が相対的に長いほど図形の透過度を相対的に小さく設定することで、累計時間が相対的に長いほど強調度を相対的に大きい値に設定している。したがって、図形Ｅ２１の透過度よりも図形Ｅ２２の透過度の方が相対的に小さい。

図８は、強調度に応じた図形の変化の他の例を示す図である。図８に示すＦ８Ａは、注目領域Ｒ４を囲う枠形状の図形であって、強調度が最小値の図形Ｅ３１が重畳されたフレーム画像３８ａを示す図である。また、図８に示すＦ８Ｂは、注目領域Ｒ４を囲う枠形状の図形であって、強調度が最大値の図形Ｅ３２が重畳されたフレーム画像３８ａを示す図である。Ｆ８Ａに示すフレーム画像３８ａよりも、Ｆ８Ｂに示すフレーム画像３８ａの方が、時系列的に後のフレーム画像である。

図形Ｅ３１と図形Ｅ３２とは透過度及び色が同一の図形であり、それぞれ線の太さが異なっている。ここでは、強調度設定部４５は、累計時間が相対的に長いほど図形の太さを相対的に太く設定することで、累計時間が相対的に長いほど強調度を相対的に大きい値に設定している。したがって、図形Ｅ３１の線よりも図形Ｅ３２の線の方が相対的に太い。

図９は、強調度に応じた図形の変化の他の例を示す図である。図９に示すＦ９Ａは、注目領域Ｒ５を囲う枠形状の図形であって、強調度が最小値の図形Ｅ４１が重畳されたフレーム画像３８ａを示す図である。また、図９に示すＦ９Ｂは、注目領域Ｒ５を囲う枠形状の図形であって、強調度が最大値の図形Ｅ４２が重畳されたフレーム画像３８ａを示す図である。Ｆ９Ａに示すフレーム画像３８ａよりも、Ｆ９Ｂに示すフレーム画像３８ａの方が、時系列的に後のフレーム画像である。

図形Ｅ４１と図形Ｅ４２とは透過度及び線の太さが同一の図形であり、それぞれ色（色温度）が異なっている。ここでは、強調度設定部４５は、累計時間が相対的に長いほど図形の色を任意の色強度指標に基づいた色強度の高い色に設定することで、累計時間が相対的に長いほど強調度を相対的に大きい値に設定している。したがって、図形Ｅ４１の色よりも図形Ｅ４２の色の方が任意の色強度指標に基づいた色強度が相対的に高い。

図９に示すＦ９Ｃは、図形Ｅ４１の色から図形Ｅ４２の色への遷移を示す図である。図形Ｅ４１の色及び図形Ｅ４２の色の中間色を、それぞれの配色の等比、等差、もしくは比率を可変にして算出してもよい。

強調度設定部４５は、フレーム画像３８ａの色を取得し、累計時間が相対的に長いほど図形の色をフレーム画像３８ａの色とのコントラストが相対的に高い色に設定することで、累計時間が相対的に長いほど強調度を相対的に大きい値に設定してもよい。フレーム画像３８ａの色は、被検体内の色、及び光源装置１１から供給される照明光の波長に応じて異なる。したがって、取得したフレーム画像３８ａの色に応じて、図形Ｅ４１の色及び図形Ｅ４２の色を適宜決定する。

また、図形の色ではなく、図形の明度及び彩度の少なくとも一方を変更してもよい。累計時間が長いほど、より注目領域が際立って見えるように変化させることが好ましい。このように、図形の色、明度、及び彩度の少なくとも１つを変更することで、周囲との色差や光源等を考慮した強調処理を行うことができる。

また、図形の大きさ及び形状の少なくとも一方を変更してもよい。この場合も、累計時間が長いほど、より注目領域が際立って見えるように変化させることが好ましい。

〔累計時間〕
累計時間計測部４４が計測する累計時間は、例えば、注目領域が最初に検出されたタイミングから、継続して検出され続けている時間を示す。

図１０は、累計時間を説明するための図である。図１０は、時間ｔ−１、時間ｔ、時間ｔ＋１、時間ｔ＋２、及び時間ｔ＋３におけるそれぞれのフレーム画像３８ａの一例を示している。ここでは、時間ｔ−１のフレーム画像３８ａでは注目領域が検出されていない。また、時間ｔ、時間ｔ＋１、時間ｔ＋２のフレーム画像３８ａにおいて同一の注目領域Ｒ６が検出されている。これに伴い、時間ｔ、時間ｔ＋１、時間ｔ＋２のフレーム画像３８ａには、それぞれ注目領域Ｒ６を囲う枠形状の図形Ｅ５１、図形Ｅ５２、及び図形Ｅ５３が重畳される。

図１０に示す例では、時間ｔのフレーム画像３８ａにおける注目領域Ｒ６の累計時間は０である。また、時間ｔ＋１のフレーム画像３８ａにおける注目領域Ｒ６の累計時間は（ｔ＋１）−ｔ＝１であり、時間ｔ＋２のフレーム画像３８ａにおける注目領域Ｒ６の累計時間は（ｔ＋２）−ｔ＝２である。

したがって、図形Ｅ５１は累計時間０に応じた強調度（最小値）、図形Ｅ５２は累計時間１に応じた強調度、及び図形Ｅ５３は累計時間２に応じた強調度が設定される。

また、図１０に示すように、時間ｔ＋３のフレーム画像３８ａでは注目領域が検出されていない。したがって、時間ｔ＋３において、注目領域Ｒ６の累計時間は０にリセットされ、強調処理がリセットされる。

なお、累計時間及び強調処理は、注目領域の検出が途切れた場合にただちにリセットされることに限定されない。

内視鏡スコープ１０によって撮像される動画３８では、注目領域が腸のひだ等に隠れてしまい、あるタイミングだけ画像に写らない場合が存在する。その際に、同一の注目領域にもかかわらず隠れた前後の注目領域がそれぞれ別の注目領域と判断されて強調度がリセットされると、ユーザの意識に留まらない恐れがある。

また、内視鏡スコープ１０の操作は難しく、注目領域を常に観察画像中に留めておくことは難しい。このため、注目領域が画面から外れるたびに異なる注目領域と認識した支援を行うと、ユーザの思考を阻害することになりかねない。

さらに、先端部２７の先端面の観察窓（不図示）に汚れ等が付着することで、注目領域検出部４１が注目領域を検出することができない場合がある。

このため、検出が途切れた場合であっても、ある一定時間Ｔｋは注目領域の情報を保持しておき、後に同一の注目領域を検出した場合に強調度を引き継がせてもよい。

図１１は、累計時間を説明するための図である。図１１は、時間ｔ、時間ｔ＋１、時間ｔ＋２、及び時間ｔ＋３におけるそれぞれのフレーム画像３８ａの一例を示している。図１１に示すように、時間ｔのフレーム画像３８ａにおいて注目領域Ｒ７が検出されている。これに伴い、時間ｔのフレーム画像３８ａには、注目領域Ｒ７を囲う枠形状の図形Ｅ６１が重畳されている。時間ｔにおいて、注目領域Ｒ７の累計時間がＴｃであったとする。このため、図形Ｅ６１は、累計時間Ｔｃに応じた強調度の図形である。制御部４７は、注目領域Ｒ７の特徴量、累計時間、及び強調度を、注目領域Ｒ７と紐付けて注目領域記憶部５０に記憶させる。

その後、図１１に示すように、時間ｔ＋１、及び時間ｔ＋２のフレーム画像３８ａでは注目領域が検出されていない。

さらに時間が経過し、図１１に示すように、注目領域検出部４１は、時間ｔ＋３のフレーム画像３８ａにおいて注目領域を検出する。ここで、注目領域Ｒ７が最後に検出された時間ｔから時間ｔ＋３までの経過時間Ｔｐ＝（ｔ＋３）−ｔ＝３は、一定時間Ｔｋ未満であるとする。

同一注目領域判定部４６は、注目領域記憶部５０に記憶された注目領域Ｒ７の特徴量と時間ｔ＋３のフレーム画像３８ａにおいて検出された注目領域の特徴量とを比較し、両注目領域が同一の注目領域であるか否かを判定する。ここでは、同一であると判定される。

強調度設定部４５は、時間ｔ＋３のフレーム画像３８ａにおいて検出された注目領域Ｒ７について、注目領域記憶部５０に記憶された注目領域Ｒ７の累計時間、及び強調度を引き継がせ、累計時間に時間ｔから時間ｔ＋３までの経過時間Ｔｐを加算する。即ち、累計時間として、注目領域が強調されたタイミングから計時を開始し、注目領域を強調していなかった時間も含めて計時した時間とする。

したがって、注目領域Ｒ７の累計時間はＴｃ＋Ｔｐとなり、強調度は累計時間Ｔｃ＋Ｔｐに応じた強調度となる。図１１に示すように、時間ｔ＋３のフレーム画像３８ａには、注目領域Ｒ７を囲う枠形状の図形であって、Ｔｃ＋Ｔｐに応じた強調度の図形Ｅ６２が重畳される。

注目領域の検出されない時間が一定時間Ｔｋを超えた場合は、注目領域記憶部５０に記憶された注目領域の特徴量、累計時間、及び強調度をリセット（消去）する。注目領域の情報を保持し続ける一定時間Ｔｋは、予め定められた固定値でもよいし、検出されていた注目領域とその周囲との凹凸の量、検出されていた注目領域とその周囲との色差等から判断してもよい。また、ユーザが所望の値を設定してもよい。

ここでは、引き継いだ累計時間Ｔｃに加算した経過時間Ｔｐは、注目領域の検出が途切れていた時間を含めていたが、実際に注目領域が検出されている時間のみを加算してもよい。即ち、累計時間として、注目領域が強調されたタイミングから計時を開始し、注目領域を強調しなかった時間を排除して計時した時間としてもよい。例えば、時間ｔ＋３における累計時間は、注目領域Ｒ７が検出されていなかった時間ｔ＋１及び時間ｔ＋２を排除し、Ｔｃ＋１としてもよい。この場合、注目領域記憶部５０に注目領域Ｒ７が最後に検出された時間を記憶しておくことで、注目領域Ｒ７が検出されていなかった時間を認識することができる。

また、ここでは時間ｔ＋３のフレーム画像３８ａにおいて注目領域が検出された際に、最後に検出された時間ｔのフレーム画像３８ａの注目領域Ｒ７と同一の注目領域であるか否かを判定したが、この判定において注目領域Ｒ７とは同一の注目領域ではないと判定された場合に、さらに時間ｔのフレーム画像３８ａより時系列的に前（例えば時間ｔ−１）のフレーム画像３８ａ（第３医用画像の一例）の注目領域である第３注目領域と同一の注目領域であるか否かを判定してもよい。

その結果、両注目領域が同一であると判定された場合は、強調度設定部４５は、時間ｔ＋３のフレーム画像３８ａにおいて検出された注目領域について、注目領域記憶部５０に記憶された第３注目領域の累計時間、及び強調度を引き継がせ、累計時間に例えば時間ｔ−１から時間ｔ＋３までの経過時間Ｔｐを加算すればよい。

〔複数の注目領域の強調〕
観察中の動画に複数の注目領域が検出された場合、ユーザが１つの注目領域に注目し過ぎると、その他の注目領域の存在が意識から外れてしまう可能性がある。特に、それぞれの注目領域が離れている、又はそれぞれの注目領域が画面端に存在する場合等は、ユーザの意識から外れる可能性が高く、見逃しに繋がってしまう。また、内視鏡スコープ１０を迅速に操作した場合、注目領域を複数検出しても強調度が高くなる前に画面外に外れてしまい、ユーザの意識に留まらない可能性がある。したがって、複数の注目領域を検出した場合には、強調度を大きくする、又は強調度の増加率を大きくする等により、この問題を回避してもよい。

図１２は、１枚の医用画像に複数の注目領域が検出された際の図形の変化の一例を示す図である。図１２に示すＦ１２Ａは、注目領域Ｒ８を囲う図形Ｅ７１、及び注目領域Ｒ９を囲う図形Ｅ８１が重畳されたフレーム画像３８ａを示す図である。また、図１２に示すＦ１２Ｂは、注目領域Ｒ８を囲う図形Ｅ７２、及び注目領域Ｒ９を囲う図形Ｅ８２が重畳されたフレーム画像３８ａを示す図である。Ｆ１２Ａに示すフレーム画像３８ａよりも、Ｆ１２Ｂに示すフレーム画像３８ａの方が、時系列的に後のフレーム画像である。

これまでと同様に、図形Ｅ７１よりも図形Ｅ７２の方が、強調度が相対的に大きい値に設定されている。また、図形Ｅ８１よりも図形Ｅ８２の方が、強調度が相対的に大きい値に設定されている。また、ここでは、注目領域の数が多くなるほど強調度の最小値、最大値、及び増加率が大きい値に設定される。

図１３は、２つの注目領域が検出された際の強調度の変更の一例を示すグラフであり、横軸は時間、縦軸は強調度を示している。図１３に示すように、１つ目の注目領域は、最小値ｍｉｎα、最大値ｍａｘα、増加率Ｒα１で強調される。また、２つ目の注目領域は、最小値ｍｉｎβ、最大値ｍａｘβ、増加率Ｒβで強調される。ここでは、ｍｉｎα＜ｍｉｎβ、ｍａｘα＜ｍａｘβ、Ｒα１＜Ｒβの関係を有している。これらの最小値、最大値、及び増加率は、記憶部４９に予め記憶されている。

図１２に示す注目領域に対して、図１３に示すように強調度が変化するものとする。ここでは、時間ｔ１に１つ目の注目領域Ｒ８が検出され、時間ｔ１より後の時間ｔ２に注目領域Ｒ９が検出されたものとする。この場合、強調度設定部４５は、注目領域Ｒ８について、時間ｔ１において最小値ｍｉｎαの強調度を設定し、その後、累計時間に対して増加率Ｒα１で大きくした値に強調度を設定する。

続いて、時間ｔ２において２つ目の注目領域Ｒ９が検出される。強調度設定部４５は、注目領域Ｒ９について、時間ｔ２において最小値ｍｉｎβの強調度を設定し、その後、累計時間に対して増加率Ｒβで大きくした値に強調度を設定する。また、強調度設定部４５は、時間ｔ２からは増加率Ｒα２で大きくした値に注目領域Ｒ８の強調度を設定する。増加率Ｒα２は、Ｒα１＜Ｒα２＜Ｒβの関係を有している。

さらに時間が経過すると、強調度設定部４５は、時間ｔ３において、注目領域Ｒ９の強調度が最大値ｍａｘβに設定する。その後、注目領域Ｒ９の強調を終了させる。なお、最大値ｍａｘβの強調度で強調を維持させてもよい。また、強調度設定部４５は、時間ｔ４において、注目領域Ｒ８の強調度を最大値ｍａｘαに設定する。その後、注目領域Ｒ９と同様に、注目領域Ｒ８の強調を終了させる。なお、最大値ｍａｘαの強調度で強調を維持させてもよい。

ここでは、注目領域の数が多くなるほど強調度の最小値、最大値、及び増加率が大きい値に設定したが、強調度の最小値、最大値、及び増加率の少なくとも１つを大きい値に設定すればよい。このように、注目領域の数が多くなるほど強調度の最小値及び最大値の少なくとも一方を大きい値に設定して強調度を高めることで、注目領域をユーザに意識させ、ユーザによる注目領域の見逃しを防止することができる。また、注目領域の数が多くなるほど強調度の増加率を大きい値に設定してより早期に強調度を高めることで、注目領域をユーザに意識させ、ユーザによる注目領域の見逃しを防止することができる。

〔画像内の位置に応じた強調度の設定〕
患者への負担を軽減するため、内視鏡検査は時間をかけずに迅速に行う必要がある。また、内視鏡スコープ１０の操作は煩雑である。このため、挿入部２０を素早く動かし過ぎてしまうことがある。

挿入部２０の移動が速い場合には、ユーザが意識していない箇所で注目領域が検出された際に、ユーザが注目領域を見逃す恐れがある。特に画像の端部で注目領域が検出された場合は、ユーザが注目領域を見逃してしまう可能性が高くなる。

このような見逃しを防止するため、画像の中心からの距離に応じて最小値、最大値、及び増加率を設定してもよい。

図１４は、人間の視覚特性を説明するための図である。図１４に示す領域Ａ１は、注視点を含む領域であり、視力が最も優れている領域である。また、領域Ａ２は、注視点から眼球運動のみで瞬時に情報受容が可能な領域である。領域Ａ３は、注視点から眼球及び頭部運動により無理なく情報受容が可能な領域である。

人間の視覚特性上、視力は注視点が一番高く、離れるにつれて急激に低下してぼんやりと見える状態になる。通常ユーザは画像の中心を注視していることが多いため、画像の端部の支援機能を高めた方が好ましい。上記の傾向は上下左右で異なるため、方向に応じて増加率を変えてもよい。例えば、上方向は他の方向よりも支援する必要があるため、最小値、最大値、増加率の少なくとも１つを相対的に大きくすることが好ましい。

〔明るさに応じた強調度の設定〕
注目領域の輝度値、又は注目領域の輝度値と注目領域外の輝度値との差分に基づいて、強調度の最小値、最大値、及び増加率を設定してもよい。注目領域が暗い、又は周囲との明るさの差分が小さいほど、ユーザが注目領域を見逃す可能性が高い。したがって、この場合は、強調度の最小値、最大値、及び増加率の少なくとも１つを相対的に大きい値に設定する。

逆に、注目領域が明るい、又は周囲との明るさの差分が大きいほど、ユーザが注目領域を見逃す可能性は低い。したがって、画像の視認性を優先するために強調度の最小値、最大値、及び増加率の少なくとも１つを相対的に小さい値に設定する。

図１５は、注目領域の明るさに応じた強調度の変更の一例を示すグラフであり、横軸は時間、縦軸は強調度を示している。注目領域の明るさが標準の場合には、強調度の最小値はｍｉｎ０、最大値はｍａｘ０である。また、増加率Ｒｉ０は、図１５に示すように、Ｒｉ０＝（ｍａｘ０−ｍｉｎ０）／（ｔ３−ｔ１）である。

注目領域の明るさが相対的に暗い場合には、強調度の最小値はｍｉｎ１、最大値はｍａｘ１である。また、増加率Ｒｉ１は、図１５に示すように、Ｒｉ１＝（ｍａｘ１−ｍｉｎ１）／（ｔ２−ｔ１）である。ここで、ｍｉｎ０＜ｍｉｎ１、ｍａｘ０＜ｍａｘ１、Ｒｉ０＜Ｒｉ１の関係を有している。

注目領域の明るさが相対的に明るい場合には、強調度の最小値はｍｉｎ２、最大値はｍａｘ２である。また、増加率Ｒｉ２は、図１５に示すように、Ｒｉ２＝（ｍａｘ２−ｍｉｎ２）／（ｔ４−ｔ１）である。ここで、ｍｉｎ０＞ｍｉｎ２、ｍａｘ０＞ｍａｘ２、Ｒｉ＞Ｒｉ２の関係を有している。これらの最小値、最大値、及び増加率は、記憶部４９に予め記憶されている。

ここで、注目領域の明るさは、注目領域の輝度値から取得することができる。ここでは、注目領域の輝度値に応じた強調度の変更を示したが、注目領域の輝度値と注目領域外の輝度値との差分を用いた場合でも同様である。

〔色情報に応じた強調度の設定〕
明るさに応じた強調度の設定の場合と同様に、注目領域の色情報、又は注目領域の色情報と注目領域外の色情報との差分に基づいて、強調度の最小値、最大値、及び増加率を設定してもよい。

注目領域の彩度が低い、又は周囲との色差が小さい、報知情報として使用する図形の色との色差が小さい場合は、ユーザが注目領域を見逃す可能性が高い。したがって、明るさの場合と同様に、強調度の最小値、最大値、及び増加率の少なくとも１つを相対的に大きい値に設定する。例えば、図１５に示したように、強調度の最小値をｍｉｎ１、最大値をｍａｘ１、増加率をＲｉ１とする。

逆に、注目領域の彩度が高い、又は周囲との色差が大きい、図形の色との色差が大きい場合は、ユーザが注目領域を見逃す可能性は低い。したがって、画像の視認性を優先するために、強調度の最小値、最大値、及び増加率の少なくとも１つを相対的に小さい値に設定する。例えば、図１５に示したように、強調度の最小値をｍｉｎ２、最大値をｍａｘ２とする。増加率をＲｉ２とする。

色情報とは、ＲＧＢ（Red、Green、Blue）色空間に限定するものでない。例えば、デバイス非依存のＬ＊ａ＊ｂ＊表色系のＬａｂ色空間、印刷処理に適した表色系のＹＭＣＫ（Cyan、Magenta、Yellow、blacＫ）色空間、ＨＬＳ（Hue-Luminance-Saturation）色空間、輝度と色差から成るいわゆるＹＣｂＣｒ（Ｙ：輝度、ＣｂＣｒ：色差）色空間等であってもよい。

また、色差に関しては、人間が識別できる許容範囲（ＪＩＳ規格、又は各種工業会で一般的に使用されているもの）に収まっているか否かで判定してもよい。

〔動き情報に応じた強調度の設定〕
明るさ及び色情報の場合と同様に、注目領域の動き量、動き方向等の動き情報に基づいて、強調度の最小値、最大値、及び増加率を設定してもよい。

注目領域の動き量が大きいほど、より早期に検出したことをユーザに意識させる必要がある。また、注目領域の動き方向が画像の端部に向かう方向である場合は、ユーザが注目領域を見逃す可能性が高い。したがって、強調度の最小値、最大値、及び増加率の少なくとも１つを相対的に大きい値に設定する。

逆に、注目領域の動き量が小さい場合は早期に意識させる必要はない。また、注目領域の動き方向が画像の中心に向かう方向である場合は、ユーザが注目領域を見逃す可能性は低い。したがって、強調度の最小値、最大値、及び増加率の少なくとも１つを相対的に小さい値に設定する。

〔同一ではないが周囲に存在する注目領域〕
同一の注目領域であっても、挿入部２０の挿入角度等により形状が異なって写る場合がある。また、注目領域検出部４１において、１００％の精度で同一の注目領域として検出することができない場合がある。このような理由により、同一の注目領域にもかかわらず同一の注目領域と判断されなかった場合、各フレーム画像で最小値の強調度による強調処理が行われ続けることになる。このような状況はユーザの注意力を阻害することになり、好ましくない。

そこで、検出された注目領域がそれ以前に検出されていた注目領域と同一の注目領域と判断されなかった場合であっても、検出された注目領域がある一定の範囲内に存在した場合には、それ以前に検出されていた注目領域の累計時間及び強調度を引き継がせてもよい。形状等が異なっても注目領域検出部４１が反応するということは、その周辺の注目領域らしさが高いことを示しており、ユーザに注視させることで見逃し防止に役立つ。

図１６は、同一でないが周囲に存在する注目領域を説明するための図である。図１６は、時間ｔ−１、時間ｔ、及び時間ｔ＋１におけるそれぞれのフレーム画像３８ａの一例を示している。これらは動画３８において連続するフレーム画像である。

時間ｔ−１のフレーム画像３８ａにおいて、注目領域Ｒ１０が検出されている。この注目領域Ｒ１０の累計時間に応じた強調度の図形Ｅ９１が、フレーム画像３８ａの注目領域Ｒ１０の位置に重畳されている。また、注目領域Ｒ１０の特徴量、累計時間、及び強調度が注目領域Ｒ１０と紐付けて注目領域記憶部５０に記憶される。

ここで、注目領域検出部４１は、注目領域Ｒ１０について、注目領域Ｒ１０を中心とした一定の範囲Ｂ１を設定する。図１６では、説明のために各フレーム画像３８ａに範囲Ｂ１を表す枠形状を図示しているが、この範囲Ｂ１を表す枠形状は表示器１６には表示されない。

その後、注目領域検出部４１に時間ｔのフレーム画像３８ａが入力されると、注目領域検出部４１は、このフレーム画像３８ａから注目領域Ｒ１１を検出する。また、注目領域情報取得部４２は、注目領域Ｒ１１の特徴量を取得する。

次に、同一注目領域判定部４６は、注目領域記憶部５０に記憶された注目領域Ｒ１０の特徴量と注目領域情報取得部４２が算出した注目領域Ｒ１１の特徴量とを比較し、注目領域Ｒ１０と注目領域Ｒ１１とが同一の注目領域であるか否かを判定する。ここでは、特徴量がそれぞれ異なっており、同一注目領域判定部４６は両注目領域が同一でないと判定する。

両注目領域が同一でないと判定すると、同一注目領域判定部４６は、さらに、注目領域Ｒ１１のフレーム画像３８ａ内の位置が注目領域Ｒ１０に設定された範囲Ｂ１内の位置であるか否かを判定する。ここでは、同一注目領域判定部４６は、注目領域Ｒ１１の位置が範囲Ｂ１の範囲内の位置であると判定する。

注目領域Ｒ１１の位置が範囲Ｂ１の範囲内の位置であると判定されると、累計時間計測部４４は、注目領域Ｒ１１の累計時間として注目領域記憶部５０に記憶されている注目領域Ｒ１０の累計時間を引き継いで計測する。

また、強調度設定部４５は、注目領域Ｒ１１の強調度として、注目領域Ｒ１０の累計時間を引き継いで計測された累計時間に応じて設定する。強調度設定部４５は、注目領域記憶部５０に記憶されている注目領域Ｒ１０の強調度と時間ｔから時間ｔ＋１までの経過時間と予め定められた強調度の増加率とから、注目領域Ｒ１１の強調度を算出して設定してもよい。

その結果、図１６に示すように、時間ｔのフレーム画像３８ａには、注目領域Ｒ１１を強調する枠形状の図形Ｅ９２が注目領域Ｒ１１の位置に重畳される。図形Ｅ９２は、図形Ｅ９１よりも１フレーム分の時間だけ強調度が相対的に大きい図形である。このように、注目領域Ｒ１１は、注目領域Ｒ１０の強調度を引き継ぐことができる。

また、制御部４７は、注目領域Ｒ１１の特徴量、累計時間、及び強調度を注目領域Ｒ１１と紐付けて注目領域記憶部５０に記憶させる。

続いて、注目領域検出部４１に時間ｔ＋１のフレーム画像３８ａが入力されると、注目領域検出部４１は、このフレーム画像３８ａから注目領域Ｒ１２を検出する。また、注目領域情報取得部４２は、注目領域Ｒ１２の特徴量を算出する。

次に、同一注目領域判定部４６は、注目領域記憶部５０に記憶された注目領域Ｒ１１の特徴量と注目領域情報取得部４２が算出した注目領域Ｒ１２の特徴量とを比較し、注目領域Ｒ１１と注目領域Ｒ１２とが同一の注目領域であるか否かを判定する。ここでは、特徴量がそれぞれ異なっており、同一注目領域判定部４６は両注目領域が同一でないと判定する。

同一注目領域判定部４６は、さらに、注目領域Ｒ１２のフレーム画像３８ａ内の位置が注目領域Ｒ１０に設定された範囲Ｂ１内の位置であるか否かを判定する。ここでは、同一注目領域判定部４６は、注目領域Ｒ１２の位置が範囲Ｂ１の範囲内の位置であると判定する。

注目領域Ｒ１２の位置が範囲Ｂ１の範囲内の位置であると判定されると、累計時間計測部４４は、注目領域Ｒ１２の累計時間として注目領域記憶部５０に記憶されている注目領域Ｒ１１の累計時間を引き継いで計測する。

また、強調度設定部４５は、注目領域Ｒ１２の強調度として、注目領域Ｒ１１の累計時間を引き継いで計測された累計時間に応じて設定する。

その結果、図１６に示すように、時間ｔ＋１のフレーム画像３８ａには、注目領域Ｒ１２を強調する枠形状の図形Ｅ９３が注目領域Ｒ１２の位置に重畳される。図形Ｅ９３は、図形Ｅ９２よりも１フレーム分の時間だけ強調度が相対的に大きい図形である。このように、注目領域Ｒ１２は、注目領域Ｒ１１の強調度を引き継ぐことができる。

なお、注目領域Ｒ１２の位置が範囲Ｂ１の範囲内の位置でないと判定された場合は、注目領域Ｒ１２は新たに検出された注目領域として扱われる。即ち、累計時間計測部４４は注目領域Ｒ１２の累計時間の計測を新たに開始し、強調度設定部４５は注目領域Ｒ１２の強調度を予め定められた最小値に設定する。

ここでは、同一注目領域判定部４６は、注目領域Ｒ１２のフレーム画像３８ａ内の位置が最初に検出された注目領域Ｒ１０について設定された範囲Ｂ１内の位置であるか否かを判定したが、注目領域Ｒ１１について新たな範囲を設定し、注目領域Ｒ１２が注目領域Ｒ１１に設定した範囲内の位置であるか否かを判定してもよい。

また、同一注目領域判定部４６は注目領域Ｒ１０を中心とした一定の範囲Ｂ１を設定したが、強調度の引き継ぎのために同一注目領域判定部４６が判定する範囲は、予め設定された固定の範囲でもよい。

以上のように、検出された注目領域がそれ以前に検出されていた注目領域と同一の注目領域と判断されなかった場合であっても、検出された注目領域がある一定の範囲内に存在した場合には、それ以前に検出されていた注目領域の強調度を引き継がせることで、注目領域を適切な強調度で強調することができる。

〔表示部が複数存在する場合〕
ここまでは単一の表示部に動画３８を表示する例を説明したが、医用画像処理装置１４は複数の表示部を備えていてもよい。ユーザによっては、観察中の画像に報知情報を重畳させたくない場合がある。したがって、観察中の画像を表示する表示部とは異なる表示部に報知情報を重畳させた画像を表示させてもよい。

図１７は、複数の表示部を備えた医用画像処理装置１４の電気的構成を示すブロック図である。表示器１６は、第１表示器１６Ａと第２表示器１６Ｂとを備えている。第１表示器１６Ａと第２表示器１６Ｂとは、それぞれ異なる２つのモニタであってもよいし、１つのモニタのそれぞれ異なる領域であってもよい。

画像表示制御部４８Ａは、時系列画像取得部４０が取得した動画３８を第１表示器１６Ａ及び第２表示器１６Ｂの少なくとも一方に出力する。また、報知情報表示制御部４８Ｂは、注目領域を報知する報知情報を第１表示器１６Ａ及び第２表示器１６Ｂの少なくとも一方に出力する。

図１８〜図２０は、それぞれ複数の表示部に対する表示内容を説明するための図である。図１８〜図２０は、上段に第１表示器１６Ａ、下段に第２表示器１６Ｂの、時間ｔ、時間ｔ＋１、時間ｔ＋２、及び時間ｔ＋３における表示内容の一例を示している。

図１８〜図２０に示すように、第１表示器１６Ａには、動画３８の連続するフレーム画像である時間ｔ、時間ｔ＋１、時間ｔ＋２、及び時間ｔ＋３のフレーム画像３８ａがそれぞれ時間ｔ、時間ｔ＋１、時間ｔ＋２、及び時間ｔ＋３において表示される。時間ｔ、時間ｔ＋１、及び時間ｔ＋２のフレーム画像３８ａは、同一の注目領域Ｒ１３を含んでいる。また、時間ｔ＋３のフレーム画像３８ａでは、注目領域は含まれていない。

図１８に示す例では、第２表示器１６Ｂには、第１表示器１６Ａと同様に、時間ｔ、時間ｔ＋１、時間ｔ＋２、及び時間ｔ＋３のフレーム画像３８ａがそれぞれ時間ｔ、時間ｔ＋１、時間ｔ＋２、及び時間ｔ＋３において表示されている。

また、第２表示器１６Ｂに表示された時間ｔ、時間ｔ＋１、及び時間ｔ＋２のフレーム画像３８ａには、それぞれ注目領域Ｒ１３の累計時間に応じた強調度の図形Ｅ１０１、図形Ｅ１０２、及び図形Ｅ１０３が、注目領域Ｒ１３の位置に重畳されている。図形Ｅ１０１、図形Ｅ１０２、及び図形Ｅ１０３は、注目領域Ｒ１３の位置を囲う枠形状の図形であり、それぞれ線の透過度が異なっている。

このように動画３８を表示することで、ユーザは第１表示器１６Ａによって画像の観察を行い、必要に応じて第２表示器１６Ｂによって注目領域の報知を確認することができる。

また、図１９に示す例では、第２表示器１６Ｂにはフレーム画像３８ａは表示されておらず、報知情報である図形のみが表示されている。第２表示器１６Ｂには、時間ｔ、時間ｔ＋１、及び時間ｔ＋２において、それぞれ注目領域Ｒ１３の累計時間に応じた強調度の図形Ｅ１０１、図形Ｅ１０２、及び図形Ｅ１０３が、各フレーム画像３８ａの注目領域Ｒ１３の位置に相当する位置に表示されている。また、時間ｔ＋３においては、図形は表示されていない。

また、図２０に示す例においても、第２表示器１６Ｂには報知情報である図形のみが表示されている。第２表示器１６Ｂには、時間ｔ、時間ｔ＋１、及び時間ｔ＋２において、それぞれ注目領域Ｒ１３の累計時間に応じた強調度の図形Ｅ１１１、図形Ｅ１１２、及び図形Ｅ１１３が、各フレーム画像３８ａの注目領域Ｒ１３の位置に相当する位置に表示されている。図形Ｅ１１１、図形Ｅ１１２、及び図形Ｅ１１３は、注目領域Ｒ１３と略同形状の図形であり、それぞれ透過度が異なっている。また、時間ｔ＋３においては、図形は表示されていない。

このように表示した場合でも、ユーザは第１表示器１６Ａによって画像の観察を行い、必要に応じて第２表示器１６Ｂによって注目領域の報知を確認することができる。

〔医用画像処理方法：第２実施形態〕
第２実施形態に係る医用画像処理方法の他の例について説明する。図２１は、第２実施形態に係る医用画像処理方法の各処理の一例を示すフローチャートである。

ステップＳ１１では、時系列画像取得部４０は、内視鏡スコープ１０により撮像された動画３８のフレーム画像３８ａをデータＤ１として取得する。注目領域検出部４１は、データＤ１から注目領域を検出する。

ステップＳ１２では、制御部４７は、注目領域検出部４１が注目領域を検出したか否かを判定する。

注目領域検出部４１が注目領域を検出していない場合は、ステップＳ１３へ移行する。ステップＳ１３では、制御部４７は、さらに注目領域を検出しない連続未検出時間が閾値時間Ｔｈより小さいか否かを判定する。ここでは連続未検出時間を判定しているが、連続未検出フレーム数を判定してもよい。また、総計未検出時間、又は総計未検出フレーム数を判定してもよい。

連続未検出時間が閾値時間Ｔｈ以上の場合はステップＳ１４に移行し、制御部４７は、データベースである注目領域記憶部５０をリセットする。即ち、注目領域記憶部５０に記憶されている注目領域の特徴量、累計時間、強調度を消去する。注目領域の特徴量、累計時間、強調度を消去しておくことで、次に注目領域を検出した場合に、新たに検出した注目領域であることを判断することができる。

連続未検出時間が閾値時間Ｔｈより小さい場合はステップＳ１５に移行し、制御部４７は、データベースである注目領域記憶部５０を更新する。即ち、注目領域記憶部５０に記憶されている注目領域の特徴量、累計時間、強調度を最新の状態に更新する。また、連続未検出時間を更新する。このように注目領域記憶部５０を更新しておくことで、注目領域の検出が途切れてしまった場合であっても、同一の注目領域を再度検出した場合に強調度等を引き継ぐことができる。また、連続未検出時間の判定を適切に行うことができる。

ステップＳ１４における注目領域記憶部５０のリセット、又はステップＳ１５における更新が終了したら、本フローチャートの処理を終了する。

一方、ステップＳ１２において、注目領域検出部４１が注目領域を検出したと判定された場合は、ステップＳ１６へ移行する。

ステップＳ１６では、同一注目領域判定部４６は、注目領域検出部４１が検出した注目領域が過去のフレーム画像において検出した注目領域と同一であるか否かを判定する。この判定は、注目領域記憶部５０に記憶された過去の注目領域の特徴量と、ステップＳ１１で検出された注目領域について注目領域情報取得部４２が算出した特徴量とを比較することで行う。

ステップＳ１６において両注目領域が同一であると判定された場合は、ステップＳ１７へ移行する。また、ステップＳ１６において両注目領域が同一でないと判定された場合は、ステップＳ１８へ移行する。

ステップＳ１８では、同一注目領域判定部４６は、さらに、ステップＳ１１で検出された注目領域の画像内の位置が過去に検出された注目領域の周辺の位置であるか否かを判定する。周辺の位置とは、例えば過去に検出された注目領域を中心とした一定の範囲内の位置である。

ステップＳ１８において、注目領域が過去に検出された注目領域の周辺の位置に存在すると判定された場合は、ステップＳ１７に移行する。

ステップＳ１７では、累計時間計測部４４は、ステップＳ１１で検出した注目領域の累計時間として注目領域記憶部５０に記憶されている注目領域の累計時間を引き継いで計測する。これにより、累計時間に応じた強調度を引き継ぐことができる。その後、ステップＳ１９へ移行する。

また、ステップＳ１８において、過去に検出された注目領域の周辺の位置に存在しないと判定された場合も、ステップＳ１９に移行する。

ステップＳ１９では、注目領域情報取得部４２は、動画３８のデータＤ１よりも過去のフレーム画像３８ａをデータＤ２として取得し、データＤ２から注目領域及び注目領域外の輝度値、色、及び動き情報等の特徴量を抽出する。この特徴量の抽出は、全フレームで実施してもよいし、ある一定間隔、もしくはユーザの意図したタイミング等で実施してもよい。実施しない場合は、ステップＳ１７からステップＳ２０へ移行すればよい。

なお、注目領域情報取得部４２は、動画３８のデータＤ１よりも未来のフレーム画像３８ａをデータＤ２として取得してもよい。未来のフレーム画像３８ａを取得すると遅延が発生してしまうが、特徴量として動き情報を抽出する場合は、過去のフレーム画像３８ａ及び未来のフレーム画像３８ａを参照することで、高精度に抽出することができる。

ちなみに、動き情報を取得する際に参照するフレーム画像３８ａは、現在のフレーム画像３８ａの直前及び直後のフレーム画像３８ａだけではなく、現在のフレーム画像３８ａを中心とした任意の数のフレーム画像３８ａの全て、もしくはそこから選択したフレーム画像３８ａを使用してもよい。これは、注目領域が時系列的に必ず連続して検出されるわけではないからである。また、過去のフレーム画像３８ａに関しては、強調度を引き継いだフレーム画像３８ａのみを対象にしてもよい。

ステップＳ２０では、強調度設定部４５は、ステップＳ１１で検出した注目領域の強調度を設定する。強調度設定部４５は、ステップＳ１７で引き継いだ強調度をそのまま設定してもよいし、ステップＳ１９で抽出した特徴量に応じて引き継いだ強調度を変化させて設定してもよい。

また、ステップＳ２１では、データベースである注目領域記憶部５０について、注目領域の特徴量、累計時間、強調度を更新する。

次に、ステップＳ２２では、画像表示制御部４８Ａは、データＤ１であるフレーム画像３８ａを表示器１６に出力する。また、報知情報表示制御部４８Ｂは、強調度設定部４５により設定された強調度に基づいて、注目領域を報知する報知情報を表示器１６に出力する。

これにより、表示器１６には、注目領域が強調されたフレーム画像３８ａが表示される。

このように、検出した注目領域が過去の注目領域と同一である場合は強調度を引き継ぐことで、強調された累計時間が長いほど大きい値の強調度で注目領域を強調することができる。また、検出した注目領域が過去の注目領域と同一でない場合であっても、検出した注目領域の位置が過去の注目領域の位置の周辺に存在する場合は、同一の注目領域である場合と同様に強調度を引き継ぐことで、強調された累計時間が長いほど大きい値の強調度で注目領域を強調することができる。また、注目領域を検出しなかった場合であっても、未検出時間が閾値時間Ｔｈより小さい場合はデータベースを更新しておくことで、閾値時間Ｔｈが経過する前に同一の注目領域を再度検出した場合に、過去の注目領域の強調度等を引き継ぐことが可能となる。

以上のように、医用画像の注目領域を適切に報知することができる。

ここでは、医用画像として内視鏡画像を例に説明したが、本実施形態に係る医用画像処理装置は内視鏡画像に限定されず、カプセル内視鏡画像や超音波画像等の時系列の医用画像に適用することができる。

〔その他〕
上記の医用画像処理方法をコンピュータに実行させるためのプログラム５１を記憶したＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）等の非一時的な記録媒体を構成することも可能である。

ここまで説明した実施形態において、内視鏡プロセッサ装置１２及び医用画像処理装置１４は、それぞれ異なる装置として説明したが、内視鏡プロセッサ装置１２及び医用画像処理装置１４を一体の装置として構成し、医用画像処理装置１４の機能を有する内視鏡プロセッサ装置１２としてもよい。

また、内視鏡プロセッサ装置１２及び医用画像処理装置１４の各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、或いはＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、サーバ及びクライアント等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、各種のプロセッサを１つ以上用いて構成される。

更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。

本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。

９…内視鏡システム
１０…内視鏡スコープ
１１…光源装置
１２…内視鏡プロセッサ装置
１３…表示装置
１４…医用画像処理装置
１５…操作部
１６…表示器
１６Ａ…第１表示器
１６Ｂ…第２表示器
２０…挿入部
２１…手元操作部
２２…ユニバーサルコード
２５…軟性部
２６…湾曲部
２７…先端部
２８…撮像素子
２９…湾曲操作ノブ
３０…送気送水ボタン
３１…吸引ボタン
３２…静止画撮像指示部
３３…処置具導入口
３５…ライトガイド
３６…信号ケーブル
３７ａ…コネクタ
３７ｂ…コネクタ
３８…動画
３８ａ…フレーム画像
３９…静止画
４０…時系列画像取得部
４１…注目領域検出部
４２…注目領域情報取得部
４３…座標算出部
４４…累計時間計測部
４５…強調度設定部
４６…同一注目領域判定部
４７…制御部
４８…表示制御部
４８Ａ…画像表示制御部
４８Ｂ…報知情報表示制御部
４９…記憶部
５０…注目領域記憶部
５１…プログラム
Ｄ１，Ｄ２…データ
Ｅ１〜Ｅ１１３…図形
Ｒ１〜Ｒ１３…注目領域
Ｓ１〜Ｓ２２…医用画像処理方法の各ステップ

強調処理部は、注目領域を囲む枠形状の図形を医用画像に重畳し、強調度設定部は、累計時間が相対的に長いほど枠形状の図形の線の太さを相対的に太く設定することが好ましい。これにより、注目領域を適切な強調度で強調することができる。

また、Ｆ６Ｄに示すように、強調度が最大値に到達した後に再度最小値から強調度の増加を繰り返してもよい。この場合、強調度の増加が繰り返される点滅箇所は注意を引きやすくなるため、ユーザによる注目領域の見落とし防止に繋がる。

図形Ｅ３１と図形Ｅ３２とは透過度及び色が同一の図形であり、それぞれ線の太さが異なっている。ここでは、強調度設定部４５は、累計時間が相対的に長いほど図形の線の太さを相対的に太く設定することで、累計時間が相対的に長いほど強調度を相対的に大きい値に設定している。したがって、図形Ｅ３１の線よりも図形Ｅ３２の線の方が相対的に太い。

注目領域の明るさが相対的に明るい場合には、強調度の最小値はｍｉｎ２、最大値はｍａｘ２である。また、増加率Ｒｉ２は、図１５に示すように、Ｒｉ２＝（ｍａｘ２−ｍｉｎ２）／（ｔ４−ｔ１）である。ここで、ｍｉｎ０＞ｍｉｎ２、ｍａｘ０＞ｍａｘ２、Ｒｉ０＞Ｒｉ２の関係を有している。これらの最小値、最大値、及び増加率は、記憶部４９に予め記憶されている。

両注目領域が同一でないと判定すると、同一注目領域判定部４６は、さらに、注目領域Ｒ１１のフレーム画像３８ａ内の位置が注目領域Ｒ１０に設定された範囲Ｂ１内の位置であるか否かを判定する。ここでは、同一注目領域判定部４６は、注目領域Ｒ１１の位置が範囲Ｂ１内の位置であると判定する。

注目領域Ｒ１１の位置が範囲Ｂ１内の位置であると判定されると、累計時間計測部４４は、注目領域Ｒ１１の累計時間として注目領域記憶部５０に記憶されている注目領域Ｒ１０の累計時間を引き継いで計測する。

また、強調度設定部４５は、注目領域Ｒ１１の強調度として、注目領域Ｒ１０の累計時間を引き継いで計測された累計時間に応じて設定する。強調度設定部４５は、注目領域記憶部５０に記憶されている注目領域Ｒ１０の強調度と時間ｔ−１から時間ｔまでの経過時間と予め定められた強調度の増加率とから、注目領域Ｒ１１の強調度を算出して設定してもよい。

同一注目領域判定部４６は、さらに、注目領域Ｒ１２のフレーム画像３８ａ内の位置が注目領域Ｒ１０に設定された範囲Ｂ１内の位置であるか否かを判定する。ここでは、同一注目領域判定部４６は、注目領域Ｒ１２の位置が範囲Ｂ１内の位置であると判定する。

注目領域Ｒ１２の位置が範囲Ｂ１内の位置であると判定されると、累計時間計測部４４は、注目領域Ｒ１２の累計時間として注目領域記憶部５０に記憶されている注目領域Ｒ１１の累計時間を引き継いで計測する。

なお、注目領域Ｒ１２の位置が範囲Ｂ１内の位置でないと判定された場合は、注目領域Ｒ１２は新たに検出された注目領域として扱われる。即ち、累計時間計測部４４は注目領域Ｒ１２の累計時間の計測を新たに開始し、強調度設定部４５は注目領域Ｒ１２の強調度を予め定められた最小値に設定する。

Claims (22)

1. 時系列の医用画像に含まれる注目領域を設定された強調度で強調する強調処理部と、
   前記注目領域が強調された累計時間を計測する累計時間計測部と、
   前記累計時間が相対的に長いほど前記強調度を相対的に大きい値に設定する強調度設定部と、
   を備える医用画像処理装置。
2. 前記時系列の医用画像を取得する画像取得部と、
   前記医用画像から注目領域を検出する注目領域検出部と、
   を備えた請求項１に記載の医用画像処理装置。
3. 前記累計時間計測部は、複数の注目領域に対して各注目領域の累計時間をそれぞれ計測し、
   前記強調度設定部は、前記各注目領域の累計時間に応じて前記各注目領域の強調度をそれぞれ設定する請求項１又は２に記載の医用画像処理装置。
4. 前記注目領域の特徴量を算出する特徴量算出部と、
   前記注目領域の前記特徴量と前記累計時間とを関連付けて記憶する注目領域記憶部と、
   第１医用画像に含まれる第１注目領域の特徴量と、前記注目領域記憶部に記憶された前記第１医用画像より時系列的に前の第２医用画像において強調された第２注目領域の特徴量との類似度から、前記第１注目領域が前記第２注目領域と同一であるか否かを判定する同一注目領域判定部と、
   を備え、
   前記累計時間計測部は、前記第１注目領域が前記第２注目領域と同一であると判定された場合に、前記第１注目領域の累計時間として前記第２注目領域の累計時間を引き継いで計測する請求項１から３のいずれか１項に記載の医用画像処理装置。
5. 前記同一注目領域判定部は、前記第１注目領域が前記第２注目領域と同一でないと判定された場合に、前記第１注目領域の特徴量と、前記注目領域記憶部に記憶された前記第２医用画像より時系列的に前の第３医用画像において強調された第３注目領域の特徴量との類似度から、前記第１注目領域が前記第３注目領域と同一であるか否かをさらに判定し、
   前記累計時間計測部は、前記第１注目領域が前記第３注目領域と同一であると判定された場合に、前記第１注目領域の累計時間として前記第３注目領域の累計時間を引き継いで計測する請求項４に記載の医用画像処理装置。
6. 前記同一注目領域判定部は、前記第１注目領域が前記第２注目領域と同一でないと判定された場合に、前記第１注目領域が前記第１医用画像内の予め定められた範囲内の位置に存在するか否かを判定し、
   前記累計時間計測部は、前記予め定められた範囲内の位置であると判定された場合に、前記第１注目領域の累計時間として前記第２注目領域の累計時間を引き継いで計測する請求項４又は５に記載の医用画像処理装置。
7. 前記強調処理部は、注目領域の位置を示す図形を前記医用画像に重畳し、
   前記強調度設定部は、前記累計時間が相対的に長いほど前記図形の透過度を相対的に小さく設定する請求項１から６のいずれか１項に記載の医用画像処理装置。
8. 前記強調処理部は、注目領域の位置を示す図形を前記医用画像に重畳し、
   前記強調度設定部は、前記累計時間が相対的に長いほど前記図形の色を色強度指標に基づいた色強度を相対的に高く設定する請求項１から７のいずれか１項に記載の医用画像処理装置。
9. 前記強調処理部は、注目領域の位置を示す図形を前記医用画像に重畳し、
   前記強調度設定部は、前記累計時間が相対的に長いほど前記図形の大きさを相対的に大きく設定する請求項１から８のいずれか１項に記載の医用画像処理装置。
10. 前記強調処理部は、注目領域を囲む枠形状の図形を前記医用画像に重畳し、
    前記強調度設定部は、前記累計時間が相対的に長いほど前記枠形状の図形の太さを相対的に太く設定する請求項１から９のいずれか１項に記載の医用画像処理装置。
11. 前記強調度設定部は、１枚の前記医用画像に存在する注目領域の数が相対的に多いほど、前記累計時間に対する前記強調度の増加率を相対的に大きくする請求項１から１０のいずれか１項に記載の医用画像処理装置。
12. 前記強調度設定部は、前記注目領域の前記医用画像内の位置に基づいて前記強調度の最小値、最大値、及び前記累計時間に対する前記強調度の増加率の少なくとも１つを変更する請求項１から１１のいずれか１項に記載の医用画像処理装置。
13. 前記強調度設定部は、前記注目領域の輝度値、又は前記注目領域の輝度値と前記注目領域外の輝度値との差分に基づいて前記強調度の最小値、最大値、及び前記累計時間に対する前記強調度の増加率の少なくとも１つを変更する請求項１から１２のいずれか１項に記載の医用画像処理装置。
14. 前記強調度設定部は、前記注目領域の色情報、又は前記注目領域の色情報と前記注目領域外の色情報との差分に基づいて前記強調度の最小値、最大値、及び前記累計時間に対する前記強調度の増加率の少なくとも１つを変更する請求項１から１３のいずれか１項に記載の医用画像処理装置。
15. 前記強調度設定部は、前記注目領域の動き量、又は前記注目領域の動き方向に基づいて前記強調度の最小値、最大値、及び前記累計時間に対する前記強調度の増加率の少なくとも１つを変更する請求項１から１４のいずれか１項に記載の医用画像処理装置。
16. 前記注目領域が強調された前記時系列の医用画像を表示部に順次表示させる表示制御部を備えた請求項１から１５のいずれか１項に記載の医用画像処理装置。
17. 前記表示制御部は、前記注目領域が強調された前記時系列の医用画像を複数の表示部のうち少なくとも１つの前記表示部に順次表示させる請求項１６に記載の医用画像処理装置。
18. 請求項１７に記載の医用画像処理装置と、
    前記表示部と、
    を備えた診断支援装置。
19. 請求項１から１７のいずれか１項に記載の医用画像処理装置と、
    前記時系列の医用画像を撮像する内視鏡スコープと、
    を備えた内視鏡システム。
20. 時系列の医用画像に含まれる注目領域を設定された強調度で強調する強調処理工程と、
    前記注目領域が強調された累計時間を計測する累計時間計測工程と、
    前記累計時間が長いほど前記強調度を大きい値に設定する強調度設定工程と、
    を備える医用画像処理方法。
21. 請求項２０に記載の医用画像処理方法をコンピュータに実行させるためのプログラム。
22. 非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に請求項２１に記載のプログラムをコンピュータに実行させる記録媒体。

Images