JPWO2018020558A1 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

内視鏡画像群から高画質な内視鏡画像を抽出する画像処理装置、画像処理方法およびプログラムを提供する。時系列順で並ぶ内視鏡画像群における各内視鏡画像の病変領域の特性を解析する病変領域解析部７１と、病変領域の特性に基づいて、内視鏡画像群から診断に適切な内視鏡画像を抽出するための抽出条件を設定する抽出条件設定部７２と、抽出条件に基づいて、診断に適切な内視鏡画像を内視鏡画像群から抽出する画像抽出部７３と、を備える。

Description

本発明は、時系列順で並ぶ内視鏡画像群から高画質の内視鏡画像を抽出する画像処理装置、画像処理方法およびプログラムに関する。

特許文献１には、ユーザの指示画像周囲から画質と動作情報を指標に表示画像を抽出する技術が開示されている。これは、超音波診断装置におけるフリーズ操作は、診断者の手による超音波深触子の保持、呼吸、体位変化等による超音波深触子の姿勢変化を原因としたブレ、ボケ等で画質低下するため、高画質の画像を得ようと繰返し撮影するといった煩雑さを解決している。具体的には、時系列の複数の超音波画像を格納後、ユーザの指示によるフリーズ画像を設定し、フリーズ画像に時間的に近接する関係にある複数の候補画像を選択し、複数の候補画像に附帯する画質、動作といった参照情報を特徴量（指標）として表示画像を選択している。

特開２００４−２４５５９号公報

しかしながら、上述した特許文献１では、医師の診断に適した画像を取得することが難しい。

本発明は、上記に鑑みてなされたものであって、内視鏡画像群から診断に適切な内視鏡画像を抽出する画像処理装置、画像処理方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、時系列順で並ぶ内視鏡画像群における各内視鏡画像に写る病変領域の特性を解析する病変領域解析部と、前記病変領域の特性に基づいて、前記内視鏡画像群から診断に適切な内視鏡画像を抽出するための抽出条件を設定する抽出条件設定部と、前記抽出条件に基づいて、診断に適切な画質を有する内視鏡画像を前記内視鏡画像群から抽出する画像抽出部と、を備えることを特徴とする。

また、本発明に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、時系列順で並ぶ内視鏡画像群における各内視鏡画像に写る病変領域の特性を解析する病変領域解析ステップと、前記病変領域の特性に基づいて、前記内視鏡画像群から診断に適切な内視鏡画像を抽出するための抽出条件を設定する抽出条件設定ステップと、前記抽出条件に基づいて、診断に適切な画質を有する内視鏡画像を前記内視鏡画像群から抽出する画像抽出ステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、画像処理装置に、時系列順で並ぶ内視鏡画像群における各内視鏡画像に写る病変領域の特性を解析する病変領域解析ステップと、前記病変領域の特性に基づいて、前記内視鏡画像群から診断に適切な内視鏡画像を抽出するための抽出条件を設定する抽出条件設定ステップと、前記抽出条件に基づいて、診断に適切な画質を有する内視鏡画像を前記内視鏡画像群から抽出する画像抽出ステップと、を実行させることを特徴とする。

本発明によれば、内視鏡画像群から診断に適切な高画質な内視鏡画像を抽出することができるという効果を奏する。

図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。 図２は、本発明の実施の形態１に係る画像処理装置が実行する処理の概要を示すフローチャートである。 図３は、図２の病変領域特性解析処理の概要を示すフローチャートである。 図４は、図２の抽出条件設定処理の概要を示すフローチャートである。 図５は、本発明の実施の形態１の変形例１に係る病変特性情報算出部の構成を示すブロック図である。 図６は、本発明の実施の形態１の変形例１に係る注視動作判定部の構成を示すブロック図である。 図７は、本発明の実施の形態１の変形例１に係る基点画像設定部の構成を示すブロック図である。 図８は、本発明の実施の形態１の変形例１に係る端点区間設定部の構成を示すブロック図である。 図９は、本発明の実施の形態１の変形例２に係る病変特性情報算出部の構成を示すブロック図である。 図１０は、本発明の実施の形態１の変形例２に係る注視動作判定部の構成を示すブロック図である。 図１１は、本発明の実施の形態１の変形例３に係る病変領域解析部の構成を示すブロック図である。 図１２は、本発明の実施の形態１の変形例３に係る病変領域解析部が実行する病変領域特性解析処理の概要を示すフローチャートである。 図１３は、本発明の実施の形態１の変形例４に係る病変領域解析部の構成を示すブロック図である。 図１４は、本発明の実施の形態１の変形例４に係る病変領域解析部が実行する病変領域特性解析処理の概要を示すフローチャートである。 図１５は、本発明の実施の形態２に係る演算部の構成を示すブロック図である。 図１６は、本発明の実施の形態２に係る画像処理装置が実行する処理の概要を示すフローチャートである。 図１７は、図１６の病変領域特性解析処理の概要を示すフローチャートである。 図１８は、図１６の抽出条件設定処理の概要を示すフローチャートである。 図１９は、図１６の内視鏡画像抽出処理の概要を示すフローチャートである。 図２０は、本発明の実施の形態３に係る演算部の構成を示すブロック図である。 図２１は、本発明の実施の形態３に係る画像処理装置が実行する処理の概要を示すフローチャートである。 図２２は、図２１の病変領域特性解析処理の概要を示すフローチャートである。 図２３は、図２１の抽出条件設定処理の概要を示すフローチャートである。 図２４は、図２１の内視鏡画像抽出処理の概要を示すフローチャートである。

以下、本発明の実施の形態に係る画像処理装置、画像処理方法およびプログラムについて、図面を参照しながら説明する。なお、これらの実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一の部分には同一の符号を付して示している。

（実施の形態１）
〔画像処理装置の構成〕
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。本実施の形態１に係る画像処理装置１は、一例として、内視鏡（軟性内視鏡や硬性内視鏡等の内視鏡スコープ）またはカプセル型内視鏡（以下、これらをまとめて単に「内視鏡」という）によって、連続的に撮像されて時系列順に並ぶ内視鏡画像群（動画データや時系列画像群）から診断に最適な高画質の内視鏡画像を抽出する装置である。また、内視鏡画像は、通常、各画素位置において、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の波長成分に対する画素レベル（画素値）を持つカラー画像である。また、以下において、病変領域とは、特定領域として、出血、発赤、凝固血、腫瘍、びらん、潰瘍、アフタ、絨毛異常等、病変又は異常とみられる部位が写った特定領域、即ち異常領域である。

図１に示す画像処理装置１は、内視鏡によって撮像された内視鏡画像群に対して病変領域検出装置（例えばDeepLearning等の機械学習装置）によって病変領域が検出された病変領域の座標情報を示す病変領域情報を取得する画像取得部２と、外部からの操作によって入力された入力信号を受け付ける入力部３と、内視鏡画像群のうち診断に最適な診断対象画像を外部へ出力する出力部４と、画像取得部２によって取得された内視鏡画像群および各種プログラムを記録する記録部５と、画像処理装置１全体の動作を制御する制御部６と、内視鏡画像群に対して所定の画像処理を行う演算部７と、を備える。

画像取得部２は、内視鏡を含むシステムの態様に応じて適宜構成される。例えば、画像取得部２は、内視鏡との間の内視鏡画像群（動画データや画像データ）および病変領域情報の受け渡しに可搬型の記録媒体が使用される場合、この記録媒体を着脱自在に装着し、記録された内視鏡画像群および病変領域情報を読み出すリーダ装置として構成される。また、画像取得部２は、内視鏡によって撮像された内視鏡画像群および病変領域情報を記録するサーバを用いる場合、このサーバと双方向に通信可能な通信装置等で構成され、サーバとデータ通信を行うことによって内視鏡画像群および病変領域情報を取得する。さらにまた、画像取得部２は、内視鏡からケーブルを介して内視鏡画像群および病変領域情報が入力されるインターフェース装置等で構成してもよい。

入力部３は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、外部からの操作に応じて受け付けた入力信号を制御部６へ出力する。

出力部４は、制御部６の制御のもと、演算部７の演算によって抽出された診断対象画像を外部の表示装置等へ出力する。なお、出力部４は、液晶や有機ＥＬ（Electro Luminescence）の表示パネル等を用いて構成し、演算部７の演算によって抽出された診断対象画像を含む各種画像を表示してもよい。

記録部５は、フラッシュメモリ、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）といった各種ＩＣメモリ、および内蔵若しくはデータ通信端子で接続されたハードディスク等によって実現される。記録部５は、画像取得部２によって取得された内視鏡画像群の他、画像処理装置１を動作させるとともに、種々の機能を画像処理装置１に実行させるためのプログラム、このプログラムの実行中に使用されるデータ等を記録する。例えば、記録部５は、内視鏡画像群から診断に最適な内視鏡画像を抽出する画像処理プログラム５１、および、このプログラムの実行中に使用される種々の情報等を記録する。

制御部６は、ＣＰＵ（Central Processing Unit）等の汎用プロセッサまたはＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。制御部６が汎用プロセッサである場合、記録部５が記憶する各種プログラムを読み込むことによって画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括して制御する。また、制御部６が専用プロセッサである場合、プロセッサが単独で種々の処理を実行しても良いし、記録部５が記憶する各種データ等を用いることで、プロセッサと記憶部５が協働又は結合して種々の処理を実行してもよい。

演算部７は、ＣＰＵ等の汎用プロセッサまたはＡＳＩＣやＦＰＧＡ等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。演算部７が汎用プロセッサである場合、記録部５から画像処理プログラム５１を読み込むことにより、取得した時系列順に並ぶ内視鏡画像群から診断に最適な内視鏡画像を抽出する画像処理を実行する。また、演算部７が専用プロセッサである場合、プロセッサが単独で種々の処理を実行してもよいし、記録部５が記憶する各種データ等を用いることで、プロセッサと記録部５が協働又は結合して画像処理を実行してもよい。

〔演算部の詳細な構成〕
次に、演算部７の詳細な構成について説明する。
演算部７は、病変領域解析部７１と、抽出条件設定部７２と、画像抽出部７３と、を備える。

病変領域解析部７１は、制御部６または記録部５を介して画像取得部２が取得した内視鏡画像群、および各内視鏡画像における病変領域の座標情報を示す病変領域情報の入力を受け付け、各内視鏡画像に写る病変領域の特徴や特性を解析する。病変領域解析部７１は、病変領域取得部７１１と、病変領域有情報取得部７１２と、病変特性情報算出部７１３と、注視動作判定部７１４と、を有する。

病変領域取得部７１１は、制御部６または記録部５を介して画像取得部２が取得した内視鏡画像群、および各内視鏡画像における病変領域の座標情報を示す病変領域情報を取得する。

病変領域有情報取得部７１２は、各内視鏡画像の病変領域情報に基づいて、予め設定された所定値以上の面積を持つ病変領域を含むか否かの病変領域有情報を取得する。

病変特性情報算出部７１３は、病変領域情報をもとに病変領域の特性を示す病変特性情報を算出する。また、病変特性情報算出部７１３は、病変領域有情報に予め設定された所定値以上の面積を持つ病変領域を含む情報が含まれる場合（以下、「有判定の場合」という）、病変領域情報に基づいて、病変領域のサイズ情報を取得するサイズ取得部７１３１を有する。

注視動作判定部７１４は、病変特性情報に基づいて、病変領域に対する注視動作を判定する。また、注視動作判定部７１４は、病変領域有情報が有判定であり、かつ、病変特性情報におけるサイズ情報が予め設定された所定値以上の場合、視認中であるとともに、近景撮像と判定する近景撮影動作判定部７１４１を有する。

抽出条件設定部７２は、病変領域の特性（特徴）に基づいて、抽出条件を設定する。抽出条件設定部７２は、抽出対象範囲設定部７２１を有する。

抽出対象範囲設定部７２１は、病変領域の特性（特徴）に基づいて、基点と基点をもとに決まる各端点間を抽出対象範囲として設定する。また、抽出対象範囲設定部７２１は、病変領域の特性（特徴）における動作情報に基づいて、特定の動作位置の内視鏡画像を基準画像として設定する基点画像設定部７２１１と、病変領域の特性（特徴）における動作情報に基づいて、基点画像の前後の特定の動作位置の内視鏡画像を端点画像とし、基点画像から端点画像の区間を設定する端点区間設定部７２１２と、を有する。

基点画像設定部７２１１は、特定の動作が予め設定された所定区間継続後、異なる動作に切り替わる位置近辺の内視鏡画像を基点画像とする動作変化点抽出部７２１１ａを有する。

端点区間設定部７２１２は、特定の動作が発生する画像までの区間を設定する動作発生区間位置設定部７２１２ａを有する。さらにまた、動作発生区間位置設定部７２１２ａは、病変領域有情報が有判定である区間で、基点画像前後の基点画像を端点画像とする基点間設定部７２１２ｂを有する。

画像抽出部７３は、抽出条件に基づいて、診断に適切な画質（所定条件を満たす画質）を有する内視鏡画像を抽出する。画像抽出部７３は、病変領域の画質に応じた評価値を算出する画質評価値算出部７３１を有する。

〔画像処理装置の処理〕
次に、画像処理装置１が実行する画像処理方法について説明する。図２は、画像処理装置１が実行する処理の概要を示すフローチャートである。

図２に示すように、病変領域解析部７１は、記録部５に記録された内視鏡画像群および病変領域情報を取得し、各内視鏡画像の病変領域の特性（特徴）を解析する病変領域特性解析処理を実行する（ステップＳ１）。ステップＳ１の後、画像処理装置１は、後述するステップＳ２へ移行する。

図３は、図２のステップＳ１の病変領域特性解析処理の概要を示すフローチャートである。図３に示すように、病変領域有情報取得部７１２は、病変領域取得部７１１が記録部５から取得した入力情報である内視鏡画像群と病変領域の座標情報を持つ病変領域情報とに基づいて、予め設定された所定値以上の面積を持つ病変領域を含むか否かの病変領域有情報を取得して判断する（ステップＳ１０）。具体的には、病変領域有情報取得部７１２は、病変領域情報に、病変領域の座標情報と、病変領域が予め設定された所定値以上の面積を持つ病変領域を示す情報（フラグ）とが含まれるか否かを判断する。

続いて、病変特性情報算出部７１３は、病変領域情報に基づいて、病変領域の特性を示す病変特性情報を算出する（ステップＳ１１）。具体的には、サイズ取得部７１３１は、病変領域有情報が有判定の場合、病変領域情報に基づいて、病変領域のサイズ情報を取得する。

その後、注視動作判定部７１４は、病変特性情報をもとに病変領域に対する注視動作を判定する（ステップＳ１２）。具体的には、近景撮影動作判定部７１４１は、病変領域有情報が有判定の場合、視認中であり、かつ、病変特性情報におけるサイズ情報が予め設定された所定以上の場合、近景撮像と判定する。ステップＳ１２の後、画像処理装置１は、図２のメインルーチンへ戻る。以上の処理により、病変領域解析部７１は、動作情報を病変領域の特性として抽出条件設定部７２へ出力する。

図２に戻り、ステップＳ２以降の説明を続ける。
ステップＳ２において、抽出条件設定部７２は、内視鏡画像群に対し、病変領域の特性（特徴）に基づいて、基点と基点をもとに決まる各端点間を抽出する抽出対象範囲を設定する抽出条件設定処理を実行する。

図４は、図２のステップＳ２の抽出条件設定処理の概要を示すフローチャートである。図４に示すように、まず、抽出対象範囲設定部７２１は、病変領域の特性（特徴）における動作情報に基づいて、特定の動作位置の内視鏡画像を基点画像として設定する（ステップＳ２０）。具体的には、基点画像設定部７２１１は、特定の動作が予め設定された所定区間継続後、異なる動作に切り替わる位置付近の内視鏡画像を基点画像として設定する。より具体的には、動作変化点抽出部７２１１ａは、動作情報に基づいて、視認中であるか否かを判断するとともに、近景撮像か遠景撮像かを判断し、視認中から非視認中に切り替わるタイミング近辺の内視鏡画像であって、近景撮像から遠景撮像に切り替わるタイミング近辺の内視鏡画像を基点画像として設定する。ここで、タイミング近辺とは、視認中から非視認中に切り替わるタイミングから所定範囲の時間、例えば１秒である。また、異なる動作に切り替わる位置付近とは、異なる動作に切り替わる位置から所定範囲の時間、例えば１秒である。

続いて、端点区間設定部７２１２は、病変領域の特性（特徴）における動作情報に基づいて、基点画像前後の特定の動作位置の内視鏡画像を端点画像とし、基点画像から端点画像の区間を設定する（ステップＳ２１）。具体的には、動作発生区間位置設定部７２１２ａは、特定の動作が発生する画像までの区間を設定する。より具体的には、基点間設定部７２１２ｂは、予め設定した特定の診断動作が継続後、診断動作が切り替わるタイミングの内視鏡画像を端点画像とし、基点画像から端点画像の区間を設定する。ステップＳ２１の後、画像処理装置１は、上述した図２のメインルーチンへ戻る。以上の処理により、抽出条件設定部７２は、抽出対象範囲の情報を画像抽出部７３へ出力する。

図２に戻り、ステップＳ３以降の説明を続ける。
ステップＳ３において、画像抽出部７３は、抽出条件に基づいて、所定条件画質の内視鏡画像を抽出する。具体的には、画質評価値算出部７３１は、画素値として、表層構造における色ズレ量、先鋭度、有効領域面積のいずれか１つ以上を想定して内視鏡画像を抽出する。ここで、色ズレ量に関し、画質評価値算出部７３１は、画像全体から算出される彩度情報の代表値（平均値等）を基点画像で算出し、基点画像の彩度情報の代表値と比較して小さい内視鏡画像を色ズレ量が少ないとみなし、画質に関する評価値を高くするように算出する。また、先鋭度に関し、画質評価値算出部７３１は、基点画像の先鋭度情報と比較して大きい内視鏡画像を先鋭度が強いとみなし、画質に関する評価値を高くするように算出する。また、画質評価値算出部７３１は、有効領域面積が大きいほど画質に関する評価値を高くするように算出する。続いて、画像抽出部７３は、算出された評価値に基づいて、画質評価値の特徴量空間上で所定範囲に入る画像を抽出することによって、高画質の画像を抽出する。

ここで、上述した特許文献１（特開２００４−２４５５９号公報）では、ユーザが指示した参照範囲から、画像を選択する際の特徴量を、参照情報に記載されている画質、又は動作を適用したものでありユーザが抽出対象範囲や、抽出枚数を指示する点についての負担軽減を解決することには言及がされていなかった。例えば、内視鏡の管腔内画像では、被写体の動作変化が大きいうえ、病変領域が撮像範囲から出入りすることが頻繁に起き被写体の変動が大きいようなシーンでは、ユーザによるフリーズの指示タイミングの失敗や、フリーズ画像の近接範囲の設定を失敗することが想定され、必ずしも高画質の画像を抽出できていなかった。これに対して、本発明の実施の形態１によれば、入力情報として得た病変領域の特性（特徴）の解析を行い、病変領域の特性（特徴）に基づいて抽出条件を設定し、この抽出条件に基づいて参照範囲画像から高画質の画像を抽出することによって、時系列順に並ぶ内視鏡画像群から診断に適切な内視鏡画像を抽出することができる。

（実施の形態１の変形例１）
次に、本発明の実施の形態１の変形例１について説明する。本実施の形態１の変形例１は、上述した実施の形態１に係る病変特性情報算出部７１３、注視動作判定部７１４、基点画像設定部７２１１および端点区間設定部７２１２の構成が異なる。以下においては、本実施の形態１の変形例１に係る病変特性情報算出部、注視動作判定部、基点画像設定部および端点区間設定部について説明する。なお、上述した実施の形態１に係る画像処理装置１と同一の構成には同一の符号を付して説明を省略する。

図５は、本発明の実施の形態１の変形例１に係る病変特性情報算出部の構成を示すブロック図である。図５に示す病変特性情報算出部７１３ａは、病変領域情報をもとに病変領域の特性を示す病変特性情報を算出する。また、病変特性情報算出部７１３ａは、病変領域有情報が有判定の場合、時系列順で注目の内視鏡画像と隣接する内視鏡画像との病変領域間の変化量を算出する変化量算出部７１３２を有する。ここで、変化量とは、注目画像と注目画像とが近接する内視鏡画像の２つの病変領域情報の論理和の面積から論理積の面積を引いた面積サイズである。

図６は、本発明の実施の形態１の変形例１に係る注視動作判定部の構成を示すブロック図である。図６に示す注視動作判定部７１４ａは、病変特性情報に基づいて、病変領域に対する注視動作を判定する。また、注視動作判定部７１４ａは、病変特性情報における変化量が予め設定された所定値未満の場合、停止とする静止動作判定部７１４２を有する。

図７は、本発明の実施の形態１の変形例１に係る基点画像設定部の構成を示すブロック図である。図７に示す基点画像設定部７２１ａは、病変領域の特性（特徴）における動作情報に基づいて、特定の動作位置の内視鏡画像を基点画像として設定する。具体的には、基点画像設定部７２１ａは、動作情報が移動または停止に関する情報の場合、停止から移動へ切り替わるタイミング手前の内視鏡画像を基点画像として設定する。また、基点画像設定部７２１ａは、特定の診断動作が発生する点を基点画像とする動作発生点抽出部７２１３を有する。具体的には、動作発生点抽出部７２１３は、動作情報が操作動作に関する情報の場合において、画像取得動作時における操作者の操作の開始および終了点の内視鏡画像を基点画像とする。

図８は、本発明の実施の形態１の変形例１に係る端点区間設定部の構成を示すブロック図である。図８に示す端点区間設定部７２２ａは、病変領域の特性（特徴）診断に適切な画質における動作情報に基づいて、基点画像の前後の特定の動作位置の内視鏡画像を端点画像とし、基点画像から端点画像の区間を設定する。また、端点区間設定部７２２ａは、動作継続区間位置設定部７２２２を有する。動作継続区間位置設定部７２２２は、基点画像前後の病変領域有情報が有判定である区間の端点を端点画像とする病変視認区間設定部７２２２ａと、病変領域有情報が有判定である区間で、基点画像前後に予め決められた所定値の位置の内視鏡画像を端点画像とする時間区間設定部７２２２ｂと、を備える。

以上説明した本発明の実施の形態１の変形例１によれば、入力情報として得た病変領域の特性（特徴）の解析を行い、病変領域の特性（特徴）に基づいて抽出条件を設定し、この抽出条件に基づいて参照範囲画像から高画質の画像を抽出することによって、時系列順に並ぶ内視鏡画像群から診断に適切な内視鏡画像を抽出することができる。

（実施の形態１の変形例２）
次に、本発明の実施の形態１の変形例２について説明する。本実施の形態１の変形例１は、上述した実施の形態１に係る病変特性情報算出部７１３および注視動作判定部７１４の構成が異なる。以下においては、本実施の形態１の変形例２に係る病変特性情報算出部および注視動作判定部について説明する。なお、上述した実施の形態１に係る画像処理装置１と同一の構成には同一の符号を付して説明を省略する。

図９は、本発明の実施の形態１の変形例２に係る病変特性情報算出部の構成を示すブロック図である。図９に示す病変特性情報算出部７１３ｂは、病変領域情報をもとに病変領域の特性を示す病変特性情報を算出する。また、病変特性情報算出部７１３ｂは、内視鏡画像中に病変領域が写りだしてからの枚数をカウントして連続枚数とする連続枚数取得部７１３３を有する。

図１０は、本発明の実施の形態１の変形例２に係る注視動作判定部の構成を示すブロック図である。図１０に示す注視動作判定部７１４ｂは、病変特性情報に基づいて、病変領域に対する注視動作を判定する。また、注視動作判定部７１４ｂは、病変特性情報における連続枚数が予め設定された所定値以上の場合、注視継続中とする注視継続動作判定部７１４３を有する。ここで、注視継続動作判定部７１４３における注視継続中を判定する所定値は、ｎ枚毎といった繰り返し注視を判定する閾値である。また、連続枚数が所定数以上のもののうち、変化量の累積が所定値以下のものを注視継続中とする。

以上説明した本発明の実施の形態１の変形例２によれば、入力情報として得た病変領域の特性（特徴）の解析を行い、病変領域の特性（特徴）に基づいて抽出条件を設定し、この抽出条件に基づいて参照範囲画像から高画質の画像を抽出することによって、時系列順に並ぶ内視鏡画像群から診断に適切な内視鏡画像を抽出することができる。

（実施の形態１の変形例３）
次に、本発明の実施の形態１の変形例３について説明する。本発明の実施の形態１の変形例３は、上述した実施の形態１に係る病変領域解析部７１の構成および病変領域解析部７１による病変領域特性解析処理が異なる。以下においては、本実施の形態１の変形例３に係る病変領域解析部について説明後、病変領域解析部が実行する病変領域特性解析処理について説明する。なお、上述した実施の形態１に係る画像処理装置１と同一の構成には同一の符号を付して説明を省略する。

図１１は、本発明の実施の形態１の変形例３に係る病変領域解析部の構成を示すブロック図である。図１１に示す病変領域解析部７１ａは、制御部６または記録部５を介して画像取得部２が取得した内視鏡画像群、および各内視鏡画像における病変領域の座標情報を示す病変領域情報の入力を受け付け、各内視鏡画像の病変領域の特性（特徴）を解析する。病変領域解析部７１ａは、病変領域取得部７１１と、病変領域有情報取得部７１２と、内視鏡の信号情報に基づいて、内視鏡の操作動作を判定する操作動作判定部７１５と、を有する。

次に、病変領域解析部７１ａが実行する病変領域特性解析処理について説明する。図１２は、病変領域解析部７１ａが実行する病変領域特性解析処理の概要を示すフローチャートである。図１２において、病変領域解析部７１ａは、上述したステップＳ１１およびステップＳ１２に換えて、ステップＳ１３を実行する。このため、以下においては、ステップＳ１３について説明する。

ステップＳ１３において、操作動作判定部７１５は、内視鏡の信号情報に基づいて、内視鏡の操作動作を判定する。具体的には、内視鏡の信号情報には、画像の倍率の変更する場像の倍率変更情報、サムネイル（フリーズ画像や静止画像）の取得を指示するサムネイル取得情報、アングルの変更を指示するアングル操作情報および、その他のボタン操作による操作情報が含まれる。

以上説明した本発明の実施の形態１の変形例３によれば、入力情報として得た病変領域の特性（特徴）の解析を行い、病変領域の特性（特徴）に基づいて抽出条件を設定し、この抽出条件に基づいて参照範囲画像から高画質の画像を抽出することによって、時系列順に並ぶ内視鏡画像群から診断に適切な内視鏡画像を抽出することができる。

（実施の形態１の変形例４）
次に、本発明の実施の形態１の変形例４について説明する。本実施の形態１の変形例４は、上述した実施の形態１に係る病変領域解析部７１の構成および病変領域特性解析処理が異なる。以下においては、本実施の形態１の変形例４に係る病変領域解析部について説明後、病変領域解析部が実行する病変領域特性解析処理について説明する。なお、上述した実施の形態１に係る画像処理装置１と同一の構成には同一の符号を付して説明を省略する。

図１３は、本発明の実施の形態１の変形例４に係る病変領域解析部の構成を示すブロック図である。図１３に示す病変領域解析部７１ｂは、上述した実施の形態１に係る病変領域解析部７１の構成に加えて、上述した実施の形態１の変形例３に係る病変領域解析部７１ａの操作動作判定部７１５をさらに有する。

次に、病変領域解析部７１ｂが実行する病変領域特性解析処理について説明する。図１４は、病変領域解析部７１ｂが実行する病変領域特性解析処理の概要を示すフローチャートである。図１４において、病変領域解析部７１ｂは、上述した図３のステップＳ１０〜ステップＳ１２をそれぞれ実行するとともに、上述した図１２のステップＳ１３を実行する。

以上説明した本発明の実施の形態１の変形例４によれば、入力情報として得た病変領域の特性（特徴）の解析を行い、病変領域の特性（特徴）に基づいて抽出条件を設定し、この抽出条件に基づいて参照範囲画像から高画質の画像を抽出することによって、時系列順に並ぶ内視鏡画像群から診断に適切な内視鏡画像を抽出することができる。

（実施の形態２）
次に、本発明の実施の形態２について説明する。本実施の形態２は、上述した実施の形態１に係る画像処理装置１の演算部７と構成が異なるうえ、実行する処理が異なる。以下においては、本実施の形態２に係る演算部の構成を説明後、本実施の形態２に係る画像処理装置が実行する処理について説明する。なお、上述した実施の形態１に係る画像処理装置１と同一の構成には同一の符号を付して説明を省略する。

〔演算部の構成〕
図１５は、本実施の形態２に係る演算部の構成を示すブロック図である。図１５に示す演算部７ｃは、上述した実施の形態１に係る病変領域解析部７１および抽出条件設定部７２に換えて、病変領域解析部７１ｃおよび抽出条件設定部７２ｃを備える。

病変領域解析部７１ｃは、上述した実施の形態１に係る病変特性情報算出部７１３に換えて、病変特性情報算出部７１３ｃを有する。

病変特性情報算出部７１３ｃは、病変領域情報をもとに病変領域の特性を示す病変特性情報を算出する。また、病変特性情報算出部７１３ｃは、予め設定された悪性度のクラスに応じて、病変領域を分類する悪性度判定部７１３４を有する。

抽出条件設定部７２ｃは、病変領域の特性（特徴）に基づいて、抽出条件を設定する。また、抽出条件設定部７２ｃは、病変領域の悪性情報に基づいて、悪性度が大きい場合、小さい場合と比較して多い枚数を設定する抽出枚数決定部７２３を有する。

〔画像処理装置の処理〕
次に、画像処理装置１が実行する画像処理方法について説明する。図１６は、画像処理装置１が実行する処理の概要を示すフローチャートである。

図１６に示すように、病変領域解析部７１ｃは、記録部５に記録された内視鏡画像群および病変領域情報を取得し、各内視鏡画像の病変領域の特性（特徴）を解析する病変領域特性解析処理を実行する（ステップＳ３１）。

図１７は、図１６のステップＳ３１の病変領域特性解析処理の概要を示すフローチャートである。図１７において、ステップＳ３１１は、上述した図３のステップＳ１０に対応する。

ステップＳ３１２において、悪性度判定部７１３４は、予め設定された悪性度のクラスに応じて、病変領域を分類する。具体的には、悪性度のクラス分類処理は、病変領域内部に矩形領域を設定し、矩形領域内部のテスクチャ特徴量を算出し、機械学習によってクラス分類する。ここで、テクスチャ特徴量は、ＳＩＦＴ特徴量やＬＢＰ特徴量、ＣｏＨｏＧといった公知の技術を用いて算出される。続いて、テクスチャ特徴量をＢｏＦやＢｏＶＭ等でベクトル量子化を行う。また、機械学習は、ＳＶＭ等の強力な分類器で分類する。例えば、病変は、過形成ポリープ、腺腫病変および浸潤癌等に分類される。ステップＳ３１２の後、画像処理装置１は、図１６のメインルーチンへ戻る。

図１６に戻り、ステップＳ３２以降の説明を続ける。
ステップＳ３２において、抽出条件設定部７２ｃは、内視鏡画像群に対し、病変領域の特性（特徴）に基づいて、基点と基点をもとに決まる各端点間を抽出する抽出対象範囲を設定する抽出条件設定処理を実行する。

図１８は、図１６のステップＳ３２の抽出条件設定処理の概要を示すフローチャートである。図１８に示すように、抽出枚数決定部７２３は、病変領域の悪性度情報に基づいて、悪性度が大きい場合、小さい場合と比較して多い枚数を設定する（ステップＳ３２１）。ステップＳ３２１の後、画像処理装置１は、図１６のメインルーチンへ戻る。

図１６に戻り、ステップＳ３３以降の説明を続ける。
ステップＳ３３において、画像抽出部７３は、抽出条件に基づいて、診断に適切な画質（所定条件を満たす画質）を持つ内視鏡画像を抽出する内視鏡画像抽出処理を実行する。

図１９は、図１６のステップＳ３３の内視鏡画像抽出処理の概要を示すフローチャートである。図１９に示すように、画像抽出部７３は、病変領域の画質に応じた評価値を算出する（ステップＳ３３１）。具体的には、画像抽出部７３は、上述した実施の形態１の図２のステップＳ３と同様に算出される画質に関する評価値と、悪性度情報に関する評価値と、を取得する。

続いて、画像抽出部７３は、画質評価値の特徴量空間上で所定範囲と距離とが近い方から抽出条件設定部７２ｃで設定された抽出枚数を抽出する（ステップＳ３３２）。具体的には、画像抽出部７３は、画質評価値の特徴量空間上で所定範囲と距離とが近い方から抽出条件設定部７２ｃで設定された抽出枚数を抽出する。ステップＳ３３２の後、画像処理装置１は、図１６のメインルーチンへ戻る。

以上説明した本発明の実施の形態２によれば、入力情報として得た病変領域の特性（特徴）の解析を行い、病変領域の特性（特徴）に基づいて抽出条件を設定し、この抽出条件に基づいて参照範囲画像から高画質の画像を抽出することによって、時系列順に並ぶ内視鏡画像群から診断に適切な内視鏡画像を抽出することができる。

（実施の形態３）
次に、本発明の実施の形態３について説明する。本実施の形態３は、上述した実施の形態１に係る画像処理装置１の演算部７と構成が異なるうえ、実行する処理が異なる。以下においては、本実施の形態３に係る演算部の構成を説明後、本実施の形態３に係る画像処理装置が実行する処理について説明する。なお、上述した実施の形態１に係る画像処理装置１と同一の構成には同一の符号を付して説明を省略する。

〔演算部の構成〕
図２０は、本実施の形態３に係る演算部の構成を示すブロック図である。図２０に示す演算部７ｄは、上述した実施の形態１に係る病変領域解析部７１、抽出条件設定部７２および画像抽出部７３に換えて、病変領域解析部７１ｄ、抽出条件設定部７２ｄおよび画像抽出部７３ｄを備える。

病変領域解析部７１ｄは、上述した実施の形態１に係る病変領域解析部７１の病変特性情報算出部７１３および注視動作判定部７１４に換えて、病変特性情報算出部７１３ｄおよび注視動作判定部７１４ｄを有する。

病変特性情報算出部７１３ｄは、病変領域情報をもとに病変領域の特性を示す病変特性情報を算出する。また、病変特性情報算出部７１３ｄは、変領域有情報が有判定の場合、時系列順で注目の内視鏡画像と、この注目の内視鏡画像と隣接する内視鏡画像との病変領域の変化量を算出する変化量算出部７１３５を有する。

注視動作判定部７１４ｄは、病変特性情報に基づいて、病変領域に対する注視動作を判定する。また、注視動作判定部７１４ｄは、変化量が予め設定された所定値未満の場合、停止と判定する静止動作判定部７１４５を有する。

抽出条件設定部７２ｄは、上述した実施の形態２に係る抽出条件設定部７２ｃと同一の構成を有し、病変領域の特性（特徴）に基づいて、抽出条件を設定する。また、抽出条件設定部７２ｃは、病変領域の悪性情報に基づいて、悪性度が大きい場合、小さい場合と比較して多い枚数を設定する抽出枚数決定部７２３を有する。

画像抽出部７３ｄは、抽出条件に基づいて、所定条件画質の内視鏡画像を抽出する。また、画像抽出部７３ｄは、病変領域の画質に応じた評価値を算出する画質評価値算出部７３１ｄを有する。また、画質評価値算出部７３１ｄは、病変領域に対する視点情報に応じた評価値を算出する視点評価値算出部７３１１を有する。

〔画像処理装置の処理〕
次に、画像処理装置１が実行する画像処理方法について説明する。図２１は、画像処理装置１が実行する処理の概要を示すフローチャートである。

図２１に示すように、病変領域解析部７１ｄは、記録部５に記録された内視鏡画像群および病変領域情報を取得し、各内視鏡画像の病変領域の特性（特徴）を解析する病変領域特性解析処理を実行する（ステップＳ４１）。

図２２は、図２１のステップＳ４１の病変領域特性解析処理の概要を示すフローチャートである。図２２に示すように、病変領域有情報取得部７１２は、病変領域取得部７１１が記録部５から取得した入力情報である内視鏡画像群と病変領域の座標情報を持つ病変領域情報とに基づいて、所定サイズ以上の病変領域を含むか否かの病変領域有情報を取得して判断する（ステップＳ４１１）。

続いて、変化量算出部７１３５は、病変領域有情報が有判定の場合、時系列順で注目の内視鏡画像と、この注目の内視鏡画像と隣接する内視鏡画像との病変領域の変化量を算出する（ステップＳ４１２）。

その後、静止動作判定部７１４５は、静止動作の診断動作を判定する（ステップＳ４１３）。具体的には、静止動作判定部７１４５は、変化量が予め設定された所定値未満の場合、停止と判定する。ステップＳ４１３の後、画像処理装置１は、図２１のメインルーチンへ戻る。

図２１に戻り、ステップＳ４２以降の説明を続ける。
ステップＳ４２において、抽出条件設定部７２ｄは、内視鏡画像群に対し、病変領域の特性（特徴）に基づいて、基点と基点をもとに決まる各端点間を抽出する抽出対象範囲を設定する抽出条件設定処理を実行する。

図２３は、図２１のステップＳ４２の抽出条件設定処理の概要を示すフローチャートである。図２３に示すように、抽出枚数決定部７２３は、診断動作における静止動作情報に基づいて、非静止動作で、変化量が大きい場合、小さい場合と比較して多い枚数を設定する（ステップＳ４２１）。ステップＳ４２１の後、画像処理装置１は、図２１のメインルーチンへ戻る。

図２１に戻り、ステップＳ４３以降の説明を続ける。
ステップＳ４３において、画像抽出部７３は、抽出条件に基づいて、診断に適切な画質（所定条件を満たす画質）を持つ内視鏡画像を抽出する内視鏡画像抽出処理を実行する。

図２４は、図２１のステップＳ４３の内視鏡画像抽出処理の概要を示すフローチャートである。図２４において、ステップＳ４３１およびステップＳ４３３は、上述した図１９のステップＳ３３１およびステップＳ３３２それぞれに対応するため、説明を省略する。

ステップＳ４３２において、視点評価値算出部７３１１は、病変領域に対する視点情報に応じた評価値を算出する。具体的には、視点評価値算出部７３１１は、病変の頂部を確認できる上方から見た視点、病変の立ち上がりを確認できる側面から見た視点等、重要領域が画像中に広く写る画像の評価値が上がるように算出する。ここで、視点情報は、病変領域周囲の粘膜面の勾配上方によって定まる。例えば、視点評価値算出部７３１１は、上方の視点であれば、病変近傍領域の勾配強度および方向がばらつくように評価値が算出する。ステップＳ４３２の後、画像処理装置１は、ステップＳ４３３へ移行する。

以上説明した本発明の実施の形態３によれば、入力情報として得た病変領域の特性（特徴）の解析を行い、病変領域の特性（特徴）に基づいて抽出条件を設定し、この抽出条件に基づいて参照範囲画像から高画質の画像を抽出することによって、時系列順に並ぶ内視鏡画像群から診断に適切な内視鏡画像を抽出することができる。

（その他の実施の形態）
本発明では、記録装置に記録された画像処理プログラムをパーソナルコンピュータやワークステーション等のコンピュータシステムで実行することによって実現することができる。また、このようなコンピュータシステムを、ローカルエリアネットワーク（ＬＡＮ）、広域エリアネットワーク（ＷＡＮ）、または、インターネット等の公衆回線を介して、他のコンピュータシステムやサーバ等の機器に接続して使用しても良い。この場合、実施の形態１〜２およびこれらの変形例に係る画像処理装置は、これらのネットワークを介して管腔内画像の画像データを取得したり、これらのネットワークを介して接続されたビュアーやプリンタ等の種々の出力機器に画像処理結果を出力したり、これらのネットワークを介して接続された記憶装置、例えばネットワークに接続された読取装置によって読み取り可能な記録媒体等に画像処理結果を格納するようにしても良い。

なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。

なお、本発明は、実施の形態１〜３およびこれらの変形例に限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成しても良いし、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成しても良い。

１ 画像処理装置
２ 画像取得部
３ 入力部
４ 出力部
５ 記録部
６ 制御部
７，７ｃ，７ｄ 演算部
５１ 画像処理プログラム
６２ 画像抽出部
７１，７１ａ，７１ｂ，７１ｃ，７１ｄ 病変領域解析部
７２，７２ｃ，７２ｄ 抽出条件設定部
７３，７３ｄ 画像抽出部
７１１ 病変領域取得部
７１２ 病変領域有情報取得部
７１３，７１３ａ，７１３ｂ，７１３ｃ，７１３ｄ 病変特性情報算出部
７１４，７１４ａ，７１４ｂ，７１４ｄ 注視動作判定部
７１５ 操作動作判定部
７２１ 抽出対象範囲設定部
７２１ａ 基点画像設定部
７２２ａ 端点区間設定部
７２３ 抽出枚数決定部
７３１ 画質評価値算出部
７１３１ サイズ取得部
７１３２ 変化量算出部
７１３３ 連続枚数取得部
７１３４ 悪性度判定部
７１３５ 変化量算出部
７１４１ 近景撮影動作判定部
７１４２，７１４５ 静止動作判定部
７１４３ 注視継続動作判定部
７２１１ 基点画像設定部
７２１１ａ，７２１１ｂ 動作変化点抽出部
７２１２ 端点区間設定部
７２１２ａ 動作発生区間位置設定部
７２１２ｂ 基点間設定部
７２１３ 動作発生点抽出部
７２２２ 動作継続区間位置設定部
７２２２ａ 病変視認区間設定部
７２２２ｂ 時間区間設定部
７３１１ 視点評価値算出部

Claims (35)

1. 時系列順で並ぶ内視鏡画像群における各内視鏡画像に写る病変領域の特性を解析する病変領域解析部と、
   前記病変領域の特性に基づいて、前記内視鏡画像群から診断に適切な内視鏡画像を抽出するための抽出条件を設定する抽出条件設定部と、
   前記抽出条件に基づいて、診断に適切な画質を有する内視鏡画像を前記内視鏡画像群から抽出する画像抽出部と、
   を備えることを特徴とする画像処理装置。
2. 前記病変領域解析部は、
   前記各内視鏡画像における病変領域の座標情報を示す病変領域情報を取得する病変領域取得部と、
   前記病変領域情報に基づいて、前記各内視鏡画像において予め設定された所定値以上の面積を持つ病変領域を含むか否かを示す病変領域有情報を取得する病変領域有情報取得部と、
   前記病変領域情報に基づいて、前記病変領域の特性を示す病変特性情報を算出する病変特性情報算出部と、
   を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記病変特性情報算出部は、
   前記病変領域を予め設定された悪性度のクラスに分類する悪性度判定部を有することを特徴とする請求項２に記載の画像処理装置。
4. 前記病変領域解析部は、
   前記各内視鏡画像における病変領域の座標情報を示す病変領域情報を取得する病変領域取得部と、
   前記病変領域情報に基づいて、前記各内視鏡画像において予め設定された所定値以上の面積を持つ病変領域を含むか否かを示す病変領域有情報を取得する病変領域有情報取得部と、
   前記病変領域情報に基づいて、前記病変領域の特性を示す病変特性情報を算出する病変特性情報算出部と、
   前記病変特性情報に基づいて、前記病変領域に対する注視動作を判定する注視動作判定部と、
   を有することを特徴とする請求項１に記載の画像処理装置。
5. 前記病変特性情報算出部は、
   前記病変領域有情報に予め設定された所定値以上の面積を持つ病変領域を含む情報が含まれる場合、前記病変領域情報に基づいて、前記病変領域のサイズ情報を取得するサイズ取得部を有し、
   前記注視動作判定部は、
   前記サイズ情報が予め設定された所定値以上の場合、視認中と判定するとともに、近景撮影と判定する近景撮影動作判定部を有することを特徴とする請求項４に記載の画像処理装置。
6. 前記病変特性情報算出部は、
   前記病変領域有情報に予め設定された所定値以上の面積を持つ病変領域を含む情報が含まれる場合、時系列順で注目する内視鏡画像と該注目する内視鏡画像と隣接する内視鏡画像との前記病変領域の変化量を算出する変化量算出部を有し、
   前記注視動作判定部は、
   前記変化量が予め設定された所定値未満の場合、停止と判定する静止動作判定部を有することを特徴とする請求項４に記載の画像処理装置。
7. 前記病変特性情報算出部は、
   前記内視鏡画像群における前記各内視鏡画像に病変領域が写りだしてからの枚数をカウントする連続枚数取得部を有し、
   前記注視動作判定部は、
   前記カウントの枚数が予め設定された所定値以上の場合、注視継続中と判定する注視継続判定部を有することを特徴とする請求項４に記載の画像処理装置。
8. 前記所定値は、予め設定された枚数毎に繰り返し注視を判定するための閾値であることを特徴とする請求項７に記載の画像処理装置。
9. 前記注視継続判定部は、
   前記カウントの枚数が所定値以上のもののうち、前記病変領域の変化量の累積が所定値未満のものを注視継続中と判定することを特徴とする請求項７に記載の画像処理装置。
10. 前記病変領域解析部は、
    前記各内視鏡画像における病変領域の座標情報を示す病変領域情報を取得する病変領域取得部と、
    前記病変領域情報に基づいて、前記各内視鏡画像において予め設定された所定値以上の面積を持つ病変領域を含むか否かを示す病変領域有情報を取得する病変領域有情報取得部と、
    内視鏡の信号情報に基づいて、内視鏡の操作動作を判定する操作動作判定部と、
    を有することを特徴とする請求項１に記載の画像処理装置。
11. 前記抽出条件設定部は、
    前記病変領域の特性に基づいて、基点と基点をもとに決まる各端点間を抽出対象範囲として設定する抽出対象範囲設定部を備えることを特徴とする請求項１０に記載の画像処理装置。
12. 前記抽出対象範囲設定部は、
    前記病変領域の特性における動作情報に基づいて、特定の動作位置の内視鏡画像を基点画像として設定する基点画像設定部と、
    前記病変領域の特性における動作情報に基づいて、前記基点画像の前後における特定の動作位置の内視鏡画像を端点画像とし、前記基点画像から前記端点画像までの区間を設定する端点区間設定部と、
    を有することを特徴とする請求項１１に記載の画像処理装置。
13. 前記基点画像設定部は、
    特定の動作が予め設定された所定区間継続後、異なる動作へ切り替わる位置から所定範囲の内視鏡画像を前記基点画像とする動作変化点抽出部を有することを特徴とする請求項１２に記載の画像処理装置。
14. 前記動作変化点抽出部は、前記動作情報が視認中から非視認中へ切り替わるタイミングから所定範囲の内視鏡画像を前記基点画像とすることを特徴とする請求項１３に記載の画像処理装置。
15. 前記動作変化点抽出部は、前記動作情報が近景撮影から遠景撮影へ切り替わるタイミングから所定範囲の内視鏡画像を前記基点画像とすることを特徴とする請求項１３に記載の画像処理装置。
16. 前記動作変化点抽出部は、前記動作情報が移動から停止へ切り替わるタイミングから所定範囲の内視鏡画像を前記基点画像とすることを特徴とする請求項１３に記載の画像処理装置。
17. 前記動作変化点抽出部は、診断動作が停止から移動に切り替わるタイミング手前の内視鏡画像を前記基点画像とすることを特徴とする請求項１３に記載の画像処理装置。
18. 前記基点画像設定部は、
    特定の診断動作が発生する点を基点画像とする動作発生点抽出部を有することを特徴とする請求項１２に記載の画像処理装置。
19. 前記動作発生点抽出部は、
    前記動作情報が画像取得動作の場合、操作者の操作の開始時点および終了時点の内視鏡画像を前記基点画像とすることを特徴とする請求項１８に記載の画像処理装置。
20. 前記端点区間設定部は、
    特定の動作が発生する画像までの区間を設定する動作発生区間位置設定部を有することを特徴とする請求項１２に記載の画像処理装置。
21. 前記動作発生区間位置設定部は、
    前記病変領域有情報に予め設定された所定値以上の面積を持つ病変領域を含む情報が含まれる有区間である区間において、前記基点画像の前後の前記基点画像を前記端点画像とする基点間設定部を有することを特徴とする請求項２０に記載の画像処理装置。
22. 前記端点区間設定部は、
    特定の動作が継続している区間を設定する動作継続区間位置設定部を有することを特徴とする請求項１２に記載の画像処理装置。
23. 前記動作継続区間位置設定部は、
    前記基点画像の前後における前記病変領域有情報が有判定である区間の端点の内視鏡画像を前記端点画像とする病変視認区間設定部を有することを特徴とする請求項２２に記載の画像処理装置。
24. 前記動作継続区間位置設定部は、
    前記病変領域有情報に予め設定された所定値以上の面積を持つ病変領域を含む情報が含まれる有区間である区間において、前記基点画像の前後に予め決められた所定値の位置の内視鏡画像を前記端点画像とする時間区間設定部を有することを特徴とする請求項２２に記載の画像処理装置。
25. 前記抽出条件設定部は、
    前記病変領域の特性に応じて抽出枚数を設定する抽出枚数決定部を有することを特徴とする請求項１に記載の画像処理装置。
26. 前記抽出枚数決定部は、悪性度が大きい場合、小さい場合と比較して多い枚数を設定することを特徴とする請求項２５に記載の画像処理装置。
27. 前記抽出枚数決定部は、前記病変領域の変化量が大きい場合、小さい場合と比較して多い枚数を設定することを特徴とする請求項２５に記載の画像処理装置。
28. 前記画像抽出部は、
    前記病変領域の画質に応じた評価値を算出する画質評価値算出部を有することを特徴とする請求項１に記載の画像処理装置。
29. 前記画質は、表層構造における色ズレ量、先鋭度および有効領域面積のいずれか１つ以上であることを特徴とする請求項２８に記載の画像処理装置。
30. 前記画質評価値算出部は、
    前記病変領域に対する視点に応じた評価値を算出する視点評価値算出部を有することを特徴とする請求項２８に記載の画像処理装置。
31. 前記画像抽出部は、画質評価値の特徴量空間上で所定範囲と距離が近い方から前記抽出条件設定部で設定された抽出枚数を抽出することを特徴とする請求項１に記載の画像処理装置。
32. 前記画像抽出部は、画質評価値の特徴量空間上で所定範囲に入る内視鏡画像を抽出することを特徴とする請求項１に記載の画像処理装置。
33. 前記病変領域情報は、前記内視鏡画像群の各内視鏡画像に対して病変領域検出装置によって病変領域が検出されて生成されたものであることを特徴とする請求項２に記載の画像処理装置。
34. 画像処理装置が実行する画像処理方法であって、
    時系列順で並ぶ内視鏡画像群における各内視鏡画像に写る病変領域の特性を解析する病変領域解析ステップと、
    前記病変領域の特性に基づいて、前記内視鏡画像群から診断に適切な内視鏡画像を抽出するための抽出条件を設定する抽出条件設定ステップと、
    前記抽出条件に基づいて、診断に適切な画質を有する内視鏡画像を前記内視鏡画像群から抽出する画像抽出ステップと、
    を含むことを特徴とする画像処理方法。
35. 画像処理装置に、
    時系列順で並ぶ内視鏡画像群における各内視鏡画像に写る病変領域の特性を解析する病変領域解析ステップと、
    前記病変領域の特性に基づいて、前記内視鏡画像群から診断に適切な内視鏡画像を抽出するための抽出条件を設定する抽出条件設定ステップと、
    前記抽出条件に基づいて、診断に適切な画質を有する内視鏡画像を前記内視鏡画像群から抽出する画像抽出ステップと、
    を実行させることを特徴とするプログラム。

Images