JPWO2016051840A1 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Abstract

画像処理装置４は、時系列で取得された画像群に含まれる画像毎に、当該画像内の観察に適さない領域を検出する領域検出部４５１と、画像群に含まれる画像毎に、当該画像内の前記観察に適さない領域に基づいて、当該画像の重要度を算出する重要度算出部４５２と、当該重要度を時系列に演算するとともに、当該演算値が閾値を超えたか否かを判定する判定部４５３とを備える。

Description

本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。

従来、時系列で取得された複数の画像を含む画像群を取得し、当該画像群から一部の画像を抽出して元の画像群よりも枚数の少ない画像群に要約する画像要約処理を実行する画像抽出装置（画像処理装置）が知られている（例えば、特許文献１参照）。
特許文献１に記載の画像処理装置では、画像群からシーンが変化する位置の画像を代表画像としてそれぞれ選出し、当該画像群を所定枚数の代表画像に要約する。
そして、ユーザは、画像要約処理後の画像群に含まれる所定枚数の代表画像を観察することで、短時間で元の画像群全体の内容を把握することができる。

特開２００９−５０２０号公報

しかしながら、特許文献１に記載の画像要約処理では、代表画像を選出する際の条件をシーンの変化としているため、選出された所定枚数の代表画像の中に、観察に有用な有効領域以外の無効領域を多く含む画像が含まれてしまう虞がある、という問題がある。
例えば、被検体内に導入され、当該被検体内を撮像するカプセル型内視鏡にて撮像された体内画像群に対して当該画像要約処理を実行した場合には、選出された所定枚数の代表画像の中に、当該被検体内の粘膜等の観察に有用な有効領域ではなく、泡や残渣等の観察に不要な無効領域を多く含む体内画像が含まれてしまう虞がある。

本発明は、上記に鑑みてなされたものであって、観察に有用な有効領域を多く含む画像を代表画像としてより多く選出することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することにある。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、時系列で取得された画像群に含まれる画像毎に、当該画像内の観察に適さない領域を検出する領域検出部と、前記画像群に含まれる画像毎に、当該画像内の前記観察に適さない領域に基づいて、当該画像の重要度を算出する重要度算出部と、前記重要度を時系列的に演算するとともに、当該演算値が閾値を超えたか否かを判定する判定部とを備えることを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記判定部にて前記演算値が前記閾値を超えたと判断された場合に、当該演算値が前記閾値を超えた際に最後に演算した前記重要度を有する前記画像を、当該画像群を複数の選出範囲に区分する境界として設定する範囲設定部をさらに備えることを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記複数の選出範囲毎に、当該選出範囲に含まれる前記複数の画像から代表画像を選出する画像選出部をさらに備えることを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記観察に適さない領域は、観察に有用な有効領域以外の無効領域であることを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記領域検出部は、画素単位で前記観察に適さない領域を検出し、前記重要度算出部は、前記観察に適さない領域として検出された画素の数に基づいて、前記重要度を算出することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記重要度算出部は、前記観察に適さない領域として検出された画素の数が少ないほど、値の高い前記重要度を算出することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記重要度算出部は、前記画像内での前記観察に適さない領域として検出された画素の位置に基づいて、算出した前記重要度を調整することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記判定部の演算は、前記画像毎に算出した前記重要度の時系列順の積算であることを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記画像選出部は、前記選出範囲の境界とされた前記画像を前記代表画像として選出することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記画像選出部は、前記選出範囲に含まれる各前記画像のうち、前記重要度が最も高い画像を前記代表画像として選出することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記閾値は、前記画像群に含まれる全ての前記画像における前記重要度の総和を、選出を予定する前記代表画像の数で除した値であることを特徴とする。

また、本発明に係る画像処理方法は、画像処理装置が行う画像処理方法において、時系列で取得された画像群に含まれる画像毎に、当該画像内の観察に適さない領域を検出する領域検出ステップと、前記画像群に含まれる画像毎に、当該画像内の前記観察に適さない領域に基づいて、当該画像の重要度を算出する重要度算出ステップと、前記重要度を時系列に演算するとともに、当該演算値が閾値を超えるか否かを判定する判定ステップとを含むことを特徴とする。

また、本発明に係る画像処理プログラムは、上述した画像処理方法を画像処理装置に実行させることを特徴とする。

本発明に係る画像処理装置、画像処理方法、及び画像処理プログラムによれば、観察に有用な有効領域を多く含む画像を代表画像としてより多く選出することができる、という効果を奏する。

図１は、本発明の実施の形態１に係る内視鏡システムを示す模式図である。 図２は、図１に示した画像処理装置を示すブロック図である。 図３は、図２に示した画像処理装置の動作（画像処理方法）を示すフローチャートである。 図４は、図３に示した画像処理方法により選出される代表画像の一例を示す図である。 図５は、図３に示した画像処理方法により選出される代表画像の一例を示す図である。 図６は、本発明の実施の形態２に係る画像処理方法を示すフローチャートである。 図７は、図６に示した画像処理方法により選出される代表画像の一例を示す図である。 図８は、図６に示した画像処理方法により選出される代表画像の一例を示す図である。

以下、図面を参照して、本発明に係る画像処理装置、画像処理方法、及び画像処理プログラムの好適な実施の形態を詳細に説明する。なお、この実施の形態によって本発明が限定されるものではない。

（実施の形態１）
〔内視鏡システムの概略構成〕
図１は、本発明の実施の形態１に係る内視鏡システム１を示す模式図である。
内視鏡システム１は、飲み込み型のカプセル型内視鏡２を用いて、被検体１００内部の体内画像を取得し、当該体内画像を医師等に観察させるシステムである。
この内視鏡システム１は、図１に示すように、カプセル型内視鏡２の他、受信装置３と、画像処理装置４と、可搬型の記録媒体５とを備える。
記録媒体５は、受信装置３と画像処理装置４との間におけるデータの受け渡しを行うための可搬型の記録メディアであり、受信装置３及び画像処理装置４に対してそれぞれ着脱可能に構成されている。

カプセル型内視鏡２は、被検体１００の臓器内部に導入可能な大きさに形成されたカプセル型の内視鏡装置であり、経口摂取等によって被検体１００の臓器内部に導入され、蠕動運動等によって臓器内部を移動しつつ、体内画像を順次、撮像する。そして、カプセル型内視鏡２は、撮像することにより生成した画像データを順次、送信する。
受信装置３は、複数の受信アンテナ３ａ〜３ｈを備え、これら複数の受信アンテナ３ａ〜３ｈのうち少なくとも一つを介して被検体１００内部のカプセル型内視鏡２からの画像データを受信する。そして、受信装置３は、当該受信装置３に挿着された記録媒体５内に、受信した画像データを蓄積する。
なお、受信アンテナ３ａ〜３ｈは、図１に示したように被検体１００の体表上に配置されていてもよいし、被検体１００に着用させるジャケットに配置されていてもよい。また、受信装置３が備える受信アンテナ数は、１つ以上であればよく、特に８つに限定されない。

〔画像処理装置の構成〕
図２は、画像処理装置４を示すブロック図である。
画像処理装置４は、被検体１００内の画像データを取得し、取得した画像データに対応する画像を表示するワークステーションとして構成されている。
この画像処理装置４は、図２に示すように、リーダライタ４１と、メモリ部４２と、入力部４３と、表示部４４と、制御部４５とを備える。

リーダライタ４１は、外部から処理対象となる画像データを取得する画像取得部としての機能を有する。
具体的に、リーダライタ４１は、当該リーダライタ４１に記録媒体５が挿着された際に、制御部４５による制御の下、記録媒体５に保存された画像データ（カプセル型内視鏡２により時系列で撮像（取得）された複数の体内画像を含む体内画像群）を取り込む。また、リーダライタ４１は、取り込んだ体内画像群を制御部４５に転送する。そして、制御部４５に転送された体内画像群は、メモリ部４２に記憶される。

メモリ部４２は、制御部４５から転送された体内画像群を記憶する。また、メモリ部４２は、制御部４５が実行する各種プログラム（画像処理プログラムを含む）や制御部４５の処理に必要な情報等を記憶する。

入力部４３は、キーボード及びマウス等を用いて構成され、ユーザ操作を受け付ける。

表示部４４は、液晶ディスプレイ等を用いて構成され、制御部４５による制御の下、体内画像を含む表示画面（例えば、後述する画像要約処理により選出された所定枚数の代表画像を含む表示画面等）を表示する。

制御部４５は、ＣＰＵ（Central Processing Unit）等を用いて構成され、メモリ部４２に記憶されたプログラム（画像処理プログラムを含む）を読み出し、当該プログラムに従って画像処理装置４全体の動作を制御する。
なお、以下では、制御部４５の機能として、本発明の要部である「画像要約処理」を実行する機能を主に説明する。
この制御部４５は、図２に示すように、領域検出部４５１と、重要度算出部４５２と、判定部４５３と、範囲設定部４５４と、画像選出部４５５とを備える。

領域検出部４５１は、メモリ部４２に記憶された体内画像群に含まれる体内画像毎に、画素単位で、当該体内画像内の観察に有用な有効領域以外の無効領域（観察に適さない領域）を検出する。
具体的に、領域検出部４５１は、体内画像から取得可能な色情報、周波数情報、形状情報等を示す特徴量と第２閾値とを比較し、当該比較結果に基づいて、当該体内画像内の観察に有用な有効領域以外の無効領域を検出する。
ここで、有効領域とは、生体表面の粘膜、血管、及び血液が映った領域を意味する。一方、無効領域とは、有効領域以外の領域であり、残渣や泡が映った領域、管腔の深部が映った領域（暗部）、被写体の表面から鏡面反射されたハレーション領域（明部）、カプセル型内視鏡２と受信装置３との間における通信状態の不良によりノイズとなった領域等を意味する。
なお、上記のような無効領域の検出方法としては、公知の種々の方法を採用することができる（例えば、特開２００７−３１３１１９号公報、特開２０１１−２３４９３１号公報、特開２０１０−１１５４１３号公報、特開２０１２−１６４５４号公報等）。

重要度算出部４５２は、メモリ部４２に記憶された体内画像群に含まれる体内画像毎に、当該体内画像内における領域検出部４５１にて検出された無効領域に基づいて、当該体内画像の重要度を算出する。
具体的に、重要度算出部４５２は、体内画像内の無効領域の面積（領域検出部４５１にて無効領域として検出された画素の数）に基づいて、当該体内画像の重要度を算出する。ここで、重要度算出部４５２は、領域検出部４５１にて無効領域として検出された画素の数が少ないほど、当該体内画像の重要度を高い値とする。

判定部４５３は、重要度算出部４５２にて算出された各体内画像の重要度を時系列に演算するとともに、当該演算値が第１閾値（本発明に係る閾値に相当）を超えたか否かを判定する。
具体的に、判定部４５３は、体内画像群に含まれる全ての体内画像の重要度の総和を、選出を予定する代表画像の数で除し、当該除した値を第１閾値とする。そして、判定部４５３は、全ての体内画像における重要度を時系列順に積算するとともに、当該積算値と上記第１閾値とを比較し、積算値が上記第１閾値を超えたか否かを判定する。
なお、重要度の時系列の演算は、積算に限られずその他の演算方法でもよく、また、上記第１閾値も重要度の算出方法に応じた算術式で算出すればよい。

範囲設定部４５４は、判定部４５３の判定結果に基づいて、時系列順に連続する各体内画像をそれぞれ含み、当該体内画像群に含まれる全ての体内画像を複数のグループにそれぞれ区分する複数の選出範囲を設定する。
具体的に、範囲設定部４５４は、判定部４５３にて積算値が第１閾値を超えたと判断したときの体内画像のフレーム番号を、選出範囲の境界として設定する。

画像選出部４５５は、複数の選出範囲毎に、当該選出範囲に含まれる各体内画像から代表画像を選出する。
なお、本実施の形態１では、画像選出部４５５は、選出範囲に含まれる各体内画像のうち、当該選出範囲の境界とされた体内画像を代表画像として選出する。

〔画像処理装置の動作〕
次に、上述した画像処理装置４の動作（画像処理方法）について説明する。
図３は、画像処理装置４の動作（画像処理方法）を示すフローチャートである。
なお、以下では、リーダライタ４１に記録媒体５が挿着され、記録媒体５に保存された体内画像群がリーダライタ４１を介して取り込まれ、当該体内画像群がメモリ部４２に既に記憶されているものとする。
先ず、制御部４５は、メモリ部４２に記憶された体内画像群に含まれる全ての体内画像を時系列順（フレーム番号順）に一枚ずつ読み出す（ステップＳ１）。
次に、領域検出部４５１は、ステップＳ１で読み出された体内画像内の無効領域を体内画像毎に検出する（ステップＳ２：領域検出ステップ）。

次に、重要度算出部４５２は、ステップＳ２で検出された体内画像内の無効領域に基づいて、以下の式（１）により、当該体内画像の重要度Ｐ_i（ｉ＝フレーム番号）を体内画像毎に算出する（ステップＳ３：重要度算出ステップ）。そして、重要度算出部４５２は、算出した重要度Ｐ_iを対応するフレーム番号の体内画像に関連付けてメモリ部４２に記憶する。
なお、式（１）において、count(画像全体)は、体内画像の全画素数である。count(無効領域)は、領域検出部４５１にて検出された無効領域の面積（無効領域として検出された画素の数）である。

式（１）から分かるように、重要度算出部４５２は、体内画像の全画素数に対する有効領域とされた画素の数の割合を重要度Ｐ_iとして算出する。例えば、体内画像が全て無効領域である場合には、重要度Ｐ_iは、「０」となる。また、体内画像が全て有効領域である場合（無効領域がない場合）には、重要度Ｐ_iは、「１」となる。すなわち、重要度算出部４５２は、領域検出部４５１にて無効領域として検出された画素の数が少ないほど、当該体内画像の重要度Ｐ_iを高い値とする。

次に、制御部４５は、メモリ部４２に記憶された体内画像群に含まれる全ての体内画像について、ステップＳ１〜Ｓ３を実施したか否かを判断する（ステップＳ４）。
全ての体内画像で実施していないと判断した場合（ステップＳ４：Ｎｏ）には、制御部４５は、ステップＳ１に戻り、残りの体内画像について、重要度を順次、算出する。
一方、全ての体内画像で実施したと判断された場合（ステップＳ４：Ｙｅｓ）には、判定部４５３は、メモリ部４２に記憶された体内画像群に含まれる全ての体内画像の重要度Ｐ_iの総和を、選出を予定する代表画像の数で除し、当該除した値を第１閾値とする（ステップＳ５）。そして、判定部４５３は、当該第１閾値をメモリ部４２に記憶する。

次に、判定部４５３は、メモリ部４２に記憶された体内画像群に含まれる全ての体内画像の重要度Ｐ_iを時系列順に積算し（ステップＳ６）、当該積算値が第１閾値の整数倍を超えたか否かを判断する（ステップＳ７）。
以上説明したステップＳ６，Ｓ７は、本発明に係る判定ステップに相当する。
積算値が第１閾値の整数倍を超えていないと判断した場合（ステップＳ７：Ｎｏ）には、判定部４５３は、ステップＳ６に戻り、重要度Ｐ_iの積算を継続する。
一方、積算値が第１閾値の整数倍を超えたと判断した場合（ステップＳ７：Ｙｅｓ）には、範囲設定部４５４は、積算値が第１閾値の整数倍を超えた際に最後に積算した重要度Ｐ_iを有する体内画像のフレーム番号を選出範囲の境界として設定する（ステップＳ８）。そして、範囲設定部４５４は、境界として設定したフレーム番号をメモリ部４２に記憶する。

次に、範囲設定部４５４は、メモリ部４２に記憶された体内画像群に含まれる全ての体内画像について、ステップＳ６〜Ｓ８を実施したか否か（当該体内画像群に含まれる最も大きいフレーム番号を有する体内画像の重要度Ｐ_iまで積算したか否か）を判断する（ステップＳ９）。
全ての体内画像で実施していないと判断した場合（ステップＳ９：Ｎｏ）には、ステップＳ６に戻り、判定部４５３は、重要度Ｐ_iの積算を継続する。
一方、全ての体内画像で実施したと判断された場合（ステップＳ９：Ｙｅｓ）には、画像選出部４５５は、メモリ部４２に記憶されたフレーム番号（ステップＳ８で境界として設定されたフレーム番号）を読み出し、当該フレーム番号の体内画像を代表画像として選出する（ステップＳ１０）。

〔選出される代表画像の具体例〕
次に、上述した画像処理方法により選出される代表画像の具体例について説明する。
なお、以下では、説明の便宜上、無効領域の少ない体内画像（重要度Ｐ_iが「0.6」以上の体内画像）が並ぶ範囲（区間）と、無効領域の多い体内画像（重要度Ｐ_iが「0.6」未満の体内画像）が並ぶ範囲（区間）とを順に説明する。

〔無効領域の少ない体内画像が並ぶ範囲〕
図４は、上述した画像処理方法により選出される代表画像の一例を示す図である。具体的に、図４は、６万枚の体内画像を含む体内画像群から２千枚の代表画像を選出する場合を例示したものであって、当該体内画像群に含まれる各体内画像の各フレーム番号に対して、重要度Ｐ_i（図４では実線で図示）及びその積算値（図４では破線で図示）を記載している。また、図４では、無効領域の少ない体内画像が並ぶフレーム番号「１」〜「５０」の範囲のみを図示し、その他の範囲については省略している。なお、図４では、選出される代表画像を黒丸で表現している。
図４に示した例では、６万枚の体内画像の重要度Ｐ_iの総和は、「10600.00」である。そして、選出を予定する代表画像の数は、「2000」である。このため、ステップＳ５では、「10600.00」を「2000」で除した値である「5.3」が第１閾値Ｔとして設定される。

フレーム番号「１」の重要度がいずれの値であっても、第１閾値Ｔの０倍である「０」を超えたものとなる。このため、ステップＳ８では、フレーム番号「１」が選出範囲の境界として設定される。すなわち、ステップＳ１０では、フレーム番号「１」の体内画像が代表画像として選出される。

フレーム番号「７」の時点での積算値（フレーム番号「１」〜「７」の重要度Ｐ_iの積算値）は、「5.57」であり、第１閾値Ｔの１倍である「5.3」を超えたものとなる。このため、ステップＳ８では、フレーム番号「７」が選出範囲の境界として設定される。すなわち、ステップＳ１０では、フレーム番号「７」の体内画像が代表画像として選出される。
同様にして、ステップＳ１０では、選出範囲の境界として設定されたフレーム番号「１３」、「１９」、「２６」、「３２」、「３８」、「４５」等の体内画像が代表画像として選出される。

〔無効領域の多い体内画像が並ぶ範囲〕
図５は、上述した画像処理方法により選出される代表画像の一例を示す図である。具体的に、図５は、図４に示した例と同様に、６万枚の体内画像を含む体内画像群（図４で例示した体内画像群とは異なる体内画像群）から２千枚の代表画像を選出する場合を例示したものであって、当該体内画像群に含まれる各体内画像の各フレーム番号に対して、重要度Ｐ_i（図５では実線で図示）及びその積算値（図５では破線で図示）を記載している。また、図５では、無効領域の多い体内画像が並ぶフレーム番号「１」〜「１００」の範囲のみを図示し、その他の範囲については省略している。なお、図５では、選出される代表画像を黒丸で表現している。
図５に示した例では、図４に示した例と同様に、６万枚の体内画像の重要度Ｐ_iの総和は「10600.00」であり、選出を予定する代表画像の数は「2000」である。このため、ステップＳ５では、図４に示した例と同様に、「10600.00」を「2000」で除した値である「5.3」が第１閾値Ｔとして設定される。

フレーム番号「１」、「２３」、「４７」、「６７」、「９２」の各時点での積算値は、第１閾値Ｔの整数倍を超えたものとなる。このため、ステップＳ８では、当該フレーム番号「１」、「２３」、「４７」、「６７」、「９２」が選出範囲の境界として設定される。すなわち、ステップＳ１０では、フレーム番号「１」、「２３」、「４７」、「６７」、「９２」等の体内画像が代表画像として選出される。

以上のように本実施の形態１では、第１閾値Ｔの整数倍を超えた積算値となるフレーム番号を選出範囲の境界とし、当該境界のフレーム番号の体内画像をそれぞれ代表画像として選出する。
そして、このように選出することにより、無効領域の少ない体内画像が並ぶ範囲では、代表画像は、図４に示すように、略均等な間隔（フレーム番号の間隔）で選出されることとなる。無効領域の多い体内画像が並ぶ範囲でも同様に、代表画像は、図５に示すように、略均等な間隔で選出されることとなる。なお、図４と図５とを比較して分かるように、無効領域の少ない体内画像が並ぶ範囲で選出される各代表画像の間隔は、無効領域の多い体内画像が並ぶ範囲で選出される各代表画像の間隔よりも狭いものである。

以上説明した本実施の形態１に係る画像処理装置４は、時系列で取得された体内画像群に含まれる体内画像毎の重要度Ｐ_iに基づいて、複数の選出範囲を設定し、当該複数の選出範囲毎に代表画像を選出する。
特に、画像処理装置４は、体内画像の全画素数に対する有効領域とされた画素の数の割合を重要度Ｐ_iとして算出する。また、画像処理装置４は、選出範囲を設定する際、全ての体内画像における重要度Ｐ_iを時系列順に積算し、当該積算値が第１閾値の整数倍を超えた際に最後に積算した重要度Ｐ_iを有する体内画像を選出範囲の境界とする。そして、画像処理装置４は、当該選出範囲の境界とした体内画像を代表画像として選出する。
以上のことから、重要度Ｐ_iの高い体内画像（無効領域が少ない体内画像）が並ぶ選出範囲を重要度Ｐ_iの低い体内画像（無効領域が多い体内画像）が並ぶ選出範囲よりも狭く設定することができる（図４、図５参照）。すなわち、例えば、体内画像群において、重要度Ｐ_iの高い体内画像と重要度Ｐ_iの低い体内画像とが同一の数だけ存在する場合には、重要度Ｐ_iの高い体内画像が並ぶ範囲には設定する選出範囲の数を比較的に多くし、重要度Ｐ_iの低い体内画像が並ぶ範囲には設定する選出範囲の数を比較的に少なくすることができる（図４、図５参照）。
したがって、体内画像群から重要度Ｐ_iの高い体内画像を重点的に代表画像として選出することができ、観察に有用な有効領域を多く含む体内画像を代表画像としてより多く選出することができる、という効果を奏する。

また、第１閾値は、体内画像群に含まれる全ての体内画像における重要度の総和を、選出を予定する代表画像の数で除した値である。このため、全ての体内画像から、略均等な間隔で、かつ、予定した数だけ、代表画像を選出することができる（図４、図５参照）。
したがって、ユーザは、画像要約処理後の所定枚数の代表画像を観察することで、体内画像群全体の内容を把握することができる。

（実施の形態２）
次に、本発明の実施の形態２について説明する。
以下の説明では、上述した実施の形態１と同様の構成及びステップには同一符号を付し、その詳細な説明は省略または簡略化する。
上述した実施の形態１では、選出範囲の境界となるフレーム番号の体内画像を代表画像として選出していた。
これに対して本実施の形態２では、選出範囲に含まれる各体内画像のうち、重要度が最も高い体内画像を代表画像として選出する。
そして、本実施の形態１に係る画像処理装置の構成は、上述した実施の形態１で説明した画像処理装置１と同様の構成である。
以下では、本実施の形態２に係る画像処理方法のみを説明する。

〔画像処理方法〕
図６は、本発明の実施の形態２に係る画像処理方法を示すフローチャートである。
本実施の形態２に係る画像処理方法は、図６に示すように、上述した実施の形態１で説明した画像処理方法（図３）に対して、ステップＳ１０の代わりにステップＳ１０Ａを追加した点が異なるのみである。このため、以下では、ステップＳ１０Ａのみを説明する。
ステップＳ１０Ａは、ステップＳ９で全ての体内画像で実施したと判断された場合（ステップＳ９：Ｙｅｓ）に実行される。
具体的に、画像選出部４５５は、ステップＳ１０Ａにおいて、メモリ部４２に記憶されたフレーム番号（ステップＳ８で境界として設定されたフレーム番号）を境界とする各選出範囲毎に、当該選出範囲に含まれる各体内画像のうち、重要度が最も高い体内画像を代表画像として選出する。

〔選出される代表画像の具体例〕
次に、本実施の形態２に係る画像処理方法により選出される代表画像の具体例について説明する。
以下では、上述した実施の形態１との差異を明確にするために、図４で例示した体内画像群、図５で例示した体内画像群とそれぞれ同一の体内画像群を利用して、本実施の形態２に係る画像処理方法により選出される代表画像の具体例を説明する。
図７及び図８は、本実施の形態２に係る画像処理方法により選出される代表画像の一例を示す図である。具体的に、図７で例示した体内画像群は、図４で例示した体内画像群と同一である。図８で例示した体内画像群は、図５で例示した体内画像群と同一である。なお、図７及び図８では、重要度Ｐ_iの積算値の図示を省略し、重要度Ｐ_iのみを図示している。また、図７及び図８では、選出範囲の境界（図７の例では、フレーム番号「７」、「１３」、「１９」、「２６」、「３２」、「３８」、「４５」、図８の例では、フレーム番号「２３」、「４７」、「６７」、「９２」）を破線で図示し、選出される代表画像を黒丸で表現している。

「無効領域の少ない体内画像が並ぶ範囲」では、図７に示すように、ステップＳ１０Ａにおいて、選出範囲毎に、当該選出範囲に含まれる各体内画像のうち、重要度Ｐ_iが最も高いフレーム番号「５」、「８」、「１８」、「２０」、「２８」、「３７」、「４４」、「５０」等の体内画像が代表画像としてそれぞれ選出される。
「無効領域の多い体内画像が並ぶ範囲」でも同様に、図８に示すように、ステップＳ１０Ａにおいて、選出範囲毎に、当該選出範囲に含まれる各体内画像のうち、重要度Ｐ_iが最も高いフレーム番号「３」、「４３」、「５２」、「７０」、「９５」等の体内画像が代表画像としてそれぞれ選出される。

以上説明した本実施の形態２によれば、上述した実施の形態１と同様の効果の他、以下の効果がある。
本実施の形態２に係る画像処理装置４は、選出範囲に含まれる各体内画像のうち、重要度が最も高い体内画像を代表画像として選出する。
したがって、上述した実施の形態１では選出範囲に含まれる各体内画像から最も有効領域の少ない体内画像を代表画像として選出してしまう虞があったところ、本実施の形態２によれば、選出範囲に含まれる各体内画像から最も有効領域の多い体内画像を代表画像として選出することができる、という効果を奏する。

（その他の実施形態）
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態１，２によってのみ限定されるべきものではない。
上述した実施の形態１，２では、カプセル型内視鏡２にて撮像された体内画像群に対して画像要約処理を実行していたが、これに限られず、時系列に取得された画像群であれば、その他の画像群に対して画像要約処理を実行するように構成しても構わない。

上述した実施の形態１，２では、画像処理装置４は、カプセル型内視鏡２にて時系列で撮像された体内画像群を、記録媒体５及びリーダライタ４１を用いて取得していたが、これに限られない。
例えば、別途、設置したサーバに体内画像群を予め保存しておく。また、画像処理装置４にサーバと通信を行う通信部を設ける。そして、通信部によりサーバと通信を行うことで画像処理装置４が体内画像群を取得する構成としても構わない。
すなわち、当該通信部は、外部から処理対象とする画像データを取得する画像取得部としての機能を有する。

上述した実施の形態１，２では、ステップＳ６〜Ｓ９において、全ての体内画像の重要度Ｐ_iを時系列順に積算し、当該積算値と第１閾値の整数倍とを比較していたが、これに限られない。
例えば、積算値が第１閾値を超えた場合に、当該超えた際に最後に積算した重要度Ｐ_iを有する体内画像のフレーム番号を選出範囲の境界として設定する。また、当該設定した段階で、積算値を初期化する。そして、改めて時系列順に重要度Ｐ_iを積算し、当該積算値を第１閾値とを比較する。以降、上記の処理を繰り返す。

上述した実施の形態１，２において、体内画像内における領域検出部４５１にて無効領域として検出された画素の位置に基づいて、算出した重要度を調整しても構わない。
例えば、無効領域として検出された画素が体内画像内での中心を含む領域に位置している場合には、観察に影響を与えることから、算出した重要度を低い値に調整（変更）する。一方、無効領域として検出された画素が体内画像内での中心から離間した外縁の領域に位置している場合には、観察に影響を与えないことから、算出した重要度を高い値に調整（変更）する。
以上のように、無効領域として検出された画素の位置に基づいて重要度を調整することで、観察する際の影響を考慮して、体内画像の重要度を適切に設定することができる。

上述した実施の形態１，２において、無効領域を検出する際に用いる特徴量が第２閾値ぎりぎりの値の場合には、当該検出を誤ってしまう可能性が高い。このため、確実に無効領域として検出することができるように、第２閾値を適宜、調整しても構わない。

また、処理フローは、上述した実施の形態１，２で説明したフローチャートにおける処理の順序に限られず、矛盾のない範囲で変更しても構わない。
さらに、本明細書においてフローチャートを用いて説明した処理のアルゴリズムは、プログラムとして記述することが可能である。このようなプログラムは、コンピュータ内部の記録部に記録してもよいし、コンピュータ読み取り可能な記録媒体に記録してもよい。プログラムの記録部または記録媒体への記録は、コンピュータまたは記録媒体を製品として出荷する際に行ってもよいし、通信ネットワークを介したダウンロードにより行ってもよい。

１ 内視鏡システム
２ カプセル型内視鏡
３ 受信装置
３ａ〜３ｈ 受信アンテナ
４ 画像処理装置
５ 記録媒体
４１ リーダライタ
４２ メモリ部
４３ 入力部
４４ 表示部
４５ 制御部
１００ 被検体
４５１ 領域検出部
４５２ 重要度算出部
４５３ 判定部
４５４ 範囲設定部
４５５ 画像選出部

Claims (13)

1. 時系列で取得された画像群に含まれる画像毎に、当該画像内の観察に適さない領域を検出する領域検出部と、
   前記画像群に含まれる画像毎に、当該画像内の前記観察に適さない領域に基づいて、当該画像の重要度を算出する重要度算出部と、
   前記重要度を時系列に演算するとともに、当該演算値が閾値を超えたか否かを判定する判定部とを備える
   ことを特徴とする画像処理装置。
2. 前記判定部にて前記演算値が前記閾値を超えたと判断された場合に、当該演算値が前記閾値を超えた際に最後に演算した前記重要度を有する前記画像を、当該画像群を複数の選出範囲に区分する境界として設定する範囲設定部をさらに備える
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の選出範囲毎に、当該選出範囲に含まれる前記複数の画像から代表画像を選出する画像選出部をさらに備える
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記観察に適さない領域は、観察に有用な有効領域以外の無効領域である
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記領域検出部は、画素単位で前記観察に適さない領域を検出し、
   前記重要度算出部は、
   前記観察に適さない領域として検出された画素の数に基づいて、前記重要度を算出する
   ことを特徴とする請求項１に記載の画像処理装置。
6. 前記重要度算出部は、
   前記観察に適さない領域として検出された画素の数が少ないほど、値の高い前記重要度を算出する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記重要度算出部は、
   前記画像内での前記観察に適さない領域として検出された画素の位置に基づいて、算出した前記重要度を調整する
   ことを特徴とする請求項５または６に記載の画像処理装置。
8. 前記判定部の演算は、
   前記画像毎に算出した前記重要度の時系列順の積算である
   ことを特徴とする請求項１に記載の画像処理装置。
9. 前記画像選出部は、
   前記選出範囲の境界とされた前記画像を前記代表画像として選出する
   ことを特徴とする請求項３に記載の画像処理装置。
10. 前記画像選出部は、
    前記選出範囲に含まれる各前記画像のうち、前記重要度が最も高い画像を前記代表画像として選出する
    ことを特徴とする請求項３に記載の画像処理装置。
11. 前記閾値は、
    前記画像群に含まれる全ての前記画像における前記重要度の総和を、選出を予定する前記代表画像の数で除した値である
    ことを特徴とする請求項３に記載の画像処理装置。
12. 画像処理装置が行う画像処理方法において、
    時系列で取得された画像群に含まれる画像毎に、当該画像内の観察に適さない領域を検出する領域検出ステップと、
    前記画像群に含まれる画像毎に、当該画像内の前記観察に適さない領域に基づいて、当該画像の重要度を算出する重要度算出ステップと、
    前記重要度を時系列に演算するとともに、当該演算値が閾値を超えるか否かを判定する判定ステップとを含む
    ことを特徴とする画像処理方法。
13. 請求項１２に記載の画像処理方法を画像処理装置に実行させる
    ことを特徴とする画像処理プログラム。

Images