JP5080485B2 - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

Description

本発明は、連続撮影された画像列や、動画像フレーム画像列から、シーンの変化する画像の位置や、有効な画像の位置を検出する画像処理装置、画像処理方法および画像処理プログラムに関する。

従来、動画像などの連続する画像列からシーンの変化する位置を検出する様々な方法が考案されている。例えば、隣接する画像間の特徴量の変化を閾値処理することによって検出する方法が一般的によく知られている。このうち、下記特許文献１では、抽出すべき画像の数を適宜設定した上で、各画像に含まれるシーンの重要度を求め、この重要度の高い順に設定された枚数の画像を表示したり、重要度の高い画像ほど長い時間をかけて表示を行ったりする技術が開示されている。この従来技術では、重要度として各シーンの出現時間とその次のシーンの出現時間との差異を求め、この差異が大きいほど重要度を高くする設定を行っている。

特開２００１−５４０５５号公報

上述した従来技術では、シーン変化を検出する際に検出される画像数は一定であり、この検出の後で各シーンについて重要度を求め、求めた重要度の順に設定された数のシーンを検出するという二重の処理が必要なため、処理内容が複雑であり、処理に要する時間が長くなってしまう場合があった。

本発明は、上記に鑑みてなされたものであって、設定した数の画像を短い処理時間で確実に検出することができる画像処理装置、画像検出方法、および画像検出プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、連続した画像列から画像を抽出する画像処理装置であって、前記画像列を構成する画像の画像情報を記憶する記憶部と、前記画像情報を前記記憶部から読み込む画像読み込み部と、前記画像読み込み部で読み込まれた画像情報を用いて少なくとも２枚の画像間の所定の画像変化量を算出する画像変化量算出部と、前記画像変化量算出部で算出された画像変化量に関する情報を対応する画像に対して付与する画像変化量情報付与部と、前記画像変化量情報付与部で各画像に付与された情報に基づいて、予め設定された数の画像を前記画像列から抽出する画像抽出部と、を備えたことを特徴とする。

本発明によれば、検出すべきシーンを含む画像として画像変化量が大きな画像を画像列から抽出することにより、設定した数の画像を短い処理時間で確実に検出することが可能となる。

また、本発明に係る画像処理装置は、上記発明において、前記画像抽出部は、前記画像変化量情報付与部で各画像に付与された情報に基づいて画像の並べ替えを行い、この並べ替えの結果を用いて前記画像列から画像を抽出することを特徴とする。

本発明によれば、画像変化量情報付与部で付与された情報に基づいて並べ替えてから画像を抽出することにより、設定された数のシーン変化の位置の画像を効率よく抽出することができる。

また、本発明に係る画像処理装置は、上記発明において、前記画像抽出部は、前記画像列から抽出した画像を撮影した時間順に並び替えることを特徴とする。

本発明によれば、抽出した画像を撮影した時間順に並び替えることにより、抽出した画像に関する情報の表示出力を時系列に沿った順序で行うことが可能となる。

また、本発明に係る画像処理装置は、上記発明において、前記画像読み込み部で読み込まれた画像情報に含まれる画像ごとの特徴量を算出する特徴量算出部をさらに備え、前記画像変化量算出部は、前記特徴量算出部で算出された各画像の特徴量を用いることによって少なくとも２枚の画像間の特徴量の変化を画像変化量として算出することを特徴とする。

本発明によれば、検出すべきシーンを含む画像として特徴量が大きく変化する画像を画像列から抽出することにより、設定した数の画像を短い処理時間で確実に検出することが可能となる。

また、本発明に係る画像処理装置は、上記発明において、前記特徴量算出部は、各画像に対して種類が異なる複数の特徴量を算出し、前記画像変化量算出部は、各特徴量の変化を算出した後、この算出結果を組み合わせた統合変化量を算出し、前記画像変化量情報付与部は、前記特徴量の変化に関する情報として前記統合変化量を用いて得られる情報を各画像に付与することを特徴とする。

本発明によれば、複数の画像間の特徴量を算出し、この算出結果を統合した特徴量変化を用いることにより、様々な場面に対応可能なシーン検出を行うことができる。

また、本発明に係る画像処理装置は、上記発明において、前記特徴量算出部は、前記複数の特徴量に対して正規化処理を行い、この正規化処理によって得られた値を成分とする特徴ベクトルを生成し、前記画像変化量算出部は、前記統合変化量として所定の画像間の前記特徴ベクトルの変化を算出することを特徴とする。

本発明によれば、種類が異なる特徴量に関して正規化処理を行うことにより、各特徴量の性質が漏れなく反映されたシーン検出を行うことが可能となる。

また、本発明に係る画像処理装置は、上記発明において、前記特徴量算出部は、各画像に対して種類が異なる複数の特徴量を算出し、前記画像抽出部は、各画像に付与された情報に基づいて予め設定された数の画像を前記画像列から抽出した後、前記複数の特徴量の各々に対して付与された重要度に基づいた画像の抽出をさらに行うことを特徴とする。

本発明によれば、特徴の重要度を考慮した画像の抽出を行うことにより、特定の特徴を有する画像が偏って抽出されたり、同じ画像が重複して抽出されるのを抑制することができる。

また、本発明に係る画像処理装置は、上記発明において、前記特徴量のうちのいずれかは、画像のエッジ抽出後に所定の閾値で２値化した画像の画素数であることを特徴とする。

本発明によれば、特徴量の変化を精度よく検出することが可能となる。

また、本発明に係る画像処理装置は、上記発明において、前記画像読み込み部で読み込まれた画像情報に含まれる画像の特徴量を算出する特徴量算出部をさらに備え、前記画像抽出部は、前記特徴量算出部で算出した各画像の特徴量、および前記画像変化量情報付与部で各画像に付与された情報に基づいて、予め設定された数の画像を抽出することを特徴とする。

本発明によれば、検出すべきシーンを含む画像として、特徴量を考慮しながら画像変化量が大きな画像を抽出することにより、特徴量を考慮した観察に適した画像を確実に検出することが可能となる。

また、本発明に係る画像処理装置は、上記発明において、前記特徴量算出部は、前記特徴量として少なくとも画素値の統計量を算出し、前記画像抽出部は、前記特徴量算出部で算出した各画像の画素値の統計量を基に判別される抽出画像として不適切な画像を除外しながら、前記画像変化量情報付与部で各画像に付与された情報に基づいて、予め設定された数の画像を抽出することを特徴とする。

本発明によれば、連続した画像列から抽出画像として不適切な画像を抽出しないで済む。なお、ここでいう抽出画像として不適切な画像とは、その画像を表示しても観察しにくいような画像のことである。

また、本発明に係る画像処理装置は、上記発明において、前記画像抽出部は、前記特徴量算出部で算出した各画像の画素値の統計量が所定の閾値よりも大きく、抽出画像として明るすぎると判別される画像を除外しながら、予め設定された数の画像を抽出することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記画像抽出部は、前記特徴量算出部で算出した各画像の画素値の統計量が所定の閾値よりも小さく、抽出画像として暗すぎると判別される画像を除外しながら、予め設定された数の画像を抽出することを特徴とする。

本発明に係る画像処理装置は、連続した画像列から画像を抽出する画像処理装置であって、前記画像列を構成する画像の画像情報を記憶する記憶部と、前記画像情報を前記記憶部から読み込む画像読み込み部と、前記画像読み込み部で読み込まれた画像情報を用いて少なくとも２枚の画像間の所定の画像変化量を算出する画像変化量算出部と、前記画像変化量算出部で算出された画像変化量に関する情報を対応する画像に対して付与する画像変化量情報付与部と、前記画像読み込み部で読み込まれた画像情報に含まれる画像ごとの特徴量を算出する特徴量算出部と、前記特徴量算出部で算出した各画像の特徴量、および前記画像変化量情報付与部で各画像に付与された情報に基づいて、前記画像列から画像を抽出する画像抽出部と、を備えたことを特徴とする。

本発明によれば、検出すべきシーンを含む画像として、特徴量を考慮しながら画像変化量が大きな画像を抽出することにより、特徴量を考慮した観察に適した画像を確実に検出することが可能となる。

また、本発明に係る画像処理装置は、上記発明において、前記特徴量算出部は、前記特徴量として少なくとも画素値の統計量を算出し、前記画像抽出部は、前記特徴量算出部で算出した各画像の画素値の統計量を基に判別される抽出画像として不適切な画像を除外しながら、前記画像変化量情報付与部で各画像に付与された情報に基づいて、画像を抽出することを特徴とする。

本発明によれば、連続した画像列から抽出画像として不適切な画像を抽出しないで済む。なお、ここでいう抽出画像として不適切な画像とは、その画像を表示しても観察しにくいような画像のことである。

また、本発明に係る画像処理装置は、上記発明において、前記画像抽出部は、前記特徴量算出部で算出した各画像の画素値の統計量が所定の閾値よりも大きく、抽出画像として明るすぎると判別される画像を除外しながら、画像を抽出することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記画像抽出部は、前記特徴量算出部で算出した各画像の画素値の統計量が所定の閾値よりも小さく、抽出画像として暗すぎると判別される画像を除外しながら、画像を抽出することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記画像変化量算出部は、少なくとも２枚の画像間の相関、差異または類似度を画像変化量として算出することを特徴とする。

本発明によれば、所定の間隔だけ時間的に離れた画像間の相関、差異または類似度を利用することにより、画像変化量を精度よく検出することが可能となる。

また、本発明に係る画像処理装置は、上記発明において、前記画像変化量算出部は、時間的な間隔が予め定められた所定の数の画像を用いることによって画像変化量を算出することを特徴とする。

本発明によれば、時間的に離れた画像間の画像変化量を算出することができ、局所的に生じるノイズや外乱の影響による抽出精度の低下を防ぐことが可能となる。

また、本発明に係る画像処理装置は、上記発明において、被検体の体腔内に導入されたカプセル型内視鏡によって撮像された体腔内画像列であることを特徴とする。

本発明によれば、被検体の体腔内に導入されたカプセル型内視鏡によって撮像された大量の連続画像に対しても冗長なシーンの画像を確実に削除し、有効な画像を適確に検出することができるので、体腔内画像を効率的に観察することが可能となる。

また、本発明に係る画像処理装置は、上記発明において、前記画像抽出部で抽出する画像の数を設定する抽出数設定部をさらに備えたことを特徴とする。

本発明によれば、ユーザが検出したいだけの数を設定することが可能となり、検出数が不定となるような従来例と比較して、表示の際の制御の効率化を図ることが可能となる。

本発明に係る画像処理方法は、連続した画像列から画像を抽出可能であり、前記画像列を構成する画像の画像情報を記憶する記憶部を備えたコンピュータが行う画像処理方法であって、前記画像情報を前記記憶部から読み込む画像読み込みステップと、前記画像読み込みステップで読み込まれた画像情報を用いて少なくとも２枚の画像間の所定の画像変化量を算出する画像変化量算出ステップと、前記画像変化量算出ステップで算出された画像変化量に関する情報を対応する画像に対して付与する画像変化量情報付与ステップと、前記画像変化量情報付与ステップで各画像に付与された情報に基づいて、予め設定された数の画像を前記画像列から抽出する画像抽出ステップと、を有することを特徴とする。

本発明によれば、検出すべきシーンを含む画像として画像変化量が大きな画像を画像列から抽出することにより、設定した数の画像を短い処理時間で確実に検出することが可能となる。

本発明に係る画像処理プログラムは、連続した画像列から画像を抽出可能であり、前記画像列を構成する画像の画像情報を記憶する記憶部を備えたコンピュータに、前記画像情報を前記記憶部から読み込む画像読み込みステップ、前記画像読み込みステップで読み込まれた画像情報を用いて少なくとも２枚の画像間の所定の画像変化量を算出する画像変化量算出ステップ、前記画像変化量算出ステップで算出された画像変化量に関する情報を対応する画像に対して付与する画像変化量情報付与ステップ、前記画像変化量情報付与ステップで各画像に付与された情報に基づいて、予め設定された数の画像を前記画像列から抽出する画像抽出ステップ、を実行させることを特徴とする。

本発明によれば、検出すべきシーンを含む画像として画像変化量が大きな画像を画像列から抽出することにより、設定した数の画像を短い処理時間で確実に検出することが可能となる。

本発明によれば、連続した画像列を構成する画像の中から少なくとも２枚の画像間の所定の画像変化量を算出し、この画像変化量に関する情報を対応する画像に対して付与した後、この付与した情報に基づいて予め設定された数の画像を画像列から抽出することにより、設定した数の画像を短い処理時間で確実に検出することができる画像処理装置、画像処理方法、および画像処理プログラムを提供することができる。

図１は、本発明の実施の形態１に係る画像処理装置の構成を示す図である。 図２は、本発明の実施の形態１に係る画像処理方法の処理の概要を表すフローチャートである。 図３は、画像列の表示例を示す図である。 図４は、図３の画像列に対してエッジ抽出処理を行うことによって得られたエッジ抽出画像の表示例を示す図である。 図５は、連続した画像列に対する画像抽出処理の概要を模式的に示す図である。 図６は、本発明の実施の形態１に係る画像処理装置を備えた被検体内情報取得システムの一構成例を模式的に示す図である。 図７は、本発明の実施の形態１の一変形例に係る画像処理装置の構成を示す図である。 図８は、本発明の実施の形態１の一変形例に係る画像処理方法の処理の概要を表すフローチャートである。 図９は、本発明の実施の形態２に係る画像処理方法の処理の概要を示すフローチャートである。 図１０は、本発明の実施の形態３に係る画像処理方法の処理の概要を示すフローチャートである。

以下、添付図面を参照して本発明を実施するための形態（以後、「実施の形態」と称する）を説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を示す図である。同図に示す画像処理装置１は、演算機能および制御機能を備えた演算部１０１と、連続する画像列を構成する画像の画像情報を含む各種情報が記憶されている記憶部１０２と、画像を含む情報の表示出力を行う表示部１０３と、キーボードやマウス等の入力部１０４とを備える。この画像処理装置１は、ＣＰＵ，ＲＯＭ，ＲＡＭ等を備えたコンピュータによって実現される。

演算部１０１は、記憶部１０２から時間的に連続する画像列を構成する画像を読み込む画像読み込み部１１１と、画像読み込み部１１１において読み込まれた画像の特徴量を算出する特徴量算出部１１２と、特徴量算出部１１２で算出された画像の特徴量を用いることによって所定の画像間の特徴量の変化を画像変化量として算出する画像変化量算出部１１３と、画像変化量算出部１１３で算出された画像変化量に関する情報を対応する画像に対して付与する画像変化量情報付与部１１４と、画像変化量情報付与部１１４で付与された情報に基づいて予め設定された数の画像を複数の画像列から抽出する画像抽出部１１５と、画像抽出部１１５で抽出する画像の枚数を設定する抽出数設定部１１６と、を備える。

以上の構成を有する画像処理装置１が備えるＣＰＵは、本実施の形態１に係る画像処理方法（後述）を実行するための画像処理プログラムを記憶部１０２から読み出すことにより、その画像処理方法に関する演算処理を実行する。なお、本実施の形態１に係る画像処理プログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フラッシュメモリ等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。この意味で、画像処理装置１は、前述した各種記録媒体のいずれかを読み取り可能な補助記憶装置を具備してもよい。

図２は、本実施の形態１に係る画像処理方法の処理の流れを表すフローチャートである。まず、画像読み込み部１１１は、画像列を構成する全画像枚数、画像サイズ等の情報を記憶部１０２から読み込んで取得する（ステップＳ１０１）。図３は、画像列の一例を示す図である。同図においては、時間間隔Δｔで隣接する３枚の画像４１（時間ｔ＝ｔ₁），４２（ｔ＝ｔ₁＋Δｔ）および４３（ｔ＝ｔ₁＋２Δｔ）にそれぞれ星型のオブジェクト４０１，４０２および４０３が含まれている。これら３つのオブジェクト４０１，４０２および４０３は同一のオブジェクトであり、図３では、そのオブジェクトが同じ視野内を水平方向右側へ等速度で移動している場合を示している。

次に、特徴量算出部１１２が画像の特徴量を算出する（ステップＳ１０２）。その後、画像変化量算出部１１３が予め定められた時間的な間隔だけ離れた画像間の特徴量の変化を画像変化量として算出する（ステップＳ１０３）。このステップＳ１０３で求めた画像変化量（特徴量の変化）に関する情報は、画像変化量算出部１１３によって対応する画像に対して付与される（ステップＳ１０４）。

図４は、図３に示す画像４１〜４３の特徴量とその特徴量の変化の算出例を示す図である。図４では、図３に示す画像４１、４２および４３にそれぞれ含まれるオブジェクト４０１、４０２、および４０３に対してエッジ抽出処理（または輪郭抽出処理でもよい）を施すことによって得られたエッジ抽出画像を表示している。より具体的には、エッジ抽出画像４１ｅではオブジェクト４０１のエッジ部４０１ｅが表示され、エッジ抽出画像４２ｅではオブジェクト４０２のエッジ部４０２ｅが表示され、エッジ抽出画像４３ｅではオブジェクト４０３のエッジ部４０３ｅが表示されている。

ここで、画像の特徴量をエッジ部によって囲まれる面積（以下、「エッジ部の面積」と呼ぶ）とすると、画像４１の特徴量であるエッジ部４０１ｅの面積と画像４２の特徴量であるエッジ部４０２ｅの面積は同じであるが、画像４３の特徴量であるエッジ部４０３ｅの面積はエッジ部４０１ｅや４０２ｅの面積よりも小さくなっている。したがって、画像４１〜画像４２間の特徴量変化は、画像４２〜画像４３間の特徴量変化よりも小さい。この場合、特徴量が相対的に大きく変化する方の画像４３が抽出されるようにするためには、時間間隔Δｔだけ前の画像からの特徴量変化が大きい画像を抽出するような構成とすればよい。

なお、隣接する画像間で特徴量の変化を求める場合には、全ての画像の特徴量を算出した後で特徴量の変化を算出する処理（上述したステップＳ１０２〜Ｓ１０３の処理）を行う代わりに、特徴量および特徴量の変化を算出する処理を画像ごとに行うループ演算処理を画像の時系列順に実行するようにしてもよい。すなわち、ある時間ｔの画像の特徴量を算出した後、この算出した特徴量と、それより時間間隔が１つ前のｔ−Δｔにおける画像の特徴量（既に算出）との特徴量変化を求め、その結果を各画像に付与するようにしてもよい。このようにループ演算処理を行う場合には、すべての画像についての演算が終了したとき、後述するステップＳ１０５へ進む。

ステップＳ１０５では、画像抽出部１１５において、画像変化量としての特徴量の変化に基づいた画像の並べ替えを行う。たとえば上述したエッジ部を特徴量とする場合には、特徴量変化の大きい順に画像を並べ替える。次に、画像抽出部１１５は、並べ替えた画像列の順序にしたがって、予め設定された数の画像を抽出する（ステップＳ１０６）。この後、画像抽出部１１５では、ステップＳ１０６で抽出された画像を撮影時間順に再度並べ替え、この並べ替えた画像列に関する情報を抽出情報として出力し、記憶部１０２に格納する（ステップＳ１０７）。

最後に、ステップＳ１０７で生成された抽出情報に基づいて、抽出した画像を含む情報を表示部１０３で表示する（ステップＳ１０８）。

図５は、連続した画像列に対して上述した処理を行う場合の概要を模式的に示す図である。同図に示すように、連続画像列５０１は複数のセグメント（図５ではｎ個）に分割される。各セグメントＳ_i（ｉ＝１，２，・・・，ｎ）は、ｍ_i個の画像Ｆ_ij（ｊ＝１，２，・・・，ｍ_i）によって構成されている。表示部１０３では、各セグメントＳ_iの時間的に最初の画像Ｆ_i1（シーンが変化した位置の画像）を時系列順に並べ替えたシーンチェンジ画像群５０２を順次表示していき、抽出されなかったフレームからなる画像群５０３についての表示が省略される。したがって、画像変化量（特徴量の変化）の小さい画像の表示が省略されることとなり、効率的な表示を行うことが可能となる。

ところで、撮像対象や撮像条件によってはセグメントＳ_iの最初の画像Ｆ_i1が有効なシーンでない場合もある。換言すれば、同じセグメントＳ_iの中に画像Ｆ_1jよりも有効なシーンの画像が含まれている可能性もある。そこで、画像処理装置１にセグメントＳ_iの中から有効なシーンを検出する機能をさらに具備させてもよい。有効なシーンを検出する方法としては、例えば画像の明るさやピントの状態等の画質を判定する方法を適用することができる。

以上の説明においては、画像変化量として隣接する２枚の画像間の特徴量の変化を算出する場合を説明したが、本実施の形態１に係る画像処理方法はその場合に限定されるものではない。例えば、３枚以上の画像相互間の特徴量の変化を算出し、この複数の特徴量の変化に対して所定の統計的演算を行って得られた値を並べ替えの際に参照する画像変化量としてもよい。

ところで、本実施の形態１は、カプセル型内視鏡で撮像した画像列（体腔内画像列）に対して適用することができる。図６は、画像処理装置１を備えた被検体内情報取得システムの一構成例を模式的に示す図である。同図に示す被検体内情報取得システムは、被検体Ｈの体腔内に導入されて体腔内画像を撮像するカプセル型内視鏡２と、カプセル型内視鏡２によって送信された無線信号を受信し、受信した無線信号に含まれる画像を蓄積する受信装置３と、受信装置３および画像処理装置１に着脱可能なメモリカード等の携帯型記録媒体４とを備える。

カプセル型内視鏡２は、被検体Ｈの体腔内画像を撮像する撮像機能と、撮像した画像を含む無線信号を外部に送信する無線通信機能とを有する。より具体的には、カプセル型内視鏡２は、被検体Ｈの体腔内を進行すると同時に、例えば０.５秒程度の所定の間隔（２Ｈｚ程度）で被検体Ｈの体腔内画像を撮像し、この撮像した体腔内画像を所定の電波によって受信装置３に送信する。

受信装置３には、カプセル型内視鏡２によって送信された無線信号を受信する複数の受信アンテナ３ａ〜３ｈが接続されている。受信アンテナ３ａ〜３ｈは、例えばループアンテナを用いて実現され、カプセル型内視鏡２の通過経路に対応する被検体Ｈの体表上に分散配置される。このような受信アンテナは、被検体Ｈに対して１以上配置されればよく、その配置数は、図示するように８個に限定されるものではない。

受信装置３は、受信アンテナ３ａ〜３ｈのいずれかを介してカプセル型内視鏡２からの無線信号を受信し、この受信した無線信号をもとに被検体Ｈの体腔内画像の画像情報を取得する。受信装置３が取得した画像情報は、その受信装置３に挿着された携帯型記録媒体４に格納される。被検体Ｈの体腔内画像の画像情報を格納した携帯型記録媒体４は、画像処理装置１に挿着され、画像処理装置１における処理に使用される。

以上の構成を有する被検体内情報取得システムにおいては、カプセル型内視鏡２が被検体Ｈの体腔内を８時間程度の時間をかけて移動しながら撮像し、６００００枚程度の大量の体腔内画像列が生成される。しかしながら、この体腔内画像列の中には、例えば同じ体内器官を移動するときに撮像するシーンのように類似した画像が多数含まれている可能性があり、人間が全ての画像を観察することは現実的ではない。このような状況の下、体腔内画像列を用いる医療現場からは、シーンが変化する位置の画像を短時間で適確に抽出することが可能な技術が待望されていた。本実施の形態１においては、カプセル型内視鏡２によって撮像された大量の体腔内画像列に対し、画像変化量が少ない画像に対しては適宜削除することによって類似画像を表示する冗長度を減少させ、表示する画像枚数を極力少なくすることができる。その結果、所望の画像を適確に得ることができ、診断を効率よく行うことが可能となる。

以上説明した本発明の実施の形態１によれば、連続した画像列を構成する画像の中から少なくとも２枚の画像間の所定の画像変化量を算出し、この画像変化量に関する情報を対応する画像に対して付与した後、この付与した情報に基づいて予め設定された数の画像を画像列から抽出することにより、設定した数の画像を短い処理時間で確実に検出することができる画像処理装置、画像処理方法、および画像処理プログラムを提供することができる。

また、本実施の形態１によれば、従来の特徴量算出処理よりも簡易な処理によって画像を抽出することができる。

さらに、本実施の形態１によれば、単に出現時間が長いだけの冗長なシーンを重要なシーンとして検出してしまうことがなく、画像の質的な変化を適確に反映したシーンを含む画像の抽出を行うことができる。したがって、カプセル型内視鏡によって撮像された体腔内画像列に対する画像処理に好適な技術を提供することが可能となる。

（変形例）
本実施の形態１においては、画像変化量として、上述した画像の特徴量以外の量を用いることも可能である。例えば、正規化相互相関を画像変化量としてもよいし、ＳＳＤ（対応する画素成分の差の２乗和）やＳＡＤ（対応する画素成分の差の絶対値和）などの類似度を画像変化量としてもよい。また、画像全体に対してその画像の画素値平均を乗算または除算した結果のＳＳＤやＳＡＤを画像変化量としてもよいし、画像を分割した分割画像に対して各分割画像の画素値平均を乗算または除算した結果のＳＳＤやＳＡＤを画像変化量としてもよい。さらに、空間内で規則的に（例えば等間隔に）選択された点や、局所的な特徴が大きい特徴点を算出し、そのような点の動き量またはオプティカルフローの大きさ（絶対値）を画像変化量とすることも可能である。ここで述べた画像変化量は、エッジ部のなす図形の面積を特徴量としてその変化を算出した場合とは質的に異なる変化を生じるため、傾向が異なるシーンの画像を抽出することが可能となる。この意味で、画像変化量としては、対象となる画像の特質などに応じてさまざまな量を適用することが可能である。

図７は、本実施の形態１の一変形例に係る画像処理装置の構成を示す図であり、具体的には、特徴量算出処理を行わずに画像変化量を求める場合の画像処理装置の構成を示す図である。同図に示す画像処理装置１−２は、演算機能および制御機能を備えた演算部２０１が特徴量算出部を具備していない。この点を除く画像処理装置１−２の構成は、画像処理装置１の構成と同様である。このため、図７では、画像処理装置１が具備する部位と同じ部位に対して、画像処理装置１の場合と同じ符号を付してある。

図８は、画像処理装置１−２が行う画像処理方法の概要を示すフローチャートである。画像処理装置１−２では、画像読み込み部１１１が記憶部１０２から画像情報を取得（ステップＳ１１１）した後、画像変化量算出部１１３において所定の画像変化量を算出する（ステップＳ１１２）。ここでの画像変化量は、特徴量を算出することなく求められる量であり、上記のごとく相関、差分または類似度等に基づいて定義される量のいずれかを適用することができる。画像変化量を算出した後のステップＳ１１３〜Ｓ１１７の処理は、上記実施の形態１に係る画像処理方法のステップＳ１０４〜Ｓ１０８の処理に順次対応している。

以上説明した本実施の形態１の一変形例によれば、上述した実施の形態１と同様の効果を得ることができる。

（実施の形態２）
図９は、本発明の実施の形態２に係る画像処理方法の処理の概要を示すフローチャートである。本実施の形態２では、種類が異なる複数の特徴量を用いてシーンが変化する位置にある画像の抽出を行う。なお、本実施の形態２に係る画像処理装置は、上述した画像処理装置１と同様の構成を有する。

まず、画像読み込み部１１１が、画像列を構成する全画像枚数、画像サイズ等の情報を記憶部１０２から読み込んで取得する（ステップＳ２０１）。その後、特徴量算出部１１２で画像ごとに複数の特徴量を算出する（ステップＳ２０２）。以下の説明では、特徴量の個数をＭ（Ｍは２以上の整数）とし、画像列を構成する画像の個数をＮ（Ｎは２以上の整数）とする。また、画像列を構成する画像の画像情報を、撮影時間順にＩ₁,Ｉ₂,・・・,Ｉ_Nとする。ステップＳ２０２で求められた全ての特徴量は、ｑ番目の画像に対して算出されたｐ番目の特徴量をＦ_{q p}と表すと、次式（１）で表される特徴量行列Ｆとしてまとめられる。

種類が異なる複数の特徴量を用いる場合、各特徴量の大きさは統一されているわけではない。このため、単に特徴量を成分とするベクトルを構成した場合、ベクトルの大きさに対して閾値処理を行うと、相対的に大きい値を有する特徴量の影響が支配的となり、相対的に小さい値を有する特徴量の影響が反映されなくなってしまう。そこで、本実施の形態２では、特徴量算出部１１２において、ステップＳ２０２で算出した複数の特徴量の正規化処理を行い、この正規化処理によって得られた値を成分とする特徴ベクトルを生成する（ステップＳ２０３）。

この後、画像変化量算出部１１３では、所定の画像間における正規化された特徴量（特徴ベクトル）の変化を算出する（ステップＳ２０４）。ここで算出する特徴ベクトルの変化は、各特徴量の変化を組み合わせることによって得られる特徴量の統合変化量に他ならない。

次に、画像変化量情報付与部１１４が、特徴量の変化に関する情報を対応する画像に対して付与する（ステップＳ２０５）。以下、特徴量の変化に関する情報として画像間の類似度を用いる場合を説明する。

続いて、画像抽出部１１５は、ステップＳ２０５で算出された類似度Sim_{p p-1}を用いて画像の並べ替えを行う（ステップＳ２０６）。この後、画像抽出部１１５は、ステップＳ２０５で付与された類似度Sim_{p p-1}の値が小さい画像から予め設定した数の画像を順次抽出する（ステップＳ２０７）。そして、ステップＳ２０６で抽出された画像を撮影時間順に再度並べ替えを行い、この並べ替えた画像列に関する情報を抽出情報として出力し、記憶部１０２に格納する（ステップＳ２０８）。

最後に、ステップＳ２０８で生成された抽出情報に基づいて、抽出した画像を含む情報を表示部１０３で表示する（ステップＳ２０９）。

以上説明した本発明の実施の形態２によれば、実施の形態１と同様に、設定した数の画像を短い処理時間で確実に検出することができる画像処理装置、画像処理方法、および画像処理プログラムを提供することができる。

また、本実施の形態２によれば、種類が異なる複数の特徴量を算出することにより、様々な場面に対応可能なシーン検出を行うことができる。

さらに、本実施の形態２によれば、種類が異なる特徴量に関して正規化処理を行うことにより、各特徴量の性質が反映されたシーン検出を行うことが可能となる。

（実施の形態３）
図１０は、本発明の実施の形態３に係る画像処理方法の処理の概要を示すフローチャートである。本実施の形態３では、種類が異なる複数の特徴量に関してそれぞれ特徴量の変化を求め、特徴量ごとに所定の数の画像を抽出した後、各特徴量に付与された重要度に応じた抽出画像の順序付けを行い、この順序付けた画像列から再度画像の抽出を行う。なお、本実施の形態３に係る画像処理装置は、上述した画像処理装置１と同様の構成を有する。

まず、画像読み込み部１１１が、画像列を構成する全画像枚数、画像サイズ等の情報を記憶部１０２から読み込んで取得する（ステップＳ３０１）。その後、特徴量算出部１１２で画像ごとに複数の特徴量を算出する（ステップＳ３０２）。次に、画像変化量算出部１１３で特徴量ごとに所定の画像間の特徴量の変化を算出し（ステップＳ３０３）、画像変化量情報付与部１１４が特徴量の変化に関する情報を対応する画像に付与する（ステップＳ３０４）。続いて、各特徴量に対して特徴量の変化に基づく画像の並べ替えを行い（ステップＳ３０５）、設定した数の画像を抽出する（ステップＳ３０６）。なお、ステップＳ３０２〜ステップＳ３０６の処理（図１０の破線で囲まれた領域内の処理）は、特徴量ごとにループ演算処理として行ってもよい。

ところで、ステップＳ３０６では、特徴量ごとに予め設定された数の画像が独立に抽出される（ここで抽出される画像の数は、一般には特徴量によらずに一定）。このため、各特徴量で抽出される画像の中には、複数の特徴量に対して重複して抽出される画像も含まれる可能性がある。そこで、以下に説明する処理を経て最終的に抽出する画像の数は、ステップＳ３０６が終了した時点で抽出される画像の総数よりも少なく設定しておく方がより好ましい。

続くステップＳ３０７では、画像抽出部１１５が、抽出した画像に対して特徴量の重要度に応じた抽出画像の順序付けを行う。すなわち、重要度が最も高い特徴量に対してステップＳ３０６で抽出した画像を抽出順に並べた後、重要度が２番目に高い特徴量に対してステップＳ３０６で抽出した画像を抽出順に並べる。その後も、重要度が高い特徴量の順に、抽出画像を順序付けていく。この際には、各特徴量のステップＳ３０６における抽出順は保持したまま順序付けを行う。なお、このステップＳ３０７で参照する特徴量の重要度は、予め設定しておいてもよいし、その都度ユーザが入力部１０４によって入力設定するようにしてもよい。いずれにせよ、本実施の形態３では、特徴量の重要度自体を求める処理は行われない。

次に、画像抽出部１１５は、ステップＳ３０７で特徴量の重要度に応じて順序付けられた画像列から最終的に抽出すべき数の画像を抽出する（ステップＳ３０８）。具体的には、まず重要度が最も低い特徴量に対してステップＳ３０６で並べ替えた画像列の中で最低順位の画像から順次削除していく。この際、例えば画像の特徴量の変化に相当する量として式（５）に示すような類似度Sim_{p q}を適用する場合には、画像に付与されている類似度Sim_{p q}の値が大きい画像から順次削除していけばよい。このようにして重要度が最も低い特徴量の画像を全て削除しても、未だ最終的に抽出すべき数よりも多くの画像が残っている場合には、次に重要度が低い特徴量に対して上記同様の処理を行い、最終的に抽出すべき枚数に達するまで画像を削除していく。なお、このステップＳ３０８における画像の削除方法としては、上記以外にもさまざまな方法を適用することができ、抽出し過ぎた画像に関する類似度や並べ替えの順序に基づく適当な演算処理にしたがって画像を削除することができる。

その後、画像抽出部１１５では、ステップＳ３０８で抽出した画像を撮影時間順に再度並べ替えを行い、この並べ替えた画像列に関する情報を抽出情報として出力し、記憶部１０２に格納する記憶部１０２に格納する（ステップＳ３０９）。

最後に、ステップＳ２０８で生成された抽出情報に基づいて、抽出した画像を含む情報を表示部１０３で表示する（ステップＳ３１０）。

以上説明した本発明の実施の形態３によれば、実施の形態１と同様に、設定した数の画像を短い処理時間で確実に検出することができる画像処理装置、画像処理方法、および画像処理プログラムを提供することができる。

また、本実施の形態３によれば、特徴量の重要度を考慮した画像の抽出を行うことにより、特定の特徴を有する画像が偏って抽出されたり、同じ画像が重複して抽出されるのを抑制することができる。

（その他の実施の形態）
ここまで、本発明を実施するための最良の形態として、実施の形態１〜３を詳述してきたが、本発明はそれらの実施の形態によってのみ限定されるべきものではない。

例えば、抽出した画像の中に、表示しても観察しにくい画像があると、画像を閲覧し難くなる。例えば、そのような不適切な画像を用いて診断を行う場合には、診断効率が低下してしまうことが考えられる。そこで、画像抽出部は、特徴量算出部が算出した特徴量に基づいて各画像が抽出画像として不適切な画像であるか否かを判別し、不適切な画像である場合にはその画像を除外しながら画像を抽出するようにしてもよい。これにより、画像抽出部は、観察しにくい画像を抽出しなくなるので、そのような画像を表示しないで済む。したがって、例えば、抽出した画像を用いて診断を行う場合には、診断効率の低下を抑制することができる。

上述した不適切な画像の特徴を示す特徴量として、例えば画素値の統計量（平均値等）を適用することができる。この場合、特徴量算出部によって算出された特徴量としての画素値の統計量が所定の閾値よりも大きいとき、画像抽出部は、その画像が明るすぎるために観察しにくい不適切な画像であると判別し、その画像を抽出対象から除外する。他方、特徴量算出部によって算出された画素値の統計量が所定の閾値よりも小さいとき、画像抽出部は、その画像が暗すぎるために観察しにくい画像であると判別し、その画像を抽出対象から除外する。

このように、本発明は、ここでは記載していないさまざまな実施の形態等を含みうるものであり、特許請求の範囲により特定される技術的思想を逸脱しない範囲内において種々の設計変更等を施すことが可能である。

以上のように、本発明に係る画像処理装置、画像処理方法、および画像処理プログラムは、連続撮影された画像列や、動画像フレーム画像列から、シーンの変化する画像の位置や、有効な画像の位置を検出する場合に有用である。

１、１−２ 画像処理装置
２ カプセル型内視鏡
３ 受信装置
３ａ、３ｂ、・・・、３ｈ 受信アンテナ
４ 携帯型記録媒体
４１、４２、４３ 画像
４１ｅ、４２ｅ、４３ｅ エッジ抽出画像
１０１、２０１ 演算部
１０２ 記憶部
１０３ 表示部
１０４ 入力部
１１１ 画像読み込み部
１１２ 特徴量算出部
１１３ 画像変化量算出部
１１４ 画像変化量情報付与部
１１５ 画像抽出部
１１６ 抽出数設定部
４０１、４０２、４０３ オブジェクト
４０１ｅ，４０２ｅ、４０３ｅ エッジ部
５０１ 連続画像列
５０２ シーンチェンジ画像群
５０３ 画像群
Ｈ 被検体

Claims (13)

1. 連続した画像列から画像を抽出する画像処理装置であって、
   前記画像列を構成する画像の画像情報を記憶する記憶部と、
   前記画像情報を前記記憶部から読み込む画像読み込み部と、
   前記画像読み込み部で読み込まれた画像情報を用いて少なくとも２枚の画像間の所定の画像変化量を算出する画像変化量算出部と、
   前記画像変化量算出部で算出された画像変化量に関する情報を対応する画像に対して付与する画像変化量情報付与部と、
   前記画像変化量情報付与部で各画像に付与された情報に基づいて画像の並べ替えを行い、この並べ替えの結果を用いて、予め設定された数の画像を前記画像列から抽出する画像抽出部と、
   を備えたことを特徴とする画像処理装置。
2. 前記画像抽出部は、
   前記画像列から抽出した画像を撮影した時間順に並び替えることを特徴とする請求項１に記載の画像処理装置。
3. 前記画像読み込み部で読み込まれた画像情報に含まれる画像ごとの特徴量を算出する特徴量算出部をさらに備え、
   前記画像変化量算出部は、前記特徴量算出部で算出された各画像の特徴量を用いることによって少なくとも２枚の画像間の特徴量の変化を画像変化量として算出することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記特徴量算出部は、各画像に対して種類が異なる複数の特徴量を算出し、
   前記画像変化量算出部は、各特徴量の変化を算出した後、この算出結果を組み合わせた統合変化量を算出し、
   前記画像変化量情報付与部は、前記特徴量の変化に関する情報として前記統合変化量を用いて得られる情報を各画像に付与することを特徴とする請求項３に記載の画像処理装置。
5. 前記特徴量算出部は、前記複数の特徴量に対して正規化処理を行い、この正規化処理によって得られた値を成分とする特徴ベクトルを生成し、
   前記画像変化量算出部は、前記統合変化量として所定の画像間の前記特徴ベクトルの変化を算出することを特徴とする請求項４に記載の画像処理装置。
6. 前記特徴量算出部は、各画像に対して種類が異なる複数の特徴量を算出し、
   前記画像抽出部は、各画像に付与された情報に基づいて予め設定された数の画像を前記画像列から抽出した後、前記複数の特徴量の各々に対して付与された重要度に基づいた画像の抽出をさらに行うことを特徴とする請求項３に記載の画像処理装置。
7. 前記特徴量のうちのいずれかは、画像のエッジ抽出後に所定の閾値で２値化した画像の画素数であることを特徴とする請求項３〜６のいずれか一項に記載の画像処理装置。
8. 前記画像変化量算出部は、
   少なくとも２枚の画像間の相関、差異または類似度を画像変化量として算出することを特徴とする請求項１または２に記載の画像処理装置。
9. 前記画像変化量算出部は、
   時間的な間隔が予め定められた所定の数の画像を用いることによって画像変化量を算出することを特徴とする請求項１〜８のいずれか一項に記載の画像処理装置。
10. 前記画像列は、被検体の体腔内に導入されたカプセル型内視鏡によって撮像された体腔内画像列であることを特徴とする請求項１〜９のいずれか一項に記載の画像処理装置。
11. 前記画像抽出部で抽出する画像の数を設定する抽出数設定部をさらに備えたことを特徴とする請求項１〜１０のいずれか一項に記載の画像処理装置。
12. 連続した画像列から画像を抽出可能であり、前記画像列を構成する画像の画像情報を記憶する記憶部を備えたコンピュータが行う画像処理方法であって、
    前記画像情報を前記記憶部から読み込む画像読み込みステップと、
    前記画像読み込みステップで読み込まれた画像情報を用いて少なくとも２枚の画像間の所定の画像変化量を算出する画像変化量算出ステップと、
    前記画像変化量算出ステップで算出された画像変化量に関する情報を対応する画像に対して付与する画像変化量情報付与ステップと、
    前記画像変化量情報付与ステップで各画像に付与された情報に基づいて画像の並べ替えを行い、この並べ替えの結果を用いて、予め設定された数の画像を前記画像列から抽出する画像抽出ステップと、
    を有することを特徴とする画像処理方法。
13. 連続した画像列から画像を抽出可能であり、前記画像列を構成する画像の画像情報を記憶する記憶部を備えたコンピュータに、
    前記画像情報を前記記憶部から読み込む画像読み込みステップ、
    前記画像読み込みステップで読み込まれた画像情報を用いて少なくとも２枚の画像間の所定の画像変化量を算出する画像変化量算出ステップ、
    前記画像変化量算出ステップで算出された画像変化量に関する情報を対応する画像に対して付与する画像変化量情報付与ステップ、
    前記画像変化量情報付与ステップで各画像に付与された情報に基づいて画像の並べ替えを行い、この並べ替えの結果を用いて、予め設定された数の画像を前記画像列から抽出する画像抽出ステップ、
    を実行させることを特徴とする画像処理プログラム。

Images