JP5308848B2 - シーン変化検出装置、シーン変化検出プログラムおよびシーン変化検出方法 - Google Patents

Description

本発明は、複数の画像で構成される画像列からシーン変化位置を検出するためのシーン変化検出装置、シーン変化検出プログラムおよびシーン変化検出方法に関するものである。

従来から、連続して撮影された複数の静止画像列、あるいは動画像のような連続する画像列を処理し、これらの連続する画像列からシーン変化位置を検出する様々な手法が提案されている。例えば、隣接する画像間（フレーム間）の特徴変化を所定の閾値と比較し、閾値を超える場合にシーン変化位置として検出する方法が一般的によく知られている（例えば、特許文献１参照）。すなわち、特許文献１では、小ブロックに分割したブロック毎に動きベクトルを検出し、その大きさが閾値を超えた動きベクトルが所定数以上検出された場合にシーン変化位置として検出するものである。

特開平４−３４５３８２号公報

しかしながら、特許文献１の技術では、動きベクトルの大きさのみを用いた画一的な処理によってシーン変化位置を検出するため、シーン変化位置の検出精度が低いという問題があった。

本発明は、上記に鑑みてなされたものであって、画像列内のシーン変化位置を精度よく検出することができるシーン変化検出装置、シーン変化検出プログラムおよびシーン変化検出方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明にかかるシーン変化検出装置は、複数の画像で構成される画像列からシーン変化位置を検出するシーン変化検出装置であって、前記画像内の複数の位置において他の画像との間の動きベクトルを検出する動きベクトル検出手段と、前記画像内で検出された複数の動きベクトルをもとに、前記画像を所定の動きパターンにパターン分類するパターン分類手段と、前記各パターン分類内における前記画像間の画像変化を前記パターン分類毎に検出する分類別画像変化検出手段と、前記各パターン分類内における画像間の画像変化をもとに、前記各パターン分類内におけるシーン変化を前記パターン分類毎に検出する分類別シーン変化検出手段と、を備えるものである。

また、本発明にかかるシーン変化検出プログラムは、複数の画像で構成される画像列からシーン変化位置を検出するシーン変化検出装置に、前記画像内の複数の位置において他の画像との間の動きベクトルを検出する動きベクトル検出手順と、前記画像内で検出された複数の動きベクトルをもとに、前記画像を所定の動きパターンにパターン分類するパターン分類手順と、前記各パターン分類内における前記画像間の画像変化を前記パターン分類毎に検出する分類別画像変化検出手順と、前記各パターン分類内における画像間の画像変化をもとに、前記各パターン分類内におけるシーン変化を前記パターン分類毎に検出する分類別シーン変化検出手順と、を実行させるためのものである。

また、本発明にかかるシーン変化検出方法は、複数の画像で構成される画像列からシーン変化位置を検出するシーン変化検出方法であって、前記画像内の複数の位置において他の画像との間の動きベクトルを検出する動きベクトル検出ステップと、前記画像内で検出された複数の動きベクトルをもとに、前記画像を所定の動きパターンにパターン分類するパターン分類ステップと、前記各パターン分類内における前記画像間の画像変化を前記パターン分類毎に検出する分類別画像変化検出ステップと、前記各パターン分類内における画像間の画像変化をもとに、前記各パターン分類内におけるシーン変化を前記パターン分類毎に検出する分類別シーン変化検出ステップと、を含むものである。

本発明によれば、各パターン分類内における画像間の画像変化をパターン分類毎に検出し、この画像間の画像変化をもとに各パターン分類内におけるシーン変化をパターン分類毎に検出することができる。したがって、パターン分類に応じて画像列内のシーン変化位置を適切に検出することができ、検出精度が向上するという効果を奏する。

以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。なお、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

（実施の形態１）
図１は、実施の形態１のシーン変化検出装置１の機能構成例を示すブロック図である。実施の形態１では、シーン変化検出装置１は、入力部２と、表示部３と、記憶部４と、装置各部を制御する制御機能および各種演算処理を行う演算機能を備えた処理部５とで構成されている。

入力部２は、キーボードやマウスの他、タッチパネル、各種スイッチ等の各種入力装置によって実現されるものであり、操作入力に応じた入力信号を処理部５に出力する。表示部３は、ＬＣＤやＥＬディスプレイ、ＣＲＴディスプレイ等の表示装置によって実現されるものであり、処理部５から入力される表示信号をもとに各種画面を表示する。

記憶部４は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記憶媒体及びその読取装置等によって実現されるものである。この記憶部４には、シーン変化検出装置１を動作させ、このシーン変化検出装置１が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が格納される。例えば、連続して撮像された複数の画像で構成される画像列のデータ（画像情報）が格納される。また、画像列を構成する画像の中から、シーンの変化するシーン変化位置を検出するためのシーン変化検出プログラム４１が格納される。

処理部５は、ＣＰＵ等のハードウェアによって実現される。この処理部５は、入力部２から入力される操作信号や、記憶部４に格納されるデータ等に基づいてシーン変化検出装置１を構成する各部への指示やデータの転送等を行い、シーン変化検出装置１全体の動作を統括的に制御する。この処理部５は、画像読込部５１と、動きベクトル検出手段としての動きベクトル検出部５２と、パターン分類手段としての動きベクトル分類処理部５３と、分類別画像変化検出手段としての分類別画像変化検出部５４と、分類別シーン変化検出手段としての分類別シーン変化検出部５５と、シーン変化位置検出手段としての全体シーン変化検出部５６とを含む。

画像読込部５１は、記憶部４に格納されている画像列のデータ（画像情報）を読み込む。動きベクトル検出部５２は、画像列を構成する画像間で各画像に映る同一の領域の対応付けを行い、その位置の変化を表す複数のベクトルデータ（動きベクトル）を検出する。動きベクトル分類処理部５３は、検出した複数の動きベクトルをもとに、画像列を構成する各画像の動きをパターン分類する。分類別画像変化検出部５４は、画像列を構成する各画像間の画像変化を、パターン分類の結果を用いて検出する。具体的には、予め各動きパターンによるパターン分類毎に画像変化量の算出処理（分類別画像変化検出処理）を定義しておく。そして、分類別画像変化検出部５４は、処理対象の画像について、その動きパターンに応じた分類別画像変化検出処理を適用することで例えば撮像順が隣接する他の画像との間で画像変化量を算出し、算出した画像変化量を各パターン分類内における画像間の画像変化として検出する。分類別シーン変化検出部５５は、各パターン分類内における画像間の画像変化をもとに、各パターン分類内におけるシーン変化をパターン分類毎に検出する。具体的には、予め各動きパターンによるパターン分類毎に重み情報および検出条件を設定しておく。そして、分類別シーン変化検出部５５は、各画像の画像変化量にその動きパターンに応じた重み情報を統合した上で、その動きパターンに応じた検出条件を満たすシーン変化画像を抽出する処理をパターン分類毎に行い、各パターン分類内におけるシーン変化として検出する。全体シーン変化検出部５６は、抽出したシーン変化画像で構成されるシーン変化画像列を生成する。生成されたシーン変化画像列は、例えば表示部３において撮像順に表示される。

図２は、実施の形態１のシーン変化検出装置１が行う処理手順を示すフローチャートである。なお、ここで説明する処理は、処理部５が記憶部４に格納されたシーン変化検出プログラム４１を読み出して実行することによって実現される。

先ず、画像読込部５１が、記憶部４に記憶された画像列の画像情報を取得する（ステップａ１）。

続いて、動きベクトル検出部５２が、画像列を構成する各画像を順次処理対象として動きベクトルの検出を行う（ステップａ３）。動きベクトルの算出は、テンプレートマッチングの手法や、オプティカルフローの算出手法等の公知の手法を適用することによって実現できるが、ここでは、例えば、テンプレートマッチングを行って動きベクトルを算出する場合について説明する。

すなわち、先ず、処理対象画像と撮像順が隣接する画像内の所定の位置に所定数の探索対象領域を設定する。探索対象領域を設定する設定位置および数は、適宜設定することができる。ここで、探索対象領域の設定については、例えば、画像内を格子状に分割して均等に設定することとしてもよい。あるいは、画像内から予め定められた所定の特徴を有する特徴領域を探索し、探索された特徴領域を探索対象領域としてもよい。具体的には、画素値の分散が大きい領域やエッジ抽出して得られたエッジ強度が強い領域を探索することによって、探索対象領域を設定することとしてもよい。次いで、各探索対象領域を順次テンプレートとしたテンプレートマッチングを行い、各テンプレートと最もマッチングする（相関値が高い）領域を処理対象画像の中から探索する。このテンプレートマッチングの結果、処理対象画像の中から探索対象領域と最も類似する領域が探索され、その相関値が得られる。そして、各探索対象領域とこの探索対象領域について探索された領域との中心座標の変化をそれぞれ動きベクトルとして検出し、処理対象画像内の動きベクトル群とする。また、このとき、動きベクトル検出部５２は、検出した各動きベクトルの信頼度を算出する。例えば、探索の結果マッチングする領域が見つからなかった場合や、得られた相関値が低い動きベクトルについてはその信頼度を低く設定し、得られた相関値が高ければその信頼度を高く設定する。

続いて、動きベクトル分類処理部５３が、画像列を構成する各画像を順次処理対象とし、検出された動きベクトル群をもとに各画像の動きをパターン分類する（ステップａ５）。具体的には、動きベクトル分類処理部５３は、検出された動きベクトル群の配向特性から視野の動きを推定することによって画像の動きパターンを判定し、パターン分類を行う。本実施の形態では、各画像を、「平行移動」「撮像対象が遠ざかる動き」「撮像対象が近づく動き」の３つの動きパターンのいずれかに分類する。

図３は、動きパターンが「平行移動」にパターン分類される画像内の動きベクトル群を示す図である。図３に示すように、処理対象の画像内で検出された各動きベクトルＶ１１がほぼ同じ方向を向いており、大きさもほぼ等しい場合、この画像の視野は、撮像順が隣接する他の画像との間で横にスライド（平行移動）していると推定できる。このような場合には、画像の動きパターンを「平行移動」に分類する。具体的な処理手順としては、例えば、各動きベクトルの向きを判定する。そして、各動きベクトルの向きがほぼ同じ方向を向いている場合に、動きベクトルの向きの分散値を算出する。そして、算出した分散値を閾値処理し、予め設定される閾値より小さい場合に、その画像の動きパターンを「平行移動」に分類する。

図４は、動きパターンが「撮像対象から遠ざかる動き」にパターン分類される画像内の動きベクトル群を示す図である。図４に示すように、処理対象の画像内で検出された各動きベクトルＶ１３が、画像内のある１点（中心）に集束するように配向している場合、この画像の視野は、撮像順が隣接する他の画像との間でその視野範囲内の撮像対象が遠ざかるように移動していると推定できる。ここで、視野範囲がこのように動く場合、図４に示すように、各動きベクトルの大きさが中心に近づくにつれて小さく変化している。このような場合には、画像の動きパターンを「撮像対象から遠ざかる動き」に分類する。具体的な処理手順としては、例えば、各動きベクトルの終点が１点に集束する場合に、この画像の動きパターンを「撮像対象から遠ざかる動き」に分類する。

図５は、動きパターンが「撮像対象が近づく動き」にパターン分類される画像内の動きベクトル群を示す図である。図５に示すように、処理対象の画像内で検出された各動きベクトルＶ１５が、画像内のある１点（中心）から放射状に発散するように配向している場合、この画像の視野は、撮像順が隣接する他の画像との間でその視野範囲内の撮像対象が近づくように移動していると推定できる。ここで、視野範囲がこのように動く場合、図５に示すように各動きベクトルの大きさが中心に近づくにつれて大きく変化している。このような場合には、画像の動きパターンを「撮像対象が近づく動き」に分類する。具体的な処理手順としては、例えば、各動きベクトルの始点が１点に集束する場合に、この画像の動きパターンを「撮像対象が近づく動き」に分類する。

なお、パターン分類の手法はこれに限定されるものではなく、さらに細かく分類することとしてもよい。例えば、「平行移動」に分類された画像を、その平行移動の方向に応じてさらに分類することとしてもよい。また、「撮像対象が遠ざかる動き」または「撮像対象が近づく動き」に分類された画像を、その中心の位置に応じてさらに分類することとしてもよい。また、例示した「平行移動」「撮像対象が遠ざかる動き」「撮像対象が近づく動き」以外の動きパターンに分類することとしてもよく、各動きパターンのパターン分類条件は、任意に定義しておくことができる。

続いて、図２に示すように、各動きパターンのパターン分類を順次処理対象とし、各パターン分類に属する画像毎にループＡの処理を行う（ステップａ７〜ステップａ１５）。以下、ループＡ内の処理において、処理対象のパターン分類を「対象分類」と称す。

ループＡでは、先ず、分類別画像変化検出部５４が、対象分類に応じた分類別画像変化検出処理を適用して例えば撮像順が隣接する他の画像との間で画像変化量を算出し、対象分類内における画像間の画像変化として検出する（ステップａ９）。

ここで、パターン分類毎に定義される分類別画像変化検出処理について説明する。動きベクトルが正しく検出できている場合には、この動きベクトルの大きさが画像間の画像変化を表す指標となる。一方で、動きパターンによって画像内の各動きベクトルの大きさの傾向が異なる。そこで、各動きベクトルの大きさを用い、パターン分類毎に定まる各動きベクトルそれぞれの大きさの傾向に従って、画像変化量を算出する分類別画像変化検出処理をパターン分類毎に定義しておく。より具体的には、例えば各動きベクトルの大きさに基づくパラメータ値を用いて画像変化量を算出する分類別画像変化検出処理を定義する。

例えば、動きパターンが「平行移動」の画像の動きベクトル群は、上記のように、それぞれがほぼ同じ方向を向き、大きさもほぼ等しい。したがって、「平行移動」の分類別画像変化検出処理として、その画像内の動きベクトルの大きさの平均値を画像変化量として算出するような処理を定義しておく。

また、上記のように、動きパターンが「撮像対象が遠ざかる動き」または「撮像対象が近づく動き」の画像の動きベクトル群は、その大きさが中心からの距離に応じて変化する。したがって、「撮像対象が遠ざかる動き」または「撮像対象が近づく動き」の分類別画像変化検出処理として、その画像内の動きベクトルの大きさの中間値や最大値、最小値を画像変化量として算出するような処理を定義しておく。なお、動きベクトルの大きさの平均値を画像変化量として算出するような処理を定義しておくこととしてもよい。

なお、パターン分類毎に定義しておく分類別画像変化検出処理は、上記のように動きベクトルの大きさに基づく１つのパラメータ値を用いた処理に限定されるものではなく、動きベクトルの大きさに基づく複数のパラメータ値を用い、これらの値を統合して画像変化量を算出する処理とすることもできる。さらに、動きベクトルの大きさに基づくパラメータ値だけでなく、動きベクトルの向きに基づくパラメータ値等を用いることもできる。例えば、各動きベクトルの大きさの平均値や中間値、最大値、最小値、分散値、各動きベクトルの向きの分散値、各動きベクトルの信頼度等の各値を適宜組み合わせ、これらの値を統合して画像変化量を算出するような処理を分類別画像変化検出処理として定義しておくこととしてもよい。

あるいは、各動きベクトルの信頼度を動きパターンに基づくパラメータ値として用い、この値を加味して画像変化量を算出するようにしてもよく、より信頼性の高い画像変化の検出が実現できる。具体的には、各動きベクトルの大きさや向きに対し、その信頼度を用いた重み付けを行う。例えば、動きベクトルの大きさをもとに重み付き平均値や重み付き中間値、重み付き最大値、重み付き最小値等の値を算出し、あるいは動きベクトルの向きをもとに重み付き分散値等の値を算出して、画像変化量を算出してもよい。

続いて、分類別シーン変化検出部５５が、検出した対象分類内における画像間の画像変化をもとに、対象分類内におけるシーン変化を検出する（ステップａ１１）。具体的には、分類別シーン変化検出部５５は、先ず、対象分類に分類された各画像の画像変化量にそれぞれ予め対象分類について設定される重み情報を統合する。

ここで、重み情報は、例えば各パターン分類に対して個別に設定される重み係数であり、「撮像対象が遠ざかる動き」「撮像対象が近づく動き」について設定する重み係数と比較して、「平行移動」について設定する重み係数を大きく設定する。これは、各動きパターンを比較すると、「平行移動」では、「撮像対象が遠ざかる動き」「撮像対象が近づく動き」と比較してその視野内の撮像対象が視野から外れる速さが速く、隣接する画像間での撮像対象の見え方の変化が小さいことに基づく。

図６は、動きパターンが「平行移動」にパターン分類された撮像順が隣接する４枚の画像（ａ）〜（ｄ）の一例を示す模式図であり、画像中に映る撮像対象Ｏ１１の画像間での見え方の変化を示している。また、各画像上に、その画像内で検出された動きベクトル群を示している。そして、図７は、動きパターンが「撮像対象が遠ざかる動き」にパターン分類された撮像順が隣接する４枚の画像（ａ）〜（ｄ）の一例を示す模式図であり、画像中に映る撮像対象Ｏ１３の画像間での見え方の変化を示している。また、各画像において、その画像内で検出された動きベクトル群を示している。さらに、図８は、動きパターンが「撮像対象が近づく動き」にパターン分類された撮像順が隣接する４枚の画像（ａ）〜（ｄ）の一例を示す模式図であり、画像中に映る撮像対象Ｏ１５の画像間での見え方の変化を示している。また、各画像上に、その画像内で検出された動きベクトル群を示している。

図６〜図８に示すように、視野が「平行移動」の動きをしている場合と、「撮像対象が遠ざかる動き」または「撮像対象が近づく動き」をしている場合とでは、動きベクトルの大きさがほぼ等しい場合であっても、各画像に映る撮像対象の見え方の変化は異なり、撮像対象が視野から消失する速さも異なる。例えば、図６に示す視野が「平行移動」の動きをしている場合の撮像対象Ｏ１１の見え方の変化は、図７に示す「撮像対象が遠ざかる動き」をしている場合の撮像対象Ｏ１３の見え方の変化や、図８に示す「撮像対象が近づく動き」をしている場合の撮像対象Ｏ１５の見え方の変化と比べて速く、撮像対象Ｏ１１が視野から消失する速さも速い。

すなわち、図６に示す「平行移動」の例では、３枚目（ｃ）で撮像対象Ｏ１１の一部が視野から外れており、４枚目（ｄ）では完全に視野から外れて消失している。これに対し、図７に示す「撮像対象が遠ざかる動き」の例では、図６の場合と動きベクトルの大きさがほぼ同じにも関わらず、４枚目（ｄ）の画像中に撮像対象Ｏ１３が映っており、視野から外れていない。したがって、「平行移動」に分類された画像の画像変化量と、「撮像対象が遠ざかる動き」または「撮像対象が近づく動き」に分類された画像の画像変化量とが同程度の場合であっても、「平行移動」の方が撮像対象の動きが大きい。図８の場合も同様であり、「撮像対象が遠ざかる動き」「撮像対象が近づく動き」と比べて「平行移動」の重要度が高いといえる。

そこで、実施の形態１では、「撮像対象が遠ざかる動き」「撮像対象が近づく動き」の重み係数に対して「平行移動」の重み係数を大きく設定する。そして、この重み係数を画像変化量に統合する。これによって、パターン分類毎の撮像対象の見え方の変化量の違いに基づく重要度を加味した画像変化の検出が実現できる。また、画像変化量にその画像のパターン分類に応じた重み情報を統合することによって、各パターン分類の順序が動きパターンのみによって決定されず、重み係数により混合的に統合されるため、パターン分類間でのより適切な順序付けが実現できる。

具体的には、分類別シーン変化検出部５５は、次式（１）に従って重み情報を統合した画像変化量を算出し、画像間の画像変化として検出する。ここで、ＩｍｇＭｏｖ（ｊ）は画像列のｊ番目の画像について算出された画像変化量を表し、Ｗ_ImgMov(k)はｋ番目のパターン分類に重み情報として設定された重み係数を表す。

そして、分類別シーン変化検出部５５は、重み情報を統合した画像変化量が予め対象分類について設定されるシーン変化の検出条件を満たす画像（シーン変化画像）を抽出し、対象分類内におけるシーン変化として検出する。ここで、検出条件は、例えばパターン分類毎に個別の閾値を定義したものであり、分類別シーン変化検出部５５は、対象分類に分類された各画像の画像変化量を対象分類について定義された閾値を用いて閾値処理し、この閾値よりも画像変化量が大きい画像をシーン変化画像として抽出する。閾値は、例えば、上記したパターン分類の重要度をもとに、重要度の高いパターン分類の閾値より、重要度の低いパターン分類の閾値を大きく設定する。

なお、ここでは検出条件としてパターン分類毎の閾値を定義しておき、この閾値を用いて画像変化量を閾値処理する場合について説明したが、これに限定されるものではない。例えば、検出条件としてパターン分類毎のシーン変化数を定義しておくこととしてもよい。シーン変化数は、例えば、パターン分類の重要度をもとに、重要度の高いパターン分類のシーン変化数より、重要度の低いパターン分類のシーン変化数を大きく設定する。そして、分類別シーン変化検出部５５が、対象分類に分類された画像のうち、このシーン変化数の画像を画像変化量の大きいものから順にシーン変化画像として抽出し、シーン変化として検出することとしてもよい。

全ての動きパターンのパターン分類についてループＡの処理を実行したならば、続いて、全体シーン変化検出部５６が、パターン分類毎にステップａ１１で検出したシーン変化画像からシーン変化画像列を生成し、画像列全体としてのシーン変化位置を検出する（ステップａ１５）。

図９は、シーン変化画像が検出された画像列の一例を示す模式図である。以上のようにして処理された画像列は、図９に示すように、シーン変化画像をシーン変化として複数のショットに分割されたことになる。そして、実際に表示部３において表示を行う際には、ショットの最初のシーン変化画像を順次表示していくことになる。この表示において、画像間の画像変化が小さい画像は表示されない。すなわち、類似度の大きな画像は表示が省略される。したがって、画像列を構成する画像の効率的な表示が実現できる。

また、実施の形態１によれば、予め画像列の各画像を動きパターンで分類したパターン分類毎に画像間の画像変化を検出することができる。より具体的には、予めパターン分類毎に分類別画像変化検出処理を定義しておき、そのパターン分類に応じた分類別画像変化検出処理を適用して画像間の画像変化をパターン分類毎に検出することができる。そして、このようにして各パターン分類内における画像間の画像変化をもとに、各パターン分類内におけるシーン変化をパターン分類毎に検出することができる。具体的には、各画像について算出した画像変化量に、そのパターン分類に応じた重み情報を統合した上で、そのパターン分類に応じた検出条件に従ってシーン変化検出画像を抽出することによって、各パターン分類内におけるシーン変化を検出することができる。したがって、パターン分類に応じた画像間の画像変化の検出を行い、さらに、パターン分類に応じたシーン変化の検出を行うことができるので、シーン変化の検出に要する処理時間を増大させることなく、またパターン分類毎に画像列内のシーン変化位置を適切に検出することができ、検出精度が向上するという効果を奏する。

さらに、「平行移動」と「撮像対象が遠ざかる動き」や「撮像対象が近づく動き」とでは、見かけ上動きベクトルの大きさが同じであっても、実際の動き量が異なる可能性が高い。実施の形態１によれば、動きベクトルのパターン分類毎に異なる重み情報や検出条件を適用することによって、精度の高いシーン変化の検出を行うことが可能となる。

なお、上記した説明では、撮像順が隣接する画像間で検出した動きベクトルをもとに画像間の画像変化を検出することとしたが、これに限定されない。例えば、従来から一般的に知られている画像間の相関やＳＳＤ（画素の差の二乗和）、ＳＡＤ（画素の差の絶対値和）等の画像特徴を用いて画像間の画像変化を検出することとしてもよい。

また、動きベクトルの検出は、特に隣接する２枚の画像間の処理に限定されるものではない。例えば、２枚以上の画像間の画像特徴を算出し、これらの組み合わせによる統計的演算を用いて画像間の画像変化を検出することとしてもよい。例えば、数枚の隣接する各画像について、隣接する他の画像との間の動きベクトルや正規化相互相関、ＳＳＤ、ＳＡＤ等の画像特徴をそれぞれ算出する。そして、各値の平均値をもとに画像間の画像変化を検出することとしてもよい。

また、連続する画像列においては、類似する画像が隣接する場合がある。このような場合には、ある１枚の画像について行った処理結果を隣接する複数の画像に対して適用することも可能である。この手法を適用する画像枚数を決定するための手法としては、簡易には、予め一定の枚数を決定しておく方法とすればよい。また、画像間の類似度を所定の閾値との比較により判定して、適応的に決定するようにしてもよい。これによれば、画像列を構成する全画像を処理する必要がなく、処理時間の短縮を図ることができる。

（実施の形態２）
次に、実施の形態２について説明する。実施の形態１では、画像列を構成する各画像「平行移動」「撮像対象が遠ざかる動き」「撮像対象が近づく動き」の各動きパターンに分類し、パターン分類毎に画像間の画像変化やシーン変化を検出することとした。しかしながら、実際の画像には、画像間でシーンが完全に変化し、「平行移動」「撮像対象が遠ざかる動き」「撮像対象が近づく動き」等の動きパターンに分類できない画像が含まれる。実施の形態２では、このような画像を新たな分類（以下、「シーンチェンジ」と称す。）に分類することとし、これらの画像について、実施の形態１で説明した動きベクトルに基づく画像間の画像変化の検出処理とは別の処理を適用する。

図１０は、実施の形態２のシーン変化検出装置が行う処理手順を示すフローチャートである。なお、図１０において、実施の形態１と同様の処理工程には同一の符号を付している。

図１０に示すように、ループＡの処理を実行した後、動きベクトル分類処理部５３が、「平行移動」「撮像対象が遠ざかる動き」または「撮像対象が近づく動き」のいずれにも分類されない画像の有無を判定する。ここで、動きパターンに分類されない画像とは、例えば、動きベクトル算出時にこの画像内から探索対象領域に対応する領域として探索された領域数が少ない場合や、得られた動きベクトルの向きに統一性がない場合等、検出結果の信頼性が低いと考えられる画像である。そして、このような画像は、画像間の画像変化が大きく、シーンが完全に変化する画像と推定できる。動きパターンに分類されない画像がなければ（ステップｂ１４：Ｎｏ）、ステップａ１５に移行する。そして、全体シーン変化検出部５６が、ステップａ１１でパターン分類毎に検出したシーン変化画像からシーン変化画像列を生成し、画像列全体としてのシーン変化を検出する。

一方、動きベクトル分類処理部５３は、動きパターンに分類されない画像がある場合には（ステップｂ１４：Ｙｅｓ）、この動きパターンに分類されない画像をシーンチェンジに分類する。そして、分類別画像変化検出部５４が、このシーンチェンジの分類内における画像間の画像変化を、動きベクトルに基づく画像変化検出の手法とは別の手法を用いて検出する（ステップｂ１７）。具体的には、画像間の相関やＳＳＤ、ＳＡＤ等の画像特徴を用いて画像間の画像変化を検出する。

続いて、分類別シーン変化検出部５５が、ステップａ１１と同様にして、シーンチェンジの分類内におけるシーン変化を検出する（ステップｂ１９）。具体的には、シーンチェンジについての重み情報および検出条件を予め設定しておく。そして、分類別シーン変化検出部５５は、先ず、シーンチェンジに分類された各画像の画像変化量に、それぞれシーンチェンジの重み情報を統合した上で、シーンチェンジについて設定された検出条件を満たすシーン変化画像を抽出する処理をパターン分類毎に行い、各パターン分類内におけるシーン変化として検出する。例えば、上記のように、シーンチェンジの画像は画像間の画像変化が大きいと推定される画像であるので、重み情報として、「平行移動」「撮像対象が遠ざかる動き」「撮像対象が近づく動き」よりも大きい重み係数を設定しておく。また、検出条件として閾値を定義しておく場合であれば、「平行移動」「撮像対象が遠ざかる動き」「撮像対象が近づく動き」について設定する閾値よりも閾値の値を小さく設定しておく。検出条件としてシーン変化数を定義しておく場合であれば、「平行移動」「撮像対象が遠ざかる動き」「撮像対象が近づく動き」について設定するシーン変化数よりも大きい値を設定しておく。

そして、全体シーン変化検出部５６が、ステップｂ１９でパターン分類毎に検出したシーン変化画像からシーン変化画像列を生成し、画像列全体としてのシーン変化を検出する（ステップｂ２１）。このとき、上記のように、パターン分類された画像の画像変化は動きベクトルが正しく検出できており、パターン分類されない画像と比較して画像変化が小さいと考えられるので、パターン分類された画像の画像変化の最大値と、パターン分類できていない画像群の画像変化の最小値の境界が連続になるように調整することも可能である。

この実施の形態２によれば、実施の形態１と同様の効果を奏するとともに、いずれの動きパターンにも分類されないシーンチェンジの画像について、動きベクトルを用いた画像変化検出の手法とは別の手法を用いて画像間の画像変化を検出し、検出した画像間の画像変化をもとにシーン変化を検出することができる。これにより、画像列にパターン分類できない画像が含まれる場合であっても、適切にその画像間の画像変化を求めることが可能となる。したがって、画像列内のシーン変化位置をより適切に検出することができ、検出精度をより向上させることができる。

なお、上記した実施の形態１，２のシーン変化検出装置は、予め用意されたプログラムをパソコンやワークステーション等のコンピュータシステムで実行することによって実現することができる。以下、各実施の形態１，２で説明したシーン変化検出装置と同様の機能を有し、シーン変化検出プログラムを実行するコンピュータシステムについて説明する。

図１１は、実施の形態を適用したコンピュータシステム２０の構成を示すシステム構成図であり、図１２は、このコンピュータシステム２０における本体部２１０の構成を示すブロック図である。図１１に示すように、コンピュータシステム２０は、本体部２１０と、本体部２１０からの指示によって表示画面２２１に画像等の情報を表示するためのディスプレイ２２０と、このコンピュータシステム２０に種々の情報を入力するためのキーボード２３０と、ディスプレイ２２０の表示画面２２１上の任意の位置を指定するためのマウス２４０とを備える。

また、このコンピュータシステム２０における本体部２１０は、図１２に示すように、ＣＰＵ２１１と、ＲＡＭ２１２と、ＲＯＭ２１３と、ハードディスクドライブ（ＨＤＤ）２１４と、ＣＤ−ＲＯＭ２６０を受け入れるＣＤ−ＲＯＭドライブ２１５と、ＵＳＢメモリ２７０を着脱可能に接続するＵＳＢポート２１６と、ディスプレイ２２０、キーボード２３０およびマウス２４０を接続するＩ／Ｏインターフェース２１７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ１に接続するためのＬＡＮインターフェース２１８とを備える。

さらに、このコンピュータシステム２０には、インターネット等の公衆回線Ｎ３に接続するためのモデム２５０が接続されるとともに、ＬＡＮインターフェース２１８およびローカルエリアネットワークまたは広域エリアネットワークＮ１を介して、他のコンピュータシステムであるパソコン（ＰＣ）２８１、サーバ２８２、プリンタ２８３等が接続される。

そして、このコンピュータシステム２０は、所定の記憶媒体に記憶されたシーン変化検出プログラムを読み出して実行することでシーン変化検出装置を実現する。ここで、所定の記憶媒体とは、ＣＤ−ＲＯＭ２６０やＵＳＢメモリ２７０の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピュータシステム２０の体腔内に備えられるＨＤＤ２１４やＲＡＭ２１２、ＲＯＭ２１３等の「固定用の物理媒体」、モデム２５０を介して接続される公衆回線Ｎ３や、他のコンピュータシステム（ＰＣ）２８１またはサーバ２８２が接続されるローカルエリアネットワークまたは広域エリアネットワークＮ１等のように、プログラムの送信に際して短期にプログラムを保持する「通信媒体」等、コンピュータシステム２０によって読み取り可能なシーン変化検出プログラムを記憶するあらゆる記憶媒体を含む。

すなわち、シーン変化検出プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記憶媒体にコンピュータ読み取り可能に記憶されるものであり、コンピュータシステム２０は、このような記憶媒体からシーン変化検出プログラムを読み出して実行することでシーン変化検出装置を実現する。なお、シーン変化検出プログラムは、コンピュータシステム２０によって実行されることに限定されるものではなく、他のコンピュータシステム（ＰＣ）２８１またはサーバ２８２がシーン変化検出プログラムを実行する場合や、これらが協働してシーン変化検出プログラムを実行するような場合にも、本発明を同様に適用することができる。

そして、上記した実施の形態１，２のシーン変化検出装置は、例えばカプセル型内視鏡システムに好適に適用できる。図１３は、実施の形態１または実施の形態２を適用したシーン変化検出装置３９をワークステーションやパソコン等の汎用コンピュータとして備えたカプセル型内視鏡システムを模式的に示す構成図である。図１３に示すように、カプセル型内視鏡システムは、シーン変化検出装置３９の他、被検体３１内部の画像（以下、「体腔内画像」と呼ぶ。）を撮像するカプセル型内視鏡３３、カプセル型内視鏡３３から無線送信される体腔内画像を受信する受信装置３５等を備える。受信装置３５とシーン変化検出装置３９との間の画像データの受け渡しには、例えば可搬型の記録媒体（可搬型記録媒体）３７が使用され、図１の記憶部４に相当する。

カプセル型内視鏡３３は、撮像機能や無線機能等を具備するものであり、被検体３１の口から飲み込まれて被検体３１内部に導入される。そして、カプセル型内視鏡３３は、体外に排出されるまでの間に、体腔内を蠕動運動等により移動しながら約０．５秒毎に約６００００枚もの画像を撮像し、撮像した体腔内画像を体外に無線送信する。

受信装置３５は、被検体３１内におけるカプセル型内視鏡３３の通過経路に対応する体表上の位置に分散配置される受信用アンテナＡ１〜Ａｎを備える。そして、受信装置３５は、各受信用アンテナＡ１〜Ａｎを介してカプセル型内視鏡３３から無線送信される画像データを受信する。この受信装置３５は、可搬型記録媒体３７の着脱が自在に構成されており、受信した画像データを可搬型記録媒体３７に逐次保存する。このようにして、カプセル型内視鏡３３が撮像した被検体３１内部の体腔内画像は、受信装置３５によって撮像順に可搬型記録媒体３７に蓄積され、画像列として保存される。

そして、シーン変化検出装置３９は、可搬型記録媒体３７の着脱が自在に構成されており、受信装置３５によって受信されて可搬型記録媒体３７に保存された体腔内画像の画像列を処理し、ＬＣＤやＥＬＤ等のディスプレイに撮像順に順次表示する。ここで、シーン変化検出装置３９は、実施の形態１，２のシーン変化検出装置と同様にして体腔内画像の画像列からシーン変化位置を検出し、シーン変化画像列を生成する。

ここで、体腔内におけるカプセル型内視鏡３３の移動速度は一定ではなく、撮像される画像の時系列変化は様々である。このため、処理対象の体腔内画像の画像列では、類似する画像が連続するといった事態が発生し得る。一方で、カプセル型内視鏡３３が撮像した膨大な枚数の体腔内画像を全て表示すると、医師等の観察者は、約６００００枚にも及ぶ膨大な枚数の画像を観察するために多くの時間を費やさなければならず、負担が大きい。以上のことから、各体腔内画像を処理することによって画像列におけるシーン変化位置を検出してシーン変化画像列を生成することは、類似する画像を表示するという冗長度を減少させ、画像列のおおまかな全体像を効率的に観察できるので、観察者の負担を軽減するという観点で有効である。

このカプセル型内視鏡システムによれば、カプセル型内視鏡３３が撮像した膨大な枚数の体腔内画像の画像列からシーン変化位置を適切に検出することができるので、観察者による観察効率を向上させることができ、効率的な診断支援が実現できる。特にカプセル型内視鏡３３が撮像した体腔内画像には、動きパターンに分類できない画像が多く含まれる。このため、実施の形態２で説明したようにパターン分類できない画像について画像間の画像変化を検出することが重要であり、このカプセル型内視鏡システムに実施の形態２のシーン検出装置を適用することによって、シーン変化位置をより適切に検出できる。

なお、カプセル型内視鏡が撮像した体腔内画像の画像列を処理する場合以外にも、シーン変化のある画像列からシーン変化位置を検出し、シーン変化の大きい画像を表示する場合に好適に適用できる。

実施の形態１のシーン変化検出装置の機能構成例を示すブロック図である。 実施の形態１のシーン変化検出装置が行う処理手順を示すフローチャートである。 動きパターンが「平行移動」にパターン分類される画像内の動きベクトル群を示す図である。 動きパターンが「撮像対象から遠ざかる動き」にパターン分類される動きベクトル群を示す図である。 動きパターンが「撮像対象が近づく動き」にパターン分類される動きベクトル群を示す図である。 動きパターンが「平行移動」にパターン分類された撮像順が隣接する４枚の画像の一例を示す模式図である。 動きパターンが「撮像対象が遠ざかる動き」にパターン分類された撮像順が隣接する４枚の画像の一例を示す模式図である。 動きパターンが「撮像対象が近づく動き」にパターン分類された撮像順が隣接する４枚の画像の一例を示す模式図である。 シーン変化画像が検出された画像列の一例を示す模式図である。 実施の形態２のシーン変化検出装置が行う処理手順を示すフローチャートである。 実施の形態を適用したコンピュータシステムの構成を示すシステム構成図である。 図１１のコンピュータシステムにおける本体部の構成を示すブロック図である。 シーン変化検出装置を備えたカプセル型内視鏡システムを模式的に示す構成図である。

１ シーン変化検出装置
２ 入力部
３ 表示部
４ 記憶部
４１ シーン変化検出プログラム
５ 処理部
５１ 画像読込部
５２ 動きベクトル検出部
５３ 動きベクトル分類処理部
５４ 分類別画像変化検出部
５５ 分類別シーン変化検出部
５６ 全体シーン変化検出部

Claims (11)

1. 複数の画像で構成される画像列からシーン変化位置を検出するシーン変化検出装置であって、
   前記画像内の複数の位置において他の画像との間の動きベクトルを検出する動きベクトル検出手段と、
   前記画像内で検出された複数の動きベクトルをもとに、前記画像を所定の動きパターンにパターン分類するパターン分類手段と、
   前記各パターン分類内における前記画像間の画像変化を前記パターン分類毎に検出する分類別画像変化検出手段と、
   前記各パターン分類内における画像間の画像変化をもとに、前記各パターン分類内におけるシーン変化を前記パターン分類毎に検出する分類別シーン変化検出手段と、
   を備え、
   予め前記パターン分類に応じて重み情報が設定され、
   前記分類別シーン変化検出手段は、前記各パターン分類内における画像間の画像変化に対し、対応するパターン分類の重み情報を統合して前記各パターン分類内におけるシーン変化を検出することを特徴とするシーン変化検出装置。
2. 予め前記パターン分類毎に検出条件が設定されており、
   前記分類別シーン変化検出手段は、前記各パターン分類内における画像間の画像変化が対応するパターン分類の検出条件を満たすか否かによって、前記各パターン分類内におけるシーン変化を検出することを特徴とする請求項１に記載のシーン変化検出装置。
3. 前記検出条件は、前記パターン分類毎の閾値を定義したものであり、
   前記分類別画像変化検出手段は、前記画像内で検出された前記複数の動きベクトルに基づく１つまたは複数のパラメータ値から前記画像の画像変化量を算出し、
   前記分類別シーン変化検出手段は、前記各パターン分類内の各画像の前記画像変化量を対応するパターン分類の閾値で閾値処理し、シーン変化画像を抽出することを特徴とする請求項２に記載のシーン変化検出装置。
4. 前記検出条件は、前記パターン分類毎のシーン変化数を定義したものであり、
   前記分類別シーン変化検出手段は、前記各パターン分類内の各画像から、対応するパターン分類のシーン変化数に従ってシーン変化画像を抽出することを特徴とする請求項２に記載のシーン変化検出装置。
5. 前記重み情報または前記検出条件は、予め前記パターン分類に定められる重要度を加味して設定されることを特徴とする請求項１〜４のいずれか１つに記載のシーン変化検出装置。
6. 前記パターン分類手段は、前記画像内で検出された前記複数の動きベクトルの統計データまたはばらつきをもとに、前記画像を平行移動、撮像対象が遠ざかる動きまたは撮像対象が近づく動きを含む動きパターンにパターン分類することを特徴とする請求項１〜５のいずれか１つに記載のシーン変化検出装置。
7. 前記分類別画像変化検出手段は、予め前記パターン分類毎に定義された分類別画像変化検出処理を対応するパターン分類にそれぞれ適用することによって、前記各パターン分類内における画像間の画像変化を検出することを特徴とする請求項１〜６のいずれか１つに記載のシーン変化検出装置。
8. 前記パターン分類毎に検出されたシーン変化をもとに、前記画像列のシーン変化位置を検出するシーン変化位置検出手段を備えることを特徴とする請求項１〜７のいずれか１つに記載のシーン変化検出装置。
9. 前記画像列は、被検体の体腔内に導入されるカプセル型内視鏡によって撮像された体腔内画像の画像列であることを特徴とする請求項１〜８のいずれか１つに記載のシーン変化検出装置。
10. 複数の画像で構成される画像列からシーン変化位置を検出するシーン変化検出装置に、
    前記画像内の複数の位置において他の画像との間の動きベクトルを検出する動きベクトル検出手順と、
    前記画像内で検出された複数の動きベクトルをもとに、前記画像を所定の動きパターンにパターン分類するパターン分類手順と、
    前記各パターン分類内における前記画像間の画像変化を前記パターン分類毎に検出する分類別画像変化検出手順と、
    前記各パターン分類内における画像間の画像変化をもとに、前記各パターン分類内におけるシーン変化を前記パターン分類毎に検出する分類別シーン変化検出手順と、
    を実行させ、
    予め前記パターン分類に応じて重み情報が設定され、
    前記分類別シーン変化検出手順は、前記各パターン分類内における画像間の画像変化に対し、対応するパターン分類の重み情報を統合して前記各パターン分類内におけるシーン変化を検出することを特徴とするシーン変化検出プログラム。
11. 複数の画像で構成される画像列からシーン変化位置を検出するシーン変化検出方法であって、
    前記画像内の複数の位置において他の画像との間の動きベクトルを検出する動きベクトル検出ステップと、
    前記画像内で検出された複数の動きベクトルをもとに、前記画像を所定の動きパターンにパターン分類するパターン分類ステップと、
    前記各パターン分類内における前記画像間の画像変化を前記パターン分類毎に検出する分類別画像変化検出ステップと、
    前記各パターン分類内における画像間の画像変化をもとに、前記各パターン分類内におけるシーン変化を前記パターン分類毎に検出する分類別シーン変化検出ステップと、
    を含み、
    予め前記パターン分類に応じて重み情報が設定され、
    前記分類別シーン変化検出ステップは、前記各パターン分類内における画像間の画像変化に対し、対応するパターン分類の重み情報を統合して前記各パターン分類内におけるシーン変化を検出することを特徴とするシーン変化検出方法。

Images