JP4453768B2 - 情報処理装置および方法、並びにプログラム - Google Patents

Description

本発明は、情報処理装置および方法、並びにプログラムに関し、特に、探索処理のデータ変化に対するロバスト性を向上させることができることができるようにした情報処理装置および方法、並びにプログラムに関する。

従来、画像の特徴に基づいて、動画像の中から所望のフレーム画像を探索する画像フレーム探索技術がある（例えば、特許文献１参照）。そのようなフレーム探索を行う情報処理装置は、例えば、探索元となる所望のフレーム画像の特徴を、予め蓄積されている、探索先となる動画像データの中の各フレーム画像の特徴と比較し、所望のフレーム画像の特徴と一致する特徴を有するフレーム画像を探索結果とする。

特開２００７−２３５３７４号公報

しかしながら、このような探索は、画像データより得られる特徴量に基づいて行われるため、探索元のフレーム画像と探索先のフレーム画像の、データとしての素姓が互いに同一である必要があった。つまり、探索元のフレーム画像と、データとして１ビットの狂いもなく完全に一致するフレーム画像が探索先の動画像データに存在する必要があった。そのため、例えば、特許文献１に記載のように、探索先の画像データと同一の画像データを探索元とする場合であっても、探索先の画像データに対してノイズ成分の重畳や画質調整等が施されると、探索時に探索元と探索先とで画像データが互いに一致せず、探索が失敗してしまう恐れがあった。

そこで、例えば、探索元のフレーム画像の特徴に最も近似するフレーム画像を探索する方法も考えられる。しかしながら、信号劣化や画質調整等によるデータ変化によってフレーム画像の特徴も変化する恐れがある。つまり、その特徴の変化によって、探索元のフレーム画像と本来同一であったフレーム画像よりも他のフレーム画像の特徴量の方が探索元のフレーム画像の特徴量に近似してしまい、正確に探索を行うことができない恐れがあった。

本発明はこのような問題を解決するためのものであり、探索処理の、ノイズ成分の重畳や画像処理等のデータ変化に対するロバスト性を向上させ、より安定的かつ正確に探索を行うことができるようにするものである。

本発明の一側面は、探索元となるフレーム画像である探索元フレーム、および、探索先となる動画像データのフレーム画像である探索先フレームのそれぞれより、各画像の特徴を示すパラメータである特徴量を複数抽出する抽出手段と、前記抽出手段により抽出された前記探索元フレームの特徴量群の各特徴量の値の信頼性を判定する信頼性判定手段と、前記探索元フレームの特徴量群の、前記信頼性判定手段により値の信頼性が低いと判定された特徴量の値と、全ての前記探索先フレームの特徴量群の、前記信頼性判定手段により値の信頼性が低いと判定された特徴量に対応する特徴量の値を、所定の値に変換する変換手段と、前記変換手段により値が変換された前記探索元フレームの特徴量群および前記全ての探索先フレームの特徴量群について、各特徴量の値を比較する比較手段と、前記比較手段による比較の結果に基づいて、前記探索元フレームに一致する探索解フレームを決定する決定手段とを備える情報処理装置である。

前記抽出手段は、画像の特徴を示す値を所定の閾値に基づいて２値に正規化した値を前記特徴量とし、前記信頼性判定手段は、正規化前の前記画像の特徴を示す値が、前記閾値を中心とする所定の範囲内に含まれる場合、前記特徴量の値の信頼性が低いと判定することができる。

前記閾値は、正規化前の前記画像の特徴を示す値の最大値と最小値の中間値であるようにすることができる。

前記変換手段は、前記探索元フレームの特徴量群の、前記信頼性判定手段により値の信頼性が低いと判定された特徴量の値と、全ての前記探索先フレームの特徴量群の、前記信頼性判定手段により値の信頼性が低いと判定された特徴量に対応する特徴量の値を、前記２値のいずれか一方に変換することができる。

前記抽出手段は、前記探索元フレーム、および、全ての前記探索先フレームのそれぞれより、互いに異なる種類の特徴量により構成される複数の特徴量群を抽出し、前記信頼性判定手段は、前記抽出手段により抽出された前記複数の特徴量群のそれぞれについて、各特徴量の値の信頼性を判定し、前記変換手段は、前記複数の特徴量群のそれぞれについて、前記信頼性判定手段により値の信頼性が低いと判定された特徴量の値、または、前記信頼性が低いと判定された特徴量に対応する特徴量を全て変換し、前記比較手段は、前記複数の特徴量群のそれぞれについて比較を行い、前記決定手段は、前記複数の特徴量群の各比較の結果、全ての種類において前記探索元フレームに一致するとされたフレームを、前記探索解フレームに決定することができる。

前記抽出手段は、第１の特徴量として、画像全体を複数に分割したブロック毎の輝度値の統計量のベクトルを抽出し、第２の特徴量として、前記ブロック毎の、前記輝度値の、連続する２フレーム間の差分の絶対値の統計量のベクトルを抽出することができる。

前記抽出手段は、第３の特徴量として、前記ブロック毎の、前記連続する２フレーム間の輝度値の差分の絶対値の統計量の、連続する２フレーム間の差分の絶対値の統計量のベクトルをさらに抽出することができる。

本発明の一側面は、また、抽出手段は、探索元となるフレーム画像である探索元フレーム、および、探索先となる動画像データのフレーム画像である探索先フレームのそれぞれより、各画像の特徴を示すパラメータである特徴量を複数抽出し、信頼性判定手段は、前記抽出手段により抽出された前記探索元フレームの特徴量群の各特徴量の値の信頼性を判定し、変換手段は、前記探索元フレームの特徴量群の、前記信頼性判定手段により値の信頼性が低いと判定された特徴量の値と、全ての前記探索先フレームの特徴量群の、前記信頼性判定手段により値の信頼性が低いと判定された特徴量に対応する特徴量の値を、所定の値に変換し、比較手段は、前記変換手段により値が変換された前記探索元フレームの特徴量群および前記全ての探索先フレームの特徴量群について、各特徴量の値を比較し、決定手段は、前記比較手段による比較の結果に基づいて、前記探索元フレームに一致する探索解フレームを決定する情報処理方法である。

本発明の一側面は、さらに、コンピュータを、探索元となるフレーム画像である探索元フレーム、および、探索先となる動画像データのフレーム画像である探索先フレームのそれぞれより、各画像の特徴を示すパラメータである特徴量を複数抽出する抽出手段、前記抽出手段により抽出された前記探索元フレームの特徴量群の各特徴量の値の信頼性を判定する信頼性判定手段、前記探索元フレームの特徴量群の、前記信頼性判定手段により値の信頼性が低いと判定された特徴量の値と、全ての前記探索先フレームの特徴量群の、前記信頼性判定手段により値の信頼性が低いと判定された特徴量に対応する特徴量の値を、所定の値に変換する変換手段、前記変換手段により値が変換された前記探索元フレームの特徴量群および前記全ての探索先フレームの特徴量群について、各特徴量の値を比較する比較手段、前記比較手段による比較の結果に基づいて、前記探索元フレームに一致する探索解フレームを決定する決定手段として機能させるためのプログラムである。

本発明の一側面においては、探索元となるフレーム画像である探索元フレーム、および、探索先となる動画像データのフレーム画像である探索先フレームのそれぞれより、各画像の特徴を示すパラメータである特徴量が複数抽出され、抽出された探索元フレームの特徴量群の各特徴量の値の信頼性が判定され、探索元フレームの特徴量群の、値の信頼性が低いと判定された特徴量の値と、全ての探索先フレームの特徴量群の、値の信頼性が低いと判定された特徴量に対応する特徴量の値が、所定の値に変換され、値が変換された探索元フレームの特徴量群および全ての探索先フレームの特徴量群について、各特徴量の値が比較され、その比較の結果に基づいて、探索元フレームに一致する探索解フレームが決定される。

本発明によれば、探索処理を行うことができる。特に、探索処理のデータ変化に対するロバスト性を向上させることができる。

図１は、本発明を適用したフレーム探索装置の主な構成例を示すブロック図である。図１に示されるフレーム探索装置１００は、探索先の動画像の中から、探索元のフレーム画像に一致するフレーム画像を探索する装置である。フレーム探索装置１００は、探索元と探索先とでフレーム画像の特徴を比較することにより、探索元に一致するフレーム画像の探索を行う。

画像には、絵柄だけでなく、明度、色合い、シャープネス、ノイズ度等、様々なパラメータが存在するため、一般的に画像を単一基準で正当に評価することは困難である。また、動画像の場合、絵柄が同一のフレーム画像が複数存在することもあり、複数のフレーム画像が探索元のフレーム画像と一致する恐れもある。そこで、フレーム探索装置１００は、より正確にフレーム画像の探索を行うために、複数の特徴量を比較する。

また、信号劣化や画質調整処理等のデータ変化によりフレーム画像の特徴が変化している場合、一致判定が不正確になる恐れがある。そこで、フレーム探索装置１００は、算出したフレーム画像の特徴の信頼性判定を行い、信号劣化や画質調整処理等のデータ変化による影響を受けた可能性の低い特徴量データを用いてフレーム探索を行う。

なお、以下において、動画像をプログレッシブ方式とし、フレーム画像単位で処理するように説明するが、インタレース方式の動画像をフィールド単位で処理するようにしてももちろんよい。その場合、フレーム画像をフィールド画像に置き換えることにより、以下の説明を適用することができる。

まず、構成について説明する。図１に示されるように、フレーム探索装置１００は、探索先とする動画像データより各フレーム画像の特徴量を抽出する探索先特徴量抽出処理部１０１と、フレーム画像の探索を行う探索処理部１０２を有する。

探索先特徴量抽出処理部１０１は、探索先動画像データ保持部１１１、探索先フレーム選択部１１２、探索先特徴量計算部１１３、および探索先特徴量データ保持部１１４を有する。

探索先動画像データ保持部１１１は、例えばハードディスクやフラッシュメモリ等の記憶媒体を有し、フレーム画像の探索先（探索元のフレーム画像と一致するフレーム画像の探索対象）とする動画像データである探索先動画像データを保持する。探索先フレーム選択部１１２は、探索先動画像データ保持部１１１に保持されている探索先動画像データより、特徴量を抽出するフレーム画像を選択する。探索先動画像データ保持部１１１は、探索先フレーム選択部１１２により選択されたフレーム画像の画像データを探索先特徴量計算部１１３に供給する。

探索先特徴量計算部１１３は、Ｎ個（Ｎは自然数）の特徴量計算部（特徴量１計算部１１３−１、特徴量２計算部１１３−２、・・・、特徴量Ｎ計算部１１３−Ｎ）を有し、それぞれにおいて、入力されたフレーム画像について、互いに異なる特徴量を計算する。つまり、特徴量１計算部１１３−１は、フレーム画像の所定の特徴量１を計算し、特徴量２計算部１１３−２は、特徴量１とは異なるフレーム画像の所定の特徴量２を計算し、特徴量Ｎ計算部１１３−Ｎは、特徴量１および特徴量２とは異なるフレーム画像の所定の特徴量Ｎを計算する。探索先特徴量計算部１１３は、以上のように算出されたＮ個の特徴量を、探索先特徴量データ保持部１１４に供給する。

つまり、探索先特徴量計算部１１３は、１つ以上の特徴量を算出する。なお、探索先特徴量計算部１１３が算出する特徴量の種類数は任意であり、１つでもよいし、複数でもよい。ただし、一般的には、探索先特徴量計算部１１３がより多くの種類の特徴量を算出する方が、フレーム探索装置１００は、そのより多くの特徴量を用いて探索を行うことができ、より正確はフレーム探索を行うことができる。ただし、その分特徴量計算の負荷が増大するので、不要な特徴量の算出は望ましくない。

探索先特徴量データ保持部１１４は、例えばハードディスクやフラッシュメモリ等の記憶媒体を有し、供給されたＮ個の特徴量を、対応するフレーム画像毎に保持する。

探索処理部１０２は、探索元画像フレーム保持部１２１、探索元特徴量計算部１２２、探索元特徴量データ保持部１２３、特徴量計算データ保持部１２４、信頼性判定部１３１、信頼性データ保持部１３２、探索元特徴量変換部１３３、探索元特徴量変換データ保持部１３４、探索先フレーム選択部１３５、探索先特徴量変換部１３６、探索先特徴量変換データ保持部１３７、探索先フレーム選択部１４１、特徴量比較部１４２、比較結果保持部１４３、探索解フレーム決定部１４４、および最終出力部１４５を有する。

探索元画像フレーム保持部１２１は、例えばハードディスクやフラッシュメモリ等の記憶媒体を有し、探索元とするフレーム画像のデータを保持する。探索元（探索するもの）は１枚のフレーム画像であるので、探索元画像フレーム保持部１２１は、少なくともその探索元とするフレーム画像のデータを保持すればよい。

ただし、以下においては、探索先の動画像データを、信号劣化によるノイズ成分が重畳されたり画質調整が施されたりしたデータとし、探索元のフレーム画像を、そのノイズ成分の重畳や画質調整を含む前の動画像データより抽出されたフレーム画像とする。つまり、探索元画像フレーム保持部１２１は動画像データを保持する。その動画像データより抽出されたフレーム画像が探索元のフレーム画像とされる。なお、このとき探索先動画像データ保持部１１１は、探索元画像フレーム保持部１２１が保持する動画像データにノイズ成分が重畳されたり画質調整が施されたりした動画像データを、探索先動画像データとして保持する。

探索元画像フレーム保持部１２１は、必要に応じて、保持する動画像データより、探索元のフレーム画像を抽出し、探索元特徴量計算部１２２に供給する。

探索元特徴量計算部１２２は、探索先特徴量計算部１１３が算出する特徴量と同種の特徴量を算出する。つまり、探索元特徴量計算部１２２は、Ｎ個（Ｎは自然数）の特徴量計算部（特徴量１計算部１２２−１、特徴量２計算部１２２−２、・・・、特徴量Ｎ計算部１２２−Ｎ）を有し、それぞれにおいて、入力された探索元のフレーム画像について、互いに異なる特徴量を計算する。

特徴量１計算部１２２−１は、特徴量１計算部１１３−１に対応し、特徴量１を計算する。特徴量２計算部１２２−２は、特徴量２計算部１１３−２に対応し、特徴量２を計算する。特徴量Ｎ計算部１２２−Ｎは、特徴量Ｎ計算部１１３−Ｎに対応し、特徴量Ｎを計算する。探索元特徴量計算部１２２は、以上のように算出されたＮ個の特徴量を、探索元特徴量データ保持部１２３に供給する。

探索元特徴量データ保持部１２３は、例えばハードディスクやフラッシュメモリ等の記憶媒体を有し、供給されたＮ個の特徴量を保持し、必要に応じて探索元特徴量変換部１３３に供給する。

特徴量計算データ保持部１２４は、探索元特徴量計算部１２２における特徴量の計算において得られる中間値である特徴量計算データを取得して保持し、必要に応じてその特徴量計算データを信頼性判定部１３１に供給する。

信頼性判定部１３１は、探索元特徴量計算部１２２において行われた計算内容等を示す特徴量計算データを特徴量計算データ保持部１２４より取得し、その特徴量計算データに基づいて、探索元特徴量データ保持部１２３に保持される、探索元のフレーム画像の特徴量が信頼できるものであるか否かを判定し、その判定結果を信頼性データとして信頼性データ保持部１３２に供給する。信頼性データ保持部１３２は、例えばハードディスクやフラッシュメモリ等の記憶媒体を有し、供給された信頼性データを保持し、必要に応じて探索元特徴量変換部１３３および探索先特徴量変換部１３６に供給する。

探索元特徴量変換部１３３は、探索元特徴量データ保持部１２３に保持されている探索元のフレーム画像の特徴量を取得し、信頼性データ保持部１３２より取得した信頼性データの内容に応じて、各特徴量を信頼性のあるデータに変換し、変換後の特徴量を探索元特徴量変換データ保持部１３４に供給する。

探索元特徴量変換データ保持部１３４は、例えばハードディスクやフラッシュメモリ等の記憶媒体を有し、供給されたＮ個の変換後の特徴量を保持し、必要に応じて特徴量比較部１４２に供給する。

探索先フレーム選択部１３５は、探索先特徴量データ保持部１１４に保持されている特徴量をフレーム画像毎に選択する。探索先特徴量データ保持部１１４は、探索先フレーム選択部１３５により選択されたフレーム画像の特徴量を全て探索先特徴量変換部１３６に供給する。

探索先特徴量変換部１３６は、探索先特徴量データ保持部１１４より取得した探索先のフレーム画像の特徴量を取得し、信頼性データ保持部１３２より取得した信頼性データの内容に応じて、各特徴量を信頼性の高いデータに変換し、変換後の特徴量を探索先特徴量変換データ保持部１３７に供給する。

探索先特徴量変換データ保持部１３７は、例えばハードディスクやフラッシュメモリ等の記憶媒体を有し、供給されたＮ個の変換後の特徴量を保持し、必要に応じて、探索先フレーム選択部１４１に選択されたフレームの特徴量を特徴量比較部１４２に供給する。

特徴量比較部１４２は、探索元特徴量変換データ保持部１３４と探索先特徴量変換データ保持部１３７より取得した特徴量変換データを比較し、その比較結果を比較結果保持部１４３に出力する。

比較結果保持部１４３は、例えばハードディスクやフラッシュメモリ等の記憶媒体を有し、供給された比較結果を保持し、必要に応じて、探索解フレーム決定部１４４に供給する。

探索解フレーム決定部１４４は、比較結果保持部１４３より特徴量の比較結果を取得し、その比較結果に基づいて画像フレームマッチングの結果である探索解フレームを決定する。探索解フレームとして１つのフレーム画像が決定された場合、探索解フレーム決定部１４４は、その旨を最終出力部１４５に通知する。最終出力部１４５は、探索解フレームに決定されたフレーム画像の情報をフレーム探索装置１００の外部に出力する。

また、探索解フレームを決定することができなかった場合、つまり、探索解フレームを１つのフレーム画像に絞り込めなかった場合、または、探索解フレームに該当するフレーム画像が存在しなかった場合、探索解フレーム決定部１４４は、その旨を信頼性判定部１３１に通知する。信頼性判定部１３１は、その情報に基づいて信頼性の判定基準を調整する。この調整の詳細については後述する。

なお、以上に説明した、探索先フレーム選択部１１２、探索先フレーム選択部１３５、探索先フレーム選択部１４１、および最終出力部１４５をまとめて全体制御部１６１と称する。また、探索先動画像データ保持部１１１、探索先特徴量計算部１１３、探索先特徴量データ保持部１１４、探索元画像フレーム保持部１２１、探索元特徴量計算部１２２、探索元特徴量データ保持部１２３、および特徴量計算データ保持部１２４をまとめて抽出処理部１６２と称する。さらに、信頼性判定部１３１、信頼性データ保持部１３２、探索元特徴量変換部１３３、探索元特徴量変換データ保持部１３４、探索先特徴量変換部１３６、および探索先特徴量変換データ保持部１３７をまとめて変換処理部１６３と称する。また、特徴量比較部１４２、比較結果保持部１４３、および探索解フレーム決定部１４４をまとめて比較処理部１６４と称する。

次に、処理の流れについて説明する。最初に、探索先特徴量抽出処理部１０１による探索先特徴量抽出処理の流れの例を図２のフローチャートを参照して説明する。探索先特徴量抽出処理は、例えばユーザの指示等に基づいて、探索元と探索先を比較する探索処理とは別に、その探索処理よりも前に開始される。

探索先特徴量抽出処理が開始されると、探索先フレーム選択部１１２は、ステップＳ１０１において、探索先動画像データ保持部１１１に保持されている動画像データのフレーム画像であり、探索先とされるフレーム画像である探索先フレームを全て処理したか否かを判定する。未処理の探索先フレームが存在すると判定した場合、探索先フレーム選択部１１２は、ステップＳ１０２において、その動画像データの中から探索先フレームとするフレーム画像を選択する。基本的に、探索先フレーム選択部１１２は、動画像の時系列順にフレーム画像を探索先フレームとして選択するが、その選択順は任意でありこれ以外であってもよい。

探索先フレームが選択されると、探索先特徴量計算部１１３は、ステップＳ１０３において、探索先フレームを取得し、ステップＳ１０４において、その探索先フレームのＮ個の特徴量を抽出する。ステップＳ１０５において、探索先特徴量データ保持部１１４は、その抽出されたＮ個の特徴量を、フレーム画像毎に保存し管理する。

ステップＳ１０５の処理が終了すると、処理はステップＳ１０１に戻される。以上のようにステップＳ１０１乃至ステップＳ１０５の各処理が繰り返され、探索先動画像データ保持部１１１に保持される動画像データの各フレーム画像について実行され、各フレーム画像の特徴量が抽出され、探索先特徴量データ保持部１１４に蓄積される。

以上のように処理が繰り返され、ステップＳ１０１において、全ての探索先フレームを処理したと判定された場合、探索先フレーム選択部１１２は、探索先特徴量抽出処理を終了する。

以上のようにして、探索先特徴量抽出処理部１０１は、探索先のフレーム画像の特徴量を抽出することができる。

次に、図１の探索処理部１０２により実行される探索処理の流れの例を図３のフローチャートを参照して説明する。探索処理は、例えば、ユーザが探索元とするフレーム画像を選択することにより開始される。

探索元フレーム画像が決定し、探索処理が開始されると、探索元特徴量計算部１２２は、ステップＳ１２１において、ユーザ等が探索元フレーム画像に選択したフレーム画像を探索元画像フレーム保持部１２１より取得し、ステップＳ１２２において、その探索元フレーム画像よりＮ個の特徴量（特徴量データ）を抽出する。また、探索元特徴量計算部１２２は、特徴量計算の途中のデータである特徴量計算データも抽出する。

ステップＳ１２３において、探索元特徴量データ保持部１２３は、抽出された特徴量データを保持（記録）する。ステップＳ１２４において、特徴量計算データ保持部１２４は、抽出された特徴量計算データを保持（記録）する。

ステップＳ１２４の処理が終了すると処理はステップＳ１３１に進められ、各特徴量の信号劣化等に対する信頼性の判定に関する処理が行われる。

ステップＳ１３１において、特徴量計算データ保持部１２４は、保持していた特徴量計算データを所定のタイミングで出力し、信頼性判定部１３１に供給する。ステップＳ１３２において、信頼性判定部１３１は、特徴量（特徴量計算データ）毎に、信号劣化等に対する信頼性の有無を区別するための閾値を設定する。このとき信頼性判定部１３１は、その特徴量計算データに対する信頼性判定が２回目以降の場合、探索解フレームの決定結果を、閾値の設定に反映させる。

ステップＳ１３３において、信頼性判定部１３１は、特徴量計算データを用いて抽出された特徴量（特徴量データの値）の、信号劣化等に対する信頼性が十分であるか否かを判定する信頼性判定を行う。ステップＳ１３４において、信頼性データ保持部１３２は、その判定結果である信頼性データを保持（記録）する。

ステップＳ１３４の処理が終了されると、処理はステップＳ１４１に進められ、信頼性判定結果に基づく探索元の特徴量データの補正に関する処理が行われる。

ステップＳ１４１において、探索元特徴量変換部１３３は、探索元特徴量データ保持部１２３より探索元フレーム画像の特徴量データを取得し、さらに、信頼性データ保持部１３２よりその探索元フレーム画像に対応する信頼性データを取得する。ステップＳ１４２において、探索元特徴量変換部１３３は、信頼性データを用いて探索元フレーム画像の特徴量データを、信号劣化等に対するロバスト性が高まるように値を変換する。

探索元特徴量変換データ保持部１３４は、ステップＳ１４３において、その変換結果である特徴量変換データ（特徴量１変換データ、特徴量２変換データ、・・・、特徴量Ｎ変換データ）を保持（記録）する。

ステップＳ１４３の処理が終了されると、処理はステップＳ１４４に進められ、信頼性判定結果に基づく探索先の特徴量データの補正に関する処理が行われる。

ステップＳ１４４において、探索先フレーム選択部１３５は、全ての探索先フレームの特徴量データを変換したか否かを判定し、未処理の特徴量データが存在すると判定した場合、処理をステップＳ１４５に進め、探索先フレームを選択する。探索先特徴量変換部１３６は、ステップＳ１４６において、探索先特徴量データ保持部１１４より探索先フレーム画像の特徴量データを取得し、さらに、信頼性データ保持部１３２よりその探索元フレーム画像に対応する信頼性データを取得する。ステップＳ１４７において、探索先特徴量変換部１３６は、信頼性データを用いて探索先フレーム画像の特徴量データを、信号劣化等に対するロバスト性が高まるように値を変換する。

探索先特徴量変換データ保持部１３７は、ステップＳ１４８において、その変換結果である特徴量変換データ（特徴量１変換データ、特徴量２変換データ、・・・、特徴量Ｎ変換データ）を保持（記録）する。以上のステップＳ１４４乃至ステップＳ１４８の各処理が繰り返し実行されることにより、各フレーム画像の特徴量データが処理される。

ステップＳ１４４において、全ての探索先フレームを変換したと判定された場合、処理は、ステップＳ１５１に進められ、探索元と探索先とで特徴量の比較が行われる。

ステップＳ１５１において、探索先フレーム選択部１４１は、全ての探索先フレームの比較を行ったか否かを判定し、未処理の探索先フレームが存在すると判定した場合、処理をステップＳ１５２に進め、探索先フレームを選択する。特徴量比較部１４２は、ステップＳ１５３において、探索元特徴量変換データ保持部１３４より探索元フレームの特徴量変換データを取得し、探索先特徴量変換データ保持部１３７より探索先フレームの特徴量変換データを取得する。

特徴量比較部１４２は、さらに、ステップＳ１５４において、探索元と探索先の特徴量（特徴量変換データの値）を比較する。ステップＳ１５５において、比較結果保持部１４３は、その比較結果を取得して保持することにより、保持している比較結果を更新する。ステップＳ１５５の処理が終了されると、処理は、ステップＳ１５１に戻される。

つまり、ステップＳ１５１乃至ステップＳ１５４の各処理が繰り返し実行されることにより、探索元フレームと各探索先フレームの比較が行われる。そして、ステップＳ１５１において、全ての探索先フレームの比較が終了したと判定された場合、処理はステップＳ１５６に進められる。

ステップＳ１５６において、探索解フレーム決定部１４４は、全ての探索先フレームの比較結果に基づいて、探索結果である探索解フレームを決定する。ステップＳ１５７において、探索解フレーム決定部１４４は、探索解が１つのフレーム画像に定まらないか否かを判定する。探索解フレームが１つのフレーム画像に定まらないと判定された場合、処理はステップＳ１３２に戻され、その探索解フレームの決定結果を反映して再度ステップＳ１３２以降の処理が繰り替えされる。

そしてステップＳ１５７において、探索解フレームが１つのフレーム画像に定まると判定された場合、処理はステップＳ１５８に進む。ステップＳ１５８において、最終出力部１４５は、決定された探索解フレームの情報を出力し、探索処理を終了する。

以上のようにすることにより探索処理部１０２は、探索元フレームと一致する探索先フレームを探索することができる。

なお、以上においては、探索先特徴量抽出処理部１０１が、探索先特徴量抽出処理を、探索処理部１０２による探索処理と独立して、その探索処理よりも前に行うように説明したが、上述した探索処理の途中において探索先特徴量抽出処理が行われるようにしてももちろんよい。その場合、例えば、ステップＳ１２４の処理により、特徴量計算データが保持された後に、図２に示される探索先特徴量抽出処理の各ステップが実行されるようにする。そして、ステップＳ１０１において全ての探索先フレームの特徴量が抽出されたと判定された場合、ステップＳ１３１に処理が進められるようにする。もちろんこれ以外のタイミングにおいて探索先特徴量抽出処理が行われるようにしてもよい。

次に、以上のような探索のより具体的な例について説明する。なお、以下において、探索先の動画像データ（探索先動画像データ）は、探索元の動画像データ（探索元動画像データ）にノイズ成分が重畳されたり、画質調整が施されたりしたものであり、元々は互いに同一のデータであるものとする。そして、探索元フレームは、その探索元動画像データ中の１枚のフレーム画像とし、探索先フレームは、探索先動画像データの一部または全部のフレーム画像とする。つまり、この場合の、フレーム探索装置１００は、探索元動画像データより所望のフレーム画像（探索元フレーム）を特定し、その探索元動画像データと元々同一であった探索先動画像データの各フレーム画像（探索先フレーム）の中から、特徴が探索元フレーム画像に一致（または近似）する探索先フレーム画像を探索する装置である。

最初に特徴量について説明する。図４は、特徴量抽出の様子を示す模式図である。ここでは、１枚のフレーム画像より３種類の特徴量（特徴量１乃至特徴量３）が求められるものとする。

特徴量１は、入力画像１フレーム（探索元フレームまたは探索先フレーム）全体が所定の数に分割されたブロック毎に算出された輝度値の総和（画素値の統計量）が正規化されたものである。つまり、例えばフレーム画像全体がＭ１個のブロックに分割されたとすると、フレーム画像全体の特徴量１は、Ｍ１個の要素よりなるベクトルとして表わすことができる。

特徴量２は、ブロック毎に算出された、入力画像２フレーム（探索元フレームまたは探索先フレーム）の間でフレーム間画素差分の絶対値が正規化されたものである。例えば、探索元フレームの特徴量２は、探索元動画像データの探索元フレーム（入力画像frameN）より時間的に１フレーム前のフレーム画像（入力画像frameN-1）と、探索元フレームとの間の画素値の差分のブロック毎の総和を、正規化したものである。つまり、例えばフレーム画像全体がＭ２個のブロックに分割されたとすると、フレーム画像全体の特徴量２は、Ｍ２個の要素よりなるベクトルとして表わすことができる。

特徴量３は、特徴量２の算出時に得られる２フレーム分(＝入力画像３フレーム分)の「正規化前の特徴量」の差分が正規化されたものである。例えば、探索元フレームの特徴量３は、探索元動画像データにおいて、探索元フレーム（入力画像frameN）とその１フレーム前のフレーム画像（入力画像frameN-1）との間の画素値の差分のブロック毎の総和と、探索元フレームの１フレーム前のフレーム画像（入力画像frameN-1）とさらにその１フレーム前のフレーム画像（入力画像frameN-2）との間の画素値の差分のブロック毎の総和の、各差分値を正規化したものである。つまり、例えばフレーム画像全体がＭ３個のブロックに分割されたとすると、フレーム画像全体の特徴量３は、Ｍ３個の要素よりなるベクトルとして表わすことができる。

以下においてはこれらの特徴量１乃至特徴量３を用いたフレーム探索について説明するが、もちろん、上述した特徴量１乃至特徴量３以外の特徴量を用いてフレーム探索するようにしてもよいし、使用する特徴量の種類の数も任意である。例えば、特徴量２および特徴量３においては、１つ前のフレームとの差分値を用いているが、１つ後のフレームとの差分値を用いるようにしてもよいし、数フレーム離れたフレームとの差分値を用いるようにしてもよい。

図５は、これらの特徴量１乃至特徴量３を用いたフレーム探索の様子の例を示す図である。図５において、一番上の段は、探索元フレームのフレーム画像（の特徴量データ）を示している。枠で囲まれたフレームＫが探索元フレームである。

また、上から２番目の段は、探索先フレームのフレーム画像（の特徴量データ）を示している。探索先フレームのうち、フレームＮが探索元フレーム（フレームＫ）に対応する（一致する）ものとする。

図５においては、説明の便宜上、各フレームを画像のように図示しているが、探索元と探索先の比較においては上述したように、各フレームの特徴量データが用いられる。

上から３段目は、特徴量１による比較結果を示しており、実線で示されるフレームが探索元フレームに一致すると判定されたフレームであり、点線で示されるフレームは、一致しないと判定されたフレームである。

この特徴量１は、フレーム画像の空間方向の輝度値の分布パターンの特徴を表わすものであり、図５に示されるように、絵柄が近いものが解となる。つまり、比較的大きめの円形状の物体が画像中央付近に表示される探索元フレーム（フレームＫ）の絵柄に近い、フレームＮ−４、フレームＮ−３、フレームＮ、およびフレームＮ＋２が解とされる。

上から４段目は、特徴量２による比較結果を示しており、実線で示されるフレームが探索元フレームに一致すると判定されたフレームであり、点線で示されるフレームは、一致しないと判定されたフレームである。

この特徴量２は、フレーム間輝度差分絶対値の空間方向の分布パターンの特徴を表わすものであり、換言すれば、輝度値の、２フレーム分の時間方向の分布パターンと空間方向の分布パターンの両方の特徴を表わすものである。したがって、この特徴量２を用いたマッチングでは、図５の一番上の段に示される探索元フレームにおける、フレームＫとその１つ前のフレームであるフレームＫ−１のように、画像の中央付近のみ差分が表われる部分が解として特定される。つまり、図５の上から４段目に示されるように、１つ前のフレームとの差分が画像の中央付近のみに表われる、フレームＮ−３、フレームＮ、フレームＮ＋２、およびフレームＮ＋５が解とされる。なお、特徴量２は、上述したように差分値の絶対値が用いて算出されるため、フレームＮ＋５（１つ前のフレームよりも円形状の物体が小さいフレーム）も解に含まれる。

一番下の段は、特徴量３による比較結果を示しており、実線で示されるフレームが探索元フレームに一致すると判定されたフレームであり、点線で示されるフレームは、一致しないと判定されたフレームである。

この特徴量３は、フレーム間輝度差分絶対値の空間方向の分布パターンの、さらに時間差分の特徴を表わすものであり、換言すれば、輝度値の、３フレーム分の時間方向の分布パターンと空間方向の分布パターンの両方の特徴を表わすものである。したがって、この特徴量３を用いたマッチングでは、図５の一番上の段に示される探索元フレームにおけるフレームＫ−２、フレームＫ−１、およびフレームＫのようなパターンで画像が変化する部分が解として特定される。つまり、図５の一番下の段に示されるように、特徴量２を用いたマッチングの解のうち、２フレーム前の画像が、円形状の物体が左上に位置する画像であるフレームＮおよびフレームＮ＋５が解とされる。なお、特徴量３においても、上述したように差分値の絶対値が利用されるため、フレームＮ＋５（１つ前のフレームよりも円形状の物体が小さいフレーム）も解に含まれる。

最終的には、以上の３つのマッチング結果を全て満たすフレームＮが探索解フレームとされる。

特徴量１は、画像劣化による画素精度の位相ずれを吸収するように空間方向にブロック化して得られる。つまり、特徴量１は、画像フレームの大まかな絵柄が似ているものを見つけるパラメータである。この特徴量１を用いたマッチングにより、所謂「シーンチェンジ」で区切られるような、おおよそ「映像コンテンツのシーン」単位またはそれに準ずる単位のように大まかな単位で解を絞り込むことができる。また、特徴量２および特徴量３を用いたマッチングでは、画像の動きとその変化の空間パターンが似ているフレームが探索される。つまり、これらのマッチングは、特徴量１で一致したフレーム画像に対して、フレーム単位の時間精度で解を求めることができる。

このような特徴量１乃至特徴量３を用いた特徴量抽出処理の流れの例を図６のフローチャートを参照して説明する。なお、以下の説明は、探索元フレームにおける特徴量抽出にも、探索先フレームにおける特徴量抽出にも適用することができる。探索元フレームにおける特徴量抽出の場合、図６に示される特徴量抽出処理は、図３のステップＳ１２２の処理に対応し、探索先フレームにおける特徴量抽出の場合、図６に示される特徴量抽出処理は、図２のステップＳ１０４の処理に対応する。以下においては、探索先フレームの特徴量抽出の場合についてのみ説明する。また、図２の探索先特徴量計算部１１３におけるＮの値を３とし、探索先特徴量計算部１１３が、特徴量１計算部１１３−１、特徴量２計算部１１３−２、および特徴量３計算部１１３−３を有するものとする。

特徴量抽出処理が開始されると、探索先特徴量計算部１１３の特徴量１計算部１１３−１は、ステップＳ２０１において、探索先フレーム全体を、所定の数のブロックに分割するブロック化を行う。例えば、特徴量１計算部１１３−１は、探索先フレーム全体（の輝度値）を、縦方向に４分割、横方向に４分割し、計１６個のブロックを生成する。

ステップＳ２０２において、特徴量１計算部１１３−１は、ブロック毎に輝度値の総和を算出し、各ブロックの特徴量１とする。なお、ここで、特徴量１計算部１１３−１が、ブロック毎の輝度値の総和以外の統計量を算出するようにしてもよい。特徴量１は、輝度値の空間的分布パターンを示すものであるので、輝度値に関するブロック毎の統計情報が得られればよい。

ステップＳ２０３において、特徴量１計算部１１３−１は、各ブロックの特徴量１の正規化を行う。この正規化については後述する。

ステップＳ２０４において、特徴量１計算部１１３−１は、正規化された各ブロックの特徴量１のベクトルをフレームの特徴量１とする。つまり、特徴量１計算部１１３−１は、フレーム全体の各ブロックの特徴量１の空間的分布パターンをベクトルで表わし、それをフレームの特徴量１とする。

フレームの特徴量１が算出されると、ステップＳ２０５において、特徴量２計算部１１３−２は、探索先フレームとその１つ前のフレームとで、同じ位置の画素同士で各画素値の差分の絶対値であるフレーム間画素差分の絶対値を算出する。

ステップＳ２０６において、特徴量２計算部１１３−２は、探索先フレーム全体（のフレーム間画素差分の絶対値）を、縦方向に４分割、横方向に４分割し、計１６個のブロックを生成する。なお、このブロックの数は任意であり、特徴量１におけるブロックと異なるようにしてもよい。

ステップＳ２０７において、特徴量２計算部１１３−２は、ブロック毎にフレーム間画素差分の絶対値の総和を算出し、各ブロックの特徴量２とする。なお、ここで、特徴量２計算部１１３−２が、ブロック毎のフレーム間画素差分の絶対値の総和以外の統計量を算出するようにしてもよい。特徴量２は、フレーム間画素差分の絶対値の空間的分布パターンを示すものであるので、フレーム間画素差分の絶対値に関するブロック毎の統計情報が得られればよい。

ステップＳ２０８において、特徴量２計算部１１３−２は、各ブロックの特徴量２の正規化を行う。この正規化については後述する。

ステップＳ２０９において、特徴量２計算部１１３−２は、正規化された各ブロックの特徴量２のベクトルをフレームの特徴量２とする。つまり、特徴量２計算部１１３−２は、フレーム全体の各ブロックの特徴量２の空間的分布パターンをベクトルで表わし、それをフレームの特徴量２とする。

ステップＳ２１０において、特徴量３計算部１１３−３は、連続する２フレームの、正規化前の各ブロックの特徴量２の差分の絶対値を算出し、各ブロックの特徴量３とする。ステップＳ２１１において、特徴量３計算部１１３−３は、各ブロックの特徴量３の正規化を行う。この正規化については後述する。

ステップＳ２１２において、特徴量３計算部１１３−３は、正規化された各ブロックの特徴量３のベクトルをフレームの特徴量３とし、特徴量抽出処理を終了する。つまり、特徴量３計算部１１３−３は、フレーム全体の各ブロックの特徴量３の空間的分布パターンをベクトルで表わし、それをフレームの特徴量３とする。

以上のようにして、探索先特徴量計算部１１３は、特徴量１乃至特徴量３をそれぞれ算出することができる。

次に、正規化方法の例について説明する。なお、正規化方法は任意であり、どのような方法を用いても良く、特徴量１乃至特徴量３のそれぞれにおける正規化方法が互いに異なるようにしてもよい。

図７は、正規化方法の例の様子を説明する図である。図７の範囲３０１付近に示されるように、最初に、フレーム全体の画素特徴量ｙ（ｉ，ｊ）がブロック化される。この画素特徴量ｙ（ｉ，ｊ）は、特徴量１であれば輝度値、特徴量２であればフレーム間輝度差分の絶対値である。なお、特徴量３の場合、各ブロックの特徴量を用いて算出されるので、ブロック化の処理は省略される。このように、ブロック化された画素特徴量ｙ（ｉ，ｊ）は、範囲３０２付近に示されるように、ブロック毎に特徴量化され、各ブロックの特徴量Pn（例えば、ブロック内の画素特徴量の総和）が算出される。次に、範囲３０３付近に示されるように、各ブロックの特徴量Pnの最大値（MaxP）および最小値（MinP）（すなわち、フレーム内の最大値および最小値）が求められ、その中間値（MaxP＋MinP）／２が算出される。そして、範囲３０４付近に示されるように、特徴量Pnの値が中間値以上の場合「１」に変換され、中間値未満の場合「０」に変換される。つまり、特徴量Pnが「０」と「１」の２値に正規化（２値化）される。以上のようにして算出された２値がブロック順に並べられたベクトルがフレームの特徴量とされる。

このような正規化処理の流れの例を図８のフローチャートを参照して説明する。なお、この正規化処理は、特徴量１乃至特徴量３のいずれの場合にも適用することができる。以下においては、特徴量１の場合（図６のステップＳ２０３）を例に説明する。

正規化処理が開始されると、特徴量１計算部１１３−１は、ステップＳ３０１において、図６のステップＳ２０２において算出された各ブロックの特徴量１の最大値および最小値、すなわち、フレーム内の最大値および最小値を特定する。最大値および最小値を求めると、特徴量１計算部１１３−１は、ステップＳ３０２において、その最大値および最小値の中間値を閾値とし、ステップＳ３０３において、中間値以上の値を持つ各ブロックの特徴量１の値を「１」に変換し、中間値より小さい値を持つ各ブロックの特徴量１の値を「０」に変換する。

各ブロックの特徴量１の正規化が終了すると、特徴量１計算部１１３−１は、正規化処理を終了し、処理を図６のステップＳ２０３に戻し、ステップＳ２０４以降の処理を実行させる。

以上のように、特徴量１計算部１１３−１は、正規化を行うことができる。なお、特徴量２計算部１１３−２も、同様に処理を行うことにより各ブロックの特徴量２の正規化を行うことができる。また、特徴量３計算部１１３−３も、同様に処理を行うことにより各ブロックの特徴量３の正規化を行うことができる。さらに、探索元特徴量計算部１２２も、同様に処理を行うことにより各ブロックの特徴量を算出することができる。

次に、信頼性判定について説明する。

図９に示されるように、探索元特徴量計算部１２２において、各ブロックの特徴量１乃至特徴量３の正規化前の値が抽出され、特徴量計算データとして、特徴量計算データ保持部１２４に保持される。なお、図９の例の場合、フレーム画像はｎ個のブロックに分割されている。特徴量計算データ保持部１２４には、各ブロックの特徴量１P(1,n)、各ブロックの特徴量２P(2,n)、および各ブロックの特徴量３P(3,n)が保持される。これらの値は、信頼性判定部１３１に供給される。

信頼性判定部１３１は、各ブロックの特徴量１P(1,n)、各ブロックの特徴量２P(2,n)、および各ブロックの特徴量３P(3,n)のそれぞれについて、最大値（MaxP1，MaxP2，MaxP3）と最小値（MinP1，MinP2，MinP3）を求め、その中間値（（MaxP1＋MinP1）／２，（MaxP2＋MinP2）／２，（MaxP3＋MinP3）／２）を閾値（Thld1，Thld2，Thld3）として算出し、さらに、その閾値を中心とする帯領域の幅を定義するパラメータである幅値（△Thld1，△Thld2，△Thld3）を求める。なお、このとき、信頼性判定部１３１は、探索解フレームの決定結果を利用して各幅値を算出する。この幅値の設定については後述する。

信頼性判定部１３１は、さらに、特徴量が、この閾値近傍の領域を示す帯領域に含まれるブロックを特徴量の値の信頼性が低いブロックとして特定し、その位置（またはブロック番号）を示すブロック位置データを判定結果（信頼性データ）として出力する。

具体的には、正規化前の各ブロックの特徴量P(m,n)が、正規化処理に用いた閾値（中間値）Thldｍに対して、以下の式（１）を満たすブロックの位置（またはブロック番号）を検出する。

｜P(m,n)−Thldｍ｜＜△Thldｍ ・・・（１）

ただし、ｍは、特徴量の番号を示し、この例においては１乃至３のいずれかの値が適用される。また、ｎは、特徴量算出の際のブロック番号である。なお、△Thldｍの値は、対象とする信号劣化の度合によって異なる。

次にこの信頼性判定結果を用いた特徴量比較について説明する。

図１０に特徴量の変換および比較の様子の例を示す。図１０に示されるように、探索元特徴量データ保持部１２３に保持される探索元フレームの各特徴量は、探索元特徴量変換部１３３において、信頼性データである上述したブロック位置データで示されるブロックの特徴量の値が変換される。図１０においては特徴量１および特徴量３の例が示されているが、このうち、下線が付加された値がブロック位置データで示されるブロックの値を示している。探索元特徴量変換部１３３は、この下線が付加された値を全て、比較対象から除外するように強制的に「０」に変換する。従って、「0011,1111,1001,1001」であった特徴量１の値は、「0000,1101,0001,1001」に変換されて探索元特徴量変換データ保持部１３４に保持される。同様に、「1000,1111,0001,1000」であった特徴量３の値は、「1000,1011,0000,1000」に変換されて探索元特徴量変換データ保持部１３４に保持される。

探索先側も同様であり、探索先特徴量変換部１３６は、探索先特徴量データ保持部１１４に保持される探索先フレームの各特徴量の、信頼性データである上述したブロック位置データで示されるブロックの特徴量の値を全て、比較対象から除外するように強制的に「０」に変換する。図１０の例の場合、「1010,1010,0101,1100」であった特徴量１の値は、「1000,1000,0001,1100」に変換されて探索先特徴量変換データ保持部１３７に保持される。同様に、「1010,1111,0000,1000」であった特徴量３の値は、「1000,1011,0000,1000」に変換されて探索先特徴量変換データ保持部１３７に保持される。

特徴量比較部１４２は、以上のようにして得られた探索元と探索先の変換後の特徴量を特徴量の種類毎に比較する。

図１１は、探索元の特徴量と探索先の特徴量を、上述した変換を行わずに比較した様子の例を示している。この探索元の画像データと探索先の画像データは元々同一のデータであるので、本来全てのブロックにおいて互いの特徴量が一致するはずであるが、実際には、信号劣化等により特徴量が変化し、図１１に示されるように、特徴量が一致しないブロックが発生する。

このとき、例えば、ブロック番号８においては、一方の特徴量が閾値Thld（最大値と最小値の中間値）より大きくなり、他方の特徴量が閾値Thldより小さくなっている。このような場合、正規化後の特徴量の値が互いに異なるようになる。元々は互いに一致するはずなので、どちらかの特徴量の正規化後の値が変化していることになる。

このように、閾値近傍においては、正規化後の値が、信号劣化等によって変化する可能性が高い。つまりこのようなブロックのデータの信頼性は低いと言える。これに対して、例えば、ブロック番号７のように閾値Thldより十分に離れているブロックの場合、信号劣化等によって特徴量が多少変化しても、閾値Thldをまたぐ可能性は低い。つまり、正規化後の値が変化する可能性は低く、そのようなブロックのデータの信頼性は高いと言える。

そこで、信頼性判定部１３１は、閾値Thldを中心とする幅（△Thld×２）の帯領域を設定し、この帯領域に含まれる特徴量、すなわち、上述した式（１）を満たす特徴量P（m,n）を、値の信頼性が低いデータとして判定する。そして、探索元特徴量変換部１３３および探索先特徴量変換部１３６は、信頼性判定部１３１により値の信頼性が低いと判定されたブロックの特徴量を強制的に「０」に設定し、特徴量比較部１４２における特徴量比較の際にそのブロックを無視する事ができるようにする。

特徴量比較部１４２は、特徴量の比較において、その変換後の値を用いることにより、そのブロックの特徴量を無条件で一致すると判定することができる。すなわち、以上のようなデータ変換により、特徴量比較部１４２は、実質的に、値の信頼性が低い特徴量を無視し、値の信頼性が高い特徴量、すなわち、帯領域の外側に位置する特徴量P（m,n）のみを比較することができる。

以上のように信頼性判定部１３１が特徴量データの信頼性判定を行い、探索元特徴量変換部１３３および探索先特徴量変換部１３６が、信頼性が低い特徴量の値を所定の値に変換することにより特徴量比較部１４２は、信頼性の高い値のデータのみを用いて特徴量の比較を行うことができ、信号劣化等に対するロバスト性を向上させた比較処理を行うことができる。つまり、フレーム探索装置１００は、探索処理のデータ変化に対するロバスト性を向上させ、信号劣化が発生したり、画質調整が行われたりした場合であっても、より安定的かつ正確に探索を行うことができる。

なお、以上においては、探索元特徴量変換部１３３および探索先特徴量変換部１３６が、信頼性が低い特徴量の値を「０」に変換するように説明したが、探索元特徴量変換部１３３および探索先特徴量変換部１３６が互いに同一の方法で変換を行う限り、どのような値に変換してもよい。例えば、「１」に変換するようにしてもよい。

また、帯領域の幅は任意であるが、以上のことから、帯幅が広いほど、すなわち、幅値△Thldmの値が大きいほど特徴量比較部１４２は、信頼性がより高いデータのみを比較することになる。これにより、探索処理の、ノイズ成分の重畳や画像処理等のデータ変化に対するロバスト性はより向上されるが、比較するデータの数が減る（すなわち、データの分解能が低減する）ので、探索結果の信頼性が低くなる。つまり、探索の正確性が低下する場合も考えられる。そこで、この幅値△Thldmの値は、探索のロバスト性と正確性の両者を考慮しながら決定するのが望ましい。

また、帯幅の設定により比較するデータ数が少なすぎる場合、特徴量比較部１４２が、例えば探索元フレームの前後の４フレーム分の特徴量を比較する等、複数のフレーム画像の特徴量を比較するようにし、比較するデータの分解能の低減を抑制し、探索の正確性を維持するようにしてもよい。

ところで、図３のフローチャートを参照して説明したように、探索解フレームが１つに決定されない場合、再度探索が行われる。このとき、信頼性判定部１３１は、探索解フレームの決定状況に基づいて、帯幅すなわち幅値△Thldmの値を調整する。帯幅すなわち幅値△Thldmの値によって、特徴量がその帯領域に含まれるブロックの数が変化する。帯領域に含まれる特徴量は、特徴量比較部１４２の比較において無条件で一致すると判定されるので、信頼性判定部１３１は、この幅値△Thldmの値を調整することにより、特徴量比較部１４２の比較における特徴量の値が一致するブロックの数（一致数）を調整することができる。

例えば、信頼性判定部１３１は、幅値△Thldmの値を大きくして帯幅を太くすることにより、特徴量比較部１４２の比較における一致数を増大させることができる。逆に、幅値△Thldmの値を小さくして帯幅を細くすることにより、信頼性判定部１３１は、特徴量比較部１４２の比較における一致数を減少させることができる。なお、探索元の特徴量と探索先の特徴量が全ブロックにおいて完全一致する場合、特徴量は、幅値△Thldmの値によって変化しないが、ここではノイズ成分の重畳や画像処理等のデータ変化に対するロバスト性の向上が目的であるので、その場合について説明は省略する。

以上に基づいて、信頼性判定部１３１は、探索解フレームとして１フレームも挙げることができない場合、帯領域の幅を広くするように幅値△Thldmの値を大きくする。より具体的には、複数の特徴量のうち、最も一致数が少ない特徴量によって探索解フレームが求まらない可能性が高いので、信頼性判定部１３１は、その特徴量の幅値△Thldmの値を大きくする。

また、探索解フレームとして複数のフレームが挙げられてしまう場合、帯領域の幅を狭くするように幅値△Thldmの値を小さくする。より具体的には、複数の特徴量のうち、最も一致数が多い特徴量によって探索解フレームが１フレームに絞り込めない可能性が高いので、信頼性判定部１３１は、その特徴量の幅値△Thldmの値を小さくする。

そして探索元特徴量変換部１３３および探索先特徴量変換部１３６は、新たな信頼性判定結果に基づいて特徴量の変換を行い、特徴量比較部１４２は、変換後の特徴量の比較を行う。探索解フレームが１つに求まるまで、信頼性判定部１３１は、以上のように幅値△Thldmの値を調整しながら、信頼性判定を繰り返し、探索元特徴量変換部１３３および探索先特徴量変換部１３６は、その新たな信頼性判定結果に基づいて特徴量の変換を繰り返し行い、特徴量比較部１４２は、その変換後の特徴量の比較を繰り返し行う。

このようにすることにより、より適切な帯幅の信頼性判定に基づいて特徴量比較を行うことができる。従って、フレーム探索装置１００は、探索処理の、ノイズ成分の重畳や画像処理等のデータ変化に対するロバスト性を向上させ、信号劣化が発生したり、画質調整が行われたりした場合であっても、より安定的かつ正確に探索を行うことができる。

ただし、幅値△Thldmの値を大きくする場合も小さくする場合も、例えばゼロ以下にできない等、閾値の変更には限度があり、また、閾値の変更を何度繰り返しても探索解が定まらない場合がある。そのような場合、信頼性判定部１３１は、信頼性判定を強制終了し、最終出力部１４５に探索解フレームが求まらない旨を出力させる。

以上のような設定処理の具体的な流れの例を図１２のフローチャートを参照して説明する。この設定処理は、図３のステップＳ１３２に対応する。

設定処理が開始されると、信頼性判定部１３１は、ステップＳ４０１において、特徴量毎に最大値と最小値を求め、閾値Thldmを設定する。ステップＳ４０２において、信頼性判定部１３１は、今回の信頼性判定が初回であるか否かを判定し、初回の信頼性判定であり、探索解フレームの決定が行われていないと判定した場合、処理をステップＳ４０３に進める。ステップＳ４０３において、信頼性判定部１３１は、各特徴量の幅値△Thldmを予め用意された所定の初期値に設定し、設定処理を終了する。

ステップＳ４０２において、信頼性判定が初回ではなく、探索解フレームの決定が行われたと判定した場合、信頼性判定部１３１は、処理をステップＳ４０４に進め、探索解フレームの決定により、探索解フレームが存在しないか否かを判定する。探索解フレームが１つも求まらず、探索解が存在しないと判定した場合、信頼性判定部１３１は、処理をステップＳ４０５に進め、帯領域の幅を拡大可能か否かを判定する。例えば帯領域の幅を変更してもその上限が特徴量の最大値より小さく下限が特徴量の最小値より大きくなるため、拡大可能であると判定した場合、信頼性判定部１３１は、処理をステップＳ４０６に進め、最も一致数の少ない特徴量の幅値を所定量大きくし、設定処理を終了する。

また、ステップＳ４０５において、例えば帯領域の幅を変更するとその上限が特徴量の最大値以上となるか、下限が特徴量の最小値以下となるため、拡大不可能であると判定した場合、信頼性判定部１３１は、処理をステップＳ４０７に進め、エラー処理を行い、最終出力部１４５に探索解フレームとして１フレームも求めることができなかった旨を出力させ、設定処理を終了する。

また、ステップＳ４０４において、探索解フレームが複数存在すると判定した場合、信頼性判定部１３１は、処理をステップＳ４０８に進め、帯領域の幅を縮小可能であるか否かを判定する。例えば帯領域の幅を縮小してもその幅がゼロ以下にならず、縮小可能であると判定した場合、信頼性判定部１３１は、処理をステップＳ４０９に進め、最も一致数の多い特徴量の幅値を所定量小さくし、設定処理を終了する。

また、ステップＳ４０８において、例えば帯領域の幅を狭くするとその幅がゼロ以下となるため、縮小不可能であると判定した場合、信頼性判定部１３１は、処理をステップＳ４１０に進め、エラー処理を行い、最終出力部１４５に探索解フレームを１フレームに絞り込むことができなかった旨を出力させ、設定処理を終了する。

なお、信頼性判定処理が所定回数以上に達した場合、信頼性判定部１３１が信頼性判定を強制終了し、ステップＳ４０７やステップＳ４１０のようなエラー処理を行うようにしてもよい。

以上のようにすることにより、信頼性判定部１３１は、帯領域を適切な幅に設定することができる。

なお、以上においては、本発明をフレーム探索装置に適用する場合について説明したが、本発明はフレーム探索装置に限らず、上述したようなフレーム探索を行う装置であれば、どのような装置にも適用することができる。

以下にその具体例として、本発明を画像処理装置に適用する場合について説明する。

本発明を適用した画像処理装置は、予め記録された画像に対して、使用者により指示された処理を施し表示する。このとき、画像処理装置は、画像の特徴量を抽出して、特徴量に対応付けて処理内容の情報を蓄積させる。さらに、画像処理装置は、予め記録された画像を再生するとき、この蓄積された処理内容の情報を読み出して、画像に処理を施し表示する。

より具体的には、画像処理装置５０２の動作は、大きく分けて記録モードと再生モードとの２つのモードからなる。

記録モードでは、図１３で示されるように、画像処理装置５０２は、例えば、DVD（Digital Versatile Disc）などの動画像を含むコンテンツが予め記録されている記録メディア５０１からDVDプレーヤなどにより再生される画像を表示部５０３に表示させる。この状態で、リモートコントローラなどが使用者などにより操作されることにより、所望とする画像への処理として、例えば、ズーム、パン、チルトなどが指示されると、画像処理装置５０２は、操作内容に対応する設定情報を生成すると供に、設定情報に対応付けられた処理を画像に施して表示部５０３に表示させる。さらに、画像処理装置５０２は、画像より特徴量を抽出し、抽出した特徴量に対応付けて設定情報を操作履歴格納部５０４に蓄積させる。

次に、再生モードでは、図１４で示されるように、画像処理装置５０２は、動画像を含むコンテンツが予め記録されている記録メディア５０１からDVDプレーヤなどにより再生される画像を読み出すと供に、特徴量を抽出する。このとき、画像処理装置５０２は、操作履歴格納部５０４に特徴量に対応付けられて記録されている設定情報を、記録メディア５０１から読み出した画像の特徴量に同期して読み出すと供に、読み出した設定情報に基づいて、画像に処理を施し、表示部５０３に表示させる。

以上のような動作により、画像処理装置５０２は、予め記録された画像に対する処理内容のみを蓄積して、処理結果である画像を記録することなく、処理結果である画像を繰り返し再生できるようにすることができる。結果として、コピーワンス（Copy Once）制限などの複製回数に制限があるような予め記録された画像に対して、様々な画像処理を加えると言った加工処理を繰り返すことが可能となる。

図１５は、図１３および図１４に示される画像処理装置５０２に対応する画像処理装置５１３の一実施の形態の構成を示した図である。

画像再生部５１２は、図１３および図１４の記録メディア５０１に対応する記録メディア５１１に予め所定の形式でエンコードされた状態で記録された画像をデコードし、順次画像として特徴量抽出部５４１および遅延部５４８に供給する。

特徴量抽出部５４１は、画像再生部５１２より順次供給されてくる画像の特徴量を抽出して、同期検出部５４２、および蓄積ブロック５４３の特徴量設定情報記録部５６１に供給する。

リモートコントローラ５１４は、キーやボタンなどから構成され、図１３および図１４で示されるように使用者が所望とする画像に対する処理の内容を指示するとき操作され、使用者の操作に応じて操作信号を発生すると供に、発生した操作信号に応じて赤外線などからなる発光パターンを生成し、画像処理装置５１３の受光部５４４に発光する。

受光部５４４は、リモートコントローラ５１４の発光パターンに基づいて、リモートコントローラ５１４の操作信号に変換し、操作情報認識部５４５に供給する。操作情報認識部５４５は、受光部５４４より供給されてくる操作信号に基づいて、使用者が所望とする画像への処理に対応付けられている操作情報を認識し、認識結果である操作信号を設定情報決定部５４６に供給する。尚、蓄積ブロック５４３は、リモートコントローラ５１４からの操作情報に基づいて、オンまたはオフを制御することも可能であり、このため、操作情報認識部５４５において、蓄積ブロック５４３のオンまたはオフが制御される操作情報が認識された場合、操作情報認識部５４５は、蓄積ブロック５４３の動作をオンまたはオフに制御する。

設定情報決定部５４６は、操作情報認識部５４５より供給されてくる操作情報に基づいて、後述する反映部５４９に対して画像への処理内容を指示するための設定情報を決定し、特徴量設定情報記録部５６１および選択部５４７に供給する。

蓄積ブロック５４３の特徴量設定情報記録部５６１は、特徴量抽出部５４１より供給されてくる特徴量と、設定情報決定部５４６より供給されてくる設定情報とを対応付けて特徴量設定情報蓄積部５６２（図１３および図１４の操作履歴格納部５０４に対応するもの）に蓄積させる。

同期検出部５４２は、特徴量設定情報蓄積部５６２に蓄積されている特徴量（後述する検索位置特徴量）のうち、特徴量抽出部５４１より供給されてくる画像再生部５１２により再生されている画像の特徴量（後述する再生位置特徴量）を検索し、同一の特徴量が検出されたとき、画像の同期位置として検出結果を特徴量設定情報読出部５６３に供給する。

特徴量設定情報読出部５６３は、同期検出部５４２より同期位置として検出された特徴量（検索位置特徴量）を取得すると、その特徴量に対応付けられて、特徴量設定情報蓄積部５６２に記憶されている設定情報を読み出し、選択部５４７に供給する。選択部５４７は、設定情報決定部５４６より設定情報が供給されてきた場合、仮に、同一のタイミングで特徴量設定情報読出部５６３より設定情報が供給されることがあっても、設定情報決定部５４６からの設定情報を反映部５４９に供給する。また、選択部５４７は、設定情報決定部５４６より設定情報の供給がなく、特徴量設定情報読出部５６３より設定情報が供給された場合、特徴量設定情報読出部５６３より供給された設定情報を反映部５４９に供給する。さらに、いずれからも設定情報が供給されてこない場合、選択部５４７は、設定情報を反映部５４９に供給しない。

遅延部５４８は、特徴量抽出部５４１、同期検出部５４２、蓄積ブロック５４３、および、選択部５４７の処理における遅延時間だけ、画像再生部５１２より供給されてくる画像を一時的に記憶し、反映部５４９に出力する。反映部５４９は、選択部５４７より設定情報が供給されてくる場合、遅延部５４８より供給されてくる画像に対する処理を反映して、表示部５１５に表示する。また、反映部５４９は、選択部５４７より設定情報が供給されてこない場合、遅延部より供給されてくる画像を、そのまま表示部５１５に表示させる。

このとき、図１の探索先動画像データ保持部１１１および探索元画像フレーム保持部１２１が、図１５の記録メディア５１１に対応する。また、図１の探索先フレーム選択部１１２、探索先特徴量計算部１１３、探索元特徴量計算部１２２、探索元特徴量データ保持部１２３、および特徴量計算データ保持部１２４は、図１５の特徴量抽出部５４１に対応する。さらに、図１の探索先特徴量データ保持部１１４は、図１５の特徴量設定情報記録部５６１および特徴量設定情報蓄積部５６２に対応する。また、図１の信頼性判定部１３１、信頼性データ保持部１３２、探索元特徴量変換部１３３、探索元特徴量変換データ保持部１３４、探索先フレーム選択部１３５、探索先特徴量変換部１３６、探索先特徴量変換データ保持部１３７、探索先フレーム選択部１４１、特徴量比較部１４２、比較結果保持部１４３、探索解フレーム決定部１４４、および最終出力部１４５は、図１５の同期検出部５４２に対応する。

つまり、図１５の同期検出部５４２が、同期検出の際に、図１乃至図１２を参照して説明したように特徴量データの信頼性判定を行い、値の信頼性の高い特徴量データのみを用いて特徴量の比較を行うようにする。このようにすることにより、同期検出部５４２は、信号劣化等に対するロバスト性を向上させることができる。つまり、画像処理装置５１３は、画像処理の、データ変化に対するロバスト性を向上させ、信号劣化が発生したり、画質調整が行われたりした場合であっても、より安定的かつ正確に画像処理を行うことができ、操作データの記録・再生・編集作業を問題なく行うことが可能になる。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図１６に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。

図１６において、パーソナルコンピュータ６００のCPU（Central Processing Unit）６０１は、ROM（Read Only Memory）６０２に記憶されているプログラム、または記憶部６１３からRAM（Random Access Memory）６０３にロードされたプログラムに従って各種の処理を実行する。RAM６０３にはまた、CPU６０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU６０１、ROM６０２、およびRAM６０３は、バス６０４を介して相互に接続されている。このバス６０４にはまた、入出力インタフェース６１０も接続されている。

入出力インタフェース６１０には、キーボード、マウスなどよりなる入力部６１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部６１２、ハードディスクなどより構成される記憶部６１３、モデムなどより構成される通信部６１４が接続されている。通信部６１４は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース６１０にはまた、必要に応じてドライブ６１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア６２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部６１３にインストールされる。

上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図１６に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア６２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM６０２や、記憶部６１３に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表わすものである。

なお、以上において、１つの装置として説明した構成を分割し、複数の装置として構成するようにしてもよい。逆に、以上において複数の装置として説明した構成をまとめて１つの装置として構成されるようにしてもよい。また、各装置の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置の構成の一部を他の装置の構成に含めるようにしてもよい。つまり、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用したフレーム探索装置の主な構成例を示すブロック図である。 探索先特徴量抽出処理の流れの例を説明するフローチャートである。 探索処理の流れの例を説明するフローチャートである。 特徴量抽出の様子の例を説明する図である。 フレーム探索の様子の例を説明する図である。 特徴量抽出処理の流れの例を説明するフローチャートである。 特徴量の正規化の様子の例を説明する図である。 正規化処理の流れの例を説明するフローチャートである。 信頼性判定の様子の例を説明する図である。 特徴量データの変換と比較の様子の例を説明する図である。 帯領域について説明する図である。 設定処理の流れの例を説明するフローチャートである。 本発明を適用した画像処理装置の記録モードについて説明する図である。 本発明を適用した画像処理装置の再生モードについて説明する図である。 本発明を適用した画像処理装置の主な構成例を示すブロック図である。 本発明を適用したパーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１００ フレーム探索装置， １０１ 探索先特徴量抽出処理部， １０２ 探索処理部， １１３ 探索先特徴量計算部， １２２ 探索元特徴量計算部， １３１ 信頼性判定部， １３３ 探索元特徴量変換部， １３６ 探索先特徴量変換部， １４２ 特徴量比較部， １４４ 探索解フレーム決定部， １４５ 最終出力部， ５１３ 画像処理装置， ５４１ 特徴量抽出部， ５４２ 同期検出部

Claims (9)

1. 探索元となるフレーム画像である探索元フレーム、および、探索先となる動画像データのフレーム画像である探索先フレームのそれぞれより、各画像の特徴を示すパラメータである特徴量を複数抽出する抽出手段と、
   前記抽出手段により抽出された前記探索元フレームの特徴量群の各特徴量の値の信頼性を判定する信頼性判定手段と、
   前記探索元フレームの特徴量群の、前記信頼性判定手段により値の信頼性が低いと判定された特徴量の値と、全ての前記探索先フレームの特徴量群の、前記信頼性判定手段により値の信頼性が低いと判定された特徴量に対応する特徴量の値を、所定の値に変換する変換手段と、
   前記変換手段により値が変換された前記探索元フレームの特徴量群および前記全ての探索先フレームの特徴量群について、各特徴量の値を比較する比較手段と、
   前記比較手段による比較の結果に基づいて、前記探索元フレームに一致する探索解フレームを決定する決定手段と
   を備える情報処理装置。
2. 前記抽出手段は、画像の特徴を示す値を所定の閾値に基づいて２値に正規化した値を前記特徴量とし、
   前記信頼性判定手段は、正規化前の前記画像の特徴を示す値が、前記閾値を中心とする所定の範囲内に含まれる場合、前記特徴量の値の信頼性が低いと判定する
   請求項１に記載の情報処理装置。
3. 前記閾値は、正規化前の前記画像の特徴を示す値の最大値と最小値の中間値である
   請求項２に記載の情報処理装置。
4. 前記変換手段は、前記探索元フレームの特徴量群の、前記信頼性判定手段により値の信頼性が低いと判定された特徴量の値と、全ての前記探索先フレームの特徴量群の、前記信頼性判定手段により値の信頼性が低いと判定された特徴量に対応する特徴量の値を、前記２値のいずれか一方に変換する
   請求項２に記載の情報処理装置。
5. 前記抽出手段は、前記探索元フレーム、および、全ての前記探索先フレームのそれぞれより、互いに異なる種類の特徴量により構成される複数の特徴量群を抽出し、
   前記信頼性判定手段は、前記抽出手段により抽出された前記複数の特徴量群のそれぞれについて、各特徴量の値の信頼性を判定し、
   前記変換手段は、前記複数の特徴量群のそれぞれについて、前記信頼性判定手段により値の信頼性が低いと判定された特徴量の値、または、前記信頼性が低いと判定された特徴量に対応する特徴量を全て変換し、
   前記比較手段は、前記複数の特徴量群のそれぞれについて比較を行い、
   前記決定手段は、前記複数の特徴量群の各比較の結果、全ての種類において前記探索元フレームに一致するとされたフレームを、前記探索解フレームに決定する
   請求項１に記載の情報処理装置。
6. 前記抽出手段は、第１の特徴量として、画像全体を複数に分割したブロック毎の輝度値の統計量のベクトルを抽出し、第２の特徴量として、前記ブロック毎の、前記輝度値の、連続する２フレーム間の差分の絶対値の統計量のベクトルを抽出する
   請求項５に記載の情報処理装置。
7. 前記抽出手段は、第３の特徴量として、前記ブロック毎の、前記連続する２フレーム間の輝度値の差分の絶対値の統計量の、連続する２フレーム間の差分の絶対値の統計量のベクトルをさらに抽出する
   請求項６に記載の情報処理装置。
8. 抽出手段は、探索元となるフレーム画像である探索元フレーム、および、探索先となる動画像データのフレーム画像である探索先フレームのそれぞれより、各画像の特徴を示すパラメータである特徴量を複数抽出し、
   信頼性判定手段は、前記抽出手段により抽出された前記探索元フレームの特徴量群の各特徴量の値の信頼性を判定し、
   変換手段は、前記探索元フレームの特徴量群の、前記信頼性判定手段により値の信頼性が低いと判定された特徴量の値と、全ての前記探索先フレームの特徴量群の、前記信頼性判定手段により値の信頼性が低いと判定された特徴量に対応する特徴量の値を、所定の値に変換し、
   比較手段は、前記変換手段により値が変換された前記探索元フレームの特徴量群および前記全ての探索先フレームの特徴量群について、各特徴量の値を比較し、
   決定手段は、前記比較手段による比較の結果に基づいて、前記探索元フレームに一致する探索解フレームを決定する
   情報処理方法。
9. コンピュータを、
   探索元となるフレーム画像である探索元フレーム、および、探索先となる動画像データのフレーム画像である探索先フレームのそれぞれより、各画像の特徴を示すパラメータである特徴量を複数抽出する抽出手段、
   前記抽出手段により抽出された前記探索元フレームの特徴量群の各特徴量の値の信頼性を判定する信頼性判定手段、
   前記探索元フレームの特徴量群の、前記信頼性判定手段により値の信頼性が低いと判定された特徴量の値と、全ての前記探索先フレームの特徴量群の、前記信頼性判定手段により値の信頼性が低いと判定された特徴量に対応する特徴量の値を、所定の値に変換する変換手段、
   前記変換手段により値が変換された前記探索元フレームの特徴量群および前記全ての探索先フレームの特徴量群について、各特徴量の値を比較する比較手段、
   前記比較手段による比較の結果に基づいて、前記探索元フレームに一致する探索解フレームを決定する決定手段
   として機能させるためのプログラム。

Images