JP5012521B2 - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

Description

本発明は、動画像データのうちから所望の画像フレームを抽出する画像処理装置、画像処理方法および画像処理プログラムに関する。

従来技術として、例えば、動画像を撮影する際に、撮影者がカメラを操作したカメラ操作情報と、撮影した画像を処理して得られた画像処理情報と、センサーからの信号を処理して得られた撮影中の撮影状態情報とを利用して、動画像データから静止画像に抽出するものがある（例えば、特許文献１参照。）。
特許３５２５４９３号公報

ところで、動画像の撮影中に、ユーザからの静止画像取得要求があった場合、従来法ではユーザからの取得要求があった時刻と同時刻、もしくは最も近い過去の時刻に対応する動画像中の画像フレームを静止画像として抽出し、ユーザからの要求に応じて表示や記録を行うのが通常である。

しかし、上記従来技術では、動画像中のシーンを代表するような代表静止画像を抽出する際に、カメラ操作情報等の各種カメラパラメータを用い静止画像を抽出しているが、抽出した代表画像は、動画像のあるシーンを表現した代表画像であることから、必ずしも静止画像として鑑賞に堪えられる品質の画像データが抽出されるとは限らない、という問題がある。

特に、ユーザが所望している静止画像は、必ずしもユーザからの要求があった時刻、例えば、撮影機器がユーザからの静止画像取得要求を検知した時刻と同時刻もしくは最も近い過去の画像フレームであるとは限らない。

つまり、ユーザは動画像の撮影を行っている際に、ユーザが気に入った情景や被写体を認知した後、シャッターボタンの押下といった、静止画像取得要求を行うために、多少なりとも時間的な差異が生じることに起因する。このような時間的な差異は、ユーザ毎に個人差があることから、一意的に静止画像取得要求の時刻を修正することは困難である。

また、動画像の再生中に、ユーザからの静止画像取得要求があった場合も同様に、ユーザが所望している静止画像は、必ずしもユーザからの要求があった時刻、例えば、再生機器がユーザからの静止画像取得要求を検知した時刻と同時刻もしくは最も近接した画像フレームであるとは限らない。

また、動画像の撮影を行う一般的なカメラにおいて、動画像の画像フレームは、ＣＣＤやＣＭＯＳ等のような撮像素子を用いて撮像した映像信号から生成される。比較的安価な撮像素子を利用して動画像撮影を行おうとすると、撮影時の明るさやシャッタースピードといった撮影条件が十分ではない場合には、ノイズや、手ブレや被写体の動きボケなどが撮影された動画像の画像フレーム内に混入してしまう。このような動画像からユーザから指定された時刻の画像フレームを静止画像として単純に抽出してしまうと、ノイズやブレなどを多く含む、鑑賞に堪え難い静止画像を抽出することになってしまう。

そこで、本発明は、動画像から静止画像を抽出する際に、ユーザからの静止画像取得要求を考慮するとともに、鑑賞に堪えうる品質を有するような静止画像を抽出することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

前記課題を解決するため、本発明の画像処理装置および画像処理方法では、複数の連続した画像列により構成される動画像から、少なくとも１枚の静止画像を抽出する画像処理装置および画像処理方法であって、入力される画像列を所定の枚数分蓄積し、解析対象となる画像列の特定および供給を行い、前記解析対象画像列を取得し、取得した前記解析対象画像列における画像間の類似度を評価する所定の画像間解析を、時間軸における順方向で行い、順方向の画像間解析に基づく評価情報を生成し、前記解析対象画像列を取得し、前記所定の画像間解析を、時間軸における逆方向で行い、逆方向の画像間解析に基づく評価情報を生成し、順方向の画像間解析に基づく前記評価情報と、逆方向の画像間解析に基づく前記評価情報とに基づいて、順方向または逆方向のいずれの方向の画像間解析が、画像間相関が高く有効であるかを判定し、その判定結果に基づいて、有効と判定された方向の画像間解析に用いた前記蓄積画像列管理手段に蓄積された前記解析対象画像列のうち、順、逆、それぞれの方向毎に定められた所定の判定基準に従って、少なくとも１枚の静止画像を抽出する。

ここで、解析対象となる画像列の特定および供給を行う際、ユーザが実際に要求を行った第１静止画像取得要求の時刻から、所定の時間間隔の分だけ過去にさかのぼった時点を、ユーザからの第２静止画像取得要求とし、その時刻に最も近い動画像フレームの位置を解析開始位置として特定する際、前記所定の時間間隔には、所定の初期値、ユーザが指定した時間間隔、または学習結果から特定された時間間隔のいずれかを用いて前記解析開始位置を特定し、特定した前記解析開始位置に基づいて前記解析対象画像列を供給する、ようにしても良い。

また、解析対象となる画像列の特定および供給を行う際、所定の指定領域であるクロッピング領域に基づいて、前記解析対象画像列に対して切抜き処理を行った後に、前記解析対象画像列を供給する、ようにしても良い。

また、解析対象となる画像列の特定および供給を行う際、蓄積されている画像列に対し時間に基づく階層が１つ下がる毎にフレームレートが半分になるように、画像列の組を構成するとともに、解析対象となる動画像の画像列を２枚１組として扱い、組となった画像の片方のフレーム位置の画像を次の階層の解析対象として選定しながら、解析処理の階層が下がるにつれて不等間隔部分を有する動画像の画像列となる前記解析対象画像列を特定するよう前記解析対象画像列を供給する、ようにしても良い。

また、前記所定の画像間解析を前記順方向で行うために、時間的に過去側にある第１の画像を参照画像、時間的に未来側にある第２の画像を対象画像として前記解析対象画像列を取得する一方、前記所定の画像間解析を前記逆方向で行うために、前記第１の画像を対象画像、前記第２の画像を参照画像として前記解析対象画像列を取得し、前記順方向および前記逆方向に画像間解析する際、それぞれ、時間的に順方向または逆方向の前記解析対象画像列から、前記対象画像を基準として参照画像内を所定の動きベクトル探索を行って、動きベクトル情報を生成し、前記参照画像と、前記動きベクトル情報とから予測画像を生成し、前記予測画像から、前記予測画像の低周波数成分情報を生成し、前記予測画像から、前記予測画像の低周波数成分情報を減算して、前記予測画像の高周波数成分情報を生成し、前記予測画像の高周波数成分情報に対し所定のノイズ除去処理を施し、時間的に順方向または逆方向の前記解析対象画像列における前記対象画像から、前記対象画像の低周波数成分情報を生成し、前記対象画像から、前記対象画像の低周波数成分情報を減算して、前記対象画像の高周波数成分情報を生成し、前記対象画像の高周波数成分情報に対し所定のノイズ除去処理を施し、前記予測画像の低周波数成分情報と、前記対象画像の低周波数成分情報とを評価し、低周波数成分の類似度評価情報を生成し、前記予測画像の高周波数成分情報と、前記対象画像の高周波数成分情報とを評価し、高周波数成分の類似度評価情報を生成し、前記順方向における前記低周波数成分の類似度評価情報および前記高周波数成分の類似度評価情報と、前記逆方向における前記低周波数成分の類似度評価情報および前記高周波数成分の類似度評価情報とに基づいて、順方向または逆方向のいずれの方向の画像間解析が、画像間相関が高く有効であるかを判定する、ようにしても良い。

また、本発明の画像処理プログラムは、複数の連続した画像列により構成される動画像から、少なくとも１枚の静止画像を抽出する画像処理をコンピュータに実現させるための画像処理プログラムであって、コンピュータが、上述の画像処理装置の機能または画像処理方法を実行するようにプログラミングされたものである。

本発明では、ユーザが実際に要求を行った第１静止画像取得要求の時刻から、ユーザがあらかじめ指定した時刻の分だけ過去にさかのぼった時点を、ユーザからの第２静止画像取得要求とし、その時刻に直近の動画像フレームを解析開始位置とすることで、ユーザが本来静止画像として取得したかった内容に近いものを取得することができる。

ここで、第２静止画像取得要求の決定する際に、ユーザが実際に要求を行った第１静止画像取得要求の時刻と、ユーザが実際に所望している静止画像を含む時刻との時間的なズレを設定した場合、ユーザ毎の個人差を解消するとともに、解析開始位置をユーザが実際に所望した静止画像の時刻位置に近づけることが可能となり、解析開始位置の周囲を本発明により解析することによって、ユーザが実際に所望した静止画像により近く、また静止画像として鑑賞に堪えうる品質を備えた静止画像を抽出することができる。

また、第２静止画像取得要求の決定する際に、ユーザが実際に要求を行った第１静止画像取得要求の時刻と、ユーザが実際に所望している静止画像を含む時刻との時間的なズレを、ユーザ毎に学習した場合、ユーザ毎の個人差を解消するとともに、解析開始位置をユーザが実際に所望した静止画像の時刻位置に近づけることが可能となり、解析開始位置の周囲を本発明により解析することによって、ユーザが実際に所望した静止画像により近く、また静止画像として鑑賞に堪えうる品質を備えた静止画像を抽出することができる。

また、ユーザからの静止画像取得要求を考慮した解析開始位置を利用して行われる画像間解析処理では、解析対象となる動画像の画像列を２枚１組として扱い、組となった画像の片方のフレーム位置の画像を次の階層の解析対象として選定しながら、解析処理の階層が下がるにつれて必ずしも等間隔ではない動画像、すなわち不等間隔部分を有する動画像（不等間隔動画像）の画像列となるように動画像内の解析対象を制御し、解析対象となっている２枚の画像列に対し、どちらのフレーム位置の画像を次の階層の解析対象とすべきかを判断し、過去から未来への順方向の予測によって画像の類似度を評価する一方、未来から過去への逆方向の予測によって画像の類似度を評価した場合、解析開始位置から過去の動画像フレームに対して、順方向および逆方向の類似度の評価を行い、抽出すべき静止画像の候補を選択する処理を、類似度がある一定の値を下回って、比較する参照画像と対象画像との類似度が低いと評価された時点で処理を終了し、処理を終了した時点で選択されている動画像フレームを抽出すべき静止画像として出力できる。その結果、ユーザが実際に所望した静止画像により近く、また静止画像として鑑賞に堪えうる品質を備えた静止画像を抽出することができる。

また、順方向および逆方向に画像間解析を行う際、解析対象となっている２枚の画像列を、順方向の場合には時間方向として過去のフレーム位置のものを参照画像、未来のフレーム位置のものを対象画像とし、逆方向の場合には時間方向として未来のフレーム位置のものを参照画像、過去のフレーム位置のものを対象画像となるように、処理対象となっている画像を取得し、参照画像と対象画像との間の動き推定を行い、動き推定によって得られる動きベクトル情報に基づいて参照画像から予測画像を生成する動き補償を行い、得られた予測画像から低周波数成分を抽出して予測画像低周波数成分情報を生成し、得られた予測画像と予測画像低周波数成分情報との差分によって高周波数成分を抽出して予測画像高周波数成分情報を生成し、対象画像から低周波数成分を抽出して対象画像低周波数成分情報を生成し、対象画像と対象画像低周波数成分情報との差分によって高周波数成分を抽出して対象画像高周波数成分情報を生成し、得られた予測画像高周波数成分情報と対象画像高周波数成分情報との類似度を評価するようにした場合、ノイズや、手ブレ、動きボケなどがどの程度含まれているかを容易に評価することが可能となり、これらの評価結果に基づいて抽出候補となる画像を選定することで、ユーザが実際に所望した静止画像により近く、また静止画像として鑑賞に堪えうる品質を備えた静止画像を抽出することができる。

また、予測画像高周波数成分情報を生成する際、予測画像から高周波数成分を抽出して予測画像高周波数成分情報を生成し、対象画像高周波数成分情報を生成する際、対象画像から高周波数成分を抽出して対象画像高周波数成分情報を生成するようにした場合、処理の依存関係を排除して処理の並列度を高めることで、より高速な処理を可能とする。

また、順方向および逆方向に画像間解析をする際、生成された予測画像高周波数成分情報に対してノイズ除去を行い、生成された対象画像高周波数成分情報に対してノイズ除去を行う場合、画像高周波数成分情報の類似度を評価する際の評価精度が向上し、ノイズや、手ブレ、動きボケなどがどの程度含まれているかを評価する際に、より正確に評価することが可能となり、これらの評価結果に基づいて抽出候補となる画像を選定することで、ユーザが実際に所望した静止画像により近く、また静止画像として鑑賞に堪えうる品質を備えた静止画像を抽出することができる。

実施形態１．

図１に、本発明の実施形態を適用した画像処理装置の構成例を示す。ここでは、説明を簡単にするため、動画像の撮影中に、ユーザからの静止画像取得要求があった場合を考える。

図１において、実施形態の画像処理装置は、少なくとも蓄積画像列管理器１０２、順方向画像間解析器１０３、逆方向画像間解析器１０４、判定器１０５、制御器１０６を有している。

蓄積画像列管理器１０２は、制御器１０６からの制御情報に応じて、動画像として撮影された画像フレームを画像列入力１０１として順次取得する機能を有する。所定の枚数の画像フレームを蓄積し、蓄積時の時刻情報、蓄積された画像フレームを管理する機能を有する。蓄積されている画像フレームの枚数が所定の枚数を満たしている場合には、画像フレームを新たに蓄積する際に、蓄積されている画像列のうち、最も古い画像フレームから破棄し、新たに画像列入力として取得した画像フレームを、蓄積されている画像列の最後尾の位置に追加するといったＦＩＦＯ方式で画像列の蓄積状態を管理するような機能を備えていると良い。蓄積画像列管理器１０２は、蓄積画像列管理情報に基づいて格納されている画像列の状態を管理する機能を有するとともに、必要に応じて、制御器１０６に対して蓄積画像列管理情報を供給する機能を有する。ここで、蓄積画像列管理情報には、処理の進捗状況を把握し、次に処理すべき画像列に関する情報や、現状で出力候補となっている代表画像のフレーム位置や、現在処理している階層の情報や、判定器１０５によって選択された順方向や逆方向の判定情報などが含まれると良い。更に、ユーザが実際に要求を行った第１静止画像取得要求の時刻に対応するフレーム位置、およびこの位置から、所定の時刻、またはユーザがあらかじめ指定した時刻、または学習結果から特定された時刻のいずれかの分だけ過去にさかのぼった時点を、ユーザからの第２静止画像取得要求とし、その時刻に直近の動画像フレームを解析の開始位置とした解析開始位置などが含まれると更に良い構成となる。また、画像間解析の処理量を軽減するために、画像のクロッピング領域情報を含むと更に良い構成となる。

また、蓄積画像列管理器１０２は、制御情報、蓄積画像列管理情報に基づいて供給すべき対象となっている画像列を特定し、必要に応じて順方向画像間解析器１０３、逆方向画像間解析器１０４に特定した少なくとも２枚の画像列を供給する機能を有する。ここで、蓄積画像列管理器１０２は、順方向画像間解析器１０３に対しては、供給すべき画像列のうち、時間的に過去側のフレーム位置の画像を参照画像、時間的に未来側のフレーム位置の画像を対象画像として供給する機能を有する。また、蓄積画像列管理器１０２は、逆方向画像間解析器１０４に対しては、供給すべき画像列のうち、時間的に未来側のフレーム位置の画像を参照画像、時間的に過去側のフレーム位置の画像を対象画像として供給する機能を有する。ここで、画像間解析の処理量を軽減するために、制御器１０６からの制御情報に応じて、供給する画像列に対し、画像のクロッピング領域情報に基づいて画像の切り抜き領域を特定し、切り抜き処理を行った上で、順方向画像間解析器１０３および逆方向画像間解析器１０４に供給する機能を備えると良い。

また、蓄積画像列管理器１０２は、制御情報、蓄積画像列管理情報に基づいて、出力対象となっている画像を画像列出力１０７として供給する機能を有する。また、制御器１０６から制御情報を取得し、要求に基づいて現状で出力候補となっている代表画像が、動画像内のどの範囲の画像列から抽出されたものかを示す画像列の範囲情報を特定し、代表画像の画像列出力とともに画像列の範囲情報を出力する機能を有すると更に良い構成となる。

順方向画像間解析器１０３は、蓄積画像列管理器１０２から解析対象となっている少なくとも２枚の画像列を参照画像および対象画像として取得する機能を有する。取得した参照画像および対象画像に対して所定の画像間解析を行い、画像間の類似度を評価する機能を有する。また、評価結果である類似度情報を判定器１０５に供給する機能を有する。

逆方向画像間解析器１０４は、蓄積画像列管理器１０２から解析対象となっている少なくとも２枚の画像列を参照画像および対象画像として取得する機能を有する。取得した参照画像および対象画像に対して所定の画像間解析を行い、画像間の類似度を評価する機能を有する。また、評価結果である類似度情報を判定器１０５に供給する機能を有する。

判定器１０５は、順方向画像間解析器１０３及び逆方向画像間解析器１０４から供給される順方向の類似度情報および逆方向の類似度情報を取得する機能を有する。取得した順方向の類似度情報と逆方向の類似度情報とを比較し、順方向と逆方向のどちらの画像間解析が有効であったかを判定する機能を有する。類似度情報の判定結果である判定情報を制御器１０６に供給する機能を有する。ここで判定情報は、順方向が選択されたか、逆方向が選択されたかを特定することができる情報であれば良い。例えば、順方向と逆方向をそれぞれ＋と−、または１と０などのフラグ情報で表現されたものが望ましい。

制御器１０６は、蓄積画像列管理器１０２に対して制御情報を供給する機能を有する。ここで、制御情報は、蓄積画像列管理器１０２に対して画像列入力の制御、画像列出力の制御、蓄積画像列管理情報の更新制御に関する情報を少なくとも含むと良い。ここで、制御器１０６は、ユーザからの直接的な解析開始要求である第１静止画像取得要求があった時刻に基づいて、ユーザが実際に要求を行った第１静止画像取得要求の時刻と、ユーザが実際に所望している静止画像を含む時刻との時間的なズレの時刻分だけ、第１静止画像取得要求があった時刻から過去にさかのぼった時刻を、ユーザからの第２静止画像取得要求として解析開始位置を特定する機能を有する。

次に動作を説明する。

図２は、本実施形態の画像処理装置の制御器１０６による解析開始位置の導出例を示す概念図である。

例えば、図２のように、動画像の撮影中のある時刻において、ユーザが静止画像を取得したいと考えて、カメラのシャッターボタンを押下したとする。しかし、ユーザが静止画像を取得したいと考えたシャッターボタンを押そうと思ったフレーム位置１４０１と、実際にユーザがシャッターボタンを押下した時刻のフレーム位置１４０２との間には、静止画像を認識して実際にシャッターボタンを操作するまでの時間差が少なからず生じる。

この操作までの時間差を、図２に示す矢印１４０３の補正によって、できる限りユーザがシャッターボタンを押そうと思った位置１４０１に近づける。そのため、制御器１０６は、ユーザが実際にシャッターボタンを押したフレーム位置である第１静止画像取得要求の時刻に対応するフレーム位置１４０２から、所定の時刻、またはユーザからあらかじめ指定した時刻、または学習結果から特定された時刻のいずれかの分だけ過去にさかのぼった時点を、ユーザからの第２静止画像取得要求とし、その時刻に直近の動画像フレームを解析の開始位置とした解析開始位置１４０４として求める。

このようにして、制御器１０６は、解析開始位置１４０４を特定する機能を有する。このような解析開始位置１４０４を特定し、図２の１４０５のように所定の画像間解析によって特定することで、ユーザが所望していた位置である画像１４０１に近く、また、静止画像として鑑賞に堪えうる品質を備えた画像１４０６を特定する。つまり、この特定された画像１４０６を静止画像１４１０として出力することで、第１静止画像取得要求があった時刻のフレーム位置１４０２に対応する画像を出力として得られる静止画像１４０８や、解析開始位置１４０４に対応する画像を出力として得られる静止画像１４０９よりも、画像内に含まれるノイズや、手ブレ、動きボケ等が少なく、より情報量が多い画像を得ることが可能となる。

また、このような機能の他に、制御器１０６は、特定した解析開始位置に関する情報を制御情報として蓄積画像列管理器１０２に供給する機能と、判定器１０５からの判定情報を取得する機能と、取得した判定情報を制御情報として蓄積画像列管理器１０２に通知する機能と、蓄積画像列管理器１０２から蓄積画像列管理情報を取得し、現在の蓄積画像列管理器１０２内の画像列の格納状況を把握し、本発明の画像処理装置の動作状況を制御する機能を有する。つまり、制御器１０６は、蓄積画像列管理情報から、処理の進捗状況を把握し、次に処理すべき画像列の特定や、現状で出力候補となっている代表画像のフレーム位置や、処理の階層や、判定器１０５によって選択された順方向や逆方向の判定情報などを把握する機能を有する。

なお、制御器１０６は、現状で出力候補となっている代表画像が、動画像内のどの範囲の画像列から抽出されたものかを示す画像列の範囲情報を特定し、必要に応じて蓄積画像列管理器１０２に画像列出力とともに画像列の範囲情報を出力するように要求する制御情報を供給する機能を有すると更に良い構成となる。

また、制御器１０６は、必要に応じて画像間解析の処理量を軽減するために、蓄積画像列管理器１０２が画像列を供給する際に、供給する画像列に対し、切り抜き領域であるクロッピング領域に基づいて画面の切り抜き処理を行った上で供給するように制御するために、クロッピング領域に関する情報を伴った制御情報を蓄積画像列管理器１０２に供給する機能を有すると良い。ここで、クロッピング領域情報は、所定の領域をあらかじめ設定しておくようにしても構わない。また、例えば、図３の１５０１、１５０２、１５０３のように、フォーカスなどのカメラパラメータに連動してクロッピング領域の大きさや位置を変更することができるようにしても構わない。

図３は、本実施形態の画像処理装置における、クロッピング領域の設定例を示す概念図である。

ここで、図３（ａ）の１５０１は蓄積されている画像の全体、１５０２はクロッピング領域、１５０３はフォーカス位置を表している。また、フォーカス位置とクロッピング領域との関係は、図３の１５０２と１５０３のように、クロッピング領域の中央にフォーカス位置がくるような位置関係であっても構わない。また、図３（ｂ）の蓄積されている画像の全体１５０４、クロッピング領域１５０５、フォーカス位置１５０６のように、フォーカス位置１５０６とクロッピング領域１５０５との関係が所定の関係であっても構わない。

次に、図４を用いて本発明の図１の構成の動作について説明する。

図４は、図１に示す本実施形態の画像処理装置の動作を説明したフローチャートである。

まず、制御器１０６は、画像列の蓄積を開始させるための制御情報を蓄積画像列管理器１０２に供給する。動画像の撮影が開始されると、画像列入力１０１として順次撮影された画像列が蓄積画像列管理器１０２に供給される。

蓄積画像列管理器１０２は、画像列入力１０１として供給される画像列であるそれぞれの画像フレームを取得し、所定の枚数になるまで蓄積を行う。所定の枚数を超える場合には、ＦＩＦＯ方式で最も古い時刻に格納された画像フレームを破棄し、新たに取得した画像フレームを最後尾に追加する。このような処理により、入力された画像列を蓄積する（ステップＳ１０１）。

制御器１０６は、例えば動画像の撮影中にユーザが静止画像を記録したいと考えてシャッターボタンを押すなどの動作によって生じる、ユーザからの解析開始要求の有無を監視する。ユーザからの解析開始要求があった場合（ステップＳ１０２ ＹＥＳ）は、ステップＳ１０３に進む。また、ユーザからの解析開始要求がない場合（ステップＳ１０２ ＮＯ）は、ステップＳ１０１に戻り、画像列の蓄積が継続される。

制御器１０６は、ユーザからの解析開始要求があったことを確認すると、画像列の蓄積を中断させるための制御情報を蓄積画像列管理器１０２に供給する。すると、蓄積画像列管理器１０２は、取得した制御情報に応じて画像列の蓄積を中断し、蓄積画像列管理情報に対して初期化を行うことで解析処理の準備を行う。

また、制御器１０６は、ユーザからの直接的な解析開始要求である第１静止画像取得要求があった時刻に基づいて、ユーザが実際に要求を行った第１静止画像取得要求の時刻と、ユーザが実際に所望している静止画像を含む時刻との時間的なズレの時刻分だけ、第１静止画像取得要求があった時刻から過去にさかのぼった時刻を、ユーザからの第２静止画像取得要求として解析開始位置を特定し、特定した解析開始位置を蓄積画像列管理器１０２に供給する。すると、蓄積画像列管理器１０２は、取得した解析開始位置を蓄積画像列管理情報に反映する。これにより、解析開始位置をユーザが実際に所望した静止画像の時刻位置に近づけた上で、解析を開始することができる。

次に、制御器１０６は、解析処理の実行を制御するために、蓄積画像列管理器１０２から蓄積画像列管理情報を取得し、次に処理すべき画像列を特定する。特定した画像列の情報に基づいて制御情報を蓄積画像列管理器１０２に供給する。

蓄積画像列管理器１０２は、制御器１０６から次に処理すべき画像列に関する制御情報を取得し、解析対象となる少なくとも２枚の画像フレームを画像列として特定する。特定した画像列を、順方向画像間解析器１０３および逆方向画像間解析器１０４に供給する。特定した画像列を供給する際に、順方向画像間解析器１０３に対しては、供給すべき画像列のうち、時間的に過去側のフレーム位置の画像を参照画像、時間的に未来側のフレーム位置の画像を対象画像として供給する。また、逆方向画像間解析器１０４に対しては、供給すべき画像列のうち、時間的に未来側のフレーム位置の画像を参照画像、時間的に過去側のフレーム位置の画像を対象画像として供給する。

その後、順方向画像間解析器１０３および逆方向画像間解析器１０４は、それぞれ参照画像および対象画像を蓄積画像列管理部１０２から取得することで、解析対象となる画像列を取得する（ステップＳ１０３）。その後のステップＳ１０４およびステップＳ１０５は、並列動作を行うように構成されているが、ステップＳ１０４およびステップＳ１０５をどちらか一方ずつ順次動作によって処理を行うように構成することも可能であり、これらの構成によって特に限定されるものではないことに注意する。

解析対象となる画像列が取得されると、順方向画像間解析器１０３は、取得した参照画像および対象画像に対して所定の順方向画像間解析を行い（ステップＳ１０４）、画像間の類似度を評価し、評価結果である類似度情報を判定器１０５に供給する。

同様に、逆方向画像間解析器１０４は、取得した参照画像および対象画像に対して所定の逆方向画像間解析を行い（ステップＳ１０５）、画像間の類似度を評価し、評価結果である類似度情報を判定器１０５に供給する。

判定器１０５は、順方向画像間解析器１０３および逆方向画像間解析器１０４から順方向の類似度情報および逆方向の類似度情報を取得すると、それぞれの類似度情報を比較して順方向と逆方向のどちらの画像間解析が有効であったかを判定する。この判定により、解析対象となっていた画像列から有効な画像フレームを選定し（ステップＳ１０６）、類似度情報の判定結果である判定情報を制御器１０６に供給する。

制御器１０６は、判定器１０５から取得した判定情報に基づき、解析対象となっていた画像列の判定情報を制御情報として蓄積画像列管理器１０２に供給する。

蓄積画像列管理器１０２では、取得した判定情報に関する制御情報に基づいて、蓄積画像列管理情報に対して判定情報を反映させるとともに、現状において出力対象となる画像の位置情報を更新する（ステップＳ１０７）。その後、次の解析に備えるために、蓄積画像列管理情報を更新することで、画像列の管理情報を更新する（ステップＳ１０８）。

次に、制御器１０６は、蓄積画像列管理器１０２から蓄積画像列管理情報を取得し、次の解析対象となる画像列が存在するか否かを判定する（ステップＳ１０９）。

ここで、次の解析対象の画像列が存在する場合（ステップＳ１０９ ＹＥＳ）、制御器１０６は、ステップＳ１０３に戻り、上述のように解析処理を継続する。

これに対し、次の解析対象の画像列が存在しない場合（ステップＳ１０９ ＮＯ）、制御器１０６は、蓄積画像列管理情報から、出力候補となっている代表画像のフレーム位置を特定するとともに、その代表画像が、動画像内のどの範囲の画像列から抽出されたものかを示す画像列の範囲情報を特定し、必要に応じて蓄積画像列管理器１０２に画像列出力とともに画像列の範囲情報を出力するように要求する制御情報を供給する。

その後、蓄積画像列管理器１０２は、制御器１０６から画像出力に関する制御情報を取得することで、出力すべき画像を特定し、画像を出力する（ステップＳ１１０）。また、画像列の範囲情報も必要に応じて出力する。

このように、本実施形態１では、図４に一例として示す画像処理を行うことで、ユーザからの静止画像取得要求があった時刻から、必要に応じてユーザが実際に所望した静止画像が存在する時刻までのずれを補正して解析開始位置を特定し、順方向および逆方向の所定の画像間の解析処理を行うことにより、ユーザが実際に所望した静止画像により近く、静止画像として鑑賞に堪えうる品質を備えた静止画像を抽出することが可能となる。

実施形態２．
次に、本発明の実施形態２として、図１に示す実施形態１の画像処理装置における順方向画像間解析器２３３および逆方向画像間解析器２３４を、詳細に構成した図５、図６および図７について説明する。

図５は、実施形態２の画像処理装置における順方向画像間解析器２３３および逆方向画像間解析器２３４の構成例を示す図である。

図５において、順方向画像間解析器２３３は、第１画像列取得器２０３、第１ＭＥ器２０４、第１ＭＣ器２０５、第１Ａ ＬＰＦ器２０６、差分器２０７ａ、第１Ｂ ＬＰＦ器２０８、差分器２０９ａ、第１Ｌ成分類似度評価器２１０、第１Ｈ成分類似度評価器２１１を有している。

また、図５において、逆方向画像間解析器２３４は、第２画像列取得器２１２、第２ＭＥ器２１３、第２ＭＣ器２１４、第２Ａ ＬＰＦ器２１５、差分器２１６ａ、第２Ｂ ＬＰＦ器２１７、差分器２１８ａ、第２Ｌ成分類似度評価器２１９、第２Ｈ成分類似度評価器２２０を有している。

なお、図５に示す本実施形態２の場合、図１と異なり、制御器２２２から順方向画像間解析器２３３および逆方向画像間解析器２３４へ制御信号が入力しているのは、本実施形態２の順方向画像間解析器２３３および逆方向画像間解析器２３４がそれぞれ第１画像列取得器２０３または第２画像列取得器２１２を有しており、それらを制御する必要があり、図１に示す実施形態１では、第１画像列取得器２０３または第２画像列取得器２１２の機能を蓄積画像列管理器１０２が有していたからである。従って、本実施形態２でも、第１画像列取得器２０３または第２画像列取得器２１２の機能を蓄積画像列管理器２０２が有するように構成した場合、制御器２２２から順方向画像間解析器２３３および逆方向画像間解析器２３４へ入力する制御信号は不要となる。

図６は、実施形態２の画像処理装置における順方向画像間解析器２３３および逆方向画像間解析器２３４の他の構成例を示す図である。

図６の構成では、図５における差分器２０７ａを第１Ａ ＨＰＦ器２０７ｂ、差分器２０９ａを第１Ｂ ＨＰＦ器２０９ｂ、差分器２１６ａを第２Ａ ＨＰＦ器２１６ｂ、差分器２１８ａを第２Ｂ ＨＰＦ器２１８ｂの構成要素によって代替したものである。これらは共に、供給された画像情報から高周波数成分を抽出し、Ｈ成分情報を生成するためのものである。本発明においてこれらの構成要素は、Ｈ成分情報を生成するための構成要素であれば良い。

図７は、実施形態２の画像処理装置における順方向画像間解析器２３３および逆方向画像間解析器２３４の、さらに他の構成例を示す図である。

図７は、図５における差分器２０７ａの後段に第１Ａノイズ除去器４０１、差分器２０９ａの後段に第１Ｂノイズ除去器４０２、差分器２１６ａの後段に第２Ａノイズ除去器４０３、差分器２１８ａの後段に第２Ｂノイズ除去器４０４の構成要素を追加した構成となっている。

以後、本発明の詳細に関する説明は図７に基づいて進めるものとする。また、図１の構成要素と同等の機能を有する場合には説明を省略する。

図７において、制御器２２２は、図１に示す実施形態１の制御器１０６の機能を有していると共に、さらに第１画像列取得器２０３および第２画像列取得器２１２に関する動作を制御するために、それぞれに対して画像列を取得するための制御情報を供給する機能を有する。

蓄積画像列管理器２０２は、図１に示す実施形態１の蓄積画像列管理器１０２の機能を有していると共に、順方向画像間解析器２３３を構成する第１画像列取得器２０３と、逆方向画像間解析器２３４を構成する第２画像列取得器２１２とに、処理対象となる画像列を供給する機能を有する。

第１画像列取得器２０３は、制御器２２２からの制御情報に応じて、蓄積画像列管理器２０２から、順方向の画像間解析処理を行うための参照画像、対象画像の画像列を取得する機能を有する。つまり、取得した画像列において、参照画像のフレーム位置は対象画像のフレーム位置よりも過去側の画像が得られている。取得した参照画像および対象画像を第１ＭＥ器２０４に供給する機能を有する。第１画像列取得器２０３は、参照画像を第１ＭＣ器２０５に供給する機能を有する。また、取得した対象画像を第１Ｂ ＬＰＦ器２０８および差分器２０９ａに供給する機能を有する。

第１ＭＥ器２０４は、第１画像列取得器２０３から参照画像および対象画像を取得すると共に、所定の動き推定を行い、動きベクトル情報を生成する機能を有する。この所定の動き推定においては、例えばＭＰＥＧ−１，ＭＰＥＧ−２，ＭＰＥＧ−４，同ＡＶＣ／ＳＶＣ等といった画像間相関を利用した動画像符号化において用いられるような、対象画像を重複なく所定の矩形領域に分割し、対応する動きベクトル情報を参照画像内から特定するような動き推定方法によるものであっても構わない。また、対象画像の領域分割を行う際に、所定の任意形状の領域分割を行った後に、対応する任意形状領域の動きベクトル情報を参照画像内から特定するような動き推定方法によるものであれば更に良い構成となる。第１ＭＥ器２０４は、生成した動きベクトル情報を第１ＭＣ器２０５に供給する機能を有する。

第１ＭＣ器２０５は、第１画像列取得器２０３から参照画像を取得するとともに、第１ＭＥ器２０４から、動きベクトル情報を取得する機能を有する。取得した参照画像および動きベクトル情報に基づいて、所定の動き補償を行い、予測画像を生成する機能を有する。この所定の動き補償においては、動き推定と同様に、例えばＭＰＥＧ−１，ＭＰＥＧ−２，ＭＰＥＧ−４，同ＡＶＣ／ＳＶＣ等といった画像間相関を利用した動画像符号化において用いられるような、動きベクトル情報を用いて参照画像から特定された領域を利用して予測画像を生成するような動き補償方法によるものであっても構わない。また、任意形状の領域分割情報と、任意形状領域に対応する動きベクトル情報によって、参照画像から対応する任意形状領域を特定し、このような領域を利用して予測画像を生成するような動き補償方法によるものであれば更に良い構成となる。また、領域分割情報は、第１ＭＥ器２０４から供給されるように構成しても良いし、また、第１画像列取得器２０３から対象画像を取得して、再度任意形状の領域分割処理を行うことで、生成しても良い。第１ＭＣ器は、生成した予測画像を第１Ａ ＬＰＦ器２０６および差分器２０７ａに供給する機能を有する。

第１Ａ ＬＰＦ器２０６は、第１ＭＣ器２０５から予測画像を取得し、所定の低周波数帯域通過特性を持つフィルタを用いて予測画像に対してフィルタリング処理を行い、予測画像の低周波数成分情報（Ｌ成分情報）を生成する機能を有する。第１Ａ ＬＰＦ器２０６は、生成した予測画像のＬ成分情報を、差分器２０７ａおよび第１Ｌ成分類似度評価器２１０に供給する機能を有する。

差分器２０７ａは、第１ＭＣ器２０５から予測画像を取得するとともに、第１Ａ ＬＰＦ器２０６から予測画像のＬ成分情報を取得し、予測画像から予測画像のＬ成分情報を減算することで予測画像に含まれる高周波数成分情報（Ｈ成分情報）を生成する機能を有する。この差分器２０７ａは、図６で示される第１Ａ ＨＰＦ器２０７ｂのような、所定の高周波数帯域通過特性を持つフィルタを用いて予測画像に対してフィルタリング処理を行い、予測画像のＨ成分情報を生成する機能を有するような構成要素によって代用するような構成とすることもできる。差分器２０７ａは、生成した予測画像のＨ成分情報を第１Ａノイズ除去器４０１に供給する機能を有する。ここで、生成した予測画像のＨ成分情報を第１Ｈ成分類似度評価器２１１に供給するような構成とすることで、図５と同等の構成とすることができる。

第１Ａノイズ除去器４０１は、差分器２０７ａから予測画像のＨ成分情報を取得し、所定のノイズ除去処理を行った後に、ノイズ除去後の予測画像のＨ成分情報を、第１Ｈ成分類似度評価器２１１に供給する機能を有する。ここで、ノイズ除去処理は、所定の範囲を閾値とした、Ｈ成分情報に含まれる微小ノイズの除去ができることが望ましい。

第１Ｂ ＬＰＦ器２０８は、第１画像列取得器２０３から対象画像を取得し、所定の低周波数帯域通過特性を持つフィルタを用いて対象画像に対してフィルタリング処理を行い、対象画像のＬ成分情報を生成する機能を有する。第１Ｂ ＬＰＦ器２０８は、生成した対象画像のＬ成分情報を、差分器２０９ａおよび第１Ｌ成分類似度評価器２１０に供給する機能を有する。

差分器２０９ａは、第１画像列取得器２０３から対象画像を取得するとともに、第１Ｂ ＬＰＦ器２０８から対象画像のＬ成分情報を取得し、対象画像から対象画像のＬ成分情報を減算することで対象画像に含まれるＨ成分情報を生成する機能を有する。この差分器２０９ａは、図６で示される第１Ｂ ＨＰＦ器２０９ｂのような、所定の高周波数帯域通過特性を持つフィルタを用いて対象画像に対してフィルタリング処理を行い、対象画像のＨ成分情報を生成する機能を有するような構成要素によって代用するような構成とすることもできる。差分器２０９ａは、生成した対象画像のＨ成分情報を第１Ｂノイズ除去器４０２に供給する機能を有する。ここで、生成した対象画像のＨ成分情報を第１Ｈ成分類似度評価器２１１に供給するような構成とすることで、図５と同等の構成とすることができる。

第１Ｂノイズ除去器４０２は、差分器２０９ａから対象画像のＨ成分情報を取得し、所定のノイズ除去処理を行った後に、ノイズ除去後の対象画像のＨ成分情報を、第１Ｈ成分類似度評価器２１１に供給する機能を有する。ここで、ノイズ除去処理は、所定の範囲を閾値とした、Ｈ成分情報に含まれる微小ノイズの除去ができることが望ましい。

第１Ｌ成分類似度評価器２１０は、第１Ａ ＬＰＦ器２０６から予測画像のＬ成分情報を取得するとともに、第１Ｂ ＬＰＦ器２０８から対象画像のＬ成分情報を取得する機能を有する。取得した予測画像のＬ成分情報と、対象画像のＬ成分情報とを、所定の類似度評価方法に基づいて、順方向におけるＬ成分情報の類似度情報（順方向Ｌ成分類似度情報）を生成し、判定器２２１に供給する機能を有する。ここで、所定の類似度評価方法としては、例えば予測画像のＬ成分情報と対象画像のＬ成分情報との差分値ｄＬの二乗平均平方根（ＲＭＳＥ: Root Mean Squared Error）によって評価するようにすると良い。これは、差分値ｄＬを二乗した上で相加平均し、平方根をとったものである。この値が大きいほど、類似度は低くなる。また、計算を簡単にする必要がある場合には、誤差の絶対値和（ＳＡＤ: Sum of Absolute Differences）によって評価するようにしても構わない。ＳＡＤにおいても、値が大きいほど類似度は低くなる。これらの誤差の評価値を類似度情報とすると良い構成となる。また、必要に応じて、予測画像のＬ成分情報および対象画像のＬ成分情報のＲＭＳＥもしくはＳＡＤによって評価し、順方向予測Ｌ成分誤差情報、順方向対象Ｌ成分誤差情報として判定器２２１に供給するようにすると更に良い構成となる。ここで、予測画像のＬ成分情報および対象画像のＬ成分情報のＲＭＳＥもしくはＳＡＤによって評価を行う際に、予測画像のＬ成分情報と対象画像のＬ成分情報との平均画像を生成し、この平均画像と予測画像のＬ成分情報との差分画像に対してＲＭＳＥもしくはＳＡＤによって評価し、順方向予測Ｌ成分平均誤差情報を生成し、判定器２２１に供給するようにすると更に良い構成となる。同様に、この平均画像と対象画像のＬ成分情報との差分画像に対してＲＭＳＥもしくはＳＡＤによって評価し、順方向対象Ｌ成分平均誤差情報を生成し、判定器２２１に供給するようにすると更に良い構成となる。

ここで、Ｌ成分情報の類似度情報を生成する際の、各成分情報に関する詳細を示す一例として、図８を参照しながら説明する。

図８（a）は、予測画像のＬ成分情報の例を示す。この図８（a)で示される例では、解析対象となっている画像列には円形の動物体が含まれている。この図８（a)では、予測画像が生成される際に、動きベクトル情報に基づいて動き補償が行われることで、対象画像との画面内の空間的な位相差が抑えられている。しかし、この例では、参照画像内の物体の輪郭に動きブレが生じていたため、８０１の部分のように輪郭が不明瞭になっている。

図８（ｂ)は、対象画像のＬ成分情報の例を示す。この図８（ｂ)で示される例では、対象画像内の物体は、８０３の部分のようにブレの少ない輪郭になっている。このような予測画像のＬ成分情報と、対象画像のＬ成分情報との間で差分を行うと、図８（ｃ）のような状態となる。

図８（ｃ)のような差分画像は、ＲＭＳＥやＳＡＤによる評価を行う際に用いられる。図８（a)、図８（ｂ)、および図８（ｃ)における成分情報の推移を確認するため、同じ空間位置８０８、８１０、８１２の領域内における同一ラインの成分情報をそれぞれ示したものが、図８（ｄ)、図８（e)、図８（ｆ)である。

図８（ｄ)に示す成分情報８０９は予測画像のＬ成分情報における領域８０８内の１ライン分であり、図８（e)に示す成分情報８１１は対象画像のＬ成分情報における領域８１０内の１ライン分であり、図８（ｆ)に示す成分情報８１３は、差分画像における領域８１２内の１ライン分を表している。

図８（ｄ)に示す成分情報８０９は、動きボケ等を多く含んでいることから、輪郭周辺の信号が急峻ではなく、また全体的に信号成分が低くなっている。図８（e)に示す成分情報８１１は、動きボケが少ないため、輪郭部分の信号が比較的急峻であり、信号成分も比較的高い。このような図８（ｄ)に示す成分情報８０９と、図８（e)に示す成分情報８１１との間で差分を行うことで、図８（ｆ)に示す成分情報８１３を得る。成分情報８１３では、図８（ｆ)に示すように、成分情報同士がより近い値であれば、得られる差分の成分情報の絶対値も小さくなる。この例のように、参照画像に動きボケや、動物体の変形や新たな物体の出現・消失などによる動き補償の失敗により成分情報が劣化しているものと差分を行うと、得られる差分の成分情報の絶対値は大きくなる。

したがって、予測画像のＬ成分情報および対象画像のＬ成分情報との類似度評価を行うことによって、手ブレや動きボケ、動物体の変形や新たな物体の出現・消失などによって生じる、画面内の大局的な変化を評価することを可能にする。

仮に、このＬ成分情報の類似度評価において、解析対象となっている画像間の類似度があまり高くないと判断された場合、予測画像のＬ成分情報から順方向予測Ｌ成分誤差情報もしくは順方向予測Ｌ成分平均誤差情報、対象画像のＬ成分情報から順方向対象Ｌ成分誤差情報もしくは順方向対象Ｌ成分平均誤差情報に基づいて、解析対象となっている画像列から、次の解析対象として重要となる画像を選択するようにすることが望ましい。

図７に戻り、第１Ｈ成分類似度評価器２１１は、第１Ａノイズ除去器４０１からノイズ除去後の予測画像のＨ成分情報を取得するとともに、第１Ｂノイズ除去器４０２からノイズ除去後の対象画像のＨ成分情報を取得する機能を有する。取得したノイズ除去後の予測画像のＨ成分情報と、ノイズ除去後の対象画像のＨ成分情報とを、所定の類似度評価方法に基づいて、順方向におけるＨ成分情報の類似度情報（順方向Ｈ成分類似度情報）を生成し、判定器２２１に供給する機能を有する。ここで、所定の類似度評価方法としては、例えば、ノイズ除去後の予測画像のＨ成分情報とノイズ除去後の対象画像のＨ成分情報との差分値ｄＨの二乗平均平方根（ＲＭＳＥ: Root Mean Squared Error）によって評価するようにすると良い。これは、差分値ｄＨを二乗した上で相加平均し、平方根をとったものである。この値が大きいほど、類似度は低くなる。また、計算を簡単にする必要がある場合には、誤差の絶対値和（ＳＡＤ: Sum of Absolute Differences）によって評価するようにしても構わない。ＳＡＤにおいても、値が大きいほど類似度は低くなる。これらの誤差の評価値を類似度情報とすると良い構成となる。また、必要に応じて、予測画像のＨ成分情報および対象画像のＨ成分情報のＲＭＳＥもしくはＳＡＤによって評価し、順方向予測Ｈ成分誤差情報、順方向対象Ｈ成分誤差情報として判定器２２１に供給するようにすると更に良い構成となる。ここで、予測画像のＨ成分情報および対象画像のＨ成分情報のＲＭＳＥもしくはＳＡＤによって評価を行う際に、予測画像のＨ成分情報と対象画像のＨ成分情報との平均画像を生成し、この平均画像と予測画像のＨ成分情報との差分画像に対してＲＭＳＥもしくはＳＡＤによって評価し、順方向予測Ｈ成分平均誤差情報を生成し、判定器２２１に供給するような構成でも構わない。同様に、この平均画像と対象画像のＨ成分情報との差分画像に対してＲＭＳＥもしくはＳＡＤによって評価し、順方向対象Ｈ成分平均誤差情報を生成し、判定器２２１に供給するような構成でも構わない。

ここで、Ｈ成分情報の類似度情報を生成する際の、各成分情報に関する詳細を示す一例として、図９を参照しながら説明する。

図９（a)は、予測画像のＨ成分情報の例を示す。この図９（a)で示される例では、解析対象となっている画像列には円形の動物体が含まれている。この図９（a)では、予測画像が生成される際に、動きベクトル情報に基づいて動き補償が行われることで、対象画像との画面内の空間的な位相差が抑えられている。しかし、この例では、参照画像内の物体の輪郭に動きブレが生じていたため、９０１の部分のように輪郭が不明瞭になっている。

図９（ｂ)は、対象画像のＨ成分情報の例を示す。この図９（ｂ)で示される例では、対象画像内の物体は、９０３の部分のようにブレの少ない輪郭になっている。このような予測画像のＨ成分情報と、対象画像のＨ成分情報との間で差分を行うと、図９（ｃ)のような状態となる。図９（ｃ)のような差分画像は、ＲＭＳＥやＳＡＤによる評価を行う際に用いられる。

図９（a)、図９（ｂ)、および図９（ｃ)における成分情報の推移を確認するため、同じ空間位置９０８、９１０、９１２の領域内における同一ラインの成分情報をそれぞれ示したものが、図９（ｄ)、図９（e)、図９（ｆ)である。

図９（ｄ)に示す成分情報９０９は予測画像のＨ成分情報における領域９０８内の１ライン分であり、図９（e)に示す成分情報９１１は対象画像のＨ成分情報における領域９１０内の１ライン分であり、図９（ｆ)に示す成分情報９１３は差分画像における領域９１２内の１ライン分を表している。

図９（ｄ)に示す成分情報９０９は、動きボケ等を多く含んでいることから、輪郭周辺の信号が急峻ではなく、また信号成分が輪郭周辺に広く分布している。

図９（e)に示す成分情報９１１は、動きボケが少ないため、輪郭部分の信号が比較的急峻であり、信号成分も大きく、また輪郭部分に集中している。

このような成分情報９０９と成分情報９１１との間で差分を行うことで、図９（ｆ)に示す成分情報９１３を得る。成分情報９１３では、図９（ｆ)に示すように、成分情報同士がより近い値であれば、得られる差分の成分情報の絶対値も小さくなる。この例のように、参照画像に動きボケや、動物体の変形や新たな物体の出現・消失などによる動き補償の失敗により成分情報が劣化しているものと差分を行うと、得られる差分の成分情報の絶対値は大きくなる。特に、この例のように図９（ｄ)に示す成分情報９０９の最大値と、図９（e)に示す成分情報９１１の最大値の位置がずれていると、差分を行った際に信号成分が十分相殺されず、得られる差分の成分情報の絶対値はより大きくなる。また、動きボケ等により、輪郭部分が不鮮明であると、図９（ｄ)に示す成分情報９０９のようなＨ成分情報となる傾向が強い。

このような成分情報９０９，９１１との差分によって得られる図９（ｆ)に示す成分情報９１３は、大きな値が比較的広い範囲に渡って分布する傾向が強い。このような特徴から、このＨ成分情報に対して類似度を評価することによって、画像間でどの程度手ブレや動きボケ、画面内のテクスチャ情報が変化しているかを判断することが可能である。

したがって、予測画像のＨ成分情報および対象画像のＨ成分情報との類似度評価を行うことによって、手ブレや動きボケ、動物体の変形や新たな物体の出現・消失などによって生じる、輪郭部分のズレや、動物体の変化といった、画面内の局所的な変化を評価することを可能にする。

仮に、このＨ成分情報の類似度評価において、解析対象となっている画像間の類似度があまり高くないと判断された場合、予測画像のＨ成分情報から順方向予測Ｈ成分誤差情報もしくは順方向予測Ｈ成分平均誤差情報、対象画像のＨ成分情報から順方向対象Ｈ成分誤差情報もしくは順方向対象Ｈ成分平均誤差情報に基づいて、解析対象となっている画像列から、次の解析対象として重要となる画像を選択するようにすることが望ましい。

また、重要となる画像を選択する際には、輪郭部分や画面内のテクスチャ情報がより鮮明なものを選択することが、静止画像としてより品質の高いものを選択することにつながる。

よって、例えば順方向予測Ｈ成分誤差情報と順方向対象Ｈ成分誤差情報とを比較することによって画像を選択しなければならない場合には、これらの値が高い方を選択するように構成すると良い構成となる。

図７に戻り、第２画像列取得器２１２は、第１画像列取得器２０３と同等の機能を有する。
第２画像列取得器２１２は、制御器２２２からの制御情報に応じて、蓄積画像列管理器２０２から、逆方向の画像間解析処理を行うための参照画像、対象画像の画像列を取得する機能を有する。つまり、取得した画像列において、参照画像のフレーム位置は対象画像のフレーム位置よりも未来側の画像が得られている。取得した参照画像および対象画像を第２ＭＥ器２１３に供給する機能を有する。第２画像列取得器２１２は、参照画像を第２ＭＣ器２１４に供給する機能を有する。また、取得した対象画像を第２Ｂ ＬＰＦ器２１７および差分器２１８ａに供給する機能を有する。

第２ＭＥ器２１３は、第１ＭＥ器２０４と同等の機能を有する。第２ＭＥ器２１３は、第２画像列取得器２１２から参照画像と対象画像を取得し、所定の動き推定を行うことにより動きベクトル情報を生成する機能を有する。また、生成した動きベクトル情報を第２ＭＣ器２１４に供給する機能を有する。

第２ＭＣ器２１４は、第１ＭＣ器２０５と同等の機能を有する。第２ＭＣ器２１４は、第２画像列取得器２１２から参照画像を取得するとともに、第２ＭＥ器２１３から動きベクトル情報を取得し、所定の動き補償を行うことにより、予測画像を生成する機能を有する。また、生成した予測画像を第２Ａ ＬＰＦ器２１５および差分器２１６ａに供給する機能を有する。

第２Ａ ＬＰＦ器２１５は、第１Ａ ＬＰＦ器２０６と同等の機能を有する。第２Ａ ＬＰＦ器２１５は、第２ＭＣ器２１４から予測画像を取得し、所定のフィルタリング処理を行うことで、予測画像のＬ成分情報を生成する機能を有する。また、生成したＬ成分情報を、差分器２１６ａおよび第２Ｌ成分類似度評価器２１９に供給する機能を有する。

差分器２１６ａは、差分器２０７ａと同等の機能を有する。差分器２１６ａは、第２ＭＣ器２１４から予測画像を取得するとともに、第２Ａ ＬＰＦ器２１５から予測画像のＬ成分情報を取得する機能を有する。また、取得した予測画像から予測画像のＬ成分情報を減算することで、予測画像のＨ成分情報を生成し、第２Ａノイズ除去器４０３に供給する機能を有する。ここで、生成した予測画像のＨ成分情報を第２Ｈ成分類似度評価器２２０に供給するような構成とすることで、図５と同等の構成とすることができる。

第２Ａノイズ除去器４０３は、第１Ａノイズ除去器４０１と同等の機能を有する。差分器２１６ａから予測画像のＨ成分情報を取得し、所定のノイズ除去処理を行った後、ノイズ除去後の予測画像のＨ成分情報を第２Ｈ成分類似度判定器２２０に供給する機能を有する。

第２Ｂ ＬＰＦ器２１７は、第１Ｂ ＬＰＦ器２０８と同等の機能を有する。第２Ｂ ＬＰＦ器２１７は、第２画像列取得器２１２から対象画像を取得し、所定のフィルタリング処理を行うことで対象画像のＬ成分情報を生成する機能を有する。また、生成した対象画像のＬ成分情報を差分器２１８ａおよび第２Ｌ成分類似度評価器２１９に供給する機能を有する。

差分器２１８ａは、差分器２０９ａと同等の機能を有する。差分器２１８ａは、第２画像列取得器２１２から対象画像を取得するとともに、第２Ｂ ＬＰＦ器２１７から対象画像のＬ成分情報を取得する機能を有する。また、取得した対象画像から対象画像のＬ成分情報を減算することで、対象画像のＨ成分情報を生成し、第２Ｂノイズ除去器４０４に供給する機能を有する。ここで、生成した対象画像のＨ成分情報を第２Ｈ成分類似度評価器２２０に供給するような構成とすることで、図５と同等の構成とすることができる。

第２Ｂノイズ除去器４０４は、第１Ｂノイズ除去器４０２と同等の機能を有する。第２Ｂノイズ除去器４０４は、差分器２１８ａから対象画像のＨ成分情報を取得し、所定のノイズ除去処理を行った後、ノイズ除去後の対象画像のＨ成分情報を第２Ｈ成分類似度評価器２２０に供給する機能を有する。

第２Ｌ成分類似度評価器２１９は、第１Ｌ成分類似度評価器２１０と同等の機能を有する。第２Ｌ成分類似度評価器２１９は、第２Ａ ＬＰＦ器２１５から予測画像のＬ成分情報を取得するとともに、第２Ｂ ＬＰＦ器２１７から対象画像のＬ成分情報を取得する機能を有する。また、取得した予測画像のＬ成分情報と、対象画像のＬ成分情報とを、所定の類似度評価方法に基づいて、逆方向におけるＬ成分情報の類似度情報（逆方向Ｌ成分類似度情報）を生成し、判定器２２１に供給する機能を有する。

第２Ｈ成分類似度評価器２２０は、第１Ｈ成分類似度評価器２１１と同等の機能を有する。第２Ｈ成分類似度評価器２２０は、第２Ａノイズ除去器４０３からノイズ除去後の予測画像のＨ成分情報を取得するとともに、第２Ｂノイズ除去器４０４からノイズ除去後の対象画像のＨ成分情報を取得する機能を有する。また、取得したノイズ除去後の予測画像のＨ成分情報と、ノイズ除去後の対象画像のＨ成分情報とを、所定の類似度評価方法に基づいて、逆方向におけるＨ成分情報の類似度情報（逆方向Ｈ成分類似度情報）を生成し、判定器２２１に供給する機能を有する。

判定器２２１は、第１Ｌ成分類似度評価器２１０から順方向Ｌ成分類似度情報、第１Ｈ成分類似度評価器２１１から順方向Ｈ成分類似度情報、第２Ｌ成分類似度評価器２１９から逆方向Ｌ成分類似度情報、第２Ｈ成分類似度評価器２２０から逆方向Ｈ成分類似度情報を取得する機能を有する。また、判定器２２１は、必要に応じて、第１Ｌ成分類似度評価器２１０から順方向予測Ｌ成分誤差情報もしくは順方向予測Ｌ成分平均誤差情報、順方向対象Ｌ成分誤差情報もしくは順方向対象Ｌ成分平均誤差情報を取得する機能を有する。また、判定器２２１は、必要に応じて、第１Ｈ成分類似度評価器２１１から順方向予測Ｈ成分誤差情報もしくは順方向予測Ｈ成分平均誤差情報、順方向対象Ｈ成分誤差情報もしくは順方向対象Ｈ成分平均誤差情報を取得する機能を有する。また、判定器２２１は、必要に応じて、第２Ｌ成分類似度評価器２１９から逆方向予測Ｌ成分誤差情報もしくは逆方向予測Ｌ成分平均誤差情報、逆方向対象Ｌ成分誤差情報もしくは逆方向対象Ｌ成分平均誤差情報を取得する機能を有する。また、判定器２２１は、必要に応じて、第２Ｈ成分類似度評価器２２０から逆方向予測Ｈ成分誤差情報もしくは逆方向予測Ｈ成分平均誤差情報、逆方向対象Ｈ成分誤差情報もしくは逆方向対象Ｈ成分平均誤差情報を取得する機能を有する。判定器２２１は、取得した順方向のＬ成分およびＨ成分の類似度情報と、逆方向のＬ成分およびＨ成分の類似度情報とを比較し、順方向と逆方向の画像間解析のどちらが有効であったかを判定する機能を有する。

ここで、判定器２２１における判定方法は、例えば、Ｌ成分類似度情報とＨ成分類似度情報に対して所定の重み付け係数を乗算した後に加算することで、方向別の類似度情報を生成し、その後、生成した順方向の類似度情報と、逆方向の類似度情報とを比較することで有効な方向を判定する。

また、判定器２２１は、類似度情報の判定結果である判定情報を制御器２２２に供給する機能を有する。ここで判定情報は、順方向が選択されたか、逆方向が選択されたかを特定することができる情報であれば良い。例えば、順方向と逆方向をそれぞれ＋と−、または１と０などのフラグ情報で表現されたものが望ましい。また、生成した類似度情報を用いて順方向と逆方向の類似度情報を比較する際に、所定の閾値と比較して類似度が高くないと判断された場合には、必要に応じて取得した、順方向側の処理から得られる、順方向予測Ｌ成分誤差情報もしくは順方向予測Ｌ成分平均誤差情報、順方向対象Ｌ成分誤差情報もしくは順方向対象Ｌ成分平均誤差情報、および、順方向予測Ｈ成分誤差情報もしくは順方向予測Ｈ成分平均誤差情報、順方向対象Ｈ成分誤差情報もしくは順方向対象Ｈ成分平均誤差情報、そして逆方向側の処理から得られる、逆方向予測Ｌ成分誤差情報もしくは逆方向予測Ｌ成分平均誤差情報、逆方向対象Ｌ成分誤差情報もしくは逆方向対象Ｌ成分平均誤差情報、および、逆方向予測Ｈ成分誤差情報もしくは逆方向予測Ｈ成分平均誤差情報、逆方向対象Ｈ成分誤差情報もしくは逆方向対象Ｈ成分平均誤差情報、に対して所定の重み付け係数を乗算した後に加算することで、方向別の誤差情報もしくは平均誤差情報を生成し、その後、生成した順方向の誤差情報もしくは平均誤差情報と、逆方向の誤差情報もしくは平均誤差情報と、を比較することで有効な方向を判定するような方法であると良い。

次に、図１０を用いて、図７に示すように構成された実施形態２の順方向画像間解析器２３３および逆方向画像間解析器２３４の各構成要素の動作について説明する。

図１０は、図７に示す順方向画像間解析器２３３および逆方向画像間解析器２３４における画像間解析を行う際の動作を説明したフローチャートである。

以下の説明では、順方向の画像間解析に関する動作の説明を行う。逆方向の画像間解析に関する動作に関しては、第２画像列取得器２１２が取得する画像列である参照画像と対象画像が異なるものの、それ以外の処理動作に関しては、順方向の画像間解析と同様であることから、説明を省略する。

まず、制御器２２２は、解析処理の実行を制御するために、蓄積画像列管理器２０２から蓄積画像列管理情報を取得し、次に処理すべき画像列を特定し、特定した画像列の情報に基づいて制御情報を蓄積画像列管理器２０２に供給する。また、第１画像列取得器２０３および第２画像列取得器２１２に対して、制御情報を供給することで、動作開始の制御を行う。

蓄積画像列管理器２０２は、制御器２２２から次に処理すべき画像列に関する制御情報を取得し、解析対象となる少なくとも２枚の画像フレームを画像列として特定する。特定した画像列を、第１画像列取得器２０３および第２画像列取得器２１２に供給する。特定した画像列を供給する際に、順方向である第１画像列取得器２０３に対しては、供給すべき画像列のうち、時間的に過去側のフレーム位置の画像を参照画像、時間的に未来側のフレーム位置の画像を対象画像として供給する。また、逆方向である第２画像列取得器２１２に対しては、供給すべき画像列のうち、時間的に未来側のフレーム位置の画像を参照画像、時間的に過去側のフレーム位置の画像を対象画像として供給する。

すると、実施形態２における順方向画像間解析器２３３内では、第１画像列取得器２０３は、制御器２２２からの要求に応じて、蓄積画像列管理器２０２から、参照画像および対象画像を取得し（ステップＳ２０１）、取得した参照画像および対象画像を第１ＭＥ器２０４に供給する。また、取得した参照画像を少なくとも第１ＭＣ器２０５に供給する。更に、取得した対象画像を第１Ｂ ＬＰＦ器２０８および差分器２０９ａに供給する。

次に、第１ＭＥ器２０４が第１画像列取得器２０３から参照画像および対象画像を取得すると、これらの画像列を利用して所定の動き推定を行い（ステップＳ２０２）、動きベクトル情報を生成し、第１ＭＣ器２０５に供給する。

第１ＭＣ器２０５は、第１画像列取得器２０３から少なくとも参照画像を取得するとともに、第１ＭＥ器２０４から動きベクトル情報を取得する。取得した参照画像と動きベクトル情報を利用して、所定の動き補償を行って（ステップＳ２０３）、予測画像を生成し、第１Ａ ＬＰＦ器２０６および差分器２０７ａに供給する。

予測画像の生成が終わると、第１Ａ ＬＰＦ器２０６は、第１ＭＣ器２０５から予測画像を取得し、取得した予測画像に対して所定のフィルタリング処理を行い、予測画像のＬ成分情報を生成することで、予測画像の低周波数成分を抽出する（ステップＳ２０４）。その後、生成した予測画像のＬ成分情報を差分器２０７ａおよび第１Ｌ成分類似度評価器２１０に供給する。

その後、差分器２０７ａは、第１ＭＣ器２０５から予測画像を取得するとともに、第１Ａ ＬＰＦ器２０６から予測画像のＬ成分情報を取得する。取得した予測画像から予測画像のＬ成分情報を減算し、予測画像のＨ成分情報を生成することで、対象画像の高周波数成分を抽出する（ステップＳ２０７）。その後、生成した予測画像のＨ成分情報を第１ノイズ除去器４０１に供給する。

すると、第１Ａノイズ除去器４０１は、予測画像のＨ成分情報を取得し、所定のノイズ除去を行う（ステップＳ２０８）ことで、ノイズ除去後の予測画像のＨ成分情報を生成し、第１Ｈ成分類似度評価器２１１に供給する。

以上のような予測画像に対する処理と並列して、以下の対象画像に対する処理が行われる。

つまり、まず、第１Ｂ ＬＰＦ器２０８では、第１画像列取得器２０３から対象画像を取得し、所定のフィルタリング処理を行うことにより対象画像のＬ成分情報を生成することで、対象画像の低周波数成分を抽出する（ステップＳ２０５）。その後、生成した対象成分のＬ成分情報を差分器２０９ａおよび第１Ｌ成分類似度評価器２１０に供給する。

すると、差分器２０９ａは、第１画像列取得器２０３から対象画像を取得するとともに、第１Ｂ ＬＰＦ器２０８から対象画像のＬ成分情報を取得して、取得した対象画像から対象画像のＬ成分情報を減算し、対象画像のＨ成分情報を生成することで、対象画像の高周波数成分を抽出する（ステップＳ２０９）。その後、差分器２０９ａは、生成した対象画像のＨ成分情報を第１Ｂノイズ除去器４０２に供給する。

次に、第１Ｂノイズ除去器４０２は、対象画像のＨ成分情報を取得し、所定のノイズ除去を行う（ステップＳ２１０）ことで、ノイズ除去後の対象画像のＨ成分情報を生成し、第１Ｈ成分類似度評価器２１１に供給する。

それぞれのＬ成分情報が生成されると、第１Ｌ成分類似度評価器２１０は、第１Ａ ＬＰＦ器２０６から予測画像のＬ成分情報を取得するとともに、第１Ｂ ＬＰＦ器２０８から対象画像のＬ成分情報を取得し、所定の類似度評価方法に基づいて、低周波数成分の類似度を評価する（ステップＳ２０６）。その後、評価結果である順方向のＬ成分類似度情報は、判定器２２１に供給される。

同様に、それぞれのＨ成分情報が生成されると、第１Ｈ成分類似度評価器２１１は、第１Ａノイズ除去器４０１からノイズ除去後の予測画像のＨ成分情報を取得するとともに、第１Ｂノイズ除去器４０２からノイズ除去後の対象画像のＨ成分情報を取得し、所定の類似度判定方法に基づいて、高周波数成分の類似度を評価する（ステップＳ２１１）。その後、評価結果である順方向のＨ成分類似度情報は、判定器２２１に供給される。

このように、本実施形態の画像処理装置では、上述のような画像間解析処理を行うことにより、順方向における類似度情報を生成し、また、同様に逆方向の画像間解析を行うことで、逆方向における類似度情報を生成し、これらの順方向および逆方向の類似度情報に基づいて、判定器２２１は所定の判定を行うことで、解析対象となっている画像列の、どちら側からの画像間相関が高いかを特定し、どちらの画像を後の解析対象とすべきかを判断することができる。

次に、本実施形態の画像処理方法によって出力候補となる代表画像が特定されていく手順をより詳細に説明するため、図１１、図１２、図１３を用いて以下に説明する。

図１１において、５０１は、図７の蓄積画像列管理器２０２で保持されている画像列の状態の一例を示している。

蓄積画像列管理器２０２は、画像列入力を蓄積しておくための手段として、所定の枚数の画像列を格納できるフレームバッファ（図示せず）を備え、制御器２２２の制御に応じて入力画像列を蓄積する。フレームバッファは、フレームバッファ内の格納位置を特定するためのフレーム位置に関する情報、すなわちフレーム位置情報もしくは単にフレーム位置に基づいて、格納された画像を管理する。

図１１の画像列５０１では、便宜上、解析開始位置に対応する画像をフレーム位置０とし、この画像よりも一つ前の過去の画像をフレーム位置１とするように、格納された時刻が過去に進むほど、順次フレーム位置の番号が増加するように番号付けされているものとする。

また、格納されている画像は、フレーム位置による管理の他に、画像が生成された時刻に関する情報、すなわち時刻情報と関連付けられているものとする。つまり、蓄積画像列管理器２０２では、入力される画像列は、それぞれの時刻情報とともに蓄積される。

図１１における画像列５０１では、はじめに、解析開始位置に対応するフレーム位置の画像が、代表画像の候補として設定される。図１１では、黒く塗りつぶしたフレーム５０１ａで表現されている。ここでは、フレーム位置０の画像が代表画像の候補として選択される。

次に、蓄積されている画像列において、時間方向に対して階層の概念を導入する。例えば、現在蓄積されている画像列は、毎秒３０フレーム（以後、３０ｆｐｓという。）のフレームレートで撮影されたものであるとする。この３０ｆｐｓの時間間隔の階層を、ここでは０階層とする。このような画像列に対して、図１１の画像列５０１のように画像を２枚ずつ１組として扱い、この時間間隔で１枚分の画像を表現した場合には、１５ｆｐｓの時間間隔で表現されることになる。

このような時間間隔の階層を−１階層とする。つまり、このように階層が１つ下がる毎にフレームレートが半分になるように、画像列の組を構成することを、ここでは時間方向に対するディアディック（dyadic）な階層構造と称することにする。このようなディアディックな階層構造を実現するためには、時間間隔の階層を１つ下げてフレームレートを半分にする際に、組となっていた２枚の画像のうち、時間的に過去側の画像、もしくは時間的に未来側の画像のどちらか一方の対応する時刻の画像を残すことによって、この２枚分の時間間隔を表現することになる。この画像の残し方によって、フレームレートが半分になった後の画像列は、画像間の時間間隔が等間隔の画像列になったり、不等間隔の画像列になったりする。例えば、フレームレートを半分にする際に、常に過去側の画像を残すようにした場合には、画像間の時間間隔が等間隔の画像列となる。未来側の画像を残すようにした場合も同様に時間間隔が等間隔の画像列となる。また、画像の残し方が一定でない場合、例えば、所定の判定方法に基づいて残す画像を切り替えるような場合には、時間間隔が不等間隔の画像列となる。ただし、所定の判定方法に基づいて残す画像を切り替えるような場合であっても、判定の結果、常に一方の画像を残すような処理が行われた場合には、時間間隔が等間隔の画像列となる。本実施形態の画像処理装置における画像間解析では、この画像の残し方を、順方向の画像間解析と逆方向の画像間解析の結果から得られる類似度によって制御することから、一般に、画像間の時間間隔が不等間隔の画像列が生成される。ただし、類似度による判定の結果、常に一方の画像を残すような処理が行われた場合には、時間間隔が等間隔の画像列が生成される場合もある。よって、本発明では、画像間の時間間隔が等間隔の画像列も、不等間隔の画像列、不等間隔部分を一部に有する画像列も対象とする。

本実施形態の画像処理装置における画像間解析では、まず、解析対象となる少なくとも２枚の画像列を特定する必要があるため、まず、フレームバッファ内に保持されている画像列に対して、−１階層となるように、画像列の組を考える。

最初の解析対象となる２枚の画像列は、図１１の画像列５０２で示されるフレーム位置０と、フレーム位置１である。この解析対象となっている画像列において、順方向の画像間解析を行う場合には、過去側のフレームであるフレーム位置１の画像を参照画像とし、未来側のフレームであるフレーム位置０の画像を対象画像とする。

そして、これらの順方向の画像列に対して順方向の動き推定（ＭＥ）および動き補償（ＭＣ）を行うことで、図１１の５０３ａのような成分情報を得る。

ここで、対象画像に対しては解析方向の特定を容易にするために、順方向を意味する「＋」記号を付している。また、逆方向の画像間解析を行う場合には、未来側のフレームであるフレーム位置０の画像を参照画像とし、過去側のフレームであるフレーム位置１の画像を対象画像とする。そして、これらの逆方向の画像列に対して逆方向のＭＥおよびＭＣを行うことで、図１１の５０３ｂのような成分情報を得る。ここで、対象画像に対しては解析方向の特定を容易にするために、逆方向を意味する「−」記号を付している。

その後、図１１の５０３ａおよび５０３ｂに対して所定の類似度評価および判定により、出力候補となる代表画像として有効な画像が含まれる方向の画像列を選択する。

図１１の５０４では、順方向の画像間解析が有効であったと判断されている。その後、参照画像として設定されたフレーム位置１の画像を、次の解析対象の画像とする。ここでは、参照画像側のフレーム位置を次の解析対象の画像としている。これは、参照画像に対してＭＣを行った予測画像との類似度比較においても、十分対象画像との類似度が高いということから、より情報量が多く含まれていると考えられる参照画像側のフレーム位置の画像を選択する構成をとっている。しかし、ＭＣによる影響を受けていない対象画像側のフレーム位置を重視した構成とし、対象画像側のフレーム位置の画像を選択するような構成としても構わない。また、今回の組には、代表画像の候補となるフレーム位置が含まれているため、この代表画像候補位置を更新する。ここでは、フレーム位置１が新たな代表画像候補位置として新たに設定される。同様の処理を図１１の画像列５０６，５１０、５１４の画像列に対しても行う。

ここで、図１１の画像列５０２に隣接している画像列５０６以外の画像列は、代表画像候補位置の画像との画像間解析を行う必要が生じた時点で解析をするように動作を制御すると、処理に無駄のない、より良い構成となる。ここでは、説明を簡単にするため、同一階層の解析処理は全て行ったものとすると、図１１の画像列５０５，５０９，５１３，５１７のような、−１階層の画像列が得られる。

図１２は、−２階層の画像列を得るための処理を示すための図である。

−２階層では、−１階層の画像列として得られた画像列で２枚ずつ１組として扱うことから、組となった２枚の画像列は、０階層においては４枚の画像列から選別された画像列となる。この様子を示したものが図１２の画像列６０１である。

つまり、フレーム位置１とフレーム位置２の画像列は、フレーム位置０からフレーム位置３までの４枚の画像列から選別されたものであり、この画像列の範囲がフレーム位置１とフレーム位置２の画像列の影響範囲、つまり類似度が高いグループと考えることができる。

−２階層の画像列を得るための処理は、図１１と同様であり、−１階層の画像列において、２枚ずつ１組として扱い、図１２の画像列６０２が示すような解析対象となる画像列を特定する。画像列６０２では、フレーム位置１およびフレーム位置２の画像列が解析対象となる。その後、同様の画像間解析を行い、順方向の解析結果が選択され、順方向の参照画像に対応するフレーム位置の画像が選択される。また、今回の組には、代表画像の候補となるフレーム位置が含まれているため、この代表画像候補位置を更新する。ここでは、フレーム位置２が新たな代表画像候補位置として新たに設定される。同様の処理を図１２の画像列６０６の画像列に対しても行う。

図１３は、−３階層の画像列を得るための処理を示すための図である。

−３階層の画像列を得るための処理は、図１１および図１２と同様であり、−２階層の画像列において、２枚ずつ１組として扱い、図１３の画像列７０２が示すような解析対象となる画像列を特定する。画像列７０２では、フレーム位置２およびフレーム位置７の画像列が解析対象となる。その後、同様の画像間解析を行い、逆方向の解析結果が選択され、逆方向の参照画像に対応するフレーム位置の画像が選択される。また、今回の組には、代表画像の候補となるフレーム位置が含まれているため、この代表画像候補位置を更新する。ここでは、前の階層、つまりここでは−２階層における代表画像候補位置がフレーム位置２と同じであるため、この代表画像候補位置を維持する。

−３階層の画像列を得るための処理は、図１１および図１２と同様であり、−２階層の画像列において、２枚ずつ１組として扱い、図１３の画像列７０２が示すような解析対象となる画像列を特定する。画像列７０２では、フレーム位置２およびフレーム位置７の画像列が解析対象となる。その後、同様の画像間解析を行い、順方向の解析結果が選択され、順方向の参照画像に対応するフレーム位置の画像が選択される。また、今回の組には、代表画像の候補となるフレーム位置が含まれているため、この代表画像候補位置を更新する。ここでは、前の階層、つまりここでは−２階層における代表画像候補位置がフレーム位置２と同じであるため、この代表画像候補位置を維持する。

ここで、本実施形態の画像処理装置による画像間解析処理では、フレームバッファ内の画像列に対して画像間解析を行い、１枚の代表画像が特定された時点で少なくとも終了し、特定された代表画像と、必要に応じて代表画像の影響範囲である画像列の範囲に関する情報を出力する。そのため、図１３では、代表画像はフレーム位置２の画像である。また、画像列の範囲は、現在の階層である−３階層よりも一つ上、つまりここでは−２階層の、フレーム位置２が属する画像列の範囲を特定し、必要に応じて代表画像とともに出力するようにすると良い。

そして、図１３の画像列７０６が示すように、最終的に出力される代表画像のフレーム位置は、最初に設定されたフレーム位置である解析開始位置からずれた位置となっている。これは、本実施形態の画像処理装置の画像間解析処理によって、最初の解析開始位置の画像が静止画像として十分な品質ではないと判断されて、より静止画像としてふさわしい、静止画像として鑑賞に堪えうる品質を備えた静止画像としてフレーム２の位置の画像が抽出された結果と言える。

実施形態３．
実施形態３は、図１、図５、図６、図７により示す実施形態１，２の画像処理装置の機能を、図１４および図１５に示すコンピュータである中央処理制御装置１２０３、１３０３がプログラムの実行により実現するようにしたものである。

図１４は、本実施形態３の画像処理プログラムにより動作する情報処理装置の一例の構成図を示す。

同図において、情報処理装置１２００は、各種の情報を入力するための入力装置１２０１と、各種の情報を出力するための出力装置１２０２と、本発明の画像処理プログラムにより動作する中央処理制御装置１２０３と、外部記憶装置１２０４と、中央処理制御装置１２０３による演算処理の際の作業領域など用いる一時記憶装置１２０５と、外部と通信するための通信装置１２０６とが、双方向のバス１２０７により接続された構成とされている。

中央処理制御装置１２０３は、本発明の画像処理プログラムが記録媒体から、あるいは通信ネットワークを介して配信されて通信装置１２０６により取り込まれ、蓄積画像列管理器１０２に相当する蓄積画像列管理手段１２０８、順方向画像間解析器１０３,２３３に相当する順方向画像間解析手段１２０９、逆方向画像間解析器１０４，２３４に相当する逆方向画像間解析手段１２１０、判定器１０５に相当する判定手段１２１１、制御器１０６に相当する制御手段１２１２、の各機能を少なくとも有し、図１に示す画像処理装置と同様の動作をソフトウェア処理により実行する。

図１５は、実施形態３の画像処理プログラムにより動作する情報処理装置の別の一例の構成図を示す。

同図において、情報処理装置１３００は、各種の情報を入力するための入力装置１３０１と、各種の情報を出力するための出力装置１３０２と、本発明の画像処理プログラムにより動作する中央処理制御装置１３０３と、外部記憶装置１３０４と、中央処理制御装置１３０３による演算処理の際の作業領域など用いる一時記憶装置１３０５と、外部と通信するための通信装置１３０６とが、双方向のバス１３０７により接続された構成とされている。

中央処理制御装置１３０３は、本発明の画像処理プログラムが記録媒体から、あるいは通信ネットワークを介して配信されて通信装置１３０６により取り込まれ、蓄積画像列管理器２０２に相当する蓄積画像列管理手段１３０８、判定器２２１に相当する判定手段１３１１、制御器２２２に相当する制御手段１３１２、を備え、更に順方向画像解析手段１３０９を構成する、第１画像列取得器２０３に対応する第１画像取得手段１３２１、逆方向画像解析手段１３１０を構成する、第２画像列取得器２１２に対応する第２画像列取得手段１３２２、また、順方向画像解析手段１３０９および逆方向画像解析手段１３１０を構成する、第１ＭＥ器２０４、第２ＭＥ器２１３を代用するためのＭＥ手段１３１３、第１ＭＣ器２０５、第２ＭＣ器２１４を代用するためのＭＣ手段１３１４、第１Ａ ＬＰＦ器２０６、第１Ｂ ＬＰＦ器２０８、第２Ａ ＬＰＦ器２１５、第２Ｂ ＬＰＦ器２１７を代用するためのＬＰＦ手段１３１５、図６の構成と同等の動作をするための手段として、第１Ａ ＨＰＦ器２０７ｂ、第１Ｂ ＨＰＦ器２０９ｂ、第２Ａ ＨＰＦ器２１６ｂ、第２Ｂ ＨＰＦ器２１８ｂを代用するためのＨＰＦ手段１３１６、図５および図７の構成と同等の動作をするための手段として、差分器２０７ａ、差分器２０９ａ、差分器２１６ａ、差分器２１８ａを代用するための差分手段１３１７、図７の構成と同等の動作をするための手段として、第１Ａノイズ除去器４０１、第１Ｂノイズ除去器４０２、第２Ａノイズ除去器４０３、第２Ｂノイズ除去器４０４を代用するためのノイズ除去手段１３１８、第１Ｌ成分類似度評価器２１０、第２Ｌ成分類似度評価器２１９を代用するためのＬ成分類似度評価手段１３１９、第１Ｈ成分類似度評価器２１１、第２Ｈ成分類似度評価器２２０を代用するためのＨ成分類似度評価手段１３２０、の各機能を少なくとも有し、図５、図６、図７に示す画像処理装置と同様の動作をソフトウェア処理により実行する。

従って、本実施形態３の画像処理装置でも、上記実施形態１，２と同様の画像間解析処理を、プログラムの実行により行うことにより、順方向における類似度情報を生成し、また、同様に逆方向の画像間解析を行うことで、逆方向における類似度情報を生成し、これらの順方向および逆方向の類似度情報に基づいて判定器が所定の判定を行うことで、解析対象となっている画像列の、どちら側からの画像間相関が高いかを特定し、どちらの画像を後の解析対象とすべきかを判断することができる。

本発明の実施形態１に係る画像処理装置の基本構成を示すブロック図である。 実施形態１の画像処理装置における、解析開始位置の導出例を示す概念図である。 実施形態１の画像処理装置における、クロッピング領域の設定例を示す概念図である。 図１に示す実施形態１の画像処理装置の動作を示すフローチャートである。 実施形態２の画像処理装置における順方向画像間解析器および逆方向画像間解析器の構成例を示す図である。 実施形態２の画像処理装置における順方向画像間解析器および逆方向画像間解析器の他の構成例を示す図である。 実施形態２の画像処理装置における順方向画像間解析器および逆方向画像間解析器の他の構成例を示す図である。 実施形態２の画像処理方法における低周波数成分の変化を示す概念図である。 実施形態２の画像処理方法における高周波数成分の変化を示す概念図である。 図７に示す実施形態１の画像処理装置の動作を示すフローチャートである。 実施形態２の画像処理方法によって代表画像が特定される−１階層の場合の手順を示す説明図である。 実施形態２の画像処理方法によって代表画像が特定される−２階層の場合の手順を示す説明図である。 実施形態２の画像処理方法によって代表画像が特定される−３階層の場合の手順を示す説明図である。 実施形態３の画像処理プログラムを実行する情報処理装置の一例を示すブロック図である。 実施形態３の画像処理プログラムを実行する情報処理装置の別の一例を示すブロック図である。

符号の説明

１０１、２０１ 画像列入力
１０２、２０２ 蓄積画像列管理器
１０３、２３３ 順方向画像間解析器
１０４、２３４ 逆方向画像間解析器
１０５、２２１ 判定器
１０６、２２２ 制御器
１０７、２２３ 画像列出力

Claims (11)

1. 複数の連続した画像列により構成される動画像から、少なくとも１枚の静止画像を抽出する画像処理装置であって、
   入力される画像列を所定の枚数分蓄積し、解析対象画像列の特定および供給を行う蓄積画像列管理手段と、
   前記蓄積画像列管理手段から供給された前記解析対象画像列を取得し、取得した前記解析対象画像列における画像間の類似度を評価する所定の画像間解析を、時間軸における順方向で行い、順方向の画像間解析に基づく評価情報を生成する順方向画像間解析手段と、
   前記蓄積画像列管理手段から供給された前記解析対象画像列を取得し、前記所定の画像間解析を、時間軸における逆方向で行い、逆方向の画像間解析に基づく評価情報を生成する逆方向画像間解析手段と、
   前記順方向画像間解析手段からの順方向の画像間解析に基づく前記評価情報と、前記逆方向画像間解析手段からの逆方向の画像間解析に基づく前記評価情報とに基づいて、順方向または逆方向のいずれの方向の画像間解析が、画像間相関が高く有効であるかを判定する判定手段と、
   前記判定手段の判定結果に基づいて、有効と判定された方向の画像間解析に用いた前記解析対象画像列のうち、順、逆、それぞれの方向毎に定められた所定の判定基準に従って、少なくとも１枚の静止画像を抽出する制御手段と、
   を少なくとも有する画像処理装置。
2. 請求項１記載の画像処理装置において、
   前記制御手段は、さらに、
   ユーザが実際に要求を行った第１静止画像取得要求の時刻から、所定の時間間隔の分だけ過去にさかのぼった時点を、ユーザからの第２静止画像取得要求とし、その時刻に最も近い動画像フレームの位置を解析開始位置として特定する際、前記所定の時間間隔には、所定の初期値、ユーザが指定した時間間隔、または学習結果から特定された時間間隔のいずれかを用いて前記解析開始位置を特定し、特定した前記解析開始位置に基づいて前記蓄積画像列管理手段から前記順方向画像間解析手段および前記順方向画像間解析手段への前記解析対象画像列の供給を制御する、画像処理装置。
3. 請求項１または請求項２記載の画像処理装置において、
   前記制御手段は、さらに、
   所定の指定領域であるクロッピング領域に基づいて、前記解析対象画像列に対して切抜き処理を行った後に、前記解析対象画像列を供給するように前記蓄積画像列管理手段を制御する、画像処理装置。
4. 請求項１〜請求項３のいずれか一の請求項に記載の画像処理装置において、
   前記制御手段は、さらに、
   前記蓄積画像列管理手段に蓄積されている画像列に対し時間に基づく階層が１つ下がる毎にフレームレートが半分になるように、画像列の組を構成するとともに、解析対象となる動画像の画像列を２枚１組として扱い、組となった画像の片方のフレーム位置の画像を次の階層の解析対象として選定しながら、解析処理の階層が下がるにつれて不等間隔部分を有する動画像の画像列となる前記解析対象画像列を特定するよう前記蓄積画像列管理手段を制御する、画像処理装置。
5. 請求項１〜請求項４のいずれか一の請求項に記載の画像処理装置において、
   前記順方向画像間解析手段は、さらに、前記所定の画像間解析を前記順方向で行うために、時間的に過去側にある第１の画像を参照画像、時間的に未来側にある第２の画像を対象画像として、前記蓄積画像列管理手段から解析対象となる画像列を取得する第１画像列取得手段を有する一方、
   前記逆方向画像間解析手段は、さらに、前記所定の画像間解析を前記逆方向で行うために、前記第１の画像を対象画像、前記第２の画像を参照画像として、前記蓄積画像列管理手段から解析対象となる画像列を取得する第２画像列取得手段を有し、
   前記順方向画像間解析手段および前記逆方向画像間解析手段は、それぞれ、
   前記第１画像列取得手段または第２画像列取得手段を介し前記蓄積画像列管理手段から供給された時間的に順方向または逆方向の前記解析対象画像列から、対象画像を基準として参照画像内を所定の動きベクトル探索を行って、動きベクトル情報を生成する動き推定手段と、
   前記参照画像と、前記動き推定手段によって生成された動きベクトル情報とから予測画像を生成する動き補償手段と、
   前記動き補償手段によって生成された前記予測画像から、前記予測画像の低周波数成分情報を生成する予測画像低周波数成分生成手段と、
   前記動き補償手段によって生成された前記予測画像から、前記予測画像の高周波数成分情報を生成する予測画像高周波数成分生成手段と、
   前記対象画像から、対象画像の低周波数成分情報を生成する対象画像低周波数成分情報生成手段と、
   前記対象画像から、対象画像の高周波数成分情報を生成する対象画像高周波数成分情報生成手段と、
   前記予測画像低周波数成分情報と、前記対象画像低周波数成分情報とを評価し、低周波数成分の類似度評価情報を生成する低周波数成分評価情報生成手段と、
   前記予測画像高周波数成分情報と、前記対象画像高周波数成分情報とを評価し、高周波数成分の類似度評価情報を生成する高周波数成分評価情報生成手段と、を有し、
   前記判定手段は、
   前記順方向における前記低周波数成分の類似度評価情報および前記高周波数成分の類似度評価情報と、前記逆方向における前記低周波数成分の類似度評価情報および前記高周波数成分の類似度評価情報とに基づいて、順方向または逆方向のいずれの方向の画像間解析が、画像間相関が高く有効であるかを判定する、画像処理装置。
6. 複数の連続した画像列により構成される動画像から、少なくとも１枚の静止画像を抽出する画像処理方法であって、
   入力される画像列を所定の枚数分蓄積し、解析対象となる画像列の特定および供給を行うステップと、
   前記解析対象画像列を取得し、取得した前記解析対象画像列における画像間の類似度を評価する所定の画像間解析を、時間軸における順方向で行い、順方向の画像間解析に基づく評価情報を生成するステップと、
   前記解析対象画像列を取得し、前記所定の画像間解析を、時間軸における逆方向で行い、逆方向の画像間解析に基づく評価情報を生成するステップと、
   順方向の画像間解析に基づく前記評価情報と、逆方向の画像間解析に基づく前記評価情報とに基づいて、順方向または逆方向のいずれの方向の画像間解析が、画像間相関が高く有効であるかを判定するステップと、
   前記判定結果に基づいて、有効と判定された方向の画像間解析に用いた前記解析対象画像列のうち、順、逆、それぞれの方向毎に定められた所定の判定基準に従って、少なくとも１枚の静止画像を抽出するステップと、
   を少なくとも有する画像処理方法。
7. 請求項６記載の画像処理方法において、
   前記解析対象となる画像列の特定および供給を行うステップでは、
   ユーザが実際に要求を行った第１静止画像取得要求の時刻から、所定の時間間隔の分だけ過去にさかのぼった時点を、ユーザからの第２静止画像取得要求とし、その時刻に最も近い動画像フレームの位置を解析開始位置として特定する際、前記所定の時間間隔には、所定の初期値、ユーザが指定した時間間隔、または学習結果から特定された時間間隔のいずれかを用いて前記解析開始位置を特定し、特定した前記解析開始位置に基づいて前記解析対象画像列を供給する、画像処理方法。
8. 請求項６または請求項７記載の画像処理方法において、
   前記解析対象となる画像列の特定および供給を行うステップでは、
   所定の指定領域であるクロッピング領域に基づいて、前記解析対象画像列に対して切抜き処理を行った後に、前記解析対象画像列を供給する、画像処理方法。
9. 請求項６〜請求項８のいずれか一の請求項に記載の画像処理方法において、
   前記解析対象となる画像列の特定および供給を行うステップでは、
   蓄積されている画像列に対し時間に基づく階層が１つ下がる毎にフレームレートが半分になるように、画像列の組を構成するとともに、解析対象となる動画像の画像列を２枚１組として扱い、組となった画像の片方のフレーム位置の画像を次の階層の解析対象として選定しながら、解析処理の階層が下がるにつれて不等間隔部分を有する動画像の画像列となる前記解析対象画像列を特定するよう前記解析対象画像列を供給する、画像処理方法。
10. 請求項６〜請求項９のいずれか一の請求項に記載の画像処理方法において、
    前記所定の画像間解析を前記順方向で行うために、時間的に過去側にある第１の画像を参照画像、時間的に未来側にある第２の画像を対象画像として前記解析対象画像列を取得する一方、前記所定の画像間解析を前記逆方向で行うために、前記第１の画像を対象画像、前記第２の画像を参照画像として前記解析対象画像列を取得し、
    前記順方向および前記逆方向に画像間解析する際、それぞれ、
    時間的に順方向または逆方向の前記解析対象画像列から、前記対象画像を基準として参照画像内を所定の動きベクトル探索を行って、動きベクトル情報を生成し、
    前記参照画像と、前記動きベクトル情報とから予測画像を生成し、
    前記予測画像から、前記予測画像の低周波数成分情報を生成し、
    前記予測画像から、前記予測画像の低周波数成分情報を減算して、前記予測画像の高周波数成分情報を生成し、
    前記予測画像の高周波数成分情報に対し所定のノイズ除去処理を施し、
    時間的に順方向または逆方向の前記解析対象画像列における前記対象画像から、前記対象画像の低周波数成分情報を生成し、
    前記対象画像から、前記対象画像の低周波数成分情報を減算して、前記対象画像の高周波数成分情報を生成し、
    前記対象画像の高周波数成分情報に対し所定のノイズ除去処理を施し、
    前記予測画像の低周波数成分情報と、前記対象画像の低周波数成分情報とを評価し、低周波数成分の類似度評価情報を生成し、
    前記予測画像の高周波数成分情報と、前記対象画像の高周波数成分情報とを評価し、高周波数成分の類似度評価情報を生成し、
    前記順方向における前記低周波数成分の類似度評価情報および前記高周波数成分の類似度評価情報と、前記逆方向における前記低周波数成分の類似度評価情報および前記高周波数成分の類似度評価情報とに基づいて、順方向または逆方向のいずれの方向の画像間解析が、画像間相関が高く有効であるかを判定する、画像処理方法。
11. 複数の連続した画像列により構成される動画像から、少なくとも１枚の静止画像を抽出する画像処理をコンピュータに実現させるための画像処理プログラムであって、
    前記コンピュータが、請求項６〜請求項１０のいずれか一の請求項に記載された画像処理方法を実行するようにプログラミングされた画像処理プログラム。

Images