JP4432274B2 - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents
画像処理装置および方法、記録媒体、並びにプログラム Download PDFInfo
- Publication number
- JP4432274B2 JP4432274B2 JP2001113421A JP2001113421A JP4432274B2 JP 4432274 B2 JP4432274 B2 JP 4432274B2 JP 2001113421 A JP2001113421 A JP 2001113421A JP 2001113421 A JP2001113421 A JP 2001113421A JP 4432274 B2 JP4432274 B2 JP 4432274B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- reference image
- region
- boundary
- comparison
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、例えば、連続して撮影された複数の画像間における動きベクトルを検出する場合に用いて好適な画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
従来、ビデオカメラを三脚などで固定することなく、手に持って撮影をおこなった場合、手振れに起因して撮影した動画像が上下左右に振動し、再生したときに見難い画面となってしまう問題があった。そのような問題を解決する方法として、画面が振動する動画像を、画面が振動しない動画像に変換する処理、いわゆるスタビライザ処理が知られている。
【０００３】
スタビライザ処理について、図１乃至図６を参照して説明する。図１乃至図３は、それぞれ、手振れに起因して画面に振動が生じている動画像のうちのタイミングｔ 1 乃至タイミングｔ3の画像Ｐ1乃至画像Ｐ3を示している。当該動画像は、移動しない机とドアの間を画面の左側から右側に移動する人物の様子が撮影されたものである。
【０００４】
スタビライザ処理では、始めに、図１に示したタイミングｔ1の画像Ｐ1（以下、基準画像Ｐ1と記述する）における所定のサイズの特徴がある領域（例えば、机のように移動しない物体のエッジを含む領域）が指定される。例えば、基準画像Ｐ1の原点（０，０）から距離（Ｘ１，Ｙ１）の位置にある破線で囲まれた領域Ｒ1が指定される。以下、指定された領域Ｒ1をリファレンス領域Ｒ1と記述する。
【０００５】
次に、領域として、図２のタイミングｔ2の画像Ｐ2（以下、参照画像Ｐ2と記述する）の中で、基準画像Ｐ1のリファレンス領域Ｒ1に対応するマッチング領域（図２の領域Ｍ1）がブロックマッチング法によって検出される。
【０００６】
ブロックマッチング法では、参照画像Ｐ2の全体を探索範囲として、リファレンス領域Ｒ1の各画素と対応する画素との「２乗誤差の合計値」または「絶対値誤差の合計値」が最小となる領域、あるいは「正規化された相互相関値（normalized cross correlation）」が最大となる領域が探索されて、リファレンス領域Ｒ1に対応するマッチング領域Ｍ1が検出される。
【０００７】
ただし、ブロックマッチング法における演算量を削減するために、参照画像Ｐ2の全体を探索範囲とせず、より狭い領域を探索範囲とすることが行われる。例えば、画像間の動きベクトルが１０画素程度であることがわかっている場合、リファレンス領域Ｒ1よりも上下左右に１０画素程度大きい領域が探索範囲とされる。
【０００８】
なお、ブロックマッチング法の詳細については、「ディジタル画像処理：（株）近代科学社発行、監訳者：長尾真」の「８．３章マッチング（整合）」に記載されている。
【０００９】
検出されたマッチング領域Ｍ1は、参照画像Ｐ2の原点（０，０）から距離（Ｘ２，Ｙ２）の位置にある。同様に、図３のタイミングｔ3の画像Ｐ3（以下、参照画像Ｐ3と記述する）の中で、リファレンス領域Ｒ1に対応するマッチング領域（図３のマッチング領域Ｍ2）がブロックマッチング法によって検出される。マッチング領域Ｍ2は、参照画像Ｐ3の原点（０，０）から距離（Ｘ３，Ｙ３）の位置にある。
【００１０】
次に、基準画像Ｐ1と参照画像Ｐ2との間の動きベクトルＶ12（Ｘ１−Ｘ２，Ｙ１−Ｙ２）と、基準画像Ｐ1と参照画像Ｐ3との間の動きベクトルＶ13（Ｘ１−Ｘ３，Ｙ１−Ｙ３）が演算される。次に、基準画像Ｐ1はそのまま補正画像Ｐ1’とされ、参照画像Ｐ2は全体が動きベクトルＶ12（Ｘ１−Ｘ２，Ｙ１−Ｙ２）だけずらされて補正画像Ｐ2’に変換され、参照画像Ｐ3は全体が動きベクトルＶ13（Ｘ１−Ｘ３，Ｙ１−Ｙ３）だけずらされて補正画像Ｐ3’に変換される。
【００１１】
以上説明したように、スタビライザ処理によれば、基準画像Ｐ1、および参照画像Ｐ2，Ｐ3が、それぞれ図４乃至は図６に示す補正画像Ｐ1’乃至補正画像Ｐ3’に変換される。図４乃至図６に示すように、変換された補正画像Ｐ1’乃至補正画像Ｐ3’では、机、椅子、およびドアなどの移動しない物体が画面上の同一の座標に位置している。なお、実際には、画像Ｐ1乃至画像Ｐ3以外の元の動画像を構成する全ての画像も同様に変換される。したがって、変換された複数の連続する画像を再生した場合、画面が振動しない動画像となる。
【００１２】
【発明が解決しようとする課題】
ところで、基準画像Ｐ1において領域Ｒ1がリファレンス領域に指定されれば、上述したブロックマッチング法によって、リファレンス領域に対応する参照画像の中のマッチング領域が検出され、適切な動きベクトルが求められる。しかしながら、基準画像Ｐ1において不適切な領域がリファレンス領域に指定された場合、参照画像の中から、基準画像Ｐ1のリファレンス領域に対応するマッチング領域が検出されないことがある。そのような場合、基準画像Ｐ1と参照画像との動きベクトルを求めることができないので、画面が振動する動画像を補正することができない。
【００１３】
例えば、基準画像Ｐ1において領域Ｒ2がリファレンス領域に指定された場合、リファレンス領域Ｒ2は、移動しない机のエッジなどの特徴的な部分（前景またはフォアグランドとも記述する）と、その他の背景（バックグランドとも記述する）から構成されているが、基準画像Ｐ1のリファレンス領域Ｒ2に対応する領域として検出されるべき参照画像Ｐ2のマッチング領域には、移動中の人物が含まれているので、当該領域をリファレンス領域Ｒ2に対応するマッチング領域として検出することができない課題があった。
【００１４】
本発明はこのような状況に鑑みてなされたものであり、基準画像におけるリファレンス領域の前景を線分によって区分けすることにより、基準画像のリファレンス領域に対応する参照画像のマッチング領域を確実に検出できるようにすることを目的とする。
【００１５】
【課題を解決するための手段】
本発明の画像処理装置は、基準画像と参照画像を入力する画像入力手段と、ユーザの操作を受け付ける受付手段と、受付手段が受け付けたユーザの操作に従って、基準画像における第１の基準領域を設定する基準領域設定手段と、受付手段が受け付けたユーザの操作に従って、第１の基準領域を前景部分と背景部分に区分する境界を設定する区分手段と、参照画像に複数の比較領域を設定する比較領域設定手段と、第１の基準領域の前景部分と、複数の比較領域との相関度を示す第１の適切度を算出する第１の算出手段と、第１の基準領域の境界の付近を、境界に対して垂直方向に微分して第２の基準領域を生成する生成手段と、第２の基準領域の境界の付近と、複数の比較領域との相関度を示す第２の適切度を算出する第２の算出手段と、第１および第２の適切度の加算値に基づき、複数の比較領域の中から、第１の基準領域に対応するマッチング領域を決定する決定手段と、基準画像における第１の基準領域の位置と、参照画像におけるマッチング領域の位置に基づき、基準画像と参照画像との間の動きベクトルを演算する演算手段とを含むことを特徴とする。
【００１６】
前記受付手段は、ユーザの描線の操作を受け付けるようにすることができ、前記区分手段は、ユーザが描線した少なくとも１本以上の線分を、第１の基準領域を前景部分と背景部分に区分する境界に設定するようにすることができる。
【００１７】
本発明の画像処理装置は、動きベクトルに基づき、参照画像の全体を移動することによって補正画像を生成する補正手段をさらに含むことを特徴とする。
【００１８】
本発明の画像処理方法は、基準画像と参照画像を入力する画像入力ステップと、ユーザの操作を受け付ける受付ステップと、受付ステップの処理で受け付けられたユーザの操作に従って、基準画像における第１の基準領域を設定する基準領域設定ステップと、受付ステップの処理で受け付けられたユーザの操作に従って、第１の基準領域を前景部分と背景部分に区分する境界を設定する区分ステップと、参照画像に複数の比較領域を設定する比較領域設定ステップと、第１の基準領域の前景部分と、複数の比較領域との相関度を示す第１の適切度を算出する第１の算出ステップと、第１の基準領域の境界の付近を、境界に対して垂直方向に微分して第２の基準領域を生成する生成ステップと、第２の基準領域の境界の付近と、複数の比較領域との相関度を示す第２の適切度を算出する第２の算出ステップと、第１および第２の適切度の加算値に基づき、複数の比較領域の中から、第１の基準領域に対応するマッチング領域を決定する決定ステップと、基準画像における第１の基準領域の位置と、参照画像におけるマッチング領域の位置に基づき、基準画像と参照画像との間の動きベクトルを演算する演算ステップとを含むことを特徴とする。
【００１９】
本発明の記録媒体のプログラムは、基準画像と参照画像を入力する画像入力ステップと、ユーザの操作を受け付ける受付ステップと、受付ステップの処理で受け付けられたユーザの操作に従って、基準画像における第１の基準領域を設定する基準領域設定ステップと、受付ステップの処理で受け付けられたユーザの操作に従って、第１の基準領域を前景部分と背景部分に区分する境界を設定する区分ステップと、参照画像に複数の比較領域を設定する比較領域設定ステップと、第１の基準領域の前景部分と、複数の比較領域との相関度を示す第１の適切度を算出する第１の算出ステップと、第１の基準領域の境界の付近を、境界に対して垂直方向に微分して第２の基準領域を生成する生成ステップと、第２の基準領域の境界の付近と、複数の比較領域との相関度を示す第２の適切度を算出する第２の算出ステップと、第１および第２の適切度の加算値に基づき、複数の比較領域の中から、第１の基準領域に対応するマッチング領域を決定する決定ステップと、基準画像における第１の基準領域の位置と、参照画像におけるマッチング領域の位置に基づき、基準画像と参照画像との間の動きベクトルを演算する演算ステップとを含むことを特徴とする。
【００２０】
本発明のプログラムは、基準画像と参照画像を入力する画像入力ステップと、ユーザの操作を受け付ける受付ステップと、受付ステップの処理で受け付けられたユーザの操作に従って、基準画像における第１の基準領域を設定する基準領域設定ステップと、受付ステップの処理で受け付けられたユーザの操作に従って、第１の基準領域を前景部分と背景部分に区分する境界を設定する区分ステップと、参照画像に複数の比較領域を設定する比較領域設定ステップと、第１の基準領域の前景部分と、複数の比較領域との相関度を示す第１の適切度を算出する第１の算出ステップと、第１の基準領域の境界の付近を、境界に対して垂直方向に微分して第２の基準領域を生成する生成ステップと、第２の基準領域の境界の付近と、複数の比較領域との相関度を示す第２の適切度を算出する第２の算出ステップと、第１および第２の適切度の加算値に基づき、複数の比較領域の中から、第１の基準領域に対応するマッチング領域を決定する決定ステップと、基準画像における第１の基準領域の位置と、参照画像におけるマッチング領域の位置に基づき、基準画像と参照画像との間の動きベクトルを演算する演算ステップとをコンピュータに実行させることを特徴とする。
【００２１】
本発明の画像処理装置および方法、並びにプログラムにおいては、基準画像と参照画像が入力され、ユーザの操作が受け付けられ、受け付けられたユーザの操作に従って基準画像における第１の基準領域が設定され、受け付けられたユーザの操作に従って第１の基準領域を前景部分と背景部分に区分する境界が設定される。また、参照画像に複数の比較領域が設定され、第１の基準領域の前景部分と、複数の比較領域との相関度を示す第１の適切度が算出される。さらに、第１の基準領域の境界の付近を境界に対して垂直方向に微分して第２の基準領域が生成され、第２の基準領域の境界の付近と、複数の比較領域との相関度を示す第２の適切度が算出される。さらに、第１および第２の適切度の加算値に基づき、複数の比較領域の中から、第１の基準領域に対応するマッチング領域が決定され、基準画像における第１の基準領域の位置と、参照画像におけるマッチング領域の位置に基づき、基準画像と参照画像との間の動きベクトルが演算される。
【００２２】
【発明の実施の形態】
本発明の一実施の形態である画像処理装置の構成例について、図７を参照して説明する。この画像処理装置２は、撮影装置１から供給される動画像（連続して撮影された静止画像）を、画面が振動しない動画像に変換して表示装置３に出力するものである。なお、画像処理装置２には、図１乃至図３に示した基準画像Ｐ1、および参照画像Ｐ2，Ｐ3を含む動画像が撮影装置１から供給されるものとする。
【００２３】
画像処理装置２において、制御部１１は、操作入力部１３から入力されるユーザからの操作の情報に対応し、バス１２を介して画像処理装置２の各部を制御する。操作入力部１３は、ユーザの操作、例えば、基準画像Ｐ1における所定のサイズの特徴的なリファレンス領域Ｒを指定する操作と、リファレンス領域Ｒの中の前景（例えば、図１における不動の机）を指定するための複数の線分（例えば、２本の線分Ｌ1，Ｌ2）を指定する操作などを受け付け、その操作の情報を、バス１２を介して制御部１１に出力する。入力部１４は、撮影装置１から入力される動画像を、バス１２を介して画像メモリ１５に出力する。画像メモリ１５は、入力部１４からバス１２を介して供給される動画像（連続して撮影された静止画像）を記憶する。
【００２４】
動きベクトル検出部１６は、画像メモリ１５が記憶する動画像を構成する静止画像を順次読み出し、例えば、先頭の画像を基準画像Ｐ1とし、ユーザの操作に従ってリファレンス領域Ｒを設定し、さらに、リファレンス領域Ｒの中の前景を設定する。さらに、動きベクトル検出部１６は、以降に読み出す画像を参照画像Ｐn（ｎ＝２，３，４，・・・）とし、基準画像Ｐ1のリファレンス領域Ｒに対応する参照画像Ｐnのマッチング領域を検出して、基準画像Ｐ1と参照画像Ｐnとの動きベクトルＶ1n（Ｘ１−Ｘｎ，Ｙ１−Ｙｎ）を算出し、算出した動きベクトルＶ1nを、バス１２を介して画像補正部１７に出力する。
【００２５】
画像補正部１７は、画像メモリ１５から基準画像Ｐ1を読み出し、そのまま補正画像Ｐ1’として、バス１２を介して出力部１８に供給する。また、画像補正部１７は、画像メモリ１５から参照画像Ｐnを読み出し、読み出した参照画像Ｐnを動きベクトルＶ1nだけずらして補正画像Ｐn’に変換し、バス１２を介して出力部１８に供給する。出力部１８は、基準画像Ｐ1においてリファレンス領域Ｒを指定する操作や、リファレンス領域Ｒの中の前景を指定する操作のために、基準画像Ｐ1や操作中の画面を表示装置３に出力する。また、出力部１８は、画像補正部１７からバス１２を介して供給される補正画像Ｐ1’，Ｐn’（ｎ＝２，３，４，・・・）をバッファリングし、所定のレートで後段の表示装置３に出力する。
【００２６】
次に、画像処理装置２による補正処理について、図７のフローチャートを参照して説明する。なお、画像処理装置２の画像メモリ１５には、入力部１およびバス１２を介して撮影装置１から入力された動画像（連続して撮影された複数の静止画像）が記憶されているものとする。
【００２７】
ステップＳ１において、動きベクトル検出部１６は、画像メモリ１５が記憶する動画像（連続する複数の画像）のうち、先頭の画像を読み出して基準画像Ｐ1とし、操作入力部１３に対するユーザの操作に従ってリファレンス領域Ｒを設定する。ステップＳ２において、動きベクトル検出部１６は、ユーザが描画する線分によって指定された部分をリファレンス領域Ｒにおける不動の前景部分（参照画像の対応する部分においても変化しない部分）に設定する。
【００２８】
ステップＳ１，Ｓ２におけるユーザの操作について、図９および図１０を参照して具体的に説明する。図９は、表示装置３に表示される基準画像Ｐ1の表示例を示している。ユーザは、図９に示すように、基準画像Ｐ1に重畳して破線で表示される矩形を移動させ、リファレンス領域Ｒを指定する。さらに、例えば、図１０に示すように、線分Ｌ1，Ｌ2を描線することにより、線分Ｌ1，Ｌ2とリファレンス領域Ｒを示す破線とで囲まれた部分を、リファレンス領域Ｒにおける不動の前景部分（参照画像の対応する部分においても変化しない部分）として指定する。なお、前景部分を指定する線分は、２本に限定されるものではなく、１本であってもよいし、３本以上であってもよい。
【００２９】
図８に戻り、ステップＳ３において、動きベクトル検出部１６は、基準画像Ｐ1に続く参照画像Ｐ2を画像メモリ１５から読み出し、参照画像Ｐ2を探索範囲としてリファレンス領域と同じサイズの比較領域Ｃi（ｉ＝１，２，・・・，ｍ）を数画素ごとに移動して設定し、リファレンス領域Ｒのうちの前景部分の各画素と、比較領域Ｃiの対応する各画素との適切度Ｔ１iを算出する。なお、適切度Ｔ１iは、「２乗誤差の合計値」または「絶対値誤差の合計値」が最小となる、あるいは「正規化された相互相関値」が最大となることに基づいて算出される。
【００３０】
ステップＳ４において、動きベクトル検出部１６は、リファレンス領域Ｒのうちの線分Ｌ1の付近を、線分Ｌ1に対して垂直な方向に微分する。以下、線分Ｌ1の付近が線分Ｌ1に対して垂直な方向に微分されているリファレンス領域Ｒを、第１の差分リファレンス領域ＲL1と記述する。また、動きベクトル検出部１６は、参照画像Ｐ2の比較領域Ｃiを、線分Ｌ1に対して垂直な方向に微分する。以下、線分Ｌ1に対して垂直な方向に微分されている比較領域Ｃiを、第１の差分比較領域ＣiL1と記述する。
【００３１】
さらに、動きベクトル検出部１６は、第１の差分リファレンス領域ＲL1の各画素と、第１の差分比較領域ＣiL1の対応する各画素との適切度Ｔ２iを算出する。なお、適切度Ｔ２iは、「２乗誤差の合計値」または「絶対値誤差の合計値」が最小となる、あるいは「正規化された相互相関値」が最大となることに基づいて算出される。
【００３２】
ステップＳ５において、動きベクトル検出部１６は、リファレンス領域Ｒのうちの線分Ｌ2の付近を、線分Ｌ2に対して垂直な方向に微分する。以下、線分Ｌ2付近が線分Ｌ2に対して垂直な方向に微分されているリファレンス領域Ｒを、第２の差分リファレンス領域ＲL2と記述する。また、動きベクトル検出部１６は、参照画像Ｐ2の比較領域Ｃiを、線分Ｌ2に対して垂直な方向に微分する。以下、線分Ｌ2に対して垂直な方向に微分されている比較領域Ｃiを、第２の差分比較領域ＣiL2と記述する。
【００３３】
さらに、動きベクトル検出部１６は、第２の差分リファレンス領域ＲL2の各画素と、第２の差分比較領域ＣiL2の対応する各画素との適切度Ｔ３iを算出する。なお、適切度Ｔ３iは、「２乗誤差の合計値」または「絶対値誤差の合計値」が最小となる、あるいは「正規化された相互相関値」が最大となることに基づいて算出される。
【００３４】
ステップＳ６において、動きベクトル検出部１６は、比較領域Ｃiに対して算出した適切値Ｔ１i，Ｔ２i，Ｔ３iを加算して適切値Ｔｓiを算出する。ステップＳ７において、動きベクトル検出部１６は、適切値Ｔｓiの最大値を検出し、適切値Ｔｓiの最大値に対応する比較領域Ｃiを、リファレンス領域Ｒに対応する参照画像Ｐ2のマッチング領域に決定する。
【００３５】
ステップＳ８において、動きベクトル検出部１６は、基準画像Ｐ1と参照画像Ｐ2との動きベクトルＶ12を算出し、算出した動きベクトルＶ1nを、バス１２を介して画像補正部１７に出力する。ステップＳ９において、画像補正部１７は、画像メモリ１５から参照画像Ｐ2を読み出し、読み出した参照画像Ｐ2を動きベクトルＶ12だけずらして補正画像Ｐ2’に変換し、バス１２を介して出力部１８に供給する。
【００３６】
なお、参照画像Ｐ2に続く参照画像Ｐnに対しては、ステップＳ３乃至ステップＳ９の処理が施されて補正画像Ｐn’に変換される。
【００３７】
以上説明したように、本発明の一実施の形態である画像処理装置２によれば、リファレンス領域Ｒに対応するマッチング領域を検出するとき、前景部分と前景部分と背景部分の境界にだけ着目して、背景部分については考慮しないので、背景が時間の経過とともに変化したとしても正確にマッチング領域を検出することができる。したがって、正確な動きベクトルを求めることができるので、画面が振動する動画像を、画面が振動しない動画像に変換することができる。
【００３８】
ところで、上述した一連の処理は、画像処理装置２のようなハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【００３９】
この記録媒体は、図１１に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク３１（フロッピディスクを含む）、光ディスク３２（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク３３（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリ３４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２２や記憶部２８に含まれるハードディスクなどで構成される。
【００４０】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００４１】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【００４２】
【発明の効果】
以上のように、本発明の画像処理装置および方法、並びにプログラムによれば、受け付けたユーザの操作に従って第１の基準領域を前景部分と背景部分に区分する境界を設定し、第１の基準領域の前景部分と、複数の比較領域との相関度を示す第１の適切度を算出し、第２の基準領域の境界の付近と、複数の比較領域との相関度を示す第２の適切度を算出し、第１および第２の適切度の加算値に基づき、複数の比較領域の中から、第１の基準領域に対応するマッチング領域を決定するようにしたので、第１の基準領域に対応する参照画像のマッチング領域を確実に検出することが可能となる。
【図面の簡単な説明】
【図１】従来のスタビライザ処理を説明するための図である。
【図２】従来のスタビライザ処理を説明するための図である。
【図３】従来のスタビライザ処理を説明するための図である。
【図４】従来のスタビライザ処理を説明するための図である。
【図５】従来のスタビライザ処理を説明するための図である。
【図６】従来のスタビライザ処理を説明するための図である。
【図７】本発明の一実施の形態である画像処理装置２の構成例を示すブロック図である。
【図８】画像処理装置２による補正処理を説明するフローチャートである。
【図９】リファレンス領域を設定するユーザの操作を説明するための図である。
【図１０】リファレンス領域のうちの前景部分を指定するユーザの操作を説明するための図である。
【図１１】汎用のパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
２ 画像処理装置， １１ 制御部， １２ バス， １３ 操作入力部， １４ 入力部， １５ 画像メモリ， １６ 動きベクトル検出部， １７ 画像補正部， １８ 出力部， ２１ CPU， ３１ 磁気ディスク， ３２ 光ディスク， ３３ 光磁気ディスク， ３４ 半導体メモリ
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、例えば、連続して撮影された複数の画像間における動きベクトルを検出する場合に用いて好適な画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
従来、ビデオカメラを三脚などで固定することなく、手に持って撮影をおこなった場合、手振れに起因して撮影した動画像が上下左右に振動し、再生したときに見難い画面となってしまう問題があった。そのような問題を解決する方法として、画面が振動する動画像を、画面が振動しない動画像に変換する処理、いわゆるスタビライザ処理が知られている。
【０００３】
スタビライザ処理について、図１乃至図６を参照して説明する。図１乃至図３は、それぞれ、手振れに起因して画面に振動が生じている動画像のうちのタイミングｔ 1 乃至タイミングｔ3の画像Ｐ1乃至画像Ｐ3を示している。当該動画像は、移動しない机とドアの間を画面の左側から右側に移動する人物の様子が撮影されたものである。
【０００４】
スタビライザ処理では、始めに、図１に示したタイミングｔ1の画像Ｐ1（以下、基準画像Ｐ1と記述する）における所定のサイズの特徴がある領域（例えば、机のように移動しない物体のエッジを含む領域）が指定される。例えば、基準画像Ｐ1の原点（０，０）から距離（Ｘ１，Ｙ１）の位置にある破線で囲まれた領域Ｒ1が指定される。以下、指定された領域Ｒ1をリファレンス領域Ｒ1と記述する。
【０００５】
次に、領域として、図２のタイミングｔ2の画像Ｐ2（以下、参照画像Ｐ2と記述する）の中で、基準画像Ｐ1のリファレンス領域Ｒ1に対応するマッチング領域（図２の領域Ｍ1）がブロックマッチング法によって検出される。
【０００６】
ブロックマッチング法では、参照画像Ｐ2の全体を探索範囲として、リファレンス領域Ｒ1の各画素と対応する画素との「２乗誤差の合計値」または「絶対値誤差の合計値」が最小となる領域、あるいは「正規化された相互相関値（normalized cross correlation）」が最大となる領域が探索されて、リファレンス領域Ｒ1に対応するマッチング領域Ｍ1が検出される。
【０００７】
ただし、ブロックマッチング法における演算量を削減するために、参照画像Ｐ2の全体を探索範囲とせず、より狭い領域を探索範囲とすることが行われる。例えば、画像間の動きベクトルが１０画素程度であることがわかっている場合、リファレンス領域Ｒ1よりも上下左右に１０画素程度大きい領域が探索範囲とされる。
【０００８】
なお、ブロックマッチング法の詳細については、「ディジタル画像処理：（株）近代科学社発行、監訳者：長尾真」の「８．３章マッチング（整合）」に記載されている。
【０００９】
検出されたマッチング領域Ｍ1は、参照画像Ｐ2の原点（０，０）から距離（Ｘ２，Ｙ２）の位置にある。同様に、図３のタイミングｔ3の画像Ｐ3（以下、参照画像Ｐ3と記述する）の中で、リファレンス領域Ｒ1に対応するマッチング領域（図３のマッチング領域Ｍ2）がブロックマッチング法によって検出される。マッチング領域Ｍ2は、参照画像Ｐ3の原点（０，０）から距離（Ｘ３，Ｙ３）の位置にある。
【００１０】
次に、基準画像Ｐ1と参照画像Ｐ2との間の動きベクトルＶ12（Ｘ１−Ｘ２，Ｙ１−Ｙ２）と、基準画像Ｐ1と参照画像Ｐ3との間の動きベクトルＶ13（Ｘ１−Ｘ３，Ｙ１−Ｙ３）が演算される。次に、基準画像Ｐ1はそのまま補正画像Ｐ1’とされ、参照画像Ｐ2は全体が動きベクトルＶ12（Ｘ１−Ｘ２，Ｙ１−Ｙ２）だけずらされて補正画像Ｐ2’に変換され、参照画像Ｐ3は全体が動きベクトルＶ13（Ｘ１−Ｘ３，Ｙ１−Ｙ３）だけずらされて補正画像Ｐ3’に変換される。
【００１１】
以上説明したように、スタビライザ処理によれば、基準画像Ｐ1、および参照画像Ｐ2，Ｐ3が、それぞれ図４乃至は図６に示す補正画像Ｐ1’乃至補正画像Ｐ3’に変換される。図４乃至図６に示すように、変換された補正画像Ｐ1’乃至補正画像Ｐ3’では、机、椅子、およびドアなどの移動しない物体が画面上の同一の座標に位置している。なお、実際には、画像Ｐ1乃至画像Ｐ3以外の元の動画像を構成する全ての画像も同様に変換される。したがって、変換された複数の連続する画像を再生した場合、画面が振動しない動画像となる。
【００１２】
【発明が解決しようとする課題】
ところで、基準画像Ｐ1において領域Ｒ1がリファレンス領域に指定されれば、上述したブロックマッチング法によって、リファレンス領域に対応する参照画像の中のマッチング領域が検出され、適切な動きベクトルが求められる。しかしながら、基準画像Ｐ1において不適切な領域がリファレンス領域に指定された場合、参照画像の中から、基準画像Ｐ1のリファレンス領域に対応するマッチング領域が検出されないことがある。そのような場合、基準画像Ｐ1と参照画像との動きベクトルを求めることができないので、画面が振動する動画像を補正することができない。
【００１３】
例えば、基準画像Ｐ1において領域Ｒ2がリファレンス領域に指定された場合、リファレンス領域Ｒ2は、移動しない机のエッジなどの特徴的な部分（前景またはフォアグランドとも記述する）と、その他の背景（バックグランドとも記述する）から構成されているが、基準画像Ｐ1のリファレンス領域Ｒ2に対応する領域として検出されるべき参照画像Ｐ2のマッチング領域には、移動中の人物が含まれているので、当該領域をリファレンス領域Ｒ2に対応するマッチング領域として検出することができない課題があった。
【００１４】
本発明はこのような状況に鑑みてなされたものであり、基準画像におけるリファレンス領域の前景を線分によって区分けすることにより、基準画像のリファレンス領域に対応する参照画像のマッチング領域を確実に検出できるようにすることを目的とする。
【００１５】
【課題を解決するための手段】
本発明の画像処理装置は、基準画像と参照画像を入力する画像入力手段と、ユーザの操作を受け付ける受付手段と、受付手段が受け付けたユーザの操作に従って、基準画像における第１の基準領域を設定する基準領域設定手段と、受付手段が受け付けたユーザの操作に従って、第１の基準領域を前景部分と背景部分に区分する境界を設定する区分手段と、参照画像に複数の比較領域を設定する比較領域設定手段と、第１の基準領域の前景部分と、複数の比較領域との相関度を示す第１の適切度を算出する第１の算出手段と、第１の基準領域の境界の付近を、境界に対して垂直方向に微分して第２の基準領域を生成する生成手段と、第２の基準領域の境界の付近と、複数の比較領域との相関度を示す第２の適切度を算出する第２の算出手段と、第１および第２の適切度の加算値に基づき、複数の比較領域の中から、第１の基準領域に対応するマッチング領域を決定する決定手段と、基準画像における第１の基準領域の位置と、参照画像におけるマッチング領域の位置に基づき、基準画像と参照画像との間の動きベクトルを演算する演算手段とを含むことを特徴とする。
【００１６】
前記受付手段は、ユーザの描線の操作を受け付けるようにすることができ、前記区分手段は、ユーザが描線した少なくとも１本以上の線分を、第１の基準領域を前景部分と背景部分に区分する境界に設定するようにすることができる。
【００１７】
本発明の画像処理装置は、動きベクトルに基づき、参照画像の全体を移動することによって補正画像を生成する補正手段をさらに含むことを特徴とする。
【００１８】
本発明の画像処理方法は、基準画像と参照画像を入力する画像入力ステップと、ユーザの操作を受け付ける受付ステップと、受付ステップの処理で受け付けられたユーザの操作に従って、基準画像における第１の基準領域を設定する基準領域設定ステップと、受付ステップの処理で受け付けられたユーザの操作に従って、第１の基準領域を前景部分と背景部分に区分する境界を設定する区分ステップと、参照画像に複数の比較領域を設定する比較領域設定ステップと、第１の基準領域の前景部分と、複数の比較領域との相関度を示す第１の適切度を算出する第１の算出ステップと、第１の基準領域の境界の付近を、境界に対して垂直方向に微分して第２の基準領域を生成する生成ステップと、第２の基準領域の境界の付近と、複数の比較領域との相関度を示す第２の適切度を算出する第２の算出ステップと、第１および第２の適切度の加算値に基づき、複数の比較領域の中から、第１の基準領域に対応するマッチング領域を決定する決定ステップと、基準画像における第１の基準領域の位置と、参照画像におけるマッチング領域の位置に基づき、基準画像と参照画像との間の動きベクトルを演算する演算ステップとを含むことを特徴とする。
【００１９】
本発明の記録媒体のプログラムは、基準画像と参照画像を入力する画像入力ステップと、ユーザの操作を受け付ける受付ステップと、受付ステップの処理で受け付けられたユーザの操作に従って、基準画像における第１の基準領域を設定する基準領域設定ステップと、受付ステップの処理で受け付けられたユーザの操作に従って、第１の基準領域を前景部分と背景部分に区分する境界を設定する区分ステップと、参照画像に複数の比較領域を設定する比較領域設定ステップと、第１の基準領域の前景部分と、複数の比較領域との相関度を示す第１の適切度を算出する第１の算出ステップと、第１の基準領域の境界の付近を、境界に対して垂直方向に微分して第２の基準領域を生成する生成ステップと、第２の基準領域の境界の付近と、複数の比較領域との相関度を示す第２の適切度を算出する第２の算出ステップと、第１および第２の適切度の加算値に基づき、複数の比較領域の中から、第１の基準領域に対応するマッチング領域を決定する決定ステップと、基準画像における第１の基準領域の位置と、参照画像におけるマッチング領域の位置に基づき、基準画像と参照画像との間の動きベクトルを演算する演算ステップとを含むことを特徴とする。
【００２０】
本発明のプログラムは、基準画像と参照画像を入力する画像入力ステップと、ユーザの操作を受け付ける受付ステップと、受付ステップの処理で受け付けられたユーザの操作に従って、基準画像における第１の基準領域を設定する基準領域設定ステップと、受付ステップの処理で受け付けられたユーザの操作に従って、第１の基準領域を前景部分と背景部分に区分する境界を設定する区分ステップと、参照画像に複数の比較領域を設定する比較領域設定ステップと、第１の基準領域の前景部分と、複数の比較領域との相関度を示す第１の適切度を算出する第１の算出ステップと、第１の基準領域の境界の付近を、境界に対して垂直方向に微分して第２の基準領域を生成する生成ステップと、第２の基準領域の境界の付近と、複数の比較領域との相関度を示す第２の適切度を算出する第２の算出ステップと、第１および第２の適切度の加算値に基づき、複数の比較領域の中から、第１の基準領域に対応するマッチング領域を決定する決定ステップと、基準画像における第１の基準領域の位置と、参照画像におけるマッチング領域の位置に基づき、基準画像と参照画像との間の動きベクトルを演算する演算ステップとをコンピュータに実行させることを特徴とする。
【００２１】
本発明の画像処理装置および方法、並びにプログラムにおいては、基準画像と参照画像が入力され、ユーザの操作が受け付けられ、受け付けられたユーザの操作に従って基準画像における第１の基準領域が設定され、受け付けられたユーザの操作に従って第１の基準領域を前景部分と背景部分に区分する境界が設定される。また、参照画像に複数の比較領域が設定され、第１の基準領域の前景部分と、複数の比較領域との相関度を示す第１の適切度が算出される。さらに、第１の基準領域の境界の付近を境界に対して垂直方向に微分して第２の基準領域が生成され、第２の基準領域の境界の付近と、複数の比較領域との相関度を示す第２の適切度が算出される。さらに、第１および第２の適切度の加算値に基づき、複数の比較領域の中から、第１の基準領域に対応するマッチング領域が決定され、基準画像における第１の基準領域の位置と、参照画像におけるマッチング領域の位置に基づき、基準画像と参照画像との間の動きベクトルが演算される。
【００２２】
【発明の実施の形態】
本発明の一実施の形態である画像処理装置の構成例について、図７を参照して説明する。この画像処理装置２は、撮影装置１から供給される動画像（連続して撮影された静止画像）を、画面が振動しない動画像に変換して表示装置３に出力するものである。なお、画像処理装置２には、図１乃至図３に示した基準画像Ｐ1、および参照画像Ｐ2，Ｐ3を含む動画像が撮影装置１から供給されるものとする。
【００２３】
画像処理装置２において、制御部１１は、操作入力部１３から入力されるユーザからの操作の情報に対応し、バス１２を介して画像処理装置２の各部を制御する。操作入力部１３は、ユーザの操作、例えば、基準画像Ｐ1における所定のサイズの特徴的なリファレンス領域Ｒを指定する操作と、リファレンス領域Ｒの中の前景（例えば、図１における不動の机）を指定するための複数の線分（例えば、２本の線分Ｌ1，Ｌ2）を指定する操作などを受け付け、その操作の情報を、バス１２を介して制御部１１に出力する。入力部１４は、撮影装置１から入力される動画像を、バス１２を介して画像メモリ１５に出力する。画像メモリ１５は、入力部１４からバス１２を介して供給される動画像（連続して撮影された静止画像）を記憶する。
【００２４】
動きベクトル検出部１６は、画像メモリ１５が記憶する動画像を構成する静止画像を順次読み出し、例えば、先頭の画像を基準画像Ｐ1とし、ユーザの操作に従ってリファレンス領域Ｒを設定し、さらに、リファレンス領域Ｒの中の前景を設定する。さらに、動きベクトル検出部１６は、以降に読み出す画像を参照画像Ｐn（ｎ＝２，３，４，・・・）とし、基準画像Ｐ1のリファレンス領域Ｒに対応する参照画像Ｐnのマッチング領域を検出して、基準画像Ｐ1と参照画像Ｐnとの動きベクトルＶ1n（Ｘ１−Ｘｎ，Ｙ１−Ｙｎ）を算出し、算出した動きベクトルＶ1nを、バス１２を介して画像補正部１７に出力する。
【００２５】
画像補正部１７は、画像メモリ１５から基準画像Ｐ1を読み出し、そのまま補正画像Ｐ1’として、バス１２を介して出力部１８に供給する。また、画像補正部１７は、画像メモリ１５から参照画像Ｐnを読み出し、読み出した参照画像Ｐnを動きベクトルＶ1nだけずらして補正画像Ｐn’に変換し、バス１２を介して出力部１８に供給する。出力部１８は、基準画像Ｐ1においてリファレンス領域Ｒを指定する操作や、リファレンス領域Ｒの中の前景を指定する操作のために、基準画像Ｐ1や操作中の画面を表示装置３に出力する。また、出力部１８は、画像補正部１７からバス１２を介して供給される補正画像Ｐ1’，Ｐn’（ｎ＝２，３，４，・・・）をバッファリングし、所定のレートで後段の表示装置３に出力する。
【００２６】
次に、画像処理装置２による補正処理について、図７のフローチャートを参照して説明する。なお、画像処理装置２の画像メモリ１５には、入力部１およびバス１２を介して撮影装置１から入力された動画像（連続して撮影された複数の静止画像）が記憶されているものとする。
【００２７】
ステップＳ１において、動きベクトル検出部１６は、画像メモリ１５が記憶する動画像（連続する複数の画像）のうち、先頭の画像を読み出して基準画像Ｐ1とし、操作入力部１３に対するユーザの操作に従ってリファレンス領域Ｒを設定する。ステップＳ２において、動きベクトル検出部１６は、ユーザが描画する線分によって指定された部分をリファレンス領域Ｒにおける不動の前景部分（参照画像の対応する部分においても変化しない部分）に設定する。
【００２８】
ステップＳ１，Ｓ２におけるユーザの操作について、図９および図１０を参照して具体的に説明する。図９は、表示装置３に表示される基準画像Ｐ1の表示例を示している。ユーザは、図９に示すように、基準画像Ｐ1に重畳して破線で表示される矩形を移動させ、リファレンス領域Ｒを指定する。さらに、例えば、図１０に示すように、線分Ｌ1，Ｌ2を描線することにより、線分Ｌ1，Ｌ2とリファレンス領域Ｒを示す破線とで囲まれた部分を、リファレンス領域Ｒにおける不動の前景部分（参照画像の対応する部分においても変化しない部分）として指定する。なお、前景部分を指定する線分は、２本に限定されるものではなく、１本であってもよいし、３本以上であってもよい。
【００２９】
図８に戻り、ステップＳ３において、動きベクトル検出部１６は、基準画像Ｐ1に続く参照画像Ｐ2を画像メモリ１５から読み出し、参照画像Ｐ2を探索範囲としてリファレンス領域と同じサイズの比較領域Ｃi（ｉ＝１，２，・・・，ｍ）を数画素ごとに移動して設定し、リファレンス領域Ｒのうちの前景部分の各画素と、比較領域Ｃiの対応する各画素との適切度Ｔ１iを算出する。なお、適切度Ｔ１iは、「２乗誤差の合計値」または「絶対値誤差の合計値」が最小となる、あるいは「正規化された相互相関値」が最大となることに基づいて算出される。
【００３０】
ステップＳ４において、動きベクトル検出部１６は、リファレンス領域Ｒのうちの線分Ｌ1の付近を、線分Ｌ1に対して垂直な方向に微分する。以下、線分Ｌ1の付近が線分Ｌ1に対して垂直な方向に微分されているリファレンス領域Ｒを、第１の差分リファレンス領域ＲL1と記述する。また、動きベクトル検出部１６は、参照画像Ｐ2の比較領域Ｃiを、線分Ｌ1に対して垂直な方向に微分する。以下、線分Ｌ1に対して垂直な方向に微分されている比較領域Ｃiを、第１の差分比較領域ＣiL1と記述する。
【００３１】
さらに、動きベクトル検出部１６は、第１の差分リファレンス領域ＲL1の各画素と、第１の差分比較領域ＣiL1の対応する各画素との適切度Ｔ２iを算出する。なお、適切度Ｔ２iは、「２乗誤差の合計値」または「絶対値誤差の合計値」が最小となる、あるいは「正規化された相互相関値」が最大となることに基づいて算出される。
【００３２】
ステップＳ５において、動きベクトル検出部１６は、リファレンス領域Ｒのうちの線分Ｌ2の付近を、線分Ｌ2に対して垂直な方向に微分する。以下、線分Ｌ2付近が線分Ｌ2に対して垂直な方向に微分されているリファレンス領域Ｒを、第２の差分リファレンス領域ＲL2と記述する。また、動きベクトル検出部１６は、参照画像Ｐ2の比較領域Ｃiを、線分Ｌ2に対して垂直な方向に微分する。以下、線分Ｌ2に対して垂直な方向に微分されている比較領域Ｃiを、第２の差分比較領域ＣiL2と記述する。
【００３３】
さらに、動きベクトル検出部１６は、第２の差分リファレンス領域ＲL2の各画素と、第２の差分比較領域ＣiL2の対応する各画素との適切度Ｔ３iを算出する。なお、適切度Ｔ３iは、「２乗誤差の合計値」または「絶対値誤差の合計値」が最小となる、あるいは「正規化された相互相関値」が最大となることに基づいて算出される。
【００３４】
ステップＳ６において、動きベクトル検出部１６は、比較領域Ｃiに対して算出した適切値Ｔ１i，Ｔ２i，Ｔ３iを加算して適切値Ｔｓiを算出する。ステップＳ７において、動きベクトル検出部１６は、適切値Ｔｓiの最大値を検出し、適切値Ｔｓiの最大値に対応する比較領域Ｃiを、リファレンス領域Ｒに対応する参照画像Ｐ2のマッチング領域に決定する。
【００３５】
ステップＳ８において、動きベクトル検出部１６は、基準画像Ｐ1と参照画像Ｐ2との動きベクトルＶ12を算出し、算出した動きベクトルＶ1nを、バス１２を介して画像補正部１７に出力する。ステップＳ９において、画像補正部１７は、画像メモリ１５から参照画像Ｐ2を読み出し、読み出した参照画像Ｐ2を動きベクトルＶ12だけずらして補正画像Ｐ2’に変換し、バス１２を介して出力部１８に供給する。
【００３６】
なお、参照画像Ｐ2に続く参照画像Ｐnに対しては、ステップＳ３乃至ステップＳ９の処理が施されて補正画像Ｐn’に変換される。
【００３７】
以上説明したように、本発明の一実施の形態である画像処理装置２によれば、リファレンス領域Ｒに対応するマッチング領域を検出するとき、前景部分と前景部分と背景部分の境界にだけ着目して、背景部分については考慮しないので、背景が時間の経過とともに変化したとしても正確にマッチング領域を検出することができる。したがって、正確な動きベクトルを求めることができるので、画面が振動する動画像を、画面が振動しない動画像に変換することができる。
【００３８】
ところで、上述した一連の処理は、画像処理装置２のようなハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【００３９】
この記録媒体は、図１１に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク３１（フロッピディスクを含む）、光ディスク３２（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク３３（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリ３４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２２や記憶部２８に含まれるハードディスクなどで構成される。
【００４０】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００４１】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【００４２】
【発明の効果】
以上のように、本発明の画像処理装置および方法、並びにプログラムによれば、受け付けたユーザの操作に従って第１の基準領域を前景部分と背景部分に区分する境界を設定し、第１の基準領域の前景部分と、複数の比較領域との相関度を示す第１の適切度を算出し、第２の基準領域の境界の付近と、複数の比較領域との相関度を示す第２の適切度を算出し、第１および第２の適切度の加算値に基づき、複数の比較領域の中から、第１の基準領域に対応するマッチング領域を決定するようにしたので、第１の基準領域に対応する参照画像のマッチング領域を確実に検出することが可能となる。
【図面の簡単な説明】
【図１】従来のスタビライザ処理を説明するための図である。
【図２】従来のスタビライザ処理を説明するための図である。
【図３】従来のスタビライザ処理を説明するための図である。
【図４】従来のスタビライザ処理を説明するための図である。
【図５】従来のスタビライザ処理を説明するための図である。
【図６】従来のスタビライザ処理を説明するための図である。
【図７】本発明の一実施の形態である画像処理装置２の構成例を示すブロック図である。
【図８】画像処理装置２による補正処理を説明するフローチャートである。
【図９】リファレンス領域を設定するユーザの操作を説明するための図である。
【図１０】リファレンス領域のうちの前景部分を指定するユーザの操作を説明するための図である。
【図１１】汎用のパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
２ 画像処理装置， １１ 制御部， １２ バス， １３ 操作入力部， １４ 入力部， １５ 画像メモリ， １６ 動きベクトル検出部， １７ 画像補正部， １８ 出力部， ２１ CPU， ３１ 磁気ディスク， ３２ 光ディスク， ３３ 光磁気ディスク， ３４ 半導体メモリ
Claims (6)
- 基準画像と参照画像との間の動きベクトルを検出する画像処理装置において、
前記基準画像と前記参照画像を入力する画像入力手段と、
ユーザの操作を受け付ける受付手段と、
前記受付手段が受け付けた前記ユーザの操作に従って、前記基準画像における第１の基準領域を設定する基準領域設定手段と、
前記受付手段が受け付けた前記ユーザの操作に従って、前記第１の基準領域を前景部分と背景部分に区分する境界を設定する区分手段と、
前記参照画像に複数の比較領域を設定する比較領域設定手段と、
前記第１の基準領域の前記前景部分と、複数の前記比較領域との相関度を示す第１の適切度を算出する第１の算出手段と、
前記第１の基準領域の前記境界の付近を、前記境界に対して垂直方向に微分して第２の基準領域を生成する生成手段と、
前記第２の基準領域の前記境界の付近と、複数の前記比較領域との相関度を示す第２の適切度を算出する第２の算出手段と、
前記第１および第２の適切度の加算値に基づき、前記複数の比較領域の中から、前記第１の基準領域に対応するマッチング領域を決定する決定手段と、
前記基準画像における前記第１の基準領域の位置と、前記参照画像における前記マッチング領域の位置に基づき、前記基準画像と前記参照画像との間の前記動きベクトルを演算する演算手段と
を含むことを特徴とする画像処理装置。 - 前記受付手段は、前記ユーザの描線の操作を受け付け、
前記区分手段は、前記ユーザが描線した少なくとも１本以上の線分を、前記第１の基準領域を前記前景部分と前記背景部分に区分する前記境界に設定する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記動きベクトルに基づき、前記参照画像の全体を移動することによって補正画像を生成する補正手段を
さらに含むことを特徴とする請求項１に記載の画像処理装置。 - 基準画像と参照画像との間の動きベクトルを検出する画像処理装置の画像処理方法において、
前記基準画像と前記参照画像を入力する画像入力ステップと、
ユーザの操作を受け付ける受付ステップと、
前記受付ステップの処理で受け付けられた前記ユーザの操作に従って、前記基準画像における第１の基準領域を設定する基準領域設定ステップと、
前記受付ステップの処理で受け付けられた前記ユーザの操作に従って、前記第１の基準領域を前景部分と背景部分に区分する境界を設定する区分ステップと、
前記参照画像に複数の比較領域を設定する比較領域設定ステップと、
前記第１の基準領域の前記前景部分と、複数の前記比較領域との相関度を示す第１の適切度を算出する第１の算出ステップと、
前記第１の基準領域の前記境界の付近を、前記境界に対して垂直方向に微分して第２の基準領域を生成する生成ステップと、
前記第２の基準領域の前記境界の付近と、複数の前記比較領域との相関度を示す第２の適切度を算出する第２の算出ステップと、
前記第１および第２の適切度の加算値に基づき、前記複数の比較領域の中から、前記第１の基準領域に対応するマッチング領域を決定する決定ステップと、
前記基準画像における前記第１の基準領域の位置と、前記参照画像における前記マッチング領域の位置に基づき、前記基準画像と前記参照画像との間の前記動きベクトルを演算する演算ステップと
を含むことを特徴とする画像処理方法。 - 基準画像と参照画像との間の動きベクトルを検出するプログラムであって、
前記基準画像と前記参照画像を入力する画像入力ステップと、
ユーザの操作を受け付ける受付ステップと、
前記受付ステップの処理で受け付けられた前記ユーザの操作に従って、前記基準画像における第１の基準領域を設定する基準領域設定ステップと、
前記受付ステップの処理で受け付けられた前記ユーザの操作に従って、前記第１の基準領域を前景部分と背景部分に区分する境界を設定する区分ステップと、
前記参照画像に複数の比較領域を設定する比較領域設定ステップと、
前記第１の基準領域の前記前景部分と、複数の前記比較領域との相関度を示す第１の適切度を算出する第１の算出ステップと、
前記第１の基準領域の前記境界の付近を、前記境界に対して垂直方向に微分して第２の基準領域を生成する生成ステップと、
前記第２の基準領域の前記境界の付近と、複数の前記比較領域との相関度を示す第２の適切度を算出する第２の算出ステップと、
前記第１および第２の適切度の加算値に基づき、前記複数の比較領域の中から、前記第１の基準領域に対応するマッチング領域を決定する決定ステップと、
前記基準画像における前記第１の基準領域の位置と、前記参照画像における前記マッチング領域の位置に基づき、前記基準画像と前記参照画像との間の前記動きベクトルを演算する演算ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 - 基準画像と参照画像との間の動きベクトルを検出するコンピュータに、
前記基準画像と前記参照画像を入力する画像入力ステップと、
ユーザの操作を受け付ける受付ステップと、
前記受付ステップの処理で受け付けられた前記ユーザの操作に従って、前記基準画像における第１の基準領域を設定する基準領域設定ステップと、
前記受付ステップの処理で受け付けられた前記ユーザの操作に従って、前記第１の基準領域を前景部分と背景部分に区分する境界を設定する区分ステップと、
前記参照画像に複数の比較領域を設定する比較領域設定ステップと、
前記第１の基準領域の前記前景部分と、複数の前記比較領域との相関度を示す第１の適切度を算出する第１の算出ステップと、
前記第１の基準領域の前記境界の付近を、前記境界に対して垂直方向に微分して第２の基準領域を生成する生成ステップと、
前記第２の基準領域の前記境界の付近と、複数の前記比較領域との相関度を示す第２の適切度を算出する第２の算出ステップと、
前記第１および第２の適切度の加算値に基づき、前記複数の比較領域の中から、前記第１の基準領域に対応するマッチング領域を決定する決定ステップと、
前記基準画像における前記第１の基準領域の位置と、前記参照画像における前記マッチング領域の位置に基づき、前記基準画像と前記参照画像との間の前記動きベクトルを演算する演算ステップと
を実行させるプログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001113421A JP4432274B2 (ja) | 2001-04-12 | 2001-04-12 | 画像処理装置および方法、記録媒体、並びにプログラム |
| US10/121,065 US6924836B2 (en) | 2001-04-12 | 2002-04-11 | Image processing apparatus, image processing method, recording medium, and program |
| US11/104,184 US6980237B2 (en) | 2001-04-12 | 2005-04-12 | Image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001113421A JP4432274B2 (ja) | 2001-04-12 | 2001-04-12 | 画像処理装置および方法、記録媒体、並びにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002312791A JP2002312791A (ja) | 2002-10-25 |
| JP4432274B2 true JP4432274B2 (ja) | 2010-03-17 |
Family
ID=18964643
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001113421A Expired - Fee Related JP4432274B2 (ja) | 2001-04-12 | 2001-04-12 | 画像処理装置および方法、記録媒体、並びにプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US6924836B2 (ja) |
| JP (1) | JP4432274B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4432274B2 (ja) * | 2001-04-12 | 2010-03-17 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP2003339029A (ja) * | 2002-05-20 | 2003-11-28 | Sony Corp | 動きベクトル補正回路及び方法 |
| US7295232B2 (en) * | 2003-01-15 | 2007-11-13 | Canon Kabushiki Kaisha | Camera and program |
| JP4566591B2 (ja) * | 2004-03-19 | 2010-10-20 | キヤノン株式会社 | 画像変形推定方法および画像変形推定装置 |
| US20060001647A1 (en) * | 2004-04-21 | 2006-01-05 | David Carroll | Hand-held display device and method of controlling displayed content |
| CN100423551C (zh) * | 2005-01-28 | 2008-10-01 | 广达电脑股份有限公司 | 数字图像稳定方法与装置 |
| TWI271998B (en) * | 2005-09-21 | 2007-01-21 | Inventec Appliances Corp | Image processing method and apparatus thereof |
| US8144247B2 (en) * | 2007-06-21 | 2012-03-27 | Samsung Electronics Co., Ltd. | Detection and interpolation of still objects in a video sequence |
| US8126063B2 (en) * | 2007-06-21 | 2012-02-28 | Samsung Electronics Co., Ltd. | System and method for still object detection based on normalized cross correlation |
| JP5290915B2 (ja) * | 2009-09-03 | 2013-09-18 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| US9530222B2 (en) * | 2015-03-30 | 2016-12-27 | Ca, Inc. | Detecting divergence or convergence of related objects in motion and applying asymmetric rules |
| US10163219B2 (en) * | 2016-06-24 | 2018-12-25 | Fca Us Llc | Machine vision cargo monitoring in a vehicle |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0476603B1 (en) * | 1990-09-20 | 1997-06-18 | Nec Corporation | Method and apparatus for coding moving image signal |
| JP4596201B2 (ja) * | 2001-02-01 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、並びに記録媒体 |
| JP4596202B2 (ja) * | 2001-02-05 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、並びに記録媒体 |
| JP4106874B2 (ja) * | 2001-02-05 | 2008-06-25 | ソニー株式会社 | 画像処理装置および方法、並びに記録媒体 |
| GB2372658A (en) * | 2001-02-23 | 2002-08-28 | Hewlett Packard Co | A method of creating moving video data from a static image |
| US8134613B2 (en) * | 2001-04-10 | 2012-03-13 | Sony Corporation | Image processing apparatus and method, and image pickup apparatus |
| JP4432274B2 (ja) * | 2001-04-12 | 2010-03-17 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP4150949B2 (ja) * | 2001-05-30 | 2008-09-17 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| CN1251148C (zh) * | 2001-06-05 | 2006-04-12 | 索尼公司 | 图像处理设备 |
| EP1396819A4 (en) * | 2001-06-15 | 2006-08-09 | Sony Corp | IMAGE PROCESSING APPARATUS AND METHOD AND IMAGING APPARATUS |
| JP4596216B2 (ja) * | 2001-06-20 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP4596219B2 (ja) * | 2001-06-25 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP4596222B2 (ja) * | 2001-06-26 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP4596221B2 (ja) * | 2001-06-26 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP4596226B2 (ja) * | 2001-06-27 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP4596227B2 (ja) * | 2001-06-27 | 2010-12-08 | ソニー株式会社 | 通信装置および方法、通信システム、記録媒体、並びにプログラム |
| JP4596223B2 (ja) * | 2001-06-27 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
-
2001
- 2001-04-12 JP JP2001113421A patent/JP4432274B2/ja not_active Expired - Fee Related
-
2002
- 2002-04-11 US US10/121,065 patent/US6924836B2/en not_active Expired - Fee Related
-
2005
- 2005-04-12 US US11/104,184 patent/US6980237B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20050185059A1 (en) | 2005-08-25 |
| US6980237B2 (en) | 2005-12-27 |
| US6924836B2 (en) | 2005-08-02 |
| JP2002312791A (ja) | 2002-10-25 |
| US20020172286A1 (en) | 2002-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6980237B2 (en) | Image processing method | |
| US10277812B2 (en) | Image processing to obtain high-quality loop moving image | |
| JP5906028B2 (ja) | 画像処理装置、画像処理方法 | |
| US7856145B2 (en) | Image processing system and method therefor, image processing apparatus and method, image capturing apparatus and method, program recording medium, and program | |
| US8717504B2 (en) | Picture processing apparatus, processing method for use therewith, and program | |
| EP3562143A1 (en) | Image processing device, image processing method, and program | |
| JP2013058828A (ja) | 笑顔判定装置及び方法 | |
| WO2005079062A1 (ja) | 画像処理装置と画像処理方法およびプログラム | |
| JPWO2008129875A1 (ja) | 検出装置、検出方法および検出用集積回路 | |
| TW200913687A (en) | Moving body image extraction apparatus and program | |
| JP2002351603A (ja) | 携帯情報処理装置 | |
| TW201330611A (zh) | 影像處理裝置、影像處理方法、程式 | |
| KR20110089655A (ko) | 촬영 구도를 유도하는 디지털 영상 촬영 장치 및 방법 | |
| KR20140043665A (ko) | 화상 처리 장치, 화상 처리 방법 및 기록 매체 | |
| KR20100064162A (ko) | 디지털 영상 처리기에서 스포츠 자세 교정 장치 및 방법 | |
| JP2010114752A (ja) | 撮像装置及び撮像方法及びプログラム | |
| US9311522B2 (en) | Apparatus and method for improving face recognition ratio | |
| JP2012073997A (ja) | 物体追尾装置、物体追尾方法およびそのプログラム | |
| JP2012068948A (ja) | 顔属性推定装置およびその方法 | |
| KR100945555B1 (ko) | 증강현실 공간을 제공하는 장치 및 방법 | |
| CN110313176A (zh) | 图像处理装置、方法及程序 | |
| JP2000214992A (ja) | 方向指示装置および方向推定方法、並びにその方法にかかるプログラムを記録したコンピュ―タ読み取り可能な記録媒体 | |
| WO2023233638A1 (ja) | トラッキング方法、トラッキングプログラムおよび情報処理装置 | |
| JP4795314B2 (ja) | フリッカ補正装置及びフリッカ補正方法 | |
| JPH02123877A (ja) | 移動物体の自動追尾装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070305 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091201 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091214 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130108 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |