JP3727460B2 - 動きベクトル検出回路 - Google Patents
動きベクトル検出回路 Download PDFInfo
- Publication number
- JP3727460B2 JP3727460B2 JP33394697A JP33394697A JP3727460B2 JP 3727460 B2 JP3727460 B2 JP 3727460B2 JP 33394697 A JP33394697 A JP 33394697A JP 33394697 A JP33394697 A JP 33394697A JP 3727460 B2 JP3727460 B2 JP 3727460B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- circuit
- image
- image signal
- dct
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、デジタルビデオカメラやデジタルスチルカメラにおいて、例えば手ぶれ補正等を行うために動きの検出を行う動きベクトル検出回路に関するものである。
【０００２】
【従来の技術】
近年、ビデオカメラやスチルカメラのデジタル化に伴って、手ぶれによる画像全体のぶれを自動的に補正する手ぶれ補正機能を備えるデジタルビデオカメラやデジタルスチルカメラが普及している。この手ぶれ補正機能は、光学式のビデオカメラやスチルカメラでは実現するのが困難であるが、デジタルビデオカメラやデジタルスチルカメラでは、例えば２画面分の画像信号を比較し、画像の動きベクトルを検出することによって実現されている。
【０００３】
例えば、特開平５−２２６４５号公報には、２画面分の画像信号から、画面の周辺部および中央部の動きベクトルを発生し、これらの動きベクトルの信頼性を相関演算結果や動きベクトルの大きさ等から判定し、中央部の動きベクトルの発散度を判定した後、周辺部および中央部の動きベクトル、その信頼性判定データおよび発散度判定データから画面全体の動きベクトルを決定する動き検出回路が開示されている。
【０００４】
また、特開平５−７５９１３号公報には、２画面分の画像信号から、画面の複数の領域の動きベクトルを発生し、これら動きベクトルの信頼性を各領域の代表点周辺の相関値の分布（平均値、最小値、勾配等）から判定し、信頼性があると判定された領域の動きベクトルの相関分布を検出し、信頼性があると判定された領域の動きベクトルとその相関分布とから画面全体の動きベクトルを決定する動きベクトル検出回路および手ぶれ補正回路が開示されている。
【０００５】
このように、従来の動きベクトル検出回路では、上述する相関演算結果、動きベクトルの大きさ、相関値の分布等から動きベクトルの信頼性、すなわち、発生した各領域の動きベクトルが、画面全体もしくは被写体が動いたことに起因する信頼性のあるもの（有効）なのか、あるいは、周辺の類似の画像信号から間違った動きベクトルを発生したことに起因する信頼性のないもの（無効）なのかを判定している。
【０００６】
しかしながら、従来の動きベクトルの信頼性の判定方法では、動きベクトルを検出しようとする画像の特徴に応じて、例えば複雑で変化の多いものであったり、あるいは、縞模様や幾何学模様等のように、同じ模様が繰り返し出現するもの等である場合、動きベクトルの信頼性を判定するのが非常に難しく、間違った動きベクトルを信頼性のあるものであると判定してしまい、手ぶれ補正等の補正処理が正しく行われない場合があるという問題点があった。
【０００７】
【発明が解決しようとする課題】
本発明の目的は、前記従来技術に基づく問題点をかえりみて、画像の特徴に係らず、動きベクトルの信頼性の判定精度を向上させることができる動きベクトル検出回路を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、本発明は、現画面の画像信号と前画面の画像信号との差分から動きベクトルを発生する動きベクトル発生回路と、１画面を複数のブロックに分割し、各々のブロックに含まれる各画素の画像信号を離散コサイン変換して周波数成分の係数に分解する離散コサイン変換回路と、この離散コサイン変換回路から出力される各係数に基づいて、前記動きベクトル発生回路によって発生される動きベクトルの信頼性を判定し、画像信号を補正処理するための制御信号を出力する制御回路とを有することを特徴とする動きベクトル検出回路を提供するものである。
【０００９】
【発明の実施の形態】
以下に、添付の図面に示す好適実施例に基づいて、本発明の動きベクトル検出回路を詳細に説明する。
【００１０】
図１は、本発明の動きベクトル検出回路の一実施例のブロック図である。
同図は、例えばデジタルビデオカメラやデジタルスチルカメラ等に搭載される手ぶれ補正回路１０に本発明の動きベクトル検出回路１２を適用した場合の一例を示すもので、図示例では、メモリ回路１４、補間回路１６、ＤＣＴ（Discrete Cosine Transform ：離散コサイン変換）回路１８、量子化回路２０、動きベクトル発生回路２２、制御回路２４等を有する。
【００１１】
ここで、ＤＣＴ回路１８、動きベクトル発生回路２２および制御回路２４は、本発明の動きベクトル検出回路１２を構成する。
図示例の手ぶれ補正回路１０において、まず、メモリ回路１４は、デジタル化後の１画面（１フィールドまたは１フレーム）分の画像信号を保持する。メモリ回路１４からは、保持されている前画面の画像信号が補間回路１６に順次供給され、メモリ回路１４には、現画面の画像信号が順次供給されて保持される。
【００１２】
続いて、補間回路１６は、制御回路２４から出力される制御信号に基づいて、メモリ回路１４から供給される画像信号を補間処理する。例えば本実施例では、補間回路１６は、手ぶれによる画像全体のぶれを補正する。補間回路１６から出力される補間処理後の画像信号はＤＣＴ回路１８に供給される。なお、本実施例では、動きベクトルが手ぶれに起因するものではない場合、補間回路１６からは、メモリ回路１４から供給される画像信号がそのまま出力される。
【００１３】
ＤＣＴ回路１８は、例えば１画面を水平８×垂直８画素からなる複数のブロックに分割し、各々のブロック内に含まれる各画素の画像信号を離散コサイン変換して周波数成分の係数に分解する。ＤＣＴ回路１８から出力される係数は、量子化回路２０および制御回路２４に供給される。
また、量子化回路２０は、上記各ブロックについて、ＤＣＴ回路１８から出力される各係数を所定の量子化テーブルに基づいて量子化する。
【００１４】
なお、ＤＣＴ回路１８や量子化回路２０において、ブロックのサイズや分割数等は何ら限定されない。図１に示すように、画像信号の圧縮処理を行うデジタルビデオカメラやデジタルスチルカメラでは、既にＤＣＴ回路１８や量子化回路２０を備えるものも多いため、既に設けられているＤＣＴ回路を共用するようにしてもよいし、あるいは高速化のために、本発明の動きベクトル検出回路１２専用のＤＣＴ回路を別途設けるようにしてもよい。
【００１５】
続いて、動きベクトル発生回路２２は、現画面の画像信号と前画面の画像信号との差分から動きベクトルを発生する。動きベクトル発生回路２２によって発生される動きベクトルは、信頼性のあるもの、信頼性のないものの両方を含んでいる。なお、動きベクトル発生回路２２による動きベクトルの発生方法は何ら限定されず、例えば代表点マッチング法や全画素マッチング法等の従来より公知のいずれの方法も適用可能である。
【００１６】
例えば、代表点マッチング法を適用する場合、動きベクトル発生回路２２においては、画面を複数のブロックに分割した各々のブロックについて、前画面のブロックの中心位置の代表点画素の画像信号と現画面の対応するブロック内の各画素の画像信号との差分絶対値を算出し、画面の所定の領域に含まれるブロックについて、各々対応する画素毎に差分絶対値を累積加算して相関積分値を求め、相関積分値の最小値の座標値を動きベクトルの座標とする。
【００１７】
最後に、制御回路２４は、ＤＣＴ回路１８から出力される各係数に基づいて、動きベクトル発生回路２２によって発生される動きベクトルが、画面全体もしくは被写体が動いたことに起因する信頼性のあるもの（有効）なのか、周辺の類似の画像信号から間違った動きベクトルを発生したことに起因する信頼性のないもの（無効）なのかを判定し、画像信号を補正処理するための制御信号を出力する。この制御信号は、上述する補間回路１６に入力される。
【００１８】
例えば、動きベクトル発生回路２２によって、画面中央部の領域と画面周辺部の複数の領域で各々の動きベクトルが発生されるとする。ここで、画面周辺部の１つの領域の動きベクトルだけが他の領域の動きベクトルとは、その方向ないしは大きさの点で違っている場合、制御回路２４は、上述するように、ＤＣＴ回路１８の係数に基づいて、この他のものとは違う動きベクトルが、信頼性のあるものなのかどうかを判定する。
【００１９】
これに対し、全ての領域の動きベクトルがほぼ同じ場合、制御回路２４は、ＤＣＴ回路１８の係数に係らず、全ての領域の動きベクトルを画面全体の動きベクトルとする。また、画面中央部の領域の動きベクトルだけが違っている場合、画面中央部には被写体が存在することが多いため、制御回路２４は、ＤＣＴ回路１８の係数に係らず、被写体が動いたものと判定する。なお、これらの場合においても、ＤＣＴ変換後の係数に基づいて判定を行うようにしてもよい。
【００２０】
ここで、図２に、ＤＣＴ変換後の係数の一実施例の概念図を示す。
同図（ａ）は複雑で変化の多いランダムな画像、同図（ｂ）は黒から白に変化する単調な画像の１ブロック（水平８画素×垂直８画素）分のＤＣＴ変換後の係数の一例を示すものである。なお、各々のブロックにおいて、左右方向および上下方向は、各々水平周波数成分および垂直周波数成分の分布を示し、各々右方向および下方向のものほど高周波成分である。
【００２１】
図２（ａ）に示すように、複雑で変化の多いランダムな画像のＤＣＴ変換後の各係数は、図示を省略しているが、１ブロック内のほぼ全ての係数が‘０’ではない有効係数となる。これに対し、図２（ｂ）に示すように、黒から白に変化する単調な画像のＤＣＴ変換後の各係数は、同じく図示を省略しているが、１ブロック内のほとんどの係数が無効係数である‘０’となり、画像の特徴に応じて、ある特定の周波数成分の係数だけが有効係数となる。
【００２２】
このように、ＤＣＴ変換後の係数は画像の特徴を如実に表している。すなわち、ＤＣＴ変換後のブロック内の係数がほぼ全て有効係数となる場合、この画像はランダムな画像である。ランダムな画像では、動きベクトルを発生したブロックの代表点の周辺に類似の画素が多く存在する可能性が高いため、間違った動きベクトルを発生しやすい。従って、制御回路２４は、この動きベクトルが信頼性のないものであると判定する。
【００２３】
これに対し、ＤＣＴ変換後のブロック内のほとんどの係数が無効係数となり、ある特定の周波数成分の係数だけが有効係数となる場合、この画像は単調な画像である。単調な画像では、ランダムな画像の場合とは正反対に、動きベクトルを発生したブロックの代表点の周辺に類似の画素が存在する可能性が低いため、間違った動きベクトルは発生しづらい。従って、制御回路２４は、この動きベクトルを信頼性のあるものであると判定する。
【００２４】
また、ＤＣＴ変換後のブロック内の係数がほぼ無効係数である場合であっても、有効係数が規則正しく配列されている場合、この画像は、例えば縞模様や幾何学模様等のように、同じ模様が繰り返し出現する規則的な画像である。規則的な画像では、動きベクトルを発生したブロックの代表点の周辺に同じ画素が繰り返し存在するため、間違った動きベクトルを発生しやすい。従って、制御回路２４は、この動きベクトルが信頼性のないものであると判定する。
【００２５】
なお、動きベクトルを発生する領域と画像信号をＤＣＴ変換するブロックの大きさが異なる場合、例えば動きベクトルを発生する領域内に９つのＤＣＴ変換のブロックが含まれる場合、制御回路２４は、動きベクトルを発生する領域内に含まれる９つのＤＣＴ変換のブロックの係数を個別に判定し、例えばランダムな画像に相当するＤＣＴ変換後のブロックが多い場合、ランダムな画像であると判断するというようにして動きベクトルの信頼性の判定を行う。
【００２６】
上述する実施例においては、画像の特徴について３つの具体例を挙げて説明したが、本発明はこれに限定されるものではない。すなわち、例えばランダムな画像と単調な画像が同時に存在するような画像等、様々な特徴を有する画像が無限に存在するため、例えば様々な特徴を有する画像のＤＣＴ変換後の係数の特徴を予めデータベース化しておくことにより、制御回路２４における動きベクトルの信頼性の判定精度を飛躍的に向上させることができる。
【００２７】
図示例の手ぶれ補正回路１０においては、現画面の画像信号がメモリ回路１２に供給される。メモリ回路１４からは、既に保持されている前画面の画像信号が補間回路１６に順次供給されるとともに、メモリ回路１４には、供給される現画面の画像信号が順次保持される。また、現画面の画像信号は動きベクトル発生回路２２にも入力され、現画面の画像信号と前画面の画像信号との差分から複数の領域における動きベクトルが発生される。
【００２８】
補間回路１６においては、まず、制御回路２４から出力される制御信号の制御によって、メモリ回路１２から供給される画像信号がそのまま出力され、ＤＣＴ回路１６に供給される。ＤＣＴ回路１８に供給された画像信号は、例えば１画面が水平８×垂直８画素からなる複数のブロックに分割され、各々のブロックについて、ブロック内に含まれる各画素の画像信号が離散コサイン変換されて周波数成分の係数に分解される。
【００２９】
制御回路２４では、ＤＣＴ回路１８から入力される各ブロックの係数に基づいて、動きベクトル発生回路２２から入力される各領域の動きベクトルが、信頼性のあるものなのか、信頼性のないものなのかが判定される。ここで、信頼性があると判定された各領域の動きベクトルから画面全体の動きベクトルが発生され、この画面全体の動きベクトルに基づいて、画像信号を手ぶれ補正等の補正処理するための制御信号が出力される。
【００３０】
この制御信号は補間回路１６に入力され、補間回路１４において、制御回路２４から出力される制御信号に基づいて、メモリ回路１４から供給される画像信号が補間処理される。補間回路１４から出力される画像信号はＤＣＴ回路１６に供給され、ＤＣＴ回路１６において、上述するように、各ブロック毎に離散コサイン変換された後、量子化回路１８において、所定の量子化テーブルに基づいて量子化される。
【００３１】
本発明の動きベクトル検出回路は、基本的に以上のようなものである。
なお、本発明は、図示例のものに限定されず、例えばＤＣＴ回路を本発明専用に別途設け、画像信号を直接入力するようにしてもよいし、メモリ回路から出力される画像信号を動きベクトル発生回路や専用のＤＣＴ回路に入力するようにしてもよい。また、本発明の動きベクトル検出回路は、手ぶれ補正回路に限定されず、動きベクトルを使用するあらゆる回路に適用可能である。
【００３２】
以上、本発明の動きベクトル検出回路について詳細に説明したが、本発明は上記実施例に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
【００３３】
【発明の効果】
以上詳細に説明した様に、本発明の動きベクトル検出回路は、現画面の画像信号と前画面の画像信号との差分から動きベクトルを発生するとともに、１画面を複数のブロックに分割して、各々のブロックに含まれる各画素の画像信号を離散コサイン変換して周波数成分の係数に分解した後、この各係数に基づいて、発生した動きベクトルの信頼性を判定し、画像信号を補正処理するための制御信号を出力するようにしたものである。
従って、本発明の動きベクトル検出回路によれば、画像の特徴を如実に反映する離散コサイン変換後の係数に基づいて、発生した動きベクトルの信頼性を判定しているため、動きベクトルの信頼性の判定精度を飛躍的に向上させることができ、この信頼性の高い動きベクトルを使って、例えば手ぶれ補正等の補正処理を正しく行わせることができる。
【図面の簡単な説明】
【図１】 本発明の動きベクトル検出回路の一実施例のブロック図である。
【図２】 （ａ）および（ｂ）は、いずれもＤＣＴ変換後の係数の一実施例の概念図である。
【符号の説明】
１０ 手ぶれ補正回路
１２ 動きベクトル検出回路
１４ メモリ回路
１６ 補間回路
１８ ＤＣＴ回路
２０ 量子化回路
２２ 動きベクトル発生回路
２４ 制御回路
【発明の属する技術分野】
本発明は、デジタルビデオカメラやデジタルスチルカメラにおいて、例えば手ぶれ補正等を行うために動きの検出を行う動きベクトル検出回路に関するものである。
【０００２】
【従来の技術】
近年、ビデオカメラやスチルカメラのデジタル化に伴って、手ぶれによる画像全体のぶれを自動的に補正する手ぶれ補正機能を備えるデジタルビデオカメラやデジタルスチルカメラが普及している。この手ぶれ補正機能は、光学式のビデオカメラやスチルカメラでは実現するのが困難であるが、デジタルビデオカメラやデジタルスチルカメラでは、例えば２画面分の画像信号を比較し、画像の動きベクトルを検出することによって実現されている。
【０００３】
例えば、特開平５−２２６４５号公報には、２画面分の画像信号から、画面の周辺部および中央部の動きベクトルを発生し、これらの動きベクトルの信頼性を相関演算結果や動きベクトルの大きさ等から判定し、中央部の動きベクトルの発散度を判定した後、周辺部および中央部の動きベクトル、その信頼性判定データおよび発散度判定データから画面全体の動きベクトルを決定する動き検出回路が開示されている。
【０００４】
また、特開平５−７５９１３号公報には、２画面分の画像信号から、画面の複数の領域の動きベクトルを発生し、これら動きベクトルの信頼性を各領域の代表点周辺の相関値の分布（平均値、最小値、勾配等）から判定し、信頼性があると判定された領域の動きベクトルの相関分布を検出し、信頼性があると判定された領域の動きベクトルとその相関分布とから画面全体の動きベクトルを決定する動きベクトル検出回路および手ぶれ補正回路が開示されている。
【０００５】
このように、従来の動きベクトル検出回路では、上述する相関演算結果、動きベクトルの大きさ、相関値の分布等から動きベクトルの信頼性、すなわち、発生した各領域の動きベクトルが、画面全体もしくは被写体が動いたことに起因する信頼性のあるもの（有効）なのか、あるいは、周辺の類似の画像信号から間違った動きベクトルを発生したことに起因する信頼性のないもの（無効）なのかを判定している。
【０００６】
しかしながら、従来の動きベクトルの信頼性の判定方法では、動きベクトルを検出しようとする画像の特徴に応じて、例えば複雑で変化の多いものであったり、あるいは、縞模様や幾何学模様等のように、同じ模様が繰り返し出現するもの等である場合、動きベクトルの信頼性を判定するのが非常に難しく、間違った動きベクトルを信頼性のあるものであると判定してしまい、手ぶれ補正等の補正処理が正しく行われない場合があるという問題点があった。
【０００７】
【発明が解決しようとする課題】
本発明の目的は、前記従来技術に基づく問題点をかえりみて、画像の特徴に係らず、動きベクトルの信頼性の判定精度を向上させることができる動きベクトル検出回路を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、本発明は、現画面の画像信号と前画面の画像信号との差分から動きベクトルを発生する動きベクトル発生回路と、１画面を複数のブロックに分割し、各々のブロックに含まれる各画素の画像信号を離散コサイン変換して周波数成分の係数に分解する離散コサイン変換回路と、この離散コサイン変換回路から出力される各係数に基づいて、前記動きベクトル発生回路によって発生される動きベクトルの信頼性を判定し、画像信号を補正処理するための制御信号を出力する制御回路とを有することを特徴とする動きベクトル検出回路を提供するものである。
【０００９】
【発明の実施の形態】
以下に、添付の図面に示す好適実施例に基づいて、本発明の動きベクトル検出回路を詳細に説明する。
【００１０】
図１は、本発明の動きベクトル検出回路の一実施例のブロック図である。
同図は、例えばデジタルビデオカメラやデジタルスチルカメラ等に搭載される手ぶれ補正回路１０に本発明の動きベクトル検出回路１２を適用した場合の一例を示すもので、図示例では、メモリ回路１４、補間回路１６、ＤＣＴ（Discrete Cosine Transform ：離散コサイン変換）回路１８、量子化回路２０、動きベクトル発生回路２２、制御回路２４等を有する。
【００１１】
ここで、ＤＣＴ回路１８、動きベクトル発生回路２２および制御回路２４は、本発明の動きベクトル検出回路１２を構成する。
図示例の手ぶれ補正回路１０において、まず、メモリ回路１４は、デジタル化後の１画面（１フィールドまたは１フレーム）分の画像信号を保持する。メモリ回路１４からは、保持されている前画面の画像信号が補間回路１６に順次供給され、メモリ回路１４には、現画面の画像信号が順次供給されて保持される。
【００１２】
続いて、補間回路１６は、制御回路２４から出力される制御信号に基づいて、メモリ回路１４から供給される画像信号を補間処理する。例えば本実施例では、補間回路１６は、手ぶれによる画像全体のぶれを補正する。補間回路１６から出力される補間処理後の画像信号はＤＣＴ回路１８に供給される。なお、本実施例では、動きベクトルが手ぶれに起因するものではない場合、補間回路１６からは、メモリ回路１４から供給される画像信号がそのまま出力される。
【００１３】
ＤＣＴ回路１８は、例えば１画面を水平８×垂直８画素からなる複数のブロックに分割し、各々のブロック内に含まれる各画素の画像信号を離散コサイン変換して周波数成分の係数に分解する。ＤＣＴ回路１８から出力される係数は、量子化回路２０および制御回路２４に供給される。
また、量子化回路２０は、上記各ブロックについて、ＤＣＴ回路１８から出力される各係数を所定の量子化テーブルに基づいて量子化する。
【００１４】
なお、ＤＣＴ回路１８や量子化回路２０において、ブロックのサイズや分割数等は何ら限定されない。図１に示すように、画像信号の圧縮処理を行うデジタルビデオカメラやデジタルスチルカメラでは、既にＤＣＴ回路１８や量子化回路２０を備えるものも多いため、既に設けられているＤＣＴ回路を共用するようにしてもよいし、あるいは高速化のために、本発明の動きベクトル検出回路１２専用のＤＣＴ回路を別途設けるようにしてもよい。
【００１５】
続いて、動きベクトル発生回路２２は、現画面の画像信号と前画面の画像信号との差分から動きベクトルを発生する。動きベクトル発生回路２２によって発生される動きベクトルは、信頼性のあるもの、信頼性のないものの両方を含んでいる。なお、動きベクトル発生回路２２による動きベクトルの発生方法は何ら限定されず、例えば代表点マッチング法や全画素マッチング法等の従来より公知のいずれの方法も適用可能である。
【００１６】
例えば、代表点マッチング法を適用する場合、動きベクトル発生回路２２においては、画面を複数のブロックに分割した各々のブロックについて、前画面のブロックの中心位置の代表点画素の画像信号と現画面の対応するブロック内の各画素の画像信号との差分絶対値を算出し、画面の所定の領域に含まれるブロックについて、各々対応する画素毎に差分絶対値を累積加算して相関積分値を求め、相関積分値の最小値の座標値を動きベクトルの座標とする。
【００１７】
最後に、制御回路２４は、ＤＣＴ回路１８から出力される各係数に基づいて、動きベクトル発生回路２２によって発生される動きベクトルが、画面全体もしくは被写体が動いたことに起因する信頼性のあるもの（有効）なのか、周辺の類似の画像信号から間違った動きベクトルを発生したことに起因する信頼性のないもの（無効）なのかを判定し、画像信号を補正処理するための制御信号を出力する。この制御信号は、上述する補間回路１６に入力される。
【００１８】
例えば、動きベクトル発生回路２２によって、画面中央部の領域と画面周辺部の複数の領域で各々の動きベクトルが発生されるとする。ここで、画面周辺部の１つの領域の動きベクトルだけが他の領域の動きベクトルとは、その方向ないしは大きさの点で違っている場合、制御回路２４は、上述するように、ＤＣＴ回路１８の係数に基づいて、この他のものとは違う動きベクトルが、信頼性のあるものなのかどうかを判定する。
【００１９】
これに対し、全ての領域の動きベクトルがほぼ同じ場合、制御回路２４は、ＤＣＴ回路１８の係数に係らず、全ての領域の動きベクトルを画面全体の動きベクトルとする。また、画面中央部の領域の動きベクトルだけが違っている場合、画面中央部には被写体が存在することが多いため、制御回路２４は、ＤＣＴ回路１８の係数に係らず、被写体が動いたものと判定する。なお、これらの場合においても、ＤＣＴ変換後の係数に基づいて判定を行うようにしてもよい。
【００２０】
ここで、図２に、ＤＣＴ変換後の係数の一実施例の概念図を示す。
同図（ａ）は複雑で変化の多いランダムな画像、同図（ｂ）は黒から白に変化する単調な画像の１ブロック（水平８画素×垂直８画素）分のＤＣＴ変換後の係数の一例を示すものである。なお、各々のブロックにおいて、左右方向および上下方向は、各々水平周波数成分および垂直周波数成分の分布を示し、各々右方向および下方向のものほど高周波成分である。
【００２１】
図２（ａ）に示すように、複雑で変化の多いランダムな画像のＤＣＴ変換後の各係数は、図示を省略しているが、１ブロック内のほぼ全ての係数が‘０’ではない有効係数となる。これに対し、図２（ｂ）に示すように、黒から白に変化する単調な画像のＤＣＴ変換後の各係数は、同じく図示を省略しているが、１ブロック内のほとんどの係数が無効係数である‘０’となり、画像の特徴に応じて、ある特定の周波数成分の係数だけが有効係数となる。
【００２２】
このように、ＤＣＴ変換後の係数は画像の特徴を如実に表している。すなわち、ＤＣＴ変換後のブロック内の係数がほぼ全て有効係数となる場合、この画像はランダムな画像である。ランダムな画像では、動きベクトルを発生したブロックの代表点の周辺に類似の画素が多く存在する可能性が高いため、間違った動きベクトルを発生しやすい。従って、制御回路２４は、この動きベクトルが信頼性のないものであると判定する。
【００２３】
これに対し、ＤＣＴ変換後のブロック内のほとんどの係数が無効係数となり、ある特定の周波数成分の係数だけが有効係数となる場合、この画像は単調な画像である。単調な画像では、ランダムな画像の場合とは正反対に、動きベクトルを発生したブロックの代表点の周辺に類似の画素が存在する可能性が低いため、間違った動きベクトルは発生しづらい。従って、制御回路２４は、この動きベクトルを信頼性のあるものであると判定する。
【００２４】
また、ＤＣＴ変換後のブロック内の係数がほぼ無効係数である場合であっても、有効係数が規則正しく配列されている場合、この画像は、例えば縞模様や幾何学模様等のように、同じ模様が繰り返し出現する規則的な画像である。規則的な画像では、動きベクトルを発生したブロックの代表点の周辺に同じ画素が繰り返し存在するため、間違った動きベクトルを発生しやすい。従って、制御回路２４は、この動きベクトルが信頼性のないものであると判定する。
【００２５】
なお、動きベクトルを発生する領域と画像信号をＤＣＴ変換するブロックの大きさが異なる場合、例えば動きベクトルを発生する領域内に９つのＤＣＴ変換のブロックが含まれる場合、制御回路２４は、動きベクトルを発生する領域内に含まれる９つのＤＣＴ変換のブロックの係数を個別に判定し、例えばランダムな画像に相当するＤＣＴ変換後のブロックが多い場合、ランダムな画像であると判断するというようにして動きベクトルの信頼性の判定を行う。
【００２６】
上述する実施例においては、画像の特徴について３つの具体例を挙げて説明したが、本発明はこれに限定されるものではない。すなわち、例えばランダムな画像と単調な画像が同時に存在するような画像等、様々な特徴を有する画像が無限に存在するため、例えば様々な特徴を有する画像のＤＣＴ変換後の係数の特徴を予めデータベース化しておくことにより、制御回路２４における動きベクトルの信頼性の判定精度を飛躍的に向上させることができる。
【００２７】
図示例の手ぶれ補正回路１０においては、現画面の画像信号がメモリ回路１２に供給される。メモリ回路１４からは、既に保持されている前画面の画像信号が補間回路１６に順次供給されるとともに、メモリ回路１４には、供給される現画面の画像信号が順次保持される。また、現画面の画像信号は動きベクトル発生回路２２にも入力され、現画面の画像信号と前画面の画像信号との差分から複数の領域における動きベクトルが発生される。
【００２８】
補間回路１６においては、まず、制御回路２４から出力される制御信号の制御によって、メモリ回路１２から供給される画像信号がそのまま出力され、ＤＣＴ回路１６に供給される。ＤＣＴ回路１８に供給された画像信号は、例えば１画面が水平８×垂直８画素からなる複数のブロックに分割され、各々のブロックについて、ブロック内に含まれる各画素の画像信号が離散コサイン変換されて周波数成分の係数に分解される。
【００２９】
制御回路２４では、ＤＣＴ回路１８から入力される各ブロックの係数に基づいて、動きベクトル発生回路２２から入力される各領域の動きベクトルが、信頼性のあるものなのか、信頼性のないものなのかが判定される。ここで、信頼性があると判定された各領域の動きベクトルから画面全体の動きベクトルが発生され、この画面全体の動きベクトルに基づいて、画像信号を手ぶれ補正等の補正処理するための制御信号が出力される。
【００３０】
この制御信号は補間回路１６に入力され、補間回路１４において、制御回路２４から出力される制御信号に基づいて、メモリ回路１４から供給される画像信号が補間処理される。補間回路１４から出力される画像信号はＤＣＴ回路１６に供給され、ＤＣＴ回路１６において、上述するように、各ブロック毎に離散コサイン変換された後、量子化回路１８において、所定の量子化テーブルに基づいて量子化される。
【００３１】
本発明の動きベクトル検出回路は、基本的に以上のようなものである。
なお、本発明は、図示例のものに限定されず、例えばＤＣＴ回路を本発明専用に別途設け、画像信号を直接入力するようにしてもよいし、メモリ回路から出力される画像信号を動きベクトル発生回路や専用のＤＣＴ回路に入力するようにしてもよい。また、本発明の動きベクトル検出回路は、手ぶれ補正回路に限定されず、動きベクトルを使用するあらゆる回路に適用可能である。
【００３２】
以上、本発明の動きベクトル検出回路について詳細に説明したが、本発明は上記実施例に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
【００３３】
【発明の効果】
以上詳細に説明した様に、本発明の動きベクトル検出回路は、現画面の画像信号と前画面の画像信号との差分から動きベクトルを発生するとともに、１画面を複数のブロックに分割して、各々のブロックに含まれる各画素の画像信号を離散コサイン変換して周波数成分の係数に分解した後、この各係数に基づいて、発生した動きベクトルの信頼性を判定し、画像信号を補正処理するための制御信号を出力するようにしたものである。
従って、本発明の動きベクトル検出回路によれば、画像の特徴を如実に反映する離散コサイン変換後の係数に基づいて、発生した動きベクトルの信頼性を判定しているため、動きベクトルの信頼性の判定精度を飛躍的に向上させることができ、この信頼性の高い動きベクトルを使って、例えば手ぶれ補正等の補正処理を正しく行わせることができる。
【図面の簡単な説明】
【図１】 本発明の動きベクトル検出回路の一実施例のブロック図である。
【図２】 （ａ）および（ｂ）は、いずれもＤＣＴ変換後の係数の一実施例の概念図である。
【符号の説明】
１０ 手ぶれ補正回路
１２ 動きベクトル検出回路
１４ メモリ回路
１６ 補間回路
１８ ＤＣＴ回路
２０ 量子化回路
２２ 動きベクトル発生回路
２４ 制御回路
Claims (1)
- 現画面の画像信号と前画面の画像信号との差分から動きベクトルを発生する動きベクトル発生回路と、１画面を複数のブロックに分割し、各々のブロックに含まれる各画素の画像信号を離散コサイン変換して周波数成分の係数に分解する離散コサイン変換回路と、この離散コサイン変換回路から出力される各係数に基づいて、前記動きベクトル発生回路によって発生される動きベクトルの信頼性を判定し、画像信号を補正処理するための制御信号を出力する制御回路とを有することを特徴とする動きベクトル検出回路。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33394697A JP3727460B2 (ja) | 1997-12-04 | 1997-12-04 | 動きベクトル検出回路 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33394697A JP3727460B2 (ja) | 1997-12-04 | 1997-12-04 | 動きベクトル検出回路 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11168656A JPH11168656A (ja) | 1999-06-22 |
| JP3727460B2 true JP3727460B2 (ja) | 2005-12-14 |
Family
ID=18271754
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP33394697A Expired - Fee Related JP3727460B2 (ja) | 1997-12-04 | 1997-12-04 | 動きベクトル検出回路 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3727460B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4653014B2 (ja) * | 2006-05-16 | 2011-03-16 | キヤノン株式会社 | 撮像装置、制御方法、及びプログラム |
| JP4727621B2 (ja) * | 2007-05-22 | 2011-07-20 | シャープ株式会社 | 動画像ブレ検出装置、動画像ブレ補正装置、動画像ブレ検出方法、動画像ブレ補正方法、および電子式撮像装置 |
-
1997
- 1997-12-04 JP JP33394697A patent/JP3727460B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11168656A (ja) | 1999-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100306250B1 (ko) | 비디오신호프로세서용 에러은폐장치 | |
| EP2063646A2 (en) | Method and apparatus for predictive coding | |
| US20080062409A1 (en) | Image Processing Device for Detecting Chromatic Difference of Magnification from Raw Data, Image Processing Program, and Electronic Camera | |
| JP4639555B2 (ja) | 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置 | |
| JP3866957B2 (ja) | 画像合成装置 | |
| JPH0832048B2 (ja) | 動きベクトル検出装置 | |
| JP5731911B2 (ja) | 画像処理装置及びその制御方法 | |
| KR100423504B1 (ko) | 영상신호의 라인보간 장치 및 방법 | |
| JPH05122586A (ja) | 画像の手振れ補正装置 | |
| JP3727460B2 (ja) | 動きベクトル検出回路 | |
| JP3786300B2 (ja) | 動きベクトル検出装置及び動きベクトル検出方法 | |
| AU2004200237B2 (en) | Image processing apparatus with frame-rate conversion and method thereof | |
| JP2003078808A (ja) | 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置 | |
| JPH04309078A (ja) | ビデオデータの動き検出装置および方法 | |
| JP3959547B2 (ja) | 画像処理装置、画像処理方法、及び情報端末装置 | |
| JP3252418B2 (ja) | 画像の手振れ判定装置 | |
| JP2003101884A (ja) | シェーディング補正装置および方法 | |
| JP3601506B2 (ja) | 動きベクトル検出装置及び方法、並びに、画像の振動補正装置及び方法 | |
| JP3303312B2 (ja) | 画像の振動補正装置及び画像の振動補正方法 | |
| KR100224859B1 (ko) | 엣지에 근거한 영상신호의 수직 보간 방법 및 그에 적합한 장치 | |
| JP3303311B2 (ja) | 画像の振動補正装置及び画像の振動補正方法 | |
| JP3271273B2 (ja) | 画像の振動判定装置、画像の振動補正装置、画像の振動判定方法及び画像の振動補正方法 | |
| JPH04340886A (ja) | 動画像符号化装置及び動画像復号化装置 | |
| JP2001136542A (ja) | 信号処理装置 | |
| JPH0795585A (ja) | 動きベクトル検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050905 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050913 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050928 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081007 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091007 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091007 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101007 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111007 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121007 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131007 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |