JP3157009B2 - 動きベクトル検出装置及びぶれ補正装置 - Google Patents
動きベクトル検出装置及びぶれ補正装置Info
- Publication number
- JP3157009B2 JP3157009B2 JP09713691A JP9713691A JP3157009B2 JP 3157009 B2 JP3157009 B2 JP 3157009B2 JP 09713691 A JP09713691 A JP 09713691A JP 9713691 A JP9713691 A JP 9713691A JP 3157009 B2 JP3157009 B2 JP 3157009B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- block size
- image
- image signal
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Color Television Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、画像信号から動きベク
トルを検出する動きベクトル検出装置、及びこの動きベ
クトル検出装置を用いて検出した動きベクトルに基づい
てぶれによる画像の動きを補正するぶれ補正装置に関す
るものである。
トルを検出する動きベクトル検出装置、及びこの動きベ
クトル検出装置を用いて検出した動きベクトルに基づい
てぶれによる画像の動きを補正するぶれ補正装置に関す
るものである。
【０００２】
【従来の技術】画像信号処理による動きベクトル検出法
としては、定義式に従い相互相関計数ｈ（ξ，η）を計
算する相互相関法や２枚の画像間の差の絶対値和（以
下、残差と称す）を計算するマツチング法がある。
としては、定義式に従い相互相関計数ｈ（ξ，η）を計
算する相互相関法や２枚の画像間の差の絶対値和（以
下、残差と称す）を計算するマツチング法がある。
【０００３】相互相関係数算出の定義式は、 ｈ（ξ，η）＝∬ｇ0 （ｘ−ξ，ｙ−η）・ｇ1 （ｘ，ｙ）ｄｘｄｙ で表わされる。ただし、ｇ0 （ｘ，ｙ）・ｇ1 （ｘ，
ｙ）は、２枚の画像を表わし、ξ，ηは前記２枚の画像
のズレ量を示している。相互相関係数ｈ（ξ，η）は、
前記２枚の画像が完全に一致したときに最大となり、前
記２枚の画像間にズレが生じると指数関数的に小さくな
る。
ｙ）は、２枚の画像を表わし、ξ，ηは前記２枚の画像
のズレ量を示している。相互相関係数ｈ（ξ，η）は、
前記２枚の画像が完全に一致したときに最大となり、前
記２枚の画像間にズレが生じると指数関数的に小さくな
る。
【０００４】マツチング法は、下式に従い、残差ｅ
（ξ，η）を計算する。 ｅ（ξ，η）＝ΣB ｜ｇ0 （ｘ−ξ，ｙ−η）・ｇ1 （ｘ，ｙ）｜ ここで、累算範囲を示す記号Ｂをブロツクと称し、動き
ベクトル検出の単位領域に相当する。またブロツク単位
で２枚の画像間の類似度、整合度を計算するため、ブロ
ツクマツチング法とかテンプレートマツチング法とも呼
ばれている。また２枚の画像間の不一致度、不整合度を
示す残差の定義は上述した各画素の差の絶対値和だけで
なく、差の２乗和でもよい。
（ξ，η）を計算する。 ｅ（ξ，η）＝ΣB ｜ｇ0 （ｘ−ξ，ｙ−η）・ｇ1 （ｘ，ｙ）｜ ここで、累算範囲を示す記号Ｂをブロツクと称し、動き
ベクトル検出の単位領域に相当する。またブロツク単位
で２枚の画像間の類似度、整合度を計算するため、ブロ
ツクマツチング法とかテンプレートマツチング法とも呼
ばれている。また２枚の画像間の不一致度、不整合度を
示す残差の定義は上述した各画素の差の絶対値和だけで
なく、差の２乗和でもよい。
【０００５】また、前記ブロツクの大きさや形状は入力
画像によらず固定されている。
画像によらず固定されている。
【０００６】
【発明が解決しようとする課題】しかしながら、上述の
方式によれば、入力画像の空間周波数が高いとき、近隣
の類似パターンにミスマツチングしやすくなるという問
題点がある。
方式によれば、入力画像の空間周波数が高いとき、近隣
の類似パターンにミスマツチングしやすくなるという問
題点がある。
【０００７】また逆に入力画像の空間周波数が低いとき
は、テンプレート（またはブロツク）内に特徴のあるパ
ターンが存在せず、マツチング精度が著しく低下して入
力画像の空間周波数が高いときと同様、ミスマツチング
し易くなるという問題点がある。
は、テンプレート（またはブロツク）内に特徴のあるパ
ターンが存在せず、マツチング精度が著しく低下して入
力画像の空間周波数が高いときと同様、ミスマツチング
し易くなるという問題点がある。
【０００８】このように相関演算（相互相関法、マツチ
ング法を含めて）に基づく動きベクトルの検出精度は、
入力画像の空間周波数に強く依存しており、したがつて
入力画像の空間周波数が高すぎるとき、低過ぎるときに
は、十分な検出精度が得られないという欠点があつた。
ング法を含めて）に基づく動きベクトルの検出精度は、
入力画像の空間周波数に強く依存しており、したがつて
入力画像の空間周波数が高すぎるとき、低過ぎるときに
は、十分な検出精度が得られないという欠点があつた。
【０００９】そこで本発明の課題は、入力画像の空間周
波数の条件にかかわらず、広い検出レンジと高い検出精
度を得ることのできる動きベクトル検出装置、及びこれ
を用いてぶれによる画像の動きを正確に補正できるぶれ
補正装置を提供することにある。
波数の条件にかかわらず、広い検出レンジと高い検出精
度を得ることのできる動きベクトル検出装置、及びこれ
を用いてぶれによる画像の動きを正確に補正できるぶれ
補正装置を提供することにある。
【００１０】
【課題を解決するための手段】上述した課題を解決する
ため、本発明によれば、入力画像信号から特定の周波数
成分を抽出するフィルタ手段と、動きベクトルを検出す
るためのマッチング演算を行うためのブロックサイズ
を、前記特定の周波数成分の周期に対応して、前記マッ
チング演算に必要最小限の特徴情報を含むようなブロッ
クサイズに設定するブロックサイズ設定手段と、前記フ
ィルタ手段より出力された画像信号の前記ブロック内に
相当する画像信号に対し複数画面間の相関に基づいて動
きベクトルを算出する演算手段と、からなる動きベクト
ル検出装置の構成を採用した。 また、この動きベクトル
検出装置の構成と、 同装置の前記演算手段より出力され
た動きベクトルに基づいて、ぶれによる画像の動きを補
正する補正手段と、からなるぶれ補正装置の構成を採用
した。
ため、本発明によれば、入力画像信号から特定の周波数
成分を抽出するフィルタ手段と、動きベクトルを検出す
るためのマッチング演算を行うためのブロックサイズ
を、前記特定の周波数成分の周期に対応して、前記マッ
チング演算に必要最小限の特徴情報を含むようなブロッ
クサイズに設定するブロックサイズ設定手段と、前記フ
ィルタ手段より出力された画像信号の前記ブロック内に
相当する画像信号に対し複数画面間の相関に基づいて動
きベクトルを算出する演算手段と、からなる動きベクト
ル検出装置の構成を採用した。 また、この動きベクトル
検出装置の構成と、 同装置の前記演算手段より出力され
た動きベクトルに基づいて、ぶれによる画像の動きを補
正する補正手段と、からなるぶれ補正装置の構成を採用
した。
【００１１】
【作用】上記の動きベクトル検出装置の構成によれば、
画像信号中の特定の周波数成分に対して、画像の動きベ
クトルを求めるにあたり、マッチング演算を行うための
ブロックのサイズを、マッチング演算に必要最小限の特
徴情報が必ずブロック内に含まれるようなブロックサイ
ズに設定するようにしたので、画像の動きベクトルを確
実に且つ高精度に検出することができる。また、フィル
タ手段によって抽出する周波数で検出レンジを選択でき
るので、利用目的または対象物に応じて上記特定の周波
数を選択することにより、個々の場合に適した検出レン
ジを確保することができる。
画像信号中の特定の周波数成分に対して、画像の動きベ
クトルを求めるにあたり、マッチング演算を行うための
ブロックのサイズを、マッチング演算に必要最小限の特
徴情報が必ずブロック内に含まれるようなブロックサイ
ズに設定するようにしたので、画像の動きベクトルを確
実に且つ高精度に検出することができる。また、フィル
タ手段によって抽出する周波数で検出レンジを選択でき
るので、利用目的または対象物に応じて上記特定の周波
数を選択することにより、個々の場合に適した検出レン
ジを確保することができる。
【００１２】
【実施例】以下、図面を参照しながら、本発明における
動きベクトル検出装置をその一実施例について説明す
る。
動きベクトル検出装置をその一実施例について説明す
る。
【００１３】図１は、本発明における動きベクトル検出
装置をビデオカメラ、電子カメラ等の撮像装置における
画像信号の画面揺れすなわちカメラ振れを防止する装置
に本発明を適用した場合の一実施例の構成を示すブロツ
ク図である。
装置をビデオカメラ、電子カメラ等の撮像装置における
画像信号の画面揺れすなわちカメラ振れを防止する装置
に本発明を適用した場合の一実施例の構成を示すブロツ
ク図である。
【００１４】１０は画像信号の入力端子、２０はバンド
パスフイルタ（ＢＰＦ）、３０は前記ＢＰＦ２０の周波
数特性を決定するフイルタ係数の設定回路、４０は相関
演算する際の単位演算領域であるブロツクのサイズを決
定するブロツクサイズ決定回路、５０は相互相関法、マ
ツチング法等の相関演算に基づく動きベクトル検出回
路、６０は画像の動き量を示す信号の出力端子である。
パスフイルタ（ＢＰＦ）、３０は前記ＢＰＦ２０の周波
数特性を決定するフイルタ係数の設定回路、４０は相関
演算する際の単位演算領域であるブロツクのサイズを決
定するブロツクサイズ決定回路、５０は相互相関法、マ
ツチング法等の相関演算に基づく動きベクトル検出回
路、６０は画像の動き量を示す信号の出力端子である。
【００１５】次に図１の動作を説明する。入力端子１０
に入力された画像信号は、ＢＰＦ２０へと供給され、特
定の周波数が抽出される。ＢＰＦ２０によつて抽出され
る特定周波数は、フイルタ係数設定回路３０によつて設
定されたフイルタ係数で決定される。またブロツクサイ
ズ決定回路４０では、前記フイルタ係数設定回路３０に
より設定されるフイルタ係数に応じて最適なブロツクサ
イズを決定する。
に入力された画像信号は、ＢＰＦ２０へと供給され、特
定の周波数が抽出される。ＢＰＦ２０によつて抽出され
る特定周波数は、フイルタ係数設定回路３０によつて設
定されたフイルタ係数で決定される。またブロツクサイ
ズ決定回路４０では、前記フイルタ係数設定回路３０に
より設定されるフイルタ係数に応じて最適なブロツクサ
イズを決定する。
【００１６】ＢＰＦ２０を通過した画像信号は、動きベ
クトル検出回路５０に入力され、前記ブロツクサイズ決
定回路４０によつて決定されたブロツクサイズを用い、
後述のｅ（α）の式に基づいて相関演算が行なわれ、動
きベクトルが検出される。検出された動きベクトルは出
力端子６０より出力される。
クトル検出回路５０に入力され、前記ブロツクサイズ決
定回路４０によつて決定されたブロツクサイズを用い、
後述のｅ（α）の式に基づいて相関演算が行なわれ、動
きベクトルが検出される。検出された動きベクトルは出
力端子６０より出力される。
【００１７】ＢＰＦ２０をデジタル回路で構成した場合
の回路構成例を図２に示す。
の回路構成例を図２に示す。
【００１８】図２において、Ｈはラインメモリ、Ｄは隣
接する１画素間の遅延を行なう画素メモリ、ａ1 〜ａn
，ｂ1 〜ｂn ，ｃ1〜ｃn ……は、フイルタ係数設定回
路３０で設定されるフイルタ係数の乗算回路、Σは累算
加算回路である。
接する１画素間の遅延を行なう画素メモリ、ａ1 〜ａn
，ｂ1 〜ｂn ，ｃ1〜ｃn ……は、フイルタ係数設定回
路３０で設定されるフイルタ係数の乗算回路、Σは累算
加算回路である。
【００１９】図２の回路では、２次元コンボリユーシヨ
ン（マスク処理）により、特定の空間周波数成分を抽出
している。前記フイルタ係数設定回路３０で設定される
フイルタ係数を変えることにより抽出する空間周波数成
分の帯域を選択することができる。
ン（マスク処理）により、特定の空間周波数成分を抽出
している。前記フイルタ係数設定回路３０で設定される
フイルタ係数を変えることにより抽出する空間周波数成
分の帯域を選択することができる。
【００２０】ＢＰＦ２０は検出回路５０に入力画像の最
適な空間周波数成分を与えることを目的としている。な
おフイルタ係数設定回路３０におけるフイルタ係数の設
定の仕方は、たとえばスイツチなどを用いて外部から設
定してもよいし、ＲＯＭなどのメモリを幾つか内蔵して
おき、これを選択することによつて内部的に設定しても
よい。
適な空間周波数成分を与えることを目的としている。な
おフイルタ係数設定回路３０におけるフイルタ係数の設
定の仕方は、たとえばスイツチなどを用いて外部から設
定してもよいし、ＲＯＭなどのメモリを幾つか内蔵して
おき、これを選択することによつて内部的に設定しても
よい。
【００２１】次に図３及び図４を参照してＢＰＦ２０の
作用を説明する。入力画像は、フーリエ変換により、入
力画像を構成する各周波数成分に分解することができ
る。入力画像のある断面における濃度変化を示す波形に
１次元フーリエ変換を施し、周波数１／Ｔの成分のみを
抽出して１次元逆フーリエ変換を施すと、図３に示すよ
うに周期Ｔの正弦波を得ることができる。縦軸ｙは画像
の濃度値を、横軸ｘは断面中の位置を、Ａは正弦波の振
幅を、Ｂは正弦波のバイアスをそれぞれ示している。こ
のパターンに対してブロツク・マツチング法を適用する
と、以下のようになる。ただしｙ1 は移動前の画像を示
し、ｙ2 はｘ方向にαだけ移動した画像を表わしてい
る。
作用を説明する。入力画像は、フーリエ変換により、入
力画像を構成する各周波数成分に分解することができ
る。入力画像のある断面における濃度変化を示す波形に
１次元フーリエ変換を施し、周波数１／Ｔの成分のみを
抽出して１次元逆フーリエ変換を施すと、図３に示すよ
うに周期Ｔの正弦波を得ることができる。縦軸ｙは画像
の濃度値を、横軸ｘは断面中の位置を、Ａは正弦波の振
幅を、Ｂは正弦波のバイアスをそれぞれ示している。こ
のパターンに対してブロツク・マツチング法を適用する
と、以下のようになる。ただしｙ1 は移動前の画像を示
し、ｙ2 はｘ方向にαだけ移動した画像を表わしてい
る。
【００２２】ここで、残差をｅ（α）とすると、 ｅ（α）＝ΣB ｜ｙ1 −ｙ2 ｜ ＝ΣB ｜Ａsin ωt −Ａsin ω（t −α）｜ （∵ω＝２π／Ｔ） となる。
【００２３】ここで、ブロツクのサイズを画像パターン
の周期Ｔと等しくして残差ｅ（α）を計算すると、 ｅ（α）＝（４ＡＴ／π）・｜sin （πα/ Ｔ）｜ となる。
の周期Ｔと等しくして残差ｅ（α）を計算すると、 ｅ（α）＝（４ＡＴ／π）・｜sin （πα/ Ｔ）｜ となる。
【００２４】この残差ｅ（α）の様子を示したのが図４
であり、横軸が画素単位の画像のズレ量α、縦軸が残差
ｅ（α）を表している。
であり、横軸が画素単位の画像のズレ量α、縦軸が残差
ｅ（α）を表している。
【００２５】同図からわかるように、残差ｅ（α）は、
抽出された画像パターンの周期Ｔと等しい周期Ｔを持っ
ており、正しい画像のずれ量αが得られるのは、図４中
の検出レンジで示される−Ｔ／２＜α＜Ｔ／２の範囲で
ある。この範囲を越えると、何周期分かずれた位置にミ
スマツチングしてしまうことになる。これは検出レンジ
がＢＰＦ２０によつて抽出されるパターン周期Ｔによつ
て決定されることを意味している。
抽出された画像パターンの周期Ｔと等しい周期Ｔを持っ
ており、正しい画像のずれ量αが得られるのは、図４中
の検出レンジで示される−Ｔ／２＜α＜Ｔ／２の範囲で
ある。この範囲を越えると、何周期分かずれた位置にミ
スマツチングしてしまうことになる。これは検出レンジ
がＢＰＦ２０によつて抽出されるパターン周期Ｔによつ
て決定されることを意味している。
【００２６】またＢＰＦ２０により特定の周波数を抽出
するため、特徴あるパターンは周期的に存在し、近隣の
類似パターンによるミスマツチングの可能性やブロツク
内に特徴あるパターンが含まれないことに起因するミス
マツチングの可能性を抑制することができる。
するため、特徴あるパターンは周期的に存在し、近隣の
類似パターンによるミスマツチングの可能性やブロツク
内に特徴あるパターンが含まれないことに起因するミス
マツチングの可能性を抑制することができる。
【００２７】さらにブロツクサイズは１個のブロツクの
中に特徴あるパターンを１個含むように決定することが
できるため、ミスマツチングを避け得る範囲で最小サイ
ズを選択することができる。これは検出される動きベク
トルの空間分解能を上げることを意味する。
中に特徴あるパターンを１個含むように決定することが
できるため、ミスマツチングを避け得る範囲で最小サイ
ズを選択することができる。これは検出される動きベク
トルの空間分解能を上げることを意味する。
【００２８】ブロツクサイズ決定回路４０では、以上の
考察に基づき、フイルタ係数設定回路３０によつて決定
されるフイルタ係数から、まず抽出される画像パターン
の周期Ｔを計算し、１個のブロツクの中にマツチング演
算に必要な最小限の特徴情報を含むようにブロツクサイ
ズを設定する。
考察に基づき、フイルタ係数設定回路３０によつて決定
されるフイルタ係数から、まず抽出される画像パターン
の周期Ｔを計算し、１個のブロツクの中にマツチング演
算に必要な最小限の特徴情報を含むようにブロツクサイ
ズを設定する。
【００２９】ブロツクサイズとしては、たとえばＴ／
４，Ｔ／２，Ｔなどが考えられるが、このブロツクサイ
ズは求められる空間分解能と動きベクトル検出精度に応
じて決定すればよい。
４，Ｔ／２，Ｔなどが考えられるが、このブロツクサイ
ズは求められる空間分解能と動きベクトル検出精度に応
じて決定すればよい。
【００３０】後続の動きベクトル検出回路５０では、上
記のブロツクサイズ決定回路４０が決定したブロツクサ
イズを用いて相関演算を行ない、画像の動き量を算出
し、検出された動きベクトルは出力端子６０から出力さ
れる。
記のブロツクサイズ決定回路４０が決定したブロツクサ
イズを用いて相関演算を行ない、画像の動き量を算出
し、検出された動きベクトルは出力端子６０から出力さ
れる。
【００３１】以上の説明では、残差の定義として差の絶
対値和を用いたが、差の絶対値の２乗和であつても、あ
るいは相互相関法であつても同様のことが言える。
対値和を用いたが、差の絶対値の２乗和であつても、あ
るいは相互相関法であつても同様のことが言える。
【００３２】本発明の実施に当たっては、実際には利用
目的または対象物に応じて決まる動きベクトルの空間解
像度（＝１画面中のベクトル数に相当する）から決定さ
れることが多い。
目的または対象物に応じて決まる動きベクトルの空間解
像度（＝１画面中のベクトル数に相当する）から決定さ
れることが多い。
【００３３】そこで、本発明における他の実施例とし
て、図１のフイルタ係数回路３０とブロツクサイズ決定
回路４０の順序を逆にしてもよい。すなわち、まず求め
られる空間解像度に応じたブロツクサイズを決め、次に
このブロツクに特徴のあるパターンが含まれるような空
間周波数成分を抽出する特性を持ったフイルタ係数を決
めるという手順である。
て、図１のフイルタ係数回路３０とブロツクサイズ決定
回路４０の順序を逆にしてもよい。すなわち、まず求め
られる空間解像度に応じたブロツクサイズを決め、次に
このブロツクに特徴のあるパターンが含まれるような空
間周波数成分を抽出する特性を持ったフイルタ係数を決
めるという手順である。
【００３４】次に上述の動きベクトル検出装置を実際に
ビデオカメラの防振装置に適用した場合について、図
５、図６を参照しながら例を上げて説明する。
ビデオカメラの防振装置に適用した場合について、図
５、図６を参照しながら例を上げて説明する。
【００３５】図５は振れ補正手段として、撮影レンズの
光軸を可変して、光学的に振れを補正する可変頂角プリ
ズムを用いたものである。
光軸を可変して、光学的に振れを補正する可変頂角プリ
ズムを用いたものである。
【００３６】同図において、１０１は撮影レンズ光学系
の光軸の方向すなわち頂角を可変する可変頂角プリズム
で、たとえば２枚の平行ガラス板間にシリコン系の液体
を充填したものである。１０２は撮影レンズ、１０３は
撮影レンズ１０２によつて結像された被写体画像を光電
変換して撮像信号を出力するＣＣＤ等の撮像素子、１０
４はプリアンプ、１０５は撮像素子より出力された撮像
信号に対し、ブランキング処理、同期信号の付加、ガン
マ補正等、各種の処理を行なって規格化された映像信号
を出力するカメラ信号処理回路、１０６は前述の図１の
実施例において説明した動きベクトル検出回路、１０７
は動きベクトル検出回路１０６より供給された画像の動
きベクトル情報を取り込んで、カメラぶれによる画像の
動きを相殺する可変頂角プリズムの駆動方向の情報と振
れ補正に必要な駆動量を演算するシステムコントロール
回路、１０８はシステムコントロール回路１０７で演算
された情報に基づいて、可変頂角プリズム１０１を駆動
する駆動回路である。
の光軸の方向すなわち頂角を可変する可変頂角プリズム
で、たとえば２枚の平行ガラス板間にシリコン系の液体
を充填したものである。１０２は撮影レンズ、１０３は
撮影レンズ１０２によつて結像された被写体画像を光電
変換して撮像信号を出力するＣＣＤ等の撮像素子、１０
４はプリアンプ、１０５は撮像素子より出力された撮像
信号に対し、ブランキング処理、同期信号の付加、ガン
マ補正等、各種の処理を行なって規格化された映像信号
を出力するカメラ信号処理回路、１０６は前述の図１の
実施例において説明した動きベクトル検出回路、１０７
は動きベクトル検出回路１０６より供給された画像の動
きベクトル情報を取り込んで、カメラぶれによる画像の
動きを相殺する可変頂角プリズムの駆動方向の情報と振
れ補正に必要な駆動量を演算するシステムコントロール
回路、１０８はシステムコントロール回路１０７で演算
された情報に基づいて、可変頂角プリズム１０１を駆動
する駆動回路である。
【００３７】これによつて、前述した各実施例における
動きベクトル検出回路１０６によつて画像のぶれ（カメ
ラぶれ）に基づく動きベクトルが検出され、この動きベ
クトルに基づいて、可変頂角プリズムの駆動方向及び駆
動量が演算され、可変頂角プリズムを駆動してぶれ補正
が行なわれる。
動きベクトル検出回路１０６によつて画像のぶれ（カメ
ラぶれ）に基づく動きベクトルが検出され、この動きベ
クトルに基づいて、可変頂角プリズムの駆動方向及び駆
動量が演算され、可変頂角プリズムを駆動してぶれ補正
が行なわれる。
【００３８】動きベクトル検出回路自体の動作は前述の
実施例にて説明した通りであり、説明は省略する。
実施例にて説明した通りであり、説明は省略する。
【００３９】図６は、ぶれ補正手段に光学系を用いず、
一旦画像をメモリに取り込み、メモリからの読み出し範
囲を可変することによつて画像の動きを補正するように
したものである。
一旦画像をメモリに取り込み、メモリからの読み出し範
囲を可変することによつて画像の動きを補正するように
したものである。
【００４０】図５の実施例と同一構成部分については同
一の符号を用いてその説明を省略する。
一の符号を用いてその説明を省略する。
【００４１】プリアンプ１０４より出力された撮像信号
はＡ／Ｄ変換器１０９でデジタル信号に変換され、デジ
タル信号処理回路１１０内のメモリへと取り込まれる。
このときのメモリへの画像の取り込みのためのＡ／Ｄ変
換のレートおよびタイミング、さらにメモリへの書き込
みタイミング，アドレスはメモリコントロール回路１１
３によつて制御される。メモリからの読み出しのアドレ
ス、タイミングの制御もこのメモリコントロール回路に
よつて制御される。
はＡ／Ｄ変換器１０９でデジタル信号に変換され、デジ
タル信号処理回路１１０内のメモリへと取り込まれる。
このときのメモリへの画像の取り込みのためのＡ／Ｄ変
換のレートおよびタイミング、さらにメモリへの書き込
みタイミング，アドレスはメモリコントロール回路１１
３によつて制御される。メモリからの読み出しのアドレ
ス、タイミングの制御もこのメモリコントロール回路に
よつて制御される。
【００４２】メモリ１１０より読み出されたデジタル画
像信号は、カメラ信号処理回路１１１で各種のカメラ信
号処理を行ない、Ｄ／Ａ変換回路１１２でアナログ信号
に変換され、画像信号として出力される。なお、そのま
まデジタル映像信号出力として出力するようにしてもよ
い。
像信号は、カメラ信号処理回路１１１で各種のカメラ信
号処理を行ない、Ｄ／Ａ変換回路１１２でアナログ信号
に変換され、画像信号として出力される。なお、そのま
まデジタル映像信号出力として出力するようにしてもよ
い。
【００４３】一方、動きベクトル検出回路１１５では、
前述の図１の実施例のようにカメラぶれによる動きベク
トルが検出され、システムコントロール回路１１４へと
供給され、システムコントロール回路１１４では、動き
ベクトル検出回路１１５において検出された動きベクト
ルに基づいて画像の動きの方向と動き量を演算し、これ
に基づいて、メモリコントロール回路１１３を制御し、
メモリの読み出し範囲を制御する。すなわちメモリには
予め出力される画角よりも広い画角で画像を取り込み、
メモリ読み出し時にその読み出し範囲を可変して動きを
補正するものである。動きの方向へ読み出し範囲をシフ
トすることによつて画像の動きを補正することができ
る。
前述の図１の実施例のようにカメラぶれによる動きベク
トルが検出され、システムコントロール回路１１４へと
供給され、システムコントロール回路１１４では、動き
ベクトル検出回路１１５において検出された動きベクト
ルに基づいて画像の動きの方向と動き量を演算し、これ
に基づいて、メモリコントロール回路１１３を制御し、
メモリの読み出し範囲を制御する。すなわちメモリには
予め出力される画角よりも広い画角で画像を取り込み、
メモリ読み出し時にその読み出し範囲を可変して動きを
補正するものである。動きの方向へ読み出し範囲をシフ
トすることによつて画像の動きを補正することができ
る。
【００４４】なお、上述の構成において、カメラ信号処
理回路は、Ｄ／Ａ変換器１１２の後に配してアナログ信
号処理を行なってもよいが、デジタル信号処理を行なう
方が処理が容易となり、またノイズの点でも有利であ
る。
理回路は、Ｄ／Ａ変換器１１２の後に配してアナログ信
号処理を行なってもよいが、デジタル信号処理を行なう
方が処理が容易となり、またノイズの点でも有利であ
る。
【００４５】このように、本発明における動きベクトル
検出回路によつて、ビデオカメラにおけるぶれ検出及び
補正を行なうことができる。また動き検出として、ぶれ
補正に限らず、カメラのパンニング検出等、その他多く
の適用が可能である。
検出回路によつて、ビデオカメラにおけるぶれ検出及び
補正を行なうことができる。また動き検出として、ぶれ
補正に限らず、カメラのパンニング検出等、その他多く
の適用が可能である。
【００４６】これによつて、きわめて動き検出レンジが
広く、大小さまざまな動きに対して検出、補正を行なう
ことができ、高性能なぶれ補正機能付ビデオカメラを実
現することができる。
広く、大小さまざまな動きに対して検出、補正を行なう
ことができ、高性能なぶれ補正機能付ビデオカメラを実
現することができる。
【００４７】
【発明の効果】以上述べたように、本発明における動き
ベクトル検出装置によれば、検出レンジを自由に選択で
き、かつミスマッチングの少ない相関演算を実現するこ
とができるとともに、前記相関演算に適応したブロック
サイズの設定により高い空間分解能を得ることができ
る。そして、これを用いてぶれによる画像の動きを正確
に補正できるぶれ補正装置を提供することができる。
ベクトル検出装置によれば、検出レンジを自由に選択で
き、かつミスマッチングの少ない相関演算を実現するこ
とができるとともに、前記相関演算に適応したブロック
サイズの設定により高い空間分解能を得ることができ
る。そして、これを用いてぶれによる画像の動きを正確
に補正できるぶれ補正装置を提供することができる。
【図１】 本発明における動きベクトル検出装置の一実
施例の構成を示すブロツク図である。
施例の構成を示すブロツク図である。
【図２】 ２次元バンドパスフイルタの構成図である。
【図３】 周期Ｔの画像パターンの断面図である。
【図４】 マツチング演算における残差の分布図であ
る。
る。
【図５】 本発明の動きベクトル検出回路を適用したビ
デオカメラの一実施例を示すブロツク図である。
デオカメラの一実施例を示すブロツク図である。
【図６】 本発明の動きベクトル検出回路を適用したビ
デオカメラの他の実施例を示すブロツク図である。
デオカメラの他の実施例を示すブロツク図である。
１０ 画像信号の入力端子 ２０ バンドパスフィルタ ３０ フィルタ係数の設定回路 ４０ ブロックサイズ決定回路 ５０ 動きベクトル検出回路 ６０ 出力端子
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 7/20 G06T 5/20 H04N 7/32 H04N 11/04 ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (2)
- 【請求項１】 入力画像信号から特定の周波数成分を抽
出するフィルタ手段と、 動きベクトルを検出するためのマッチング演算を行うた
めのブロックサイズを、前記特定の周波数成分の周期に
対応して、前記マッチング演算に必要最小限の特徴情報
を含むようなブロックサイズに設定するブロックサイズ
設定手段と、 前記フィルタ手段より出力された画像信号の前記ブロッ
ク内に相当する画像信号に対し複数画面間の相関に基づ
いて動きベクトルを算出する演算手段と、 からなることを特徴とする動きベクトル検出装置。 - 【請求項２】 入力画像信号から特定の周波数成分を抽
出するフィルタ手段と、 動きベクトルを検出するためのマッチング演算を行うた
めのブロックサイズを、前記特定の周波数成分の周期に
対応して、前記マッチング演算に必要最小限の特徴情報
を含むようなブロックサイズに設定するブロックサイズ
設定手段と、 前記フィルタ手段より出力された画像信号の前記ブロッ
ク内に相当する画像信号に対し、複数画面間の相関に基
づいて動きベクトルを算出する演算手段と、 前記演算手段より出力された動きベクトルに基づいて、
ぶれによる画像の動きを補正する補正手段と、 からなることを特徴とするぶれ補正装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09713691A JP3157009B2 (ja) | 1991-04-26 | 1991-04-26 | 動きベクトル検出装置及びぶれ補正装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09713691A JP3157009B2 (ja) | 1991-04-26 | 1991-04-26 | 動きベクトル検出装置及びぶれ補正装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04326481A JPH04326481A (ja) | 1992-11-16 |
| JP3157009B2 true JP3157009B2 (ja) | 2001-04-16 |
Family
ID=14184158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP09713691A Expired - Fee Related JP3157009B2 (ja) | 1991-04-26 | 1991-04-26 | 動きベクトル検出装置及びぶれ補正装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3157009B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3586431B2 (ja) | 2001-02-28 | 2004-11-10 | 松下電器産業株式会社 | 個人認証方法および装置 |
| JP4807626B2 (ja) * | 2006-12-01 | 2011-11-02 | 東京電力株式会社 | 画像解析システム及びコンピュータプログラム |
-
1991
- 1991-04-26 JP JP09713691A patent/JP3157009B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH04326481A (ja) | 1992-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5734441A (en) | Apparatus for detecting a movement vector or an image by detecting a change amount of an image density value | |
| US9013587B2 (en) | Method and apparatus to correct digital image blur by combining multiple images | |
| JP4815807B2 (ja) | Ｒａｗデータから倍率色収差を検出する画像処理装置、画像処理プログラム、および電子カメラ | |
| JP3164121B2 (ja) | 動きベクトル検出装置 | |
| JP4876065B2 (ja) | 動きベクトル検出装置及び動きベクトル検出方法及び撮像装置及びプログラム | |
| US9413952B2 (en) | Image processing apparatus, distance measuring apparatus, imaging apparatus, and image processing method | |
| CN104349082A (zh) | 图像处理装置、图像处理方法以及程序 | |
| JP4489848B2 (ja) | テレビフィルム走査における画像ステディネスエラーの補正方法及びテレビ画像内の所定の画像対象物のモーションシーケンスの変化方法並びに前記補正方法を実施するための装置 | |
| US5296925A (en) | Movement vector detection device | |
| JP2679778B2 (ja) | 画像の動き検出装置 | |
| JP2008010958A (ja) | 撮像装置及び撮像方法 | |
| JP3157009B2 (ja) | 動きベクトル検出装置及びぶれ補正装置 | |
| EP0488721B1 (en) | Movement detection | |
| JP2003169255A (ja) | シェーディング補正方法 | |
| JP3126998B2 (ja) | 動きベクトル検出装置 | |
| JP4740008B2 (ja) | 手ぶれ検出装置およびデジタルカメラ | |
| JP3200089B2 (ja) | 動きベクトル検出装置及び振れ補正装置 | |
| US5173770A (en) | Movement vector detection device | |
| EP0454483B1 (en) | Movement vector detection device | |
| US10200674B2 (en) | Image processing apparatus, image capturing apparatus, and recording medium | |
| JP3274704B2 (ja) | 固体撮像素子 | |
| JPH0232477A (ja) | 画像情報補正方法及び装置 | |
| JPH06153059A (ja) | 映像記録再生装置 | |
| JPH05108827A (ja) | 画像相関演算装置 | |
| JP5855485B2 (ja) | 画像生成装置、画像生成方法、撮像装置、および撮像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080209 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090209 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100209 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100209 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110209 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |