JP2956056B2 - 追尾制御方法及び装置並びにぶれ補正方法及び装置 - Google Patents
追尾制御方法及び装置並びにぶれ補正方法及び装置Info
- Publication number
- JP2956056B2 JP2956056B2 JP63269554A JP26955488A JP2956056B2 JP 2956056 B2 JP2956056 B2 JP 2956056B2 JP 63269554 A JP63269554 A JP 63269554A JP 26955488 A JP26955488 A JP 26955488A JP 2956056 B2 JP2956056 B2 JP 2956056B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- area
- block
- region
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、追尾制御方法及び装置並びにぶれ補正方法
及び装置に関し、より具体的には、画像信号から主要被
写体に実時間で追尾する追尾制御方法及び装置、並び
に、画像信号から画像のぶれ量を検出し、そのぶれを補
正するぶれ補正方法及び装置に関する。
及び装置に関し、より具体的には、画像信号から主要被
写体に実時間で追尾する追尾制御方法及び装置、並び
に、画像信号から画像のぶれ量を検出し、そのぶれを補
正するぶれ補正方法及び装置に関する。
カメラ、ビデオ、カメラ、電子カメラなどの撮像光学
装置においては、工業用計測機器、民生用機器を問わ
ず、そのカメラぶれが画像を見にくくすると共に、あら
ゆる誤動作の原因となる。特に、歩行中や移動する乗り
物上からの撮影や、振動の多い場所における撮影では、
画面ぶれを生じ易いので、従来から、画面ぶれを補正す
る種々の方法が提案されている。
装置においては、工業用計測機器、民生用機器を問わ
ず、そのカメラぶれが画像を見にくくすると共に、あら
ゆる誤動作の原因となる。特に、歩行中や移動する乗り
物上からの撮影や、振動の多い場所における撮影では、
画面ぶれを生じ易いので、従来から、画面ぶれを補正す
る種々の方法が提案されている。
例えば、特開昭61−248681号公報に記載の防振カメラ
では、レンズ系及び光電変換素子からなる撮像系により
入射画像を電気信号に変換し、所定の信号処理を施して
テレビ画像信号をモニタ装置に供給すると共に、当該テ
レビ画像信号を画像ぶれ検知回路にも供給し、一定時間
隔てた２画面間の相関をとることにより画像ぶれの大き
さと方向を検知する。そして、この検知結果に基づい
て、画像ぶれを打ち消す方向にレンズ系を駆動制御して
いる。この結果、装置が振動しても、安定した画像が得
られるとされている。
では、レンズ系及び光電変換素子からなる撮像系により
入射画像を電気信号に変換し、所定の信号処理を施して
テレビ画像信号をモニタ装置に供給すると共に、当該テ
レビ画像信号を画像ぶれ検知回路にも供給し、一定時間
隔てた２画面間の相関をとることにより画像ぶれの大き
さと方向を検知する。そして、この検知結果に基づい
て、画像ぶれを打ち消す方向にレンズ系を駆動制御して
いる。この結果、装置が振動しても、安定した画像が得
られるとされている。
なお、防振とはカメラぶれを修正する機能、追尾とは
移動被写体をカメラが追跡する機能を言い、原理的な処
理・制御方法は同じである。
移動被写体をカメラが追跡する機能を言い、原理的な処
理・制御方法は同じである。
このように、画像からぶれ量を検出する場合、画面全
体に対し均一な感度でぶれ量を検出する方式を採用する
と、被写体が変形、移動したのか、カメラが手ぶれによ
り傾いたのかが区別できず、撮影者の意志に反した物体
を追尾撮影するといった事態が生じうる。この問題を解
決するためには、各被写体の位置と形状を認識し、所定
領域内において画像ぶれ量を検出する処理が必要にな
る。このようにした画像ぶれ検知装置が、テレビジョン
学会技術報告Vol.11,No.3,p43〜48,PPOE,'87−12（May,
1987）「画面ゆれ補正装置について」に記載されてい
る。この分献では、全画面を140ブロックの領域に分割
し、各領域でのぶれ検知を手動により任意にオン／オフ
し、オンの領域のみを代表的マッチング法でぶれ検知し
ている。
体に対し均一な感度でぶれ量を検出する方式を採用する
と、被写体が変形、移動したのか、カメラが手ぶれによ
り傾いたのかが区別できず、撮影者の意志に反した物体
を追尾撮影するといった事態が生じうる。この問題を解
決するためには、各被写体の位置と形状を認識し、所定
領域内において画像ぶれ量を検出する処理が必要にな
る。このようにした画像ぶれ検知装置が、テレビジョン
学会技術報告Vol.11,No.3,p43〜48,PPOE,'87−12（May,
1987）「画面ゆれ補正装置について」に記載されてい
る。この分献では、全画面を140ブロックの領域に分割
し、各領域でのぶれ検知を手動により任意にオン／オフ
し、オンの領域のみを代表的マッチング法でぶれ検知し
ている。
そして、画像ぶれを検出する領域を決定する方法とし
ては、背景と被写体の輝度差を利用する方法や、一
定時間隔てた画像間との差分（フレーム間差）から動き
領域を検出する方法が用いられてきた。
ては、背景と被写体の輝度差を利用する方法や、一
定時間隔てた画像間との差分（フレーム間差）から動き
領域を検出する方法が用いられてきた。
しかし、上記の方法では、背景と被写体に明確な輝
度が無い場合、の方法では複数の被写体が動いた場合
に、それぞれ、正確な領域決定が困難になる。即ち、従
来の方法には一長一短があり、従来の画像ぶれ検知装置
を小型ビデオ・カメラに組み込んでも、あらゆる画像状
況に対応できるようにはならない。
度が無い場合、の方法では複数の被写体が動いた場合
に、それぞれ、正確な領域決定が困難になる。即ち、従
来の方法には一長一短があり、従来の画像ぶれ検知装置
を小型ビデオ・カメラに組み込んでも、あらゆる画像状
況に対応できるようにはならない。
そこで、本発明は、画像状況により広く対応して被写
体を追尾する追尾制御方法及び装置並びに、ぶれを補正
するぶれ補正方法及び装置を提示することを目的とす
る。
体を追尾する追尾制御方法及び装置並びに、ぶれを補正
するぶれ補正方法及び装置を提示することを目的とす
る。
本発明に係る追尾制御方法は、画面を複数に分割して
得たブロック領域毎に動きベクトルを求め、当該複数の
ブロック領域の動きベクトルの方向及び大きさの分布状
態から、前記画面内を実質的に同じ動きを有する領域ご
とに分類するとともに、当該動きベクトルの大きさが所
定値よりも小さい領域を主要被写体領域、その周囲を背
景領域と識別し、識別された当該主要被写体領域に、主
要被写体像を追尾する追尾動作を行うための動きベクト
ル検出領域を設定することを特徴とする。
得たブロック領域毎に動きベクトルを求め、当該複数の
ブロック領域の動きベクトルの方向及び大きさの分布状
態から、前記画面内を実質的に同じ動きを有する領域ご
とに分類するとともに、当該動きベクトルの大きさが所
定値よりも小さい領域を主要被写体領域、その周囲を背
景領域と識別し、識別された当該主要被写体領域に、主
要被写体像を追尾する追尾動作を行うための動きベクト
ル検出領域を設定することを特徴とする。
本発明に係る追尾制御方法は、画面を複数に分割して
得たブロック領域毎に動きベクトルを求めるとともに、
当該各ブロック領域毎に動きベクトルの変動量を求め、
当該変動量が所定値よりも小さいブロック領域を追尾動
作を行うための動きベクトル検出領域とすることを特徴
とする。
得たブロック領域毎に動きベクトルを求めるとともに、
当該各ブロック領域毎に動きベクトルの変動量を求め、
当該変動量が所定値よりも小さいブロック領域を追尾動
作を行うための動きベクトル検出領域とすることを特徴
とする。
本発明に係る追尾制御装置は、画面を複数に分割して
得たブロック領域毎に動きベクトルを求める動きベクト
ル検出手段と、当該複数のブロック領域の動きベクトル
の方向及び大きさの分布状態から、前記画面内を実質的
に同じ動きを有する領域ごとに分類するとともに、当該
動きベクトルの大きさが所定値よりも小さい領域を主要
被写体領域、その周囲を背景領域と識別する識別手段
と、前記識別手段によって識別された当該主要被写体領
域に、主要被写体像を追尾する追尾動作を行うための動
きベクトル検出領域を設定する領域設定手段とを備える
ことを特徴とする。
得たブロック領域毎に動きベクトルを求める動きベクト
ル検出手段と、当該複数のブロック領域の動きベクトル
の方向及び大きさの分布状態から、前記画面内を実質的
に同じ動きを有する領域ごとに分類するとともに、当該
動きベクトルの大きさが所定値よりも小さい領域を主要
被写体領域、その周囲を背景領域と識別する識別手段
と、前記識別手段によって識別された当該主要被写体領
域に、主要被写体像を追尾する追尾動作を行うための動
きベクトル検出領域を設定する領域設定手段とを備える
ことを特徴とする。
本発明に係る追尾制御装置は、画面を複数に分割して
得たブロック領域毎に動きベクトルを求める動きベクト
ル検出手段と、当該各ブロック領域毎に動きベクトルの
変動量を求め、当該変動量が所定値よりも小さいブロッ
ク領域を追尾動作を行うための動きベクトル検出領域と
する手段とを備えることを特徴とする。
得たブロック領域毎に動きベクトルを求める動きベクト
ル検出手段と、当該各ブロック領域毎に動きベクトルの
変動量を求め、当該変動量が所定値よりも小さいブロッ
ク領域を追尾動作を行うための動きベクトル検出領域と
する手段とを備えることを特徴とする。
本発明に係るぶれ補正方法は、画面を複数に分割して
得たブロック領域毎に動きベクトルを求め、当該複数の
ブロック領域の動きベクトルの方向及び大きさの分布状
態から、前記画面内を実質的に同じ動きを有する領域ご
とに分類するとともに、当該動きベクトルの大きさが所
定値よりも小さい領域を背景領域、大きい領域を主要被
写体領域と識別し、当該背景領域にぶれ補正を行うため
の動きベクトル検出領域を設定することを特徴とする。
得たブロック領域毎に動きベクトルを求め、当該複数の
ブロック領域の動きベクトルの方向及び大きさの分布状
態から、前記画面内を実質的に同じ動きを有する領域ご
とに分類するとともに、当該動きベクトルの大きさが所
定値よりも小さい領域を背景領域、大きい領域を主要被
写体領域と識別し、当該背景領域にぶれ補正を行うため
の動きベクトル検出領域を設定することを特徴とする。
本発明に係るぶれ補正方法は、画面を複数に分割して
得たブロック領域毎に動きベクトルを求めるとともに、
当該各ブロック領域毎に動きベクトルの変動量を求め、
当該変動量が所定値よりも小さいブロック領域をびれ補
正動作を行うための動きベクトル検出領域とすることを
特徴とする。
得たブロック領域毎に動きベクトルを求めるとともに、
当該各ブロック領域毎に動きベクトルの変動量を求め、
当該変動量が所定値よりも小さいブロック領域をびれ補
正動作を行うための動きベクトル検出領域とすることを
特徴とする。
本発明に係るぶれ補正装置は、画面を複数に分割して
得たブロック領域毎に動きベクトルを求める動きベクト
ル検出手段と、当該複数のブロック領域の動きベクトル
の方向及び大きさの分布状態から、前記画面内を実質的
に同じ動きを有する領域ごとに分類するとともに、当該
動きベクトルの大きさが所定値よりも小さい領域を背景
領域、大きい領域を主要被写体領域と識別する識別手段
と、前記識別手段によって識別された前記背景領域にぶ
れ補正を行うための動きベクトル検出領域を設定する領
域設定手段とを備えることを特徴とする。
得たブロック領域毎に動きベクトルを求める動きベクト
ル検出手段と、当該複数のブロック領域の動きベクトル
の方向及び大きさの分布状態から、前記画面内を実質的
に同じ動きを有する領域ごとに分類するとともに、当該
動きベクトルの大きさが所定値よりも小さい領域を背景
領域、大きい領域を主要被写体領域と識別する識別手段
と、前記識別手段によって識別された前記背景領域にぶ
れ補正を行うための動きベクトル検出領域を設定する領
域設定手段とを備えることを特徴とする。
本発明に係るぶれ補正装置は、画面を複数に分割して
得たブロック領域毎に動きベクトルを求める動きベクト
ル検出手段と、当該各ブロック領域毎に動きベクトルの
変動量を求め、当該変動量が所定値よりも小さいブロッ
ク領域をぶれ補正動作を行うための動きベクトル検出領
域とする手段とを備えることを特徴とする。
得たブロック領域毎に動きベクトルを求める動きベクト
ル検出手段と、当該各ブロック領域毎に動きベクトルの
変動量を求め、当該変動量が所定値よりも小さいブロッ
ク領域をぶれ補正動作を行うための動きベクトル検出領
域とする手段とを備えることを特徴とする。
動きベクトルを総計処理するので、被写体と背景の輝
度差に関わらず、また複数の移動被写体があっても、適
切に追尾領域を決定できる。
度差に関わらず、また複数の移動被写体があっても、適
切に追尾領域を決定できる。
以下、図面を参照して本発明の実施例を説明する。
第１図は本発明を適用した画像ぶれ補正装置を組み込
んだビデオ・カメラの構成ブロック図を示す。10は被写
体、12は光軸方向を変化し得る可変頂角プリズム、14は
撮影レンズ、16は例えば二次元CCDからなる撮像素子、1
8は撮像素子16の出力画像信号にガンマ補正、ブランキ
ング処理、同期信号の付加などの処理を行う信号処理回
路であり、出力端子20からは例えばNTSC規格のテレビジ
ョン信号が得られる。Ｙは輝度信号、H.SYNCは水平同期
信号、V.SYNCは垂直同期信号である。22は輝度信号Ｙを
所定時間遅延する遅延回路であり、例えばFIFO（first
−in first−out）型フィールド・メモリからなる。24
は、走査中の映像信号を画面上に設定された所定のブロ
ックに分割するためのゲート・パルスを発生するブロッ
ク分割パルス発生回路、26,28は輝度信号Ｙをブロック
分割パルス発生回路24の出力パルスに従って分割する分
割回路である。分割回路26,28は入力の輝度信号を画面
上に設定したブロック毎にまとめて出力し、具体的に
は、ブロック分割パルス発生回路24の出力パルスにより
開閉制御されるゲート回路と、当該ゲート回路の通過信
号を記憶するメモリとからなる。
んだビデオ・カメラの構成ブロック図を示す。10は被写
体、12は光軸方向を変化し得る可変頂角プリズム、14は
撮影レンズ、16は例えば二次元CCDからなる撮像素子、1
8は撮像素子16の出力画像信号にガンマ補正、ブランキ
ング処理、同期信号の付加などの処理を行う信号処理回
路であり、出力端子20からは例えばNTSC規格のテレビジ
ョン信号が得られる。Ｙは輝度信号、H.SYNCは水平同期
信号、V.SYNCは垂直同期信号である。22は輝度信号Ｙを
所定時間遅延する遅延回路であり、例えばFIFO（first
−in first−out）型フィールド・メモリからなる。24
は、走査中の映像信号を画面上に設定された所定のブロ
ックに分割するためのゲート・パルスを発生するブロッ
ク分割パルス発生回路、26,28は輝度信号Ｙをブロック
分割パルス発生回路24の出力パルスに従って分割する分
割回路である。分割回路26,28は入力の輝度信号を画面
上に設定したブロック毎にまとめて出力し、具体的に
は、ブロック分割パルス発生回路24の出力パルスにより
開閉制御されるゲート回路と、当該ゲート回路の通過信
号を記憶するメモリとからなる。
30は現在の画面の信号と、遅延回路22から出力された
所定時間前の画面の信号とを比較して、分割したブロッ
ク毎に動きベクトルを求める動きベクトル検出回路、32
は画面上の各部の動きベクトル情報を記憶するメモリ、
34は各ベクトルのヒストグラムを作成する総計演算回
路、36は当該ヒストグラムの形状を認識し、後述する閾
値を決定する閾値決定回路、38は閾値決定回路36で決定
された閾値の範囲内にあるブロックを探索し、領域決定
をする領域決定回路である。
所定時間前の画面の信号とを比較して、分割したブロッ
ク毎に動きベクトルを求める動きベクトル検出回路、32
は画面上の各部の動きベクトル情報を記憶するメモリ、
34は各ベクトルのヒストグラムを作成する総計演算回
路、36は当該ヒストグラムの形状を認識し、後述する閾
値を決定する閾値決定回路、38は閾値決定回路36で決定
された閾値の範囲内にあるブロックを探索し、領域決定
をする領域決定回路である。
40は輝度信号の中から手ぶれ量を検出する手ぶれ量検
出回路であり、例えば、代表点マッチングなどを行う相
関演算回路からなる。42は可変頂角プリズム12の頂角を
変更させるアクチュエータ、44は手ぶれ量検出回路40の
出力に応じて当該アクチュエータ42を駆動する駆動回路
である。可変頂角プリズム12の頂角を変更するとによ
り、当該プリズム12の入射光軸に対する出射光軸の偏角
を制御できる。
出回路であり、例えば、代表点マッチングなどを行う相
関演算回路からなる。42は可変頂角プリズム12の頂角を
変更させるアクチュエータ、44は手ぶれ量検出回路40の
出力に応じて当該アクチュエータ42を駆動する駆動回路
である。可変頂角プリズム12の頂角を変更するとによ
り、当該プリズム12の入射光軸に対する出射光軸の偏角
を制御できる。
次に、第１図の動作を説明する。可変頂角プリズム12
及び撮影レンズを通過した被写体像は撮像素子16に入射
し、撮像素子16は画像信号を出力する。信号処理回路18
は撮像素子16の出力に上記の信号処理を施す。信号処理
回路18から出力される輝度信号Ｙは、直接、分割回路28
に印加され、、また、遅延回路22により１フィールド期
間（約16.7msec）遅延されて分割回路26に印加される。
分割回路26,28は、ブロック分割パルス発生回路24の出
力パルスに従って、全画面をｍ×ｎ個のブロックに分割
する。ここでは、ｍが20、ｎが14（合計で280個のブロ
ック）の場合を説明する。
及び撮影レンズを通過した被写体像は撮像素子16に入射
し、撮像素子16は画像信号を出力する。信号処理回路18
は撮像素子16の出力に上記の信号処理を施す。信号処理
回路18から出力される輝度信号Ｙは、直接、分割回路28
に印加され、、また、遅延回路22により１フィールド期
間（約16.7msec）遅延されて分割回路26に印加される。
分割回路26,28は、ブロック分割パルス発生回路24の出
力パルスに従って、全画面をｍ×ｎ個のブロックに分割
する。ここでは、ｍが20、ｎが14（合計で280個のブロ
ック）の場合を説明する。
動きベクトル検出回路30は、次空間勾配法によりブロ
ック毎の動きベクトルを求める。この方法は、ビー・ケ
ー・ピー・ホーン（B.K.P,Horn）らにより、アーティフ
ィシャル・インテリジェンス（Artificil Intelligenc
e）17,p185〜203（1981）で論じられており、専用ハー
ドウェアにより実時間処理が可能である。このようにし
て求めた画面全体での各ブロック毎の動きベクトルをオ
プティカル・フローと称する。第２図を参照して、回路
30〜38の動作を具体的に説明する。第２図（ａ）は撮影
した現フィールド画面の一例、同（ｂ）は直前のフィー
ルドとの差を一定時間蓄積して得たオプティカル・フロ
ー、同（ｃ）はオプティカル・フローをＸ方向、Ｙ方向
のそれぞれの大きさで作成したヒストグラム、同（ｄ）
は本実施例によって認識した領域区分である。
ック毎の動きベクトルを求める。この方法は、ビー・ケ
ー・ピー・ホーン（B.K.P,Horn）らにより、アーティフ
ィシャル・インテリジェンス（Artificil Intelligenc
e）17,p185〜203（1981）で論じられており、専用ハー
ドウェアにより実時間処理が可能である。このようにし
て求めた画面全体での各ブロック毎の動きベクトルをオ
プティカル・フローと称する。第２図を参照して、回路
30〜38の動作を具体的に説明する。第２図（ａ）は撮影
した現フィールド画面の一例、同（ｂ）は直前のフィー
ルドとの差を一定時間蓄積して得たオプティカル・フロ
ー、同（ｃ）はオプティカル・フローをＸ方向、Ｙ方向
のそれぞれの大きさで作成したヒストグラム、同（ｄ）
は本実施例によって認識した領域区分である。
この例では、被写体は動きのある動画であり、撮影者
はカメラぶれを防ごうとしているので、背景の動きは被
写体の動きよりも少ない。動きベクトル検出回路30で検
出された動きベクトルは、メモリ32で一定周期分（例え
ば１秒間）蓄積された後、統計処理演算回路34に入力さ
れる。統計処理演算回路34では、各ベクトルのX,Y成分
の大きさに従ってランク分けを行い、ヒストグラム（第
２図（ｃ））を作成する。第２図（ｃ）の上側がＸ方向
でのベクトル・ヒストグラム、下側がＹ方向でのベクト
ル・ヒストグラムである。閾値決定回路36は、この２つ
のヒストグラムの形状から閾値を決定する。ここでは、
X,Yそれぞれの方向で最も０に近いピークを持つ分布の
直近の極小値を見つけ、この極小値の位置を閾値とす
る。この閾値を正側と負側の両側で求める。第２図
（ｃ）では、これをThx1,Thx2,Thy1,Thy2と記した。
はカメラぶれを防ごうとしているので、背景の動きは被
写体の動きよりも少ない。動きベクトル検出回路30で検
出された動きベクトルは、メモリ32で一定周期分（例え
ば１秒間）蓄積された後、統計処理演算回路34に入力さ
れる。統計処理演算回路34では、各ベクトルのX,Y成分
の大きさに従ってランク分けを行い、ヒストグラム（第
２図（ｃ））を作成する。第２図（ｃ）の上側がＸ方向
でのベクトル・ヒストグラム、下側がＹ方向でのベクト
ル・ヒストグラムである。閾値決定回路36は、この２つ
のヒストグラムの形状から閾値を決定する。ここでは、
X,Yそれぞれの方向で最も０に近いピークを持つ分布の
直近の極小値を見つけ、この極小値の位置を閾値とす
る。この閾値を正側と負側の両側で求める。第２図
（ｃ）では、これをThx1,Thx2,Thy1,Thy2と記した。
このようにして決定された閾値は領域決定回路38に入
力され、領域決定回路38はメモリ32内の動きベクトルの
内、閾値範囲内のブロックを順次探索する。例えば、ｍ
＝ｉ番目、ｎ＝ｊ番目のブロックBijにおけるＸ方向動
き量をuij、Ｙ方向動き量をvijとすると、 Thx1＜uij＜Thx2且つ Thy1＜vij＜Thy2 を満足するブロックを「オン」とし、その他のブロック
を「オン」とする。このようにして求めたオン／オフの
状態は、第２図（ｄ）のようになる。斜線部分が「オ
ン」であり、ほぼ背景の領域と一致している。
力され、領域決定回路38はメモリ32内の動きベクトルの
内、閾値範囲内のブロックを順次探索する。例えば、ｍ
＝ｉ番目、ｎ＝ｊ番目のブロックBijにおけるＸ方向動
き量をuij、Ｙ方向動き量をvijとすると、 Thx1＜uij＜Thx2且つ Thy1＜vij＜Thy2 を満足するブロックを「オン」とし、その他のブロック
を「オン」とする。このようにして求めたオン／オフの
状態は、第２図（ｄ）のようになる。斜線部分が「オ
ン」であり、ほぼ背景の領域と一致している。
手ぶれ量検出回路40は、この「オン」の領域におい
て、動き量を算出する。手ぶれ量検出回路40としては、
代表点マッチング法に限らず、画像処理により高速に動
きを検出できるものであって、ブロック毎に相関演算の
オン（実行）／オフ（不実行）を制御可能なものであれ
ばよい。手ぶれ検出回路40で求めたぶれ量は、駆動回路
44に印加され、アクチュエータ42は、手ぶれ検出回路40
の出力（ぶれ量）が少なくなる方向、即ちカメラの手ぶ
れによる画面動きが少なくなる方向に、可変頂角プリズ
ム12を駆動する。
て、動き量を算出する。手ぶれ量検出回路40としては、
代表点マッチング法に限らず、画像処理により高速に動
きを検出できるものであって、ブロック毎に相関演算の
オン（実行）／オフ（不実行）を制御可能なものであれ
ばよい。手ぶれ検出回路40で求めたぶれ量は、駆動回路
44に印加され、アクチュエータ42は、手ぶれ検出回路40
の出力（ぶれ量）が少なくなる方向、即ちカメラの手ぶ
れによる画面動きが少なくなる方向に、可変頂角プリズ
ム12を駆動する。
動きベクトル検出回路30と手ぶれ量検出回路40は、各
フィールド毎に演算を行うのが好ましいが、回路32〜38
の処理は数百ミリ秒〜数秒に１回程度でよい。それは、
手ぶれ周波数が１〜3Hzに集中しており、また乗り物な
どの機械的な振動の周波数はこれ以上に高く、従って、
統計演算をこれらの周期より長くとることで、誤って意
図しない被写体を追尾することを防げるからである。
フィールド毎に演算を行うのが好ましいが、回路32〜38
の処理は数百ミリ秒〜数秒に１回程度でよい。それは、
手ぶれ周波数が１〜3Hzに集中しており、また乗り物な
どの機械的な振動の周波数はこれ以上に高く、従って、
統計演算をこれらの周期より長くとることで、誤って意
図しない被写体を追尾することを防げるからである。
また、回路32〜36の統計処理において、X,Y方向それ
ぞれでのヒストグラムを作成すると説明したが、Ｘ−Ｙ
の二次元空間でヒストグラムを作成してもよい。動きベ
クトル検出回路30で一定の時間蓄積した画像を用いてオ
プティカル・フローを求めた場合には、回路32〜38の演
算周期は、これに応じて変える必要がある。
ぞれでのヒストグラムを作成すると説明したが、Ｘ−Ｙ
の二次元空間でヒストグラムを作成してもよい。動きベ
クトル検出回路30で一定の時間蓄積した画像を用いてオ
プティカル・フローを求めた場合には、回路32〜38の演
算周期は、これに応じて変える必要がある。
次に、撮影者が被写体を追尾して流し撮りしたい場合
を説明する。第２図の中心の人物Ｂを追尾する場合、オ
プティカル・フローは第３図（ａ）のようになる。撮影
者は人物Ｂを常に画面の一定位置に収めようとするの
で、人物Ｂの位置での動きベクトルは小さくなり、逆に
背景を含む他の部分における動きベクトルの大きさは大
きくなる。第３図（ｂ）は第２図（ｃ）と同様のヒスト
グラムを示し、第３図（ｃ）は領域決定回路38により決
定されたオン領域（斜線部分）である。なお、閾値決定
（Thx1,Thx2,Thy1,Thy2）及び領域決定のプロセスは、
上述の場合と同じである。
を説明する。第２図の中心の人物Ｂを追尾する場合、オ
プティカル・フローは第３図（ａ）のようになる。撮影
者は人物Ｂを常に画面の一定位置に収めようとするの
で、人物Ｂの位置での動きベクトルは小さくなり、逆に
背景を含む他の部分における動きベクトルの大きさは大
きくなる。第３図（ｂ）は第２図（ｃ）と同様のヒスト
グラムを示し、第３図（ｃ）は領域決定回路38により決
定されたオン領域（斜線部分）である。なお、閾値決定
（Thx1,Thx2,Thy1,Thy2）及び領域決定のプロセスは、
上述の場合と同じである。
上記実施例では、被写体の動き又は変形が周期的に繰
り返している場合で、且つ回路32〜38のヒストグラム統
計処理の周期が一致しているときには、静止領域と繰り
返し運動の動領域とを区別できない。このような場合に
は、各ブロック毎のベクトルの変動量（分散）を求め、
この値が所定値以下の領域を追尾オンの領域とする。例
えば、或るブロックBijにおける時刻ｔのベクトル（u
ijt,vijt）に対し、統計処理の周期Ｔにおけるベクトル
平均値を ij,ij とし、ベクトル分散をSXij,SYijとすると、 であり、各ブロック間でSXij,SYijを比較すればよい。
またSXij,SYijの平方根（標準偏差）で比較をしてもよ
い。
り返している場合で、且つ回路32〜38のヒストグラム統
計処理の周期が一致しているときには、静止領域と繰り
返し運動の動領域とを区別できない。このような場合に
は、各ブロック毎のベクトルの変動量（分散）を求め、
この値が所定値以下の領域を追尾オンの領域とする。例
えば、或るブロックBijにおける時刻ｔのベクトル（u
ijt,vijt）に対し、統計処理の周期Ｔにおけるベクトル
平均値を ij,ij とし、ベクトル分散をSXij,SYijとすると、 であり、各ブロック間でSXij,SYijを比較すればよい。
またSXij,SYijの平方根（標準偏差）で比較をしてもよ
い。
以上の説明から容易に理解できるように、本発明によ
れば、オプティカル・フローの統計処理により、被写体
追尾領域及びぶれ補正領域を決定するので、撮影者が画
面の中での位置を安定させたい被写体と、そうでない被
写体とを自動的に判別し、それらの被写体に明確な輝度
差が無くても、また複数の移動物体が存在しても、的確
に動作する。本発明は撮影用テレビ・カメラのみなら
ず、工業用テレビ・カメラや監視カメラなどにも広く適
用できるものであり、実用上、著しい利点がある。
れば、オプティカル・フローの統計処理により、被写体
追尾領域及びぶれ補正領域を決定するので、撮影者が画
面の中での位置を安定させたい被写体と、そうでない被
写体とを自動的に判別し、それらの被写体に明確な輝度
差が無くても、また複数の移動物体が存在しても、的確
に動作する。本発明は撮影用テレビ・カメラのみなら
ず、工業用テレビ・カメラや監視カメラなどにも広く適
用できるものであり、実用上、著しい利点がある。
第１図は本発明を適用したビデオ・カメラの構成ブロッ
ク図、第２図及び第３図は領域決定の手順の説明図であ
る。 10……被写体、12……可変頂角プリズム、14……撮影レ
ンズ、16……撮像素子、18……信号処理回路、20……映
像出力端子、22……遅延回路、24……ブロック分割パル
ス発生回路、26,28……分割回路、30……動きベクトル
検出回路、32……メモリ、34……統計演算回路、36……
閾値決定回路、38……領域決定回路、40……手ぶれ量検
出回路、42……アクチュエータ、44……駆動回路
ク図、第２図及び第３図は領域決定の手順の説明図であ
る。 10……被写体、12……可変頂角プリズム、14……撮影レ
ンズ、16……撮像素子、18……信号処理回路、20……映
像出力端子、22……遅延回路、24……ブロック分割パル
ス発生回路、26,28……分割回路、30……動きベクトル
検出回路、32……メモリ、34……統計演算回路、36……
閾値決定回路、38……領域決定回路、40……手ぶれ量検
出回路、42……アクチュエータ、44……駆動回路
Claims (12)
- 【請求項１】画面を複数に分割して得たブロック領域毎
に動きベクトルを求め、 当該複数のブロック領域の動きベクトルの方向及び大き
さの分布状態から、前記画面内を実質的に同じ動きを有
する領域ごとに分類するとともに、当該動きベクトルの
大きさが所定値よりも小さい領域を主要被写体領域、そ
の周囲を背景領域と識別し、 識別された当該主要被写体領域に、主要被写体像を追尾
する追尾動作を行うための動きベクトル検出領域を設定
する ことを特徴とする追尾制御方法。 - 【請求項２】動きベクトルの度数分布のヒストグラムを
作成するとともに、当該ヒストグラム上において、動き
ベクトルの大きさが０となる点に最も近い度数ピークを
持つ度数分布の直近の極小値となる位置を前記０位置に
対して正側及び負側において求めて閾値とし、動きベク
トルが当該閾値の範囲内にあるブロック領域を追尾領域
とする特許請求の範囲第（１）項に記載の追尾制御方
法。 - 【請求項３】画面を複数に分割して得たブロック領域毎
に動きベクトルを求めるとともに、当該各ブロック領域
毎に動きベクトルの変動量を求め、当該変動量が所定値
よりも小さいブロック領域を追尾動作を行うための動き
ベクトル検出領域とすることを特徴とする追尾制御方
法。 - 【請求項４】画面を複数に分割して得たブロック領域毎
に動きベクトルを求める動きベクトル検出手段と、 当該複数のブロック領域の動きベクトルの方向及び大き
さの分布状態から、前記画面内を実質的に同じ動きを有
する領域ごとに分類するとともに、当該動きベクトルの
大きさが所定値よりも小さい領域を主要被写体領域、そ
の周囲を背景領域と識別する識別手段と、 前記識別手段によって識別された当該主要被写体領域
に、主要被写体像を追尾する追尾動作を行うための動き
ベクトル検出領域を設定する領域設定手段 とを備えることを特徴とする追尾制御装置。 - 【請求項５】動きベクトルの度数分布のヒストグラムを
作成するとともに、当該ヒストグラム上において、動き
ベクトルの大きさが０となる点に最も近い度数ピークを
持つ度数分布の直近の極小値となる位置を前記０位置に
対して正側及び負側において求めて閾値とし、動きベク
トルが当該閾値の範囲内にあるブロック領域を追尾領域
とする特許請求の範囲第（４）項に記載の追尾制御装
置。 - 【請求項６】画面を複数に分割して得たブロック領域毎
に動きベクトルを求める動きベクトル検出手段と、 当該各ブロック領域毎に動きベクトルの変動量を求め、
当該変動量が所定値よりも小さいブロック領域を追尾動
作を行うための動きベクトル検出領域とする手段 とを備えることを特徴とする追尾制御装置。 - 【請求項７】画面を複数に分割して得たブロック領域毎
に動きベクトルを求め、 当該複数のブロック領域の動きベクトルの方向及び大き
さの分布状態から、前記画面内を実質的に同じ動きを有
する領域ごとに分類するとともに、当該動きベクトルの
大きさが所定値よりも小さい領域を背景領域、大きい領
域を主要被写体領域と識別し、 当該背景領域にぶれ補正を行うための動きベクトル検出
領域を設定する ことを特徴とするぶれ補正方法。 - 【請求項８】動きベクトルの度数分布のヒストグラムを
作成するとともに、当該ヒストグラム上において、動き
ベクトルの大きさが０となる点に最も近い度数ピークを
持つ度数分布の直近の極小値となる位置を前記０位置に
対して正側及び負側において求めて閾値とし、動きベク
トルが当該閾値の範囲内にあるブロック領域をぶれ補正
のための動きベクトル検出領域とする特許請求の範囲第
（７）項に記載のぶれ補正方法。 - 【請求項９】画面を複数に分割して得たブロック領域毎
に動きベクトルを求めるとともに、当該各ブロック領域
毎に動きベクトルの変動量を求め、当該変動量が所定値
よりも小さいブロック領域をぶれ補正動作を行うための
動きベクトル検出領域とすることを特徴とするぶれ補正
方法。 - 【請求項１０】画面を複数に、分割して得たブロック領
域毎に動きベクトルを求める動きベクトル検出手段と、 当該複数のブロック領域の動きベクトルの方向及び大き
さの分布状態から、前記画面内を実質的に同じ動きを有
する領域ごとに分類するとともに、当該動きベクトルの
大きさが所定値よりも小さい領域を背景領域、大きい領
域を主要被写体領域と識別する識別手段と、 前記識別手段によって識別された前記背景領域にぶれ補
正を行うための動きベクトル検出領域を設定する領域設
定手段 とを備えることを特徴とするぶれ補正装置。 - 【請求項１１】動きベクトルの度数分布のヒストグラム
を作成するとともに、当該ヒストグラム上において、動
きベクトルの大きさが０となる点に最も近い度数ピーク
を持つ度数分布の直近の極小値となる位置を前記０位置
に対して正側及び負側において求めて閾値とし、動きベ
クトルが当該閾値の範囲内にあるブロック領域をぶれ補
正のための動きベクトル検出領域とする特許請求の範囲
第（10）項に記載のぶれ補正装置。 - 【請求項１２】画面を複数に分割して得たブロック領域
毎に動きベクトルを求める動きベクトル検出手段と、 当該各ブロック領域毎に動きベクトルの変動量を求め、
当該変動量が所定値よりも小さいブロック領域をぶれ補
正動作を行うための動きベクトル検出領域とする手段 とを備えることを特徴とするぶれ補正装置。
Priority Applications (13)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63269554A JP2956056B2 (ja) | 1988-10-27 | 1988-10-27 | 追尾制御方法及び装置並びにぶれ補正方法及び装置 |
| US07/319,658 US5012270A (en) | 1988-03-10 | 1989-03-06 | Image shake detecting device |
| DE68928126T DE68928126T2 (de) | 1988-03-10 | 1989-03-08 | Einrichtung zur Feststellung von Bildzittern |
| DE89104111T DE68905051T2 (de) | 1988-03-10 | 1989-03-08 | Einrichtung zur Feststellung des Bildzitterns. |
| EP89104111A EP0332169B1 (en) | 1988-03-10 | 1989-03-08 | Image shake detecting device |
| EP91112875A EP0458373B1 (en) | 1988-03-10 | 1989-03-08 | Image shake detecting device |
| DE68921840T DE68921840T2 (de) | 1988-10-27 | 1989-10-26 | Bildaufnahme- und Verarbeitungseinrichtung. |
| EP89119917A EP0366136B1 (en) | 1988-10-27 | 1989-10-26 | Image sensing and processing device |
| US08/053,961 US5386264A (en) | 1988-03-10 | 1993-04-26 | Image shake detecting device |
| US08/708,133 US5734933A (en) | 1988-03-10 | 1996-08-30 | Image shake detecting device |
| US08/813,141 US5949481A (en) | 1988-10-27 | 1997-03-07 | Image sensing and processing device |
| US08/954,919 US6047134A (en) | 1988-03-10 | 1997-10-21 | Image shake detecting device |
| US09/360,741 US6370330B2 (en) | 1988-03-10 | 1999-07-26 | Image shake detecting device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63269554A JP2956056B2 (ja) | 1988-10-27 | 1988-10-27 | 追尾制御方法及び装置並びにぶれ補正方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH02117276A JPH02117276A (ja) | 1990-05-01 |
| JP2956056B2 true JP2956056B2 (ja) | 1999-10-04 |
Family
ID=17473997
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP63269554A Expired - Fee Related JP2956056B2 (ja) | 1988-03-10 | 1988-10-27 | 追尾制御方法及び装置並びにぶれ補正方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2956056B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006067345A (ja) * | 2004-08-27 | 2006-03-09 | Sony Corp | 画像信号処理装置、その制御方法および画像信号処理システム |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04180370A (ja) * | 1990-11-14 | 1992-06-26 | Matsushita Electric Ind Co Ltd | 画像の動きベクトル検出装置及び揺れ補正装置 |
| JPH0648333A (ja) * | 1991-05-31 | 1994-02-22 | Fukuyama Rubber Kogyo Kk | 高弾性ゴムクローラ |
| DE69322423T2 (de) * | 1992-03-13 | 1999-06-02 | Canon Kk | Vorrichtung zur Detektion von Bewegungsvektoren |
| US6118484A (en) * | 1992-05-22 | 2000-09-12 | Canon Kabushiki Kaisha | Imaging apparatus |
| WO1997000575A1 (fr) * | 1995-06-19 | 1997-01-03 | Sony Corporation | Dispositif de reconnaissance d'objets et dispositif de prise d'images |
| JP4496595B2 (ja) * | 1999-03-29 | 2010-07-07 | ソニー株式会社 | 画像処理装置および画像処理方法、並びに記録媒体 |
| JP2006295350A (ja) | 2005-04-07 | 2006-10-26 | Sony Corp | 撮像装置及び撮像結果の処理方法 |
| GB2438449C (en) | 2006-05-24 | 2018-05-30 | Sony Computer Entertainment Europe Ltd | Control of data processing |
| JP4441919B2 (ja) | 2007-11-22 | 2010-03-31 | カシオ計算機株式会社 | 撮像装置及びそのプログラム |
| JP4898655B2 (ja) * | 2007-12-27 | 2012-03-21 | 株式会社アイエスピー | 撮像装置及び画像合成プログラム |
| JP4760918B2 (ja) * | 2009-01-23 | 2011-08-31 | カシオ計算機株式会社 | 撮像装置、被写体追従方法、及びプログラム |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61269475A (ja) * | 1985-05-23 | 1986-11-28 | Toshiba Corp | 動きベクトル検出装置 |
-
1988
- 1988-10-27 JP JP63269554A patent/JP2956056B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006067345A (ja) * | 2004-08-27 | 2006-03-09 | Sony Corp | 画像信号処理装置、その制御方法および画像信号処理システム |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH02117276A (ja) | 1990-05-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0366136B1 (en) | Image sensing and processing device | |
| US7787015B2 (en) | Apparatus and method for reducing image blur in a digital camera | |
| US8599268B2 (en) | Image capturing apparatus, method of detecting tracking object, and computer program product | |
| JP4699040B2 (ja) | 自動追尾制御装置及び自動追尾制御方法、並びにプログラム、自動追尾システム | |
| US5012270A (en) | Image shake detecting device | |
| US6819778B2 (en) | Method and system for tracking a fast moving object | |
| US8170277B2 (en) | Automatic tracking apparatus and automatic tracking method | |
| JP6768537B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
| US7860387B2 (en) | Imaging apparatus and control method therefor | |
| JP2956056B2 (ja) | 追尾制御方法及び装置並びにぶれ補正方法及び装置 | |
| KR19990031401A (ko) | 비트 플레인 정합을 이용한 입력영상의 움직임 보정을 통한 영상안정화 장치 및 그에 따른 영상 안정화방법 | |
| US20050052533A1 (en) | Object tracking method and object tracking apparatus | |
| US20120133730A1 (en) | Image pickup apparatus that automatically determines shooting mode most suitable for shooting scene, control method therefor, and storage medium | |
| JP2017046321A (ja) | 撮像装置を制御する制御装置、撮像装置の制御方法、及びプログラム | |
| JP2000188713A (ja) | 自動焦点制御装置及びその合焦動作決定方法 | |
| JP2007067559A (ja) | 画像処理方法、画像処理装置、及び撮像装置の制御方法 | |
| CN101207714B (zh) | 图像拾取设备和成像方法 | |
| JP2756293B2 (ja) | 自動焦点調節装置 | |
| JP2832960B2 (ja) | 測距領域設定装置 | |
| JP3199834B2 (ja) | 防振装置及び振れ検出装置 | |
| JP2000175101A (ja) | 自動追尾装置 | |
| JPH07298247A (ja) | Ｔｖカメラを用いた監視方法及び監視システム | |
| JP3039669B2 (ja) | 撮像装置 | |
| JPH065909B2 (ja) | カメラにおける自動追尾装置 | |
| JPH0591513A (ja) | 画像監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070723 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080723 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |