JPH02117276A

JPH02117276A - 追尾制御方法及び装置並びにぶれ補正方法及び装置

Info

Publication number: JPH02117276A
Application number: JP63269554A
Authority: JP
Inventors: Masayoshi Sekine; 正慶関根
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1988-10-27
Filing date: 1988-10-27
Publication date: 1990-05-01
Anticipated expiration: 2014-10-04
Also published as: JP2956056B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は画像信号から画像のぶれ量を検出し、実時間で
そのぶれを補正する画像ぶれ補正装置における追尾領域
決定方法に関する。

〔従来の技術〕

カメラ、ビデオ・カメラ、電子カメラなどの撮像光学装
置においては、工業用計測機器、民生用機器を問わず、
そのカメラぶれが画像を見にくくすると共に、あらゆる
誤動作の原因となる。特に、歩行中や移動する乗り物上
からの撮影や、振動の多い場所における撮影では、画面
ぷれを生じ易いので、従来から、画面ぶれを補正する種
々の方法が提案されている。

例えば、特開昭６１−２４８６８１号公報に記載の防振
カメラでは、レンズ系及び光電変換素子からなる撮像系
により入射画像を電気信号に変換し、所定の信号処理を
施してテレビ画像信号をモニタ装置に供給すると共に、
当該テレビ画像信号を画像ぶれ検知回路にも供給し、一
定時間隔てた２画面間の相関をとることにより画像ぶれ
の大きさと方向を検知する。そして、この検知結果に基
づいて、画像ぶれを打ち消す方向にレンズ系を駆動制御
している。この結果、装置が振動しても、安定した画像
が得られるとされている。

なお、防振とはカメラぶれを修正する機能、追尾とは移
動被写体をカメラが追跡する機能を言い、原理的な処理
・制御方法は同じである。

このように、画像からぶれ量を検出する場合、画面全体
に対し均一な感度でぶれ量を検出する方式を採用すると
、被写体が変形、移動したのが、カメラが手ぶれにより
傾いたのかが区別できず、撮影者の意志に反した物体を
追尾撮影するといった事態が生じうる。この問題を解決
するためには、各被写体の位置と形状を認識し、所定領
域内において画像ぶれ量を検出する処理が必要になる。

このようにした画像ぶれ検知装置が、テレビジョン学会
技術報告Ｖｏ１．１１．Ｎｏ、３．ｐ４３〜４８．ＰＰ
０Ｅ、’８７−８７−１２（，１９８７）　「画面ゆれ
補正装置について」に記載されている。この文献では、
全画面を１４０ブロツクの領域に分割し、各領域でのぶ
れ検知を手動により任意にオン／オフし、オンの領域の
みを代表的マツチング法でぶれ検知している。

そして、画像ぶれを検出する領域を決定する方法として
は、■背景と被写体の輝度差を利用する方法や、■一定
時間隔てた画像間との差分（フレーム間差）から動き領
域を検出する方法が用いられてきた。

〔発明が解決しようとする課題〕

しかし、上記■の方法では、背景と被写体に明確な輝度
差が無い場合、■の方法では複数の被写体が動いた場合
に、それぞれ、正確な領域決定が困難になる。即ち、従
来の方法には一長一短があり、従来の画像ぶれ検知装置
を小型ビデオ・カメラに組み込んでも、あらゆる画像状
況に対応できるようにはならない。

そこで、本発明は、画像状況により広く対応して被写体
を追尾する追尾領域決定方法を提示することを目的とす
る。

〔課題を解決するための手段〕

本発明に係る追尾領域決定方法は、画面を少なくとも２
つ以上に分割して得たブロック領域毎に動きベクトルを
求め、全ブロック領域の動きベクトルを統計処理して、
追尾動作のための演算を行う領域を決定することを特徴
とする。

〔作用〕

動きベクトルを統計処理するので、被写体と背景の輝度
差に関わらず、また複数の移動被写体があっても、適切
に追尾領域を決定できる。

〔実施例〕

以下、図面を参照して本発明の詳細な説明する。

第１図は本発明を適用した画像ぶれ補正装置を組み込ん
だビデオ・カメラの構成ブロック図を示す。１０は被写
体、１２は光軸方向を変化し得る可変頂角プリズム、１
４は撮影レンズ、１６は例えば二次元ＣＣＤからなる撮
像素子、１８は撮像素子１６の出力画像信号にガンマ補
正、ブランキング処理、同期信号の付加などの処理を行
う信号処理回路であり、出力端子２０からは例えばＮＴ
ＳＣ規格のテレビジョン信号が得られる。Ｙは輝度信号
、Ｈ，５ＹＮＣは水平同期信号、Ｖ、５ＹＮＣは垂直同
期信号である。２２は輝度信号Ｙを所定時間遅延する遅
延回路であり、例えばＦＩＦＯ（ｆｉｒｓｔ−ｉｎ　ｆ
ｉｒｓｔ−ｏｕｔ）型フィールド・メモリからなる。２
４は、走査中の映像信号を画面上に設定された所定のブ
ロックに分割するためのゲート・パルスを発生するブロ
ック分割パルス発生回路、２６．２８は輝度信号Ｙをブ
ロック分割パルス発生回路２４の出力パルスに従って分
割する分割回路である。分割回路２６．２８は人力の輝
度信号を画面上に設定したブロック毎にまとめて出力し
、具体的には、ブロック分割パルス発生回路２４の出力
パルスにより開閉制御されるゲート回路と、当該ゲート
回路の通過信号を記憶するメモリとからなる。

３０は現在の画面の信号と、遅延回路２２から出力され
た所定時間前の画面の信号とを比較して、分割したブロ
ック毎に動きベクトルを求める動きベクトル検出回路、
３２は画面上の各部の動きベクトル情報を記憶するメモ
リ、３４は各ベクトルのヒストグラムを作成する統計演
算回路、３６は当該ヒストグラムの形状を認識し、後述
する閾値を決定する閾値決定回路、３８は閾値決定回路
３６で決定された閾値の範囲内にあるブロックを探索し
、領域決定をする領域決定回路である。

４０は輝度信号の中から手ぶれ量を検出する手ぶれ量検
出回路であり、例えば、代表点マツチングなどを行う相
関演算回路からなる。４２は可変頂角プリズム１２の頂
角を変更させるアクチュエータ、４４は手ぶれ量検出回
路４０の出力に応じて当該アクチュエータ４２を駆動す
る駆動回路である。可変頂角プリズム１２の頂角を変更
することにより、当該プリズム１２の入射光軸に対する
出射光軸の偏角を制御できる。

次に、第１図の動作を説明する。可変頂角プリズム１２
及び撮影レンズを通過した被写体像は撮像素子１６に入
射し、撮像素子１６は画像信号を出力する。信号処理回
路１８は撮像素子１６の出力に上記の信号処理を施す。

信号処理回路１８から出力される輝度信号Ｙは、直接、
分割回路２８に印加され、また、遅延回路２２により１
フイ一ルド期間（約１６．７ｍ５ｅｃ）遅延されて分割
回路２６に印加される。分割回路２６．２８は、ブロッ
ク分割パルス発生回路２４の出力パルスに従って、全画
面をｍｘｎ個のブロックに分割する。ここでは、ｍが２
０、ｎが１４（合計で２８０個のブロック）の場合を説
明する。

動きベクトル検出回路３０は、時空間勾配法によりブロ
ック毎の動きベクトルを求める。この方法は、ビー・ケ
ー・ピー・ホーン（Ｂ、に、Ｐ、　Ｈｏｒｎ）らにより
、アーティフィシャル・インテリジェンス（Ａｒｔｉｆ
ｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）１７．ｐ１８
５〜２０３（１９８１）で論じられており、専用ハード
ウェアにより実時間処理が可能である。このようにして
求めた画面全体での各ブロック毎の動きベクトルをオプ
ティカル・フローと称する。第２図を参照して、回路３
０〜３８の動作を具体的に説明する。第２図（ａｌは撮
影した現フイールド画面の一例、同（ｂｌは直前のフィ
ールドとの差を一定時間蓄積して得たオプティカル・フ
ロー、同（Ｃ）はオプティカル・フローをＸ方向、Ｘ方
向のそれぞれの大きさで作成したヒストグラム、同（ｄ
）は本実施例によって認識した領域区分である。

この例では、被写体は動きのある動画であり、撮影者は
カメラぶれを防ごうとしているので、背景の動きは被写
体の動きよりも少ない。動きベクトル検出回路３０で検
出された動きベクトルは、メモリ３２で一定周期分（例
えば１秒間）蓄積された後、統計処理演算回路３４に入
力される。統計処理演算回路３４では、各ベクトルのＸ
、Ｙ成分の大きさに従ってランク分けを行い、ヒストグ
ラム（第２図（Ｃ））を作成する。第２図（Ｃ）の上側
がＸ方向でのベクトル・ヒストグラム、下側がＸ方向で
のベクトル・ヒストグラムである。閾値決定回路３６は
、この２つのヒストグラムの形状から閾値を決定する。

ここでは、Ｘ、Ｙそれぞれの方向で最も０に近いピーク
を持つ分布の直近の極小値を見つけ、この極小値の位置
を閾値とする。この閾値を正側と負側の両側で求める。

第２図（ｃ）では、これをＴｈｘｌ、Ｔｈｘ２．Ｔｈｙ
ｌ、Ｔｈｙ２と記した。

このようにして決定された閾値は領域決定回路３８に入
力され、領域決定回路３８はメモリ３２内の動きベクト
ルの内、閾値範囲内のブロックを順次探索する。例えば
、ｍ＝４番目、ｎ＝ｊ番目のブロックＢ　ｉｊにおける
Ｘ方向動き量をｕｉｊｓＹ方向動き量をＶｉｊとすると
、Ｔｈｘｌ＜　　ｕ　＝　ｊ＜Ｔｈｘ２　　且つＴｈｙｌ
＜　　ｖ　ｉｊ＜Ｔｈｙ２を満足するブロックを「オン」とし、その他のブロック
を「オフ」とする。このようにして求めたオン／オフの
状態は、第２図（ｄ＋のようになる。斜線部分が「オン
」であり、はぼ背景の領域と一致している。

手ぶれ量検出回路４０は、この「オン」の領域において
、動き量を算出する。手ぶれ量検出回路４０としては、
代表点マツチング法に限らず、画像処理により高速に動
きを検出できるものであって、ブロック毎に相関演算の
オン（実行）／オフ（不実行）を制御可能なものであれ
ばよい。手ぶれ検出回路４０で求めたぶれ量は、駆動回
路４４に印加され、アクチュエータ４２は、手ぶれ検出
回路４０の出力（ぶれ量）が少なくなる方向、即ちカメ
ラの手ぶれによる画面動きが少な（なる方向に、可変頂
角プリズム１２を駆動する。

動きベクトル検出回路３０と手ぷれ量検出回路４０は、
各フィールド毎に演算を行うのが好ましいが、回路３２
〜３８の処理は数百ミリ秒〜数秒に１回程度でよい。そ
れは、手ぶれ周波数が１〜３　Ｈｚに集中しており、ま
た乗り物などの機械的な振動の周波数はこれ以北に高く
、従って、統計演算をこれらの周期より長くとることで
、誤って意図しない被写体を追尾することを防げるから
である。

また、回路３２〜３６の統計処理において、ＸＹ力方向
れぞれでのヒストグラムを作成すると説明したが、Ｘ−
Ｙの二次元空間でヒストグラムを作成してもよい。動き
ベクトル検出回路３０で一定の時間蓄積した画像を用い
てオプティカル・フローを求めた場合には、回路３２〜
３８の演算周期は、これに応じて変える必要がある。

次に、撮影者が被写体を追尾して流し撮りしたい場合を
説明する。第２図の中心の人物Ｂを追尾する場合、オプ
ティカル・フローは第３図（ａｌのようになる。撮影者
は人物Ｂを常に画面の一定位置に収めようとするので、
人物Ｂの位置での動きベクトルは小さ（なり、逆に背景
を含む他の部分における動きベクトルの大きさは太き（
なる。第３図山）は第２図（Ｃ１と同様のヒストグラム
を示し、第３図（Ｃ）は領域決定回路３８により決定さ
れたオン領域（斜線部分）である。なお、閾値決定（Ｔ
ｈｘｌＴｔ＋ｘ２．’ｒｈｙｌ、Ｔｈｙ２）及び領域決
定のプロセスは、上述の場合と同じである。

上記実施例では、被写体の動き又は変形が周期的に繰り
返している場合で、且つ回路３２〜３８のヒストグラム
統計処理の周期が一致しているときには、静止領域と繰
り返し運動の動領域とを区別できない。このような場合
には、各ブロック毎のベクトルの変動量（分散）を求め
、この値が所定値以下の領域を追尾オンの領域とする。

例えば、成るブロックＢ　ｆ　ｊにおける時刻ｔのベク
トル（ＵｉｊＬ、■ｉｊｔ　）に対し、統計処理の周期
Ｔにおけるベクトル平均値をＵｉｊ＋　　Ｖｉｊとし、ベクトル分散をＳ　ｘｉ　ｊ＋　Ｓ　Ｙｉ　ｊ　
とすると、であり、各ブロック間でＳ　ＸｉＪ＋　Ｓ　
Ｖｉ、を比較すればよい。またＳ　Ｘｉ　ｊ＋　Ｓ　ｖ
□、の平方根（標準偏差）で比較をしてもよい。

（発明の効果〕以上の説明から容易に理解できるようるこ、本発明によ
れば、オプティカル・フローの統計処理により、被写体
追尾領域を決定するので、撮影者が画面の中での位置を
安定させたい被写体と、そうでない被写体とを自動的に
判別し、それらの被写体に明確な輝度差が無くても、ま
た複数の移動物体が存在しても、的確に動作する。本発
明による領域決定方法は撮影用テレビ・カメラのみなら
ず、工業用テレビ・カメラや監視カメラなどにも広く適
用できるものであり、実用上、著しい利点がある。

【図面の簡単な説明】

第１図は本発明を適用したビデオ・カメラの構成ブロッ
ク図、第２図及び第３図は領域決定の手順の説明図であ
る。

Claims

【特許請求の範囲】

（１）画面を少なくとも２つ以上に分割して得たブロッ
ク領域毎に動きベクトルを求め、全ブロック領域の動き
ベクトルを統計処理して、追尾動作のための演算を行う
領域を決定することを特徴とする追尾領域決定方法。
（２）動きベクトルの度数分布形状から閾値を求め、動
きベクトルが当該閾値の範囲内にあるブロック領域を追
尾領域とする特許請求の範囲第（１）項に記載の追尾領
域決定方法。
（３）ブロック領域毎に動きベクトルの変動を求め、当
該変動が所定値よりも小さいブロック領域を追尾領域と
する特許請求の範囲第（１）項に記載の追尾領域決定方
法。