JP2832960B2

JP2832960B2 - 測距領域設定装置

Info

Publication number: JP2832960B2
Application number: JP63269557A
Authority: JP
Inventors: 正道当山; 正慶関根
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1988-10-27
Filing date: 1988-10-27
Publication date: 1998-12-09
Anticipated expiration: 2013-12-09
Also published as: JPH02116810A

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は画像信号から画像の鮮鋭度を検知し焦点を合
わせる自動焦点調節装置における測距領域設定装置に関
する。

〔従来の技術〕

従来、ビデオ・カメラの画像信号を利用した自動焦点
調節装置が種々提案されている。この方式の特徴は、撮
像素子が自動焦点調節用のセンサを兼ねている点にあ
り、画面全体の情報で自動焦点調節を行うことができ
る。しかし、測距領域を画面全体に拡げると、不都合が
生じる。それは、同一画面内に遠距離の被写体と近距離
の被写体の２つが同時に存在する場合、とちらか信号の
優勢な被写体にピントがあい、撮影者の撮影意図に反し
た動作をすることがあるという、遠近競合の問題であ
る。これを避けるため、従来では、測距領域を画面全体
の1/4程度にし、且つ画面中央に固定していた。撮影者
がピントをあわせたいと願う被写体（以下、主被写体と
いう）は、画面中央にある確率が高いからである。

〔発明が解決しようとする課題〕

しかし、測距領域が一定の大きさであると、被写体又
は撮影画面に対して大きすぎたり、小さすぎるという問
題が生じる。これに対しては、測距領域の大きさを手動
で２〜３種類の内から選択自在としたビデオ・カメラも
提案されたが、やはり、測距領域と主被写体の大きさが
適当でない場合がありうる。即ち、測距領域が大きすぎ
ると、遠近競合を起こし、逆に小さすぎると、主被写体
が動いている場合やカメラ・ブレがある場合に、主被写
体が測距領域から外れてしまい、背景にピントがあって
しまう。

そこで本発明は、このような問題を解決する測距領域
設定装置を提示することを目的とする。

〔課題を解決するための手段〕

本発明に係る測距領域設定装置は、画面を少なくとも
２つ以上に分割して得たブロック領域毎に動きベクトル
を求める手段と、このベクトル情報に基づき測距領域を
設定する手段とを有することを特徴とする。

〔作用〕

ブロック領域毎に求められた動きベクトルに従って、
測距領域の大きさ、形、位置などを設定するので、撮影
者の意図に合った被写体に常にピントの合った状態を保
つことができる。

〔実施例〕

以下、図面を参照して本発明の実施例を説明する。

第１図は本発明を適用したビデオ・カメラの一実施例
の構成ブロック図を示す。10は被写体、14は撮影レン
ズ、16は例えば二次元CCDからなる撮像素子、18は撮像
素子16の出力画像信号にガンマ補正、ブランキング処
理、同期信号の付加などの処理を行う信号処理回路であ
り、出力端子20からは例えばNTSC規格のテレビジョン信
号が得られる。Ｙは輝度信号、H.SYNCは水平同期信号、
V.SYNCは垂直同期信号である。22は輝度信号Ｙを所定時
間（例えば１フィールド期間）遅延する遅延回路であ
り、例えばFIFO（First−In First−Out）型フィールド
・メモリからなる。24は、走査中の信号を画像上に設定
したブロックに分割するためのゲート・パルスを発生す
るブロック分割パルス発生回路、26,28は輝度信号Ｙを
ブロック分割パルス発生回路24の出力パルスに従って分
割する分割回路である。分割回路26,28は入力の輝度信
号を画面上に設定したブロック毎にまとめて出力し、具
体的には、ブロック分割パルス発生回路24の出力パルス
により開閉制御されるゲート回路と、当該ゲート回路の
通過信号を記憶するメモリとからなる。

30は現在の画面の信号と、遅延回路22より出力された
所定時間前の画面の信号とを比較して、分割したブロッ
ク毎に動きベクトルを求める動きベクトル検出回路、32
は画面上の各部の動きベクトル情報を記憶するメモリ、
34は各ベクトルのヒストグラムを作成する統計演算回
路、36は当該ヒストグラムの形状を認識し、後述する閾
値を決定する閾値決定回路、38は閾値決定回路36で決定
された閾値の範囲内にあるブロックを探索し、領域決定
をする領域決定回路である。42は自動焦点調節のために
撮影レンズ14のフォーカシング・レンズを駆動するアク
チュエータ、44は当該アクチュエータ42の駆動回路であ
る。

46は後述する測距領域設定回路、48は輝度信号からそ
の高周波成分を抽出するハイ・パス・フィルタ（HP
F）、50はHPF48による高周波成分を直流信号に変換する
検波回路、52は積分回路、54は積分回路52の出力（以
下、AF信号という）を所定時間、例えば１フィールド期
間遅延する遅延回路、56は遅延されたAF信号と現在のAF
信号とを比較する比較回路である。駆動回路44は比較回
路56の出力に従ってアクチュエータ42を駆動し、焦点調
節を行う。

次に第１図の動作を説明する。撮影レンズ14を通過し
た被写体像は撮像素子16に入射し、撮像素子16は画像信
号を出力する。信号処理回路18は撮像素子16の出力に上
記の信号処理を施す。信号処理回路18から出力される輝
度信号Ｙは、直接、分割回路28に印加され、また、遅延
回路22により１フィールド期間（約16.7msec）遅延され
て分割回路26に印加される。分割回路26,28は、ブロッ
ク分割パルス発生回路24の出力パルスに従って、全画面
をｍ×ｎ個のブロックに分割する。ここでは、ｍが20、
ｎが14（合計で280個のブロック）の場合を説明する。

動きベクトル検出回路30は、時空間勾配法によりブロ
ック毎の動きベクトルを求める。この方法は、ビー・ケ
ー・ピー・ホーン（B.K.P.Horn）らにより、アーティフ
ィシャル・インテリジェンス（Artificial Intelligenc
e）17,p185〜203（1981）で論じられており、専用ハー
ドウェアにより実時間処理が可能である。このようにし
て求めた画面全体での各ブロック毎の動きベクトルをオ
プティカル・フローと称する。第２図を参照して、回路
30〜38の動作を具体的に説明する。第２図（ａ）は撮影
した現画面の一例、同（ｂ）は直前のフィールドとの差
を一定時間蓄積して得たオプティカル・フロー、同
（ｃ）はオプティカル・フローをＸ方向、Ｙ方向のそれ
ぞれの大きさで作成したヒストグラム、同（ｄ）は本実
施例によって認識した領域区分である。

一般に撮影者はカメラぶれを防ごうとしながら被写体
を撮影しているので、カメラを或る被写体に向けて撮影
している場合、背景の動きは被写体の動きよりも少な
い。動きベクトル検出回路30で検出された動きベクトル
は、メモリ32で一定周期分（例えば１秒間）蓄積され、
その後、統計処理演算回路34に入力される。統計処理演
算回路34では、各ベクトルのX,Y成分の大きさに従って
ランク分けを行い、ヒストグラム（第２図（ｃ））を作
成する。第２図（ｃ）の上側がＸ方向でのベクトル・ヒ
ストグラム、下側がＹ方向でのベクトル・ヒストグラム
である。閾値決定回路36は、この２つのヒストグラムの
形状から閾値を決定する。ここでは、X,Yそれぞれの方
向で最も０に近いピークを持つ分布の直近の極小値を見
つけ、この極小値の位置を閾値とする。この閾値を正側
と負側の両側で求める。第２図（ｃ）では、これをThx
1,Thx2,Thy1,Thy2と記した。

このようにして決定された閾値は領域決定回路38に入
力され、領域決定回路38はメモリ32内の動きベクトルの
内、閾値範囲内のブロックを順次探索する。例えば、ｍ
＝ｉ番目、ｎ＝ｊ番目のブロックB_ijにおけるＸ方向動
き量をu_ij、Ｙ方向動き量をv_ijとすると、 Thx1〈u_ij〈Thx2且つ Thy1〈v_ij〈Thy2 を満足するブロックを「オフ」とし、その他のブロック
を「オン」とする。このようにして求めたオン／オフの
状態は、第２図（ｄ）のようになる。斜線部分が「オ
フ」であり、ほぼ背景の領域と一致している。また、白
抜きの部分がオンとなり、ほぼ被写体の領域と一致して
いる。

即ち、第２図（ｄ）の斜線以外の部分が背景でない被
写体、即ち焦点を合わせようとする主被写体であるの
で、測距領域設定46により第２図（ｄ）の斜線以外の部
分である領域A,B,Cのみの輝度信号を通過させ、HPF48で
高周波成分を抽出し、検波回路50で検波し、積分回路52
で積分する。比較回路56は現在の画面のAF信号と前画面
のAF信号とを比較し、駆動回路44に比較結果を印加す
る。駆動回路44はAF信号が増加する方向にアクチュエー
タ42を駆動する。AF信号が最大値をとり、減少に転じた
時、最大値の点にアクチュエータ42を戻して、焦点調節
動作を終了する。

ただし、測距領域の大きさが現フィールドと１フィー
ルド前とで異なる場合には、AF信号も積分値が異なり、
その大小判断を誤るので、この面積比を補正する必要が
ある。第１図では、測距領域設定回路46から測距領域の
面積の変化に応じて積分回路52に積分感度切換情報を送
り、これを補正している。

回路32〜36の統計処理において、X,Y方向それぞれで
のヒストグラムを作成すると説明したが、Ｘ−Ｙの二次
元空間でヒストグラムを作成してもよい。動きベクトル
検出回路30で一定の時間蓄積した画像を用いてオプティ
カル・フローを求めた場合には、回路32〜38の演算周期
は、これに応じて変える必要がある。

上記説明では、測距領域として領域設定回路38の設定
領域と同じにしたが、第２図（ｄ）の領域Ｂ、即ち画面
中央付近のみを選択してもよい。この場合、論理回路に
より領域Ａと同Ｃを完全にカットしてもよいし、画面中
央を100％とし、画面対角の４角を０％とし、その間で
連続的に重み付けを変化させる窓関数を設けてもよい。

なお、上述の装置にカメラブレ補正装置を付加し、第
２図に示すような状態でカメラ・ブレを自動補正しなが
ら主被写体に焦点を合わせ続け、又はこれを追尾するこ
とができるようにした例を以下に説明する。第４図はそ
の構成ブロック図を示す。第１図と同じ構成部品には同
じ符号を付してあり、説明を省略する。57は撮影レンズ
系14の前に配置され、その光軸方法を変化させうる可変
頂角プリズムであり、例えば、２毎のガラス板の間に透
明のシリコン系ゴム、液体などを封入した構造になって
いる。58は領域決定回路38で選択された測距離用被写体
領域以外の背景となる第２図（ｄ）の斜線のＤ領域信号
を求める反転ゲート回路、60は反転ゲート回路59により
設定された第２図（ｄ）の背景領域Ｄにおける動きベク
トルの量及び方向を動きベクトル検出回路30より抽出す
るためのブレ検出回路、61はブレ検出回路60の出力に基
づいてアクチュエータ58を制御し、ブレ量を相殺する方
向に可変頂角プリズム57を駆動する駆動回路である。

第２図に示すように、被写体A,B,Cに対してカメラを
固定して撮影しているとき、前述したように背景領域Ｄ
はカメラ・ブレが生じない限り静止しているから、領域
Ｄについて動きベクトルを検出すれば、カメラ・ブレの
情報を得ることができる。従ってブレ検出回路60でブレ
量及びその方向を検出し、これを補正する方向に可変頂
角プリズム57を駆動する。これにより、カメラ・ブレを
補正しながら、撮影画面内において動く被写体に測距領
域を設定し、遠近競合などを生じることなくピントを合
わせ続けることができる。

次に、撮影者が被写体を追尾して流し撮りしたい場合
を説明する。第２図の中心の人物Ｂを追尾する場合、オ
プティカル・フローは第３図（ａ）のようになる。撮影
者は人物Ｂを常に一定位置に収めようとするので、人物
Ｂの位置での動きベクトルは小さくなり、逆に背景を含
む他の部分の動きベクトルの大きさは大きくなる。従っ
て、領域Ｂに測距領域を設定すればよい。第３図（ｂ）
は第２図（ｃ）と同様のヒストグラムを示し、第３図
（ｃ）は領域決定回路38により決定されたオン領域（斜
線部分）Ｂの関係を表すものである。なお、閾値決定
（Thx1,Thx2,Thy1,Thy2）及び領域決定のプロセスは、
上述の場合と同じである。

この場合はカメラをパンニングして、移動被写体を追
尾している場合であり、このときには、カメラを固定し
ているときとは逆に、動きベクトルが小さくなる第３図
（ｃ）の領域Ｂに測距領域を設定しなければならない。
従って、カメラのパンニングを検出した場合には、上述
の領域決定回路の領域設定出力信号を反転して測距領域
設定回路46に供給すればよい。

第５図はその一例の構成ブロック図を示す。第１図と
同じ構成部品には同じ符号を付してある。62はカメラの
パンニングを検出するパンニング検出回路であり、例え
ば、カメラの一方向への移動が小時間連続して生じてい
るときにパンニングと判定して制御信号を出力する。具
体的には、カメラ・ブレの周波数帯域が0.5〜10Hz程度
の帯域に分布しているので、これ以下の周波数帯域を抽
出するバンドパス・フィルタの出力から動き量を検出
し、その動き量が所定値以上となったときパンニングと
判断する。パンニングの検出には他にも種々の方法があ
るが詳細な説明は省略する。

パンニング検出回路62からパンニング中であることを
示す制御信号が出力される際には、領域決定は、前述の
閾値（Thx1,Thx2,Thy1,Thy2）の間となる動きベクトル
の無い位置、即ち第３図（ｃ）において物体Ｂに測距領
域を合わせるよう測距領域設定回路46へと指令を出力す
る。これにより、被写体部分で動きがあり、背景部分で
動きが小さいカメラ固定の場合は、動きの大きい被写体
部分の測距領域を設定し、被写体部分で動きが無く、背
景部分での動きの大きいカメラ・パンニング時には、動
きの小さい被写体部分に測距領域を設定するという一見
逆の動作を円滑に行うことができる。また、パンニング
時、カメラに操作スイッチを設けておき、これを操作す
るようにしても本実施例を実現できる。

上述した第２図及び第３図を検討すると、第２図はカ
メラの向きは固定し、カメラ・ブレを防ごうとしながら
主被写体に測距領域を自動設定している場合、第３図は
主被写体を追尾する場合である。どちらの場合も、一般
的には主被写体は画面中央付近に位置する。従って、ど
ちらの場合をも区別せずに測距領域を設定するために
は、画面中央付近のベクトルとほぼ同じベクトルを持つ
領域に測距領域を設定するようにすればよい。

第６図は本発明の更に別の実施例の構成ブロック図を
示す。63は画面全体の動きベクトルを記憶するメモリよ
り、画面中央部の所定領域の動きベクトルを抽出してそ
の大きさを判定し、所定の統計処理などを施して、抽出
すべきベクトルの閾値を設定するベクトル閾値設定回
路、64はベクトル閾値設定回路63から出力された動きベ
クトルの存在する画面上の領域をメモリ32上において検
索し、測距良識設定回路46へと領域設定用ゲート信号を
出力する領域決定回路である。メモリ32上で常に撮影画
面中央部の動きベクトルの値が検出され、その大きさと
おほぼ同じ範囲内に属するベクトルを持つ領域に測距領
域を設定することができる。このようにすれば、上述の
第２図のカメラ固定の場合も、第３図のカメラ追尾動作
の場合も、全く区別することなく、測距領域の自動設定
を行うことができる。

〔発明の効果〕

以上の説明から容易に理解できるように、本発明によ
れば、オプティカル・フローの統計処理により、測距領
域を決定するので、撮影者の意図に近い形、位置の測距
領域を設定できる。また、遠近競合で背景にピントが合
ってしまったり、主被写体が測距領域から外れてピント
が背景に移ってしまうという事態も生じなし、被写体が
画面内を移動して追尾することができる。更には、撮影
用テレビ・カメラのみならず、工業用テレビ・カメラや
監視カメラなどにも広く適用できるものであり、実用
上、著しい利点がある。

【図面の簡単な説明】

第１図は本発明を適用したビデオ・カメラの構成ブロッ
ク図、第２図及び第３図は領域決定の手順の説明図、第
４図、第５図及び第６図は本発明の別の実施例の構成ブ
ロック図である。 10……被写体、14……撮影レンズ、16……撮像素子、18
……信号処理回路、20……映像出力端子、22……遅延回
路、24……ブロック分割パルス発生回路、26,28……分
割回路、30……動きベクトル検出回路、32……メモリ、
34……統計演算回路、36……閾値決定回路、38……領域
決定回路、42……アクチュエータ、44……駆動回路、46
……測距領域設定回路

フロントページの続き (58)調査した分野(Int.Cl.⁶，ＤＢ名) G02B 7/28 G03B 3/00 H04N 5/232

Claims

(57)【特許請求の範囲】

【請求項１】画面を少なくとも２つ以上に分割して得た
ブロック領域毎に動きベクトルを求める手段と、このベ
クトル情報に基づき測距領域を設定する手段とを有する
ことを特徴とする測距領域設定装置。