JP2756293B2 - 自動焦点調節装置 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は画像信号より画像の鮮鋭度を検出して焦点調
節を行う自動焦点調節装置に用いて好適な自動焦点調節
装置の再起動装置に関するものである。

〔従来の技術〕

従来よりビデオカメラを始めとして、カメラの分野で
は自動焦点調節装置の普及がめざましく、最も操作の煩
わしい焦点調節が自動化されることによってその操作性
は格段に向上した。

さて、自動焦点調節装置における焦点検出方式として
は、種々の方式があるが、ビデオカメラにおいては、そ
の映像信号を用いた自動焦点調節装置が、被写体との距
離等に関係なく画面内における画像情報を用いて焦点検
出を行えるため、赤外線，超音波等を投射してその反射
波を検出する焦点検出方式に代わって有望視されてい
る。

この種の映像信号を用いる焦点検出方式は大きく分け
て２つの方式に分類することができる。

１つはバイモルフ，ボイスコイル等のアクチユエータ
を用いて撮影光学系を構成するレンズあるいは撮像素子
等を光軸方向に微少振動させ、強制的に非合焦状態を作
り、映像信号を変調する方式（以下変調法と称す）であ
る。

他の方式は映像信号中のたとえば高周波成分が最大と
なるように撮影光学系を駆動する方式（以下試行法と称
す）である。

前者の変調法によれば、合焦時は撮影光学系を振動さ
せても合焦度の変化が小さく、被変調信号はほぼ０であ
るのに対し、非合焦時には被変調信号が発生し且つ前ピ
ン，後ピンに応じてその被変調信号の変調信号に対する
位相が逆転する。したがって、この被変調信号の有無に
より焦点調節用アクチユエータ（一般にはDCモータを用
いる）の再起動を行わせ、且つ被変調信号の位相により
再起動の方向を決定することができるため、正確な再起
動を行うことができる特長がある。

また後者の試行法によると、合焦度に応じた信号成分
が最大となるようにレンズまたは撮像素子を移動し、合
焦後は、合焦時の焦点信号を記憶しておき、現在の焦点
信号と比較して変化があったとき焦点調節用のアクチユ
エータを再起動させるものであり、複雑な焦点調節用の
駆動系を必要とせず、構成が簡単で小型化が可能という
特長がある。

〔発明が解決しようとする問題点〕

しかしながら前者の変調法によると、レンズ駆動方向
の情報が得られる反面、変調用のアクチユエータにきわ
めて高精度な動作を行う精密なものが必要となるため機
構が複雑化するとともに大型化し、また調整も面倒で消
費電力の点でも不利となる等の欠点がある。

また後者の試行法によると、一旦合焦して停止した場
合、再起動を行う際、レンズまたは撮像素子の駆動方向
の情報を得られない場合が多く、このため試行的にレン
ズをいずれかの方向へと移動し、焦点信号が増加（合焦
点に向う方向）すればそのまま駆動し、減少すればレン
ズ移動方向が逆であったと判断してアクチユエータの駆
動方向を逆転する制御を行うといった試行的動作を原理
的に含むため、自動焦点動作の安定性に欠けるという欠
点がある。

したがって、ビデオ信号を用いた自動焦点調節装置を
実現するためには、これらの問題点を解決する必要があ
る。

〔問題点を解決するための手段〕

本発明は上述した問題点を解決することを目的として
なされたもので、その特徴とするところは、画面内にお
ける被写体に対する合焦度を検出して焦点調節を行う焦
点検出手段と、前記画面を複数の領域に分割した各領域
における画像の動きベクトルを求める動きベクトル検出
手段と、該動きベクトル検出手段より出力された動きベ
クトル情報にもとづいて画像の動き量を演算し、該動き
量が所定の範囲外となったとき前記焦点検出手段を起動
する制御手段とを備えた自動焦点調節装置にある。

また本発明によれば、画面内における被写体に対する
合焦度を検出して焦点調節を行う焦点検出手段と、前記
画面を複数の領域に分割した各領域における画像の動き
ベクトルを求める動きベクトル検出手段と、該動きベク
トル検出手段より出力された動きベクトル情報にもとづ
いて画像の動きの量及び方向を演算し、その演算結果に
したがって前記焦点検出手段の動作を制御する制御手段
とを備えたことを特徴とする自動焦点調節装置。

〔作用〕

これによって画像の動きベクトル情報から被写体とカ
メラとの相対移動方向を検知し、自動焦点調節装置の再
起動を行わせることができ、変調法のように変調用アク
チユエータを始めとする複雑且つ高精度を要する機構を
用いることなく、基本的には試行法の構成で安定且つ迅
速で高精度な自動焦点調節動作を行うことができる。

〔実施例〕

以下、本発明における自動焦点調節装置を各図を参照
しながら、その一実施例について詳述する。

第１図は本発明における自動焦点調節装置をビデオカ
メラに適用した場合を示すブロツク図である。

同図において、１は被写体、２は撮影レンズ系、３は
撮像素子でたとえば二次元CCD等によって構成されてい
る。４は撮像素子３より出力された撮像信号にガンマ補
正，ブランキング処理，同期信号の付加等の処理を行
い、たとえばNTSC規格等に準拠した標準テレビジヨン信
号を出力する信号処理回路である。Ｙは輝度信号、Ｈ・
SYNCは水平同期信号、Ｖ・SYNCは垂直同期信号である。
５は輝度信号Ｙを所定時間遅延させる遅延回路で、たと
えばFIFO（first−in first−out）型フイールド・メモ
リ等で構成されている。６は画面を走査中の信号を所定
の複数ブロツクに分割するためのブロツク分割パルス信
号発生回路、7,8は輝度信号Ｙをブロツク分割パルス発
生回路６の出力パルスに応じて分割する分割回路であ
る。分割回路7,8はブロツク分割パルス発生回路６の出
力パルスによって開閉制御されるゲート回路とメモリと
によって構成されており、入力された輝度信号を撮影画
面に設定した各ブロツクごとに取り込んでメモリに記憶
するように構成されている。

９は分割回路８より出力された現在の画面の信号、遅
延回路５を介して分割回路７より出力された所定時間前
の画面の信号とを比較して、分割したブロツク毎にその
変化の方向と大きさを表わす動きベクトルを求める動き
ベクトル検出回路、10は動きベクトル検出回路９より出
力された撮影画面上の各ブロツクにおける動きベクトル
情報を記憶するメモリ、11はメモリ10に記憶された動き
ベクトル情報にもとづいて、X,Y方向におけるヒストグ
ラムを作成する統計演算回路、12は統計演算回路11によ
って演算処理されたヒストグラムの形状を認識し、後述
する閾値を決定する閾値決定回路、13は後述するヒスト
グラムから所定の閾値の範囲内にあるブロツクを探索し
測距領域決定を行う領域決定回路、14は動きベクトル検
出回路９の出力，後述する測距領域設定回路15の出力，
後述する比較回路20の出力とによって自動焦点調節装置
の再起動を行うか否かの判定を行う再起動判定回路であ
る。

以上が撮影画面上の画像の動きベクトルから画像の動
きを検出する動き検出手段の構成である。次に自動焦点
調節系について説明する。15は信号処理回路４より出力
された輝度信号Ｙより撮影画面上に設定された合焦検出
領域（測距領域）内に相当する輝度信号のみを通過させ
るゲート回路からなる測距領域設定回路で領域決定回路
13の出力にもとづいて、画面上に測距領域を設定する。
16は測距領域設定回路15によって設定された測距領域内
に相当する輝度信号中より高周波成分を抽出するハイパ
スフイルタ、17はハイパスフイルタ16によって抽出され
た高周波成分を直流レベルに変換する検波回路、18は検
波回路17より出力された直流レベル信号を所定の周期で
積分する積分回路である。また積分回路は測距領域設定
回路15より出力される制御信号15aにより測距領域の変
化に応じて積分感度が制御され、面積補正が行われるよ
うになっている。19は積分回路18の出力信号（以下焦点
信号と称す）を所定時間たとえば１フイールド遅延する
遅延回路、20は遅延されたたとえば１フイールド前の焦
点信号と現在の焦点信号とを比較する比較回路、21は再
起動判定回路を介して出力された比較回路20による比較
結果にもとづき、撮影レンズ２の焦点状態を制御するた
めのアクチユエータ（たとえばDCサーボモータ）を駆動
制御する駆動制御回路である。

本発明における自動焦点調節装置は以上のような構成
となっており、以下その動作について詳細に説明する。

撮影レンズ２を通って撮像素子３の撮像面に結像され
た被写体１の画像は、光電変換され画像信号として出力
される。この画像信号は信号処理回路４によって前述し
たガンマ補正，ブランキング処理，同期信号の付加等の
処理が行われた後、規格化されたテレビジヨン信号とし
て出力される。信号処理回路４より出力された輝度信号
Ｙは２つの系統に分割され、一方は直接分割回路８へ、
他方は遅延回路５によって１フィールド期間（約16.7ms
ec）遅延された後分割回路７へと供給される。分割回路
7,8では、ブロツク分割パルス発生回路６より出力され
る画面分割用パルスに応じて撮影画面をｍ×ｎ個のブロ
ツクに分割する。ここではｍ＝20,n＝14とし、合計280
個のブロツクに分割する場合を例にして説明する。そし
て動きベクトル検出回路９では、分割回路８から供給さ
れる現在の撮影画面のたとえば輝度レベル情報と、遅延
回路５によって所定期間（１フイールド）遅延された後
分割回路７を介して供給される所定期間前の画面の情報
とを比較演算し、ｍ×ｎ個のブロツクごとの動きベクト
ルを求める。この動きベクトルの演算法としては、たと
えば時空間勾配法を用いることができる。この方法は、
B.K.P.Hornらにより、アーテイフイシヤル・インテリジ
エンス（Artificial Intelligence）17,P185〜203（198
1）において論じられており、専用のハードウエアを用
いることにより、実時間的処理が可能である。このよう
に撮影画面全体において各ブロツクごとの動きベクトル
を求めたベクトル分布をオプテイカル・フローと称す
る。

以下、第２図を参照して、動きベクトル検出回路９乃
至領域決定回路13までの動作を説明する。

第２図（ａ）は現フイールド画面の画像の一例、同図
（ｂ）は直前のフイールド画面の画像との差にもとづい
て求めたオプテイカル・フローを一定の時間蓄積して求
めた各動きベクトル分布によるオプテイカル・フロー、
同図（ｃ）はオプテイカル・フローをＸ方向,Y方向のそ
れぞれの成分における大きさにもとづいて作成したヒス
トグラム、同図（ｄ）は本実施例の装置によって認識し
た被写体と背景との領域区分である。

この例のようにビデオカメラによる撮影では、被写体
は動きのある動画であり、撮影者はカメラぶれを防ごう
としているので、背景の動きは被写体の動きよりも少な
い。動きベクトル検出回路９で検出された動きベクトル
は、メモリ10で一定周期分（例えば１秒間）蓄積された
後、統計処理演算回路11に入力される。統計処理演算回
路11では、各ベクトルのX,Y成分の大きさに従ってラン
ク分けを行い、ヒストグラム（第２図（ｃ））を作成す
る。第２図（ｃ）の上側がＸ方向における動きベクトル
のヒストグラム、下側がＹ方向における動きベクトルの
ヒストグラムである。各ヒストグラムとも横軸上の０点
を原点として、それぞれ正，負の方向を表わし、原点か
らの距離はベクトルの大きさを表わし、ヒストグラムの
高さはそのベクトルの度数を表わしている。閾値決定回
路12は、この２つのヒストグラムの形状から閾値を決定
する。ここでは、X,Yそれぞれの方向で最も０に近いピ
ークを持つヒストグラム分布の直近の極小値を見つけ、
この極小値の位置を閾値とする。この閾値を正側と負側
の両側で求める。第２図（ｃ）では、これをThx1,Thx2,
Thy1,Thy2と記した。Thx1,Thx2はそれぞれ原点に対して
逆方向におけるベクトルの大きさの閾値であり、各方向
においてThx1,Thx2を越えるベクトルは画像の変位とし
て判定し、大きさがThx1,Thx2以下のベクトルは実質的
に画像の動きが小さく背景のように動きのない部分であ
ると判定することができる。

このようにして決定された閾値は領域決定回路13に入
力され、領域決定回路13はメモリ10内の動きベクトルの
内、閾値範囲内のブロツクを順次探索する。例えば、ｍ
＝ｉ番目、ｎ＝ｊ番目のブロツクB_ijにおけるＸ方向動
き量をu_ij、Ｙ方向動き量をv_ijとすると、 Thx1＜u_ij＜Thx2且つ Thy1＜v_ij＜Thy2 を満足するブロツクをすなわち画面内において動きベク
トルの小さい領域を「オン」とし、その他のブロツクを
「オフ」とする。このようにして求めたオン／オフの状
態は、第２図（ｄ）のようになる。斜線部分が「オン」
であり、ほぼ背景の領域と一致している。

そしてこの斜線部分以外の領域が被写体部分の領域A,
B,Cすなわち主要被写体となる。測距領域設定回路15は
第２図（ｄ）における斜線以外の主要被写体部分のみ輝
度信号を通過させる如くゲートをかけ、ハイパスフイル
タ16へと供給する。すなわち主要被写体の位置する領域
が測距領域として設定される。ハイパスフイルタ16では
入力された輝度信号中の高周波成分が抽出され、検波回
路17で直流レベル信号に変換され、積分回路18によって
所定の期間で積分され、合焦度に応じた焦点信号が出力
される。この積分回路18より出力された焦点信号は遅延
回路19を介して１フイールド遅延された１フイールド前
の画面における焦点信号とともに比較回路20へと供給さ
れて比較される。この比較結果は再起動判定回路14を介
して駆動制御回路21へと供給され、駆動制御回路21は、
焦点信号レベルが増大する方向に撮影レンズ２を駆動す
る如くアクチユエータ22を制御する。そして焦点信号レ
ベルが最大値をとり、減少したとき、その最大値をとっ
た位置を合焦位置と判断し、その位置まで撮影レンズを
戻して自動焦点調節動作を終了する。

尚、上述の自動焦点調節動作において、積分回路18の
積分出力を比較回路20によって比較する際、１フイール
ド前に設定した測距領域の大きさが現フイールドの測距
領域の大きさと異なった場合は、焦点状態が同じでも積
分信号レベルが異なるため大小判断が合焦度に対応せず
誤判定を生じる場合がある。そこで、積分回路18には測
距領域の大きさを表わす制御信号15aが供給され、両フ
イールド画面における測距領域の面積差を補正してい
る。すなわち積分回路の積分信号出力レベルを測距領域
の面積によって正規化すればよく、その具体的手段とし
て本実施例においては、積分回路の積分感度を切り換え
ることによって上述の補正を行っている。

以上、測距領域の設定手段の具体的構成について説明
した。上述のメモリ10,統計処理回路11,閾値決定回路12
等による統計処理において、撮影画面のX,Y方向それぞ
れにおけるヒストグラムを作る方式をとっているが、Ｘ
−Y2次元空間にヒストグラムを作成したものでもよい。
また動きベクトル検出回路９において、一定時間蓄積さ
れた画像を用いてオプテイカル・フローを求めた場合、
メモリ10乃至領域決定回路13の動作周期も蓄積時間に応
じて変化させる必要がある。

また上述の説明によると、測距領域として領域決定回
路13の出力に応じた領域を設定しているが、通常の撮影
では主要被写体を画面中央部に位置させることを考慮
し、また背景との遠近競合を避けるためにも、撮影画面
中央部付近の領域のみを選択して測距領域とすることも
できる。この場合は第２図（ｄ）の各領域において、領
域A,Cは完全にカツトしてもよいし、また画面中央を100
％とし、画面対角における４角を０％とし、その間にお
いて、連続的に重み付けを変化させる窓関数を設けるよ
うにしてもよい。

以下に実際に画像の動きベクトルから自動焦点調節装
置の再起動について説明する。図の簡略化をはかるた
め、測距領域を撮影画面の中央部及びその近傍に設定し
た場合、例えば第２図（ｄ）のＢ領域に設定した場合に
ついて説明する。第３図はこの設定条件における領域Ｂ
におけるオプテイカル・フローを示すものである。同図
の状態によれば、領域Ｂに相当する被写体がカメラに近
づきつつ、且つ画面上右方向へと若干移動したときのオ
プテイカル・フローを示している。各ブロツクの動きベ
クトルは全体的に右方向へ向かって全体的には周辺に発
散する方向及び大きさを有していることから被写体が徐
々に大きくすなわちカメラに向かって近付きつつあり、
且つカメラに対して右方へと移動していることがわか
る。

第４図はこのようなオプテイカル・フローの性質を説
明するための図で、同図において、２は第１図の撮影レ
ンズ系２と同じものである。51は第２図（ｄ）における
領域Ｂに対応する被写体、53はその被写体の撮影画面上
に結像された像である。52は被写体が撮影レンズに近付
きつつ同図で見て上方に移動した状態を示し、54はその
ときの撮影画面上の像である。被写体が図中上方に移動
したことによって生ずるオプテイカル・フローのベクト
ルの大きさは画面内の位置によらず一定である。これに
対して、被写体がレンズに近付くことによって生ずるオ
プテイカル・フローは、被写体の像が拡大するために生
ずるものであり、画面内の位置によって変化する。撮影
レンズの光軸上すなわち画面中央はベクトルの大きさは
０であり、画面中央から離れる距離に比例して大きくな
る。第３図のオプテイカル・フローはこれらの２つの原
因によって生じたベクトルの合成されたものである。
尚、撮影画面上の像53,54は説明のため光軸上の位置を
異らせて描いたが、実際は同一平面上に結像しているも
のとする。

次に第１図の再起動判定回路14内で行われている演算
について説明する。第５図は第２図（ｄ）の領域Ｂの部
分を抜き出し、画面中心を原点（0,0）としてｘ座標,y
座標をとり、測距領域Ｂ内の各ブロツクの座標を（i,
j）とし、各ブロツクにおけるオプテイカル・フローの
ベクトルをＡ（i,j）とする。さらにｘ方向の単位ベク
トルをi,y方向の単位ベクトルをｊとおき、 Ａ（i,j）＝iAx＋jAy と書き換える。

そして像の拡大，縮小によるオプテイカル・フローの
ベクトルの変位は、画面上におけるベクトルの発散を意
味しており、このときベクトルＡの発散（divergence）
divAは、 で表わすことができ、この発散がすなわち被写体とカメ
ラとの距離の変位を表わすことになる。

再起動判定回路14は測距領域設定回路15から測距領域
を示す制御情報15bを取り込み、また動きベクトル検出
回路９より撮影画面上の各ブロツクにおける動きベクト
ル情報を取り込んで、領域Ｂ内のdivAの和 を演算する。この領域Ｂ内の発散divAの和は被写体像の
撮影画面の拡大，縮小に応じて変化する。

第３図の場合は像が拡大しているので、ｄ＞０とな
る。

一方、被写体が撮影レンズから遠ざかっている場合は
像が縮小するので、ｄ＜０となる。

したがって合焦後ｄ＝０が続けば、被写体との距離に
変化はなくレンズは停止したままとし、合焦後ｄ≠０の
時、被写体とカメラの距離に変化が生じたとして自動焦
点調節装置を再起動させ、且つその方向をｄの正，負に
よって判別することができる。すなわち、ｄ＞０なら移
動前より被写体が撮影レンズに近づいたことになり、撮
影レンズはその焦点位置が被写体後方となり、所謂後ピ
ン状態となる。またｄ＜０なら移動前より被写体が撮影
レンズから遠ざかったことになり撮影レンズは前ピン状
態となる。

このように、測距領域内のオプテイカル・フローのベ
クトルの発散divAを調べることにより、被写体距離の変
位及びその方向を高精度に検出し得、これによって自動
焦点調節装置の合焦後の再起動を確実に行うことがで
き、試行法に自動焦点調節装置を用いても、試行動作を
行うことなく前ピン，後ピン情報を得ることができ、自
動焦点調節装置の再起動を迅速，安定且つ正確に行うこ
とができる。

また、本発明によれば、撮影画面内に複数の被写体が
存在したり、背景が複雑なものであっても、また輝度差
が小さかったり被写体の特徴点を抽出しづらい画像であ
っても、動きベクトルに統計処理を施してオプテイカル
・フローのベクトルの発散を演算することにより、被写
体との距離の変位を確実に検出できるため、感度，精度
とも、従来の装置に比較して著しく向上する。

〔発明の効果〕

以上述べたように、本発明における自動焦点調節装置
によれば、撮影画面上の複数ブロツクにおける動きベク
トルを検出して画面のオプテイカル・フローをもとめ、
その変位から被写体の移動の有無を検出し、且つ被写体
がレンズに近付いているのか遠ざかっているのかを正確
に判定でき、この判定情報にもとづいて自動焦点調節動
作を再起動判定を行うように構成したので、従来の変調
法のように、積極的に合焦，非合焦状態を作って焦点信
号を変調し、前ピン，後ピン情報を得るような高精度を
要し複雑な機構を用いることなく、画像信号から正確且
つ高精度に焦点調節装置の再起動判定を行うことがで
き、むだな動きのない安定で動作の確実な自動焦点調節
装置を実現することができる。

【図面の簡単な説明】

第１図は本発明における自動焦点調節装置をビデオカメ
ラに適用した一実施例を示すブロツク図、 第２図（ａ）〜第２図（ｄ），第３図は撮影画面上のオ
プテイカル・フローを求め測距領域を設定する動作を説
明するための図、 第４図はオプテイカル・フローの性質を説明するための
図、 第５図は測距領域内における被写体の移動を検出し、再
起動判定を行う動作を説明するための図である。

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】画面内における被写体に対する合焦度を検
   出して焦点調節を行う焦点検出手段と、 前記画面を複数の領域に分割した各領域における画像の
   動きベクトルを求める動きベクトル検出手段と、 該動きベクトル検出手段より出力された動きベクトル情
   報にもとづいて画像の動き量を演算し、該動き量が所定
   の範囲外となったとき前記焦点検出手段を起動する制御
   手段と、 を備えたことを特徴とする自動焦点調節装置。
2. 【請求項２】画面内における被写体に対する合焦度を検
   出して焦点調節を行う焦点検出手段と、 前記画面を複数の領域に分割した各領域における画像の
   動きベクトルを求める動きベクトル検出手段と、 該動きベクトル検出手段より出力された動きベクトル情
   報にもとづいて画像の動きの量及び方向を演算し、その
   演算結果にしたがって前記焦点検出手段の動作を制御す
   る制御手段と、 を備えたことを特徴とする自動焦点調節装置。