JPH07134237A

JPH07134237A - 光学機器

Info

Publication number: JPH07134237A
Application number: JP27843293A
Authority: JP
Inventors: Shinichi Matsuyama; 眞一松山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1993-11-08
Filing date: 1993-11-08
Publication date: 1995-05-23

Abstract

(57)【要約】【目的】従来の焦点距離自動切換機能を有する光学機
器は、主被写体の距離情報に基づき予め設定された倍率
となるように焦点距離を変化させていた。従って、主被
写体が予め設定されたもの、例えば人物ひとりでない場
合には、望ましい大きさにすることができない。本発明
は主被写体がなんであれ、画面に占める大きさを適宜と
することができる光学機器を提供する。【構成】本発明の光学機器は被写体像を用いて主被写
体の大きさを判別し、主被写体の大きさに基づいて変更
すべき焦点距離を決定したことを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、被写体像に基づき変更
すべき焦点距離を決定する光学機器に関する。

【０００２】

【従来の技術】従来、撮影倍率を一定に保つ或いは焦点
距離を自動的に設定する所謂オートズーム装置或いはカ
メラは、はじめに何らかの手段で一定に保つべき撮影倍
率或いはそれに類する情報をプリセットする必要があっ
た。また被写体距離を求め、それに応じて所望の撮影倍
率を得るべく、焦点距離を決定していた。

【０００３】

【発明が解決しようとしている課題】しかしながら、上
記従来例では、被写体距離によってのみ焦点距離を決定
するが故に、被写体が想定されていた物体或いは想定さ
れていた物体にほぼ等しい大きさでない限り、その時の
被写体に適当な画角は得られないといった欠点があっ
た。

【０００４】

【課題を解決するための手段（及び作用）】本発明は被
写体像を画像信号に変換する撮像手段と、前記撮像手段
から得られた前記画像信号を用いて被写体像を抽出する
被写体像検出手段と、前記被写体像検出手段にて抽出さ
れた被写体像を用いて、主被写体の大きさを判別する判
別手段と、前記判別手段での判別結果に基づいて変更す
べき焦点距離を決定する決定手段を、設けた光学機器を
特徴とするものであり、単なる主被写体までの距離の情
報だけではなく、主被写体の大きさに基づいた焦点距離
の変更が行える。

【０００５】また、本発明は被写体像を画像信号に変換
する撮像手段と、前記撮像手段から得られた前記画像信
号を用いて被写体像を抽出する被写体像検出手段と、前
記被写体像検出手段にて抽出された被写体像を用いて、
主被写体の大きさを判別する判別手段と、前記判別手段
での判別結果に基づいて変更すべき焦点距離を決定する
決定手段と、前記決定手段にて決定された撮影倍率まで
レンズ光学系の焦点距離を変化させる焦点距離変更手段
を、設けた光学機器を特徴とするものであり、単なる主
被写体までの距離の情報だけではなく、主被写体の大き
さに基づいた焦点距離への自動調整を可能とした。

【０００６】

【実施例】

〔実施例１〕図１は本発明実施例１のカメラの自動ズー
ム装置である。

【０００７】図１に於いて、１はカメラの撮影レンズ、
２は撮影レンズ１の一部を構成するフォーカシングレン
ズ、３は撮影レンズ１の一部を構成するバリエータ、４
は撮影レンズ１の一部を構成するコンペンセータであっ
て、バリエータ３とコンペンセータ４はズームモータ１
６を駆動源として、カム手段等を用いて光軸方向に駆動
されズーミングを行う。５は撮影レンズ１の一部を構成
するリレーレンズである。６は揺動するように移動する
カメラのクイックリターンミラー、７はカメラのフィル
ム面、８はフィールドレンズ、９は１対の二次結像レン
ズ、１０は画像出力信号を発生する１対の撮像画面を有
するエリアセンサ、１１はエリアセンサ１０の画像出力
信号をディジタル化するＡＤコンバータ、１２はディジ
タル化された画像信号を記憶するためのフレームメモ
リ、１３はエリアセンサ１０、ＡＤコンバータ１１、フ
レームメモリ１２をセンサドライバ１４を介して制御
し、画像信号を得て、それに基づきズーム制御を行うマ
イクロコンピュータ、１４はマイクロコンピュータ１３
の指示によりエリアセンサ１０を駆動し、ＡＤコンバー
タ１１に変換タイミング信号を与え、フレームメモリ１
２にデータ取り込みタイミングを与えるセンサドライ
バ、１５はマイクロコンピュータ１３の指示によりズー
ムモータ１６を駆動して撮影レンズ１のズーミングを行
わせるズームモータドライバ、１６は不図示の駆動手段
（カム手段等）を介してバリエータ３、コンペンセータ
４を光軸方向に駆動しズーミングを行うズームズームモ
ータ、１７はズームの動きと位置（焦点距離）を検出す
るためのズームエンコーダである。

【０００８】図２は図１に示したカメラの自動ズーム装
置の撮影レンズ１、フィールドレンズ８、二次結像レン
ズ９及びエリアセンサ１０の光学的位置関係を示した図
であり、エリアセンサ１０の２つの撮像画面１０ａ、１
０ｂ上には各々撮影レンズ１の互いに異なる瞳位置から
の光束が導かれ、フィールドレンズ８、二次結像レンズ
９により再結像される。この時撮像画面１０ａ、１０ｂ
上の２像の間隔は、撮影レンズ１のデフォーカス状態に
依存する。

【０００９】図３は、図１、図２に示したカメラの自動
ズーム装置を一眼レフカメラへ適用した場合のレイアウ
トを示したものであり、１８はペンタプリズム、１９は
光分割プリズム、２０は反射ミラーであり、６、８、９
及び１０は図１、図２と同じものである。

【００１０】図４は図３のレイアウトをカメラ上部方向
により見た図である。

【００１１】図５はエリアセンサ１０の撮像画面１０
ａ、１０ｂと画素の配列を示したものであり、２つの撮
像画面１０ａ、１０ｂは、何れも横Ｘ画素、縦Ｙ画素づ
つ画素が配列されている。またその中に横ｉ画素、縦ｊ
画素の大きさの演算ブロックを横Ｍ個縦Ｎ個配置する。
また２つの撮像画面１０ａ、１０ｂは互いに、図におい
て画面の縦方向即ち短辺方向にずれた位置にある。

【００１２】以上の構成にて、被写体からの光束は撮像
レンズ１に入射され、クイックリターンミラー６にて上
方へ向きを変え、フィルム面７と光学的に等価な距離近
傍で結像し、フィールドレンズ８を通過し、ペンタプリ
ズム１８へ導かれる。ペンタプリズム１８にて、方向を
変え後方へ出た光束は分割ミラー１９にて分割され、一
部のファインダー視野へ、残りは反射して横方向に出力
され反射ミラー２０を介して１対の二次結像レンズ９に
向かう。１対の二次結像レンズ９は、エリアセンサ１０
の撮像画面１０ａと１０ｂに、以上の構成を介して撮影
レンズ１の画面の縦方向即ち短辺方向に異なる瞳位置よ
り光束を各々結像し与える。この２像の間隔は、撮影レ
ンズのデフォーカス量に応じて変化する。

【００１３】ここで、図１のマイクロコンピュータ１３
の動作をフローチャートとしての図６、図７、図８、図
９を用いて説明する。

【００１４】ステップ１：輝度画像読み込み。先ず、セ
ンサドライバ１４を介してエリアセンサ１０を駆動し信
号蓄積を行わせ、被写界の輝度分布即ち、センサ面上の
照度分布を光電変換、蓄積により画像信号に変換する。
蓄積終了後、画像信号の読み出しを行う。読み出し時、
読み出しのタイミングに同期して、センサドライバ１４
を介してＡＤコンバータ１１を動作させ、エリアセンサ
１０の出力する画像信号をディジタル化し、フレームメ
モリ１２に与える。フレームメモリ１２には、センサド
ライバ１４を介して読み込みタイミング信号を与え、デ
ィジタル化された画像信号を読み込ませる。

【００１５】以上のようにして被写界の輝度分布の画像
（以下、輝度画像）をエリアセンサ１０で捕え、フレー
ムメモリ１２に画像信号として取り込む。

【００１６】ステップ２：距離画像生成。エリアセンサ
１０の２つの撮像画面１０ａと１０ｂ上に結像した像の
間隔を、撮像画面内の複数のブロックに分割し、各ブロ
ック毎に求める。２像の間隔はデフォーカス量に依存
し、撮像レンズ１の焦点距離、フォーカス位置などから
被写体距離を表わす値を得ることができる。これにより
画面内の距離の分布即ち距離画像が得られる。この距離
画像生成については後に図７を用いて更に説明する。

【００１７】ステップ３：主被写体判別。ステップ２で
得た距離画像より、物体を抽出して主被写体を選別す
る。この主被写体判別については後に図１１を用いて更
に説明する。

【００１８】ステップ４：焦点距離決定。現状の撮影レ
ンズ１の焦点距離において画像内でステップ３で認識さ
れた主被写体の上端、下端、左端、右端がどこにある
か、主被写体の画面上の形と大きさと位置を得て、撮影
画面内にその主被写体が適度な大きさと位置を占める様
な撮影レンズ１の焦点距離を求める。

【００１９】ステップ５：ズーム駆動。ステップ４で求
めた焦点距離に変化させる為に、ズームモータドライバ
１５をしてズームモータ１６を所定の方向に駆動し、カ
ム手段等によってバリエータ３、コンペセータ４を光軸
方向に動かし撮像レンズ１の焦点距離を変化させる。

【００２０】以上のごとくマイクロコンピュータ１３を
動作し、自動ズーム動作が行われる。

【００２１】ここで、図７のフローチャートによって、
図６でのステップ２の距離画像生成について更に説明す
る。

【００２２】ステップ１０：演算ブロック位置の初期設
定として、図５に示した撮像画面の左上の端のブロック
（ｍ、ｎ）＝（０、０）を指定する。

【００２３】ステップ１１：撮像画面１０ａ上の指定さ
れた演算ブロックとそれに対応した撮像画面１０ｂ上の
領域間の相関を求め、互いに最も相関の高い像の間隔を
得る。２像の間隔は、デフォーカス量に依存し、ズーム
エンコーダ１７にて検出される撮像レンズ１の焦点距
離、フォーカス位置などから被写体距離を表わす値を得
ることができる。こうして、指定された演算ブロックの
画面上の位置での被写体までの距離を表わす値が得られ
る。

【００２４】ステップ１２：演算したブロックが図５上
の最下段（ｍ、Ｎ−１）でなければステップ１３へ、で
あればステップ１４へ、進む。

【００２５】ステップ１３：演算するブロックを隣（下
段）のブロック（ｍ、ｎ＋１）にし、ステップ１１へ進
み計算を行う。

【００２６】ステップ１４：演算すべきブロックを最上
段のブロック（ｍ、０）にする。

【００２７】ステップ１５：演算した縦の列が最右端の
列（Ｍ−１、ｎ）でなければステップ１６へ、最右端で
あれば距離画像生成を終了する。

【００２８】ステップ１６：演算すべきブロック列を右
隣りの列（ｍ＋１、ｎ）にし、ステップ１１に進み計算
を行う。

【００２９】即ち、左上端の演算ブロックより計算を初
め、計算が終了すると下段へ、最下段まで終了したら、
つまり縦１列文演算ブッロクの計算が終了したら右隣り
の次の列の最上段へ、そこからまた縦に計算を進め、再
び最下段まで達したら再び右隣りの最上段へ、これを繰
り返し、右下端の演算ブロックの計算が終了するまで行
い、距離画像を得る。

【００３０】ここで、ステップ１１のデフォーカス量
（距離）の計算について、図８を用いて説明する。

【００３１】ステップ２０：撮像画面１０ａの指定され
た演算ブロックとそれに対応する撮像画面１０ｂの領域
の相関を画素ピッチ単位に間隔を変えて、相関量を求め
る。

【００３２】ステップ２１：相関度の最も高い間隔の検
出を行う。

【００３３】ステップ２２：相関度の最も高い間隔近傍
の相関量の変化より、画素ピッチ未満の精度で最も相関
度の高い間隔を補間計算を行い求める。

【００３４】ステップ２３：演算ブロック内の輝度コン
トラストが、像のずれを２像の相関で求めるに充分であ
ったか否か確認する。コントラストが低ければ計算を終
了し、高ければステップ２４に進む。

【００３５】ステップ２４：求めた２像の間隔から、撮
影レンズ１の焦点距離など光学特性情報を基に、デフォ
ーカス量、更には距離を表わす値を得て計算を終了す
る。

【００３６】ここで、更にステップ２０の相関演算につ
いて図９を用いて説明する。

【００３７】ステップ３０：撮像画面１０ａの画像を基
準画像、撮像画面１０ｂの画像を参照画像とし、撮影レ
ンズ１が撮影面に対して合焦状態にあるとき基準画面と
理想的には同一の像が得られる像間隔の位置を基準位置
とし、その基準位置よりのシフト量（画素ピッチ単位）
ｓｈｉｆｔを像がずれる、あるいは像のずれが検出でき
る最大のシフト量Ｓ、図５上では上方向にずれた位置か
ら相関演算を行う。

【００３８】ステップ３１：相関度を示す相関量を計算
する。

【００３９】各間隔（シフト量）での相関量の計算は次
のように行う。

【００４０】

【外１】但し、ｄａｔａ（画面、画素の横位置、画素の縦位置）＝（）内に示された位置の画素の輝度値ｆ：相関量を示す関数

【００４１】相関量を示す関数ｆは例えば次のような式
で表わされる。

【００４２】

【外２】このような関数で相関量を求める場合、ステップ２２の
補間演算では図１０に示すＰ点の位置を求めることにな
る。

【００４３】ステップ３２：基準位置より最大のシフト
量Ｓ、図５上では下方向にずれた位置まで相関量を求め
たら相関演算を終了し、そうでない場合はステップ３３
に進む。

【００４４】ステップ３３：シフト量ｓｈｉｆｔに１加
計し、即ち図５上で１画素ピッチ分下方に参照画像とす
る位置をシフトし、ステップ３１にて計算する。

【００４５】以上の様にして相関演算を行う。

【００４６】ここで、図６、ステップ３の主被写体判別
について、図１１に従い、更に説明する。

【００４７】ステップ４０：先のステップで得た距離画
像を微分する。

【００４８】微分は、例えば３×３画素のオペレータであれば、（（ｄ（ｍ−１，ｎ−１）＋ｄ（ｍ，ｎ−１）＋ｄ（ｍ
＋１，ｎ−１）−ｄ（ｍ−１，ｎ＋１）−ｄ（ｍ，ｎ＋
１）−ｄ（ｍ＋１，ｎ＋１））² ＋（（ｄ（ｍ−１，ｎ
−１）＋ｄ（ｍ−１ｎ）＋ｄ（ｍ−１，ｎ＋１）−ｄ
（ｍ＋１，ｎ−１）−ｄ（ｍ＋１，ｎ）−ｄ（ｍ＋１，
ｎ＋１））² ） ^1/2 或いはｄ（ｍ，ｎ）−ｍｉｎ（ｄ（ｍ−１，ｎ−１），ｄ
（ｍ，ｎ−１），ｄ（ｍ＋１，ｎ−１），ｄ（ｍ−１，
ｎ），ｄ（ｍ＋１，ｎ），ｄ（ｍ−１，ｎ＋１），ｄ
（ｍ，ｎ＋１）ｄ（ｍ＋１，ｎ＋１））或いはｄ（ｍ，ｎ）−（ｄ（ｍ−１，ｎ−１）＋ｄ（ｍ，ｎ−
１）＋ｄ（ｍ＋１，ｎ−１）＋ｄ（ｍ−１，ｎ）＋ｄ
（ｍ＋１，ｎ）＋ｄ（ｍ−１，ｎ＋１）＋ｄ（ｍ，ｎ＋
１）＋ｄ（ｍ＋１，ｎ＋１））／８等の微分オペレータを、用いることで行える。

【００４９】ステップ４１：微分値の絶対値が所定値以
上の点を検出する。

【００５０】ステップ４２：微分値の絶対値が所定値以
上の点で像を切り分け、物体を抽出する。

【００５１】ステップ４３：比較的近距離に存在し、比
較的撮影画面中央付近に存在する物体を主被写体と認識
する。以上でステップ３の主被写体判別を終了する。

【００５２】尚、図１１において、６０−６４はステッ
プ３の主被写体判別の処理の例として、各過程で処理さ
れた状態の画像を示したものであり、６０は原画像、６
１は生成された距離画像、６２はステップ４２で検出さ
れる微分された距離画像の微分値が所定値以上の部分
を、６３はステップ４２にて微分値が所定値以上の点で
切り分けられ抽出された物体を、６４はステップ４３に
て主被写体と認識された物体を示した１例である。

【００５３】〔実施例２〕図１２は本発明第２実施例と
してカメラの自動ズーム装置である。

【００５４】図１２に於いて、２１はカメラの撮影レン
ズ、２２は撮影レンズ２１の一部を構成するフォーカシ
ングレンズ、２３は撮影レンズ２１の一部を構成するバ
リエータ、２４は撮影レンズ２１の一部を構成するコン
ペンセータであって、バリエータ２３とコンペンセータ
２４は不図示のズームカム環を介してズームモータを駆
動源として、光軸方向に駆動されズーミングを行う。２
５は撮影レンズ２１の一部を構成するリレーレンズであ
り、２７はカメラのフィルム面である。２９は焦点距離
ｆの一対の撮像レンズであって、一対の撮像画面を有す
るエリアセンサ３０の撮像画面３０ａ、３０ｂの各々の
画面上に結像する。３９、４０は一対の撮像レンズ２９
の基線長をＢとすべく、入射光を撮影レンズ２９へ導く
反射ミラー、３０は一対の撮像画面３０ａ、３０ｂを有
するエリアセンサ、３１はエリアセンサ３０の画像出力
信号をディジタル化するＡＤコンバータ、３２はディジ
タル化された画像信号を記憶するためのフレームメモ
リ、３３はエリアセンサ３０、ＡＤコンバータ３１及び
フレームメモリ３２をセンサドライバ３４を介して制御
し、画像信号を得てそれに基づきズーム制御を行うマイ
クロコンピュータ、３４はマイクロコンピュータ３３の
指示によりエリアセンサ３０を駆動し、ＡＤコンバータ
３１に変換タイミング信号を与え、フレームメモリ３２
にデータ取り込みタイミングを与えるセンサドライバ、
３５はマイクロコンピュータ３３の指示によりズームモ
ータ３６を駆動して撮影レンズ２１のズーミングを行わ
せるズームモータドライバ、３６は不図示のズームカム
環を介してバリエータ２３、コンペンセータ２４を光軸
方向に駆動しズーミングを行うズームモータ、３７はズ
ームの動きと位置を検出するためのズームエンコーダで
ある。

【００５５】図１３及び図１４は、図１２に示したカメ
ラの自動ズーム装置の反射ミラー３９、４０と、撮像レ
ンズ２９と、エリアセンサ３０の光学的位置関係を示し
た図とその斜視図であり、エリアセンサ３０の２つの撮
像画面３０ａ、３０ｂ上には、各々反射ミラー３９、４
０を介して、基線長Ｂ互いに画面の縦方向即ち短辺方向
に離れた光束が導かれ、撮像レンズ２９により結像され
る。この時３０ａ、３０ｂ上の２像の間隔は、撮像レン
ズ２９と撮像画面３０ａ、３０ｂの間隔（略撮像レンズ
２９の焦点距離ｆ、以下、この間隔を焦点距離ｆと称す
る。）と、基線長Ｂと、被写体距離Ｄに依存する。

【００５６】図１５は、図１３、図１４に示したカメラ
の自動ズーム装置の、前記２像の間隔、焦点距離ｆ、基
線長Ｂ、被写体距離Ｄの関係を、反射ミラー３９、４０
を排して簡潔に示した図である。図１３において、基線
長Ｂだけ互いに離れた光束は反射ミラー３９、４０によ
って、間隔Ｂ′に離れた撮像画面３０ａ、３０ｂに導か
れているが、これは図１５に示したように、反射ミラー
３９、４０或いはそれらに相当するものが無く基線長Ｂ
に大まかに等しい間隔互いに離れた撮像画面３０ａ′、
３０ｂ′と、撮像レンズ２９′から構成されているもの
と等価と見なせる。２像の間隔は被写体が無限遠にある
とき、基線長Ｂに等しくなる。被写体が有限距離にある
ときの２像の間隔は、無限遠にあるときのそれよりもΔ
分拡がる。

【００５７】２像の間隔（Δ）、焦点距離ｆ、基線長
Ｂ、被写体距離Ｄの関係は、Ｄ／Ｂ＝ｆ／Δ の式で示され、２像の間隔から距離を得ることが出来
る。

【００５８】尚、エリアセンサ３０の撮像画面と画素の
配列は、実施例１の図５のエリアセンサ１０と同様であ
り、２つの撮像画面３０ａ、３０ｂは、何れも横Ｘ画
素、縦Ｙ画素づつ配列されており。またその中に横ｉ画
素、縦ｊ画素の大きさの演算ブロックが、横Ｍ個縦Ｎ個
縦配置される。

【００５９】ここで、図１２のマイクロコンピュータ３
３の動作を、フローチャートとしての図１６、図１７、
図１８、図１９を用いて、自動ズーム装置の動作を説明
する。

【００６０】ステップ１００：輝度画像の読み込み。先
ず、センサドライバ３４を介してエリアセンサ３０を駆
動し、信号蓄積を行わせて被写界の輝度分布即ち、セン
サ面上の照度分布を光電変換、蓄積により画像信号に変
換する。蓄積終了後、画像信号の読み出しを行う。読み
出し時、読み出しのタイミングに同期してセンサドライ
バ３４を介してＡＤコンバータ３１を動作させ、エリア
センサ３０の出力する画像信号をディジタル化し、フレ
ームメモリ３２に与える。フレームメモリ３２には、セ
ンサドライバ３４を介して読み込みタイミング信号を与
え、ディジタル化された画像信号を読み込ませる。

【００６１】以上のようにして被写界の輝度分布の画像
（以下、輝度画像）をエリアセンサ３０で検出し、フレ
ームメモリ３２に画像信号として取り込む。

【００６２】ステップ１０１：距離画像生成。エリアセ
ンサ３０の２つの撮像画面３０ａと３０ｂ上に結像した
像の間隔を、撮像画面内を複数のブロックに分割し、各
ブロック毎に求める。２像の間隔（Δ）は前述のごとく
被写体距離Ｄに依存し、撮像レンズ２９の焦点距離ｆ、
基線長Ｂから被写体距離を表わす値を得ることができ
る。これにより画面内の距離の分布即ち距離画像が得ら
れる。この距離画像生成については後に図１７を用いて
更に説明する。

【００６３】ステップ１０２：主被写体判別。ステップ
１０１で得た距離画像より、物体を抽出、主被写体を選
別する。この主被写体判別については実施例１の図６の
ステップ３の主被写体判別と同様であり、先に図１１を
用いて説明した通りである。

【００６４】ステップ１０３：焦点距離決定。画像内で
ステップ１０２で認識された主被写体の上端、下端、左
端、右端がどこにあるか、主被写体の画面上の形と大き
さと位置を得て、撮影画面内にその主被写体が適当な大
きさと位置を占める様な撮影レンズ２１の焦点距離を求
める。

【００６５】ステップ１０４：ズーム駆動。ステップ１
０３で求めた焦点距離に変化させる為に、ズームモータ
ドライバ３５を介してズームモータ３６を駆動し、不図
示のズームカム環を介してバリエータ２３、コンペンセ
ータ２４を光軸方向に動かし、撮影レンズ２１の焦点距
離を変化させる。

【００６６】以上のごとくマイクロコンピュータ３３は
動作し、自動ズーム動作が行われる。

【００６７】ここで、図１７のフローチャートにて図１
６でのステップ１０１の距離画像生成について更に説明
する。

【００６８】ステップ１１０：演算ブロック位置の初期
設定として、図５に示した撮像画面の左上の端のブロッ
ク（ｍ、ｎ）＝（０、０）を指定する。

【００６９】ステップ１１１：撮像画面３０ａ上の指定
された演算ブロッとそれに対応した撮像画面３０ｂ上の
領域間の相関を求め、互いに最も相関の高い像の間隔を
得る。２像の間隔は、被写体距離に依存し、撮像レンズ
２９の焦点距離ｆ、基線長Ｂから被写体距離を表わす値
を得ることができる。こうして指定された演算ブロッの
画面上の位置の被写体までの距離を表わす値が得られ
る。

【００７０】ステップ１１２：演算したブロックが図５
上の最下段（ｍ、Ｎ−１）でなければステップ１１３
へ、最下段であればステップ１１４へ進む。

【００７１】ステップ１１３：演算するブロックを隣
（下段）のブロック（ｍ、ｎ＋１）にし、ステップ１１
１へ進み計算を行う。

【００７２】ステップ１１４：演算すべきブロックを最
上段のブロック（ｍ、０）にする。

【００７３】ステップ１１５：演算した縦の列が最右端
の列（Ｍ−１、ｎ）でなければステップ１１６へ、最右
端であれば距離画像生成を終了する。

【００７４】ステップ１１６：演算すべきブロック列を
右隣りの列（ｍ＋１、ｎ）には、ステップ１１１に進み
計算を行う。

【００７５】即ち、左上端の演算ブロックより計算を始
め、計算が終了すると下段へ、最下段まで終了したら、
つまり縦１列分演算ブロックの計算が終了したら右隣り
の次の列の最上段へ、そこからまた縦に計算を進め、再
び最下段まで達したら再び右隣りの最上段へ、これを繰
り返し、右下端の演算ブロックの計算が終了するまで行
い、距離画像を得る。

【００７６】ここで、ステップ１１１の距離の計算につ
いて、図１８を用いて説明する。

【００７７】ステップ１２０：撮像画面３０ａの指定さ
れた演算ブロックとそれに対応する撮像画面３０ｂの領
域の相関を、画素ピッチ単位に間隔を変えて相関量を求
める。

【００７８】ステップ１２１：相関度の最も高い間隔の
検出を行う。

【００７９】ステップ１２２：相関度の最も高い間隔近
傍の相関量の変化より、画素ピッチ未満の精度で最も相
関度の高い間隔を補間計算を行い求める。

【００８０】ステップ１２３：演算ブロック内の輝度コ
ントラストが、像のずれを２像の相関で求めるに十分で
あったか否かを確認する。コントラストが低ければ計算
を終了し、高ければステップ１２４に進む。

【００８１】ステップ１２４：求めた２像の間隔から、
撮像レンズ２９り焦点距離ｆなどの光学特性情報、基線
長Ｂなどを基に、距離を表わす値を得て計算を終了す
る。

【００８２】ここで、さらにステップ１２０の相関演算
について図１９を用いて説明する。

【００８３】ステップ１３０：撮像画面３０ａの画像を
基準画像とし、撮像画面３０ｂの画像を参照画像とし、
基準とすべき被写体距離に被写体距離があるとき基準画
面と理想的には同一の像が得られる像間隔の位置を基準
位置とし、その基準位置よりのシフト量（画素ピッチ単
位）ｓｈｉｆｔを像がずれ得る或いは像のずれが検出で
き得る最大のシフト量Ｓ、図５上では上方向にずれた位
置から相関演算を行う。

【００８４】ステップ１３１：相関度を示す相関量を計
算する。

【００８５】各間隔（シフト量）での相関量の計算は次
のように行う。

【００８６】

【外３】但し、ｄａｔａ（画面、画素の横位置、画素の縦位置）＝（）内に示された位置の画素の輝度値ｆ：相関量を示す関数

【００８７】相関量を示す関数ｆは、例えば次のような
式で表わされる。

【００８８】

【外４】このような関数で相関量を求める場合、ステップ１２２
の補間演算では実施例１の図８のステップ２２と同様
に、図１０に示すＰ点の位置を求めることになる。

【００８９】ステップ１３２：基準位置より最大のシフ
ト量Ｓ、図５上では下方向にずれた位置まで相関量を求
めたに相関演算を終了し、そうでない場合はステップ１
３３に進む。

【００９０】ステップ１３３：シフト量ｓｈｉｆｔに１
加算し、即ち図５上で１画素ピッチ分下方に参照画像と
する位置をシフトし、ステップ１３１にて計算する。

【００９１】以上を繰り返し相関演算を進める。

【００９２】〔実施例３〕実施例２と同様、図１２、図
１３、図１４、図１５に示した構成で、図１６のステッ
プ１０２を除いて、実施例２と同様に、図１６、図１
７、図１８、図１９に示したフローチャートに従い動作
する。従って、ここではステップ１０２について以外の
説明は省略する。

【００９３】ステップ１０２：主被写体判別。ステップ
１０１で得た距離画像より、物体を抽出して主被写体を
選別する。具体的には図２０をもって説明する。

【００９４】ステップ２００：フィルタ処理。距離画像
の平滑化を行う。

【００９５】例えば、距離画像の画素となる距離画像生
成時の演算ブロック（ｍ、ｎ）の距離を表わす値をΔ
（ｍ、ｎ）とし、フィルタ処理後のその距離画像の画素
をｄ（ｍ、ｎ）としたとき、

【００９６】

【外５】なる処理等で実現できる。

【００９７】ステップ２０１：後述のステップ２０２で
の２値化の為の閾値を計算する。閾値としては、全画素
の値の平均値ｄ（ｍ、ｎ）、或いは、画像の各画素の値
ｄ（ｍ、ｎ）のヒストグラム（図２０の７３）をとり、
その近距離側に存在する谷の位置の値等が使用できる。

【００９８】ステップ２０２：ステップ２０１で求めた
閾値を用いて、画像の各画素の値ｄ（ｍ、ｎ）を２値化
する。

【００９９】ステップ２０３：２値化された値が“１”
の画素を選別し、主被写体とする。

【０１００】以上でステップ１０２の主被写体判別を終
了する。

【０１０１】尚、図２０において、７０−７４はステッ
プ１０２の主被写体判別の処理の例として、各過程で処
理された状態の画像等を示したものであり、７０は原画
像、７１は生成された距離画像、７２はステップ２００
てフィルタ処理された距離画像を、７３はステップ２０
１にて閾値を画像の各画素の距離を表わす値ｄ（ｍ、
ｎ）のヒストグラムと、その近距離側の谷との閾値の関
係を、７４はステップ２０２、ステップ２０３にて２値
化され、主被写体と認識された物体を各々示した一例で
ある。

【０１０２】〔実施例４〕実施例２と同様な図１２、図
１３、図１４、図１５に示した構成で、図１６のステッ
プ１０２を除いて、実施例２と同様に、図１６、図１
７、図１８、図１９に示したフローチャートに従い動作
する。従ってここでは、ステップ１０２について以外の
説明は省略する。

【０１０３】ステップ１０２：主被写体判別。ステップ
１０１て得た距離画像より、物体を抽出、主被写体を選
別する。具体的には図２１をもって説明する。

【０１０４】ステップ３００：“主被写体判別”の初期
設定。塊として選別された画素のシリアルナンバーｃを
“１”に、周辺の画素が同じ塊か否かチェックした画素
の数ａを“０”に、画素の属性を示すｂ（ｖ、ｗ）の全
画素分について、全て“０”にする。

【０１０５】ステップ３０１：始めに、最至近の距離画
像の画素を選択する。

【０１０６】ステップ３０２：選択された画素（ｍ、
ｎ）に対し、図５に示したセンサ上で左隣りの距離画像
上の画素（演算ブロック）列（ｖ、＊）、ｖ＝ｍ−１を
選択する。

【０１０７】ステップ３０３：選択された画素（ｍ、
ｎ）に対し、図５に示したセンサ上で上隣りの距離画像
上の画素（演算ブロック）行（＊、ｗ）、ｗ＝ｎ−１を
選択する。

【０１０８】ステップ３０４：指定された画素（ｖ、
ｗ）の属性を示すデータｂ（ｖ、ｗ）が既に“０”では
ない、即ち、塊を構成する画素として画素（ｖ、ｗ）が
選択されている場合は、以下のステップ３０５からステ
ップ３０８までの処理を飛ばしステップ３０９に進む。

【０１０９】ステップ３０５：選択された画素（ｍ、
ｎ）の距離を表わす値ｄ（ｍ、ｎ）に対し、それに隣接
する画素の１つである指定された画素（ｖ、ｗ）の距離
を表わす値ｄ（ｖ、ｗ）が所定の値α以上遠方に離れて
いる場合はステップ３０６へ、離れていない場合はステ
ップ３０７ヘ進む。

【０１１０】ステップ３０６：画素（ｍ、ｎ）の距離よ
り画素（ｖ、ｗ）の距離が所定値α相当分以上遠方の場
合は、画素（ｖ、ｗ）の属性を示すデータｂ（ｖ、ｗ）
を“０”に、即ち、塊を構成する画素ではないとする。

【０１１１】ステップ３０７：画素（ｍ、ｎ）の距離に
対し画素（ｖ、ｗ）の距離が所定値α相当より近い場合
は、塊として選別された画素のシリアルナンバーｃを
“１”更新する。

【０１１２】ステップ３０８：画素（ｖ、ｗ）の属性を
示すデータｂ（ｖ、ｗ）に、その時のシリアルナンバー
ｃを代入する。これにより、属性を示すデータｂ（ｖ、
ｗ）は“０”でなくなり、塊を構成する画素の属性が与
えられる。

【０１１３】以上により、画素（ｖ、ｗ）の属性、即
ち、塊を構成する画素であるか否かが判断され、記憶さ
れる。

【０１１４】ステップ３０９：始めにステップ３０３に
てｗ＝ｎ−１に設定されていたｗが、ｗ＝ｎ＋１即ち、
図５に示したセンサ上で下隣りの行まで処理が済んだ
ら、ステップ３１１へ、まだの場合はステップ３１０へ
進む。

【０１１５】ステップ３１０：ｗの値を１大きくする。
即ち、処理すべき行を図５に示したセンサ上で１行下へ
移行し、ステップ３０４より繰り返す。

【０１１６】ステップ３１１：始めにステップ３０２に
てｖ＝ｍ−１に設定されていたｖが、ｖ＝ｍ＋１即ち、
図５に示したセンサ上で右隣りの列まで処理が済んだ
ら、ステップ３１３へ、まだの場合はステップ３１２へ
進む。

【０１１７】ステップ３１２：ｖの値を１大きくする。
即ち、処理すべき列を、図５に示したセンサ上で１列右
へ移行し、ステップ３０３より繰り返す。

【０１１８】以上により塊を構成する画素（ｍ、ｎ）を
取り囲む周辺の画素（ｖ、ｗ）（ｖ＝ｍ−１，ｍ，ｍ＋
１ｗ＝ｎ−１，ｎ，ｎ＋１）、全てについて、同じ塊
を構成する画素であるか否かの属性チェックがなされ
る。

【０１１９】ステップ３１３：塊を構成する画素（ｍ、
ｎ）で取り囲む周辺の画素（ｖ、ｗ）（ｖ＝ｍ−１，
ｍ，ｍ＋１ｗ＝ｎ−１，ｎ，１＋１）が同じ塊を構成
する画素であるか否かの属性のチェックが終了した画素
の数ａの値を、ステップ３１２までの処理で、１画素に
ついてその周辺の画素の属性のチェックが終わったこと
から、“１”増加させる。

【０１２０】ステップ３１４：塊を構成する画素数ｃに
周辺の画素の属性のチェックが終わった画素数ａが達し
ていない場合はステップ３１５へ、達した場合はステッ
プ３１６へ進む。

【０１２１】ステップ３１５：塊として選別された画素
のシリアルナンバーｃが入力されている画素（ｍ、ｎ）
の属性を示すデータｂ（ｍ、ｎ）が、画素の属性のチェ
ックが終わった画素数ａより１大きい値の画素を検出
し、その画素を次の処理すべき塊として選別された画素
として選択し、ステップ３０２より再び処理を行う。

【０１２２】ステップ３１６：属性を示すデータｂ
（ｍ、ｎ）が“０”でない画素を選別、これらの画素で
示される領域を主被写体として選別する。

【０１２３】以上のようにして、画面平面内で互いに近
傍で、被写体までの距離の差が小さい２画素は互いに同
一の塊を構成する画素であるとし、距離の変化が大きい
部分を塊の境界として、物体を判別、近距離のものを主
被写体として選別する。

【０１２４】

【発明の効果】以上説明したように、画像信号より被写
体像を検出し、その被写体像を用いて主被写体の大きさ
を判別し、この主被写体の大きさに基づいて変更すべき
撮影倍率（焦点距離）を決定したので、被写体距離のみ
ならず、主被写体の大きさに基づいた、常に最適な撮影
倍率が得られる。また、被写体の画像を距離画像とし、
距離画像上の変化箇所を物体間の境界と認識すること
で、主被写体や背景の輝度コントラストパターンに惑わ
されることなく、確実に主被写体と背景を識別すること
が可能になった。

【０１２５】また、撮像画面の短辺方向に視差を持つ２
つの画像の像のずれに基づき距離画像を得るように構成
することで、長くなりがちな視差方向の全長が短くで
き、コンパクトな光学系で距離画像情報を得ることが可
能になった。

【図面の簡単な説明】

【図１】本発明実施例１のカメラの自動ズーム装置のブ
ロック図。

【図２】本発明実施例１のカメラの自動ズーム装置の光
学的位置関係を示した図。

【図３】本発明実施例１のカメラの自動ズーム装置を一
眼レフカメラへ適用した場合のレイアウトを示した図。

【図４】図３のレイアウトをカメラ上部方向より見た
図。

【図５】エリアセンサの撮像画面と画素の配列を示した
図。

【図６】マイクロコンピュータの動作を示すフローチャ
ート。

【図７】図６の距離画像生成の詳細なフローチャート。

【図８】図７のデフォーカス量の計算の詳細なフローチ
ャート。

【図９】図８の相関演算の詳細なフローチャート。

【図１０】補間計算を説明する図。

【図１１】図６の主被写体判別を説明する図。

【図１２】本発明実施例２、３、４のカメラの自動ズー
ム装置のブロック図。

【図１３】本発明実施例２、３、４のカメラの自動ズー
ム装置の光学的位置関係を示した図。

【図１４】本発明実施例２、３、４のカメラの自動ズー
ム装置の光学的位置関係を示した図。

【図１５】本発明実施例２、３、４の距離測定原理を説
明する図。

【図１６】マイクロコンピュータの動作を示すフローチ
ャート。

【図１７】図１６の距離画像生成の詳細なフローチャー
ト。

【図１８】図１７の距離計算の詳細なフローチャート。

【図１９】図１８の相関演算の詳細なフローチャート。

【図２０】実施例３の主被写体判別を説明する図。

【図２１】実施例４の主被写体判別を説明する図。

【符号の説明】

１カメラの撮影レンズ３バリエータ４コンペンセータ５リレーレンズ８フィールドレンズ９一対の二次結像レンズ１０一対の撮像画面を有するエリアセンサ１３マイクロコンピュータ１５ズームモータドライバ１６ズームモータ１７ズームエンコーダ２１カメラの撮影レンズ２３バリエータ２４コンペンセータ２９一対の撮像レンズ３０一対の撮像画面を有するエリアセンサ３３マイクロコンピュータ３５ズームモータドライバ３６ズームモータ３７ズームエンコーダ

Claims

【特許請求の範囲】

【請求項１】被写体像を画像信号に変換する撮像手段
と、前記撮像手段から得られた前記画像信号を用いて被写体
像を抽出する被写体像検出手段と、前記被写体像検出手段にて抽出された被写体像を用い
て、主被写体の大きさを判別する判別手段と、前記判別手段での判別結果に基づいて変更すべき焦点距
離を決定する決定手段を、設けたことを特徴とする光学
機器。
【請求項２】被写体像を画像信号に変換する撮像手段
と、前記撮像手段から得られた前記画像信号を用いて被写体
像を抽出する被写体像検出手段と、前記被写体像検出手段にて抽出された被写体像を用い
て、主被写体の大きさを判別する判別手段と、前記判別手段での判別結果に基づいて変更すべき焦点距
離を決定する決定手段と、前記決定手段にて決定された撮影倍率までレンズ光学系
の焦点距離を変化させる焦点距離変更手段を、設けたこ
とを特徴とする光学機器。
【請求項３】上記被写体像検出手段は少なくとも距離
画像を形成し、上記判別手段は少なくとも該距離画像を
用いて前記主被写体の大きさを判別したことを特徴とす
る請求項１または２記載の光学機器。
【請求項４】上記判別手段は上記距離画像を用いて被
写体の距離または距離に相当する信号が変化する場所を
物体間の境界として上記主被写体の大きさ判別したこと
を特徴とする請求項３記載の光学機器。
【請求項５】上記検出手段は画像の縦横比の短い方向
に視差をもった複数の画像の各部の像のずれにより、各
部の距離を求め、上記距離画像を形成したことを特徴と
する請求項３または４記載の光学機器。