JP4136012B2

JP4136012B2 - 測距装置、撮影装置および背景処理装置

Info

Publication number: JP4136012B2
Application number: JP15316996A
Authority: JP
Inventors: 明鈴木
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1996-05-24
Filing date: 1996-05-24
Publication date: 2008-08-20
Anticipated expiration: 2016-05-24
Also published as: JPH09318870A

Description

【０００１】
【発明の属する技術分野】
本発明は、カメラに好適な測距装置に係り、特にＣＣＤ（Charge Coupled Device ：電荷結合素子）等の光電変換素子を用いたパッシブ型の測距装置、それを用いた撮影装置および背景処理装置に関するものである。
【０００２】
【従来の技術】
近年、スティルカメラのみならずビデオカメラおよび２枚のエリアＣＣＤを用いた３Ｄ（3-Dimensional ：三次元）撮像装置等を含む各種のカメラにおいては、ほとんどの場合、ピント合わせを自動化したオートフォーカスシステムが組み込まれている。このようなオートフォーカスシステムは、主として、被写体距離を計測する測距装置と撮影レンズの繰り出し制御を行うレンズ制御装置との組合せにより構成される。
従来より、広い測距視野内の所望の点を撮影者が指示して、その個所について測距演算する測距システム、および前記測距視野を複数の測距エリアに分割し、これら測距エリアを選択的に用いて測距演算する多点測距システム等が提案されている。
【０００３】
従来の測距装置には、例えば次のようなものがある。
(1) 特開平７−２８７１６１号公報には、複数に分割された測距エリアを有する多点測距装置において、隣接する測距エリアを一部分重複させて設定することが示されている。このように測距エリアをオーバラップさせることにより、測距対象が測距エリアの空白部すなわち不感帯に入ってしまう、いわば中抜け現象の可能性を低減している。
【０００４】
(2) 特開平７−１８１０１０号公報には、多点測距装置において、測距結果が不確定のポイントについては、そのポイントの近傍に位置し且つ測距結果が既に確定したポイントの測距結果に基づいて、距離を求めることが示されている。このように、隣接点の既知の測距結果に基づいて、不確定のポイントの測距結果を求めることによって、測距演算に要する時間を短縮している。
【０００５】
(3) 特開昭６１−２４５１２４号公報には、焦点検出のための画像出力をＡ／Ｄ（Analog-to-Digital 〜アナログ−ディジタル）変換している間に、該焦点検出のための所定の演算を行うことにより、測距演算に要する時間の短縮を図る焦点検出装置が示されている。
【０００６】
【発明が解決しようとする課題】
しかしながら、上述した従来の測距システムには、次のような問題がある。
(1) 特開平７−２８７１６１号公報には、分割した複数の測距エリアを互いにオーバラップさせるようにした測距装置が示されている。
しかしながら、この測距装置は、単に測距ポイントを細分割して、多点とした場合の不感帯をなくす手法を提案しているだけある。したがって、実際の撮影に関する主要被写体については、何ら考慮されておらず、主要被写体の弁別および測距については、撮影者の判断・操作に頼っている。また、この測距装置では、測距点が多点になったことに伴う演算時間の増大についても、全く考慮されていない。
【０００７】
(2) 特開平７−１８１０１０号公報には、あるポイントで測距結果が確定した場合、それ以降は、その近傍のみの距離を相関演算する測距装置が示されている。この測距装置は、隣接点との類似性を推定することにより演算時間を短縮するものである。すなわち、単に被写体が複数の測距ポイントにまたがっているという当然の前提に基づき、その隣接点はすでに算出された結果に近い結果となると推定して、その結果付近を相関演算し、さらに測距計算が不可能な部分については、可能な部分の計算結果で代用することにより、演算時間を短縮する。
【０００８】
しかしながら、実際には被写体と背景とが３次元的に混在するので、単に近傍の測距結果に基づいて測距演算を簡略化するだけでは、充分な測距結果は得ることができないと推察される。また、相関演算の捜索幅の限定方法等についての開示もない。なお、この公報でも、主要被写体の抽出あるいは被写体と背景等の分離については、何も言及していない。
【０００９】
(3) 特開昭６１−２４５１２４号公報には、画像出力をＡ／Ｄ変換している時間に他の処理を行い、Ａ／Ｄ変換器と演算回路とが同時に動くだけの焦点検出装置が示されている。しかしながら、この公報には、Ａ／Ｄ変換と同時に行う演算として、相関演算等の重要な演算でなく、一種の前処理である不要周波数成分の除去等の演算について説明しており、実際の測距演算そのものについて、特別な考察は、なされていない。
このように、従来の測距装置では、多くの場合、測距視野を複数の測距エリアに分割し、その測距エリア毎に、従来の相関演算を行って、その結果のうちの１つを選択して、その距離にピントを合わせるようにしている。
【００１０】
本発明は、上述した事情に鑑みてなされたもので、広い被写界視野に３次元的に被写体が存在する場合にも、正確に且つ高速に測距視野内の主要な被写体を抽出し、その主要被写体部分の像ずれ量または距離を検出することを可能とする測距装置を提供することを目的とし、特に画像を左右順次処理して主要被写体を検出することを第１の目的としている。
本発明の第２の目的は、複数の画像情報ブロックにわたって、相対的なブロックずれおよびブロック信頼性を検出して用いることにより、正確に測距演算を行うことにある。
【００１１】
本発明の第３の目的は、背景と主要被写体とを分離して正確に測距演算を行い得るようにすることにある。
本発明の第４の目的は、主要被写体検出部をマイクロコンピュータ等で構成し、読み出し時間中に処理を終了させ、高速で測距演算を行い得るようにすることにある。
【００１３】
本発明の第５の目的は、抽出された主要被写体の像ずれ量の分布に基づいて、絞り値および焦点距離を設定することにより、抽出された主要被写体すべてにピントを合わせ得る撮影装置を提供することにある。
本発明の第６の目的は、測距装置が抽出した主要被写体を撮影者が確認することができるような撮影装置を提供することにある。
本発明の第７の目的は、被写体の部分毎の距離を検出し、主要被写体を抽出して、ポートレート写真等の主要被写体以外の背景を電気的にぼかし得る背景処理装置を提供することにある。
【００１４】
【課題を解決するための手段】
請求項１に記載した本発明に係る測距装置は、上述した第１〜第３の目的を達成するために、
基線長を存して配設される左右一対の測距光学系と、
前記一対の測距光学系により形成される被写体光学像をそれぞれ光電変換する左右一対の光電変換素子列を有し、これら一対の光電変換素子列で光電変換される一対の画像情報を、左右の各光電変換素子列の端部より順次出力する画像情報検出部と、
前記画像情報検出部からの左右一対の画像情報出力を順次処理して主要被写体を検出し、主要被写体の像ずれ量を検出する主要被写体検出部と、を具備し、
前記主要被写体検出部は、
与えられる一対の画像情報をそれぞれ複数のブロックに分割するとともに、該一対の画像情報ブロック列を相対的にシフト可能なブロック形成部と、
前記ブロック形成部により相対的にシフトされた前記一対の画像情報ブロックのブロックずれを検出するブロックずれ検出部と、
前記ブロック形成部から出力される前記一対の画像情報ブロックの信頼性評価情報を検出する信頼性検出部と、
前記ブロックずれ検出部および前記信頼性検出部の出力より複数の画像情報ブロックにわたって前記一対の画像情報の相対的なブロックずれおよび信頼性を評価して、前記一対の画像情報における主要被写体の像ずれおよび該主要被写体までの距離の少なくとも一方を検出するウィンドウ評価部とを含み、
前記ウィンドウ評価部は、与えられた相対シフト量およびブロック信頼性評価情報に基づき、所定範囲の被写体距離内にある複数のブロックを連続したブロックとして検出し、所定長さで連続する連続ブロックのうち最も近距離に対応する連続ブロックを検出することによって、前記主要被写体を検出する手段を含むことを特徴としている。
【００１７】
請求項２に記載した本発明に係る測距装置は、上述した第４の目的を達成するために、
請求項１の測距装置において、
前記主要被写体検出部は、前記画像情報検出部からの画像読み出しサイクル中に主要被写体およびその像ずれ量の検出のための演算処理を行うマイクロコンピュータを含むことを特徴としている。
【００２０】
請求項３に記載した本発明に係る撮影装置は、上述した第５の目的を達成するために、
請求項１に記載した測距装置を備え、且つ前記主要被写体検出部により抽出される複数のウィンドウのブロックずれ量から算出される複数の距離が被写界深度内に入るように絞り値および焦点距離の少なくとも一方を設定する深度調整手段を含むことを特徴としている。
【００２１】
請求項４に記載した本発明に係る撮影装置は、上述した第６の目的を達成するために、
前記請求項１に記載した測距装置を備え、且つ前記主要被写体検出部により抽出されるウィンドウに対応する測距視野範囲を表示する測距視野表示手段を含むことを特徴としている。
請求項５に記載した本発明に係る背景処理装置は、上述した第７の目的を達成するために、
前記請求項１に記載した測距装置を備え、且つ前記主要被写体検出部により抽出された主要被写体とは異なる距離領域に相当する被写体の画像情報を電気的にぼかす手段をさらに含むことを特徴としている。
【００２２】
【作用】
すなわち本発明による測距装置は、一対の画像出力を処理して主要被写体を判別し、該主要被写体像そのものの距離および像ずれ量の少なくとも一方を検出しているので、広い被写界視野に３次元的に被写体が存在する場合にも、正確に且つ高速に測距視野内の主要被写体の像ずれ量または距離を検出することが可能となる。
請求項１の測距装置は、主要被写体検出部で左右一対の画像出力を順次処理して主要被写体の距離または像ずれ量を検出している。従来は測距視野を複数に分割してその中で最も近い被写体の存在する測距視野の測距結果にピントを合わせていたのに対し、この測距装置では、主要被写体の像そのものを抽出し、その主要被写体像の像ずれを検出しているので、正確に主要被写体を捕捉し、それ以外の被写体情報を含まない主要被写体のみの被写体情報により像ずれを検出することができ、測距誤差の小さい測距を行うことができる。
【００２３】
さらに、請求項１の測距装置は、ブロック形成部でブロック化した画像情報を用いて、ブロックずれ検出部でブロックずれを検出し且つ信頼性検出部で信頼性を検出し、さらにウィンドウ評価部で、複数のブロックにわたって信頼性およびブロックずれを評価して、主要被写体の像ずれ量を検出している。この測距装置では、複数のブロックにわたって信頼性およびブロックずれを評価して、像ずれを算出しており、信頼性による加重平均を使用して情報に重み付けをすることも可能であるので、誤差成分を排除した正確な測距を行うことができる。
【００２４】
また、請求項１の測距装置は、ウィンドウ評価部でブロックの連続性を評価しているので、主要被写体のみを捕捉することができ、撮影者がわざわざ主要被写体を指示する必要もなく、簡単に主要被写体にピントを合わせることができる。
請求項２の測距装置は、画像情報の読み出しサイクル中にマイクロコンピュータ等を使用して演算する。この測距装置は、マイクロコンピュータ等を用いて容易に実現することができ、また演算を読み出しサイクル中に行うことができる方式であるので、測距演算のための演算時間を別途に確保する必要がなく、また全画素データを記憶素子等に記憶保持しておく必要がない。
【００２６】
請求項３の撮影装置は、複数のウィンドウのブロックずれより、像ずれ量または被写体距離を求め、主要被写体が全て一定の距離に存在しておらず、ある距離範囲に亘って分布していても、撮影光学系の絞り値または焦点距離を設定することにより、主要被写体全てを被写界深度内に入るようにすることができる。
【００２７】
請求項４の撮影装置は、主要被写体検出部で主要被写体を抽出し、その主要被写体に対応する測距視野範囲を表示することにより、撮影者に検出した主要被写体を知らせることができるので、撮影装置側と撮影者との認識のずれが明確となり、誤測距による撮影を未然に防ぐことができる。
【００２８】
請求項５の背景処理装置は、主要被写体を抽出してその距離を測距することと、２枚のエリアＣＣＤ等を用いた３Ｄカメラまたはコントラスト法を用いたビデオカメラ等の撮影装置との組合せによって、撮影画面内の全ての部分で部分毎の測距情報を得ることができ、被写体像を主要被写体（と同一）の距離の被写体と、その他の被写体とに分別することができ、主要被写体と同一距離以外の部分の映像信号を加工することで、主要被写体以外の被写体像を電気的な処理によりぼかした映像にすることができる。この背景処理装置では、主要被写体を強調するようなポートレート効果を得ることあるいは主要被写体のみを全体画像から切り出すことが可能となり、撮影後の編集等の加工を容易に行うことができる。
【００２９】
【発明の実施の形態】
以下、実施の形態に基づき、図面を参照して本発明の測距装置を詳細に説明する。
図１〜図４は、本発明の第１の実施の形態に係る測距装置の要部の構成を示している。
図１に示す測距装置は、画像情報検出部１および主要被写体検出部２を具備している。
【００３０】
画像情報検出部１は、左右一対の光電変換素子列１Ｌおよび１Ｒを有する。これら左右一対の光電変換素子列１Ｌおよび１Ｒは、図２に示すように、所定の基線長を存して配置された左右一対の測距光学系３Ｌおよび３Ｒにより形成される左右一対の被写体像をそれぞれ光電変換する。これら左右一対の光電変換素子列１Ｌおよび１Ｒにより、前記左右一対の被写体像を光電変換した結果が、画像情報検出部１から出力される。
【００３１】
左側の光電変換素子列１Ｌを構成する各光電変換素子の出力をそれぞれＬ₁ ，Ｌ₂ ，Ｌ₃ ，…，Ｌ_n とし、右側の光電変換素子列１Ｒを構成する各光電変換素子の出力をそれぞれＲ₁ ，Ｒ₂ ，Ｒ₃ ，…，Ｒ_n とすると、画像情報検出部１からは、光電変換素子列１Ｌおよび１Ｒの各列端部の情報より、画像情報出力が、順次、例えばＬ₁ ，Ｒ₁ ，Ｌ₂ ，Ｒ₂ ，Ｌ₃ ，Ｒ₃ ，…のように左右交互に出力される。このように、左右一対の光電変換素子列１Ｌおよび１Ｒの出力Ｌ₁ 〜Ｌ_n およびＲ₁ 〜Ｒ_n が、画像情報検出部１の画像情報出力Ｌ₁ ，Ｒ₁ ，Ｌ₂ ，Ｒ₂ ，Ｌ₃ ，Ｒ₃ ，…として、左右交互に順次出力されることにより、左右一対の被写体像の左右対応する位置の情報がほぼ同時に得られる。
【００３２】
例えば、左の被写体像の左の端部の情報と右の被写体像の左の端部の情報とがほぼ同時に得られ、同様にして順次一端から他端へ左右の被写体像の互いに対応する位置の情報がほぼ同時に得られ、情報が中央部に至れば、左右の被写体像の各中央部の情報がほぼ同時に得られる。
ちなみに、従来の測距装置においては、光電変換素子列毎に画像情報が出力されるのが一般的であり、例えば、左側の光電変換素子列１Ｌの情報がすべて出力された後に右側の光電変換素子列１Ｒの情報が出力され、画像情報出力はＬ₁ ，Ｌ₂ ，…，Ｌ_n の後に、Ｒ₁ ，Ｒ₂ ，…，Ｒ_n となる。このため、少なくとも一方の光電変換素子列の画像情報が全て出力された後でなければ、左右の画像情報を比較することができない。
【００３３】
図１の画像情報検出部１は、このように左右の画像情報を、各端部より互いに対応してほぼ同時に出力する。この場合、画像情報検出部１は、各光電変換素子列１Ｌおよび１Ｒの出力を、左右交互に１つの共通の信号線に与えて出力するものとしているが、それぞれ独立の２本の信号線でＬ側とＲ側とを独立に且つ各対応する位置の情報を全く同時に出力するようにしてもよい。
【００３４】
この画像情報検出部１からの画像情報出力は、主要被写体検出部２に与えられる。主要被写体検出部２は、画像情報検出部１からの画像情報出力に基づいて主要被写体像を検出し、その主要被写体像の像ずれ量を算出する。
図３に主要被写体検出部２の詳細な構成を示す。
主要被写体検出部２は、ブロック形成部２１、ブロックずれ検出部２２、信頼性検出部２３およびウィンドウ評価部２４を具備している。
【００３５】
ブロック形成部２１は、画像情報検出部１から入力された画像情報を小ブロック化して左右に対応する方向に相対的にシフトする。ブロックずれ検出部２２は、ブロック形成部２１で形成される左右の画像情報のブロックの間隔を算出する。信頼性検出部２３は、ブロック形成部２１で形成される左右の画像情報のブロックの信頼性を検出する。ウィンドウ評価部２４は、ブロックずれ検出部２２および信頼性検出部２３の双方の結果を用いて複数のブロックを接続し、ウィンドウとして評価して、最終的に左右のウィンドウの像ずれ量を出力する。
【００３６】
ブロック形成部２１を、さらに具体的に説明する。説明を理解し易くするために、この実施の形態ではアナログ出力をデジタルに変換してから処理するものとして説明するが、アナログ出力のままこれ以後の実施の形態に相当する処理を実現することもできる。
ブロック形成部２１は、時系列的に順次入力される画像情報をバッファに蓄積し、複数の画素からなるブロックを形成して、その左右のブロックを後段のブロックずれ検出部２２および信頼性検出部２３に供給する。
【００３７】
すなわち、ブロック形成部２１は、図４に示すように、与えられたアナログ出力をＡ／Ｄ変換器２５でデジタルデータに変換して、左右のデータをそれぞれＬ側（左側）バッファ２６およびＲ側（右側）バッファ２７に入力する。この入力データは新しいデータが入力されると、その都度、順次シフトされ、最終的に破棄される。
つまり、これらのＬ側バッファ２６およびＲ側バッファ２７には、入力されたデータのうちの新しいデータがバッファの数だけ保持されている。
【００３８】
次に、これらのバッファから、ブロック選択部２８によりブロックが選択されて後段に出力される。ここで、選択されるブロックは、ブロック数と相対的シフト量により決定される。この実施の形態では、ブロック数を４とすると、相対シフト量が０の場合にはＬ₁ 、Ｌ₂ 、Ｌ₃ 、およびＬ₄ とＲ₁ 、Ｒ₂ 、Ｒ₃ 、およびＲ₄ とが選択され、相対シフト量を＋２とした場合には、Ｒ側をシフトしてＬ₁ 、Ｌ₂ 、Ｌ₃ 、Ｌ₄ とＲ₃ 、Ｒ₄ 、Ｒ₅ 、Ｒ₆ とが選択され、相対シフト量を−２とした場合はＬ側をシフトしてＬ₃ 、Ｌ₄ 、Ｌ₅ 、およびＬ₆ とＲ₁ 、Ｒ₂ 、Ｒ₃ 、およびＲ₄ とが選択される。
【００３９】
したがって、後段の処理が左右４画像が出力されるうちに終了するならば、バッファ２６および２７としては、ブロック数＋相対シフト量に相当する数だけ必要である。例えばブロック数４、相対シフト量±８シフトとすると、１２個ずつの画像出力を記憶するバッファがあればよい。この場合、後段のブロックずれ検出部２２および信頼性検出部２３の両検出部は、左右４画像がメモリに入力される間に検出処理を行う必要がある。
【００４０】
これらの条件がそろえば、入力される画像出力を全てメモリに格納する必要はなく、１２個ずつメモリに格納すればよく、相対シフト量によるブロックの選択も、バッファに対して一義的に行えばよい。この実施の形態では、アナログ画像データを、デジタル変換してメモリに格納するようにしたが、アナログデータのままＣＣＤ等に記憶させてもよく、アナログデータのままブロックを選択するようにしてもよい。
【００４１】
次に、ブロック形成部２１で形成された左右それぞれのブロックを評価するブロックずれ検出部２２および信頼性検出部２３について具体的に説明する。
ブロックずれ検出部２２は、選択した左右ブロック間のブロックずれを検出する。このブロックずれ検出部２２は、既に前述の相対シフト量だけシフトされたブロック同士を比較するので、実際の画素上で、例えばｄｏだけずれていた被写体像のブロックを相対シフト量Ｓ₀ だけすらしてブロックが形成された場合、ｄｏ−Ｓ₀ のブロックずれを、ブロックずれ検出部２１が検出することになる。
このようにする理由は後述するが、相対シフト量で大まかな像ずれを検出し、ブロックずれ検出部２２で精密な像ずれ量を検出するためである。ここで、このブロック間のずれをどのようにして算出するかについて説明する。
【００４２】
図５に示すように、左右のブロックがΔｄだけずれているとする。このΔｄを検出するには、例えば図６に示すように、（Ｒ_n −Ｌ_n ）：Δｄ＝（Ｌ_n+1 −Ｌ_n ）：１より、ΔＬ＝Ｒ_n −Ｌ_n 、Ｃ＝Ｌ_n+1 −Ｌ_n とすると、Δｄ＝（ΔＬ）／Ｃとして求めることができる。このような方法でＬ_n 、Ｒ_n 、Ｌ_n+1 、Ｒ_n+1 、Ｌ_n+2 、Ｒ_n+2 の３ポイントについて計算を行って平均をとることにより、ブロック間のずれを検出することができる。また、従来より行われているように、一般的な相関法を用いて、シフトに対する評価関数を作成し、補間法を使用して左右ブロック間のずれを検出するようにしてもよい。
すなわち、ブロックずれ検出部２２は、以上の演算を行うデジタル回路を用いて構成すればよい。
【００４３】
アナログ的に求める場合は、上述と同様の演算をアナログ的に行ってもよいし、左右ブロックの一方をディレー手段等により遅延して、左右の信号波形を重ね合わせて、一致するための遅延量から検出してもよい。
次に、信頼性検出部２３について説明する。この信頼性検出部２３は、前述において、ブロックずれを検出したのと同様の左右ブロックについて、これらのブロックの画像の信頼性または算出されたブロックずれ量の信頼性を検出する。
【００４４】
信頼性検出部２３は、図７〜図９のような特性に基づいて信頼性を検出する。図７〜図９において、各図の上側の特性（ａ）は、信頼性大、下側の特性（ｂ）は信頼性小の場合の例を示している。図７は、左右のブロックの出力の傾きを比較しており、図７（ａ）は、Ｌ側とＲ側の傾きが相似であり、信頼性が高いが、図７（ｂ）ではＬ側とＲ側の傾きが異なり、信頼性が低い。
図８は、コントラストを比較しており、図８（ａ）のようにコントラストが高い場合は、算出されるブロックずれの信頼性が高く、図８（ｂ）のようにコントラストが低い場合は、算出されるブロックずれ量の信頼性が低い。
【００４５】
図９は、ブロック内の傾きの連続性に基づいて信頼性を判定しており、図９（ａ）のように傾きの変動が小さい場合は、信頼性が高く、図９（ｂ）のように傾きの変動が大きい場合は、信頼性が低い。
このような方法により、前述のブロックずれ量の演算に用いられるブロックの信頼性を検出する。
このような左右ブロックより、ブロックずれ検出部２２および信頼性検出部２３は、それぞれブロックずれおよびブロックの信頼性を検出してウィンドウ評価部２４に与える。すなわち、これらブロックずれ検出部２２および信頼性検出部２３の双方を通過することにより、左右４画素ずつ８データがブロックずれ量および信頼性という２つのデータに変換される。これら２つのデータがウィンドウ評価部２４に入力される。
【００４６】
信頼性検出部２３も、信頼性をデジタル的に求めるのではなく、アナログ的に求めることもできる。例えば、左右の信号を微分回路に入力して信号の傾きを求め、図７の場合は、微分出力の左右の差動出力を求めればよく、図８の場合は、微分出力の大小を比較すればよく、図９は微分出力の時間的変動または周波数等を求めればよい。よってここではデジタルで処理するかアナログで処理するかはあまり重要ではない。
【００４７】
次にウィンドウ評価部２４について説明する。ウィンドウ評価部２４は、入力されたブロックずれ量と信頼性に基づいて、ウィンドウを形成し、その像ずれ量を算出する。まず、ウィンドウ評価部２４に入力されるブロックずれ量は、種々の要因により、主要被写体の像ずれ量を的確に表してはいない。
すなわち、まず第１の要因は、入力されたブロックずれ量が、全て主要被写体像の像ずれ量とは限らず、被写体の背景の像の像ずれ量である可能性もあることである。
【００４８】
つまり、画像情報検出部１の光電変換素子列１Ｌおよび１Ｒの各光電変換素子に結像される像は、すべて一定の距離の像であるとは限らず、一般には３次元的に色々な距離の像が入力されているので、それを分離して主要被写体を抽出する必要がある。次の第２の要因は、入力されたブロックずれ量がすべて正しい値であるとは限らず、光電変換素子のばらつき等のような様々な原因で誤差を含んでいることである。
ウィンドウ評価部２４に入力されるブロックずれ量には、主として、これら２つの要因による誤差が含まれており、それを考慮して主要被写体のウィンドウを形成して像ずれ量を算出しなければ、正確な像ずれ量を検出することはできない。
【００４９】
まず、後者の第２の要因に係るばらつきのような測距誤差等の除去について考える。これについては、前述の信頼性検出部２３の結果を用いることができる。つまり、ブロックの信頼性の低いブロックでは、誤差を大きく含んだブロックずれの結果が算出されており、信頼性の高いブロックでは誤差が小さい。言い換えれば、誤差をあまり含んでいないブロックずれのみを採用してウィンドウを形成して像ずれ量を算出するように、ブロックの信頼性を評価する。また、信頼性の大小をパラメータにして、ブロックずれ量に重み付けして、加重平均してもよい。これにより誤差成分が大きいブロックほど排除して誤差成分の小さいブロックずれ量を算出できる。
【００５０】
次に、前者の第１の要因に係る主要被写体の抽出について述べる。まず、主要被写体とはどういうものかということを規定する必要がある。なぜなら、厳密な意味での主要被写体とはカメラ、ビデオカメラ等の撮影者の意志のみで決定され、個々の撮影者により異なる。これをすべて網羅するには特別な入力装置等が必要である。本発明では、このような特殊な人力装置により主要被写体を弁別することはせず、一般的に規定した主要被写体を抽出するようにする。
まず、図１０に示すように撮影の構図を決定するファインダー視野に対して、被写体の距離を検出する範囲である測距視野が水平の帯状に設定されているとする。
【００５１】
撮影対象としては、一般に図１１のような人物撮影および図１２のような風景撮影等が考えられる。図１１の場合、主要被写体は人物であり、このような人物撮影の場合は、測距視野の被写体の中で最も近い所を測距すればよい。
図１２の場合、主要被写体は風景であり、測距視野内のどこを測距してもよい。したがって、図１１および図１２のように一般的な人物および風景の撮影の場合は測距視野のうちの最も近い被写体を測距すればよい。
これに対して、図１１および図１２に当てはまらない被写体の場合について、図１３、図１４、図１５および図１６を参照して説明する。
【００５２】
図１３は、主要被写体の前にフェンスまたはネット等のような障害となる物が存在する場合を示している。このような場合、主要被写体の人物に対して前面にある障害が、さほどじゃまにならず、許容できるレベルの時、撮影者はこのまま人物にピントを合わせて撮影する。また、前面にある障害が許容できないレベルにある場合、すなわちフェンス等が太く人物がかくれてしまう場合等、には撮影しない。よって、このような場合は、測距視野の像の大きさを判断すればこれが主要被写体かそれ以外の像かを判別することができる。
【００５３】
次に、図１４のように、主要被写体が壁等に隣接して立った場合、測距視野に壁等が入ってしまう。また、図１５のように、カメラを水平から９０°傾け、いわゆる縦位置で構えた場合、地面が入ってしまう。これらのような場合には、壁、地面等の距離は一定でなく、図示の例では、ファインダの外側から内側に向かって距離が遠ざかるので、検出される距離は変化する。よって、ある一定の距離範囲にある被写体は、主要被写体のみである。つまり、図１４における壁は、一定の距離ではなく漸次変化している。また、図１５における地面も同様である。
【００５４】
次に、図１６に示すように、狭い出口から人が出てくるようなシーンでは、近距離に出口前面があり、出口前面を測距してしまいそうである。このような場合、図１６の出口のエッジのみコントラストがあり、出口のその他の所はコントラストがない場合が多いので、結局一定の距離であると検出できるのはエッジの所だけである。
以上のように、ある連続した範囲に一定の距離の個所が存在すると判断された部分の最も近い所の距離を検出すれば、図１１〜図１６の場合の主要被写体を捉えることができる。
【００５５】
よって、図１１〜図１６における主要被写体について測距した場合、ある大きさの連続した被写体、すなわち測距結果がほぼ同じ部分がある大きさだけ連続的に存在している個所、のうちの最も近距離の被写体、つまり連続的に存在している部分、を選択することによって、主要被写体を抽出することができる。
但し、このような方法でも完全に主要被写体を抽出することができるとは限らないので、後述するような表示等の工夫を適用するようにしてもよい。
【００５６】
次に、このような処理を、ウィンドウ評価部２４で、どのように行うかを述べる。上述の動作には、測距エリア内の各ポイント（各ブロック）の距離情報およびその距離情報の真偽、つまり情報の信頼性の検出が必要であり、それらの双方は前述のブロックずれ検出部２２と信頼性検出部２３により順次検出できている。これらの情報に基づいて、ある範囲内の距離にあるブロックを抽出し、その連続性を検出する。このある範囲内の距離とは、ピントの合う範囲でよく、主要被写体とほぼ同距離の全ての被写体でよい。つまり焦点距離、開口Ｆ値（Ｆ_NO）等による被写界深度等で決めてもよく、また検出し易いように一定の値としてもよい。
【００５７】
次に、この検出された連続するブロックのうちのある長さ以上のブロックを抽出する。これは、言い換えれば、短く連続したブロックを無視すればよく、この長さも一定としてもよいが、撮影装置の焦点距離等に連動して、広角であるほど短く、望遠であるほど長くしてもよいし、その連続したブロックの存在する距離によって変化させて、近距離ほど長く、遠距離ほど短くするようにしてもよい。また、主要被写体が人物である可能性が高いので、人物の幅に合わせた長さに設定してもよい。このようにして、短いブロックを除去した後に、残りの連続したブロックのうちの最も近距離のブロックを抽出して、その像ずれまたは距離を求めればよい。
【００５８】
この様子を、図１７に示す例で説明すると、図１７の被写体は、図１８に示すように、（ａ）遠距離にある背景ａと、（ｂ）主要被写体ｂと、（主要被写体をさえぎっているフェンスからなる前景ｃにより形成されている。このような、構図についてのブロックずれ検出部２２の出力を図示すると、図１９のようになる。
図１９では、縦軸が、被写体の距離または像ずれ情報であり、横軸が、順次出力される被写体の測距視野の位置に対応するブロックの位置である。この出力に対して短いブロックの集まりを除去したのが図２０である。図２０では被写体ａおよびｂのうち近距離に対応する被写体ｂを選択することにより、主要被写体を抽出して、その部分の像ずれまたは距離を検出すればよい。
【００５９】
但し、この実施の形態では、ブロックずれ検出部２２の出力は順次出力されるので、ウィンドウ評価部２４は、図２１に示すように構成することができる。
図２１に示すウィンドウ評価部２４は、連続性チェック部３１、ブロックカウンター３２、ウィンドウ演算部３３、候補ウィンドウずれ量格納部３４および採用ウィンドウずれ量格納部３５を有している。
まず、ブロックずれ検出部２２と信頼性検出部２３から、光電変換素子列の端部に対応する画像情報から算出されたブロックずれ量および信頼性評価結果が、ウィンドウ評価部２４の連続性チェック部３１に順次入力される。
【００６０】
連続性チェック部３１は、入力されたブロックずれ量および信頼性評価結果よりブロックの連続性をチェックして、連続性がある場合にはブロックカウンター３２をインクリメント（アップカウント）させる。この時、連続性を有するブロックずれ量の値は、ウィンドウ演算部３３に与えられ、それまでに演算されたブロックずれ量の平均または信頼性評価結果等を用いて加重平均される。この結果が候補ウィンドウずれ量格納部３４に記憶される。
【００６１】
このような動作が順次ブロックずれ量が入力される度に繰り返され、ブロックカウンター３２のカウント値がある値以上の時、つまり前述したように連続したブロックがある値以上のとき、候補ウィンドウずれ量格納部３４に格納された候補ウィンドウずれ量が採用ウィンドウずれ量格納部３５に送られ、それが、以前から記憶されていた採用ウィンドウずれ量よりも近い距離の演算結果である時にのみ、採用ウィンドウずれ量格納部３５に格納される採用ウィンドウずれ量が更新される。
【００６２】
このようにすれば、ブロックカウンター３２のカウント値に反映される連続したブロックの長さにより、短い長さの連続ブロックを除去することができる。また、採用ウィンドウずれ量格納部３５に格納される採用ウィンドウずれ量をそれより近距離の結果が入力されたときにのみ更新しているので、近い距離の連続ブロックのみを選択することができる。
次に、連続性チェック部３１について説明する。ブロックずれ量の変化がある範囲内に入っているかどうかで連続性を判断してもよいが、図２２に示すように、ブロックの信頼性評価結果を利用することにより、綿密にブロックずれの連続性を評価することができる。
【００６３】
まず、信頼性が高く且つブロックずれが所定範囲内（候補ウィンドウずれ量等と比較して）であるときは、連続した被写体であるので、ブロックカウンター３２をインクリメントさせ、そのブロックずれを候補ウィンドウずれ量の算出に使用する。
また、信頼性が低く且つブロックずれ量が前記所定範囲内であるときは、連続している可能性は高いが、測距演算精度が低いので、ブロックカウンター３２をインクリメントさせるが候補ウィンドウずれ量には算入しない。
【００６４】
そして、信頼性が高く且つブロックずれ量が前記所定範囲外であるときは、以前算出していた候補ウィンドウとは異なる距離のブロックである可能性が高いので、ブロックカウンター３２をリセットして、新たに候補ウィンドウを設定するための準備をする。なお、信頼性が低く且つブロックずれ量が前記所定範囲外であるときは、新たに候補を設定するには信頼性が低いので何もしない。
このようにして、入力されたブロックずれ量および信頼性の評価結果により、候補ウィンドウを設定し、そのずれ量を、順次入力されるずれ量により求めることによって、ブロックカウンター３２がある値以上になったときに、候補ウィンドウずれ量と比較し、記憶されている採用ウィンドウずれ量より近距離であるときは、採用ウィンドウずれ量を更新する。
【００６５】
このように、順次入力されるデータが終了するまで続けることにより、最終的に有効なウィンドウずれ結果が採用ウィンドウずれ量として記憶されているので、この結果が主要被写体の像ずれ量に対応する。
この部分についてもデジタル的な演算回路により容易に構成することができるが、アナログ的な信号処理によっても実施することができる。つまり図１９から短いブロックを除去して図２０のようにするには、図２３に示すように、アナログ的なローパスフィルタ４１を通すことによって実現することができ、信頼性の高い部分のみを出力するアナログゲート４２を通して、最後にレベル判定部４３でレベル判定を行って、近い距離の部分のみを出力すればよい。
【００６６】
以上述べたように、左右一対の光電変換素子列１Ｌおよび１Ｒの各一端部から左右同時に順次他端部に相当する画像情報を出力して、その順次出力される画像情報をブロック形成部２１に入力する。ブロック形成部２１は、設定された相対シフト量に応じた左右ブロックを選択して、ブロックずれ検出部２２および信頼性検出部２３に入力する。ブロックずれ検出部２２および信頼性検出部２３に入力されたブロックに基づいて、それぞれブロックずれ量と信頼性評価値が求められウィンドウ評価部２４に入力される。ウィンドウ評価部２４は、これらの値より、連続したブロック、すなわちブロックずれ量がある範囲内に入っている連続したブロック、の長さを評価して、短いブロックを除去し、長いブロックのうちの近距離のブロックを採用する。
【００６７】
このようにすれば、順次画像情報が入力される度に、各構成が動作して、画像情報転送終了とともに主要被写体の距離または像ずれ量が求められる。
つまり、図２４に示すように、従来は左右の光電変換素子によって得られた情報を全て一旦取り込んで、その後演算処理していたが、本発明では、入力情報が順次入力される毎に演算されるので、入力と演算がほぼ同時に並行して行われ、データ入力終了後直ちに演算も終了する。
【００６８】
よって本発明を実現するためには、複数に分割されたブロックの像ずれ量または距離の算出と算出された複数の結果より主要被写体を抽出することが要点である。このため、以上においては、主として主要被写体の抽出について述べてきたが、次に、ブロックの像ずれ量の算出について説明する。
前述したように、ブロック形成部２１により形成されたブロックから、ブロックずれ検出部２２でブロックずれの検出を行うが、このとき比較されるブロックは、相対シフト量によってブロックの相対位置が示される。
【００６９】
ここで、相対シフト量について説明する。
図２５のようにＬ側の画像情報とＲ側の画像情報がブロック形成部２１に入力されたとする。図２５に示すように、Ｌ側とＲ側との相対的な像ずれ量はｄ＝２．８センサピッチだけずれているとする。
ここで、最初の部分Ｓａについて、相対シフト量０としてブロック形成部２１が４画素の左右ブロックを形成したとすると図２６のようになる。このような左右ブロックをブロックずれ検出部２２に入力した場合、Ｌ側とＲ側の情報の相違が大きすぎてブロックずれを正確に求めることができない。また、信頼性検出部２３も信頼性なしと判断してしまう。
【００７０】
次に相対シフト量を２としてブロックを形成した場合は、図２７のようになり、Ｌ側、Ｒ側の相関が高くなって、ブロックずれ検出部２２はブロックずれを検出し易くなり、理論的には像ずれ量２．９−相対シフト量２＝０．９となって、ブロックずれ検出部２２は０．９という値を検出することができる。
また、相対シフト量を３とした場合は、図２８のようになり、より左右の相関は強くなり、像ずれ量２．９−相対シフト量３＝−０．１となる。また、左右ブロックの信頼性も高くなり信頼性検出部２３も信頼性が高いと判断する。
【００７１】
つまり、左右ブロックを比較するときに、左右ブロックの像ずれ量に近い相対シフト量でブロックを形成して比較することで、より正確に像ずれ量、すなわち相対シフト量＋ブロックずれ量を検出することができる。像ずれ量に近い相対シフト量によるブロックを比較するということは、被写体像のほぼ同一部分を比較することを意味し、異なった相対シフト量によって比較することは被写体像のずれた部分を比較することを意味しているので、上述のようになるのは当然である。
以上においては、この相対シフト量について特に言及せず、一定として扱ってきたが、これでは正確な像ずれを検出することができない。この相対シフト量をどのような値とするかが問題となる。
【００７２】
そこで、順次画像情報が入力される度に相対シフト量を例えば−ｎ〜ｎと変化させて、信頼性およびブロックずれをチェックして、最良になる相対シフト量を検出し、その相対シフト量とブロックずれを加えた値をウィンドウ評価部２４に入力するようにすれば、各ブロック毎に最良の相対シフト量を検出することができる。
ところが、各ブロック毎に−ｎからｎまで相対シフト量を変化させて、ブロックずれ量および信頼性を検出するので、非常に演算規模が大きくなってしまう。
また、主要被写体の存在が予測される距離の像ずれ量に近い相対シフト量をセットするようにしてもよいが、この場合は無限遠から最至近までの像ずれ量が小さいときに有効である。
【００７３】
しかしながら、これらの方法はあまり実用的でない。ここで本発明の第２の実施の形態について述べる。
この第２の実施の形態の前提として、被写体の距離が無限遠の時の像ずれ量を０、撮影範囲の最至近距離に被写体が存在するときの像ずれ量をｎと規定する。
まず、初期値としての相対シフト量は、０である。順次、画像情報が入力されブロック作成部２１が相対シフト量０に基づいてブロックを作成し、ブロックずれ検出部２２がブロックずれ量を検出し、信頼性検出部２３が信頼性を検出する。ここで信頼性がある値より高く且つブロックずれ量がある値（例えば１以上）である時、その部分の像ずれ量は、そのときの相対シフト量よりも大きい可能性が大きいので、相対シフト量を増加させる。そして、順次、情報が入力される度にブロック形成部２１は、更新された相対シフト量にてブロックを形成し、その形成された左右ブロックにてブロックずれ検出部２２および信頼性検出部２３がブロックずれと信頼性を検出し、その時の相対シフト量とブロックずれ量を加えた値をウィンドウ評価部２４に出力する。
【００７４】
このようにすることにより、相対的シフト量は、像ずれ量に追従して増加する。この場合、相対シフト量は増加しかしないので、一つでも近距離の被写体があると、それ以降のブロックで遠距離の被写体の検出精度が悪くなる。しかしながら、一般的に主要被写体は一番手前の被写体である確率が高く、測距視野内で一番近距離の被写体のみ抽出できるので、あまり問題とはならない。
しかしながら、本発明は、図１７のように主要被写体に対して充分に小さい前景を除去することも目的としている。そこで、まず前述の相対シフト量を近距離方向のみシフトした場合について、図２９および図３０を参照して説明する。
【００７５】
図２９（ａ）は、被写体が風景等の遠距離の被写体のみである場合で、この場合被写体の像ずれ量は、図２９（ｂ）のように視野位置に対して均一に分布している。これに対して相対シフト量は変化せず、図２９（ｃ）のように一定である。
次に、図３０（ａ）のように背景に対して前に主要被写体がある場合、図３０（ｂ）のように主要被写体が存在する位置で像ずれ量が変化する。よって、図３０（ｃ）のように、画面左側の背景部分においては相対シフト量は像ずれ量に近い値であり、中央の主要被写体の部分になると相対シフト量が増大して像ずれ量の値に近付く。
【００７６】
次に画面の右側の背景部分においては、像ずれ量が背景に対応しても相対シフト量は変化しない。このような相対シフト量に基づいて作成されたブロックずれを算出し、ウィンドウ評価部に入力されると図示Ｒａ部にてウィンドウが採用されて測距される。
次に、図３１（ａ）のように不要な前景が存在する場合、視野範囲に対する像ずれ量の分布は、図３１（ｂ）のようになる。この場合、前述のような近距離のみについてのシフト量の更新では、図３１（ｃ）のように左側のフェンスの部分の前景において、相対シフト量は、主要被写体より近くまで更新されてしまい正確に主要被写体を抽出することができなくなる。
【００７７】
そこで相対シフト量の更新を増加のみでなく減少についても行うこととする。ところで、測距装置としては、主要被写体より遠い被写体（背景）は検出する必要がないので、相対シフト量を減少させる場合にも主要被写体より遠くまで減少させる必要がない。つまり、ウィンドウ評価部２４で、ブロックの連続性を調べて採用されたウィンドウより遠くの被写体を検出する必要がないので、相対シフト量は、初期値は無限遠に対応する（ここでは０）値として、増加、減少する。この場合、リミット値は０であるが次にウィンドウ評価部２４がある範囲の連続したブロックを採用した場合には、その値をリミット値に増減することでよい。
【００７８】
つまり、初期状態では、相対シフト量のとり得る範囲は、無限遠の０より最至近のｎまで増減するが、ウィンドウ評価部２４がある連続したブロックを採用し、その時の相対シフト量がｍ（０≦ｍ≦ｎ）ならば、それ以後は相対シフト量のとり得る範囲は、ｍからｎまでにすることで、相対シフト量のとり得る範囲が狭くなり、一層正確に主要被写体を抽出することができる。
この方法での相対シフト量の変化を示したのが図３１（ｄ）であり、Ｑａ部でウィンドウが採用され、次にＱｂ部でもウィンドウが採用され、最終的にＱｂ部に相当する相対シフト量で主要被写体が抽出される。このとき、相対シフト量を減少させる方法は、増加させるときと同様にブロックずれ検出部２２の検出値に基づいて行い、ブロックずれがある値（例えば−１）以下の時、その部分の像ずれ量はそこでの相対シフト量より小さい可能性が高いので、相対シフト量を減少させる。
【００７９】
以上に述べたような方法により、被写体の像ずれ量に追従して相対シフト量が求められるので、被写体が視野範囲に３次元的に存在しても、各被写体の像ずれ量に追従して相対シフト量が変化して最終的に主要被写体の像ずれに近い相対シフト量に更新され、その相対シフト量で左右ブロックが作成されるためブロックずれ検出部２２は正確な値を検出することができる。
以上においては、相対シフト量をブロックずれ量の大小に基づいて増減させてきたが、次に、より確実に相対シフト量を増減させる方法について述べる。
【００８０】
前述の方法では、実際の像ずれと相対シフト量がかけ離れていて、それによって作成される左右ブロックによってブロックずれを求める場合、
つまり図２６のような場合にブロックずれを正確に求めることができず、場合によっては推定できないこともある。このような場合、当然、相対シフト量をどのように更新すればよいかわからないことがある。そこで、基準となる相対シフト量に対して大きい相対シフト量（例えば＋２）と小さい相対シフト量（例えば−２）で、左右ブロックを作成して、そのブロックでブロックずれ量と信頼性を仮に求める。基準となる相対シフト量より像ずれが大きいときは小さい相対シフト量（−２）の信頼性が悪くなる。
【００８１】
また、基準となる相対シフト量より像ずれが小さいときは大きい相対シフト量（＋２）の信頼性が悪くなるので、基準となる相対シフト量をどちらに更新すればよいかを確実に検出することができる。これはちょうど、コントラスト法における、いわゆる山のぼり法に類似した方法である。すなわち、コントラスト法では撮影レンズまたは撮像素子を振動させてコントラストの高くなる方向にピントを動かす方法であったが、これに似た考えを相対シフトの更新に応用したものである。このような方法を使うと、基準となる相対シフト量を固定したままブロックずれ量に応じてシフト量を増減させるよりも確実にシフト量を変動させて評価するので、より正確に相対シフト量を更新することができる。
【００８２】
以上の方法で相対シフト量を変化させて、ブロックずれおよび信頼性を求め、この値によりウィンドウを評価して主要被写体の像ずれを検出することができる。
また、動体の被写体などで測距動作を繰り返し行う場合、最終的に採用されたウィンドウの相対シフト量を使って再測距することにより、正確に且つ高速に測距を行うことができる。
【００８３】
さらに、本発明を適用することによって、主要被写体を抽出し、抽出された主要被写体の複数のブロックずれの分布（主要被写体の距離の分布）がわかるので、主要被写体が平面的でなく若干前後に凸凹していても、その範囲全体が被写界深度に入るような撮影装置、すなわちカメラを提供することができる。
また、主要被写体のみを抽出することができるので、主要被写体に対応する視野範囲を表示したり、２枚のエリアセンサを使用して３Ｄの電子撮像装置を作成した場合、このエリアセンサの情報により主要被写体を抽出し測距したり、主要被写体と同一の距離以外の被写体を電気的にぼかしたりして擬似的な望遠レンズ効果等を作り出すことができる。特に本発明は、左右画像を順次処理できるので、２枚のエリアセンサ等を使用した３Ｄ電子撮像装置には最適である。
【００８４】
また、本発明による測距方式は、主に外光三角測距およびＴＴＬ位相差方式に有効な方式であるが、連続したブロックで一番近い距離のウィンドウを求めることによって、主要被写体を抽出することは、像ずれを使用した測距方式だけでなく、コントラストの大小を検出して被写体までの距離を求めるコントラスト法をブロック単位に応用することにより、基線長を有する測距方式でないコントラスト法の測距方式にも有効である。このような場合には、信頼性にあたる部分は、ブロックのコントラストに対応し、相対シフト量に相当する部分は撮影レンズまたは撮像素子の位置に相当し、ブロックずれ検出はコントラスト法において前回の部分コントラストによりコントラストが最大となる繰り出し量を予想することで算出した繰り出し量または被写体距離の検出に相当する。
【００８５】
このように１枚のエリアセンサを部分毎に分割し、そのコントラストを求めてそのコントラストの時系列的な変化により繰り出し量を予想すること、およびその部分のコントラストを信頼性情報として使用することで通常のビデオカメラ等にも本発明を適用することができる。
次に、マイクロコンピュータ等を使用して、画像読み出し期間中に演算する方法について説明する。
【００８６】
図３２のように、光電変換素子Ｌ₁ 、Ｌ₂ …Ｌ_n からなる光電変換素子列１Ｌと、光電変換素子Ｒ₁ 、Ｒ₂ …Ｒ_n からなる光電変換素子列１Ｒの画像出力を、Ｌ₁ 、Ｒ₁ 、Ｌ₂ 、Ｒ₂ …Ｌ_n 、Ｒ_n のように交互に出力し、その出力をＡ／Ｄ変換器５１にてデジタルデータに量子化し、それをＣＰＵ（中央処理装置）５２に取り込んで処理する。この実施の形態では、被写体が無限遠にある場合、その被写体により形成される被写体像の像ずれ量は０とし、その時、図３３のようにＬ₁ 、Ｌ₂ 、Ｌ₃ およびＬ₄ とＲ₁ 、Ｒ₂ 、Ｒ₃ 、およびＲ₄ の画像出力が一致するものとする。
【００８７】
また。図３３のように、像ずれ量が１の時はＬ₁ 、Ｌ₂ 、Ｌ₃ 、およびＬ₄ とＲ₂ 、Ｒ₃ 、Ｒ₄ 、およびＲ₅ の画像出力が一致し、最至近距離の被写体の時は像ずれ量ｎの像が一致し、Ｌ₁ 、Ｌ₂ 、Ｌ₃ 、およびＬ₄ とＲ_1+n 、Ｒ_2+n 、Ｒ_3+n 、およびＲ_4+n の画像出力が一致するとする。
次に図３４に示す全体のフローチャートについて説明する。
このフローチャートは、読み出し期間中のフローチャートであり、その前に行われる光電変換素子の蓄積時間のコントロールおよび測距演算後のレンズ繰り出し演算等は本発明に直接関係がないので説明を省略する。
【００８８】
まず、処理が開始されると必要な変数等が初期化される（ステップＳ１）。次に、Ａ／Ｄ変換するための新たなデータが入力されるまで待って（ステップＳ２）、入力された画像出力をＡ／Ｄ変換する（ステップＳ３）。ここで、Ａ／Ｄ変換に時間がかかるＡ／Ｄ変換器５１を使用している場合には、以後の処理を並列的に行って変換終了後にバッファに入力するようにしてもよい。変換されたデータを、それがＬ側の画像情報ならＬ側バッファに、Ｒ側の画像情報ならＲ側バッファに蓄える（ステップＳ４）。これはブロックを形成させるため必要である。
【００８９】
バッファの様子を図３５に示す。図３５において、矢印が示している部分が最新データが蓄えられている場所であり、最上段から順次下の段に向かってＬ₁ 、Ｌ₂ 、Ｌ₃ …とデータが蓄えられていく様子が示されている。この例では最新のデータから７データ前までの７個のデータが蓄えられる。
また蓄えられたデータの順序は、最新データを示すポインタを起点として、図のように左側方向にサイクリックに７データが蓄えられているので、最新データのポインタさえあれば、たえず最新の７データを取り出すことができる。
【００９０】
また、７データのバッファがある場合には、ブロック数を４画素とするとＲ側のバッファでの相対シフト量は３画素分可能となる。これと同様なバッファをＲ側にも設けることができるので、Ｌ、Ｒの画像情報を蓄えて、ブロックを作成することができる。
次に上記バッファをブロック形成が可能か否かチェックする（ステップＳ５）。これは、図３５の最上段や２、３段目のようにまだ画像情報が充分にバッファに蓄えられていないかどうかを判断し、まだバッファに必要なデータが存在しないときは、以後の処理に進まず、ステップＳ２に戻って、画像出力が出力され画像情報をバッファに入力する作業に戻る。
【００９１】
また、バッファがブロックを作成するのに充分である場合には、ｎが偶数か奇数かを判断して（ステップＳ６）、交互にステップＳ７およびＳ８の作業か、ステップＳ１０およびＳ１１の作業を行わせる。ブロックずれ検出（ステップＳ７）およびブロック信頼性検出（ステップＳ８）は、左右のブロックが作成されて始めて演算することができるので、Ｌ、Ｒが読み出された後の方が効率がよい。
【００９２】
ステップＳ１０およびＳ１１の作業は、ステップＳ７およびＳ８の作業の結果を使用して行うので、手順としてはＬ、Ｒのブロック作成可能になった後、ステップＳ７およびＳ８でブロックずれ量および信頼性を演算し、そしてウィンドウ評価（ステップＳ１０）し、相対シフト量を更新する（ステップＳ１１）という手順を踏むことによって、演算量を分散でき、しかも２データ（Ｌ、Ｒのペア）を読み込む毎に左右１ブロック処理できるので、次のブロックは、Ｌ、Ｒが共に１画素となりブロックを処理することによって、相対シフト量が変化しなければ、バッファサイズに変動はない。
【００９３】
また、もっと処理が複雑で１サイクル中にステップＳ７、Ｓ８の処理またはステップＳ１０およびＳ１１の処理を行うことができない場合には、このように２サイクルでステップＳ７、Ｓ８、Ｓ１０およびＳ１１の処理が終了するようにする代わりに、４サイクルでステップＳ７、Ｓ８、Ｓ１０およびＳ１１の処理が終了するようにすれば、１サイクルあたりの演算量を減少させることができる。この場合、サイクルが進むにつれてバッファ量が増大しないようにするために、左右ブロックの選択を、図３６に示すように２サイクル１処理から４サイクル１処理とすることによって、入力されるデータの数と不要になるデータの数が一致するようになるので、バッファ量は増大しない。
【００９４】
次に、前述したようにｎをインクリメントし（ステップＳ９）、以上の作業を画像出力終了まで行う（ステップＳ１２）。但し、厳密には、画像出力が終了してもバッファに情報が残っているのでバッファの情報がなくなるまで処理を続けてもよい。以上の読み出し動作で被写体抽出および被写体像ずれ量が検出されたので、残りの演算等を行う（ステップＳ１３）。
ここで、本発明における主要な処理ステップであるステップＳ７、Ｓ８、Ｓ１０およびＳ１１について詳細に説明する。まず、前提となる変数を以下に列挙する。
【００９５】
Ｓ：相対シフト量
ＢＬ₁ 〜ＢＬ₄ ：Ｌ側ブロック
ＢＲ₁ 〜ＢＲ₄ ：Ｒ側ブロック
例えば、相対シフト量Ｓ＝０の時は、２サイクル処理の場合、ＢＬ₁ 〜ＢＬ₄ はＬ₁ 〜Ｌ₄ 、ＢＲ₁ 〜ＢＲ₄ はＲ₁ 〜Ｒ₄ に対応し、次の処理ではＢＬ₁ 〜ＢＬ₄ はＬ₂ 〜Ｌ₅ に対応しＢＲ₁ 〜ＢＲ₄ はＲ₂ 〜Ｒ₃ に対応する。また相対シフト量Ｓ＝１の時は、ＢＬ₁ 〜ＢＬ₄ がＬ_m 〜Ｌ_m+3 に対応する場合、ＢＲ₁ 〜ＢＲ₄ はＲ_m+1 〜Ｒ_m+4 に対応する。実際には、図３５のようなバッファに対して直接操作するのでＢＬ₁ 〜ＢＬ₄ 、ＢＲ₁ 〜ＢＲ₄ 等の変数のための記憶領域は必要ではない。
【００９６】
Ｌ：ブロックずれ量の算出に使用する変数であり、Ｌ側とＲ側の差の総和
Ｃ：ブロックずれ量の算出に使用する変数であり、画像間の傾きの総和
ｄ：算出したブロックずれ量
ＣＨ₁ 〜ＣＨ₃ ：Ｌ側、Ｒ側の画像間の傾きの大きい方
ＣＬ₁ 〜ＣＬ₃ ：傾きの小さい方
まず、ブロックずれ量検出とブロック信頼性検出について、図３７および図３８を参照して説明する。ブロックずれ量の算出は、図６で説明した方法で行うが、左右４画素ずつ使用した場合、Ｌ側とＲ側の差は４部分あり、画素間の傾きはＬ側３部分、Ｒ側３部分の６部分となるので、整合性をとるため画素間の傾きは中央の２画素のところを２倍することにより、中央部を重点的として８部分とすることでＬ側とＲ側の差を２倍して８部分相当とし、整合をとっている。
【００９７】
まず、図３７のブロックずれ検出では、Ｌ側とＲ側の画素の出力差を４つの部分で求め総和をとる（ステップＳ２１）。次に、画素間の傾きの算出で中央部に相当するＢＬ₃ −ＢＬ₂ およびＢＲ₃ −ＢＲ₂ を２倍して総和をとる（ステップＳ２２およびＳ２３）。これらステップＳ２２およびＳ２３より求めたＬおよびＣより、ブロックずれ量を算出する（ステップＳ２４）。この実施の形態では、Ｌ側とＲ側の差と画素間の傾きの総和を求めて、ブロックずれ量を求めているが各画素について個々に求めてその平均を使用してもよい。
【００９８】
次に、図３８のブロック信頼性検出について説明する。この実施の形態では図７の左右の傾きの比較および図９の傾きの連続性を利用する。まず、左右のブロックの４画素ずつのデータより左右３個ずつの傾きを求め、傾きの大きいほうをＣＨ₁ 〜ＣＨ₃ に、傾きの小さいほうをＣＬ₁ 〜ＣＬ₃ に代入する（ステップＳ３１、Ｓ３２、Ｓ３３）。次に、（ＣＬ）／（ＣＨ）を算出する（ステップＳ３４）。左右の傾きの絶対値が近い場合は、（ＣＬ）／（ＣＨ）は１に近い値となり、異なる場合は０に近付く。よって、（ＣＬ）／（ＣＨ）の大小が信頼性の大小となり、ＣＬ₁ 〜ＣＬ₃ 、ＣＨ₁ 〜ＣＨ₃ で０になったり、符号が異なったりする場合には、連続性が悪いので信頼性Ｈを０とする。
【００９９】
よって、信頼性が高い場合は、Ｈ＝｛（ＣＬ₁ ）／（ＣＨ₁ ）｝＋｛（ＣＬ₂ ）／（ＣＨ₂ ）｝＋｛（ＣＬ₃ ）／（ＣＨ₃ ）｝は３に近付き、低い場合は０となる。
上述した図３７および図３８の処理で求められたブロックずれ量ｄと信頼性Ｈを使用してウィンドウを抽出し、ステップＳ１０のウィンドウ評価とステップＳ１１の相対シフト量の更新について説明する。
【０１００】
まず、使用する変数について説明する。
ＳｄおよびＳＨは、ブロックずれ量ｄおよび信頼性Ｈの結果により加重平均によりウィンドウずれ量を算出するための変数、ｄｏは候補になっている候補ウィンドウの算出されたウィンドウずれ量、Ｋは、被写界深度に相当し、算出されたブロックずれ量と候補ウィンドウずれ量とを比較してＫの範囲かどうかを検討する。Ｗはウィンドウの長さを表し、ＷＬはそのウィンドウを採用するかどうかを決定する定数、ｄｄは採用ウィンドウのウィンドウずれ量、そしてｓｓは採用ウィンドウの相対シフト量である。Ｎは相対シフト量の最大値であり、最至近距離に対応する。
【０１０１】
図３９のウィンドウ評価検出について説明する。
このフローチャートは、図２２の例に基づいて作成した。
まず、新たに算出されたブロックずれが現在の候補ウィンドウに対してどのような値かを判断するため、候補ウィンドウを算出する（ステップＳ４１）。ステップＳ４１では、信頼性Ｈの積算値ＳＨとブロックずれ量の積算値ｓｄとで加重平均して、候補ウィンドウずれ量ｄｏを算出する。次に、信頼性をチェックする（ステップＳ４２）。ステップＳ４２で、信頼性が高いと判定された場合、新たに算出されたブロックずれ量ｄとその時の相対シフト量ｓが、候補ウィンドウずれ量ｄｏに対して、所定範囲Ｋに対して範囲内か範囲外かを判断する（ステップＳ４３）。
【０１０２】
ステップＳ４３において、範囲内と判定された場合は候補ウィンドウの算出のための変数ＳｄおよびＳＨに加算され、ウィンドウの長さを表すｗを増大させる（ステップＳ４４）。ステップ４３において、範囲外の場合は新たに候補ウィンドウを設定するためウィンドウの長さを表すｗをクリアしＳｄ、ＳＨに新たなブロックずれ量ｄと信頼性Ｈを代入する（ステップＳ４５）。
ステップＳ４２で信頼性が低い（小）と判定された場合は、同様に候補ウィンドウと比較し（ステップＳ４６）、範囲外の時は信頼性が少ないデータがたまたま入力された可能性が高いのでこのデータは無視される。
【０１０３】
範囲内の時は信頼性は低いがブロックとしては連続している可能性が高いのでウィンドウの長さｗのみ増加させ、Ｓｄ、ＳＨには算入しない（ステップＳ４７）。ここまでで判断された候補ウィンドウが主要被写体として充分採用できるかどうかを判断し、信頼性は候補ウィンドウの時点で充分に評価されているので主要被写体として充分に足り得る大きさか否か判断するため定数ＷＬと比較する（ステップＳ４８）。主要被写体と判断される場合、主要被写体の像ずれ量ｄｄに代入し、そのときの相対シフト量をＳＳに代入する（ステップＳ４９）。このＳＳは後述の相対シフト量を更新する範囲のリミッタとする。
よって、ウィンドウ評価を画像読み出し終了まで繰り返して、最終的に残った像ずれ量ｄｄが主要被写体と考えられる信頼性および大きさを持った被写体の中で最も近距離の被写体に対応する。
【０１０４】
次に、図４０に示す相対シフト量の更新について説明する。
まず、信頼性値Ｈについてチェックし（ステップＳ５１）、信頼性が低い場合は相対シフト量を更新できないので、このルーチンは終了する。ステップＳ５１で信頼性が高い（大）と判定された場合は、ブロックずれ量ｄをチェックして（ステップＳ５２）、絶対値ｄが１より大きい場合は相対シフト量Ｓを更新する（ステップＳ５３およびＳ５４）。
更新された相対シフト量Ｓをチェックして（ステップＳ５５）、以前に決定している採用ウィンドウの決定時の相対シフト量ＳＳより小さいと判定される場合は、相対シフト量Ｓを相対シフト量ＳＳより小さくならないように制限する（ステップＳ５６）。
【０１０５】
また、ステップＳ５５で、測距連動範囲の０〜ｎ（最至近距離の相対シフト量）より、大きいと判定された場合にも相対シフト量Ｓの更新を制限する（ステップＳ５７）。
このようにすることにより不要な相対シフト量の変動を防ぐ。つまりある一つのウィンドウが採用され、これが採用ウィンドウとなりこのときの相対シフト量ＳＳが決定された後はそのウィンドウより近距離のウィンドウは検出する必要がないからである。
【０１０６】
このように図３２のフローチャートのプログラムをマイクロコンピュータ等を利用して実行することにより、画像出力の読み込みサイクルで主要被写体を抽出演算することができ、低速のＡ／Ｄ変換器を使用したり、転送レートの低いＣＣＤ等の光電変換素子を使用したりしても、そのサイクル中に像ずれ量の演算を行うことができるので、全体のスピードを速くすることができる。また、この実施の形態では一定のバッファを備えるだけで画像データ全体をＲＡＭ（ランダムアクセスメモリ）等の記憶領域に蓄える必要がなく、ＣＣＤの非破壊読み出し等の必要もない。
【０１０７】
また、２つのエリアＣＣＤ等を使用した３Ｄカメラについても、２つのエリアＣＣＤのデータ全体を記憶演算する必要がないので、出力される２つのエリアＣＣＤ出力より３次元被写体情報を本発明により算出し、その３次元情報と２次元画像情報のみ記憶することにより、３次元情報と２次元情報から３次元の画像情報を再現するシステムを容易に実現することができる。
【０１０８】
【発明の効果】
以上述べたように、本発明によれば、広い被写界視野に３次元的に被写体が存在する場合にも、正確に且つ高速に測距視野内の主要な被写体を抽出し、その主要被写体部分の像ずれ量または距離を検出することを可能とする測距装置、撮影装置および背景処理装置を提供することができる。
【０１０９】
請求項１の測距装置は、主要被写体検出部で一対の画像出力を順次処理して主要被写体の距離または像ずれ量を検出している。従来は測距視野を複数に分割してその中で最も近い被写体の存在する測距視野の測距結果にピントを合わせていたのに対し、この測距装置では、主要被写体の像そのものを抽出し、その主要被写体像の像ずれを検出しているので、正確に主要被写体を捕捉し、それ以外の被写体情報を含まない主要被写体のみの被写体情報により像ずれを検出することができ、測距誤差の小さい測距を行うことができる。
【０１１０】
さらに、請求項１の測距装置は、ブロック形成部でブロック化した画像情報を用いて、ブロックずれ検出部でブロックずれを検出し且つ信頼性検出部で信頼性を検出し、さらにウィンドウ評価部で、複数のブロックにわたって信頼性およびブロックずれを評価して、主要被写体の像ずれ量を検出している。この測距装置では、複数のブロックにわたって信頼性およびブロックずれを評価して、像ずれを算出しており、信頼性による加重平均を使用して情報に重み付けをすることも可能であるので、誤差成分を排除した正確な測距を行うことができる。
【０１１１】
また、請求項１の測距装置は、ウィンドウ評価部でブロックの連続性を評価しているので、主要被写体のみを捕捉することができ、撮影者がわざわざ主要被写体を指示する必要もなく、簡単に主要被写体にピントを合わせることができる。
請求項２の測距装置は、画像情報の読み出しサイクル中にマイクロコンピュータ等を使用して演算する。この測距装置は、マイクロコンピュータ等を用いて容易に実現することができ、また演算を読み出しサイクル中に行うことができる方式であるので、測距演算のための演算時間を別途に確保する必要がなく、また全画素データを記憶素子等に記憶保持しておく必要がない。
【０１１４】
請求項３の撮影装置は、複数のウィンドウのブロックずれより、像ずれ量または被写体距離を求め、主要被写体が全て一定の距離に存在しておらず、ある距離範囲内に分布していても、撮影光学系の絞り値または焦点距離を設定することにより、主要被写体全てを被写界深度内に入れることができる。
請求項４の撮影装置は、主要被写体検出部で主要被写体を抽出し、その主要被写体に対応する測距視野範囲を表示することにより、撮影者に検出した主要被写体を知らせることができるので、撮影装置側と撮影者との認識のずれが明確となり、誤測距による撮影を未然に防ぐことができる。
【０１１５】
請求項５の背景処理装置は、主要被写体を抽出してその距離を測距することと、２枚のエリアＣＣＤ等を用いた３Ｄカメラまたはコントラスト法を用いたビデオカメラ等の撮影装置との組合せによって、撮影画面内の全ての部分で部分毎の測距情報を得ることができ、被写体像を主要被写体（と同一）の距離の被写体と、その他の被写体とに分別することができ、主要被写体と同一距離以外の部分の映像信号を加工することで、主要被写体以外の被写体像を電気的な処理によりぼかした映像にすることができる。この背景処理装置では、主要被写体を強調するようなポートレート効果を得ることあるいは主要被写体のみを全体画像から切り出すことが可能となり、撮影後の編集等の加工を容易に行うことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る測距装置の基本的な構成を模式的に示すブロック図である。
【図２】図１の測距装置における主として測距光学系の構成を示す模式図である。
【図３】図１の測距装置における主要被写体検出部の詳細な構成を模式的に示すブロック図である。
【図４】図１の測距装置におけるブロック形成部の詳細な構成を模式的に示すブロック図である。
【図５】図１の測距装置の動作を説明するための画像情報出力の一例を示す図である。
【図６】図１の測距装置の動作を説明するためのブロックずれ検出演算の一例を示す図である。
【図７】図１の測距装置の動作を説明するための信頼性に寄与する左右の傾き特性の一例を示す図である。
【図８】図１の測距装置の動作を説明するための信頼性に寄与するコントラスト特性の一例を示す図である。
【図９】図１の測距装置の動作を説明するための信頼性に寄与する傾きの連続性特性の一例を示す図である。
【図１０】図１の測距装置の動作を説明するためのカメラのファインダ視野と測距視野との関係の一例を示す図である。
【図１１】図１の測距装置の動作を説明するための被写体の一例と測距視野との関係を示す図である。
【図１２】図１の測距装置の動作を説明するための被写体の他の一例と測距視野との関係を示す図である。
【図１３】図１の測距装置の動作を説明するための被写体のその他の一例と測距視野との関係を示す図である。
【図１４】図１の測距装置の動作を説明するための被写体のさらにその他の一例と測距視野との関係を示す図である。
【図１５】図１の測距装置の動作を説明するための被写体のさらなる一例と測距視野との関係を示す図である。
【図１６】図１の測距装置の動作を説明するための被写体のさらなる他の一例と測距視野との関係を示す図である。
【図１７】図１の測距装置の動作を説明するための被写体のさらなるその他の一例と測距視野との関係を示す図である。
【図１８】図１の測距装置の動作を説明するための図１７の被写体を分解して示す図である。
【図１９】図１の測距装置の動作を説明するための図１７の各被写体の測距結果を示す図である。
【図２０】図１の測距装置の動作を説明するための図１７の各被写体の不要部分を除去した測距結果を示す図である。
【図２１】図１の測距装置におけるウィンドウ評価部の詳細な構成を模式的に示すブロック図である。
【図２２】図１の測距装置における信頼性とブロックずれ量と信頼性との関係を説明するための図である。
【図２３】図１の測距装置におけるウィンドウ評価部の他の詳細な構成を模式的に示すブロック図である。
【図２４】図１の測距装置における演算時間と、従来の演算時間との関係を説明するための図である。
【図２５】図１の測距装置におけるブロックずれ検出を説明するための図である。
【図２６】図１の測距装置における相対シフトの一例を説明するための図である。
【図２７】図１の測距装置における相対シフトの他の一例を説明するための図である。
【図２８】図１の測距装置における相対シフトのその他の一例を説明するための図である。
【図２９】図１の測距装置における測距原理の詳細を説明するための図である。
【図３０】図１の測距装置における測距原理の詳細を説明するための図である。
【図３１】図１の測距装置における測距原理の詳細を説明するための図である。
【図３２】図１の測距装置における主要被写体検出部の他の詳細な構成を模式的に示すブロック図である。
【図３３】図１の測距装置における測距原理の詳細を説明するための図である。
【図３４】図１の測距装置における測距動作を詳細に説明するためのフローチャートである。
【図３５】図１の測距装置における測距動作を詳細に説明するための模式図である。
【図３６】図１の測距装置における測距動作を詳細に説明するための模式図である。
【図３７】図１の測距装置におけるブロックずれ検出を詳細に説明するためのフローチャートである。
【図３８】図１の測距装置におけるブロック信頼性検出を詳細に説明するためのフローチャートである。
【図３９】図１の測距装置におけるウィンドウ評価検出を詳細に説明するためのフローチャートである。
【図４０】図１の測距装置における相対シフト量の更新を詳細に説明するためのフローチャートである。
【符号の説明】
１画像検出部
１Ｌ，１Ｒ光電変換素子列
２主要被写体検出部
３Ｌ，３Ｒ測距光学系
２１ブロック形成部
２２ブロックずれ検出部
２３信頼性検出部
２４ウィンドウ評価部
２５，５１Ａ／Ｄ（アナログ−ディジタル）変換器
２６，２７バッファ
２８ブロック選択部
３１連続性チェック部
３２ブロックカウンタ
３３ウィンドウ演算部
３４候補ウィンドウずれ量格納部
３５採用ウィンドウずれ量格納部
４１ローパスフィルタ
４２アナログゲート
４３レベル判定部
５２ＣＰＵ（中央処理部）

Claims

基線長を存して配設される左右一対の測距光学系と、
前記一対の測距光学系により形成される被写体光学像をそれぞれ光電変換する左右一対の光電変換素子列を有し、これら一対の光電変換素子列で光電変換される一対の画像情報を、左右の各光電変換素子列の端部より順次出力する画像情報検出部と、
前記画像情報検出部からの左右一対の画像情報出力を順次処理して主要被写体を検出し、主要被写体の像ずれ量を検出する主要被写体検出部と、を具備し、
前記主要被写体検出部は、
与えられる一対の画像情報をそれぞれ複数のブロックに分割するとともに、該一対の画像情報ブロック列を相対的にシフト可能なブロック形成部と、
前記ブロック形成部により相対的にシフトされた前記一対の画像情報ブロックのブロックずれを検出するブロックずれ検出部と、
前記ブロック形成部から出力される前記一対の画像情報ブロックの信頼性評価情報を検出する信頼性検出部と、
前記ブロックずれ検出部および前記信頼性検出部の出力より複数の画像情報ブロックにわたって前記一対の画像情報の相対的なブロックずれおよび信頼性を評価して、前記一対の画像情報における主要被写体の像ずれおよび該主要被写体までの距離の少なくとも一方を検出するウィンドウ評価部とを含み、
前記ウィンドウ評価部は、与えられた相対シフト量およびブロック信頼性評価情報に基づき、所定範囲の被写体距離内にある複数のブロックを連続したブロックとして検出し、所定長さで連続する連続ブロックのうち最も近距離に対応する連続ブロックを検出することによって、前記主要被写体を検出する手段を含むことを特徴とする測距装置。
前記主要被写体検出部は、前記画像情報検出部からの画像読み出しサイクル中に主要被写体およびその像ずれ量の検出のための演算処理を行うマイクロコンピュータを含むことを特徴とする請求項１に記載の測距装置。
請求項１に記載した測距装置を備え、且つ前記主要被写体検出部により抽出される複数のウィンドウのブロックずれ量から算出される複数の距離が被写界深度内に入るように絞り値および焦点距離の少なくとも一方を設定する深度調整手段を含むことを特徴とする撮影装置。
前記請求項１に記載した測距装置を備え、且つ前記主要被写体検出部により抽出されるウィンドウに対応する測距視野範囲を表示する測距視野表示手段を含むことを特徴とする撮影装置。
前記請求項１に記載した測距装置を備え、且つ前記主要被写体検出部により抽出された主要被写体とは異なる距離領域に相当する被写体の画像情報を電気的にぼかす手段をさらに含むことを特徴とする背景処理装置。