JP7224840B2 - 撮像装置及び撮像装置の制御方法 - Google Patents

Description

本発明は、デジタルカメラやデジタルビデオカメラ、車載センサデバイス、ロボットビジョンセンサデバイス等に用いられる測距機能を有する撮像装置及び撮像装置の制御方法に関するものである。

撮像装置において、視差のある（異なる視点から撮像された）画像信号に基づいて被写体のデフォーカス状態、あるいは撮像装置から被写体までの距離（以降、被写体距離と呼ぶ）などの距離情報を取得できる測距機能を備えたものが提案されている。

ＷＯ２０１０／０１０７０７

このような測距機能を有する撮像装置では、熱でレンズや鏡筒が膨張・収縮することなどに依って光学系と撮像素子との関係がずれ、測距誤差が発生する場合がある。特許文献１では、温度センサにより検知した温度を用いて、これらの測距誤差を補正する補正係数を作成している。しかし、特許文献１では温度センサが別途必要なことと、温度センサ近辺の温度しかわからないことから、センサ面上あるいはレンズの温度に分布（ばらつき）がある場合に温度変化を正確に検出できず、測距誤差を精度良く補正できない場合がある。

上記課題に鑑み、本発明は、撮像素子から得られる異なる複数の視点の画像から距離情報を生成する距離情報生成装置であって、経時的な誤差の影響を低減することが可能な距離情報生成装置を提供することを目的とする。

上記課題に鑑み、本発明の距離情報生成装置は、距離情報を取得する取得手段と、
画像信号を用いて既知の形状の被写体を検出する検出手段と、前記検出手段により検出された被写体の形状に基づいて、前記距離情報を補正するための補正パラメータを生成する生成手段と、前記生成手段で生成された補正パラメータを用いて前記取得手段で取得された距離情報を補正する補正手段と、有し、前記生成手段は、前記取得手段で取得された距離情報が物体距離においてなす形状が、前記検出手段で検出された被写体がなす既知の形状に近づくように前記補正パラメータを生成することを特徴とする。
また、本発明の距離情報生成方法は、画像信号を用いて既知の形状の被写体を検出する検出ステップと、前記検出ステップにて検出された被写体に対応した距離情報を前記第１の取得ステップにて取得された距離情報から取得する第２の取得ステップと、 前記第２の取得ステップにて取得された距離情報と前記検出ステップにて検出された被写体の形状とに基づいて、前記第２の取得ステップにて取得された距離情報を補正するための補正パラメータを生成する生成ステップと、前記生成ステップにて生成された補正パラメータを用いて前記第２の取得ステップにて取得された距離情報を補正する補正ステップと、
有し、前記生成ステップでは、前記第２の取得手段で取得された距離情報が物体距離においてなす形状が、前記検出手段で検出された被写体がなす既知の形状に近づくように前記補正パラメータを生成することを特徴とする。

本発明によれば、被写体の奥行き方向の位置を示す距離情報を測定する機能を有する撮像装置において、経時的な誤差の影響を低減することが可能となる。

第１の実施形態に係る撮像装置を表す図 第１の実施形態に係る撮像装置の撮像素子部を表す図 第１の実施形態に係る撮像装置の撮像状態を表す図 第１の実施形態に係る画像処理装置及びその処理を表す図 第１の実施形態に係る既知形状抽出部を表す図 第１の実施形態に係る距離情報抽出部と像側変化量算出部を表す図 第２の実施形態に係る撮像装置の撮像素子部を表す図 第２の実施形態に係る画像処理装置及びその処理を表す図 第３の実施形態に係る撮像装置及び撮像素子部を表す図 第５の実施形態に係る撮像装置及び判定部を表す図

＜第１の実施形態＞
以下、図を参照しながら本発明の第１の実施形態について詳細に説明する。以下の説明では、本実施形態の距離情報生成装置を備えた撮像装置の一例として、デジタルカメラを用いて説明するが、本発明の適用はこれに限定されるものではない。尚、図を参照した説明においては、図番は異なっても原則として同一部位を示す部位には、同一の符号を付すこととし、なるべく重複した説明は避ける。

＜デジタルカメラの構成＞
図１（ａ）は、本実施形態によるデジタルカメラ１００の構成例を示すブロック図である。図１（ａ）において、レンズユニット２００は、交換可能な撮影レンズを搭載するレンズユニットである。結像光学系２０１はフォーカスレンズ、ズームレンズを含めた複数枚のレンズ、絞りを含む。レンズシステム制御部２０２は、結像光学系２０１の駆動を駆動回路２０３を介して制御し、通信端子２０５を介して本体であるデジタルカメラ１００と通信を行う。デジタルカメラ１００には、レンズＩＤや現在の撮影条件（フォーカスポジション、ズームポジション、絞り値など）などのレンズの状態を送信する。通信端子１１１はデジタルカメラ１００がレンズユニット２００側と通信を行う為の通信端子である。また、レンズシステム制御部２０２は通信端子２０５，通信端子１１１を介してデジタルカメラ１００のシステム制御部１０２と通信し、駆動回路２０３を介してフォーカスポジション、ズームポジション、絞りの制御を行う。

シャッター１０４は、システム制御部１０２の制御で撮像部１０１の露光時間を自由に制御できるフォーカルプレーンシャッターである。

撮像部１０１は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子を有する。撮像素子１０１０は、複数のマイクロレンズを有し、各マイクロレンズには複数の光電変換素子が割り当てられる。すなわち、各マイクロレンズ下の各光電変換素子には結像光学系２０１を含む結像光学系の射出瞳２０４における異なる瞳領域からの光束がそれぞれ入射される。これにより各マイクロレンズ下の各光電変換素子から得られる信号は互いに視差を有する、異なる視点からの信号となる。撮像部１０１はＡ／Ｄ変換器を含む。撮像素子１０１０から得られるアナログ信号をデジタル信号に変換する。撮像素子１０１０はＡ／Ｄ変換器を同一チップに一体に備えていてもよい。

画像処理部１０３は、Ａ／Ｄ変換器からのデータ、又は、メモリ１０４からのデータに対し、各種の画像処理を行う。具体的には、撮像する装置に起因する画素欠陥などの補正処理や、デモザイキング処理、ホワイトバランス補正処理、ガンマ補正処理などを含む現像処理、色変換処理、符号化・圧縮処理などを行う。本実施形態では、現像処理は上記の処理の少なくとも一部を含む処理を指し、これらの現像処理が行われていない画像のためのデータをＲＡＷデータとする。また、特に本実施形態では、画像処理部１０３は、距離情報生成部１１０を含み、距離情報生成部１１０では、撮像素子１０１０から得られた複数の視点画像間の位相差に基づいた像ずれ量の算出を行う。算出された像ずれ量は画像内の被写体の、奥行き方向の相対的な位置関係を示す深度情報であり、必要に応じて、撮像素子１０１０や結像光学系２０１に起因する係数（Ｋ値）を用いてデフォーカス量、さらには被写体距離の深度情報に換算することができる。画像処理部１０３の利用する深度情報としてはこれに限らず、何らかの別の手段で生成、取得された深度情報を用いて各種画像処理を行ってもよい。

また、画像処理部１０３では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部１０２が露光制御、測距制御を行う。画像処理部１０３では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＡＷＢ（オートホワイトバランス）処理も行っている。

撮像部１０１からの出力データは、画像処理部１０３を介して、或いは直接メモリ１０４に書き込まれる。メモリ１０４は、撮像素子１０１０によって得られ撮像部１０１のＡ／Ｄ変換器によりデジタルデータに変換された画像データや、表示制御部１０６を介して表示部１０７に表示するための画像データを格納する。メモリ１０４は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

また、表示制御部１０６は、撮像部１０１から出力されメモリ１０４に書き込まれる画像データを表示部１０７に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示（ライブビュー表示）を行える。

メモリ１０４は、電気的に消去・記録可能なメモリも含む。例えばＥＥＰＲＯＭ等が用いられる。

また、システム制御部１０２は内部にメモリを搭載し、動作用の定数、プログラム等が記憶される。ここでいうプログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部１０２は、少なくとも１つのプロセッサーを有する制御部であり、デジタルカメラ１００全体を制御する。システム制御部１０２内に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。以下で説明する各種動作を示すフローチャートにおける各フローは、いずれもシステム制御部１０２あるいはシステム制御部１０２からの指示によりデジタルカメラ１００内の各部が実行するものである。

操作部１０５は、デジタルカメラ１００（システム制御部１０２）及びレンズユニット２００（レンズシステム制御部２０２）に、ユーザーの意図に応じて操作の指示を受付させるための操作入力手段である。本実施形態では、具体的にモード切替スイッチ、第１シャッタースイッチ、第２シャッタースイッチ、表示部１０７の画面と一体に形成されたタッチパネルなどを含む。モード切替スイッチは、システム制御部１０２の動作モードを静止画記録モード、動画撮影モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード（Ａｖモード）、シャッター速度優先モード（Ｔｖモード）がある。また、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。

第１シャッタースイッチは、デジタルカメラ１００に設けられたシャッターボタンの操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。

第２シャッタースイッチは、シャッターボタンの操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部１０２は、第２シャッタースイッチ信号ＳＷ２により、撮像部１０１からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。

また、操作部１０５の有するタッチパネルでは、表示部１０７に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部１０７に表示される。利用者は、表示部１０７に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。

さらに操作部１０５は、ユーザからの操作を受け付ける入力部としての各種操作部材を有する。操作部１０５には、少なくとも以下の操作部が含まれる。メイン電子ダイヤル、電源スイッチ、サブ電子ダイヤル、十字キー、ＳＥＴボタン、ＬＶボタン、拡大ボタン、縮小ボタン、再生ボタン。

振れ検出部１０８は加速度センサーとジャイロセンサーを含み、重力方向に対するデジタルカメラ１００の姿勢を検知するとともに、振れを検出する。振れ検出部１０８で検知された姿勢に基づいて、撮像部１０１で撮影された画像が、デジタルカメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像なのかを判別可能である。

また、システム制御部１０２は、振れ検出部１０８で検出された振れ量に基づいて結像光学系２０１あるいは撮像素子１０１０を駆動して画像の振れを防ぐ光学防振を行う。さらに、システム制御部１０２は、画像信号を用いて画像信号間の像の振れ（回転振れ、あおり、ロール振れ、ピントブレ等）を検出し、画像信号を切出し、幾何変形することで画像の振れを低減する電子防振を行う。必要に応じてこれらの光学防振と電子防振は併用される。

なお、本実施形態では、撮像部１０１によって時系列に撮像された複数の画像信号から画像処理部１０３により複数の距離情報を算出する。このときに、振れ検出部１０８あるいはシステム制御部１０２で画像信号より検出された振れの情報を、距離情報を幾何変形などによって補正する補助情報として用いてもよい。また画像処理部１０３で算出された複数の距離情報は、画像処理部１０３で行われる被写体の奥行きに応じた背景ぼかしやリライティングなどの画像処理に用いられる。また距離情報は、システム制御部１０２及びレンズシステム制御部２０２により、通信端子２０５，通信端子１１１を介して駆動回路２０３を用いたフォーカス（ピント位置の自動調整）、ズーム（ズーム位置の自動調整）、絞りの制御に用いられる。

図１（Ｂ）は、撮像素子１０１０のｘｙ断面図である。撮像素子１０１０は、２行×２列の撮像画素群１５０と、２行×２列の測距用画素群１６０とを、複数配列することで構成される。撮像画素群１５０は、対角方向に緑画素１５０Ｇ１と１５０Ｇ２、他の２画素に赤画素１５０Ｒと１５０Ｂが配置され構成される。撮像画素群１５０は、青・緑・赤の３つの色情報を含む検出用画像信号（第３の画像信号）を出力する。ただし、上記３つの色情報が必須ではない。例えば補色となる信号や近赤外情報等が取得できるような構成や色情報を持たない輝度情報のみの構成でも構わない。以下では実例として、青・緑・赤の３つの色情報のケースについてのみ説明するが、他の色情報を用いても同様に考えることができる。測距用画素群１６０は、対角方向に第１測距用画素１６１が配置され、他の２画素に第２測距用画素１６２が配置され構成される。測距用画素群１６０が備える第１の測距用画素１６１と第２の測距用画素１６２は、測距用の画像信号である第１の画像信号と第２の画像信号を出力する。本実施形態では第１及び第２の画像信号は測距用途で用いられるため、測距用画素としているが、その用途は測距に限られず、被写体検出や露出制御などに用いてもよい。また本実施形態では、検出用画像信号用画素と測距用信号画素は別の画素となっているが、測距用画素にカラーフィルタを置き、検出用画像信号と測距用画像信号を兼ねることも可能である。

図２（Ａ）は、撮像用画素群１５０のＩ－Ｉ’断面を模式的に示した図である。各画素は導光層１５４と受光層１５５から構成される。導光層１５４には、画素へ入射した光束を光電変換部へ効率良く導くためのマイクロレンズ１５１、所定の波長帯域の光を通過させるカラーフィルタ１５２、画像読み出し用及び画素駆動用の配線（不図示）などが配置される。カラーフィルタ１５２は、青、緑、赤の３種類からなり、青画素１５０Ｂ、緑画素１５０Ｇ１及び１５０Ｇ２、赤画素１５０Ｒの分光感度は図２（Ｂ）に示す特性を有する。受光層１５５には、受光した光を光電変換するための光電変換部１５３が配置される。図２（Ｃ）は、測距用画素群１６０のＪ－Ｊ’断面を模式的に示した図である。受光層１５５には、光電変換部１５３が配置される。導光層１６４は、画素へ入射した光束を光電変換部へ効率良く導くためのマイクロレンズ１５１、光電変換部１５３に入射する光を制限するための遮光部１６３、画像読み出し用及び画素駆動用の配線（不図示）などが配置されている。測距用画素群１６０には、受光量を増やすためにカラーフィルタが配置されていない。第１測距用画素と第２測距用画素の分光感度は、光電変換部１５３の分光感度と赤外カットフィルタ―の分光感度を掛け合わせた分光感度特性となる。図２（Ｄ）は第１測距用画素と第２測距用画素の分光感度を示しており、青画素１５０Ｂと緑画素１５０Ｇ１と赤画素１５０Ｒの分光感度を加算したような分光感度を有する。

＜撮像面位相差測距方式の原理＞
本実施形態の撮像素子１０１０が備える第１の測距用画素１６１及び第２の測距用画素１６２が受光する光束について、図３（Ａ）を用いて説明する。

図３（Ａ）は、結像光学系２０１の射出瞳２０４と、撮像素子１０１０中の第１の測距用画素１６１および第２の測距用画素１６２について示した概略図である。図３（Ａ）に示したマイクロレンズ１５１は、射出瞳２０４と受光層１５５とが光学的に共役関係になるように配置されている。結像光学系１３０の射出瞳２０４を通過した光束は、マイクロレンズ１３０により集光されて光電変換部１５３に導かれるが、一部の光は導光層１６４内の遮光部１６３により遮られる。その結果、図３（Ａ）に示す通り、第１測距用画素１６１が備える光電変換部１５３は射出瞳２０４内の第１の瞳領域３１０を通過した光束を主に受光する。また、第２測距用画素が備える光電変換部１５３は射出瞳２０４内の第２の瞳領域３２０を通過した光束を主に受光する。

撮像素子１０１０が備える複数の第１の測距用画素１６１は、第１の瞳領域３１０を通過した光束を主に受光し、第１の画像信号を出力する。また同時に、撮像素子１０１０が備える複数の第２の測距用画素１６２は、第２の瞳領域３２０を通過した光束を主に受光し、第２の画像信号を出力する。第１の画像信号から第１の瞳領域３２０を通過した光束が、撮像素子１０１０上に形成する像の強度分布を得ることができる。また第２の画像信号から第２の瞳領域３２０を通過した光束が、撮像素子１０１０上に形成する像の強度分布を得ることができる。

第１の画像信号と第２の画像信号間の相対的な像の位置ズレ量（いわゆる視差量）は、デフォーカス量に応じた値となる。視差量とデフォーカス量の関係について、図３（Ｂ）、３（Ｃ）、３（Ｄ）を用いて説明する。図３（Ｂ）、３（Ｃ）、３（Ｄ）は本実施形態の撮像素子１０１０、結像光学系２０１について示した概略図である。図中の符号３１１は第１の瞳領域３１０を通過する第１の光束を示し、符号３２１は第２の瞳領域３２０を通過する第２の光束を示す。

図３（Ｂ）は合焦時の状態を示しており、第１の光束３１１と第２の光束３２１が撮像素子１０１０上で収束している。この時、第１の光束３１１により形成される第１の画像信号と第２の光束３２１により形成される第２の画像信号間の視差量は０となる。図３（Ｃ）は像側でｚ軸の負方向にデフォーカスした状態を示している。この時、第１の光束により形成される第１の画像信号と第２の光束により形成される第２の画像信号間の視差量は０とはならず、負の値を有する。図３（Ｄ）は像側でｚ軸の正方向にデフォーカスした状態を示している。この時、第１の光束により形成される第１の画像信号と第２の光束により形成される第２の画像信号間の相対的な位置ズレ量は０とはならず、正の値を有する。

図３（Ｃ）と図３（Ｄ）の比較から、デフォーカス量の正負に応じて、位置ズレの方向が入れ替わることが分かる。また、デフォーカス量に応じて、結像光学系の結像関係（幾何関係）にしたがった位置ズレが生じることが分かる。第１の画像信号と第２の画像信号間の位置ズレである視差量は、後述する領域ベースのマッチング手法により検出することができる。

＜距離情報生成部１１０の説明＞
本実施形態の画像処理部１０３に含まれる距離情報生成部について説明する。図４（Ａ）は、本実施形態の距離情報生成部１１０の概要構成を表すブロック図であり、図４（Ｂ）は距離情報生成部１１０の動作を示すフローチャート及び図４（Ｃ）はＳ４４０の距離情報補正処理を示すフローチャートである。

距離情報生成部１１０は、被写体検出部４１０にて被写体情報Ｉｓｉを生成する。距離情報生成部４１１にて距離情報Ｉｒｄを生成し、被写体情報Ｉｓｉと距離情報Ｉｒｄを合わせ、抽出部４１２にて検出した既知の形状の被写体に対応した距離情報Ｉｓｐを抽出する。距離情報補正部４１３にて被写体に対応した距離情報Ｉｓｐを用いて距離情報Ｉｒｄを補正し、補正距離情報Ｉｃｄを生成する。

以下では、被写体検出部４１０、距離情報生成部４１１、抽出部４１２、距離情報補正部４１３にて行う処理内容について説明する。

被写体検出部４１０は、撮像素子１０１０またはメモリ１０４のいずれかから、検出用画像信号Ｓ１を取得し、被写体検出処理Ｓ４１０により被写体情報Ｉｓｉを生成する。被写体検出処理Ｓ４１０の一例を、図５を用いて説明する。図５（Ａ）の画像全体は、取得された検出用画像信号Ｓ１の画像を表している。被写体検出処理Ｓ４１０では検出用画像信号Ｓ１から既知の形状の被写体部の画素位置を検出する。既知形状の被写体として初めに線分の抽出について説明する。線分抽出の方法はどのような形でも構わないが、一例として、検出用画像信号Ｓ１において、結像光学系２０１の歪曲収差が補正されているとし、ハフ変換を用いて検出用画像信号Ｓ１から線分の抽出を行うことができる。歪曲補正された輝度画像上で直線となっているものは三次元空間上でも直線となっている可能性が高く、既知の形状として考えることができる。図５（Ｂ）では道路路側帯の一部を抽出された線分として表示している（点線部）。図５（Ｂ）では一つの線分を示しているが、後述する像側変化量が複数の場合やよりロバスト性を高める場合には複数の線分を抽出する。また選択する線分は像側変化量の推定時に直線性を評価するため、画面内でより長い線分（抽出画素数がより多い）かつ奥行差がより大きくなる線分が望ましい。さらに後述する距離情報生成部で得られる距離情報の信頼度が高い画素がより多い線分が良い。続いて、既知形状の被写体として平面部やその他オブジェクトの抽出について説明する。一例としてセマンティックセグメンテーションが用いられる。検出用画像信号Ｓ１内の既知の形状部の認識とその領域の抽出を行う方法である。様々な手法があるが事前にデータベースから学習し、識別する手法が主流である。近年では深層学習を用いて高精度な識別が行われる。図５（Ｃ）では白線、図５（Ｄ）では標識を認識した場合の一例である（どちらも網掛けで表示されている）。白線や標識はそのサイズ等が決まっているためにそれらの情報も補正処理に用いることができる。その他路面や人や車、また室内であれば壁や床といった形状が既知のものであれば既知形状の被写体としてはどのようなものでも構わない。また線分検出時と同様に画面内でより抽出される画素数が多くかつ奥行差がより大きく、距離情報の信頼度がより高い被写体を選択するのがよい。これらの抽出される画素数、奥行き差の大きさ、信頼度の指標について予め所定の基準を設けておきそれらの基準を超えたものから補正のための情報を得るようにしてもよい。

距離情報生成部４１１は、撮像素子１０１０または画像信号格納部のいずれかから、第１の画像信号Ｓ２と第２の画像信号Ｓ３を取得する。距離情報生成処理Ｓ４２０により被写体距離を表す距離情報Ｉｒｄを生成する。以下では、距離情報Ｉｒｄとしてデフォーカス量を生成するとし、距離情報生成処理Ｓ４２０内の具体的な処理内容について図４（Ｃ）を用いて説明する。

Ｓ４２１では、距離情報生成部４１１が、第１の画像信号Ｓ２と第２の画像信号Ｓ３の光量補正を行う。結像光学系２０１の周辺画角（像高の高い領域）ではヴィネッティングにより、第１の瞳領域３１０と第２の瞳領域３２０の形状が異なることに起因して、第１の画像信号Ｓ２と第２の画像信号Ｓ３間で光量バランスが崩れる。Ｓ４２１では、情報格納部１７０に格納された光量補正値を用いて、第１の画像信号Ｓ２と第２の画像信号Ｓ３の光量補正を行う。なお、必ずしも情報格納部に格納された光量補正値を用いる必要はなく、例えば、Ｓ４２１にて第１の瞳領域３１０と第２の瞳領域３２０の面積比から光量補正値を生成したのち、光量補正を行っても構わない。また、ヴィネッティングの影響が小さい光学系や、像高の低い画角の中央付近の領域では、上記光量補正を行わない場合も考えられる。

Ｓ４２２では、撮像素子１０１０にて付加されたノイズを低減するための処理を行う。具体的には、第１の画像信号Ｓ２と第２の画像信号Ｓ３に対して、バンドパスフィルタを用いたフィルタ処理を行う。一般に、空間周波数が高い高周波領域ほど、ＳＮ比（信号成分とノイズ成分の比）が低くなり、相対的にノイズ成分が多くなる。従って、高周波になるほど通過率が低くなるいわゆるローパスフィルタを用いることができる。なお、Ｓ４２１における光量補正は、結像光学系２０１の製造誤差などにより設計値通りになるとは限らない。そのため、さらに直流成分（空間周波数＝０となる成分）の通過率＝０となり、且つ高周波成分の通過率が低いバンドパスフィルタを用いることが望ましい。

Ｓ４２３では、距離情報生成部４１１が、第１の画像信号Ｓ２と第２の画像信号間Ｓ３の像の位置ズレ量（視差量）を算出する。具体的には、距離情報生成部４１１は、第１の画像信号Ｓ２内に、代表画素情報Ｉｓｐに対応した注目点を設定し、注目点を中心とする照合領域を設定する。照合領域は、例えば、注目点を中心とした一辺が所定画素の長方形である。また変形しても構わない。距離情報生成部４１１は、次に第２の画像信号Ｓ３内に、参照点を設定し、参照点を中心とする参照領域を設定する。参照領域は照合領域と同一の大きさおよび形状である。距離情報生成部４１１は、参照点を順次移動させながら照合領域内に含まれる第１の画像信号Ｓ２と、参照領域内に含まれる第２の画像信号Ｓ３間の相関度を算出し、最も相関が高い参照点を注目点に対応する対応点とする。注目点と対応点間の相対的な位置のズレ量が、注目点における視差量である。距離情報生成部４１１は、注目点を代表画素情報Ｉｓｐに従って順次変更しながら視差量を算出することで、複数の画素位置における視差量を算出することができる。相関度の算出方法としては公知の手法を用いることができる。例えば、画像信号間の正規化相互相関を評価するＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ－Ｃｏｒｒｅｌａｔｉｏｎ）と呼ばれる手法を用いても良い。また、画像信号間の差の二乗和を評価するＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）を用いることが出来る。さらに、差の絶対値和を評価するＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）でもよい。これらの相関度を用いた手法の場合には各画素ブロックのテクスチャ量や周波数成分情報を用いて、算出距離情報の信頼度を生成することができる。これは被写体検出の選定に利用される。被写体検出時に距離情報の信頼度を生成する場合には、距離情報生成処理Ｓ４２０を被写体検出処理Ｓ４１０の前に行っても良い。

Ｓ４２４では、距離情報生成部４１１が、所定の変換係数を用いて視差量を撮像素子１０１０から結像光学系２０１の焦点までの距離であるデフォーカス量へ変換する。所定の変換係数をＫ、デフォーカス量をΔＬ、視差量をｄとしたとき、下記式（１）により視差量ｄをデフォーカス量ΔＬに変換することができる。

ΔＬ＝Ｋ×ｄ・・・（１）
Ｓ４２０の距離情報生成処理を複数の画素位置にて行うことで、複数の画素位置のデフォーカス量をデフォーカスマップとして含む距離情報Ｉｒｄを生成することができる。

Ｓ４２５では、必要に応じて距離情報Ｉｒｄの既知の誤差に対する補正を行う。特に経時的に変化しない誤差要因に関する補正処理を行う。経時的に変化しない誤差要因に関しては多くの原因が存在するため、以下に記載した内容以外の補正処理を行ってもよい。

ここでは設計起因誤差、計算起因誤差、被写体起因誤差、製造組立誤差について説明する。設計起因誤差は特に光学設計時の像面湾曲やヴィネッティングや各種収差による画角内で変化してしまう誤差である。これらは設計データから補正を行うことができる。例えば各物体距離・各画角において補正データを設計データからあらかじめ計算しておくことができる。計算起因誤差は前述したＳ４２１～Ｓ４２４で発生する誤差である。これらは可能な限り各ステップ内で高精度化するが残存誤差に関しては例えば距離情報の空間的なフィルタリング処理により、ばらつき誤差を削減することができる。被写体起因誤差は被写体のコントラストや色に依って発生する誤差である。これらは検出用画像信号Ｓ１に合わせ、設計情報に従って補正する必要がある。例えば結像光学系の軸上色収差の影響により、被写体の色に従ってデフォーカス量ΔＬは変化する。製造組立誤差は製造組立時に発生するものであり、各個体に依って異なる。そのため補正には実際に撮像するなどして個体毎に補正データを生成する。

抽出部４１２は被写体情報Ｉｓｉに対応した距離情報を距離情報Ｉｒｄから抽出する。前述したように既知の形状であれば被写体情報Ｉｓｉはどのような情報でも構わないが、ここでは線分抽出した結果について代表して説明する。図６（Ａ）は距離情報生成部４１１で生成された距離情報Ｉｒｄの一例である。距離情報ＩｒｄはでＳ４２４で説明したようにデフォーカス量ΔＬである。このデフォーカス量ΔＬから物体距離情報に変換するには、幾何光学におけるレンズの公式から計算することができる。

Ａ：物面から結像光学系２０１の主点までの距離
Ｂ：結像光学系２０１の主点から像面までの距離
Ｆ：結像光学系２０１の焦点距離
式（２）において、Ｂの値がデフォーカス量ΔＬより算出でき、焦点距離は既知であるため、物面までの距離Ａが算出できる。

ここで、図５（Ｂ）のように検出用画像信号Ｓ１から線分（既知の形状の被写体）を抽出した場合には同等の位置に相当する物体距離情報（被写体対応距離）を抽出・算出する（Ｓ４３０、図６（Ａ）の点線部）。もし経時的な誤差がなければカラー画像Ｓ１における空間的な位置に対する距離変化を表すグラフは図６（Ｂ）の（ｉｉ）のように線分となる。しかし、熱や振動等の影響により経時的な誤差が発生し、例えば結像光学系２０１と撮像素子１０１０のｚ方向の間隔が変化した場合には図６（Ｂ）の（ｉ）や（ｉｉｉ）のように線分とならない。そのため補正しない場合大きな誤差となってしまう。これは数２において結像光学系２０１の想定像面位置と実際の撮像素子位置に差が生じていることでデフォーカスと物体距離の変換関係が崩れたことにより発生する。この結像光学系と撮像素子の位置関係の変化に起因して像側で変化した量を像側変化量と呼ぶことにする。像側変化量が生じた場合でも数２には従うため、その関係性が線分となるのは正しく誤差量を推定し、それを基に補正された物体距離が算出された場合と考えられる。この関係を利用してＳ４４０では被写体に対応する距離情報から像側変化量を推定し、全体の距離情報を補正する。ここでは像側変化量として想定像面位置と撮像素子位置のｚ軸方向の変動量（シフト成分）を例に説明したが、既定位置からのｘ軸、ｙ軸方向の差分や、既定位置からのｘ，ｙ，ｚ軸回転量（回転成分）を像側変化量としても構わない。また結像光学系の面間隔、面形状、屈折率が変化することによる結像位置の変化（焦点距離の変化、主点位置の変化等）も像側変化量としても良い。またセンサの歪み等の一次成分で表現できない像高による変化を考慮しないことによって、計算量が少なく安定した結果を得ることができる。

考慮する像側変化量の変数に応じて、検出する既知の形状の被写体の数を複数にする必要が生じる。また像側変化量が１つだとしても複数の既知の形状の被写体の距離情報に基づいて推定しても構わない。これにより、Ｓ４４０の像側変化量の推定において精度及びロバスト性を高めることができる。

距離情報補正部４１３は図４（Ｂ）の距離情報補正処理Ｓ４４０にて、被写体に対応した距離情報Ｉｓｐから像側変化量を推定し、距離情報Ｉｒｄを補正することで補正距離情報Ｉｃｄを得る。距離情報補正処理Ｓ４４０内の具体的な処理内容は図４（Ｄ）を用いて説明する。

Ｓ４４１では推定した像側変化量（初期値は０）を用いて補正された距離情報から換算された物体距離情報の既知形状に対する適合度を評価する。すなわち、既知の形状の被写体に対応する距離情報が物体距離において為す形状を検出された被写体が為す形状と比較する。ここでの形状とは例えばｘ、ｙ、ｚ空間の三次元空間上における点の集合である。ここでは前述と同様に像側変化量が一つで既知の形状の被写体として線分を抽出した場合について説明する。図６（Ｂ）において、（ｉ）や（ｉｉｉ）の状態から像側変化量を推定し（ｉｉ）のようにするのが目標となる。ここで適合度は補正された距離情報から換算された物体距離情報がどれだけ既知の形状（ここでは線分）であるかを示す指標とする。適合度を算出する方法はどのような方法でも構わないが、例えば図６（Ｃ）のように（ｉ）や（ｉｉｉ）のようなデータがあったとし、そのデータに対し線分フィッティングを行い（図６（Ｃ）中の細線）、その直線性を評価する。具体的には、その線分と近距離側及び遠距離側のデータを比較することで（図６（Ｃ）中の点線の〇）、その大小関係から上に凸の曲線か下に凸の曲線かを判断できる。その状態を適合度とすることができる。線分以外の既知形状の場合には既知の形状のフィッティングを行い、特徴的な周辺のデータで同様に適合度を得ることができる。また複数の線分または既知形状がある場合には複数のデータでの適合度を算出する。またフィッティングデータとの比較では近距離側または遠距離側の一点でも構わないが、距離情報Ｉｒｄは誤差を含んでいる可能性があるため、複数の点を用いて適合度を判断することが望ましい。

Ｓ４４２では、推定した像側変化量によって補正された距離情報の適合度を評価する。適合度が閾値以上で、線分または既知形状に十分に近づいたと判定される場合には現在の最終的な像側変化量を補正パラメータとして算出したことになり、全体距離情報補正処理Ｓ４４４へと進む。適合度が閾値未満で線分または既知形状とは大きな差があると判定される場合には改善する方へ像側変化量を調整する処理Ｓ４４３に進む。また像側変化量を調整しても適合度が改善しなくなったところで全体距離情報補正処理Ｓ４４４を行うように判断しても良い。同様に像側変化量の更新量が十分小さくなったところで判断しても良い。複数の線分（既知形状）がある場合にはすべての適合度を考慮し、閾値の設定または改善の有無を判断することが望ましい。例えば距離変化量や画素数、信頼度といった情報に応じて各既知形状に重みを付け最適化しても良い。さらにＳ４４１からＳ４４３の処理の繰り返す回数を定めておき、その回数でＳ４４４の処理へ移行しても良い。

Ｓ４４３では像側変化量の推定値を変化させる。その後、再度Ｓ４４１で適合度を計算するということを繰り返し、最終的な像側変化量の推定値を決定する。像側変化量の変化方法にはある変化量を定めておき、改善する方向にその変化量分だけ加算または減算する。より少ない繰り返し回数でかつ収束値を向上させるためにＰＩＤ制御のようなフィードバック制御を用いても良い。複数の像側変化量を変化させる場合には必ずしも個別の改善が全体の改善となるとは限らないため、最急降下法といった勾配法のアルゴリズムを用いても良い。ただし局所解に捉まる可能性もあるためさらに大域的最適解を得るような手法を用いても良い。像側変化量の推定方法はＳ４４１からＳ４４３までの処理でなくてもより既知の形状に近づく方法であればどのような方法でも構わない。

Ｓ４４４では最終的に推定された像側変化量を補正パラメータとして、画面全体または一部の距離情報を補正する。つまり推定された像側変化量から現状の結像光学系と撮像素子の位置を定め数２を用いて物側の距離情報に変換する。Ｓ４４１からＳ４４３までの処理では既知形状被写体に対応した距離情報を用いて像側変化量を推定していたが、像側変化量を推定したことで被写体領域外の距離情報に対しても補正が可能となる。また、最終的に推定された像側変化量（補正パラメータ）はメモリ１０４に記憶され、他の撮像画像の距離情報にも適用される。

本実施形態では像側変化量を算出し、それを用いて距離情報を補正する形を述べてきたが、像側変化量を算出せずに、例えばパラメータテーブルを用意するなどして、距離情報算出部で算出した距離情報から直接補正して補正後の距離情報を生成しても構わない。

また撮影画像の情報がカラーである場合には検出した被写体の色情報を用いて、軸上色収差に対応した補正を行うことができる。軸上色収差は波長による結像位置の違いであるので、数２の式で同様に考えることができる。例えば検出した被写体が緑色であった場合には緑の波長に適合した像側変化量が推定される。検出した被写体以外の場所で赤や青の領域があった場合にはそれぞれ短波長、長波長側の色収差を考慮して補正する。

上記の通り、本実施形態の距離情報生成部１１０は、検出用画像信号Ｓ１から線分などの既知の形状の被写体を検出し、対応した領域の物体距離情報を用いて線分などの既知の形状の被写体となるように像側変化量を推定する。その像側変化量を用いて熱や振動といった外環境により発生しやすい結像光学系と撮像素子の関係性の変化による経時的な誤差を低減し、距離情報および物体距離情報を高精度化することができる。また１フレームでの補正が可能であり、上記誤差が大きい場合においても補正することが可能である。像側変化量の推定を行うことにより、一部分だけの補正ではなく同一に取得した距離情報全域を補正することができる。

本実施形態のデジタルカメラ１００は得られた像側変化量を用いて、結像光学系２０１や撮像素子にフィードバックし、例えばより高精度なＡｕｔｏ Ｆｏｃｕｓ機能に活用することもできる。レンズシステム制御部２０２及びシステム制御部１０２の少なくともいずれか一方で任意の画角における補正距離に応じた移動量を計算し、駆動回路２０３及び撮像部１０１の少なくともいずれか一方により、光学系または撮像素子が移動する。デジタルカメラ１００は、経時的な誤差を低減した距離情報を得ることができるため、一回のフィードバックでより正確にピントを合わせることができる。また補正距離情報Ｉｃｄを用いて、高精度な被写界情報を取得できるため、不図示のストロボを用いて、最適なストロボ撮影行うこともできる。

また、自律的に行動計画を作成可能なロボットや自動車が外部環境を認識するための情報取得手段として、活用することができる。得られた補正距離情報Ｉｃｄを用いて、不図示の外部環境認識部で外部環境認識データに変換する。不図示の行動計画作成部で外部環境認識データと事前に与えてある目的に応じた行動計画を作成する。行動計画に応じて、アクチュエータを制御する不図示のアクチュエータ制御部と不図示のアクチュエータにより自律移動を実現する。前記アクチュエータには原動機や電気モータやタイヤ、脚機構を含む。デジタルカメラ１００は、経時的な誤差を低減した距離情報と検出用画像信号を取得できるため、外部環境をより安定して認識することができる。

また、本実施形態では、或るタイミングで撮像された１組の異なる視点で撮像された第１及び第２の画像信号を用いて距離情報を生成し、補正パラメータ（最終的な像側変化量）を算出し、距離情報を補正する形態を示した。しかし、時系列で撮像され順次取得された複数組の第１及び第２の画像信号から得られる複数の距離情報については、毎度補正パラメータを算出して補正するのではなく、複数の距離情報で共通の補正パラメータを使用してよい。これは経時的誤差の影響が小さい場合、補正パラメータの変化も極めて小さく、更新が必要なほど距離精度に影響を及ぼさないからである。共通の補正パラメータは例えば複数組の第１及び第２の画像信号のうち、時系列的に最初の組の画像信号に基づく補正パラメータであってもよいし、複数組の一部の組の画像信号に基づく補正パラメータの統計値であってもよい。

また、経時的な誤差が影響を及ぼす程度の時間が経過すると補正パラメータが更新されるように、距離情報が所定数生成される（あるいは所定数組の画像信号が取得される）ごとに補正パラメータを算出しメモリ１０４に記憶するよう構成されていてもよい。

また、経時的な誤差の影響の大きさを直接像側変化量の大きさから判定して、補正パラメータを更新するかを判定しても良い。すなわち、順次生成される被写体に対応する距離情報から推定される像側変化量の大きさが予め定めた基準以上である場合に新たに補正パラメータとしてメモリ１０４に記憶する。基準未満である場合には現在メモリ１０４に記憶されている最新の補正パラメータを距離情報の補正に用いる。

本実施形態では、前述した実施形態の機能を実現するソフトウェアのプログラムコードを格納した記憶ないし記憶媒体を、測距装置に供給することでも実現できる。算出部のコンピュータ（またはＣＰＵ，ＭＰＵなど）が記憶媒体に格納されたプログラムコードを読み出し上記機能を実行する。この場合、記憶媒体から読みだされたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラム、これを格納した記憶媒体は本発明を構成することになる。本発明のプログラムは、所定の結像光学系と所定の撮像部、コンピュータを備えた撮像装置のコンピュータにインストールすることによって、撮像装置を高精度の距離検出が可能なものとなすことができる。本発明のコンピュータは、記憶媒体の他、インターネットを通じて頒布することも可能である。

＜第２の実施形態＞
以下、図７、図８を参照しながら本発明の第２の実施形態について詳細に説明する。以下の説明では、本実施形態の距離情報生成部を備えた撮像装置の一例として、デジタルカメラを用いて説明するが、本発明の適用はこれに限定されるものではない。尚、図を参照した説明においては、図番は異なっても原則として同一部位を示す部位には、同一の符号を付すこととし、なるべく重複した説明は避ける。

本実施形態のデジタルカメラ１００は、結像光学系２０１第１の実施形態（図１）と比較して、撮像素子１０１０の代わりに撮像素子７０１０を配置した構成となっている。さらに、画像処理部１０３が距離情報生成部１１０の代わりに距離情報生成部８１０を含む構成となっている。距離情報生成部８１０は、論理回路を用いて構成することができる。距離情報生成部８１０の別の形態として、中央演算処理装置（ＣＰＵ）と演算処理プログラムを格納するメモリとから構成してもよい。

＜撮像素子の構成＞
撮像素子７０１０はＣＭＯＳ（相補型金属酸化膜半導体）やＣＣＤ（電荷結合素子）から構成され、撮像面位相差測距方式による測距機能を有する撮像素子である。結像光学系２０１を介して撮像素子７０１０上に結像した被写体像は、撮像素子７０１０により光電変換され、被写体像に基づく画像信号を生成する。取得した画像信号に対して、画像生成部により現像処理を施すことで、観賞用画像信号を生成することができる。また生成した観賞用画像を画像信号格納部に格納することができる。以下、本実施形態における撮像素子７０１０について、図７（Ａ）～（Ｂ）を用いてより詳細に説明する。

図７（Ａ）は、撮像素子７０１０のｘｙ断面図である。図７（Ａ）の撮像素子７０１０は、２行×２列の画素群７５０が複数配列され、構成される。画素群７５０は、対角方向に緑画素７５０Ｇ１と緑画素７５０Ｇ２が配置され、他の２画素に赤画素７５０Ｒと青画素７５０Ｂが配置されている。必ずしもこの配置、この色である必要はなく、何らかの形で色情報を持っているまたは全画素単色（カラーフィルタなしを含む）でも構わない。以下では、上記条件の場合について詳細を説明する。

図７（Ｂ）は、画素群７５０のＩ－Ｉ’断面を模式的に示した図である。各画素は、受光層７５５に、受光した光を光電変換するための２つの光電変換部（第１の光電変換部７５１と第２の光電変換部７５２）が配置される。マイクロレンズ１５１は、射出瞳２０４と受光層７５５とが光学的に共役関係になるように配置されている。その結果、第１の光電変換部７５１は、第１の光束３１１を主に受光し、第２の光電変換部７５２は、第２の光束３２１を主に受光する。

第１の光電変換部７５１は、受光した光束を光電変換して電気信号を生成する。同様に、第２の光電変換部７５２は、受光した光束を光電変換して電気信号を生成する。撮像素子７０１０の各画素の第１の光電変換部７５１が生成した電気信号の集合により、第３の画像信号が生成される。同様に、撮像素子７０１０の各画素の第２の光電変換部７５２が生成した電気信号の集合を第４の画像信号が生成される。第３の画像信号から、第１の光束３１１が撮像素子７０１０上に形成する像の強度分布を得ることができ、第４の画像信号から第２の光束３２１が撮像素子７０１０上に形成する像の強度分布を得ることができる。また、画素群７５０は、青・緑・赤の各波長領域に対応するカラーフィルタを備えているため、第３の画像信号と第４の画像信号は、３つの色情報を含んでいる。すなわち、本実施形態の撮像素子７０１０は、各画素が撮像機能と測距機能を兼ね備えている。そのため、第１～第４の画像信号いずれかまたは複数を用いて、検出用画像信号Ｓ１として用いることができる。

＜距離情報生成部８１０の説明＞
図８（Ａ）は、本実施形態の距離情報生成部８１０の概要構成を表すブロック図であり、図８（Ｂ）は距離情報生成部８１０の動作を示すフローチャートである。

距離情報生成部８１０は、第１の実施形態の距離情報生成部１１０と比較し、画像生成部８２０をさらに備えている。距離情報生成部８１０は、撮像素子７０１０から第３の画像信号Ｓ４と第４の画像信号Ｓ５を取得し、距離情報Ｉｒｄを補正した補正距離情報Ｉｃｄを生成し、出力する。

被写体検出部４１０、距離情報生成部４１１、抽出部４１２、距離情報補正部４１３が行う処理内容は第１の実施形態と同様であるため、説明は省略する。以下では画像生成部８２０が行う処理内容について説明する。

画像生成部８２０は、撮像素子７０１０から第３の画像信号Ｓ４と第４の画像信号Ｓ５を取得し、画像生成処理Ｓ８２０により、第１の画像信号Ｓ２と第２の画像信号Ｓ３を生成する。以下では、図８（Ｃ）を用いて、画像生成部８２０における、画像生成処理Ｓ８２０の処理内容について説明する。

ステップ８２１は、画像生成部８２０が第３の画像信号Ｓ４と第４の画像信号Ｓ５の、デモザイキングを行う。青画素による画像信号を生成するために、赤画素７５０Ｒと緑画素７５０Ｇ１と緑画素７５０Ｇ２の画素位置については、近傍の青画素７５０Ｂの輝度値を用いて線形補間により画像信号の画素値を生成する。緑画素及び赤画素についても、同様に補間処理（例えば、バイリニア補間またはバイキュービック補間）を用いて、各波長領域の画像信号を生成する。デモザイキングにより、各画素位置にて、青・緑・赤の３チャンネルの色情報を含む画像信号を生成している。

輝度信号変換処理Ｓ８２２は、画像生成部８２０が、デモザイキング処理Ｓ８２１にて生成した第３の画像信号Ｓ４から第１の画像信号Ｓ２を生成している。同様にデモザイキング処理Ｓ８２１にて生成した第４の画像信号Ｓ５から第２の画像信号Ｓ３を生成している。第１の画像信号Ｓ２を生成するために、以下式（３）を第１の画像信号Ｓ２の各画素に適用することにより、第１の画像信号Ｓ２を生成している。ここで、Ｉｂはデモザイキング処理Ｓ８２１にて生成した第３の画像信号Ｓ４に含まれる青波長領域の輝度値である。同様に、ＩｇはＳ８２１にて生成した第３の画像信号Ｓ４に含まれる緑波長領域の輝度値であり、Ｉｒはデモザイキング処理Ｓ８２１にて生成した第３の画像信号Ｓ４に含まれる赤波長領域の輝度値である。

第１の画像信号の信号値＝Ｉｂ／４＋Ｉｇ／２＋Ｉｒ／４・・・（３）
第２の画像信号Ｓ３も、第１の画像信号Ｓ２と同様に、デモザイキング処理Ｓ８２１にて生成した第４の画像信号Ｓ５を用いて、生成することができる。

距離情報生成部４１１は、画像生成部８２０が生成した第１の画像信号Ｓ２と第２の画像信号Ｓ３を用いて、距離情報生成処理Ｓ４２０により距離情報Ｉｒｄを生成している。

本実施形態のデジタルカメラ１００においては、撮像素子７０１０が備える各画素群は、色情報と距離情報の両方を取得可能な構成となっている。そのため、距離情報を算出した画素位置と、色情報を取得した画素位置の間でズレが少なく、より精度よく線分または既知形状検出領域に対する距離情報を抽出することができ、より高精度に物体距離情報を補正することができる。

＜第３の実施形態＞
デジタルカメラ１００のレンズユニット２００及びデジタルカメラ１００内の撮像部までの別の形態として、図９に示す撮像部９００の構成を用いてもよい。

図９（Ａ）において、撮像部９００は、第１の結像光学系９２０ａ、第２の結像光学系９２０ｂ、撮像素子９０１ａ、撮像素子９０１ｂ、レンズ駆動制御部（不図示）を有する。第１の結像光学系９２０ａと第２の結像光学系９２０ｂは、撮像部９００の撮影レンズであり、被写体の像を撮像面である撮像素子９０１ａと撮像素子９０１ｂに形成する機能を有する。第１の結像光学系９２０ａは、複数のレンズ群、並びに絞りから構成され、撮像素子９０１ａから所定距離離れた位置に射出瞳９３０ａを有する。第２の結像光学系９２０ｂは、複数のレンズ群、並びに絞りから構成され、撮像素子９０１ｂから所定距離離れた位置に射出瞳９３０ｂを有する。

撮像素子９０１ａと撮像素子９０１ｂはＣＭＯＳ（相補型金属酸化膜半導体）やＣＣＤ（電荷結合素子）から構成された撮像素子である。図９（Ｂ）は撮像素子９０１ａのｘｙ断面図である。図９（Ｂ）の撮像素子９０１ａは、撮像素子９０１が備える撮像画素群１５０と同様の画素群が複数配列され、構成される。同様に、撮像素子９０１ｂにも、撮像素子９０１が備える撮像画素群１５０と同様の画素群が複数配列され、構成される。

撮像素子９０１ａが備える光電変換部１５３は、受光した光束を光電変換部して電気信号を生成する。撮像素子９０１ａの各画素の光電変換部１５３が生成した電気信号の集合により、第３の画僧信号が生成される。同様に、撮像素子９０１ｂが備える光電変換部１５３は、受光した光束を光電変換部して電気信号を生成する。撮像素子９０１ｂの各画素の光電変換部１５３が生成した電気信号の集合により、第４の画僧信号が生成される。

第１の結像光学系９２０ａと撮像素子９０１ａの組と、第２の結像光学系９２０ｂと撮像素子９０１ｂの組は、所定距離だけ離れて配置されている。第３の画像信号と第４の画像信号は、被写体を異なる視点から略同時に撮影した画像信号の組となり、被写体距離に応じた視差量を有するようになる。また、撮像素子９０１ａと撮像素子９０１ｂが備える各画素は、青・緑・赤の各波長領域に対応するカラーフィルタを備えているため、第３の画像信号と第４の画像信号は、３つの色情報を含んでいる。すなわち、デジタルカメラ１１００は、検出用画像信号の撮像機能と測距機能とを備えている。またここでは青・緑・赤の三色の場合を説明したが、その他の色情報でも良く、また単色でも構わない。

撮像素子９０１ａから取得した第３の画像信号と撮像素子９０１ｂから取得した第４の画像信号は撮像部９００と一体のデジタルカメラ１００内で、結像光学系９２０ａと結像光学系９２０ｂの色収差の影響を補正した距離情報Ｉｃｄを生成し、出力している。デジタルカメラ１００に加えて、デジタルカメラ９００では、結像光学系９２０ａと結像光学系９２０ｂ及び撮像素子９０１ａと撮像素子９０１ｂの関係を像側変化量として算出し補正する。すなわち、デジタルカメラ９００はデジタルカメラ１００の構成と比べて、像側変化量となりうるパラメータが多いという特徴を持つ。ただしすべてを使う必要はなく。補正方法は同様である。

本実施形態のデジタルカメラ９００は、光軸９４０ａと光軸９４０ｂを離れた位置に配置することで、同じ被写体を異なる視点から撮像している。光軸９４０ａと光軸９４０ｂを大きく離すことで、被写体距離当たりの視差量変化を大きくすることができる。すなわち、より高精度に距離情報を取得することができる。

また本実施形態では、２つの光学系及び撮像素子を持った場合について記載したが、これは１つの光学系及び撮像素子を動かした場合にも同様に考えられる。この場合は時間方向にカメラ位置が変動することにより光軸が移動し、視差が生じる。カメラ位置の移動量を推定する必要が生じるが、その他処理に関しては同様であり、本提案の補正方法に関しても同様に適用することができる。カメラ位置の移動量を推定する技術はＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）と呼ばれる一般的な技術を用いることができる。カメラ位置の移動量を推定する際の誤差が発生するが、それらを含めて誤差を低減することができる。

＜第４の実施形態＞
第４の実施形態では第１～３の実施形態として説明してきたデジタルカメラにおいて連続的に画像信号を取得した場合について説明する。図４（Ａ）において、検出用画像信号Ｓ１、第１の画像信号Ｓ２、第２の画像信号Ｓ３、図８（Ａ）においては検出用画像信号Ｓ１、第３の画像信号Ｓ４、第４の画像信号Ｓ５がある時間間隔で連続的に取得される。時間間隔は一定である必要はなく、外環境の変化等に合わせて変更されてもよい。一定の時間間隔の一例として、一般的な動画像取得環境では３０ｆｐｓ（３３．３ｍｓｅｃ間隔で１セットの前記画像セットが得られる）が挙げられる。なお、以下では第１の実施形態に対応した説明のみを行うが、第２、第３の実施形態においても同様に考えることができる。距離情報生成部１１０の内部の構成は連続信号となっても変わらない。

本件で課題としている経時的な誤差を生じる結像光学系と撮像素子の関係は時間に対して連続に変化している可能性が高い。つまり、連続的な信号間での結像光学系と撮像素子の関係の変化は小さいことを意味している。そのため、像側変化量は該信号の前の時間に計算された像側変化量の結果を用いることで、Ｓ４４１～Ｓ４４３の繰り返し処理を削減できる。

また変化が小さいため、連続的な信号すべてで像側変化量を計算する必要はない場合もある。その場合にはある決められた信号間隔や外環境の変化（ロボットや自動車に取り付けられている場合にはその移動量等）に応じて、像側変化量計算を行う。計算が不要な場合には全体距離情報補正処理Ｓ４４４をその以前に計算された像側変化量を用いて行うことができる。

また連続信号の場合、Ｓ４４２で行われる適合度判定を閾値ではなく繰り返し回数で行うことで毎信号の計算時間を固定にすることができる。初期段階では全体距離情報としてエラーが残存してはいるが、時間を経るごとに少ない繰り返し回数で像側変化量を改善していてもいずれ収束することができる。

本実施形態のデジタルカメラは連続的にデータを取得することで、計算量を削減し、効率よく経時的な変化に対応したキャリブレーションを行うことができる。

＜第５の実施形態＞
第５の実施形態では第１～４の実施形態として説明してきたデジタルカメラにおいて、像側変化量を用いてデジタルカメラの測距精度不足となる旨の情報を提供する方法について説明する。本実施形態では、画像処理部１０３が距離情報生成部１１０（８１０）で算出される像側変化量を解析する情報解析装置１００１を有する。

距離情報生成部１１０（８１０）にて算出された像側変化量Ｉｃｃを情報解析装置１００１を用いて解析し、像側変化量が閾値以上であれば何らかの手段を用いて報知（警告）する。像側変化量は結像光学系２０１と撮像素子１０１０の関係性の変化である。正常状態であれば熱や振動等で利用中に変化していくが、同じ条件となれば同じ像側変化量となる。しかし、長年使用することにより、像側変化量が大きくなり、想定の範囲から外れる可能性がある。その想定の範囲を閾値とし、その範囲を像側変化量が超えた場合にはユーザに警告をし、メンテナンス等を行うように促す。像側変化量が大きくなるということは結像光学系２０１１の結像位置が撮像素子１０１０と大きく離れ、想定測距範囲において十分に結像していない状態になっている。その場合には本来想定している距離分解能が得られなくなるため、そうした範囲に像側変化量がなってしまった場合には調整する必要が生じる。

図１０は情報解析装置１００１のブロック図を表している。像側変化量Ｉｃｃを入力とし、判定部１０１１で像側変化量が正常範囲かどうかを判定し、その判定結果１０１２を得る。判定結果１０１２は一般的なデジタルカメラのように表示制御部１０６によって表示部１０７に表示される。また別途専用の表示デバイスを持っても良い。また自動車のように音声出力機能を持っていれば、非正常状態であると判断された場合には、例えば表示部１０７の有するスピーカーにより音で知らせても良い。またカーナビゲーションシステムへの表示や近くのメンテナンス可能な修理店なども合わせて表示しても良い。ユーザへの警告方法はどのような形・方法でも構わない。また補正パラメータの変化をログとしてメモリ１０４に記録しておき、メンテナンスの時期を予測し、ユーザに提示しても良い。

情報解析装置１００１ではなく不図示の情報転送装置を用いて、無線及び有線通信等により像側変化量を転送し、不図示の別の計算機環境やサーバ等などで解析し、ユーザに結果を提示しても良い。

以上の通り、本実施形態のデジタルカメラは経時的な変化である像側変化量を解析することにより、デジタルカメラのメンテナンス等の情報を提示することができ、安定した性能をユーザに提供することができる。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＤＶＤ－ＲＷ、ＤＶＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

また、本発明はデジタルカメラのような撮影を主目的とした機器にかぎらず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。

１１０ 距離情報生成部
４１０ 被写体検出部
４１１ 距離情報生成部
４１２ 抽出部
４１３ 距離情報補正部

Claims (22)

1. 距離情報を取得する取得手段と、
   画像信号を用いて既知の形状の被写体を検出する検出手段と、
   前記検出手段により検出された被写体の形状に基づいて、前記距離情報を補正するための補正パラメータを生成する生成手段と、
   前記生成手段で生成された補正パラメータを用いて前記取得手段で取得された距離情報を補正する補正手段と、
   有し、前記生成手段は、前記取得手段で取得された距離情報が物体距離においてなす形状が、前記検出手段で検出された被写体がなす既知の形状に近づくように前記補正パラメータを生成することを特徴とする距離情報生成装置。
2. 前記生成手段により生成された補正パラメータを記憶するメモリを有し、
   前記補正手段は、前記メモリに記憶された補正パラメータを用いて前記取得手段で取得された距離情報を補正することを特徴とする請求項１に記載の距離情報生成装置。
3. 前記生成手段は、前記取得手段で取得された距離情報が物体距離においてなす形状と、前記検出手段で検出された被写体がなす形状とを比較することで、当該距離情報に適用する補正パラメータを生成することを特徴とする請求項１または２に記載の距離情報生成装置。
4. 前記検出手段で検出される既知の形状の被写体は線分であることを特徴とする請求項１乃至３のいずれか１項に記載の距離情報生成装置。
5. 前記生成手段は、前記取得手段で取得された距離情報の物体距離における直線性を評価することで補正パラメータの値を推定することを特徴とする請求項４に記載の距離情報生成装置。
6. 前記取得手段で取得される距離情報は視点の異なる第１及び第２の画像信号から算出されるデフォーカスマップであり、
   前記生成手段は、第１及び第２の画像信号を撮像した結像光学系と撮像素子の位置関係に起因して前記距離情報が像側で変化する量を示す像側変化量を推定し、補正パラメータを生成することを特徴とする請求項１乃至５のいずれか１項に記載の距離情報生成装置。
7. 前記像側変化量が結像光学系と撮像素子のｘ、ｙ、ｚ方向のいずれかまたは複数の既定位置からのシフト成分であることを特徴とする請求項６に記載の距離情報生成装置。
8. 前記像側変化量が結像光学系と撮像素子のｘ、ｙ、ｚ軸方向の既定位置からの回転成分（いずれかまたは複数）であることを特徴とする請求項６に記載の距離情報生成装置。
9. 前記像側変化量が結像光学系の焦点距離の変化であることを特徴とする請求項６に記載の距離情報生成装置。
10. 前記取得手段の取得する距離情報は、時系列で撮像された複数組の第１及び第２の画像信号を用いて、対応する複数の距離情報であり、
    前記補正手段は、前記複数の距離情報に対して前記メモリに記憶された共通の補正パラメータを用いることを特徴とする請求項１乃至９のいずれか１項に記載の距離情報生成装置。
11. 前記生成手段は、前記取得手段で取得された距離情報が所定数取得されるごとに前記補正パラメータを生成し、前記メモリに記憶することを特徴とする請求項１乃至９のいずれか１項に記載の距離情報生成装置。
12. 前記取得手段は、順次取得される前記第１及び第２の画像信号を用いて対応する距離情報を順次生成し、
    前記生成手段は、前記取得手段で取得された距離情報に基準以上の変化があった場合に、新たに前記補正パラメータを生成し、前記メモリに記憶することを特徴とする請求項１０に記載の距離情報生成装置。
13. 前記生成手段は、前記検出手段で検出された被写体が複数ある場合には、前記取得手段で取得された各被写体に対応する距離情報および信頼度に基づいて前記補正パラメータを生成することを特徴とする請求項１乃至１２のいずれか１項に記載の距離情報生成装置。
14. 前記メモリに記憶された補正パラメータを外部装置に転送する情報転送手段を有することを特徴とする請求項１乃至１３のいずれか１項に記載の距離情報生成装置。
15. 前記補正パラメータは、前記距離情報を取得するためのセンサからの信号の経時的な誤差を補正するためのパラメータであることを特徴とする請求項１乃至１４のいずれか１項に記載の距離情報生成装置。
16. 請求項１乃至１５のいずれか１項に記載の距離情報生成装置と、
    前記距離情報を生成するための視点の異なる第１及び第２の画像信号を撮像する撮像手段と、
    を有することを特徴とする撮像装置。
17. 前記撮像手段は、結像光学系の異なる瞳領域を通過した光束をそれぞれ受光して前記第１及び第２の画像信号を生成することを特徴とする請求項１６に記載の撮像装置。
18. 前記撮像手段は、異なる結像光学系を有する第１及び第２の撮像素子で撮像して前記第１及び第２の画像信号を生成することを特徴とする請求項１６に記載の撮像装置。
19. 前記距離情報生成装置から得られた距離情報を用いて、前記撮像装置の結像光学系及びセンサまたはいずれか一方を動作させ、ピント位置を自動調整することを特徴とする請求項１６に記載の撮像装置。
20. 異なる視点で撮像された複数の画像信号を用いて距離情報を取得する第１の取得ステップと、
    画像信号を用いて既知の形状の被写体を検出する検出ステップと、
    前記検出ステップにて検出された被写体に対応した距離情報を前記第１の取得ステップにて取得された距離情報から取得する第２の取得ステップと、
    前記第２の取得ステップにて取得された距離情報と前記検出ステップにて検出された被写体の形状とに基づいて、前記第２の取得ステップにて取得された距離情報を補正するための補正パラメータを生成する生成ステップと、
    前記生成ステップにて生成された補正パラメータを用いて前記第２の取得ステップにて取得された距離情報を補正する補正ステップと、
    有し、前記生成ステップでは、前記第２の取得手段で取得された距離情報が物体距離においてなす形状が、前記検出手段で検出された被写体がなす既知の形状に近づくように前記補正パラメータを生成することを特徴とする距離情報生成方法。
21. 請求項２０に記載の距離情報生成方法の各工程をコンピュータに実行させるプログラム。
22. 請求項２０に記載のプログラムを格納したことを特徴とする記憶媒体。

Images