JP2024053483A - 撮像システム、撮像方法およびプログラム - Google Patents

Abstract

【課題】 撮像システムにおいて、明暗差が大きい場合でもステレオ測距可能範囲を狭めることを抑制できる方法を提供したい。
【解決手段】 撮像により第１の画像信号および第２の画像信号、第３の画像信号を出力し、各画像信号に基づいて画像情報を生成し、前記各画像信号に基づいて第１の距離情報を生成し、前記各画像信号に基づいて第２の距離情報を生成し、撮像された画像の状態の判定の少なくとも一方を実行する判定手段と、前記画像の状態に基づいて、露光時間を制御する制御手段と、前記露光時間の制御の後、前記画像情報および前記距離情報に基づいて距離画像情報を生成する画像合成手段とを有することを特徴とする撮像システム。
【選択図】 図３

Description

本発明は、位相差測距カメラを少なくとも１台用いた撮像システムにおけるダイナミックレンジ拡大手法に関するものである。

近年、車やロボットの目としてカメラが使われることが多くなっている。従来、カメラではＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどの撮像素子で、光の強さ（輝度情報）を検出し映像を出力している。一方で、通常の映像を取得するカメラだけでなく、被写体までの距離を検出する測距カメラも普及してきている。

イメージセンサを用いた測距カメラの方式として、２台のカメラの視差画像から対象物までの距離を算出するステレオ測距という技術が知られている。本技術を使用して、車両に設置した２台のカメラから障害物や対象物までの距離を算出し、車両の自動走行などに使用する目的で利用され始めている。また、他の測距方式としてデジタルカメラなどで使用される像面位相差測距方式のカメラがある。１画素内に２つの受光部を持つことで、視差のある２枚の画像を取得しステレオ測距を行うことができる。このイメージセンサを用いたカメラでは、単眼での測距が可能になる。

ところで、カメラなどの撮像装置の性能の１つにダイナミックレンジがある。ダイナミックレンジとは、カメラが識別できる明るさの最大値と最小値の比率である。カメラのダイナミックレンジを超える明暗差がある被写体を撮像する場合、明部に露光を合わせると暗部が黒潰れし情報が取得できない。また、暗部に露光を合わせると明部が白飛びし情報を取得できなくなる。例えば、図１のようにトンネル内部からトンネルの出口のような場面を撮像するとき、トンネル内部１０１に露光を合わせると、トンネル外部１００が白飛びし、トンネル外部１００に露光を合わせると、トンネル内部１０１が黒潰れしてしまう。これは測距カメラも同様で、ダイナミックレンジを外れた明るさでは測距情報を取得できなくなる問題がある。このような明暗差が大きい場面で正常に情報を取得するには、カメラのダイナミックレンジを拡大する必要がある。

特許文献１では、撮像システムで明暗差の大きい場面を撮像した場合に左右のカメラで露光時間を変更し１枚の合成画像を作ることが提案されている。左右のカメラの露光時間を変更することで、片方のカメラが白飛びや黒潰れをしていても、もう片方のカメラで撮像することができる。

この技術を用いることで、撮像システムにおける映像のダイナミックレンジを拡大することができる。

特許第０５４１１８４２号

しかしながら、上記特許文献１の技術を用いてダイナミックレンジの拡大を行った場合、通常の映像のダイナミックレンジは拡大されるものの、ステレオ測距可能な範囲は減少してしまう。

本発明の目的は、撮像システムにおいて、明暗差が大きい場合でもステレオ測距可能範囲を狭めることを抑制できる方法を提供することである。

上記の課題を解決するために、本発明は、
撮像により、互いに視差を有する第１の画像信号および第２の画像信号を出力する第１の撮像手段と、
撮像により、前記第１の画像信号および前記第２の画像信号との間に視差を有する第３の画像信号を出力する第２の撮像手段と、
前記第１の画像信号および前記第２の画像信号、前記第３の画像信号に基づいて画像情報を生成する現像手段と、
前記第１の画像信号および前記第２の画像信号に基づいて第１の距離情報を生成する位相差測距手段と、
前記第１の画像信号および前記第２の画像信号と、前記第３の画像信号とに基づいて第２の距離情報を生成するステレオ測距手段と、
前記第１の画像信号および前記第２の画像信号に基づく前記第１の撮像手段により撮像された画像の状態の判定、および、前記第３の画像信号に基づく前記第２の撮像手段により撮像された画像の状態の判定の少なくとも一方を実行する判定手段と、
前記画像の状態に基づいて、前記第１の撮像手段および前記第２の撮像手段のうち少なくとも一方の露光時間を他方よりも長くなるように制御する制御手段と、
前記露光時間の制御の後、前記第１の距離情報および前記第２の距離情報の少なくとも一方と、前記画像情報とに基づいて、距離画像情報を生成する画像合成手段とを有する。

本発明によれば、撮像システムにおいて、明暗差が大きい場合でもステレオ測距可能範囲を狭めることを抑制できる。

明暗差の大きいシチュエーションの例 特許文献１におけるＨＤＲモードの撮像と測距可能範囲 実施形態１に係る撮像システムに関わる制御システムのブロック図 （Ａ）撮像素子の構成を光の入射方向から見た上面図、（Ｂ）画素群４１０のＩ－Ｉ’断面における断面図 （Ａ）緑画素Ｇ１の各光源変換部に入射する光を示す模式図、（Ｂ）合焦時の撮像素子と撮像光学系について示した概略図、（Ｃ）負方向にデフォーカスした時の撮像素子と撮像光学系について示した概略図、（Ｄ）正方向にデフォーカスした時の撮像素子と撮像光学系について示した概略図 実施形態１に係る撮像システムの動作フローを示す図 実施形態１に係る撮像システムの通常モード時の撮像可能な輝度範囲と測距可能範囲を示す図 実施形態１に係る撮像システムのＨＤＲモード時の撮像可能な輝度範囲と測距可能範囲を示す図 実施形態２に係る撮像システムに関わる制御システムのブロック図である 実施形態２に係る撮像システムの動作フローを示す図 実施形態２に係る撮像システムの通常モード時の撮像可能な輝度範囲と測距可能範囲を示す図 実施形態２に係る撮像システムのＨＤＲモード時の撮像可能な輝度範囲と測距可能範囲を示す図

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

＜第１の実施形態＞
以下、本発明の第１の実施形態について説明する。

撮像システムでは、ブロックマッチングを用いて測距を行う。ブロックマッチングを使用するには、左右のカメラ両方に映っている被写体しか測距をすることができない。図２を用いて、ダイナミックレンジの拡大に対して、ステレオ測距可能な範囲が減少していることを説明する。図２では、縦軸の被写体の明るさを示し、下に行くほど被写体が暗いことを示し、上に行くほど被写体が明るいことを示している。撮像システムを構成するカメラをそれぞれ撮像装置（１）、撮像装置（２）とした時に、撮像装置（１）の露光時間を短く、撮像装置（２）の露光時間を長くすると、撮像装置（１）では明るい被写体を、撮像装置（２）では暗い被写体適正露光で撮像可能となる。撮像装置（１）、撮像装置（２）の撮像可能範囲は図２の実線で示される撮像可能範囲２０１、撮像可能範囲２０４、撮像不可領域は点線で示されている黒潰れ２０２、白飛び２０３となる。撮像装置（１）、撮像装置（２）の露光時間をずらすことで撮像可能範囲は撮像可能範囲２０１と撮像可能範囲２０４を合わせた部分となる。しかし、ブロックマッチングで測距できる明るさの範囲（黒潰れや白飛びが発生しない範囲）は撮像可能範囲２０１と撮像可能範囲２０４の共通の部分である、測距可能範囲２００のみとなってしまい測距可能範囲は狭くなってしまう。

図３は、本発明の実施形態に係る撮像システムの構成例を示すブロック図である。

本撮像システムは、ステレオカメラ３０００、処理部３１００（情報処理装置）、表示部３２００により構成されるシステムである。

ステレオカメラ３０００は、撮像装置３０１０（第１の撮像手段）および撮像装置３０２０（第２の撮像手段）で構成される。

撮像装置３０１０は、撮像光学系３０１１および撮像素子３０１２で構成される。

撮像光学系３０１１は、被写体の像（光学像）を撮像素子３０１２上に形成することができ、撮像素子３０１２から所定の距離だけ離れた位置に射出瞳を有する。

撮像素子３０１２は、光電変換機能を有する画素を２次元状に配置した画素領域を備え、各画素領域は２つの光電変換部（第１の光電変換部、第２の光電変換部）を有する。また、撮像素子３０１２上に結像した被写体像を光電変換して被写体像に基づく画像信号を生成する。なお、撮像素子３０１２は、第１の光電変換部から出力された信号に基づく第１の画像信号および第２の光電変換部から出力された信号に基づく第２の画像信号を、処理部３１００内の現像部３１０１と像面位相差測距部３１０２に出力する。第１の画像信号と第２の画像信号とは互いに視差を有している。以上のように撮像素子３０１２が第１の画像信号および第２の画像信号を出力する構成であるため、本実施形態における撮像システムは、後述する像面位相差測距方式によっても周辺環境を測距することができる。

撮像装置３０２０は、撮像光学系３０２１および撮像素子３０２２で構成される。

撮像光学系３０２１は先述した撮像光学系３０１１と同様の働きをするため説明を省略する。撮像素子３０２２は、光電変換部を有する画素を２次元状に配置した画素領域を備え、各画素は光電変換部を有し、撮像素子３０２２上に結像した被写体像を光電変換して被写体像に基づく第３の画像信号を生成する。第３の画像信号は、第１の画像信号および第２の画像信号と互いに視差を有している。撮像素子３０２２から出力された第３の画像信号は、処理部３１００内の現像部３１０１に出力する。

処理部３１００は、現像部３１０１、位相差測距部３１０２、ステレオ測距部３１０３、判定部３１０４、露出制御部３１０５、画像合成部３１０６により構成される。また、処理部３１００は他に、演算や制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備える。他にも主記憶装置であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）も備えている（いずれも図事略）。ＲＯＭには基本的な設定データや本実施形態に係るプログラムが記憶されており、ＣＰＵが処理内容に応じたプログラムをＲＯＭから呼び出して、ＲＡＭに展開し、各ブロックの動作を実行する。

現像部３１０１は、第１の画像信号、第２の画像信号および第３の画像信号に基づいて、画素ごとに赤、緑、青の各色の輝度情報を持つ画像データへディベイヤー処理をする。生成した画像データは判定部３１０４、画像合成部３１０６に伝達される。

位相差測距部３１０２は画素ごとの距離情報を示す距離データ（第１の距離情報）を生成する。生成された距離データは、画像合成部３１０６に伝達される。画像データと距離データは同一の画像信号から生成されるため、画像データと距離データは時間的に同期されている。

ステレオ測距部３１０３では、第１の画像信号、第２の画像信号および第３の画像信号を用いて、視差の算出を行い、その視差情報から距離情報（第２の距離情報）の算出を行う。この時、視差算出に用いる画像信号は第１の画像信号と第２の画像信号のどちらかと第３の画像信号を用いて算出を行う。視差の算出を行う方法としては例えば、ブロックマッチング法がある。ブロックマッチング法とは、一方の画像の選択されたある領域に対して、もう一方の画像から類似度の高い領域を探索し、その類似度の高い領域との位置のずれを視差とする方法である。

判定部３１０４では、撮像装置３０１０と撮像装置３０２０で撮像された画像データ中に白飛び、黒潰れがないか（画像の状態）の判定を行う。なお、白飛びしている状態というのは、画像信号中で輝度が最大値である部分または最大値付近である部分を指す。また黒潰れしている状態とは、画像信号中で輝度が最小値（例えば、０もしくは撮像素子を遮光した時の輝度に相当する黒レベルなど）である部分または最小値付近である部分を指す。上記、輝度が最大値付近／最小値付近というのは、輝度が所定の閾値Ｗ１以上（第１の閾値以上）である場合は白飛び、輝度が所定の閾値Ｂ１以下（第２の閾値以下）である場合は黒潰れであると決定するということである。画像信号中に白飛びも黒潰れも判定部３１０４で検出されない場合は、通常モードでの制御を行うことを露出制御部３１０５に伝達する。また、画像信号中に白飛び、もしくは黒潰れ、もしくはそれらの両方を判定部３１０４検出した場合は白飛び、黒潰れを抑制するためにＨＤＲモードでの制御を行うことを露出制御部３１０５へ伝達する。また、現像部３１０１、位相差測距部３１０２、ステレオ測距部３１０３へ処理の伝達を行う。

露出制御部３１０５では、判定部３１０４の判定結果に応じて、露出の制御を変更する。白飛び、黒潰れどちらも判定部３１０４にて検出されない場合は、各撮像装置内の各画素内を同じ露出で制御を行う、通常モードでの動作を行う用にステレオカメラ３０００を制御する。判定部３１０４にて白飛び、もしくは黒潰れ、もしくはそれらの両方を検出した際は、ＨＤＲモードに切り替え、各撮像装置ごとに露光時間を変更するようにステレオカメラ３０００の制御を行う。

画像合成部３１０６では、現像部３１０１にて出力された画像データと位相差測距部３１０２およびステレオ測距部３１０３にて生成された測距データを合成している。合成の方法は、画像データと測距データを横に並べるでも良いし、ヒートマップのように重ねて表示するでも良い。画像合成部３１０６にて生成された合成画像（距離画像情報）は表示部３２００に伝送される。

表示部３２００、液晶ディスプレイなどの表示手段で、画像合成部３１０６から伝送されてきた映像の表示を行う。

ここで、図４および図５を用いて、撮像素子３０１２を利用した像面位相差測距方式による測距原理について説明する。

図４は、例として撮像素子３０１２の構成を示す模式図である。図４（Ａ）は、撮像素子３０１２を光の入射方向からみた上面図である。撮像素子３０１２は、２行×２列の画素群４１０をマトリクス状に複数配列することで構成される。画素群４１０は、緑色の光を検出する緑画素Ｇ１、緑画素Ｇ２、赤色の光を検出する赤画素Ｒ及び青色の光を検出する青画素Ｂを有する。画素群４１０において、緑画素Ｇ１および緑画素Ｇ２は対角に配置される。また、各画素は、第１の光電変換部４１１と、第２の光電変換部４１２とを有する。

図４（Ｂ）は、図４（Ａ）における画素群４１０のＩ－Ｉ’断面における断面図である。各画素は、マイクロレンズ４１３、受光層４１５、および導光層４１４から構成される。

受光層４１５は、画素へ入射した光束を導光層４１４へ効率良く導くためのマイクロレンズ４１３、各画素が検出する光の色に対応する波長帯域の光を通過させるカラーフィルタ、および、画像読み出し用及び画素駆動用の配線を有する導光部材である。

導光層４１４は、受光層４１５を介して入射した光を光電変換して電気信号として出力する光電変換部である。導光層４１４は、第１の光電変換部４１１、および第２の光電変換部４１２を有する。

図５は、像面位相差測距方式における被写体距離と入射光との関係を示す模式図である。図５（Ａ）は、撮像光学系３０１１の射出瞳５０１と、撮像素子３０１２の緑画素Ｇ１と、緑画素Ｇ１の各光源変換部に入射する光を示す模式図である。撮像素子３０１２は、複数の画素を有するが、簡単のため、１つの緑画素Ｇ１について説明する。

緑画素Ｇ１のマイクロレンズ４１３は、射出瞳５０１と受光層４１５とが光学的に共役関係になるように配置されている。その結果、射出瞳５０１に内包される部分瞳領域である第１の瞳領域５１０を通過した光束は第１の光電変換部４１１に入射する。同様に部分瞳領域である第２の瞳領域５２０を通過した光束は第２の光電変換部４１２に入射する。

各画素の第１の光電変換部４１１は、受光した光束を光電変換して信号を出力する。撮像素子３０１２に含まれる複数の第１の光電変換部４１１から出力された信号から、第１の画像信号が生成される。第１の画像信号は、第１の瞳領域５１０を主に通過した光束が撮像素子３０１２上に形成する像の強度分布を示す。

各画素の第２の光電変換部４１２は、受光した光束を光電変換して信号を出力する。撮像素子３０１２に含まれる複数の第２の光電変換部４１２から出力された信号から、第２の画像信号が生成される。第２の画像信号は、第２の瞳領域５２０を主に通過した光束が撮像素子３０１２上に形成する像の強度分布を示す。

第１の画像信号と第２の画像信号間の相対的な位置ズレ量（以下、視差量と呼ぶ）は、デフォーカス量に応じた量となる。視差量とデフォーカス量の関係について、図５（Ｂ）、（Ｃ）、（Ｄ）を用いて説明する。

図５（Ｂ）、（Ｃ）、（Ｄ）は撮像素子３０１２、撮像光学系３０１１について示した概略図である。図中の５１１は第１の瞳領域５１０を通過する第１の光束を示し、５２１は第２の瞳領域５２０を通過する第２の光束を示す。

図５（Ｂ）は、合焦時の状態を示しており、第１の光束５１１と第２の光束５２１が撮像素子３０１２上で収束している。この時、第１の光束５１１により形成される第１の画像信号と第２の光束５２１により形成される第２の画像信号間の視差量は０となる。

図５（Ｃ）は、像側でＦａｒ側にデフォーカスした状態を示している。この時、第１の光束５１１により形成される第１の画像信号と第２の光束５２１により形成される第２の画像信号間に視差が生じる。

図５（Ｄ）は像側でＮｅａｒ側にデフォーカスした状態を示している。この時、第１の光束５１１により形成される第１の画像信号と第２の光束５２１により形成される第２の画像信号間に視差が生じる。

図５（Ｃ）と（Ｄ）の視差量は、幾何関係から、デフォーカス量に応じて変化することが分かる。従って、後述するように、第１の画像信号と第２の画像信号との間の視差量を領域ベースのマッチング手法により検出し、視差量を所定の変換係数を介してデフォーカス量に変換することができる。さらに、撮像光学系３０１１の結像公式を用いることで、像側のデフォーカス量を、物体までの距離に変換することができる。

以上が、像面位相差測距方式による測距原理の説明である。本実施形態では、位相差測距部３１０２が、像面位相差測距方式により第１の画像信号と第２の画像信号から距離データを生成する。

図６は第１の実施形態に係る白つぶれ／黒潰れ判定部の処理を示すフローチャートである。

ステップＳ１では、前フレームで撮像した画像信号を用いて、判定部３１０４にて白飛び、もしくは黒潰れ、もしくはそれらの両方が含まれていないかを判定する。白飛びや黒潰れが画像信号内にないと判定された場合は、ステップＳ２に移行する。白飛びや黒潰れが画像信号内にあると判定された場合は、ステップＳ６に移行する。

ステップＳ２では、ステレオカメラ３０００により撮像された画像信号の現像を判定部３１０４から現像部３１０１へ指示する。撮像装置３０１０及び撮像装置３０２０で取得した画像信号を現像部３１０１でディベイヤー処理を行い現像画像を生成し、ステップＳ３に移行する。

ステップＳ３では、撮像装置３０１０で取得した第１の画像信号、第２の画像信号を用いて像面位相差測距を行う処理を、判定部３１０４から位相差測距部３１０２へ指示する。距離データの生成方法は先述の方法で行う。位相差測距部３１０２で測距データが完了したらステップＳ４に移行する。

ステップＳ４では、撮像装置３０１０、撮像装置３０２０で取得した画像信号を用いてステレオ測距を行う処理を、判定部３１０４からステレオ測距部３１０３へ指示する。距離データの生成方法は先述の方法で行う。ステレオ測距部３１０３で測距データの生成が完了したらステップＳ５へ移行する。

ステップＳ５では、ステップＳ２にて現像した画像と生成した距離情報を画像合成部３１０６にて合成して、表示部３２００に表示するための画像を生成する。生成した合成画像は表示部３２００に伝送し、表示部３２００にする。ステップＳ２、ステップＳ３、ステップＳ４、ステップＳ５は通常モードの動作である。図７は、通常モード時の測距可能範囲及びに撮像可能範囲を示す。図２と同様に、縦軸に被写体の明るさを示し、下に行くほど被写体が暗いことを示し、上に行くほど被写体が明るいことを示している。各撮像可能範囲よりも明るい部分は白飛びする範囲で、暗い範囲は黒潰れする範囲となる。また、測距可能範囲は、測距可能範囲７００で示す。

ステップＳ６では、ＨＤＲモードに移行するためにステレオカメラを構成する撮像装置３０１０と撮像装置３０２０とで露光時間を異ならせる制御を行う。この制御を行うことで広いダイナミックレンジの画像を生成することができる。図３のステレオカメラを例にとると、撮像素子３０１２と撮像素子３０２２とで露光時間を異ならせて、撮像素子３０１２の露光時間を長く、撮像素子３０２２の露光時間を短くすることにより、露光期間の異なる２つの画像データを生成することができる。撮像素子３０１２から出力される第１出力信号は撮像対象のうち暗部を明るく撮像した画像を出力し、撮像素子３０２２から出力される第２出力信号は撮像対象のうち明部の飽和を抑制した画像を出力することができる。第１出力信号と第２出力信号を合成することにより、暗部を明るく表現しつつ、明部の飽和を抑制するような、広いダイナミックレンジの画像を取得することができる。それぞれの出力信号は現像部３１０１と位相差測距部３１０２、ステレオ測距部３１０３と伝送され、ステップＳ７に移行する。

ステップＳ７では、現像部３１０１にてＨＤＲ画像の生成を判定部３１０４から指示する。撮像装置３０１０と撮像装置３０２０から出力される画像信号を現像部３１０１でディベイヤー処理を行い現像画像を生成する。ＨＤＲ画像を生成する際には、いずれか一方の画像を基準の画像とし、その基準の画像に対して露出が適切でない（白飛びや黒潰れが存在する）場合はもう一つの画像の該当領域の画素の輝度値を用いて画像合成を行う。このようにすることで、明部から暗部まで適切な露出で撮像された画像を得ることができる。ＨＤＲ画像の生成が完了したらステップＳ８へ移行する。

ステップＳ８では、撮像装置３０１０で取得した第１の画像信号、第２の画像信号を用いて像面位相差測距を行う処理を、判定部３１０４から位相差測距部３１０２指示する。距離データの生成方法は先述の方法で行う。位相差測距部３１０２で測距データが完了したらステップＳ９へ移行する。

ステップＳ９では、撮像装置３０１０、撮像装置３０２０で取得した画像信号を用いてステレオ測距を行う処理を、判定部３１０４からステレオ測距部３１０３へ指示する。距離データの生成方法は先述の方法で行う。ステレオ測距部３１０３で測距データの生成が完了したらステップＳ１０へ移行する。

ステップＳ１０では、ステップＳ７にて生成したＨＤＲ画像と距離情報を画像合成部３１０６にて合成して、表示部３２００に表示するための画像を生成する。ステレオ測距部３１０３、位相差測距部３１０２でかぶって測距を行う箇所に関しては、どちらかのみの測距情報優先して使用してもよいし、両方の情報に重み付けをして距離情報を算出するのでもよい。位相差測距部３１０２の測距情報しかない領域に関しては、位相差測距部３１０２の情報をもちいて測距情報を算出する。ＨＤＲモードでの動作時の撮像可能範囲及びに測距可能範囲を図８に示す。撮像装置３０１０と撮像装置３０２０とで露光時間を異ならせることで、撮像可能範囲８０１と撮像可能範囲８０４を合わせた範囲は拡大し撮像のダイナミックレンジが拡大する。また、撮像装置３０２０が白飛びしている範囲白飛び８０３ではステレオ測距することができないため、撮像装置３０１０による像面位相差測距を行う。これにより、測距可能範囲は測距可能範囲８００となり、測距可能範囲７００と比較して測距範囲の広さは狭まっていないということがわかる。ここで生成した合成画像は表示部３２００に伝送し、表示部３２００に表示し一連の動作を終了する。

以上のような構成にすることにより、測距可能範囲を狭めることなく撮像のダイナミックレンジを拡大することができる。一方でステレオ測距と像面位相差測距では基線長の違いにより測距精度が異なる。ＨＤＲが不要な場面では、ステレオ測距により高精度な測距が可能となり、ＨＤＲが必要な場面では、白つぶれや黒潰れが発生することがなくダイナミックレンジの高い測距が可能なシステムである。

＜第２の実施形態＞
以下、本発明の第２の実施形態について説明する。

図９は、本発明の第２の実施形態に関わる撮像システムの構成例を示すブロック図である。本撮像システムはステレオカメラ３３００、処理部３１００、表示部３２００により構成されるシステムである。

ステレオカメラ３３００は、撮像装置３０１０及び撮像装置３０３０で構成される。

撮像装置３０１０は、第１の実施形態と同様のため省略する。

撮像素子３０１２は、光電変換機能を有する画素を２次元状に配列した画素領域を備え、各画素領域は２つの光電変換部（第１の光電変換部、第２の光電変換部）を有する。また、撮像素子３０１２状に結合した被写体像を光電変換して被写体像に基づく画像信号を生成する。なお、撮像素子３０１２は、第１の光電変換部から出力された信号に基づく第１の画像信号および第２の光電変換部から出力された信号に基づく第２の画像信号を、処理部３１００内の現像部３１０１と位相差測距部３１０２に出力する。以上のように撮像素子３０１２が第１の画像信号および第２の画像信号を出力する構成であるため、本実施形態における測距システムは、先述した像面位相差測距方式によっても周辺環境を測距することができる。

撮像装置３０３０は、撮像光学系３０２１と撮像素子３０３２で構成される。

撮像光学系３０２１は、第１の実施形態と同様のため省略する。

撮像素子３０３２は、撮像素子３０１２と同様の構造を持つ撮像素子を使用する。撮像素子３０３２は第１の光電変換部から出力された第１の画像信号（第３の画像信号）と第２の光電変換部から出力された第２の画像信号（第４の画像信号）を、処理部３１００内の現像部３１０１と位相差測距部３１０２に出力する。また、第４の画像信号は、第３の画像信号と互いに視差を有する。

処理部３１００、表示部３２００も、第１の実施形態と同様のため、省略する。

図１０は第２の実施形態に係る撮像システムの動作を示すフローチャートである。

ステップＳ１１では、前フレームで撮像した画像信号を用いて、判定部３１０４にて白飛び、もしくは黒潰れ、もしくはそれらの両方が含まれていないか判定をする。白飛びや黒潰れが画像信号内にないと判定された場合は、ステップＳ１２に移行する。白飛びや黒潰れが画像信号内にあると判定された場合は、ステップＳ１６に移行する。

ステップＳ１２では、ステレオカメラ３０００により撮像された画像信号の現像を判定部３１０４から現像部３１０１へ指示する。撮像装置３０１０及び撮像装置３０３０で取得した画像信号を現像部３１０１でディベイヤー処理を行い現像画像を生成し、ステップＳ１３に移行する。

ステップＳ１３では、撮像装置３０１０、撮像装置３０３０で取得した第１の画像信号、第２の画像信号を用いて像面位相差測距を行う処理を、判定部３１０４から位相差測距部３１０２指示する。距離データ（第３の距離情報）の生成方法は先述の方法で行う。位相差測距部３１０２で測距データが完了したらステップＳ１４に移行する。

ステップＳ１４では、撮像装置３０１０、撮像装置３０３０で取得した画像信号を用いてステレオ測距を行う処理を、判定部３１０４からステレオ測距部３１０３へ指示する。距離データの生成方法は先述の方法で行う。ステレオ測距部３１０３で測距データの生成が完了したらステップＳ１５へ移行する。

ステップＳ１５では、ステップＳ１２にて現像した画像と生成した距離情報を画像合成部３１０６にて合成して、表示部３２００に表示するための画像を生成する。生成した合成画像は、表示部３２００に伝送する。ステップＳ１２、ステップＳ１３、ステップＳ１４、ステップＳ１５は通常モードの動作である。図１１は、通常モード時の測距可能範囲及びに撮像可能範囲を示す。図２と同様に、縦軸を被写体の明るさを示し、下に行くほど被写体が暗いことを示し、上に行くほど被写体が明るいことを示している。撮像装置３０１０と撮像装置３０３０の撮像可能範囲はそれぞれ、撮像可能範囲７１１と撮像可能範囲７１２である。各撮像装置における撮像可能範囲より明るい範囲は白飛びの領域となり、暗い範囲は黒潰れする領域となる。また、測距可範囲は、測距可能範囲７１０で示す。

ステップＳ１６では、ＨＤＲモードでの動作のため各撮像装置の撮像素子３０１２と撮像素子３０３２とで露光時間を異ならせる制御を行う。ＨＤＲモードで出力された画像信号は現像部と位相差測距部へ伝送されステップＳ１７に移行する。

ステップＳ１７では、現像部３１０１でのＨＤＲ画像の生成を判定部３１０４から指示する。撮像装置３０１０と撮像装置３０３０から出力される画像信号を現像部３１０１でディベイヤー処理を行い現像画像を生成する。ＨＤＲ画像を生成する際には、いずれか一方の画像を基準の画像とし、その基準の画像に対して露出が適切でない（白飛びや黒潰れが存在する）場合はもう一つの画像の該当領域の画素の輝度値を用いて画像合成を行う。このようにすることで、明部から暗部まで適切な露出で撮像された画像を得ることができる。ＨＤＲ画像の生成が完了したらステップＳ１８へ移行する。

ステップＳ１８では、撮像装置３０１０、撮像装置３０３０で取得した第１の画像信号、第２の画像信号を用いて像面位相差測距を行う処理を、判定部３１０４から位相差測距部３１０２へ指示する。距離データの生成方法は先述の方法で行う。位相差測距部３１０２で測距データが完了したらステップＳ１９へ移行する。

ステップＳ１９では、撮像装置３０１０、撮像装置３０２０で取得した画像信号を用いてステレオ測距を行う処理を、判定部３１０４からステレオ測距部３１０３へ指示する。距離データの生成方法は先述の方法で行う。ステレオ測距部３１０３で測距データの生成が完了したらステップＳ２０へ移行する。

ステップＳ２０では、ステップＳ１７にて生成したＨＤＲ画像と距離情報を画像合成部３１０６に伝送し、表示部３２００に表示するための画像を画像合成部３１０６にて生成する。ステレオ測距部３１０３と、位相差測距部３１０２とで測距可能範囲が重複している箇所に関しては、どちらかのみの測距情報優先して使用してもよいし、両方の情報に重み付けをして距離情報を算出するのでもよい。たとえば、位相差測距部３１０２による測距よりもステレオ測距部３１０３による測距の方が測距精度が高いため、測距可能範囲が重複している箇所についてはステレオ測距部３１０３による測距情報を優先して使用してもよい。位相差測距部３１０２の測距情報しかない領域に関しては、位相差測距部３１０２の情報をもちいて測距情報を算出する。ＨＤＲモードでの動作時の撮像可能範囲及びに測距可能範囲を図１２に示す。撮像装置３０１０と撮像装置３０３０とで露光時間を異ならせることで、撮像可能範囲８１１と撮像可能範囲８１４を合わせた範囲は拡大し撮像のダイナミックレンジが拡大する。また、撮像装置３０３０が白飛びしている範囲白飛び８１３ではステレオ測距することができないため、撮像装置３０１０による像面位相差測距を行う。また、撮像装置３０１０が黒潰れしている範囲黒潰れ８１２では、撮像装置３０３０による像面位相差測距を行う。これにより、測距可能範囲は測距可能範囲８１０となり、測距可能範囲７１０と比較して測距範囲の広さは狭まっていないということがわかる。ここで生成した合成画像は表示部３２００に伝送し、表示部３２００に表示すし一連の動作を終了する。

以上のような構成にすることにより、測距可能範囲を狭めることなく撮像のダイナミックレンジを拡大することができる。一方でステレオ測距と像面位相差測距では基線長の違いにより測距精度が異なる。ＨＤＲが不要な場面では、ステレオ測距により高精度な測距が可能となり、ＨＤＲが必要な場面では、白つぶれや黒潰れが発生することがなくダイナミックレンジの高い測距が可能なシステムである。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。

また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

３０００、３３００ ステレオカメラ
３０１０、３０２０、３０３０ 撮像装置
３０１１、３０２１ 撮像光学系
３０１２、３０２２、３０３２ 撮像素子
３１００ 処理部
３１０１ 現像部
３１０２ 位相差測距部
３１０３ ステレオ測距部
３１０４ 判定部
３１０５ 露出制御部
３１０６ 画像合成部
３２００ 表示部
３０２ 撮像素子
４１０ 画素群
４１１ 第２の光電変換部
４１２ 第１の光電変換部

Claims (11)

1. 撮像により、互いに視差を有する第１の画像信号および第２の画像信号を出力する第１の撮像手段と、
   撮像により、前記第１の画像信号および前記第２の画像信号との間に視差を有する第３の画像信号を出力する第２の撮像手段と、
   前記第１の画像信号および前記第２の画像信号、前記第３の画像信号に基づいて画像情報を生成する現像手段と、
   前記第１の画像信号および前記第２の画像信号に基づいて第１の距離情報を生成する位相差測距手段と、
   前記第１の画像信号および前記第２の画像信号と、前記第３の画像信号とに基づいて第２の距離情報を生成するステレオ測距手段と、
   前記第１の画像信号および前記第２の画像信号に基づく前記第１の撮像手段により撮像された画像の状態の判定、および、前記第３の画像信号に基づく前記第２の撮像手段により撮像された画像の状態の判定の少なくとも一方を実行する判定手段と、
   前記画像の状態に基づいて、前記第１の撮像手段および前記第２の撮像手段のうち少なくとも一方の露光時間を他方よりも長くなるように制御する制御手段と、
   前記露光時間の制御の後、前記画像情報と、前記第１の距離情報および前記第２の距離情報の少なくとも一方とに基づいて、距離画像情報を生成する画像合成手段と
   を有することを特徴とする撮像システム。
2. 前記判定手段は、前記第１の画像信号および前記第２の画像信号の輝度値に基づく前記第１の撮像手段により撮像された画像の白飛びもしくは黒潰れがあることの判定、および、前記第３の画像信号の輝度値に基づく前記第２の撮像手段により撮像された画像の白飛びもしくは黒つぶれがあることの判定の少なくとも一方を実行する
   ことを特徴とする請求項１に記載の撮像システム。
3. 前記判定手段は、前記第１の画像信号および前記第２の画像信号の少なくとも一方の輝度値が第１の閾値以上の場合に画像に白飛びがあることを判定し、前記第１の画像信号および前記第２の画像信号の輝度値が前記第１の閾値よりも小さい第２の閾値以下の場合に画像に黒潰れがあることを判定し、
   前記判定手段により白飛びおよび黒潰れの少なくとも一方がある場合に、前記制御手段は、白飛びおよび黒潰れの少なくとも一方を抑えるように露光時間を制御する
   ことを特徴とする請求項２に記載の撮像システム。
4. 前記ステレオ測距手段は、前記現像手段により生成された画像情報に基づいて第２の距離情報を生成する
   ことを特徴とする請求項２に記載の撮像システム。
5. 前記画像合成手段は、前記第２の距離情報および前記画像情報に基づいて距離画像情報を生成する
   ことを特徴とする請求項４に記載の撮像システム。
6. 前記判定手段は、前記第１の画像信号および前記第２の画像信号に基づく前記第１の撮像手段により撮像された画像の状態の判定を実行し、
   前記制御手段は、前記判定手段により判定された前記第１の撮像手段により撮像された画像の状態に基づいて、前記第１の撮像手段の露光時間を制御する
   ことを特徴とする請求項１に記載の撮像システム。
7. 前記判定手段により前記第１の撮像手段により撮像された画像もしくは前記第２の撮像手段により撮像された画像の少なくとも一方に白飛びもしくは黒つぶれがあると判定された場合、前記画像合成手段は、前記位相差測距手段により生成された前記第１の距離情報に基づいて距離画像情報を生成する
   ことを特徴とする請求項５に記載の撮像システム。
8. 前記第２の撮像手段は、前記第３の画像信号と互いに視差を有する第４の画像信号を撮像により出力し、
   前記位相差測距手段は、前記第３の画像信号および前記第４の画像信号から出力される第２の画像信号に基づいて第３の距離情報を生成し、
   前記画像合成手段は、前記第３の距離情報に基づいて、距離画像情報を生成する
   ことを特徴とする請求項１に記載の撮像システム。
9. 撮像により第１の撮像手段から出力された、第１の画像信号および前記第１の画像信号と互いに視差を有する第２の画像信号と、撮像により第２の撮像手段から出力された、前記第１の画像信号および前記第２の画像信号と互いに視差を有する第３の画像信号とに基づいて画像情報を生成する現像手段と、
   前記第１の画像信号および前記第２の画像信号に基づいて第１の距離情報を生成する位相差測距手段と、
   前記第１の画像信号および前記第２の画像信号と、前記第３の画像信号とに基づいて第２の距離情報を生成するステレオ測距手段と、
   前記第１の画像信号および前記第２の画像信号に基づく前記第１の撮像手段により撮像された画像の状態の判定、および、前記第３の画像信号に基づく前記第２の撮像手段により撮像された画像の状態の判定の少なくとも一方を実行する判定手段と、
   前記画像の状態に基づいて、前記第１の撮像手段および前記第２の撮像手段のうち少なくとも一方の露光時間を他方よりも長くなるように制御する制御手段と、
   前記露光時間の制御の後、前記第１の距離情報および前記第２の距離情報の少なくとも一方と、前記画像情報とに基づいて、距離画像情報を生成する画像合成手段と
   を有することを特徴とする情報処理装置。
10. 第１の撮像手段による撮像により、互いに視差を有する第１の画像信号および第２の画像信号を出力するによる第１の撮像工程と、
    第２の撮像手段による撮像により、前記第１の画像信号および前記第２の画像信号との間に視差を有する第３の画像信号を出力する第２の撮像工程と、
    前記第１の画像信号および前記第２の画像信号、前記第３の画像信号に基づいて画像情報を生成する現像工程と、
    前記第１の画像信号および前記第２の画像信号に基づいて第１の距離情報を生成する位相差測距工程と、
    前記第１の画像信号および前記第２の画像信号と、前記第３の画像信号とに基づいて第２の距離情報を生成するステレオ測距工程と、
    前記第１の画像信号および前記第２の画像信号に基づく前記第１の撮像工程により撮像された画像の状態の判定、および、前記第３の画像信号に基づく前記第２の撮像工程により撮像された画像の状態の判定の少なくとも一方を実行する判定手段と、
    前記画像の状態に基づいて、前記第１の撮像工程および前記第２の撮像工程のうち少なくとも一方の露光時間を他方よりも長くなるように制御する制御手段と、
    前記露光時間の制御の後、前記画像情報と、前記第１の距離情報および前記第２の距離情報の少なくとも一方とに基づいて、距離画像情報を生成する画像合成工程と
    を有することを特徴とする撮像方法。
11. コンピュータを、請求項１～８のいずれか１項に記載の撮像システムの各手段として機能させるためのプログラム。

Images