JPWO2012137434A1 - 立体撮像装置 - Google Patents

Abstract

立体撮像装置（１００）は、被写体の立体形状を表す第１の距離画像を算出するための基準画像を生成する第１の撮像カメラ（Ｃ１）と、第１の距離画像を算出するための参照画像を生成する第２の撮像カメラ（Ｃ２）と、基準画像と参照画像との間における対応画素を探索し当該対応画素から視差を算出して第１の距離画像を生成するステレオマッチング部（３）と、強度変調された赤外光を被写体に向けて照射する光源（１）とを備え、第１の撮像カメラ（Ｃ１）は、強度変調された赤外光が被写体から反射した反射光を、当該強度変調に同期して受光することにより、被写体の反射点からの距離情報を含む第２の距離画像をさらに生成する。

Description

本発明は、被写体の立体形状を表す距離画像を取得する立体撮像装置に関する。

立体撮像装置は、被写体の画像情報を取得するだけでなく、その立体形状や距離情報を画像形式で表した、いわゆる距離画像を取得することを目的とした撮像装置である。立体撮像装置は、例えば、自動車用の障害物検知システムや医療用の手術支援カメラシステム、さらには大型ゲーム機のジェスチャー認識システムなどさまざまな分野に利用されている。

この立体撮像装置の代表的な撮像方式として、被写体に向けて強度変調された光（一般的には赤外光）を照射して、照射した光が被写体から戻ってくるまでの時間（ＴＯＦ：Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）を画素毎に計測することによって距離画像を取得する、いわゆるＴＯＦ方式が開示されている。

具体的には、例えば、時間が経過するにつれて光強度が減少するように変調された光を被写体に照射し、その被写体からの反射光を、所定のシャッタータイミングおよびシャッター時間において取得するＴＯＦ方式の立体撮像カメラ（以降、ＴＯＦカメラとも呼ぶ）が実用化されている。このようなカメラでは、照射光の光強度が時間に対して減少するように変調されている。よって、カメラから被写体までの距離が近いほど、光の飛行時間（カメラから照射された光が被写体で反射し、再びカメラに戻ってくるまでの時間）が短くなり、その分、照射光の減少量が小さいため反射光の強度は大きくなる。一方、カメラから被写体までの距離が遠いほど光の飛行時間が長くなり、その分、照射光の減少量が大きくなるため反射光の強度は小さくなる。このようにして、各画素にて受けた受光強度は、被写体までの距離が近いほど大きくなるため、画素毎の受光強度から被写体までの距離情報が画像の輝度として表現される。

また、特許文献１には、ＴＯＦ方式とは別に、被写体に光を照射することなく被写体の立体撮像を行う撮像方式が開示されている。具体的には、所定間隔をあけて平行に配置された２台のカメラを用いて被写体を撮像し、取得された２つの画像（基準カメラによる基準画像、および、参照カメラによる参照画像）の間で、対応する画素の探索（ステレオマッチング）を行う。そして、対応する被写体画像部分のずれ量を三角測量の原理を用いて計測することで被写体の距離画像を取得する、いわゆるステレオマッチング方式が実行される。さらには、上記のステレオマッチング方式の２台のカメラに加えて、これらと別の位置に、ＴＯＦ方式のカメラを１台追加する立体撮像装置が提案されている。

特開２００９−４７４９７号公報

特許文献１で開示された従来技術の立体撮像装置では、まず、ステレオカメラの２台のうちの一方のカメラにより取得した画像から被写体のシルエットを抽出することで被写体を検出する。そして次に、その被写体のシルエットの範囲内でのみステレオマッチングによる対応画素探索を行い、対応画素が見つかればステレオマッチング方式により距離画像を生成する。一方、被写体のシルエットの範囲内で対応画素探索が出来なかった場合には、対応するＴＯＦ方式の画素データを適用してステレオマッチング方式による距離画像のデータを補うとしている。

しかしながら、特許文献１に記載された立体撮像装置では、追加されたＴＯＦカメラは、ステレオカメラを構成する２台のカメラのいずれとも別の位置に配置されている。このため、カメラから被写体までの視点がわずかにずれてしまい、ステレオマッチング方式による対応画素探索が出来なかった場合には、ステレオカメラの画素データの一部をＴＯＦ方式の画素データで補う際に画像の視線にズレが生じてしまう。これにより、距離画像データの補正がうまく機能しないという課題がある。

また、特許文献１に記載された立体撮像装置は、ステレオマッチング方式の２台のカメラに加え、もう１台の別のカメラを配置させた３眼式のセット構成のため、撮像装置の小型化が困難であるという課題を有している。

本発明は、上記課題に鑑みてなされたものであり、ステレオマッチング方式による対応画素探索ができなかった場合における距離画像データの補正時においても、画像の視線にズレが生じず、小型化可能な立体撮像装置を提供することを目的とする。

上記課題を解決するために、本発明の一態様に係る立体撮像装置は、被写体を撮像することにより、当該被写体の立体形状を画像形式で表した第１の距離画像を算出するための基準画像を生成する第１の撮像部と、前記第１の撮像部と異なる位置から前記被写体を撮像することにより、前記第１の距離画像を算出するための参照画像を生成する第２の撮像部と、前記基準画像と前記参照画像との間における対応画素を探索する対応画素探索部と、前記対応画素から視差を算出して前記第１の距離画像を生成する第１の距離画像生成部と、強度変調された赤外光を前記被写体に向けて照射する光源と、前記強度変調と同期した同期信号を第１の撮像部に供給する同期信号供給部とを備え、前記第１の撮像部は、前記強度変調された赤外光が前記被写体から反射した反射光を、前記同期信号に基づいて受光することにより、前記被写体の反射点からの距離情報を含む第２の距離画像をさらに生成することを特徴とする。

上記構成によれば、いわゆるステレオマッチング方式により生成される第１の距離画像を取得するための基準側撮像部である第１の撮像部が、いわゆるＴＯＦ方式により生成される第２の距離画像をも生成する。ここで、ステレオマッチング方式とは、基準画像と参照画像との間における対応画素を探索することにより視差を算出する方式であり、ＴＯＦ方式とは、変調赤外光の反射光を当該変調に同期して受光する方式である。よって、第１の距離画像と第２の距離画像との間で、視線が完全に一致する。そのため、第１の距離画像を生成する際に、対応画素探索が出来なかった画素があった場合に、第２の距離画像の対応画素のデータで置き換えても視線のズレが生じることはない。

また、上記構成では、第１の距離画像を生成するための基準側である第１の撮像部が、第２の距離画像の生成をも兼ねていることから、２眼式の構成となりセット構成の簡素化が実現できる。

また、さらに、前記第１の距離画像のデータと前記第２の距離画像のデータとを、対応する画素間で比較することにより、前記第１の距離画像に含まれる前記被写体の距離情報及び前記第２の距離画像における前記距離情報の精度を判定する距離測定精度判定部を備え、距離測定精度判定部は、前記距離情報の判定結果に基づいて、前記第１の距離画像及び前記第２の距離画像から画素データを再構成した第３の距離画像を出力することが好ましい。

これにより、第１の距離画像データおよび第２の距離画像データを比較し距離測定精度を判定することで、距離測定精度の低いデータを距離測定精度の高いデータへと画素データを再構成することが可能となる。

また、前記距離測定精度判定部は、前記第１の距離画像の生成時に、前記対応画素探索部において前記対応画素が探索できなかった画素があった場合、当該画素のデータを前記第２の距離画像における画素データで置換した第３の距離画像を出力してもよい。

これにより、第１の距離画像の画素データを、第２の距離画像の対応する画素のデータで置き換えても視線のズレが生じることはない。ゆえに、距離画像データの補正が正しく機能し、距離画像データの高精度化が実現できる。

また、前記第１の撮像部および第２の撮像部はいずれも、赤色の可視光と赤外光とを透過させるフィルタを有する第１単位画素と、緑色の可視光と赤外光とを透過させるフィルタを有する第２単位画素と、青色の可視光と赤外光とを透過させるフィルタを有する第３単位画素と、赤外光を透過させるフィルタを有する第４単位画素とで構成される一組の単位配列が２次元状に配列された撮像領域を有する固体撮像素子と、前記固体撮像素子から可視光によるカラー画像信号および赤外光による画像信号を抽出する信号抽出部とを備え、前記第１の撮像部は、前記画像信号から前記基準画像または前記第２の距離画像を生成し、前記第２の撮像部は、前記画像信号から前記参照画像を生成してもよい。

これにより、明るい環境下での撮像時には赤外差分演算により可視光による画像信号を取得できるとともに、暗い環境下での撮像時には赤外光による画像信号（モノクロ画像信号）を取得できるため、明るい環境下での撮像と暗い環境下での撮像の兼用化が実現できる。

加えて、以上のようなカラーフィルタの配列とすることにより、赤外光による画像信号を受光素子上の全画素から取得できるので、第２の距離画像の高解像度化が実現できるとともに、赤外光を用いた撮像時に得られる画像の高解像度化も実現できる。

また、前記第１の撮像部および第２の撮像部はいずれも、特定の波長域の可視光と赤外光とを透過させるフィルタを有する第１単位画素と、前記フィルタを有する第２単位画素と、前記フィルタを有する第３単位画素と、赤外光を透過させるフィルタを有する第４単位画素とで構成される一組の単位配列が２次元状に配列された撮像領域を有する固体撮像素子と、前記固体撮像素子から可視光による画像信号および赤外光による画像信号を抽出する信号抽出部とを備え、前記第１の撮像部は、前記画像信号から前記基準画像または前記第２の距離画像を生成し、前記第２の撮像部は、前記画像信号から前記参照画像を生成してもよい。

これにより、可視光によるカラー画像が必要でないような場合においては、可視光の特定波長領域および赤外光の波長帯に感度を有するカラーフィルタを設ける構造でもよい。

また、前記信号抽出部は、前記第１単位画素からの信号、前記第２単位画素からの信号、前記第３単位画素からの信号のそれぞれから、前記第４単位画素からの信号を差分する赤外差分部を備え、前記赤外差分部により生成された可視光による画像信号および前記第１〜第４単位画素のいずれかの画素より生成された輝度信号から、前記可視光による画像信号または前記赤外光による画像信号を抽出してもよい。

これにより、赤外差分部により、（赤色＋赤外）信号、（緑色＋赤外）信号および（青色＋赤外）信号のそれぞれから、赤外信号を減算することによりカラー信号が生成できる。よって、輝度信号にカラー信号を合成することにより、カラー画像信号を容易に得ることができる。さらに、赤外光照射を加えた状態では、すべての画素が赤外光に感度を有するので輝度信号量を十分確保できるためコントラストの良い赤外光画像信号を合成することが可能となる。

本発明によれば、基準画像と参照画像との間における対応画素を探索することにより視差を算出する、いわゆるステレオマッチング方式により生成される第１の距離画像を生成する第１の撮像部が、変調赤外光の反射光を当該変調に同期して受光する、いわゆるＴＯＦ方式により生成される第２の距離画像をも生成する。これにより、第１の距離画像を生成する際に、対応画素探索が出来なかった画素に対して、第２の距離画像の対応画素のデータで補完しても視線のズレが生じない。よって、２眼視による距離画像データの補正が可能となり、距離画像データの高精度化が実現できる。

図１は、本発明の実施の形態に係る立体撮像装置の主要構成を示すブロック図である。 図２は、本発明の実施の形態に係る第１の撮像カメラの主要構成を示すブロック図である。 図３は、本発明の実施の形態に係る第２の撮像カメラの主要構成を示すブロック図である。 図４は、本発明の実施の形態に係る固体撮像素子の機能ブロック図である。 図５は、本発明の実施の形態に係る第１の撮像カメラに内蔵された固体撮像素子の概略構成および画素配列を示す図である。 図６Ａは、本発明の実施の形態に係る、青色光および赤外光の波長帯に感度を有する単位画素の分光感度特性を表すグラフである。 図６Ｂは、本発明の実施の形態に係る、緑色光および赤外光の波長帯に感度を有する単位画素の分光感度特性を表すグラフである。 図６Ｃは、本発明の実施の形態に係る、赤色光および赤外光の波長帯に感度を有する単位画素の分光感度特性を表すグラフである。 図６Ｄは、本発明の実施の形態に係る、赤外光の波長帯のみに感度を有する単位画素の分光感度特性を表すグラフである。 図７Ａは、図６Ａの分光感度特性から図６Ｄの分光感度特性を減算したときの分光感度特性を表すグラフである。 図７Ｂは、図６Ｂの分光感度特性から図６Ｄの分光感度特性を減算したときの分光感度特性を表すグラフである。 図７Ｃは、図６Ｃの分光感度特性から図６Ｄの分光感度特性を減算したときの分光感度特性を表すグラフである。 図８Ａは、本発明の実施の形態に係る、可視光の特定波長領域および赤外光の波長帯に感度を有する単位画素の分光感度特性を表すグラフである。 図８Ｂは、本発明の実施の形態に係る、可視光の特定波長領域および赤外光の波長帯に感度を有する単位画素の分光感度特性を表すグラフである。 図８Ｃは、本発明の実施の形態に係る、可視光の特定波長領域および赤外光の波長帯に感度を有する単位画素の分光感度特性を表すグラフである。 図８Ｄは、本発明の実施の形態に係る、赤外光の波長帯のみに感度を有する単位画素の分光感度特性を表すグラフである。 図９は、本発明の実施の形態に係る立体撮像装置において行われる処理のフローチャートである。 図１０は、本発明の実施の形態に係る２台の撮像カメラが取得する画像情報の関係を示す図である。 図１１は、ステレオマッチング方式により視差を算出する方法を説明する図である。 図１２は、本発明の実施の形態の比較例に係る立体撮像装置の画素配列を示す図である。 図１３は、ＩＲ１フィルタおよびＩＲ２フィルタの分光特性の一例を示すグラフである。

以下、本発明に係る実施の形態について、図面を参照しながら説明する。なお、本発明について、以下の実施の形態および添付の図面を用いて説明を行うが、これは例示を目的としており、本発明がこれらに限定されることを意図しない。

図１は、本発明の実施の形態に係る立体撮像装置１００の主要構成を示すブロック図である。同図に記載された立体撮像装置１００は、第１の撮像カメラＣ１と、第２の撮像カメラＣ２と、光源１と、撮像制御部２と、ステレオマッチング部３と、変調信号発生部４と、距離測定精度判定部５と、画像出力切替制御部６とを備える。

立体撮像装置１００は、その前面部に、被写体ＯＢＪに向けて赤外光Ｌ１を照射する光源１と、前記被写体ＯＢＪからの反射光Ｒ１を受光して被写体ＯＢＪを撮像する第１の撮像カメラＣ１と、被写体ＯＢＪからの反射光Ｒ２を受光して被写体ＯＢＪを撮像する第２の撮像カメラＣ２とが配置されている。ここで、反射光Ｒ１およびＲ２は、赤外光Ｌ１が被写体ＯＢＪにあたって反射した光のほかに、例えば、太陽光などの環境光Ｌ０が被写体ＯＢＪにあたって反射した光を含んでいてもよい。

第１の撮像カメラＣ１および第２の撮像カメラＣ２は、それぞれ、ステレオマッチングにより被写体ＯＢＪの立体形状を表す第１の距離画像を生成するための基準画像および参照画像を取得する撮像部であり、所定間隔をあけて平行に配置されている。

第１の撮像カメラＣ１による撮像および第２の撮像カメラＣ２による撮像は、撮像制御部２から送られる同期信号Ｓｇ１およびＳｇ２によりシャッタータイミングの同期が取られている。

第１の撮像カメラＣ１に入射した反射光Ｒ１は、第１の撮像カメラＣ１を通して画像信号Ｇ１に変換され、その画像信号Ｇ１はステレオマッチング部３に送られるとともに、画像出力切替制御部６にも送られる。一方、第２の撮像カメラＣ２に入射した反射光Ｒ２は、第２の撮像カメラＣ２を通して画像信号Ｇ２に変換され、その画像信号Ｇ２はステレオマッチング部３に送られるとともに、画像出力切替制御部６にも送られる。ここで、画像信号Ｇ１および画像信号Ｇ２は、それぞれ、ステレオマッチングの基準側および参照側の画像信号に相当する。

ステレオマッチング部３は、画像信号Ｇ１と画像信号Ｇ２との間における対応画素を探索する対応画素探索部であり、また、当該対応画素に基づいて被写体画像部分のずれ量を三角測量の原理を用いて計測することで第１の距離画像信号Ｄ１を生成する第１の距離画像生成部でもある。生成された第１の距離画像信号Ｄ１は距離測定精度判定部５に送られる。

変調信号発生部４は、光源１に変調信号Ｓｇ３を与えるとともに第１の撮像カメラＣ１に変調信号Ｓｇ３と同期した同期信号Ｓｇ４を与える同期信号供給部でもある。

さらに、第１の撮像カメラＣ１は、変調信号Ｓｇ３により光強度が変調された赤外光Ｌ１が被写体ＯＢＪにあたって反射した光を含む反射光Ｒ１を、同期信号Ｓｇ１の情報をもとに所定のシャッタータイミングおよびシャッター時間において受光する。第１の撮像カメラＣ１は、照射した光が被写体から戻ってくるまでの時間を画素毎に計測することにより、被写体ＯＢＪの反射点からの距離情報を含む第２の距離画像信号Ｄ２を生成する機能を備えたＴＯＦ型のカメラでもある。つまり、本実施の形態における第１の撮像カメラＣ１は、第２の距離画像生成部でもある。生成された第２の距離画像信号Ｄ２は距離測定精度判定部５に送られる。

距離測定精度判定部５は、第１の距離画像信号Ｄ１および第２の距離画像信号Ｄ２のそれぞれのデータを、対応する画素間で比較を行って、距離測定の精度を判定する。その判定結果をもとに、第１の距離画像信号Ｄ１および第２の距離画像信号Ｄ２から必要に応じてデータを再構成した第３の距離画像信号Ｄ３を生成する。望ましくは、距離測定精度判定部５は、第１の距離画像信号Ｄ１の生成時にステレオマッチング部３において対応画素が探索できなかった画素があった場合に、該当の画素データを第２の距離画像信号Ｄ２における画素データで置換して第３の距離画像信号Ｄ３を生成する機能を有している。生成された第３の距離画像信号Ｄ３は画像出力切替制御部６に送られる。

画像出力切替制御部６は、画像信号Ｇ１と画像信号Ｇ２と第３の距離画像信号Ｄ３をディスプレイ７上に選択的にあるいは同時に出力するための切替制御を行う。

上記構成によれば、ステレオマッチング方式による第１の距離画像を生成するための基準側撮像部である第１の撮像カメラＣ１が、ＴＯＦ方式による第２の距離画像をも生成する。よって、第１の距離画像と第２の距離画像との間で、視線が完全に一致する。そのため、ステレオマッチング方式により第１の距離画像を生成する際に、対応画素探索が出来なかった画素があった場合に、ＴＯＦ方式による第２の距離画像の対応する画素のデータで置き換えても視線のズレが生じることはない。ゆえに、距離画像データの補正が正しく機能し、距離画像データの高精度化が実現できる。

また、上記構成では、ステレオカメラ方式の基準側である第１の撮像部がＴＯＦ方式の距離画像生成をも兼ねていることから、２眼式の構成となりセット構成の簡素化が実現できる。

また、距離測定精度判定部５が、第１の距離画像データおよび第２の距離画像データを比較し距離測定精度を判定することで、距離測定精度の低いデータを距離測定精度の高いデータへと画素データごとに相互補完することが可能となる。

具体的には、ステレオマッチング方式による第１の距離画像の画素データを、ＴＯＦ方式による第２の距離画像の対応する画素のデータで置き換えても視線のズレが生じることはない。ゆえに、距離画像データの補正が正しく機能し、距離画像データの高精度化が実現できる。

以上が、本発明の実施の形態に係る立体撮像装置１００の主要構成である。

次に、図２、図３を用いて、本発明の実施の形態に係る第１の撮像カメラＣ１および第２の撮像カメラＣ２の主要構成について説明する。

図２は、本発明の実施の形態に係る第１の撮像カメラＣ１の主要構成を示すブロック図である。同図に記載された第１の撮像カメラＣ１は、レンズ１１と、固体撮像素子１２と、画像信号抽出部１３と、素子駆動部１４と、距離画像信号抽出部１５とを備える。

レンズ１１は、第１の撮像カメラＣ１に入射した光Ｒ１を固体撮像素子１２の撮像領域上に結像させるための集光素子である。

固体撮像素子１２は、レンズ１１によって集光された光を光電変換して電荷信号に変換する半導体素子である。

画像信号抽出部１３は、固体撮像素子１２によって生成された電荷信号から画像信号を生成するユニットである。

素子駆動部１４は、固体撮像素子１２の各画素から電荷信号を取り出すユニットである。素子駆動部１４は、撮像カメラの外部にある変調信号発生部４から送信される同期信号Ｓｇ４を受け取る受信部が設けられており、同期信号Ｓｇ４の情報をもとに所定のシャッタータイミングおよびシャッター時間において、固体撮像素子１２の各画素から電荷信号を取り出す機能を有している。

距離画像信号抽出部１５は、固体撮像素子１２によって生成された電荷信号から第２の距離画像信号Ｄ２を生成するユニットである。

一方、図３は、本発明の実施の形態に係る第２の撮像カメラＣ２の主要構成を示すブロック図である。同図に記載された第２の撮像カメラＣ２は、レンズ２１と、固体撮像素子２２と、画像信号抽出部２３と、素子駆動部２４とを備える。

レンズ２１は、第２の撮像カメラＣ２に入射した光を固体撮像素子２２の撮像領域上に結像させるための集光素子である。

固体撮像素子２２は、レンズ２１によって集光された光を光電変換して電荷信号に変換する半導体素子である。

画像信号抽出部２３は、固体撮像素子２２によって生成された電荷信号から画像信号を生成するユニットである。

素子駆動部２４は、固体撮像素子２２の各画素から電荷信号を取り出すユニットである。

図４は、本発明の実施の形態に係る固体撮像素子１２または２２の機能ブロック図である。同図に記載された固体撮像素子１２または２２は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の固体撮像素子であり、画素部（画素アレイ）５０と、垂直走査回路（行走査回路）５４と、通信・タイミング制御部６０と、ＡＤ変換（アナログ／デジタルコンバータ）回路５５と、参照信号生成部５７と、出力Ｉ／Ｆ６８と、信号保持スイッチ６６と、信号保持容量６７と、カラムアンプ５２とを備える。以下、図４を参照して、固体撮像素子１２および２２の機能について説明する。

画素部５０は、複数の単位セル５０Ａが半導体基板のウェルに２次元状（行列状）に配列されて構成される。各単位セル５０Ａは、複数の単位画素（光電変換素子）を含んで構成される。各単位セル５０Ａは、垂直走査回路５４で制御される信号線と、単位セル５０Ａからの電圧信号をＡＤ変換回路５５に伝達する垂直信号線５９とに接続される。

垂直走査回路５４は、単位セル５０Ａを垂直方向に行単位で走査し、垂直信号線５９に電圧信号を出力させる単位セル５０Ａの行を選択する。

通信・タイミング制御部６０は、外部端子を介して入力されたマスタークロックＣＬＫ０およびデータＤＡＴＡを受け取り、種々の内部クロックを生成し参照信号生成部５７および垂直走査回路５４などを制御する。

参照信号生成部５７は、ＡＤ変換回路５５のカラムＡＤ（カラムアナログ／デジタルコンバータ）回路５６にＡＤ変換用の参照電圧ＲＡＭＰを供給するＤＡＣ（デジタル／アナログコンバータ）５７ａを有する。

カラムアンプ５２、信号保持スイッチ６６および信号保持容量６７は、単位セル５０Ａの列に対応して設けられている。カラムアンプ５２は、単位セル５０Ａから出力された電圧信号を増幅し、信号保持容量６７は信号保持スイッチ６６を介して伝達されてきた増幅された電圧信号を保持する。カラムアンプ５２を設けることで、単位セル５０Ａの電圧信号を増幅することが可能となり、Ｓ／Ｎの改善およびゲインの切り替え等が可能となる。

ＡＤ変換回路５５は、単位セル５０Ａの列に対応して設けられたカラムＡＤ回路５６を複数有する。カラムＡＤ回路５６は、ＤＡＣ５７ａで生成される参照電圧ＲＡＭＰを用いて、単位セル５０Ａから出力された信号保持容量６７のアナログの電圧信号をデジタル信号に変換する。

カラムＡＤ回路５６は、電圧比較部１５２、スイッチ１５８およびデータ記憶部１５６から構成される。電圧比較部１５２は、単位セル５０Ａから垂直信号線５９（Ｈ０、Ｈ１、・・・）および信号保持容量６７を経由して得られるアナログの電圧信号を参照電圧ＲＡＭＰと比較する。データ記憶部１５６は、電圧比較部１５２が比較処理を完了するまでの時間とカウンタ部１５４を利用してカウントした結果とを保持するメモリとして構成される。

電圧比較部１５２の一方の入力端子には、他の電圧比較部１５２の入力端子と共通に、ＤＡＣ５７ａで生成される階段状の参照電圧ＲＡＭＰが入力され、他方の入力端子には、それぞれ対応する列の信号保持容量６７が接続され、画素部５０から電圧信号が入力される。電圧比較部１５２の出力信号はカウンタ部１５４に供給される。

カラムＡＤ回路５６は、電圧比較部１５２に参照電圧ＲＡＭＰが供給されると同時にクロック信号でのカウント（計数）を開始し、信号保持容量６７を介して入力されたアナログの電圧信号を参照電圧ＲＡＭＰと比較することによってパルス信号が得られるまでカウントすることでＡＤ変換を行う。

この際、カラムＡＤ回路５６は、ＡＤ変換とともに、信号保持容量６７を介して入力された電圧モードの画素信号（電圧信号）に対して、画素リセット直後の信号レベル（ノイズレベル）と真の（受光量に応じた）信号レベルＶｓｉｇとの差分をとる処理を行う。これによって、固定パターンノイズ（ＦＰＮ：Ｆｉｘｅｄ Ｐａｔｔｅｒｎ Ｎｏｉｓｅ）およびリセットノイズ等と呼ばれるノイズ信号成分を電圧信号から取り除くことができる。

なお、カラムＡＤ回路５６は、ノイズレベルをダウンカウントし、信号レベルをアップカウントすることで真の信号レベルＶｓｉｇのみを取り出す構成であり、このカラムＡＤ回路５６でデジタル化された信号は、水平信号線５８を介して出力Ｉ／Ｆ６８に入力される。

なお、図４に示した固体撮像素子１２および２２は、カラムＡＤ回路５６を搭載しているが、ＡＤ回路は固体撮像素子の外に構成されていてもよい。

図５は、本発明の実施の形態に係る撮像カメラＣ１に内蔵された固体撮像素子１２の概略構成および画素配置を示す図である。固体撮像素子１２は、撮像領域４０に単位画素（例えば、画素サイズ３．７５μｍ×３．７５μｍ）が２次元状に配置されている。撮像領域４０に配置される単位画素は、青色光および赤外光を透過するフィルタを有し青色光および赤外光の波長帯に感度を有する単位画素４１と、緑色光および赤外光を透過するフィルタを有し緑色光および赤外光の波長帯に感度を有する単位画素４２と、赤色光および赤外光を透過するフィルタを有し赤色光および赤外光の波長帯に感度を有する単位画素４３と、赤外光を透過するフィルタを有し赤外光の波長帯のみに感度を有する単位画素４４とを含む。また、撮像領域４０において、単位画素４１、４２、４３および４４の４画素は、一組の単位配列となって正方に配置される。

このように単位画素４１、４２、４３および４４を配置することにより、カラーの可視光画像と赤外光画像との両方を撮影することができる。以下、上述した画素配列により、カラーの可視光画像および赤外画像の両方を撮影できる理由を、図６Ａ〜図８Ｄを用いて説明する。

図６Ａ〜図６Ｄは、本発明の実施の形態に係る各単位画素の分光感度特性を表すグラフである。図６Ａのグラフは、青色光および赤外光の波長帯に感度を有する単位画素４１の分光感度特性を表す。図６Ｂのグラフは、緑色光および赤外光の波長帯に感度を有する単位画素４２の分光感度特性を表す。図６Ｃのグラフは、赤色光および赤外光の波長帯に感度を有する単位画素４３の分光感度特性を表す。図６Ｄのグラフは、赤外光の波長帯のみに感度を有する単位画素４１の分光感度特性を表す。

画像信号抽出部１３は、単位画素４１の電荷信号である（Ｂ＋ＩＲ）信号、単位画素４２の電荷信号である（Ｇ＋ＩＲ）信号および単位画素４３の電荷信号である（Ｒ＋ＩＲ）信号のそれぞれから、単位画素４４の電荷信号であるＩＲ信号を減算する赤外差分部を有し、当該赤外差分部の演算結果よりＲＧＢカラー信号を生成する信号抽出部である。

図７Ａ〜図７Ｃは、それぞれ、図６Ａ〜図６Ｃの分光感度特性から図６Ｄの分光感度特性を減算したときの分光感度特性を表すグラフである。このように、（Ｂ＋ＩＲ）信号、（Ｇ＋ＩＲ）信号および（Ｒ＋ＩＲ）信号のそれぞれから、ＩＲ信号を減算することによりカラー信号を生成することがわかる。このカラー信号と、単位画素４１、４２、４３および４４の各画素のいずれかの画素より生成された輝度信号から、可視光によるカラー画像信号を容易に得ることができる。

一方、本実施の形態に係る固体撮像素子１２では、夜間など暗時の撮影において赤外光照明を用いれば、単位画素４１、４２、４３および４４のすべての画素が赤外光に感度を有するので、ＩＲ信号を減算することなく輝度信号量を十分確保できる。また、上記ＩＲ信号をそのまま抽出することで、赤外光照明によるコントラストの良好なモノクロ画像信号を合成することが可能である。

従って、本実施の形態に係る固体撮像素子１２を用いることにより、明るい環境下での撮像時には赤外差分演算により可視光による画像信号を取得できるとともに、夜間などの暗い環境下での撮像時には赤外光による画像信号（モノクロ画像信号）を取得できる。このため、明るい環境下での撮像と暗い環境下での撮像の兼用化が実現できる。

すなわち、本発明の実施形態に係る立体撮像装置は、例えば、自動車用の障害物検知システムや医療用の手術支援システムなどのように、明るい環境下での利用に限らず、照明の弱い暗い環境下でも撮像することができる。

加えて、以上のようなカラーフィルタの配列とすることにより、赤外光による画像信号を受光素子上の全画素から取得できるので、ＴＯＦ方式の第２の距離画像の高解像度化が実現できるとともに、赤外光を用いた撮像時に得られる画像の高解像度化も実現できる。

なお、本発明に係る第２の撮像カメラＣ２に内蔵された固体撮像素子２２も、上記固体撮像素子１２と同様の画素配列を備えており、内蔵された画像信号抽出部２３は第１の撮像カメラＣ１に内蔵された画像信号抽出部１３と同様の赤外差分演算機能を有している。

なお、可視光によるカラー画像が必要でないような利用例においては、単位画素４１〜４４に対して、それぞれ、図８Ａ〜図８Ｄに示すような、可視光の特定波長領域および赤外光の波長帯に感度を有するカラーフィルタを設ける構造でもよい。

なお、可視光のみのカラー画像を必要とする利用例においては、一般的なベイヤー配列のＲＧＢのカラーフィルタを用いてもよい。

図９は、本発明の実施の形態に係る立体撮像装置１００において行われる処理のフローチャートである。

まず、立体撮像装置１００は、光源１から被写体ＯＢＪに向けて赤外光Ｌ１を照射する（Ｓ０１）。このとき、赤外光Ｌ１は、変調信号Ｓｇ３により光強度が変調されている。

次に、第１の撮像カメラＣ１および第２の撮像カメラＣ２は、それぞれ、被写体ＯＢＪからの反射光Ｒ１およびＲ２を受光する（Ｓ０２）。

次に、立体撮像装置１００は、第１の撮像カメラＣ１から基準画像となる画像信号Ｇ１を、また、第２の撮像カメラＣ２から参照画像となる画像信号Ｇ２を抽出する（Ｓ０３）。

次に、ステレオマッチング部３は、画像信号Ｇ１と画像信号Ｇ２との間における対応画素を探索する（Ｓ０４）。

次に、ステレオマッチング部３は、探索した対応画素に基づいて被写体画像部分のずれ量を三角測量の原理を用いて計測することで第１の距離画像信号Ｄ１を生成する（Ｓ０５）。

一方、ステップＳ０３〜Ｓ０５の間、第１の撮像カメラＣ１は、照射した光が被写体から戻ってくるまでの時間を画素毎に計測することにより、第２の距離画像信号Ｄ２を生成する（Ｓ０６）。

次に、距離測定精度判定部５は、第１の距離画像信号Ｄ１および第２の距離画像信号Ｄ２のそれぞれのデータを、対応する画素間で比較を行って、距離測定の精度を判定する（Ｓ０７）。その判定結果をもとに、第１の距離画像信号Ｄ１および第２の距離画像信号Ｄ２から必要に応じてデータを再構成した第３の距離画像信号Ｄ３を生成する。望ましくは、距離測定精度判定部５は、第１の距離画像信号Ｄ１の生成時にステレオマッチング部３において対応画素が探索できなかった画素があった場合に、該当の画素データを第２の距離画像信号Ｄ２における画素データで置換して第３の距離画像信号Ｄ３を生成し、画像出力切替制御部６へ出力する。

最後に、画像出力切替制御部６は、画像信号Ｇ１と画像信号Ｇ２と第３の距離画像信号Ｄ３をディスプレイ７上に選択的にあるいは同時に出力するための切替制御を行い、これらの信号を適宜出力する（Ｓ０８）。

本発明の実施の形態に係る立体撮像装置１００および立体撮像装置１００において行われる画像信号処理によれば、距離画像データの高精度化および高解像度化と、セット構成の簡素化と、明るい環境下での撮影と暗い環境下での撮像の兼用化と、を同時に実現できる。

次に、本実施の形態１に係る立体撮像装置１００における、第１の撮像カメラＣ１および第２の撮像カメラＣ２のそれぞれが取得する画像情報の関係と、それらの画像情報から被写体までの距離を算出する方法について説明する。基本原理は一般的なステレオマッチング方式である。

図１０は、本発明の実施の形態に係る２台の撮像カメラが取得する画像情報の関係を示す図である。第１の撮像カメラＣ１の撮像面Ｓ１と第２の撮像カメラＣ２の撮像面Ｓ２とは互いの光軸を平行にして、撮像面を一致させたカメラ配置を取る。従って、撮像面Ｓ１と撮像面Ｓ２とは同一平面上にある。ここで、撮像面Ｓ１上および撮像面Ｓ２上で、それぞれの光軸との交点を原点とした座標系を（ｘ１，ｙ１）、（ｘ２，ｙ２）とし、第１の撮像カメラＣ１の焦点Ｐ１を原点とした場合の被写体上の空間座標を（Ｘ，Ｙ，Ｚ）とする。この場合において、Ｘ、ｘ１、ｘ２軸が全て第２の撮像カメラＣ２の焦点Ｐ２から第１の撮像カメラＣ１の焦点Ｐ１に向かう方向に一致させると、空間座標（Ｘ，Ｙ，Ｚ）は以下の表式により表される。

Ｚ＝Ｂ・ｆ／（ｘ２−ｘ１） （式１）
Ｘ＝（Ｚ／ｆ）・ｘ１ （式２）
Ｙ＝（Ｚ／ｆ）・ｙ１ （式３）

ここで、Ｂはカメラの間隔、ｆは焦点距離で共に定数であり、これらはキャリブレーションパラメータとしてあらかじめ算出されて内部メモリ等に記憶されている。この表式から、差分量ｘ２−ｘ１、即ち視差を計測することができれば、式１により座標Ｚが算出できる。また、第１の撮像カメラＣ１における位置（ｘ１，ｙ１）と上記Ｚとから、式２および式３により座標Ｘおよび座標Ｙを求めることができる。

図１１は、ステレオマッチング方式により視差ｘ２−ｘ１を算出する方法を説明する図である。例えば、２台のカメラで図１１に示したような第１の画像Ｉｍｇ１および第２の画像Ｉｍｇ２を取得したとする。ステレオマッチング方式では、まず、基準側である第１の画像Ｉｍｇ１において、一つの被写体画像部分Ａ１を選択し、その画像パターンを記憶する。次に、参照側である第２の画像Ｉｍｇ２において、第１の画像Ｉｍｇ１におけるＡ１と同じ面積の領域Ａ２の位置を１画素ずつずらしながら第１の画像Ｉｍｇ１上の領域Ａ１の画像パターンとの差分評価を行い、差分評価値が最小になる点を探索する。そして差分評価値が最小になったときを対応領域とみなし、そこまでの画素のずれ量を視差として算出する。このようにして視差が求まれば、三角測量の原理によって与えられる式１、式２、および式３から被写体までの距離（Ｘ，Ｙ，Ｚ）が算出される。

以下、図面を参照にしながら、本実施の形態の比較例について説明する。

（比較例１）
図１２は、本発明の実施の形態の比較例に係る立体撮像装置の画素配列を示す図である。本比較例に係るＴＯＦ方式の立体撮像装置が有する受光素子（被写体からの反射光を受光する半導体素子）上には、３原色フィルタであるＲフィルタ、Ｇフィルタ、Ｂフィルタに加えて、波長λ１を中心とした赤外光を主に透過するＩＲ１フィルタと、波長λ１より大きな波長λ２の赤外光を中心としてＩＲ１フィルタとは光透過領域が重複しないＩＲ２フィルタとが、画素毎に配置されている。また、Ｒフィルタ、Ｇフィルタ、ＢフィルタおよびＩＲ１フィルタが配置された４画素が、一組の第１単位配列となって正方に配置される。また、Ｒフィルタ、Ｇフィルタ、ＢフィルタおよびＩＲ２フィルタが配置された４画素が、一組の第２単位配列となって正方に配置される。第１単位配列と第２単位配列とは、交互に配置される。

このような構成により、被写体に向けて波長λ２を中心とする赤外光を照射して撮像し、また、変調光を照射して被写体からの受光量から距離を求める方式では、外光が入るとその影響により正確な距離計測ができなくなってしまうため、外光の影響を除去する必要がある。

図１３は、ＩＲ１フィルタおよびＩＲ２フィルタの分光特性の一例を示すグラフである。同図に表された分光特性によれば、受光素子には、ＩＲ１フィルタからは外光のみが入射し、ＩＲ２フィルタからは外光および照射した赤外光が被写体にあたって反射した反射光とが入射する。このため、ＩＲ２フィルタから入射した光の強度からＩＲ１フィルタから入射した光の強度を差分することで外光成分を取り除くことは可能である。よって、暗い環境下においても、被写体に赤外光を照射することでＩＲ１フィルタを有する画素およびＩＲ２フィルタを有する画素からの画像信号により被写体を撮像することが可能である。しかしながら、本比較例１の立体撮像装置の構造では、赤外光に感度を有するＩＲ１が配置された画素およびＩＲ２が配置された画素が受光素子上の一部分にしか配置されていないため、赤外光を用いた撮像時には、画像の解像度が低下するという課題が発生する。

（比較例２）
本発明の実施の形態に係る比較例２として、ＴＯＦ方式とは別に、被写体に光を照射することなく被写体の立体撮像を行う撮像方式として、ステレオマッチング方式がある。具体的には、所定間隔をあけて平行に配置された２台のカメラを用いて被写体を撮像し、取得された２つの画像（基準カメラによる基準画像、および、参照カメラによる参照画像）の間で対応する画素の探索（ステレオマッチング）を行う。そして、対応する被写体画像部分のずれ量を三角測量の原理を用いて計測することで被写体の距離画像を取得する。

ここで、２台のカメラで、第１の画像Ｉｍｇ１および第２の画像Ｉｍｇ２を取得したとすると、ステレオマッチング方式では、まず、基準側である第１の画像Ｉｍｇ１において、ひとつの被写体画像部分Ａ１を選択し、その画像パターンを記憶する。次に、参照側である第２の画像Ｉｍｇ２において、第１の画像Ｉｍｇ１におけるＡ１と同じ面積の領域Ａ２の位置を１画素ずつずらしながら第１の画像Ｉｍｇ１上の領域Ａ１の画像パターンとの差分評価を行い、差分評価値が最小になる点を探索する。そして差分評価値が最小になったときを対応領域とみなしてそこまでのずれ量を視差として算出する。このようにして視差が求まれば、三角測量の原理によって被写体までの距離が算出される。

しかし、ステレオマッチング方式では、対応領域を探索するときに２つの画像間の全ての領域について探索する必要はなく、一方のカメラの視線を他方のカメラの画像面に投影した線、いわゆるエピポーラ線の線上に限定される。従って、一方の画像上の領域に対し、他の画像上の対応領域はエピポーラ線上だけを探索すればよく、不要な範囲を探索することにより生じる誤対応を減らすことができる。しかし、それでもなお、エピポーラ線上の全ての画素について対応領域を求める必要があり、対応領域探索に時間を要する場合がある。

さらに、ステレオマッチング方式の２台のカメラに加えて、これらと別の位置にもう１台、追加したカメラにより取得した画像から被写体のシルエットを抽出して被写体を検出し、その被写体のシルエットの範囲内でのみステレオマッチングによる対応画素探索を行うことで探索時間を短縮する方法も考えられる。しかし、この場合は、２つの画像から明確に視差が求まることは多くなく、特にコントラストの低い比較的フラットな面などにおいては視差を求めること出来ないという課題が発生する。

以上、本発明の立体撮像装置について、実施の形態に基づいて説明してきたが、本発明に係る立体撮像装置は、上記実施の形態に限定されるものではない。上記実施の形態における任意の構成要素を組み合わせて実現される別の実施の形態や、上記実施の形態に対して本発明の主旨を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例や、本発明に係る立体撮像装置を内蔵した各種機器も本発明に含まれる。

なお、上記実施の形態では、ＣＭＯＳ型の固体撮像素子を有する立体撮像装置を例に挙げたが、本発明は、これにとらわれることなく、ＣＣＤ型の固体撮像素子を有する立体撮像装置でも同様の効果が得られる。

本発明の立体撮像装置は、自動車用の障害物検知システムや医療用の手術支援カメラシステム、さらには大型ゲーム機のジェスチャー認識システムなどに利用が可能であり、産業上有用である。

１ 光源
２ 撮像制御部
３ ステレオマッチング部
４ 変調信号発生部
５ 距離測定精度判定部
６ 画像出力切替制御部
７ ディスプレイ
１１、２１ レンズ
１２、２２ 固体撮像素子
１３、２３ 画像信号抽出部
１４、２４ 素子駆動部
１５ 距離画像信号抽出部
４０ 撮像領域
４１、４２、４３、４４ 単位画素
５０ 画素部
５０Ａ 単位セル
５２ カラムアンプ
５４ 垂直走査回路
５５ ＡＤ変換回路
５６ カラムＡＤ回路
５７ 参照信号生成部
５７ａ ＤＡＣ
５８ 水平信号線
５９ 垂直信号線
６０ 通信・タイミング制御部
６６ 信号保持スイッチ
６７ 信号保持容量
６８ 出力Ｉ／Ｆ
１００ 立体撮像装置
１５２ 電圧比較部
１５４ カウンタ部
１５６ データ記憶部
１５８ スイッチ
Ｃ１ 第１の撮像カメラ
Ｃ２ 第２の撮像カメラ

Claims (6)

1. 被写体を撮像することにより、当該被写体の立体形状を画像形式で表した第１の距離画像を算出するための基準画像を生成する第１の撮像部と、
   前記第１の撮像部と異なる位置から前記被写体を撮像することにより、前記第１の距離画像を算出するための参照画像を生成する第２の撮像部と、
   前記基準画像と前記参照画像との間における対応画素を探索する対応画素探索部と、
   前記対応画素から視差を算出して前記第１の距離画像を生成する第１の距離画像生成部と、
   強度変調された赤外光を前記被写体に向けて照射する光源と、
   前記強度変調と同期した同期信号を第１の撮像部に供給する同期信号供給部とを備え、
   前記第１の撮像部は、前記強度変調された赤外光が前記被写体から反射した反射光を、前記同期信号に基づいて受光することにより、前記被写体の反射点からの距離情報を含む第２の距離画像をさらに生成する
   立体撮像装置。
2. さらに、
   前記第１の距離画像のデータと前記第２の距離画像のデータとを、対応する画素間で比較することにより、前記第１の距離画像に含まれる前記被写体の距離情報及び前記第２の距離画像における前記距離情報の精度を判定する距離測定精度判定部を備え、
   距離測定精度判定部は、前記距離情報の判定結果に基づいて、前記第１の距離画像及び前記第２の距離画像から画素データを再構成した第３の距離画像を出力する
   請求項１に記載の立体撮像装置。
3. 前記距離測定精度判定部は、前記第１の距離画像の生成時に、前記対応画素探索部において前記対応画素が探索できなかった画素があった場合、当該画素のデータを前記第２の距離画像における画素データで置換した第３の距離画像を出力する
   請求項２に記載の立体撮像装置。
4. 前記第１の撮像部および第２の撮像部はいずれも、
   赤色の可視光と赤外光とを透過させるフィルタを有する第１単位画素と、緑色の可視光と赤外光とを透過させるフィルタを有する第２単位画素と、青色の可視光と赤外光とを透過させるフィルタを有する第３単位画素と、赤外光を透過させるフィルタを有する第４単位画素とで構成される一組の単位配列が２次元状に配列された撮像領域を有する固体撮像素子と、
   前記固体撮像素子から可視光によるカラー画像信号および赤外光による画像信号を抽出する信号抽出部とを備え、
   前記第１の撮像部は、前記画像信号から前記基準画像または前記第２の距離画像を生成し、
   前記第２の撮像部は、前記画像信号から前記参照画像を生成する
   請求項１に記載の立体撮像装置。
5. 前記第１の撮像部および第２の撮像部はいずれも、
   特定の波長域の可視光と赤外光とを透過させるフィルタを有する第１単位画素と、前記フィルタを有する第２単位画素と、前記フィルタを有する第３単位画素と、赤外光を透過させるフィルタを有する第４単位画素とで構成される一組の単位配列が２次元状に配列された撮像領域を有する固体撮像素子と、
   前記固体撮像素子から可視光による画像信号および赤外光による画像信号を抽出する信号抽出部とを備え、
   前記第１の撮像部は、前記画像信号から前記基準画像または前記第２の距離画像を生成し、
   前記第２の撮像部は、前記画像信号から前記参照画像を生成する
   請求項１に記載の立体撮像装置。
6. 前記信号抽出部は、
   前記第１単位画素からの信号、前記第２単位画素からの信号、前記第３単位画素からの信号のそれぞれから、前記第４単位画素からの信号を差分する赤外差分部を備え、
   前記赤外差分部により生成された可視光による画像信号および前記第１〜第４単位画素のいずれかの画素より生成された輝度信号から、前記可視光による画像信号または前記赤外光による画像信号を抽出する
   請求項４または５に記載の立体撮像装置。

Images