JP5808502B2 - 画像生成装置 - Google Patents

Description

本発明は、撮像空間に存在する物体までの距離情報を撮像画像に対応付けて取得することができる、画像生成装置に関する。

従来の車両周辺監視装置として、照度検出手段が所定値以上の照度を検出したときには撮像手段によって撮像した監視領域の状態をディスプレイ装置に表示し、照度が所定値以下のときは、パターン光を照射して反射光を撮影し、データ処理することによって得られる障害物情報をディスプレイ装置に表示するものが知られている（例えば、特許文献１参照）。

また、スペックルパターンを使用した光学測距を行うシステムが知られている。このシステムでは、照明アセンブリからの一次スペックルパターンをターゲット領域内に投射し、ターゲット領域内において照明アセンブリからの異なる個々の距離において一次スペックルパターンの複数の基準画像をキャプチャし、ターゲット領域内において物体の表面上に投射された一次スペックルパターンの試験画像をキャプチャし、一次スペックルパターンが試験画像内の一次スペックルパターンに最も密接にマッチングしている基準画像を識別するべく、試験画像を基準画像と比較し、照明アセンブリからの識別された基準画像の距離に基づいて物体の位置を推定する（例えば、特許文献２）。

特開平６−８７３７７号公報（第２頁、請求項１） 特表２００９―５２８５１４号公報（段落０００１、０００６、０００７） 特開２００７−１７６４３号公報（段落０００３、０００４）

上記の従来の車両周辺監視装置には、照度によって動作を切り替える必要があり、撮影画像と、距離情報のいずれか一方の情報しか得られないという問題があった。

また、上記の従来の光学測距システムでは、撮影されたパターンと複数の基準パターンとの間でパターンマッチングによる相関値の算出を行う必要があり、演算量が多いという問題があった。

本発明は、上述の問題を解決するためになされたもので、明るい照度環境下でも撮影画像及び距離情報をともに取得できるようにすること、及び少ない演算量で撮像画像中の各スポットについての投写パターン内における位置を特定し、距離情報付き画像を生成することができるようにすることを目的とする。

本発明の第１の態様の画像生成装置は、
撮像空間に所定波長のパターン光を投写する投写部と、
前記撮像空間を撮像する撮像部と、
前記撮像部による撮像で得られた撮像信号のうち、パターン光投写時に得られた撮像信号とパターン光非投写時に得られた撮像信号の差分を求めることで投写像成分を分離する分離部と、
前記分離部で分離された前記投写像成分に基づいて距離情報を生成する距離情報生成部とを備え、
前記距離情報生成部は、前記投写像成分で表される投写像内の光スポットの配列と、予め記憶されている、投写パターン内における各光スポットの位置と投写角との関係から、撮像された投写パターン内の各光スポットの投写角を特定し、特定された投写角に基づいて、光スポットが投写されている被写体の表面までの距離を求め、
前記投写部から投写されるパターン光は、各光スポットに付随して識別コードを構成する、各々オン状態又はオフ状態の複数のセルを含み、
前記距離情報生成部は、前記識別コードに基づいて、該識別コードが付随した光スポットの、投写パターン内における位置を特定し、
各光スポットに付随する識別コードは、
投写パターン内の第１の方向に並んだ複数のセルから成り、当該光スポットに対し、投写パターン内の第２の方向における一方の側に配置された第１の部分と、
前記第２の方向に並んだ複数のセルから成り、当該光スポットに対し前記第１の方向における一方の側に配置された第２の部分とを有し、
前記識別コードは、
前記第１の方向において隣接する光スポット間で、前記識別コードの前記第２の部分を構成するセルのオン状態からオフ状態へ、又はオフ状態からオン状態へ切り替わる変更箇所が一箇所以下であり、
前記第２の方向において隣接する光スポット間で、前記識別コードの前記第１の部分が互いに同じであり、
前記撮像部は、可視光波長帯とパターン光の波長とに透過特性を有し、可視光波長帯の透過率が、前記パターン光の波長の透過率より低い光学フィルタを備え、
前記分離部は、前記撮像部による撮像で得られた撮像信号のうち、パターン光投写時に得られた撮像信号とパターン光非投写時に得られた撮像信号の差分を求めることで前記投写像成分を分離し、
前記光学フィルタの透過特性は、前記差分が前記撮像信号の所定階調数以上の値を有するものとなるように定められる。

本発明の第２の態様の画像生成装置は、
撮像空間に所定波長のパターン光を投写する投写部と、
前記撮像空間を撮像する撮像部と、
前記撮像部による撮像で得られた撮像信号のうち、パターン光投写時に得られた撮像信号とパターン光非投写時に得られた撮像信号の差分を求めることで投写像成分を分離する分離部と、
前記分離部で分離された前記投写像成分に基づいて距離情報を生成する距離情報生成部とを備え、
前記距離情報生成部は、前記投写像成分で表される投写像内の光スポットの配列と、予め記憶されている、投写パターン内における各光スポットの位置と投写角との関係から、撮像された投写パターン内の各光スポットの投写角を特定し、特定された投写角に基づいて、光スポットが投写されている被写体の表面までの距離を求め、
前記投写部から投写されるパターン光は、各光スポットに付随して識別コードを構成する、各々オン状態又はオフ状態の複数のセルを含み、
前記距離情報生成部は、前記識別コードに基づいて、該識別コードが付随した光スポットの、投写パターン内における位置を特定し、
前記識別コードは、投写パターン内の第１の方向において隣接する光スポット間で該識別コードを構成するセルのオン状態からオフ状態へ、又はオフ状態からオン状態へ切り替わる変更箇所が一箇所のみとなるように定められており、
前記撮像部は、可視光波長帯とパターン光の波長とに透過特性を有し、可視光波長帯の透過率が、前記パターン光の波長の透過率より低い光学フィルタを備え、
前記分離部は、前記撮像部による撮像で得られた撮像信号のうち、パターン光投写時に得られた撮像信号とパターン光非投写時に得られた撮像信号の差分を求めることで前記投写像成分を分離し、
前記光学フィルタの透過特性は、前記差分が前記撮像信号の所定階調数以上の値を有するものとなるように定められる。

本発明によれば、明るい照度環境下でも撮影画像と距離情報を両方とも取得でき、画像に関連付けた距離情報を得ることができる。
また、撮像画像中の各光スポットについて投写されたパターン内における位置を特定することができ、少ない演算量で被写体までの距離情報を取得することができる。

本発明の実施の形態１の画像生成装置を示すブロック構成図である。 図１の撮像部１１及び投写部２２の配置を立体的に示す図である。 本発明の実施の形態１における撮像部と投写部の配置図である。 図１の投写部２２の構成を示す概略図である。 図１の分離部１６の構成例を示すブロック図である。 （ａ）〜（ｄ）は、図５の分離部１６の動作を示す図である。 図１の画像生成部の構成例を示すブロック図である。 投写パターンの一部を拡大して示す図である。 投写パターンで使用する識別コードの例を示す表である。 投写パターン内での識別コードの配置の例を示す図である。 図１の距離情報生成部の構成例を示すブロック図である。 スポット領域の上下左右に位置する識別コードを示す図である。 図１の距離情報生成部による処理の手順を示す図である。 （ａ）及び（ｂ）は、図１の表示処理部の出力画像の例を示す。 隣接するスポット領域に付随する識別コードを示す図である。 本発明の実施の形態２で用いられる距離情報生成部の構成例を示すブロック図である。 （ａ）及び（ｂ）は、異なる距離に位置する被写体上の光スポットとスポット領域の大きさの割合を示す図である。 図１６の距離情報生成部による処理の手順を示す図である。 本発明の実施の形態３の画像生成装置を示すブロック構成図である。 図１９の光学フィルタ１３の分光透過特性の一例を示す図である。 本発明の実施の形態４で用いられる画像生成部の構成例を示すブロック図である。 （ａ）〜（ｃ）は、図２１の画素加算部７４で加算される画素の配置を示す図である。

実施の形態１．
図１は本発明の実施の形態１における画像生成装置の構成を示すブロック図である。図示の画像生成装置は、画像取得部１０と、パターン光生成部２０と、制御部３０とを有する。
画像取得部１０は、撮像部１１を有し、パターン光生成部２０は、投写部２２を有する。

図２は、投写部２２、及び撮像部１１とともに、撮像空間（撮像対象空間）ＪＳを立体的に表す。図２では、撮像空間ＪＳに直方体の被写体ＯＪ１と球体の被写体ＯＪ２があるものとしている。

撮像部１１は、図２に示すように、撮像空間ＪＳ内の被写体ＯＪ１、ＯＪ２からの光を受けて撮像を行う。
本発明の画像生成装置は、撮像によって得た情報に基づいて、撮像された被写体ＯＪ１、ＯＪ２の各部までの距離を求め、画像情報と、画像の各部についての距離情報と得るものである。

投写部２２は、図２に示すよう撮像空間ＪＳに向けて投写パターンを生じさせるパターン光を投写する。図２に示す例では、投写パターンは、マトリックス状に、即ち横方向（行方向）及び縦方向（列方向）に整列した光スポットを形成するものである。本願において、投写パターンに関する「方向」は、特にそれと異なる説明がない限り、パターン光が光軸に垂直な仮想平面に投写されたときに形成される投写パターンにおける方向を意味する。以下の説明における投写パターン内の「配列」、「位置」についても同様である。

図３は、撮像部１１及び投写部２２と、撮像空間内の被写体ＯＪ１、ＯＪ２上の任意の点に形成された一つの光スポットＳＰとを上方から見た図である。撮像部１１と投写部２２は、図示の例では、水平方向に距離Ｌｐｃだけ離して配置されている。即ち、撮像部１１と投写部２２は、水平方向における異なる位置に配置され、垂直方向（上下方向）においては同じ位置に配置されている。撮像部１１と投写部２２を結ぶ直線を基線ＢＬと言い、距離Ｌｐｃを基線長と言う。
上記の投写パターンにおける横方向は、基線ＢＬの方向、即ち水平方向に対応し、縦方向は、水平方向に直交する方向に対応する。

投写部２２から投写した光により撮像空間ＪＳ中の被写体ＯＪ１、ＯＪ２の一つに光スポットＳＰが形成され、この光スポットＳＰからの光を撮像部１１で受けたとする。その場合、投写部２２からの光スポットＳＰへの投写角φと、光スポットＳＰから撮像部１１への入射角θと、基線長Ｌｐｃが分かれば、三角測量の原理に基づき、基線ＢＬから被写体ＯＪ１、ＯＪ２上の光スポットＳＰまでの距離Ｚを計算により求めることができる。
ここで、投写角φは、図３に示すように、基線ＢＬと光スポットＳＰを含む平面内において、基線ＢＬに垂直な線と、投写部２２と光スポットＳＰを結ぶ線の成す角である。
一方入射角θは、図３に示すように、基線ＢＬと光スポットＳＰを含む平面内において、基線ＢＬに垂直な線と、撮像部１１と光スポットＳＰを結ぶ線の成す角である。

撮像部１１における入射角θは、撮像部１１の撮像面のどの位置に光スポットＳＰの像が形成されたか、及び撮像素子の軸線の方向、並びに画角に基づいて求めることができる。
投写部２２からの投写角φは、投写部２２の構成によって予め定まっており、従って既知である。

投写部２２からそれぞれ異なる投写角で、多数の光スポットを投写して、これらの光スポットを撮像部１１で撮像する場合には、それぞれの投写角が既知であれば、撮像面上の光スポットの画像上の位置の相互関係に基づいて、各光スポットの投写角を推定する。
この場合、
（ａ） 「投写部２２におけるそれぞれの光スポットの投写角の大小関係（例えば小さいものから並べたときの順序）と、撮像部１１におけるそれぞれの光スポットの入射角の大小関係（小さいものから並べたときの順序）が同じである」
と言う条件が満たされ、かつそのことが分かっている場合には、そのことに基づいて、撮像部１１で撮像した光スポットの各々の投写角が分かる。

上記の条件（ａ）が満たされない場合、又は条件（ａ）が満たされることが明らかではない場合には、予め所定の距離にある被写体について求めた投写パターンの撮像画像（基準パターン）とのパターンマッチングにより、撮像画像中の光スポットのそれぞれの投写角を推定などにより求める必要がある。しかしながら、そのような処理は演算量が極めて多い。

本発明は、上記の条件（ａ）が満たされない場合、或いは条件（ａ）が満たされることが不明の場合にも、少ない演算量で、撮像部１１で撮像した光スポットの各々の投写角を正確に推定することを可能にするものである。

なお、基線ＢＬに対して垂直な面内において異なる角度で投写された光スポットについての、垂直な方向での角度の大小関係については、必ず上記（ａ）の条件が満たされるので、順序の「入れ替わり」を考慮する必要がない。

以下では、上記のように、基線ＢＬが水平方向に延びたものであり、パターン光の光スポットが水平方向及び垂直方向に並んだものである場合についてさらに説明する。

パターン光生成部２０は、図１に示すように、投写部２２のほかに駆動部２１を備え、投写部２２は、図１、図３及び図４に示すように、レーザー光源２３、コリメートレンズ２４、アパーチャ２５、及び回折格子２６を備える。
駆動部２１は、制御部３０により制御されて、レーザー光源２３を発光させ、レーザー光源２３から出射されたレーザー光はコリメートレンズ２４で平行光にされ、アパーチャ２５で所定のビーム径にされる。
回折格子２６は所定の投写パターンを生成するためのパターン光を撮像空間ＪＳに投写する。

撮像部１１は、図１に示されるように、レンズ１２と、撮像素子１４とを備え、画像取得部１０は、撮像部１１のほかに、Ａ／Ｄ変換部１５と、分離部１６と、画像生成部１７と、距離情報生成部１８と、表示処理部１９とを備えている。

レンズ１２は、被写体像を撮像素子１４の撮像面上に合焦させる。
撮像素子１４は入射像を光電変換した撮像信号を出力する。撮像素子１４は例えばＲ、Ｇ、Ｂの画素がベイヤ型に配列されたものであり、撮像信号としては、Ｒ、Ｇ、Ｂの信号が出力される。

レンズ１２と撮像素子１４で構成された撮像部１１は、撮像空間ＪＳの被写体ＯＪ１、ＯＪ２の撮像を行う。この撮像は、所定のフレーム周波数で行われ、撮像により、複数の連続したフレームの画像が得られる。

被写体ＯＪ１、ＯＪ２にパターン光が投写されているときは、被写体ＯＪ１、ＯＪ２からの本来の光（背景成分）に、投写されたパターン光による光スポットの画像（投写像成分）が重畳された画像（を表す信号）が、撮像部１１から出力される。

Ａ／Ｄ変換部１５は、撮像部１１の出力を、例えば８ビット（２５６階調）のデジタル信号Ｄ１５に変換する。

分離部１６は、Ａ／Ｄ変換部１５の出力、即ちＡ／Ｄ変換された撮像信号Ｄ１５を受けて、投写像成分と背景成分を分離する。画像生成部１７は、分離部１６から出力された背景成分から背景画像を生成する。距離情報生成部１８は、分離部１６から出力された投写像成分から距離情報を生成する。

表示処理部１９は、画像生成部１７で生成された背景画像に距離情報生成部１８で生成された距離情報を関連付けて表示する。表示処理部１９から出力される、距離情報が関連付けられた画像（を示す信号）は、表示装置（図示しない）などへ出力される。

制御部３０は、パターン光生成部２０及び画像取得部１０を制御する。
制御部３０は例えば、撮像部１１の撮像素子１４に対し、撮像モードやフレームレート、露光時間などを制御し、表示処理部１９に対し、表示モードや、距離情報の表示モードなどの設定を行う。制御部３０はまた、Ａ／Ｄ変換部１５に対して動作のタイミングを制御するための信号を供給する。制御部３０はさらに、パターン光生成部２０及び画像取得部１０に対し、動作モードの設定を行う。

制御部３０はさらに、投写部２２から投写される投写パターンに含まれる光スポットの各々に付随する識別コード（後述する）と、該識別コードが付随する光スポットの、投写パターン内の位置の関係を示す情報Ｓｄｐ、投写パターン上の位置と投写角の対応関係を示す情報Ｓｐａ、及び撮像部１１の軸線方向及び画角を表す情報Ｓｚｖ、並びに基線長Ｌｐｃを表す情報を保持しており、距離情報生成部１８に供給する。

制御部３０はまた、パターン光生成部２０の動作と画像取得部１０の動作を同期化させるための制御を行う。
より具体的には、制御部３０は、撮像部１１に対し、予め定められたフレーム周波数で撮像を繰り返すよう制御を行うとともに、レーザー光源２３が１フレームおきに発光状態、非発光状態になるように駆動部２１を制御し、さらに、レーザー光源２３が発光状態にあるか、非発光状態にあるかを示す信号Ｓｎｆを分離部１６に供給する。

撮像部１１のフレーム周波数は例えば３０ｆｐｓであり、フレーム周期毎に１フレームの画像（を表す信号）Ｄ１１が撮像部１１から出力される。
各フレームの撮像のタイミングは、制御部３０により制御される。

投写部２２のレーザー光源２３が１フレームおきに交互に発光状態、非発光状態になるので、投写部２２は、撮像空間ＪＳに対しパターン光を投写する状態と、パターン光を投写しない状態が１フレームおきに交互に切り替わり、撮像部１１では、パターン光が投写されているときの画像とパターン光が投写されていないときの画像が１フレームおきに交互に得られる。

分離部１６は、パターン光が投写されているときの画像とパターン光が投写されていないときの画像とに基づいて、パターン光による画像（投写像成分）と、パターン光成分を除いた画像（背景成分）とを生成する。即ち、パターン光が投写されていないフレーム期間に得られた画像を背景成分として出力し、相前後する２つのフレーム期間のうち、パターン光が投写されているフレーム期間に得られた画像からパターン光が投写されていないフレーム期間に得られた画像を差し引くことで得られた画像を、投写像成分として出力する。

図５は分離部１６の構成例を示すブロック図である。
図５において入力端子６０にＡ／Ｄ変換部１５の出力（デジタル撮像信号）Ｄ１５が供給される。
フレーム遅延部６１は、入力端子６０に供給されたデジタル撮像信号Ｄ１５を、１フレーム期間遅延させてフレーム遅延撮像信号Ｄ６１を出力する。

差分演算部６２は、撮像信号Ｄ１５とフレーム遅延撮像信号Ｄ６１の差分（パターン光が投写されているフレームの撮像信号から、パターン光が投写されていないフレームの撮像を減算することで得られる差分）を求め、差分信号Ｄ６２を出力する。

スイッチ６３は、投写部２２がパターン光を投写していないフレームについての撮像信号Ｄ１５が入力端子６０に供給されるタイミングで閉じて、該信号を、背景成分Ｄ６３として出力端子６５を介して画像生成部１７へ供給する。

図６（ａ）〜（ｄ）は分離部１６の動作の一例を示す。図示の例では、図６（ａ）に示すように、第１のフレームＰＳ１及び第３のフレームＰＳ３では、パターン光は投写されず、第２のフレームＰＳ２及び第４のフレームＰＳ４ではパターン光が投写されるものとしている。その結果、各フレーム期間に、図６（ｂ）に示すような撮像画像が得られる。

第１のフレームＰＳ１で、スイッチ６３が閉じて、そのときの撮像信号Ｄ１５（第１のフレームでの撮像信号Ｄ１５、即ち、パターン光が投写されていない状態での撮像部出力Ｄ１１をデジタル変換することで得られた信号Ｄ１５）を背景成分Ｄ６３として、出力端子６５から画像生成部１７へ供給する（図６（ｄ））。これとともに、撮像信号Ｄ１５は、フレーム遅延部６１に入力される。
第２のフレームＰＳ２では、差分演算部６２は、そのときの撮像信号Ｄ１５（第２のフレームでの撮像信号Ｄ１５、即ち、パターン光が投写されている状態での撮像部出力Ｄ１１をデジタル変換することで得られた信号Ｄ１５）から、遅延部６１の出力Ｄ６１（第１のフレームＰＳ１の撮像信号）を減算し、減算結果（差分）Ｄ６２を出力する（図６（ｃ））。

第３のフレームＰＳ３では、第１のフレームＰＳ１と同様、スイッチ６３が閉じて、そのときの撮像信号Ｄ１５を背景成分Ｄ６３として、出力端子６５から画像生成部１７へ供給する。これとともに、撮像信号Ｄ１５は、フレーム遅延部６１に入力される。
第４のフレームＰＳ４では、第２のフレームＰＳ２と同様、差分演算部６２は、そのときの撮像信号Ｄ１５から、フレーム遅延部６１の出力Ｄ６１を減算し、減算結果（差分）Ｄ６２を出力する。
以下、同様の処理が繰り返され、１フレーム期間おきに、背景成分のみの画像と投写像成分のみの画像が出力される。

なお、撮像素子１４の出力は、例えばＲ画素値、Ｇ画素値、Ｂ画素値がベイヤ配列された撮像信号であり、Ａ／Ｄ変換部１５の出力もこれに対応するデジタル信号であるが、図６（ａ）〜（ｄ）では説明の便宜上、補間によりすべての画素の画素値が得られた画像を示している。
また、上記の分離部１６のフレーム遅延部６１、差分演算部６２、及びスイッチ６４による分離の処理は、Ｒ、Ｇ、Ｂの各々について別箇に行われ、分離の結果得られた投写像のＲ、Ｇ、Ｂ成分に対して補間（ベイヤ配列のため各画素について欠落している色成分の補間）を行ってすべての画素のすべての色成分（Ｒ、Ｇ、Ｂ成分）を生成し、各画素についてのＲ、Ｇ、Ｂ成分を合成することで当該画素についての輝度成分を生成し、該輝度成分が投写像成分として出力される。

画像生成部１７は、例えば図７に示されるように、映像信号処理部７２を含み、分離部１６から出力される背景成分からなる画像に対し、色補間処理（ベイヤ配列のため各画素位置において欠落している色成分の補間）、階調補正処理、ノイズ低減処理、輪郭補正処理、白バランス調整処理、信号振幅調整処理、色補正処理などを加えて、これらの処理の結果得られる画像を背景画像として出力する。

距離情報生成部１８は、分離部１６から出力される投写像成分と、制御部３０から別途供給される投写パターンについての情報に基づいて、撮像部１１から投写像の各部までの距離を表す情報を生成する。距離情報生成部１８における距離情報生成のため、投写パターンとして、光スポットのほかに識別コードを含むものが用いられる。そこで、距離情報生成部１８の動作の説明の前に、本実施の形態で用いられる投写パターンについて説明する。

上記のように、投写部２２による投写される投写像（投写パターン）は、図２に示すようにマトリックス状に配列された光スポットを含むものであるが、それに付随して各光スポットの近傍に識別コードとして役割を持つドット群を備えている。

図８は、投写パターンの一部を拡大して示すものである。以下では、説明を簡単にするため、投写パターンが、投写部２２の光軸に対して垂直な平面上に投写された場合を想定して説明する。
最小のマスはドット位置乃至セルと呼ばれるものであり、投写パターンにおいて、オン（光が照射された状態）又はオフ（光が照射されない状態）を制御可能な最小単位である。例えば、投写範囲内に縦方向４８０行、横方向６５０列のセルが形成される。光が照射された状態のセルによりドットが構成される。

各光スポットＭＫは、縦方向２行、横方向２列の、オン状態のセルから成る領域を占めるように形成される。光スポットを位置確認用マーカー、或いは単にマーカーとも言う。光スポットとドットを投写点と総称することもある。
２行２列の領域の周囲の上下各１行、左右各１列はオフ状態のセル（光が照射されないセル）からなる領域であり、この領域と２行２列の領域を含む４行４列の領域をスポット領域ＭＡと言う。

４行４列のスポット領域ＭＡの下側に隣接する１行のセル（スポット領域ＭＡに対して下側で隣接し、互いに整列した４つのドット位置の群）は、識別コードの第１の部分ＤＣａを構成する領域であり、スポット領域ＭＡの右側に隣接する１列のセル（スポット領域ＭＡに対して右側で隣接し、互いに整列した４つのドット位置の群）は、識別コードの第２の部分ＤＣｂを構成する領域である。第１の部分ＤＣａの４つのセルはそれぞれ符号ｃ１〜ｃ４で示され、第２の部分ＤＣｂの４つのセルはそれぞれ符号ｃ５〜ｃ８で示される。
第１の部分ＤＣａ及び第２の部分ＤＣｂの各セルはオン状態（照射された状態）又はオフ状態（照射されない状態）のいずれかを取ることが可能であり、このオン、オフの組み合わせにより、８ビットの識別コードＤＣが構成される。各光スポットＭＫに付随した識別コードＤＣは、当該光スポットＭＫの識別のために用いられる。

第１の部分ＤＣａの右側に隣接するセル、即ち第２の部分ＤＣｂの下側に隣接するセルｃｂｒは、オフ状態のものである。
投写パターンの全体は、上記の４行４列のスポット領域ＭＡに、識別コードＤＣ及びセルｃｂｒを加えた、５行５列のセルからなる領域ＭＢの繰り返しで構成される。

光スポットＭＫは、投写パターンの各部の位置を特定するために用いられ、２行２列のドットから成るので、撮像部１１において比較的大面積で、従って、比較的高輝度の部分として見える。
各光スポットＭＫに付随した識別コードＤＣは、当該光スポットＭＫが投写パターンに含まれる多数の光スポットのうちのどれであるかの判定に用いられるものである。

図９は投写パターンで使用する識別コードの例を示したものである。図示の例では、Ｎｏ．０からＮｏ．５５までの５６個の互いに異なる「値」、即ち異なるオン、オフの組み合わせの識別コードが用いられる。各番号（Ｎｏ．）の識別コードのｃ１からｃ８までのセルの値（オン又はオフ）が「１」、「０」で示されている。

図１０は投写パターン内での識別コードの配置の例（各識別コードを含む５行５列のセルから成る領域の配置の例）を示す。図１０中の各マスが５行５列のセルから成る領域ＭＢに相当する。各マス内の数字は、図９の識別コードの番号（Ｎｏ．）を示す。
図１０に示す例では、垂直方向には同じ識別コードが並べられ、水平方向には、左から右へ、識別コードがＮｏ．０からＮｏ．５５まで順に並べられ、Ｎｏ．５５の次（右側）には、再びＮｏ．０が配置され、以下同様の配置の繰り返し(周期的な配置)となっている。
また、投写パターンの中心に、Ｎｏ．２８が位置するように配置されている。

図８及び図９の識別コードを、図１０のように配列すると、オン状態及びオフ状態のセルの配列（オン状態のセルの配列及びオフ状態のセルの配列）が、投写パターンの中心（投写パターンの垂直方向の中点に位置し、Ｎｏ．２８の識別コードを含む領域ＭＢ内の光スポットＭＫの中心）を中心として、点対称となる。
また、水平方向において隣接する光スポットに付随する識別コード間では、オン状態／オフ状態の変更箇所（オン状態からオフ状態へ切り替わる箇所又はオフ状態からオン状態へ切り替わる箇所）が必ず一箇所のみとなっている。

回折格子を用いて投写パターンを生成する場合、投写パターンの中心に対して点対称なパターン（中心に対して１８０度回転したパターンが元のパターンと一致するパターン）を投写する方が、非対称なパターンを投写する場合と比較して回折格子の形状を単純化でき、回折格子の設計および製造時のコストを低減することが可能である。
この点を考慮し、本実施の形態では投写パターンとして、中心に対し点対称となる形状のパターンとなるように識別コードの配列を決定している。

さらにまた、各識別コード内では、オンとなるセルの数が４個以下となるようにしている。これは、識別コードが光スポットと同等の明るさに見えるのを防いで、光スポットの判別をしやすくするとともに、オンとなるセルの数を減らし、オンとなるセルの輝度を向上させ、撮影時のパターン検出を容易にするためである。

回折格子を用いて投写パターンを生成する場合、光源の投写光強度が同一であれば、投写点数が少ないほど一点あたりの輝度が高くなるため、環境光の強度が強い場合でも撮影画像上での投写パターン位置の識別が容易になる。この観点からは、各識別コードを構成するセルのうちオンとなるものの数がより少ないことが望ましい。一方、投写パターンが点対称性を有し、且つ、パターン間の判別に必要な５６個分の識別コード数を実現するためには４個のセルがオンとなる組合せも識別コードとして利用する必要がある。

投写部２２の光軸に対して垂直でない平面にパターン光が投写された場合に形成される投写パターンは、矩形以外の四辺形となり、光スポットの行、列も互いに平行ではなくなり、光スポット間の距離も一様ではなくなる。曲面上にパターン光が投写された場合に形成される投写パターンにおいては、光スポットの行、列も直線状のものではなくなる。パターン光が投写される面に凹凸、段差などがあると、それぞれの光スポットの投写角の大小関係（例えば小さいものから並べた場合の順序）と、それぞれの光スポットの入射角の大小関係（例えば小さいものから並べた場合の順序）が一致しなくなり、「入れ替わり」が発生することがある。

各光スポットが投写部２２から投写されたときの投写角を知るには、マトリックスの何列目の光スポットであるかを識別する必要がある。８ビットの識別コードは、それ自体で何列目を特定できるだけの情報量を含まないが、例えば、光スポット間で入れ替わりがあっても、各光スポットの本来の位置（順序）からのずれが、識別コードの「値」の変化の周期（図１０に示す例では、５行５列のセルから成る領域ＭＢの、５６個分）の範囲内であれば、ずれが無い場合の位置（本来の位置）を特定することが可能であり、本来の位置を特定することで、当該識別コードが付加された光スポットが何列目のものであるかの識別を行うことができる。

なお、上記の「入れ替わり」は、撮像部１１と投写部２２が水平方向の異なる位置に配置されていることによって生じるものであり、撮像部１１と投写部２２は上下方向においては同じ位置に配置されているので、上下方向については、上記のような入れ替わりが発生することはなく、従って、撮像画像中の順序を検出することで、投写パターン中の上下方向の位置（順序）を判断することができる。従って、上下方向の順序を識別するためのコードは不要である。

図１１は距離情報生成部１８の構成例を示す。
図１１に示される距離情報生成部１８は、２値化部８１と、スポット領域抽出部８２と、識別コード読取部８３と、記憶部８４と、有効性確認部８５と、投写角推定部８６と、入射角算出部８７と、距離算出部８８とを有する。

２値化部８１は、分離部１６から出力される投写像成分を２値化して、２値の投写像画像を出力する。

スポット領域抽出部８２は、投写像から各光スポットを中心とするスポット領域ＭＡ（図８の４行４列の領域）を抽出する。
スポット領域ＭＡの抽出のためには、一定の間隔で中心部に２行２列の４つのドット（オン状態のセルによって構成される）と、その周囲（上下各１行、左右各１列）のオフ状態のセルから成る４行４列のセルの群を探索する。また、中心部の２行２列の４つドットの群は、投写パターンにおいては、規則的に等間隔に配置されたものであるので、撮像で得られた画像においても同様の特性があることが条件となる。但し、被写体の表面の曲がり、凹凸、段差などにより、撮像画像においては、完全に等間隔になるとは限らないため、類似度に基づくパターンマッチング等を行って、スポット領域ＭＡの抽出を行う。

識別コード読取部８３は、抽出されたスポット領域ＭＡに隣接する識別コード領域から識別コードＤＣを読み取る。

このとき、各スポット領域ＭＡに対し下側に隣接する第１の部分ＤＣａ、右側に隣接する第２の部分ＤＣｂのみならず、上側に隣接する部分（上側に隣接するスポット領域内の光スポットのための識別コードの第１の部分（符号ＤＣａ’で示す））と、左側に隣接する部分（左側に隣接するスポット領域内の光スポットのための識別コードの第２の部分（符号ＤＣｂ’で示す））をも読み取る。読み取った識別コードの値は記憶部８４に記憶させる。

識別コード読取部８３で各スポット領域ＭＡに隣接する識別コードの読み取りを行う際、上側に隣接する識別コード部分（ＤＣａ’）、左側に隣接する識別コード部分（ＤＣｂ’）がそれ以前にすでに読み取られ、記憶部８４に記憶されている場合、それらの識別コード部分の値を、記憶部８４から読み出すことしても良い。撮像された投写像を左上から順に処理する場合、各スポット領域についての処理を行う時点では、上側、左側に隣接するスポット領域についての処理は終わっているので、上記のように記憶部８４に記憶された識別コードを利用することが可能である。

有効性確認部８５は、識別コード読取部８３で読み取った識別コードの有効性をチェックする。チェックの結果、有効性に疑問が有る場合（信頼性がない場合）には、読み取った識別コードを以降の処理には用いないこととする。
有効性の判定には、図１２に示すように、各スポット領域ＭＡに対して下側に隣接する第１の識別コード部分ＤＣａ、右側に隣接する第２の識別コード部分ＤＣｂ、上側に隣接する識別コード部分ＤＣａ’、左側に隣接する識別コード部分ＤＣｂ’を用いる。

図１２でも、図８と同様に、識別コード部分ＤＣａを構成する４つのセルの状態（４ビット）をｃ１〜ｃ４で表し、識別コード部分ＤＣｂを構成する４ビットを符号ｃ５〜ｃ８で表す。
さらに識別コード部分ＤＣａ’を構成する４つのセルの状態（４ビット）をｃ１’〜ｃ４’で表し、識別コード部分ＤＣｂ’を構成する４ビットを符号ｃ５’〜ｃ８’で表す。
ｃ１’〜ｃ４’は上方向に並んだ光スポットＭＫに付随したものであるので、ｃ１〜ｃ４と同じ値のはずである。
一方、ｃ５’〜ｃ８’は左方向に並んだ光スポットＭＫに付随したものであるので、上記した、「隣接する識別コード間では、オン状態／オフ状態の変更箇所が必ず一箇所のみ」であるとの条件から、ｃ５〜ｃ８と同じ、又は１ビットだけ異なるものであるはずである。
そこで、
（ｂ） 「ｃ１〜ｃ４がｃ１’〜ｃ４’と同じであり、かつｃ５〜ｃ８がｃ５’〜ｃ８’と同じ、又は１ビットだけ異なる」
と言う条件が満たされれば、得られた識別コードｃ１〜ｃ８は有効であり、上記の条件（ｂ）が満たされなければ、得られた識別コードｃ１〜ｃ８は有効ではない（信頼性が低い）と判断する。
上記の条件（ｂ）は、
（ｂ１） 「左右方向で隣接する光スポット間で、識別コードの第２の部分ｃ５〜ｃ８、ｃ５’〜ｃ８’間の異なる箇所（変更箇所）が１箇所以下であり、上下方向で隣接する光スポット間で、識別コードの第１の部分ｃ１〜ｃ４、ｃ１’〜ｃ４’が互いに同じである」
と言い換えることもでき、
（ｂ２） 「各光スポットについてその右側において隣接する識別コード部分ｃ５〜ｃ８と左側において隣接する識別コード部分ｃ５’〜ｃ８’との間で異なる箇所（変更箇所）が１箇所以下であり、下側において隣接する識別コード部分ｃ１〜ｃ４と上側において隣接する識別コード部分ｃ１’〜ｃ４’とが同じである」
と言い換えることもできる。

以上は、ビットｃ１’〜ｃ８’について、事前に有効であるとの判断されたものであることを前提としている。
ビットｃ１’〜ｃ８’について有効であるとの判断がなされていない状態では、ｃ１〜ｃ８とｃ１’〜ｃ８’のいずれかが有効でないとの判断を保留し、他の識別コードとの比較結果をも利用して総合的に判断することとしても良い。

投写角推定部８６は、識別コード読取部８３から識別コードの読み取り結果を受け、有効性確認部８５から有効性の判定結果Ｄ８５を受けて、さらに制御部３０から、図９の表の内容を示すデータ（各識別コードと投写パターン内の位置の関係を示す情報）Ｓｄｐと、投写パターン上の位置と投写角の対応関係を示す情報Ｓｐａを得て、これらに基づいて各光スポットの投写角φを推定する。なお、上記の情報、即ち図９の表の内容を示すデータＳｄｐと、投写パターン上の位置と投写角の対応関係を示す情報Ｓｐａが制御部３０から与えられたら、投写角推定部８６内のメモリ（図示しない）に保持しておくこととしても良い。

識別コード読取部８３での読み取り結果について、有効性確認部８５で有効でないとの判断がなされた場合には、投写角推定部８６は、当該読み取り結果に基づく投写角の推定を行わない。
識別コード読取部８３での読み取り結果について、有効性確認部８５で有効であるとの判断がなされた場合には、投写角推定部８６は、該読み取り結果に基づいて投写角の推定を行う。

投写角の推定においては、読み取られた識別コードＤＣの値が、図９の表中の識別コードＮｏ．０〜Ｎｏ．５５のいずれに一致するかを判定し（即ち、パターン内のどの位置の光スポットに付されたものであるかを判定し）、判定結果に基づいて、当該光スポットが投写パターンのどの位置のものであるかを特定する。
識別コードが、図９の表に存在しないものであれば（パターン内の光スポットに付された識別コードのいずれとも合致しないときは）、読み取りエラーとし、光スポットの位置判定には用いない。
光スポットの、投写パターン上の位置が特定できたら、特定された位置と投写角との関係を示す情報Ｓｐａ（制御部３０から与えられる）に基づいて投写角φを求める。

入射角算出部８７は、スポット領域抽出部８２の出力に基づいて、撮像面内のどの位置に光スポットが撮影されているか、ならびに撮像部の軸線方向及び画角に基づいて、当該光スポットについての入射角θを算出する。軸線方向及び画角を表す情報Ｓｚｖは、制御部３０から供給される。

距離算出部８８は、投写角推定部８６で推定された投写角φと、入射角算出部８７で算出された入射角θと、制御部３０から供給される基線長Ｌｐｃに基づいて光スポットが投写されている被写体の表面までの距離を計算する。

まず、図３の軸線ＢＬから光スポットが投写されている被写体表面（スポットＳＰが形成された点）、即ち図３でスポットＳＰの位置までの距離Ｚは、
Ｚ＝Ｌｐｃ／（ｔａｎφ−ｔａｎθ） （１）
の関係から求めることができる。式（１）は、図３において、
Ｚ・ｔａｎφ−Ｚ・ｔａｎθ＝Ｌｐｃ （２）
の関係があることから得られる。

次に、撮像部から光スポットが形成された被写体表面（スポットＳＰ）までの距離Ｒは、式（２）で得られる基線ＢＬまでの距離Ｚと、入射角θから、
Ｒ＝Ｚ／ｃｏｓθ （３）
により求めることができる。

図１３は、上記の距離情報生成部１８の処理の手順を示す。
まず２値化された投写像パターンを２値化し（ＳＴ１０１）、
次に、２値化した投写像パターンから、スポット領域ＭＡの抽出を行う（ＳＴ１０２）。
次に、各スポット領域ＭＡに隣接した識別コード領域から識別コードＤＣ、ＤＣａ’、及びＤＣｂ’を読み取る（ＳＴ１０３）。
次に、識別コードの有効性の判定を行う（ＳＴ１０４）。
識別コードが有効であれば、投写角φの推定を行う（ＳＴ１０５）。
次に、入射角θの算出を行う（ＳＴ１０６）。
次に投写角φ及び入射角θを用いて、距離の算出を行う（ＳＴ１０７）。
ステップＳＴ１０３〜ＳＴ１０７を、撮像された投写像中のすべてのスポット領域ＭＡについて行われたか否かの判定を行い（ＳＴ１０８）、すべてについて処理が行われたら、終了する。
なお、ステップＳＴ１０４で有効でなければ（Ｎｏ）、ステップＳＴ１０８に進む。

以上の処理により、各光スポットが投写された被写体表面（スポットＳＰ）までの距離を求めることができる。

この場合、撮像部への入射角の順序が投写部での投射角の順序と変わっていても（入れ替わりが起きていても）、識別コードの利用により、撮像画像中の光スポットの、投写パターン内での位置を求めることができ、従って、投写パターン内での位置の特定、投射角の推定、距離の計算を正確に、しかも少ない演算量で行うことができる。

表示処理部１９は、前記背景画像に距離情報を関連付けて表示する。
図１４（ａ）及び（ｂ）は、表示処理部１９の出力画像の例を示す。
図１４（ａ）は、背景画像を表し、
図１４（ｂ）は、距離情報付き画像を表す。
距離情報付き画像としては、距離に輝度又は色を割り当てたものが表示される。例えば、背景画像を輝度で表現し、距離を色で表現した画像が表示される。あるいは、撮像空間に存在する物体を認識して、当該物体の距離を表す文字情報を背景画像に重畳表示した画像を出力する。
また、例えば、２つの表示画面を用いて、一方に図１４（ａ）の背景画像を表示し、他方に図１４（ｂ）に示す距離情報付き画像を表示しても良く、一つの表示画面で、図１４（ａ）に示す背景画像と、図１４（ｂ）に示す距離情報付き画像を交互に表示しても良く、ユーザによる操作により選択された方を表示するようにしても良い。この場合、距離情報付き画像は、背景画像と同じ画角、画素数で、同期して表示するのが望ましい。

以上のように、本実施の形態によれば、少ない演算量で距離を求めることができる。
また、回折格子を用いてパターンを投写する際に、点対称のパターンとすることにより、回折格子の設計が容易化でき、コスト低減を図ることが可能である。

さらに、各識別コードＤＣ内でオンとなるセルの数を最大４と限定していることにより、光スポットを識別しやすくするとともに、ドット（オン状態のセルによって構成される）の数を減らし、ドットの輝度を向上させ、カメラ撮影時のパターン検出を容易にすることが可能である。

上記の実施の形態では、上記の条件（ｂ）が満たされれば、得られた識別コードｃ１〜ｃ８は有効であり、上記の条件（ｂ）が満たされなければ、得られた識別コードｃ１〜ｃ８は有効ではない（信頼性が低い）と判断している。代わりに、
（ｃ） 水平方向において隣接する光スポットの識別コード間の変更箇所（オン状態からオフ状態へ、又はオフ状態からオン状態に切り替わる箇所）が必ず一箇所のみである」
ことを利用して、識別コードを隣接する光スポット間で比較し、識別コードの読取結果の有効性を判定することが可能である。

例えば、図１５に示すように、各光スポットＭＫの下側及び右側のセルｃ１〜ｃ８から成る識別コードを、その左隣の光スポットＭＫ’の下側及び右側のセルｃ１〜ｃ８から成る識別コードとを比較し、
（ｃ１） 「各光スポットの下側及び右側のセルｃ１〜ｃ８から成る識別コードが、その左隣の光スポットの下側及び右側のセルｃ１〜ｃ８から成る識別コードに対して１ビットだけ異なる」
と言う条件が満たされれば、得られた識別コードｃ１〜ｃ８は有効であり、上記の条件（ｃ１）が満たされなければ、得られた識別コードｃ１〜ｃ８は有効ではない（信頼性が低い）と判断することとしても良い。

上記の例では識別コードＤＣとして、スポット領域に対して下側で隣接し、水平方向に並んだセルから成る第１の部分ＤＣａと、スポット領域に対して右側で隣接し、垂直方向に並んだセルから成る第２の部分ＤＣｂを含むものを用いたが、第１の部分及び第２の部分の一方のみであっても良い。第１の部分が、スポット領域に対して上側に隣接していても良く、第２の部分がスポット領域に対して左側で隣接していても良い。また、第１の部分のように、水平方向に並んだセルから成る部分と、第２の部分のように、垂直方向に並んだセルから成るものの一方のみを含むものであっても良い。

上記の実施の形態１では、撮像部１１と投写部２２を水平方向に並ぶように配置し、識別コードとして、水平方向の異なる位置にある他の光スポットとの識別を可能にするものを用いたが、撮像部１１と投写部２２を垂直方向に並ぶように配置し、識別コードとして、垂直方向の異なる位置にある他の光スポットとの識別を可能にするものを用いても良い。
要するに、撮像部１１と投写部２２を並べた方向（撮像部１１及び投写部２２が設置された空間内の第１の方向）において、異なる位置にある他の光スポットとの識別が可能な識別コードを用いれば良い。

このように、撮像部１１と投写部２２を並べた方向に対応する投写パターン内の方向を第１の方向と言い、該第１の方向に垂直な方向を第２の方向と言う場合、上記した、図１２を参照して上記した条件（ｂ１）、（ｂ２）を一般化して言えば、それぞれ
（ｄ１） 「第１の方向において隣接する光スポット間で、識別コードの第２の部分（ｃ５〜ｃ８、ｃ５’〜ｃ８’）間の異なる箇所（変更箇所）が１箇所以下であり、第２の方向において隣接する光スポット間で、識別コードの第１の部分（ｃ１〜ｃ４、ｃ１’〜ｃ４’）が互いに同じである」、
（ｄ２） 「各光スポットについて、その第１の方向の一方の側において隣接する識別コード部分（ｃ５〜ｃ８）と、前記第１の方向の他方の側において隣接する識別コード部分（ｃ５’〜ｃ８’）との間で異なる箇所（変更箇所）が１箇所以下であり、第２の方向の一方の側において隣接する識別コード部分（ｃ１〜ｃ４）と前記第２の方向の他方の側において隣接する識別コード部分（ｃ１’〜ｃ４’）とが同じである」
となり、上記した図１５を参照して上記した条件（ｃ）を一般化して言えば、（ｅ） 「第１の方向において互いに隣接する光スポット間で、それらの識別コードの変更箇所が一箇所のみである」
となり、いずれの場合にもこれらの条件が満たされるか否かに応じて、識別コードの読み取り結果が有効か否かの判断をすることになる。

さらに、上記の条件（ｄ）及び条件（ｅ）がともに満たされるか否かに応じて、識別コードの読み取り結果が有効か否かの判断をすることとしても良い。

実施の形態２．
本発明の実施の形態２の構成は実施の形態１と同じく図１によって示される。但し、距離情報生成部１８として、図１６に示すものが用いられる。
図１６の距離情報生成部１８は、図１１のものと概して同じであるが、距離範囲算出部８９が付加されている点で異なる。
距離範囲算出部８９は、撮像画像中のスポット領域ＭＡの大きさと、スポット領域内の、光スポットを形成するドットの大きさ（撮像により得られた画像中の、各セル内の比較的高輝度の部分の大きさ）との割合に基づいて、光スポットが投射されている被写体表面までの距離の範囲を推定する。
距離算出部８８は、投写角に基づいて算出した距離が距離範囲算出部８９で算出した距離範囲内のものでないときは、投写角に基づく距離の計算の結果を信頼性の低いものと判断する。

以下、距離範囲算出部８９における距離範囲の算出方法を、図１７（ａ）及び（ｂ）を参照して説明する。

図１７（ａ）及び（ｂ）は被写体の距離によるスポット領域ＭＡと光スポットＭＫを構成するドットＤＴの大きさの比率を示したものである。
投写パターンをレーザー光源と回折格子の組み合わせを用いて投写する場合、パターンを構成するドットは、コリメートレンズによって平行化されたレーザー光一点で形成されるため、被写体の距離によらずドット自体の大きさは変わらない。一方パターン全体の大きさは、回折されたドット間の相互距離によって決まる。異なるドットを形成する回折光同士は平行ではなく投写部２２から放射状に投写されているため、被写体までの距離が遠くなるに従いドット間の距離が広がる。そのため被写体の距離に応じて、投写パターンの大きさ、従って、スポット領域ＭＡの大きさとドットＤＴの大きさの比率が変化し、比率を計測することによって被写体のとりうる距離の範囲を求める。
スポット領域ＭＡの大きさに対する各ドットの大きさの比率の変化を検出するために、撮像素子の解像度（画素の数）を十分大きくする必要がある。具体的には、撮像素子の水平方向及び垂直方向の画素の水平方向の数及び垂直方向の数が、それぞれ投写パターン内のドット位置（セル）の水平方向の数及び垂直方向の数に対して十分に多くする必要があり、例えば１０倍程度以上あることが望ましい。

実施の形態２の距離情報生成部１８における処理の手順を図１８に示す。
図１８の処理は、図１３の処理と同様であるが、ステップＳＴ１１１〜ＳＴ１１４が付加されている。
ステップＳＴ１１１では、ドットの大きさとスポット領域ＭＡの大きさの比から、ドットが形成された被写体表面までの距離範囲を推定する。
ステップＳＴ１１２では、ステップＳＴ１０７で求めた距離がステップＳＴ１１１で求めた距離範囲内か否かの判定を行う。距離の範囲内であれば（Ｙｅｓ）、ＳＴ１０７で求めた距離が有効と判断して（ＳＴ１１３）、判断結果に基づく処理を行い、その後ステップＳＴ１０８に進み、距離範囲内でなければ（Ｎｏ）、ステップＳＴ１０７で求めた距離が有効でないと判断して（ＳＴ１１４）、判断結果に基づく処理を行い、その後、ステップＳＴ１０７に進む。
上記以外の点では、実施の形態２は実施の形態１と同じである。

上記の通り、スポット領域ＭＡの大きさと光スポットを構成するドットＤＴの大きさの比率に基づき、被写体のとりうる距離の範囲を絞り込むことにより、光スポットの誤検出を減らし、被写体距離の検出精度を向上させることが可能である。
なお、実施の形態１について記載した変形例は、実施の形態２にも適用可能である。

実施の形態３．
図１９は本発明の実施の形態３における画像生成装置の構成を示すブロック図である。
図示の画像生成装置は、図１に示すものと概して同じであるが、撮像部１１が光学フィルタ１３を備えている点で異なる。

光学フィルタ１３は、分光透過フィルタであり、入射光を所定の波長特性で透過させる。具体的には、投写されるパターン光の波長の透過率よりも可視光波長体の透過率が低いと言う特性を有する。

以下、光学フィルタ１３を用いることの意義について説明する。
光学フィルタ１３の分光透過特性の一例を図２０に示す。図２０に示す特性の場合、投写されるパターン光の波長、即ち、レーザー光源２３の発光波長である８３０ｎｍを中心とした波長帯で１００％透過し、可視光波長帯では、所定の透過率だけ透過し、それ以外の波長帯では透過しない。
可視光波長帯の所定の透過率は、撮像空間ＪＳの環境光の分光分布と明るさと、投写部２２により投写される投写パターン、特に各ドットの光の強さに基づいて設定される。

光学フィルタ１３が設けられていない場合には、撮像素子１４から出力される撮像信号Ｄ１１において、可視光波長帯を中心に大きなパワーで分布する環境光成分が支配的となり、８３０ｎｍを中心とした波長帯だけのパターン光成分の割合が微小となるため、パターン光成分の抽出が困難である。

そこで本実施の形態では、光学フィルタ１３を設け、パターン光成分は１００％透過させて撮像する一方、環境光成分を減衰させて撮像することで、撮像信号からの投射像成分の分離乃至抽出を容易にする。

撮像素子１４から出力される撮像信号Ｄ１１のうち、投写像成分と背景成分が例えば１：６４の割合であれば、撮像信号Ｄ１１をＡ／Ｄ変換することで得られる８ｂｉｔの撮像信号Ｄ１５による２５６階調のうち約４階調分が投写像成分を表すことになる。
投写像成分と背景成分の合計と、背景成分との差が１階調分以上であれば、原理的には分離できるが、ノイズの影響を考慮して余裕を与え、上記の差が所定階調数以上の値を有するものとなるように設定される。即ち、上記の階調数は、ノイズがない場合に最低源必要な１階調に、予想されるノイズ成分の階調数を加えた階調数とされる。
光学フィルタ１３の可視光波長帯の透過率は、投写像成分と背景成分が例えば１：６４の割合となるように設定される。

投写パターンの各ドットの光の強度は、レーザー光源２３の発光パワーと、形成されるドットの数によって決まる。一方、環境光は、環境光の光源の分光放射特性に基づいて波長ごとの照度が決まり、該分光放射特性に基づいて光量を算出することができる。

実施の形態３では、レーザー光源２３の発光波長として８３０ｎｍの場合を例に説明したが、環境光の光源の分光放射特性で、放射輝度が弱い波長を発光波長とするレーザー光源を用いることとしても良い。

本実施の形態３では、撮像素子に分光透過特性の光学フィルタを備えたので、支配的な環境光成分の影響を最小限に抑えてパターン光成分を抽出することができ、高照度環境下でも測距でき、画像に関連付けた距離情報を得るころができる。また、１個の撮像素子で、背景画像と距離情報を取得するので、環境光による背景画像と、距離情報を有する画像の画角が完全に一致し、画像として写っている被写体の距離を正確に把握することができる。

また、光学フィルタ１３としては、可視光波長帯と投写パターン光の波長に透過特性を有し、可視光波長帯の透過率が、投写パターン光の波長の透過率より低く設定されたものを用いているので、撮像素子１４の出力のうち、パターン光成分の抽出を妨げる可視光波長帯の環境光成分を少なくすることができ、パターン光成分を高精度に抽出することが可能となり、明るい環境下でも測距でき、画像に関連付けた距離情報を得ることができる。

上記実施の形態１、２及び３では、撮像素子１４として、ＲＧＢ画素がベイヤ配列された、撮像素子を用いているが、モノクロの撮像素子であっても上記と同様に動作し同様の効果が得られる。

実施の形態４．
本発明の実施の形態４の構成は実施の形態３と同じく図１９によって示される。但し、画像生成部１７として、図２１に示されるものが用いられる。

図２１に示される画像生成部１７は、図７に示すのと同様の映像信号処理部７２に加えて、画素加算部７４を有する。
図２１において、入力端子７１に分離部１６から出力される投写像成分を含まない撮像信号（背景成分を表す信号）が印加される。
画素加算部７４は、分離部１６の出力端子６５から出力されるＲ画素、Ｇ画素、Ｂ画素がベイヤ配列されたＲ、Ｇ、Ｂの画素の各々（注目画素）の画素値に対し、当該画素の周辺に位置し、同じ色の画素の画素値を加算することで、増倍された画素値を有する信号を出力する。

図２２（ａ）〜（ｃ）は、注目画素に対して加算される画素を示す。図２２(ａ)〜（ｃ）において、最小のマスはそれぞれ画素を表す。
注目画素が図２２（ａ）に示されるようにＲ画素ＲＲ３４である場合には、周辺の画素として、２行上で２列左の画素ＲＲ１２、２行上で同じ列の画素ＲＲ３２、２行上で２列右の画素ＲＲ５２、同じ行で２列左の画素ＲＲ１４、同じ行で２列右の画素ＲＲ５４、２行下で２列左の画素ＲＲ１６、２行下で同じ列の画素ＲＲ３６、及び２行下で２列右の画素ＲＲ５６の、８つの画素が加算される。
従って、加算結果ＮＲＲ３４は下の式で表される。
ＮＲＲ３４＝ＲＲ１２＋ＲＲ３２＋ＲＲ５２
＋ＲＲ１４＋ＲＲ３４＋ＲＲ５４
＋ＲＲ１６＋ＲＲ３６＋ＲＲ５６
以上注目画素がＲＲ３４である場合について説明したが、他の位置のＲ画素についても、同様の配置の周辺画素を加算する。

注目画素が図２２（ｂ）に示されるように、Ｇ画素ＧＢ３３である場合には、周辺の画素として、２行上で同じ列の画素ＧＢ３１、１行上で１列左の画素ＧＲ２２、１行上で１列右の画素ＧＲ４２、同じ行で２列左の画素ＧＢ１３、同じ行で２列右の画素ＧＢ５３、１行下で１列左の画素ＧＲ２４、１行下で１列右の画素ＧＲ４４、及び２行下で同じ列の画素ＧＢ３５の、８つの画素が加算される。
従って、加算結果ＮＧＢ３３は下の式で表される。
ＮＧＢ３３＝ＧＢ３１＋ＧＲ２２＋ＧＲ４２
＋ＧＢ１３＋ＧＢ３３＋ＧＢ５３
＋ＧＲ２４＋ＧＲ４４＋ＧＢ３５
以上注目画素がＧＢ３３である場合について説明したが、他の位置のＧ画素についても、同様の配置の周辺の画素を加算する。

注目画素が、図２２（ｃ）に示されるように、Ｂ画素ＢＢ４３である場合には、周辺の画素として、２行上で２列左の画素ＢＢ２１、２行上で同じ列の画素ＢＢ４１、２行上で２列右の画素ＢＢ６１、同じ行で２列左の画素ＢＢ２３、同じ行で２列右の画素ＢＢ６３、２行下で２列左の画素ＢＢ２５、２行下で同じ列の画素ＢＢ４５、及び２行下で２列右の画素ＢＢ６５の、８つの画素が加算される。
従って、加算結果ＮＢＢ４３は下の式で表される。
ＮＢＢ４３＝ＢＢ２１＋ＢＢ４１＋ＢＢ６１
＋ＢＢ２３＋ＢＢ４３＋ＢＢ６３
＋ＢＢ２５＋ＢＢ４５＋ＢＢ６５
以上注目画素がＢＢ４３である場合について説明したが、他の位置のＲ画素についても、同様の配置の周辺画素を加算する。

以上のような加算処理は、注目画素に対して、同一フレーム内の周辺の画素を混合する処理であり、周辺の画素は、一般に注目画素と同程度の画素値を持つので、信号成分を増倍する効果を有する。
例えば各注目画素に対して上記のように周辺の８個の画素の画素値を加算する場合（仮に周囲の画素が注目画素と同じ画素値を有するとすれば）、加算結果は、注目画素の画素値の９倍となる。
但し、周辺の画素を加算（混合）する結果、解像度（静止解像度）は低下する。

なお、注目画素に対して、同一フレーム内の周辺の画素を加算する代わりに、異なるフレーム、即ち注目画素を含むフレームの前後のフレーム内の、注目画素と同一の位置の画素を加算しても良い。
ここで、前後のフレームとは直前の１フレーム及び直後の１フレームに限らず、直前の所定数のフレーム、及び直後の所定数のフレームであっても良い。
異なるフレームの同一位置の画素を加算することとすれば、静止解像度の低下を避けながら、信号成分を増強することができ、画像の動きが少ない場合に特に有効である。
但し、動きの激しい映像の場合に動きぼけが多くなる。

なおまた、注目画素に対して、同一フレーム内の周辺の画素及び異なるフレームの同一位置の画素の双方を加算しても良く、さらに、異なるフレームの同一位置の画素の周辺の画素を加算しても良い。
そのようにすれば信号成分の増倍率を一層大きくすることができる。

映像信号処理部７２は、画素加算部７４の出力信号に、階調補正処理、ノイズ低減処理、輪郭補正処理、白バランス調整処理、信号振幅調整処理、色補正処理などを加えた映像信号を背景画像として出力端子７３から出力する。

光学フィルタ１３としては、実施の形態３と同じく図２０に示される分光透過特性のものが用いられるが、本実施の形態では、可視光波長帯の透過率が、画素加算部７４の加算画素数に基づいて設定される。例えば、画素加算部７４の加算画素数が多いほど、透過率が小さな値に設定される。より具体的には、光学フィルタ１３の透過率が、画素加算部７４の加算画素数の逆数に設定される。例えば、画素加算部７４が９画素加算を行うものである場合、透過率が１／９（１１．１％）に設定される。

画素加算部７４は、解像度の低下を最小限に抑えて光学フィルタ１３による可視光波長帯の減衰を補って画像の明るさを復元できればよく、上記の周辺画素の加算とは異なる信号処理も適用可能である。
例えば、画素値の相関性を検出して、相関の強い画素を選択して加算することにより、背景画像として、解像度の低下をより少なくすることもできる。

図２２（ａ）〜（ｃ）に示す例では、画素加算部７４が注目画素に対して周辺の８画素を加算するが、環境光成分とパターン光成分の割合に応じて、光学フィルタ１３の可視光波長帯の透過率を設定して、加算する周辺画素の数を増減するように構成しても良く、そのように構成することでパターン光成分の抽出が可能になるのみならず、明るい背景画像を得ることができる。

上記の実施の形態４で、実施の形態１、２及び３と同様に、撮像素子１４として、Ｒ、Ｇ、Ｂの画素がベイヤ配列されたものの代わりにモノクロの撮像素子を用いても良く、その場合にも、同様に動作し同様の効果が得られる。また、実施の形態４でモノクロの撮像素子を用いれば、より近い位置の画素を加算することが可能となり、背景画像として、解像度の低下をより少なくした画像を生成することができる。

本実施の形態４によれば、画像生成部１７が、周辺の画素を混合して信号成分を増倍する画素加算部７４を備えるので、光学フィルタ１３の可視光波長帯の透過率を、パターン光の波長の透過率より低く設定することによって、撮像素子１４に入射する背景画像成分の入射光量が減少しても、周辺の画素混合により明るい背景画像を復元することができる。従って、明るい照度環境下でも測距でき、画像に関連付けた距離情報を得られると共に、明るい背景画像を得ることができる。

この場合、注目画素と同じフレーム内において、注目画素の周辺に位置する画素を混合して信号成分を増倍することとすれば、動きの激しい被写体でも動きぼけすることなく、明るい背景画像を復元することができる。

一方、注目画素を含むフレームの前後のフレームにおける、注目画素と同じ位置の画素を混合して信号成分を増倍することとすれば、静止解像度の低下を抑制することができるので、細かな模様、複雑な輪郭を有する被写体であっても、解像度の低下を最小に抑えて、明るく、鮮明な背景画像を復元することができる。

光学フィルタ１３として、可視光波長帯の透過率を、画素加算部７４の加算画素数（増倍率）の逆数に設定したものを用いれば、光学フィルタ１３による減衰の前と略同じ明るさの背景画像を復元することができる。これとともに、撮像信号として、パターン光成分の抽出の障害となる可視光波長帯の環境光成分を小さくしたものを得ることができ、パターン光成分を高精度に抽出することが可能となり、明るい照度環境下でも測距でき、画像に関連付けた距離情報を得ることができる。

実施の形態４を、実施の形態３に対する変形例として記載したが、実施の形態１及び２のいずれに対しても、実施の形態４で説明した特徴を加えることもできる。

上記実施の形態１、２、３及び４では、投写部２２の光源としてレーザーを用いているが、代わりにＬＥＤなど他の光源を使用しても、回折格子の入射光の特性を満足すれば、同様に動作し同様の効果が得られる。

上記実施の形態１、２、３及び４では、投写部２２として、レーザー光源２３で回折格子２６に形成されたパターンを投写する構成について説明したが、レーザー光を高速に２次元走査して（１フレーム期間内に視野全体を走査して）パターン投写する構成としても、同様に動作し同様の効果が得られる。

また、上記の実施の形態１、２、３及び４では、パターン光を形成する素子として回折格子を用いているが、例えば、特許文献３の段落０００３、０００４などに記載されている透過型の計算機ホログラム（Ｃｏｍｐｕｔｅｒ Ｇｅｎｅｒａｔｅｄ Ｈｏｌｏｇｒａｍ）などの投写パターンの分光デバイスを使用しても、同様に動作し同様の効果が得られる。

以上のように、本発明によれば、撮像空間に存在する物体までの距離情報を撮像画像に対応付けて取得できる画像生成装置が得られる。しかも、用いられる撮像素子は１個で良い。本発明の画像生成装置は、例えば、侵入者の画像と距離を同時に取得できることから、監視用途における侵入監視に適用できる。本発明の画像生成装置はまた、例えば、車両の前方や後方の障害物検知に基づく運転支援、例えば駐車支援にも適用できる。

１０ 画像取得部、 １１ 撮像部、 １２ レンズ、 １３ 光学フィルタ、 １４ 撮像素子、 １５ Ａ／Ｄ変換部、 １６ 分離部、 １７ 画像生成部、 １８ 距離情報生成部、 １９ 表示処理部、 ２０ パターン光生成部、 ２１ 駆動部、 ２２ 投写部、 ２３ レーザー光源、 ２４ コリメートレンズ、 ２５ アパーチャ、 ２６ 回折格子、 ３０ 制御部、 ６１ フレーム遅延部、 ６２ 差分演算部、 ６３ スイッチ、 ７２ 映像信号処理部、 ７４ 画素加算部、 ８１ ２値化部、 ８２ スポット領域抽出部、 ８３ 識別コード読取部、 ８４ 記憶部、 ８５ 有効性確認部、 ８６ 投写角推定部、 ８７ 入射角算出部、 ８８ 距離算出部、 ８９ 距離範囲算出部。

Claims (16)

1. 撮像空間に所定波長のパターン光を投写する投写部と、
   前記撮像空間を撮像する撮像部と、
   前記撮像部による撮像で得られた撮像信号のうち、パターン光投写時に得られた撮像信号とパターン光非投写時に得られた撮像信号の差分を求めることで投写像成分を分離する分離部と、
   前記分離部で分離された前記投写像成分に基づいて距離情報を生成する距離情報生成部とを備え、
   前記距離情報生成部は、前記投写像成分で表される投写像内の光スポットの配列と、予め記憶されている、投写パターン内における各光スポットの位置と投写角との関係から、撮像された投写パターン内の各光スポットの投写角を特定し、特定された投写角に基づいて、光スポットが投写されている被写体の表面までの距離を求め、
   前記投写部から投写されるパターン光は、各光スポットに付随して識別コードを構成する、各々オン状態又はオフ状態の複数のセルを含み、
   前記距離情報生成部は、前記識別コードに基づいて、該識別コードが付随した光スポットの、投写パターン内における位置を特定し、
   各光スポットに付随する識別コードは、
   投写パターン内の第１の方向に並んだ複数のセルから成り、当該光スポットに対し、投写パターン内の第２の方向における一方の側に配置された第１の部分と、
   前記第２の方向に並んだ複数のセルから成り、当該光スポットに対し前記第１の方向における一方の側に配置された第２の部分とを有し、
   前記識別コードは、
   前記第１の方向において隣接する光スポット間で、前記識別コードの前記第２の部分を構成するセルのオン状態からオフ状態へ、又はオフ状態からオン状態へ切り替わる変更箇所が一箇所以下であり、
   前記第２の方向において隣接する光スポット間で、前記識別コードの前記第１の部分が互いに同じであり、
   前記撮像部は、可視光波長帯とパターン光の波長とに透過特性を有し、可視光波長帯の透過率が、前記パターン光の波長の透過率より低い光学フィルタを備え、
   前記分離部は、前記撮像部による撮像で得られた撮像信号のうち、パターン光投写時に得られた撮像信号とパターン光非投写時に得られた撮像信号の差分を求めることで前記投写像成分を分離し、
   前記光学フィルタの透過特性は、前記差分が前記撮像信号の所定階調数以上の値を有するものとなるように定められる
   画像生成装置。
2. 前記距離情報生成部は、
   前記分離部で得られた前記投写像成分に含まれる、各光スポットに付随した識別コードを読み取る識別コード読取部と、
   前記識別コード読取部で読み取られた、各光スポットに付随した識別コードの前記第２の部分が、当該光スポットに対して前記第１の方向において隣接する光スポットに付随した識別コードの前記第２の部分に対して前記変更箇所が一箇所以下であり、かつ前記識別コード読取部で読み取られた、各光スポットに付随した識別コードの前記第１の部分が、当該光スポットに対して前記第２の方向において隣接する光スポットに付随した識別コードの前記第１の部分と同じであると言う条件が満たされるか否かを判定し、これに基づいて読み取られた識別コードが有効であるか否かを判定する有効性確認部と、
   前記有効性確認部により有効であると判定された識別コードに基づいて各光スポットの投写角の推定を行う投写角推定部と
   を有する
   請求項１に記載の画像生成装置。
3. 撮像空間に所定波長のパターン光を投写する投写部と、
   前記撮像空間を撮像する撮像部と、
   前記撮像部による撮像で得られた撮像信号のうち、パターン光投写時に得られた撮像信号とパターン光非投写時に得られた撮像信号の差分を求めることで投写像成分を分離する分離部と、
   前記分離部で分離された前記投写像成分に基づいて距離情報を生成する距離情報生成部とを備え、
   前記距離情報生成部は、前記投写像成分で表される投写像内の光スポットの配列と、予め記憶されている、投写パターン内における各光スポットの位置と投写角との関係から、撮像された投写パターン内の各光スポットの投写角を特定し、特定された投写角に基づいて、光スポットが投写されている被写体の表面までの距離を求め、
   前記投写部から投写されるパターン光は、各光スポットに付随して識別コードを構成する、各々オン状態又はオフ状態の複数のセルを含み、
   前記距離情報生成部は、前記識別コードに基づいて、該識別コードが付随した光スポットの、投写パターン内における位置を特定し、
   前記識別コードは、投写パターン内の第１の方向において隣接する光スポット間で該識別コードを構成するセルのオン状態からオフ状態へ、又はオフ状態からオン状態へ切り替わる変更箇所が一箇所のみとなるように定められており、
   前記撮像部は、可視光波長帯とパターン光の波長とに透過特性を有し、可視光波長帯の透過率が、前記パターン光の波長の透過率より低い光学フィルタを備え、
   前記分離部は、前記撮像部による撮像で得られた撮像信号のうち、パターン光投写時に得られた撮像信号とパターン光非投写時に得られた撮像信号の差分を求めることで前記投写像成分を分離し、
   前記光学フィルタの透過特性は、前記差分が前記撮像信号の所定階調数以上の値を有するものとなるように定められる
   画像生成装置。
4. 各光スポットに付随する識別コードは、投写パターン内の第１の方向に並んだ複数のセルから成り、当該光スポットに対し、投写パターン内の第２の方向における一方の側に配置された第１の部分と、前記第２の方向に並んだ複数のセルから成り、当該光スポットに対し前記第１の方向における一方の側に配置された第２の部分とを有する
   請求項３に記載の画像生成装置。
5. 前記距離情報生成部は、
   前記分離部で得られた前記投写像成分に含まれる、各光スポットに付随した識別コードを読み取る識別コード読取部と、
   前記識別コード読取部で読み取られた、各光スポットに付随した識別コードが、前記第１の方向において隣接する光スポットに付随した識別コードに対して前記変更箇所が一箇所のみであるという条件が満たされるか否かを判定し、これに基づいて読み取られた識別コードが有効であるか否かを判定する有効性確認部と、
   前記有効性確認部により有効であると判定された識別コードに基づいて各光スポットの投写角の推定を行う投写角推定部と
   を有する
   請求項３又は４に記載の画像生成装置。
6. 各光スポットに付随する前記識別コードの各々内でオン状態となるセルの数が４個以下である
   請求項１から５のいずれか１項に記載の画像生成装置。
7. 前記投写パターンに含まれるすべての光スポットに付随する識別コードを構成する、オン状態及びオフ状態のセルの配列が前記投写パターンの中心に対して点対称となるように前記識別コードが定められている
   請求項１から６のいずれか１項に記載の画像生成装置。
8. 前記光スポットは、２行２列のオン状態のセルで構成され、各光スポットと、その周囲のセルとにより、スポット領域が形成されている
   請求項１から７のいずれか１項に記載の画像生成装置。
9. 前記距離情報生成部は、撮像された投写像内における、前記スポット領域の大きさと、前記スポット領域内の各セルに位置するドットの大きさの比から、当該光スポットが投写された被写体までの距離の範囲を算出し、
   前記距離情報生成部は、前記投写角に基づいて算出した前記被写体までの距離が、前記スポット領域の大きさと前記ドットの大きさとの比に基づいて定められた距離の範囲に入らないときは、前記投写角に基づいて算出した前記距離を前記投写角に基づく前記距離の算出結果を、無効なものとして処理する
   請求項８に記載の画像生成装置。
10. 前記撮像部と前記投写部とが空間内の第１の方向に並んで配置され、
    前記投写パターン内の前記第１の方向は、前記空間内の第１の方向に対応する方向である
    請求項１から９のいずれか１項に記載の距離情報付き画像生成装置。
11. 前記分離部は、前記撮像部による撮像で得られた撮像信号のうち、パターン光非投写時に得られた撮像信号を、背景成分として分離し、
    前記分離部で分離された前記背景成分から背景画像を生成する背景画像生成部をさらに有する
    請求項１から１０のいずれか１項に記載の画像生成装置。
12. 前記背景画像生成部は、周辺の画素の画素値を加算して信号成分を増倍する画素加算部を備える
    請求項１１に記載の画像生成装置。
13. 前記画素加算部は、各画素に対して同じフレーム内の周辺に位置する画素の画素値を加算する
    請求項１２に記載の画像生成装置。
14. 前記画素加算部は、各画素に対して、当該画素が含まれるフレームの前後に位置するフレーム内の、当該画素と同じ位置にある画素の画素値を加算する
    請求項１２に記載の画像生成装置。
15. 前記光学フィルタの可視光波長帯の透過率は、前記画素加算部の加算画素数が多いほど小さな値に定められる
    請求項１２から１４のいずれか１項に記載の画像生成装置。
16. 前記光学フィルタの可視光波長帯の透過率は、前記画素加算部の加算画素数の逆数に等しい
    請求項１５に記載の画像生成装置。

Images