JP7408642B2 - イメージング装置、車両用灯具、自動車、イメージング方法 - Google Patents

Description

本発明は、ゴーストイメージングを利用したイメージング装置に関する。

自動運転やヘッドランプの配光の自動制御のために、車両の周囲に存在する物体の位置および種類をセンシングする物体識別システムが利用される。物体識別システムは、センサと、センサの出力を解析する演算処理装置を含む。センサは、カメラ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ミリ波レーダ、超音波ソナーなどの中から、用途、要求精度やコストを考慮して選択される。

イメージング装置（センサ）のひとつとして、ゴーストイメージングの原理を利用したものが知られている。ゴーストイメージングは、参照光の強度分布（パターン）をランダムに切り替えながら物体に照射し、パターンごとに反射光の光検出強度を測定する。光検出強度はある平面にわたるエネルギーあるいは強度の積分値であり、強度分布ではない。そして、対応するパターンと光検出強度との相関をとることにより、物体の復元画像を再構成（reconstruct）する。

特許第６４１２６７３号公報

１． 本発明者らは、イメージング装置について検討した結果、以下の課題を認識するに至った。ゴーストイメージングにおける相関には、式（１）の相関関数が用いられる。参照光のＩ_ｒはｒ番目（ｒ＝１，２…，Ｍ）の強度分布であり、ｂ_ｒはｒ番目の強度分布を有する参照光を照射したときに得られる検出強度の値である。

図１は、イメージング装置の１フレームのセンシングを示すタイムチャートである。式（１）から分かるように、相関計算には、Ｍ回の参照光の照射によって１枚の画像を復元する。ここでＭ回の参照光の照射中に、光検出器には、物体からの反射光以外のノイズが入射し、このノイズによって復元画像の画質が低下する。

また、本発明者が検討したところ、参照光のパターンはランダムに変化するものであるが、ある被写体に対して、あるパターンでは良好な画像が得られ、別のパターンでは画像が劣化するケースが生じうることを認識した。

１． 本発明のある態様の例示的な目的のひとつは、復元画像の画質の改善にある。

２． また、本発明のある態様の例示的な目的のひとつは、イメージング装置に新たな機能や効果を付加できる照明装置の提供にある。

１． 本発明のある態様は、イメージング装置あるいはイメージング方法に関する。この装置・方法は、物体に、第１強度分布を有する第１参照光と、第１強度分布と相補的な関係にある第２強度分布を有する第２参照光と、を照射する。そして物体からの反射光を測定する。第１参照光を照射した結果にもとづく第１相関計算ならびに第２参照光を照射した結果にもとづく第２相関計算を行う。

２． 本発明の別の態様は、照明装置に関する。照明装置は、複数の画素に対応する複数のマイクロミラーを含み、各マイクロミラーはねじれ軸（ヒンジ）周りに第１方向、第２方向に独立に傾動可能である、ＤＭＤ（Digital Micromirror Device）と、ＤＭＤに第１入力ビームを照射する第１光源と、ＤＭＤに第２入力ビームを照射する第２光源と、を備える。第１入力ビームは、マイクロミラーが第１方向に傾動した状態のとき、第１出力ビームとして外部に投射され、マイクロミラーが第２方向に傾動した状態のとき、投射されず、第２入力ビームは、マイクロミラーが第２方向に傾動した状態のとき、第２出力ビームとして外部に投射され、マイクロミラーが第１方向に傾動した状態のとき、投射されず、第１出力ビームと第２出力ビームは、相補的な強度分布を有する。

本発明のある態様によれば、復元画像の画質を改善できる。また別の態様によれば、イメージング装置に新たな機能や効果を付加できる

イメージング装置の１フレームのセンシングを示すタイムチャートである。 実施形態１に係るイメージング装置を示す図である。 図２のイメージング装置の動作を説明するタイムチャートである。 実施例１に係る照明装置を示す図である。 ＤＭＤの構造を示す図である。 実施例１に係る照明装置における第１光源、第２光源およびＤＭＤの位置関係を示す断面図である。 実施例２に係る照明装置を示す図である。 実施形態２に係るイメージング装置のブロック図である。 図８のイメージング装置の動作を説明するタイムチャートである。 実施形態３に係るイメージング装置のブロック図である。 図１１（ａ）、（ｂ）は、実施例３に係る照明装置を示す図である。 図１１の照明装置の動作を説明する図である。 物体識別システムのブロック図である。 物体識別システムを備える自動車を示す図である。 物体検出システムを備える車両用灯具を示すブロック図である。

（実施形態の概要）
本開示のいくつかの例示的な実施形態の概要を説明する。この概要は、後述する詳細な説明の前置きとして、実施形態の基本的な理解を目的として、１つまたは複数の実施形態のいくつかの概念を簡略化して説明するものであり、発明あるいは開示の広さを限定するものではない。またこの概要は、考えられるすべての実施形態の包括的な概要ではなく、実施形態の欠くべからざる構成要素を限定するものではない。便宜上、本明細書における「一実施形態」は、本明細書に開示するひとつ実施形態または複数の実施形態を指すものとして用いる場合がある。

本明細書における「強度分布がランダム」とは、完全なランダムであることを意味するものではなく、ゴーストイメージングにおいて画像を再構築できる程度に、ランダムであればよい。したがって本明細書における「ランダム」は、その中にある程度の規則性を内包することができる。また「ランダム」は、予測不能であることを要求するものではなく、予想可能、再生可能であってもよい。

１． 一実施形態は、イメージング装置に関する。イメージング装置は、第１強度分布を有する第１参照光と、第１強度分布と相補的な関係にある第２強度分布を有する第２参照光と、を照射する照明装置と、物体からの反射光を測定する光検出器と、第１参照光を照射した結果にもとづく第１相関計算ならびに第２参照光を照射した結果にもとづく第２相関計算を行う演算処理装置と、を備える。

たとえば演算処理装置は、２つの相関計算を合成して、１つの最終復元画像を生成してもよい。これにより、第１検出強度と第２検出強度に共通して含まれるノイズ成分の影響をキャンセルすることができ、画質を改善できる。

あるいは演算処理装置は、第１相関計算にもとづいて第１復元画像を生成し、第２相関計算にもとづいて第２復元画像を生成してもよい。この場合、第１復元画像と第２復元画像のうち、画質が良い方を最終的な画像として選択してもよい。

第１参照光と第２参照光は同じ波長であり、時分割で照射されてもよい。

第１参照光は第１波長を有し、第２参照光は、第１波長と異なる第２波長を有してもよい。光検出器は、第１波長に感度を有し、第２波長に対し不感である第１検出器と、第２波長に感度を有し、第１波長に対し不感である第２検出器と、を含んでもよい。

第１参照光と第２参照光は同時に照射されてもよい。これによりフレームレートを高めることができる。

照明装置は、ＤＭＤ（Digital Micromirror Device）と、ＤＭＤに第１入力ビームを照射する第１光源と、ＤＭＤに第２入力ビームを照射する第２光源と、を備えてもよい。第１方向に傾動したマイクロミラーに入射した第１入力ビームの一部は、第１出力ビームとして外部に投射され、第２方向に傾動したマイクロミラーに入射した第１入力ビームの一部は投射されず、第２方向に傾動した前記マイクロミラーに入射した前記第２入力ビームの一部は、第２出力ビームとして外部に投射され、第１方向に傾動したマイクロミラーに入射した第２入力ビームの一部は投射されない。ＤＭＤにあるパターンを与えた状態で、第１光源を点灯させることで第１強度分布を有する第１参照光を生成でき、第２光源を点灯させることで第２強度分布を有する第２参照光を生成できる。

２． 一実施形態は、照明装置に関する。照明装置は、たとえば相関計算により物体の復元画像を再構成するイメージング装置に用いることができる。照明装置は、複数の画素に対応する複数のマイクロミラーを含み、各マイクロミラーはねじれ軸周りに第１方向、第２方向に独立に傾動可能である、ＤＭＤ（Digital Micromirror Device）と、ＤＭＤに第１入力ビームを照射する第１光源と、ＤＭＤに第２入力ビームを照射する第２光源と、を備える。第１入力ビームは、マイクロミラーが第１方向に傾動した状態のとき、第１出力ビームとして外部に投射され、マイクロミラーが第２方向に傾動した状態のとき、投射されず、第２入力ビームは、マイクロミラーが第２方向に傾動した状態のとき、第２出力ビームとして外部に投射され、マイクロミラーが第１方向に傾動した状態のとき、投射されず、第１出力ビームと第２出力ビームは、相補的な強度分布を有する。

この照明装置は、マイクロミラーの状態を変化させることなく、すなわちＤＭＤの画像を書き換えることなく、相補的な強度分布を有する出力ビームを生成できる。

第１入力ビームと第２入力ビームの波長は異なってもよい。この場合において、第１光源と第２光源は同時に点灯してもよい。これにより、相補的な強度分布を有する２つの出力ビームを同時に発生できる。

第１入力ビームと第２入力ビームの波長は同一であってもよい。この場合において、第１光源と第２光源は排他的に点灯してもよい。２つの出力ビームに対応する物体からの２つの反射光を検出する際に、波長にもとづいて２つの反射光を分離することができる。

第１出力ビームと第２出力ビームは、空間的にオーバーラップする領域に照射されてもよい。この場合、後段の信号処理によってノイズをキャンセルすることができる。

第１出力ビームと第２出力ビームは、空間的にオーバーラップしない領域に照射されてもよい。これにより照射範囲を広げることができる。

第１入力ビームと第２入力ビームの波長は可変であってもよい。これにより被写体の色や材質、周囲の環境に適応したセンシングやイメージングが可能となる。

実施形態に係る照明装置は、車両用灯具に内蔵することができる。

一実施形態には、イメージング装置が開示される。イメージング装置は、上述のいずれかの照明装置と、物体からの反射光を測定する光検出器と、第１出力ビームを照射した結果にもとづく第１相関計算、ならびに第２出力ビームを照射した結果にもとづく第２相関計算を行う演算処理装置と、を備える。

第１出力ビームと第２出力ビームはオーバーラップする領域に照射されてもよい。演算処理装置は、第１相関計算と第２相関計算を合成し、最終的な復元画像を生成してもよい。これにより第１検出強度と第２検出強度に共通して含まれるノイズ成分の影響をキャンセルすることができる。

（実施形態）
以下、本発明を好適な実施形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施形態は、発明を限定するものではなく例示であって、実施形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。

図２は、実施形態１に係るイメージング装置１００を示す図である。イメージング装置１００はゴーストイメージングの原理を用いた相関関数イメージセンサであり、照明装置１１０、光検出器１２０および演算処理装置１３０を備える。イメージング装置１００を、量子レーダカメラとも称する。

照明装置１１０は、疑似熱光源であり、実質的にランダムとみなしうる第１強度分布Ｉ_ｒ（ｘ，ｙ）を有する第１参照光Ｓ１＿１と、第１強度分布Ｉ（ｘ，ｙ）と相補的な関係にある第２強度分布Ｉ_ｒ＾（ｘ，ｙ）を有する第２参照光Ｓ１＿２を生成し、物体ＯＢＪに照射する。物体ＯＢＪへの参照光Ｓ１＿１，Ｓ１＿２の照射は、強度分布Ｉ（ｘ，ｙ）を複数のＭ回、ランダムに変化させながら行われる。

たとえば照明装置１１０は、光源１１２、パターニングデバイス１１４、パターン発生器１３２を含む。光源１１２は、均一な強度分布を有する入力ビームＳ０を生成する。パターニングデバイス１１４は、マトリクス状に配置される複数の画素を有し、複数の画素のオン、オフの組み合わせにもとづいて、入力ビームＳ０の強度分布Ｉを空間的に変調可能に構成される。本明細書においてオン状態の画素をオン画素、オフ状態の画素をオフ画素という。なお、以下の説明では理解の容易化のために、各画素は、オンとオフの２値（１，０）のみをとるものとするがその限りでなく、高速にオンとオフをスイッチングして、それらの時間比率を調節することにより中間的な階調をとってもよい。パターニングデバイス１１４により反射される出力ビームＳ１＿１，Ｓ１＿２は、相補的な強度分布Ｉ（ｘ，ｙ）を有するように変調される。

光検出器１２０は、第１参照光Ｓ１＿１に対する物体ＯＢＪからの反射光Ｓ２＿１を測定し、第１検出信号Ｄ_ｒを出力する。第１検出信号Ｄ_ｒは、第１強度分布Ｉ_ｒを有する第１参照光Ｓ１＿１を物体ＯＢＪに照射したときに、光検出器１２０に入射する光エネルギー（あるいは強度）の空間的な積分値である。したがって光検出器１２０は、シングルピクセルの光検出器（フォトディテクタ）を用いることができる。光検出器１２０からは、複数Ｍ通りの強度分布Ｉ_１～Ｉ_Ｍそれぞれに対応する複数の第１検出信号Ｄ_１～Ｄ_Ｍが出力される。

同様に、光検出器１２０は、第２参照光Ｓ１＿２に対する物体ＯＢＪからの反射光Ｓ２＿２を測定し、第２検出信号Ｄ_ｒ＾を出力する。光検出器１２０からは、複数Ｍ通りの強度分布Ｉ_１＾～Ｉ_Ｍ＾それぞれに対応する複数の第２検出信号Ｄ_１＾～Ｄ_Ｍ＾が出力される。

演算処理装置１３０は、パターン発生器１３２と再構成処理部１３４を含む。再構成処理部１３４は、複数の第１強度分布（ランダムパターンともいう）Ｉ_１～Ｉ_Ｍと、複数の第１検出強度ｂ_１～ｂ_Ｍの相関をとる（第１相関計算）。第１検出強度ｂ_１～ｂ_Ｍは、検出信号Ｄ_１～Ｄ_Ｍにもとづいている。検出強度と検出信号の関係は、光検出器１２０の種類や方式などを考慮して定めればよい。

また再構成処理部１３４は、複数の第２強度分布Ｉ_１＾～Ｉ_Ｍ＾と、複数の第２検出強度ｂ_１＾～ｂ_Ｍ＾の相関をとる（第２相関計算）。第２強度分布Ｉ_１＾～Ｉ_Ｍ＾は、第１強度分布Ｉ_１～Ｉ_Ｍにもとづいて演算することができる。第２検出強度ｂ_１＾～ｂ_Ｍ＾は、第２検出信号Ｄ_１＾～Ｄ_Ｍ＾にもとづいている。

再構成処理部１３４は、式（４）を演算することにより、最終的な復元画像Ｇ（ｘ，ｙ）を生成する。式（４）は、式（２）で表される第１相関計算の相関計算式と、式（３）で表される第２相関計算の相関計算式を合成した合成相関である。

以上がイメージング装置１００の構成である。続いてその動作を説明する。図３は、図２のイメージング装置１００の動作を説明するタイムチャートである。ここでは第１参照光Ｓ１＿１と第２参照光Ｓ１＿２が交互に時分割で照射されるものとする。

第１参照光Ｓ１＿１を照射するごとに、第１検出強度ｂ_ｒが取得され、第２参照光Ｓ１＿２を照射するごとに、第２検出強度ｂ_ｒ＾が取得される。各検出強度には、ノイズ成分σが含まれる。再構成処理部１３４は、ｒ＝１～Ｍについて得られる第１検出強度ｂ_ｒ、第２検出強度ｂ_ｒ＾、第１強度分布Ｉ_ｒ（ｘ，ｙ）、第２強度分布Ｉ_ｒ＾（ｘ，ｙ）にもとづいて、式（４）の合成相関式を計算し、最終的な復元画像Ｇ（ｘ，ｙ）を得ることができる。

以上がイメージング装置１００の動作である。続いてその利点を説明する。

いま強度分布は、０，１の２値を取るものとする。このとき、第１強度分布Ｉ_ｒ（ｘ，ｙ）と第２強度分布Ｉ_ｒ＾（ｘ，ｙ）には式（５）が成り立つ。

式（４）に、式（２）、（３）、（５）を代入すると、式（６）を得る。

＜ｂ_ｒ＾＞は、ｂ_ｒ＾の平均値であるから、式（７）が成り立つ。

式（７）を式（６）に代入して整理すると、式（８）を得る。

ここでｂ_ｒとｂ_ｒ＾を、反射光に起因する真の信号成分（添え字に（ｔｒｕｅ）を付す）とノイズ成分σの和で表すとする。ｂ_ｒとｂ_ｒ＾に同じノイズ成分σ_ｒが含まれるとする。
ｂ_ｒ＝ｂ_{ｒ（ｔｒｕｅ）}＋σ_ｒ
ｂ_ｒ＾＝ｂ_{ｒ（ｔｒｕｅ）}＾＋σ_ｒ

これを式（８）に代入すると、式（９）を得る。

式（９）から分かるように、最終的に得られた画像Ｇ（ｘ，ｙ）では、ノイズ成分同士が相殺し合うため、信号成分ｂ_{ｒ（ｔｒｕｅ）}、ｂ_{ｒ（ｔｒｕｅ）}＾のみを含んでいる。したがって画質を改善することができる。

（変形例１）
図３では、参照光Ｓ１＿１とＳ１＿２を交互に照射したがその限りでない。参照光Ｓ１＿１，Ｓ１＿２が同時に照射された場合に、光検出器１２０が、それらに対応する反射光Ｓ２＿１，Ｓ２＿２を分離することができる場合、参照光Ｓ１＿１，Ｓ１＿２を同時に照射してもよい。

たとえば第１参照光Ｓ１＿１は第１波長λ_１を有し、第２参照光Ｓ１＿２は第１波長λ_１と異なる第２波長λ_２を有してもよい。この場合、光検出器１２０は、第１波長λ_１に感度を有する第１検出器と、第２波長λ_２に感度を有する第２光検出器を含んでもよい。あるいは、反射光Ｓ２，Ｓ２＿２をフィルタによって分離し、分離された２つの成分Ｓ２＿１とＳ２＿２それぞれの強度を測定してもよい。

なお第１波長λ_１と第２波長λ_２が大きく異なる場合、同じ物体に対する反射率が大きく異なる状況が生ずる。この場合には、反射率補正を行うとよい。

反射率補正のために、強度分布が均一（たとえば全画素が最大強度、あるいは１）である第１波長λ_１の第１参照光Ｓ１＿１を物体に照射し、そのときの検出強度ｂ_０を取得する。また、同じ強度分布（相補的でないことに注意）を有する第２波長λ_２の参照光Ｓ１＿２を同じ物体に照射し、そのときの検出強度ｂ_０＾を取得する。ｂ_０とｂ_０＾は、物体の波長λ_１、λ_２に対する反射率に比例する。演算処理装置１３０は、得られたｂ_０，ｂ_０＾を用いて、その後得られる第１検出強度ｂ_ｒ，第２検出強度ｂ_ｒ＾の少なくとも一方を補正する。

たとえば、ｂ_ｒをそのまま用いることとし、ｂ_ｒ＾に係数ｂ_０＾／ｂ_０を乗じて補正し、補正後のｂ_ｒ＾を用いて相関計算を行ってもよい。反対にｂ_ｒ＾をそのまま用いることとし、ｂ_ｒに係数ｂ_０／ｂ_０＾を乗じて補正し、補正後のｂ_ｒを用いて相関計算を行ってもよい。

あるいは、パターニングする前の入力ビームＳ０の強度を調節できる場合、光源１１２が生成する光強度を補正してもよい。第１波長λ_１の入力ビームＳ０は調節せずに、第２波長λ_２の入力ビームＳ０の強度をｂ_０＾／ｂ_０倍してもよい。反対に、第２波長λ_２の入力ビームＳ０は調節せずに、第１波長λ_１の入力ビームＳ０の強度をｂ_０／ｂ_０＾倍してもよい。

（変形例２）
第１参照光Ｓ１＿１と第２参照光Ｓ１＿２を同一波長を有し、異なる偏光特性を有してもよい。たとえば、第１参照光Ｓ１＿１と第２参照光Ｓ１＿２の一方が右回りの円偏光（あるいは楕円偏光）を有し、他方が左回りの円偏光（あるいは楕円偏光）を有してもよい。

この場合、照明装置１１０は、右回りの偏光成分と、左回りの偏光成分を分離する光学系を含んでもよい。偏光成分を分離する光学系は、１／４波長板と、直線偏光素子の組み合わせで構成することができる。

（変形例３）
再構成処理部１３４は、Ｍ回の第１参照光Ｓ１＿１の照射の結果を利用して、式（２）の第１相関式を計算し、第１復元画像Ｇ_１（ｘ，ｙ）を再構成してもよい。またＭ回の第２参照光Ｓ１＿２の照射の結果を利用して、式（３）の第２相関式を計算し、第２復元画像Ｇ_２（ｘ，ｙ）を再構成してもよい。そしてこれらの２つの復元画像Ｇ_１（ｘ，ｙ）、Ｇ_２（ｘ，ｙ）の対応する画素同士を加算することにより、最終的な復元画像Ｇ（ｘ，ｙ）を生成してもよい。この場合も、ノイズの影響をキャンセルすることができる。

（変形例４）
これまでの説明では、相補的な強度分布を有する２つのパターンを、ノイズキャンセルのために利用したが、その限りでない。変形例４において、再構成処理部１３４は、Ｍ回の第１参照光Ｓ１＿１の照射の結果を利用して、式（２）の第１相関式を計算し、第１復元画像Ｇ_１（ｘ，ｙ）を再構成し、Ｍ回の第２参照光Ｓ１＿２の照射の結果を利用して、式（３）の第２相関式を計算し、第２復元画像Ｇ_２（ｘ，ｙ）を再構成する。

そしてこれらの２つの復元画像Ｇ_１（ｘ，ｙ）、Ｇ_２（ｘ，ｙ）のうち、より画質がよい一方を選択し、最終画像としてもよい。たとえば物体の輪郭が明瞭な一方を選択してもよい。これにより、ノイズキャンセルの効果は得られないが、被写体に対してより適切なパターンを選択することができるため、画質を改善できる。

続いて、照明装置１１０の構成について、いくつかの実施例をもとに説明する。

（実施例１）
図４は、実施例１に係る照明装置１１０Ａを示す図である。照明装置１１０Ａは、第１光源１１２＿１、第２光源１１２＿２、パターニングデバイス１１４であるＤＭＤ１１６を含む。光源１１２＿１，１１２＿２は、均一な強度分布を有する入力ビームＳ０＿１，Ｓ０＿２を生成する。光源１１２は、レーザや発光ダイオードなどを用いてもよい。入力ビームＳ０＿１，Ｓ０＿２の波長やスペクトルは特に限定されず、複数のあるいは連続スペクトルを有する白色光であってもよいし、所定の波長を含む単色光であってもよい。入力ビームＳ０＿１，Ｓ０＿２の波長は、赤外あるいは紫外であってもよい。

ＤＭＤ１１６は、複数の画素に対応する複数のマイクロミラー１１８を含む。図５は、ＤＭＤ１１６の構造を示す図である。各マイクロミラー１１８はねじれ軸１１９周りに第１方向（図中、反時計回り）、第２方向（図中、時計回り）に独立に傾動可能である。第１方向に傾動した状態をφ１、第２方向に傾動した状態をφ２とする。

図６は、実施例１に係る照明装置１１０Ａにおける第１光源１１２＿１、第２光源１１２＿２およびＤＭＤ１１６の位置関係を示す断面図である。２個の光源１１２＿１，１１２＿２は、以下の関係を満たすように配置される。

第１方向に傾動した状態φ１のマイクロミラー１１８に入射した入力ビームＳ０＿１の一部（光束）は、第１出力ビーム（第１参照光）Ｓ１＿１の一部として外部に投射され、第２方向に傾動した状態φ２のマイクロミラー１１８に入射した入力ビームＳ０＿１の一部は、投射されずに遮光される。

反対に、第２方向に傾動した状態φ２のマイクロミラー１１８に入射した入力ビームＳ０＿２の一部は、第２出力ビーム（第２参照光）Ｓ１＿２の一部として外部に投射され、第１方向に傾動した状態φ１のマイクロミラー１１８に入射した入力ビームＳ０＿２の一部は、投射されずに遮光される。

同じ画素（マイクロミラー）に入射した入力ビームＳ０＿１，Ｓ０＿２は、実質的に同じ方向に反射される。これにより、２つの出力ビームＳ１＿１とＳ１＿２は、実質的に同一の領域を照射することとなる。

以上が実施例１に係るイメージング装置１００Ａの構成である。このイメージング装置１００Ａによれば、ＤＭＤ１１６にあるパターン（画像）を与えた状態で、第１光源１１２＿１と第２光源１１２＿２を順に点灯させることにより、相補的な強度分布を有する参照光Ｓ１＿１，Ｓ１＿２を生成することができる。

２つの参照光Ｓ１＿１，Ｓ１＿２を同時に照射する場合、２つの光源１１２＿１，１１２＿２を同時に点灯させればよい。この場合、２つの光源１１２＿１，１１２＿２の波長は異なっていてもよいし、偏光特性が異なっていてもよい。

２つの参照光Ｓ１＿１，Ｓ１＿２を同時に照射する場合、２つの光源１１２＿１，１１２＿２を順に点灯させればよい。

また照明装置１１０Ａによれば、マイクロミラー１１８の状態を変化させることなく、すなわちＤＭＤ１１６の画像を書き換えることなく、相補的な強度分布を有する２つのビームＳ１＿１，Ｓ１＿２を生成できる。

なお、照明装置１１０Ａの用途は、相関計算にもとづくイメージング装置に限定されない。

（実施例２）
図７は、実施例２に係る照明装置１１０Ｂを示す図である。照明装置１１０Ｂは、単一の光源１１２およびパターニングデバイス１１４であるＤＭＤ１１６を含む。光源１１２は、均一な強度分布を有する入力ビームＳ０を生成する。光源１１２は、レーザや発光ダイオードなどを用いてもよい。

パターニングデバイス１１４には、パターン発生器１３２が発生するパターン信号ＰＴＮ（画像データ）が与えられ、その状態でパターン信号ＰＴＮに応じた強度分布Ｉ_ｒ（ｘ，ｙ）を有する参照光Ｓ１＿１が生成される。そしてパターン発生器１３２は、パターン信号ＰＴＮを反転したパターン信号ＰＴＮ＾を発生し、パターニングデバイス１１４に与える。これにより、反転パターン信号ＰＴＮ＾に応じた強度分布Ｉ_ｒ＾（ｘ，ｙ）を有する参照光Ｓ１＿２が生成される。

図７において、パターニングデバイス１１４として透過型あるいは反射型の液晶デバイスなどのパターニングデバイスを用いることも可能である。

（実施形態２）
図８は、実施形態２に係るイメージング装置１００Ｂのブロック図である。実施形態２において、第１光源１１２＿１と第２光源１１２＿２は、異なる波長λ_１，λ_２の入力ビームＳ０＿１，Ｓ０＿２を生成する。

これに対応して、光検出器１２０Ｂは、波長感度特性が異なる２個の検出器１２２＿１，１２２＿２を含む。第１検出器１２２＿１は、第１波長λ_１に感度を有し、第２波長λ_２に対し不感である。第２検出器１２２＿２は、第２波長λ_２に感度を有し、第１波長λ_１に対し不感である。第１検出器１２２＿１は、Ｍ回の第１参照光Ｓ１＿１の照射に対応するＭ個の第１検出強度ｂ_１～ｂ_Ｍを生成する。第２検出器１２２＿２は、Ｍ回の第２参照光Ｓ１＿２の照射に対応するＭ個の第２検出強度ｂ_１＾～ｂ_Ｍ＾を生成する。

実施形態２においても、参照光Ｓ１＿１，Ｓ１＿２は、空間的にオーバーラップした共通の領域に照射される。

以上がイメージング装置１００Ｂの構成である。続いてその動作を説明する。図９は、図８のイメージング装置１００Ｂの動作を説明するタイムチャートである。実施形態２では、２つの光源１１２＿１，１１２＿２は、同時に点灯する。２つの参照光Ｓ１＿１，Ｓ１＿２は、同時に物体に照射され、それらに対応する反射光Ｓ２＿１，Ｓ２＿２も、同時に光検出器１２０Ｂに入射する。２個の検出器１２２＿１，１２２＿２によって、第１検出強度ｂ_ｒと第２検出強度ｂ_ｒ＾が同時に生成されていく。それ以外については実施例１と同様である。

実施形態２によれば、実施例１と同様に、ノイズの影響を低減した高画質な復元画像Ｇ（ｘ，ｙ）を得ることができる。

また、２つの参照光Ｓ１＿１，Ｓ１＿２を同時に照射できるため、１フレームの測定時間を、実施例１の半分にすることができる。

あるいは、１フレームの測定時間を同じにした場合、パターン毎の参照光Ｓ１＿１、Ｓ１＿２の照射時間を２倍にしてもよい。この場合は、検出強度ｂ_ｒ、ｂ_ｒ＾の信号レベルが大きくなり、合成前の第１復元画像Ｇ_１（ｘ，ｙ），第２復元画像Ｇ_２（ｘ，ｙ）それぞれの画質を改善でき、ひいては最終的な画像Ｇ（ｘ，ｙ）の画質を改善できる。

なお第１波長λ_１と第２波長λ_２が大きく異なる場合、同じ物体に対する反射率が大きく異なる状況が生ずる。この場合には、反射率補正を行うとよい。

反射率補正のために、強度分布が均一（たとえば全画素が最大強度、あるいは１）である第１波長λ_１の第１参照光Ｓ１＿１を物体に照射し、そのときの検出強度ｂ_０を取得する。また、同じ強度分布（相補的でないことに注意）を有する第２波長λ_２の参照光Ｓ１＿２を同じ物体に照射し、そのときの検出強度ｂ_０＾を取得する。ｂ_０とｂ_０＾は、物体の波長λ_１、λ_２に対する反射率に比例する。演算処理装置１３０は、得られたｂ_０，ｂ_０＾を用いて、その後得られる第１検出強度ｂ_ｒ，第２検出強度ｂ_ｒ＾の少なくとも一方を補正する。

たとえば、ｂ_ｒをそのまま用いることとし、ｂ_ｒ＾に係数ｂ_０＾／ｂ_０を乗じて補正し、補正後のｂ_ｒ＾を用いて相関計算を行ってもよい。反対にｂ_ｒ＾をそのまま用いることとし、ｂ_ｒに係数ｂ_０／ｂ_０＾を乗じて補正し、補正後のｂ_ｒを用いて相関計算を行ってもよい。

あるいは、パターニングする前の入力ビームＳ０の強度を調節できる場合、光源１１２が生成する光強度を補正してもよい。第１波長λ_１の入力ビームＳ０は調節せずに、第２波長λ_２の入力ビームＳ０の強度をｂ_０＾／ｂ_０倍してもよい。反対に、第２波長λ_２の入力ビームＳ０は調節せずに、第１波長λ_１の入力ビームＳ０の強度をｂ_０／ｂ_０＾倍してもよい。

（変形例２．１）
なお、実施形態２において、２つの光源１１２＿１，１１２＿２を交互に点灯させて、２つの参照光Ｓ１＿１，Ｓ１＿２を交互に照射してもよい。

（変形例２．２）
再構成処理部１３４は、Ｍ回の第１参照光Ｓ１＿１の照射の結果を利用して、式（２）の第１相関式を計算し、第１復元画像Ｇ_１（ｘ，ｙ）を再構成してもよい。またＭ回の第２参照光Ｓ１＿２の照射の結果を利用して、式（３）の第２相関式を計算し、第２復元画像Ｇ_２（ｘ，ｙ）を再構成してもよい。そしてこれらの２つの復元画像Ｇ_１（ｘ，ｙ）、Ｇ_２（ｘ，ｙ）の対応する画素同士を加算することにより、最終的な復元画像Ｇ（ｘ，ｙ）を生成してもよい。この場合も、ノイズの影響をキャンセルすることができる。

（変形例２．３）
これまでの説明では、相補的な強度分布を有する２つのパターンを、ノイズキャンセルのために利用したが、その限りでない。変形例１．３において、再構成処理部１３４は、Ｍ回の第１参照光Ｓ１＿１の照射の結果を利用して、式（２）の第１相関式を計算し、第１復元画像Ｇ_１（ｘ，ｙ）を再構成し、Ｍ回の第２参照光Ｓ１＿２の照射の結果を利用して、式（３）の第２相関式を計算し、第２復元画像Ｇ_２（ｘ，ｙ）を再構成する。

そしてこれらの２つの復元画像Ｇ_１（ｘ，ｙ）、Ｇ_２（ｘ，ｙ）のうち、より画質がよい一方を選択し、最終画像としてもよい。たとえば物体の輪郭が明瞭な一方を選択してもよい。これにより、ノイズキャンセルの効果は得られないが、被写体に対してより適切なパターンを選択することができるため、画質を改善できる。

（実施形態３）
図１０は、実施形態３に係るイメージング装置１００Ｃを示す図である。イメージング装置１００Ｃは、実施形態１，実施形態２と同様に、ゴーストイメージングの原理を用いた相関関数イメージセンサである。

照明装置１１０Ｃは、空間的に異なる位置に、２つの参照光Ｓ１＿１，Ｓ１＿２を照射する。それらの強度分布は相補的な関係にある。本実施の形態において２つの参照光Ｓ１＿１，Ｓ１＿２の波長は同一であり、かつ同時に照射される。実施形態３では、２つの参照光Ｓ１＿１，Ｓ１＿２が、１個の参照光Ｓ１として扱われる。

光検出器１２０は、２つの参照光Ｓ１＿１，Ｓ１＿２に対応する反射光Ｓ２＿１，Ｓ２＿２を同時に検出する。検出強度ｂ_ｒは、ｒ回目の照射により得られる２つの反射光Ｓ２＿１，Ｓ２＿２のエネルギーである。実施形態３では、ｂ_ｒにｂ_ｒ＾が含まれていることに留意されたい。

再構成処理部１３４は、強度分布Ｉ_ｒ（ｘ，ｙ）とＩ_ｒ＾（ｘ，ｙ）を繋げることにより、参照光Ｓ１の強度分布を生成し、検出強度ｂｒとの相関をとることにより、１枚の復元画像を再構成Ｇ（ｘ，ｙ）する。

このイメージング装置１００Ｃによれば、２倍の範囲をセンシングすることができる。

（実施例３）
図１１（ａ）、（ｂ）は、実施例３に係る照明装置１１０Ｃを示す図である。照明装置１１０Ｃの基本構成は、第１光源１１２＿１、第２光源１１２＿２、パターニングデバイス１１４であるＤＭＤ１１６を含む。

照明装置１１０Ａあるいは１１０Ｂでは、同じ画素（マイクロミラー）に入射した入力ビームＳ０＿１，Ｓ０＿２は、実質的に同じ方向に反射され、したがって２つの出力ビームＳ１＿１とＳ１＿２は、実質的に同一のオーバーラップする領域を照射することとなる。

図１１（ｂ）に示すように、実施例３では、２つの出力ビームＳ１＿１とＳ１＿２の、ＹＺ平面におけるＺ軸からの偏角θ_１，θ_２が異なっている。

以上が照明装置１１０Ｃの構成である。続いてその動作を説明する。図１２は、図１１の照明装置１１０Ｃの動作を説明する図である。第１出力ビームＳ１＿１と、第２出力ビームＳ１＿２は、ｙｚ平面内での出射角θが異なっており、したがってｙ軸方向にずれた異なる領域に照射される。２つの出力ビームＳ１＿１，Ｓ１＿２が相補的な強度分布Ｉ_ｒ（ｘ，ｙ）、Ｉ_ｒ＾（ｘ，ｙ）を有する点は、実施の形態１と同様である。

以上が照明装置１１０Ｃの動作である。この照明装置１１０Ｃによれば、空間的にオーバーラップしない領域に相補的なパターンを照射することができる。２つのパターンの照射は同時であってもよいし、異なっていてもよく、用途によって決めればよい。

続いて、実施例３に係る照明装置１１０Ｃの用途を説明する。照明装置１１０Ｃは、照明装置１１０Ａと同様に、イメージング装置に用いることができる。

（実施形態４）
実施形態４に係るイメージング装置１００Ｄは、実施形態３（図１０）において、２つの参照光Ｓ１＿１，Ｓ１＿２を時分割で生成するように変更したものである。この実施形態４では、第１参照光Ｓ１＿１の照射によって、第１検出強度ｂ_ｒが得られ、第２参照光Ｓ１＿２の照射によって、第２検出強度ｂ_ｒ＾が得られる。再構成処理部１３４は、第１参照光Ｓ１＿１の照射範囲について第１復元画像Ｇ_１（ｘ，ｙ）を生成し、第２参照光Ｓ１＿２の照射範囲について第２復元画像Ｇ_２（ｘ，ｙ）を生成する。そして２つの復元画像Ｇ_１（ｘ，ｙ），Ｇ_２（ｘ，ｙ）を繋ぎ合わせることにより、全照射範囲の画像を生成する。

（実施形態５）
実施形態３（（図１０））において、２つの参照光Ｓ１＿１，Ｓ１＿２の波長λ_１，λ_２を異ならしめ、同時に照射してもよい。この場合、光検出器１２０を図８のように構成すればよい。これにより、２つの参照光Ｓ１＿１，Ｓ１＿２それぞれの照射領域に関する画像を個別に復元できる。

実施形態３～５に関して、以下の特徴を追加することができる。

（波長制御）
光源１１２＿１、１１２＿２は、２つの入力ビームＳ０＿１，Ｓ０＿２の波長λ_１，λ_２を制御可能に構成されてもよい。そして、被写体の色や材質に適応して、波長λ_１，λ_２を最適化してもよい。具体的には、被写体の色や材質にもとづいて、反射率が高い波長を選択するとよい。たとえば参照光Ｓ１＿１が第１の物体に照射され、参照光Ｓ１＿２が第２の物体に照射されるとする。第１の物体の色が赤、第２の物体の色が青であるとき、波長λ_１を赤に近づけ、波長λ_２を青に近づけてもよい。

あるいは第１の物体と第２の物体で材質が異なり、波長λ_１，λ_２が赤外線である場合、各材質に対して反射率が高い波長を選択するとよい。

あるいは、周期の環境に応じて、波長を選択してもよい。たとえば雨、霧、雪、砂嵐、スモッグ等が発生している場合、光の伝搬中に特定の波長が吸収されやすくなる。そのような場合には、伝搬中に吸収されにくい波長を選択するとよい。

たとえば、参照光Ｓ１＿＃（＃＝１，２）について強度分布を均一（全画素が１）とし、波長λ_＃をスイープさせる。そして、検出強度が最も大きいときの波長λ_＃を取得することで、最適な波長を決定してもよい。

（強度制御）
光源１１２＿１、１１２＿２は、２つの入力ビームＳ０＿１，Ｓ０＿２の強度を制御可能に構成されてもよい。この場合、被写体までの距離や、被写体の反射率に応じて、強度を動的に変化させてもよい。

以上、本発明について、実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。

（用途）
続いてイメージング装置１００の用途を説明する。図１３は、物体識別システム１０のブロック図である。この物体識別システム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪの種類（カテゴリ）を判定する。

物体識別システム１０は、イメージング装置１００と、演算処理装置４０を備える。イメージング装置１００は、上述のように、物体ＯＢＪに参照光Ｓ１を照射し、反射光Ｓ２を測定することにより、物体ＯＢＪの復元画像Ｇを生成する。

演算処理装置４０は、イメージング装置１００の出力画像Ｇを処理し、物体ＯＢＪの位置および種類（カテゴリ）を判定する。

演算処理装置４０の分類器４２は、画像Ｇを入力として受け、それに含まれる物体ＯＢＪの位置および種類を判定する。分類器４２は、機械学習によって生成されたモデルにもとづいて実装される。分類器４２のアルゴリズムは特に限定されないが、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot MultiBox Detector）、R-CNN（Region-based Convolutional Neural Network）、SPPnet（Spatial Pyramid Pooling）、Faster R-CNN、DSSD（Deconvolution -SSD）、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。

以上が物体識別システム１０の構成である。物体識別システム１０のセンサとして、イメージング装置１００を用いることで、以下の利点を得ることができる。

イメージング装置１００すなわち量子レーダカメラを用いることで、ノイズ耐性が格段に高まる。たとえば、降雨時、降雪時、あるいは霧の中を走行する場合、肉眼では物体ＯＢＪを認識しにくいが、イメージング装置１００を用いることで、雨、雪、霧の影響を受けずに、物体ＯＢＪの復元画像Ｇを得ることができる。

また、実施形態に係るイメージング装置１００を用いることでノイズの影響を低減した高画質な画像を得ることができる。

（用途）
図１４は、物体識別システム１０を備える自動車を示す図である。自動車３００は、前照灯３０２Ｌ，３０２Ｒを備える。イメージング装置１００は、前照灯３０２Ｌ，３０２Ｒの少なくとも一方に内蔵される。前照灯３０２は、車体の最も先端に位置しており、周囲の物体を検出する上で、イメージング装置１００の設置箇所として最も有利である。

図１５は、物体検出システム２１０を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、車両側ＥＣＵ３０４とともに灯具システム３１０を構成する。車両用灯具２００は、光源２０２、点灯回路２０４、光学系２０６を備える。さらに車両用灯具２００には、物体検出システム２１０が設けられる。物体検出システム２１０は、上述の物体識別システム１０に対応しており、イメージング装置１００および演算処理装置４０を含む。

演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具側ＥＣＵ２０８は、演算処理装置４０が生成する物体ＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２０４および光学系２０６は、灯具側ＥＣＵ２０８が生成した配光パターンが得られるように動作する。

また演算処理装置４０が検出した物体ＯＢＪに関する情報は、車両側ＥＣＵ３０４に送信してもよい。車両側ＥＣＵは、この情報にもとづいて、自動運転を行ってもよい。

実施形態にもとづき、具体的な語句を用いて本発明を説明したが、実施形態は、本発明の原理、応用の一側面を示しているにすぎず、実施形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。

本発明は、ゴーストイメージングを利用したイメージング装置に関する。

ＯＢＪ 物体
１０ 物体識別システム
４０ 演算処理装置
４２ 分類器
１００ イメージング装置
１１０ 照明装置
１１２ 光源
１１４ パターニングデバイス
１１６ ＤＭＤ
１１８ マイクロミラー
１２０ 光検出器
１３０ 演算処理装置
１３２ パターン発生器
１３４ 再構成処理部
２００ 車両用灯具
２０２ 光源
２０４ 点灯回路
２０６ 光学系
３００ 自動車
３０２ 前照灯
３１０ 灯具システム
３０４ 車両側ＥＣＵ

Claims (13)

1. 第１参照光と第２参照光それぞれを、強度分布を切り替えながらＭ回、物体に照射可能であり、前記第１参照光のｒ回目（１≦ｒ≦Ｍ）の照射における強度分布Ｉ _ｒ （ｘ，ｙ）と、前記第２参照光のｒ回目の照射における強度分布Ｉ＾ _ｒ （ｘ，ｙ）は、対応する位置同士の強度が相補的な関係を有している、照明装置と、
   前記物体からの反射光を測定する光検出器と、
   ｒ番目の前記第１参照光を照射したときの前記光検出器の出力にもとづく検出強度をｂ _ｒ 、ｒ番目の前記第２参照光を照射したときの前記光検出器の出力にもとづく検出強度をｂ＾ _ｒ とするとき、式（１）および式（２）の計算を行う演算処理装置と、
   を備えることを特徴とするイメージング装置。
   

   

   
2. 前記演算処理装置は、式（３）の計算により、最終的な復元画像Ｇ（ｘ，ｙ）を生成することを特徴とする請求項１に記載のイメージング装置。
   

   
3. 前記演算処理装置は、式（１）のＧ _１ （ｘ，ｙ）を前記物体の第１復元画像として、式（２）のＧ _２ （ｘ，ｙ）を前記物体の第２復元画像として、個別に生成することを特徴とする請求項１に記載のイメージング装置。
4. 前記第１参照光と前記第２参照光は同じ波長であり、時分割で照射されることを特徴とする請求項１から３のいずれかに記載のイメージング装置。
5. 前記第１参照光は第１波長を有し、前記第２参照光は、前記第１波長と異なる第２波長を有し、
   前記光検出器は、
   前記第１波長に感度を有し、前記第２波長に対し不感である第１検出器と、
   前記第２波長に感度を有し、前記第１波長に対し不感である第２検出器と、
   を含むことを特徴とする請求項４に記載のイメージング装置。
6. 前記第１参照光と前記第２参照光は同時に照射されることを特徴とする請求項５に記載のイメージング装置。
7. 前記演算処理装置は、前記第１検出器と前記第２検出器の出力を補正することを特徴とする請求項５または６に記載のイメージング装置。
8. 前記演算処理装置における補正に必要な係数は、前記第１参照光の強度分布を均一としたときにある物体からの反射光について得られた第１検出強度と、前記第２参照光の強度分布を均一としたときに同じ物体からの反射光について得られた第２検出強度と、にもとづいて生成されることを特徴とする請求項７に記載のイメージング装置。
9. 前記照明装置は、
   複数の画素に対応する複数のマイクロミラーを含み、各マイクロミラーはねじれ軸周りに第１方向、第２方向に独立に傾動可能である、ＤＭＤ（Digital Micromirror Device）と、
   前記ＤＭＤに第１入力ビームを照射する第１光源と、
   前記ＤＭＤに第２入力ビームを照射する第２光源と、
   を備え、
   前記第１方向に傾動した前記マイクロミラーに入射した前記第１入力ビームの一部は、第１出力ビームとして外部に投射され、前記第２方向に傾動した前記マイクロミラーに入射した前記第１入力ビームの一部は投射されず、
   前記第２方向に傾動した前記マイクロミラーに入射した前記第２入力ビームの一部は、第２出力ビームとして外部に投射され、前記第１方向に傾動した前記マイクロミラーに入射した前記第２入力ビームの一部は投射されないことを特徴とする請求項１から８のいずれかに記載のイメージング装置。
10. 請求項１から９のいずれかに記載のイメージング装置を備えることを特徴とする車両用灯具。
11. 請求項１から９のいずれかに記載のイメージング装置を備えることを特徴とする自動車。
12. 強度分布を切り替えながらＭ回、第１参照光を物体に照射するステップと、
    強度分布を切り替えながらＭ回、第２参照光を前記物体に照射するステップであって、前記第１参照光のｒ回目（１≦ｒ≦Ｍ）の照射における強度分布Ｉ _ｒ （ｘ，ｙ）と、前記第２参照光のｒ回目の照射における強度分布Ｉ＾ _ｒ （ｘ，ｙ）は、対応する位置同士の強度が相補的な関係を有している、ステップと、
    ｒ回目の前記第１参照光を照射したときの前記物体からの反射光を測定し、第１検出強度ｂ _ｒ を生成するステップと、
    ｒ回目の前記第２参照光を照射したときの前記物体からの反射光を測定し、第２検出強度ｂ＾ _ｒ を生成するステップと、
    式（１）および式（２）の計算を行うステップと、
    を備えることを特徴とするイメージング方法。
    

    

    
13. 式（３）の計算により、最終的な復元画像Ｇ（ｘ，ｙ）を生成するステップをさらに備えることを特徴とする請求項１２に記載のイメージング方法。
    

    

Images