WO2023189599A1 - 距離画像センサ、および車両用灯具 - Google Patents

Abstract

物体までの距離情報を含む画像データを生成可能な距離画像センサにおいて、照明装置は、パルス照明光を視野に照射する。イメージセンサ（１２０）は、複数の受光画素を備え、各受光画素が複数のサブピクセルと、複数のサブピクセルに設けられた複数の偏光フィルタを有する。カメラコントローラは、照明装置の発光タイミングとイメージセンサ（１２０）の露光タイミングを制御する。イメージセンサ（１２０）が生成する画像データの各画素の値は、当該画素に対応する受光画素に含まれる複数のサブピクセルの値のうち、少なくとも最大値を除いた残りの値にもとづいている。

Description

距離画像センサ、および車両用灯具

　本開示は、距離画像センサ、および車両用灯具に関する。

　自動運転やヘッドランプの配光の自動制御のために、車両の周囲に存在する物体の位置および種類をセンシングする物体識別システムが利用される。物体識別システムは、センサと、センサの出力を解析する演算処理装置を含む。センサは、カメラ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ミリ波レーダ、超音波ソナーなどの中から、用途、要求精度やコストを考慮して選択される。

　一般的な単眼のカメラからは、奥行きの情報を得ることができない。したがって、異なる距離に位置する複数の物体が重なっている場合に、それらを分離することが難しい。

　奥行き情報が得られるカメラとして、ＴｏＦカメラが知られている。ＴｏＦ（Time of Flight）カメラは、発光デバイスによって赤外光を投光し、反射光がイメージセンサに戻ってくるまでの飛行時間を測定し、飛行時間を距離情報に変換したＴｏＦ画像を得るものである。

日本国特開２００９－２５７９８１号公報 国際公開ＷＯ２０１７／１１０４１７Ａ１

　本発明者らは、ＴｏＦカメラや間接ＴｏＦカメラなどの、物体までの距離情報を有する画像データを生成するセンサ（距離画像センサあるいは距離画像カメラという）について検討した結果、以下の課題を認識するに至った。

　図１は、距離画像センサ９００によるセンシングを説明する図である。照明装置９０２は、視野に向かって、パルス照明光Ｌ１を照射する。イメージセンサ９０４は、反射光Ｌ２を測定する。

　イメージセンサ９０４には、一番奥側に位置する一次物体ＯＢＪｐから反射した光が直接的に届く一次反射光Ｌ２ａと、一次物体ＯＢＪｐよりも手前の二次物体（ここでは左側の壁）ＯＢＪｓによる反射を経て間接的に届く二次反射光Ｌ２ｂが入射する。二次反射光Ｌ２ｂにもとづく処理を行うと、二次物体ＯＢＪｓが、二次物体ＯＢＪｓの実際の位置よりも奥側に存在するものと誤検知される。

　図２は、図１の状況において得られる距離情報を模式的に示す図である。図２に示される各種のハッチは、距離を示す。この例では、二次物体ＯＢＪｓに対応する左の壁の一部分が、一次物体ＯＢＪｐに対応する奥側の壁と同じ距離と誤認識される。

　本開示は係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、物体の距離を正確に認識可能な距離画像センサの提供にある。

　本開示のある態様は、物体までの距離情報を含む画像データを生成可能な距離画像センサに関する。距離画像センサは、パルス照明光を視野に照射する照明装置と、複数の受光画素を備え、各受光画素が複数のサブピクセルと、複数のサブピクセルに設けられた複数の偏光フィルタを有する、イメージセンサと、照明装置の発光タイミングとイメージセンサの露光タイミングを制御するカメラコントローラと、を備える。イメージセンサが生成する画像データの各画素の値は、当該画素に対応する受光画素に含まれる複数のサブピクセルの値のうち、少なくとも最大値を除いた残りの値にもとづいている。

　本開示のある態様によれば、物体までの正確な距離を認識可能な距離画像センサを提供できる。

図１は、距離画像センサによるセンシングを説明する図である。 図２は、図１の状況において得られる距離情報を模式的に示す図である。 図３は、実施形態に係るセンシングシステムのブロック図である。 図４は、実施形態に係るＴｏＦカメラの基本動作を説明する図である。 図５Ａは、ＴｏＦカメラにより得られるレンジ画像を説明する図である。 図５Ｂは、ＴｏＦカメラにより得られるレンジ画像を説明する図である。 図６は、イメージセンサの構成を示す図である。 図７は、画素値と、サブピクセルの値の関係を説明する図である。 図８は、図１のシーンにおいて、実施形態に係るＴｏＦカメラによって得られる距離画像を示す図である。 図９は、プラズモニック構造を有する受光画素のサブピクセルの断面図である。 図１０は、センシングシステムのブロック図である。 図１１Ａは、ＴｏＦカメラを備える自動車を示す図である。 図１１Ｂは、ＴｏＦカメラを備える自動車を示す図である。 図１２は、センシングシステムを備える車両用灯具を示すブロック図である。

（実施形態の概要）
　本開示のいくつかの例示的な実施形態の概要を説明する。この概要は、後述する詳細な説明の前置きとして、実施形態の基本的な理解を目的として、１つまたは複数の実施形態のいくつかの概念を簡略化して説明するものであり、発明あるいは開示の広さを限定するものではない。またこの概要は、考えられるすべての実施形態の包括的な概要ではなく、実施形態の欠くべからざる構成要素を限定するものではない。便宜上、「一実施形態」は、本明細書に開示するひとつの実施形態（実施例や変形例）または複数の実施形態（実施例や変形例）を指すものとして用いる場合がある。

　一実施形態に係る距離画像センサは、物体までの距離情報を含む画像データを生成する。距離画像センサは、パルス照明光を視野に照射する照明装置と、複数の受光画素を含み、各受光画素が複数のサブピクセルと、複数のサブピクセルに設けられた複数の偏光フィルタを有する、イメージセンサと、照明装置の発光タイミングとイメージセンサの露光タイミングを制御するカメラコントローラと、を備える。イメージセンサが生成する画像データの各画素の値は、当該画素に対応する受光画素に含まれる複数のサブピクセルの値のうち、少なくとも最大値を除いた残りの値にもとづいている。

　一次物体における反射は、いわゆる拡散反射であり、反射光は非偏光となる。一方、二次物体において反射された光のうち、イメージセンサに届く光は、鏡面反射光であり、反射面の向きに応じた偏光を有する。二次物体からの反射光がある偏光を有するとき、その偏光に対応するサブピクセルの値が大きくなり、その他のサブピクセルの値は小さくなる。そこで、複数のサブピクセルのうち、最大の画素値を除去することにより、二次反射の影響を低減でき、正確な距離画像を生成できる。

　一実施形態において、イメージセンサが生成する画像データの各画素の値は、当該画素に対応する受光画素に含まれる複数のサブピクセルの値のうち最小値にもとづいていてもよい。最小値を選択することで、二次反射の影響を最も受けていない値を使用できる。

　一実施形態において、各受光画素は４個の偏光フィルタを含み、４個の偏光フィルタは、偏光方向が４５度異なってもよい。

　一実施形態において、各受光画素は３個の偏光フィルタを含み、３個の偏光フィルタは、偏光方向が６０度異なっていてもよい。

　一実施形態において、イメージセンサは、プラズモニック構造を有してもよい。偏光フィルタによって、サブピクセルに入射する光量は減少するが、プラズモニック構造によって、サブピクセルに入射した光をトラップすることができ、感度を改善できる。これにより、偏光フィルタの追加による入射光量の減少を補うことができる。

　一実施形態において、距離画像センサは、視野を奥行き方向について複数のレンジに区切り、複数のレンジに対応する複数のレンジ画像を生成するＴｏＦカメラであってもよい。

　一実施形態において、距離画像センサは、イメージセンサがレンジごとに生成する複数のレンジ画像を処理する画像処理部をさらに備えてもよい。画像処理部は、複数のレンジ画像のうち隣接する２枚について、間接ＴｏＦ（Time of Flight）法にもとづいて、距離を算出し、距離画像を生成してもよい。

　一実施形態において、距離画像センサは、間接ＴｏＦカメラであってもよい。

（実施形態）
　以下、好適な実施形態について図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施形態は、発明を限定するものではなく例示であって、実施形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。

　図３は、実施形態に係るセンシングシステム１０のブロック図である。このセンシングシステム１０は、自動車やバイクなどの車両に搭載され、車両の周囲（センサの視野内）に存在する物体ＯＢＪを検出する。

　センシングシステム１０は、主としてＴｏＦカメラ１００を備える。ＴｏＦカメラ１００は、物体までの距離情報を含む画像データを生成可能な距離画像センサである。

　ＴｏＦカメラ１００は、照明装置１１０、イメージセンサ１２０、カメラコントローラ１３０、演算処理装置１４０を含む。ＴｏＦカメラ１００による撮像は、視野を奥行き方向について複数Ｎ個（Ｎ≧２）のレンジＲＮＧ_１～ＲＮＧ_Ｎに区切って行われる。隣接するレンジ同士は、それらの境界において奥行き方向にオーバーラップしてもよい。

　照明装置１１０は、カメラコントローラ１３０から与えられる発光タイミング信号Ｓ１と同期して、パルス照明光Ｌ１を車両前方に照射する。パルス照明光Ｌ１は赤外光であることが好ましいが、その限りでなく、所定の波長を有する可視光や紫外光であってもよい。

　イメージセンサ１２０は、複数の受光画素ｐｘを含み、カメラコントローラ１３０から与えられる露光タイミング信号Ｓ２と同期した露光制御が可能であり、複数の画素からなる画像を生成する。イメージセンサ１２０は、パルス照明光Ｌ１と同じ波長に感度を有しており、物体ＯＢＪが反射した反射光（戻り光）Ｌ２を撮影する。

　カメラコントローラ１３０は、照明装置１１０によるパルス照明光Ｌ１の照射タイミング（発光タイミング）と、イメージセンサ１２０による露光のタイミングを制御する。カメラコントローラ１３０の機能は、ソフトウェア処理で実現してもよいし、ハードウェア処理で実現してもよいし、ソフトウェア処理とハードウェア処理の組み合わせで実現してもよい。ソフトウェア処理は、具体的には、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装される。なおカメラコントローラ１３０は、複数のプロセッサとソフトウェアプログラムの組み合わせであってもよい。ハードウェア処理は具体的には、ＡＳＩＣ（Application Specific Integrated Circuit）やコントローラＩＣ、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアで実装される。

　イメージセンサ１２０により生成された画像（レンジ画像）ＳＩＭＧ_ｉは、演算処理装置１４０に入力される。演算処理装置１４０は、複数のレンジＲＮＧ_１～ＲＮＧ_Ｎについて得られる複数のレンジ画像ＳＩＭＧ_１～ＳＩＭＧ_Ｎを処理し、最終的な出力データＣＡＭＥＲＡＯＵＴを生成する。たとえば出力データＣＡＭＥＲＡＯＵＴは、複数のレンジ画像ＳＩＭＧ_１～ＳＩＭＧ_Ｎのセットを含む。さらに本実施形態において、出力データＣＡＭＥＲＡＯＵＴは、複数のレンジ画像ＳＩＭＧを合成して得られる通常画像ＮＩＭＧを含んでもよい。

　演算処理装置１４０は、カメラコントローラ１３０と同じハードウェアに実装してもよいし、別々のハードウェアで構成してもよい。あるいは演算処理装置１４０の機能の一部あるいは全部は、イメージセンサ１２０と同じモジュールに内蔵されたプロセッサやデジタル回路として実装してもよい。

　以上がＴｏＦカメラ１００の基本構成である。続いてＴｏＦカメラ１００の動作を説明する。

　図４は、ＴｏＦカメラ１００の基本動作を説明する図である。図４にはｉ番目のレンジＲＮＧ_ｉをセンシングするときの様子が示される。照明装置１１０は、発光タイミング信号Ｓ１と同期して、時刻ｔ_０～ｔ_１の間の発光期間τ_１の間、発光する。図４の最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。ＴｏＦカメラ１００から、レンジＲＮＧ_ｉの手前の境界までの距離をｄ_ＭＩＮｉ、レンジＲＮＧ_ｉの奥側の境界までの距離をｄ_ＭＡＸｉとする。

　ある時刻に照明装置１１０を出発した光が、距離ｄ_ＭＩＮｉに到達してその反射光がイメージセンサ１２０に戻ってくるまでのラウンドトリップ時間Ｔ_ＭＩＮｉは、
　Ｔ_ＭＩＮｉ＝２×ｄ_ＭＩＮｉ／ｃ
である。ｃは光速である。

　同様に、ある時刻に照明装置１１０を出発した光が、距離ｄ_ＭＡＸｉに到達してその反射光がイメージセンサ１２０に戻ってくるまでのラウンドトリップ時間Ｔ_ＭＡＸｉは、
　Ｔ_ＭＡＸｉ＝２×ｄ_ＭＡＸｉ／ｃ
である。

　レンジＲＮＧ_ｉに含まれる物体ＯＢＪのみを撮影したいとき、カメラコントローラ１３０は、時刻ｔ_２＝ｔ_０＋Ｔ_ＭＩＮｉに露光を開始し、時刻ｔ_３＝ｔ_１＋Ｔ_ＭＡＸｉに露光を終了するように、露光タイミング信号Ｓ２を生成する。これが１回のセンシング動作である。

　ｉ番目のレンジＲＮＧ_ｉのセンシングは、発光および露光のセットを複数含む。カメラコントローラ１３０は、所定の周期τ_２で、上述のセンシング動作を複数回にわたり繰り返す。

　イメージセンサ１２０は多重露光が可能であり、受光画素ｐｘ毎のＦＤ領域（電荷蓄積領域）に、複数回のパルス発光の結果得られる複数回の反射光を多重露光し、１枚のレンジ画像ＳＩＭＧを生成してもよい。

　図５Ａ、図５Ｂは、ＴｏＦカメラ１００により得られるレンジ画像を説明する図である。図５Ａの例では、レンジＲＮＧ_２に物体（歩行者）ＯＢＪ_２が存在し、レンジＲＮＧ_３に物体（車両）ＯＢＪ_３が存在している。図５Ｂには、図５Ａの状況で得られる複数のレンジ画像ＳＩＭＧ_１～ＳＩＭＧ_３が示される。レンジ画像ＳＩＭＧ_１を撮影するとき、イメージセンサはレンジＲＮＧ_１からの反射光のみにより露光されるため、レンジ画像ＳＩＭＧ_１にはいかなる物体像も写らない。

　レンジ画像ＳＩＭＧ_２を撮影するとき、イメージセンサはレンジＲＮＧ_２からの反射光のみにより露光されるため、レンジ画像ＳＩＭＧ_２には、物体像ＯＢＪ_２のみが写る。同様にレンジ画像ＳＩＭＧ_３を撮影するとき、イメージセンサはレンジＲＮＧ_３からの反射光のみにより露光されるため、レンジ画像ＳＩＭＧ_３には、物体像ＯＢＪ_３のみが写る。このようにＴｏＦカメラ１００によれば、レンジ毎に物体を分離して撮影することができる。

　演算処理装置１４０は、イメージセンサ１２０がレンジＲＮＧごとに生成する複数のレンジ画像ＳＩＭＧを処理する画像処理部を含むことができる。画像処理部は、複数のレンジ画像ＳＩＭＧのうち隣接する２枚について、間接ＴｏＦ（Time of Flight）法にもとづいて距離を算出し、距離画像ＤＩＭＧを生成してもよい。この距離画像ＤＩＭＧは、各画素の画素値が距離を表す。

　より具体的には、Ｎ個のレンジＲＮＧ_１～ＲＮＧ_Ｎについて、Ｎ枚のレンジ画像ＳＩＭＧ_１～ＳＩＭＧ_Ｎが得られる。演算処理装置１４０は、隣接する２枚のレンジ画像ＳＩＭＧ_１，ＳＩＭＧ_２について、間接ＴｏＦ法により、１枚の距離画像ＤＩＭＧ_１，２を生成する。同様に、隣接する２枚のレンジ画像ＳＩＭＧ_２，ＳＩＭＧ_３について、距離画像ＤＩＭＧ_２，３が生成される。１≦ｉ＜ｎとして、２枚のレンジ画像ＳＩＭＧ_ｉ，ＳＩＭＧ_ｉ＋１について、距離画像ＤＩＭＧ_{ｉ，ｉ＋１}が生成される。

　演算処理装置１４０は、（Ｎ－１）枚の距離画像ＤＩＭＧ_１，２～ＤＩＭＧ_{Ｎ－１，Ｎ}を合成して、１枚の距離画像ＤＩＭＧ_１－Ｎを生成してもよい。

　また演算処理装置１４０は、複数のレンジ画像ＳＩＭＧ_１～ＳＩＭＧ_Ｎを合成することにより、通常のカメラで撮影したものと同様の画像（通常画像）ＮＩＭＧを生成してもよい。

　出力データＣＡＭＥＲＡＯＵＴは、レンジ画像ＳＩＭＧに加えて、またはそれに変えて、距離画像ＤＩＭＧや通常画像ＮＩＭＧを含んでもよい。

　図６は、イメージセンサ１２０の構成を示す図である。イメージセンサ１２０はマトリクス状に配置された複数の受光画素ｐｘを含む。各受光画素ｐｘは、複数のサブピクセルｓｐ１～ｓｐ４を含む。また複数のサブピクセルｓｐ１～ｓｐ４は、異なる偏光を有する偏光フィルタｐｆ１～ｐｆ４で覆われている。

　本実施形態においてサブピクセルｓｐの個数は４個であり、４個の偏光フィルタｐｆ１～ｐｆ４の偏光角が４５度ずつ異なっている。たとえばイメージセンサ１２０の垂直方向を０度ととるとき、４個の偏光フィルタｐｆ１～ｐｆ４の偏光角は、０°、４５°、１３５°、９０°である。なお、偏光フィルタの配置は入れ替えてもよい。

　一次反射光は非偏光であり、すべての偏光成分を均等に含んでいるから、４個のサブピクセルの値は実質的に等しくなる。反対に、二次反射光は、その二次物体の反射面の方向に応じた偏光成分を多く含むこととなるから、４個のサブピクセルの値はばらつく。言い換えると、すべてのサブピクセルの値が均一であるとき、二次反射光は小さいといえる。また、サブピクセルの値がばらついている場合には、サブピクセルの大きな値は二次反射光の影響を受け、サブピクセルの小さな値は、二次反射光の影響を受けていないと推定できる。

　この性質を利用して、イメージセンサ１２０が生成するレンジ画像ＳＩＭＧの各画素の画素値は、当該画素に対応する受光画素に含まれる複数のサブピクセルの値のうち、少なくとも最大値を除いた残りの値にもとづいて決定される。

　図７は、画素値と、サブピクセルの値の関係を説明する図である。この例では、説明の簡潔化のために、４つの画素に着目する。

　受光画素ｐｘ１，ｐｘ３，ｐｘ４には、一次反射光のみが入射しているとする。受光画素ｐｘ１のサブピクセルｓｐ１～ｓｐ４の値は２，２，２，３である。受光画素ｐｘ３のサブピクセルｓｐ１～ｓｐ４の値はすべて３である。受光画素ｐｘ４のサブピクセルｓｐ１～ｓｐ４の値はすべて５である。

　図７に示す実施例において、各画素に対応する受光画素ｐｘに含まれる複数のサブピクセルｓｐの値のうち、最小値が、当該画素の画素値とされる。具体的には、受光画素ｐｘ１の画素値は、サブピクセルの最小値である２となる。受光画素ｐｘ３の画素値は、サブピクセルの最小値である３となる。受光画素ｐｘ４の画素値は、サブピクセルの最小値である５となる。

　受光画素ｐｘ２には、一次反射光と二次反射光が入射している。二次反射光の影響を受ける受光画素ｐｘ２のサブピクセルｓｐ１の値は５であり、サブピクセルｓｐ２の値は１０であり、サブピクセルｓｐ３の値は１であり、サブピクセルｓｐ４の値は、５である。２番目のサブピクセルｓｐ２の値が大きくなっており、特定方向の偏光成分を多く含んでおり、これが２次反射によるものである可能性が高い。反対に、３番目のサブピクセルｓｐ３の値が小さく、したがって、一次反射光の成分が支配的であると考えられる。図７の例では、受光画素ｐｘ２のサブピクセルの最小値は１であるから、画素ｐｘ２の画素値は１とされる。これにより、二次反射光の影響を除去できる。

　別の例として、各画素の画素値を、当該画素に対応する受光画素に含まれる複数のサブピクセルの値のうち、最大値を除く３つの値の平均値としてもよい。たとえばある受光画素に含まれる４個のサブピクセルの値が、４，６，５，１２であるとき、最大値である１２を除く３個の値４，６，５の平均値である５を、当該画素の画素値としてもよい。

　別の例として、各画素の画素値を、当該画素に対応する受光画素に含まれる複数のサブピクセルの値のうち、最小値およびその次に小さい２つの値の平均値としてもよい。たとえばある受光画素に含まれる４個のサブピクセルの値が、４，６，５，１２であるとき、４と５の平均値である４．５を当該画素の画素値としてもよい。

　以上がイメージセンサ１２０の構成および処理である。

　イメージセンサ１２０が撮影するレンジ画像ＳＩＭＧからは、二次反射光の成分が除去される。そして、二次反射光が除去されたレンジ画像ＳＩＭＧを利用して間接ＴｏＦ法によって距離画像ＤＩＭＧを生成すれば、測距の精度を高めることができる。

　図８は、図１のシーンにおいて、実施形態に係るＴｏＦカメラ１００によって得られる距離画像ＤＩＭＧ_１－Ｎを示す図である。偏光フィルタのない場合、図２に示すように、左の壁の一部に相当する画素が、誤った値を示す。これに対して、イメージセンサ１２０に偏光フィルタを追加することにより、左側の壁からの二次反射光を除去できるため、左側の壁に相当する部分の画素は、正しい距離を示すこととなる。

　なお、図８では、距離画像ＤＩＭＧ_１－Ｎの改善について説明しているが、距離画像ＤＩＭＧに変換する前の、各レンジ画像ＳＩＭＧについても、対応するレンジ以外の物体が除去されるため、画質を改善することができる。

　受光画素の上に偏光フィルタを挿入すると、受光画素に入射する光量が減少し、Ｓ／Ｎ比が低下する。この問題を解決するために、プラズモニック構造を有するイメージセンサを用いるとよい。

　図９は、プラズモニック構造を有する受光画素のサブピクセルの断面図である。サブピクセルｓｐは、フォトダイオード５００を有する。フォトダイオード５００の周囲は、サブピクセル間を分離する素子分離構造５０２で囲まれている。素子分離構造５０２は、光を反射する。またサブピクセルｓｐの表面には、金属などの回折格子５０４が形成される。

　偏光フィルタｐｆを透過した光は、回折格子５０４によって回折され、サブピクセルｓｐのフォトダイオード５００の内部を横方向に伝搬し、素子分離構造５０２の間で反射を繰り返す。

　以上がプラズモニック構造を有するサブピクセルの構成である。プラズモニック構造は、サブピクセルに入射した光をトラップすることができ、フォトダイオード５００の実効的な感度を改善できる。これにより、偏光フィルタｐｆの追加による入射光量の減少を補うことができる。

（用途）
　図１０は、センシングシステム１０のブロック図である。センシングシステム１０は、上述のＴｏＦカメラ１００に加えて演算処理装置４０を備える。このセンシングシステム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪの種類（カテゴリ、あるいはクラスともいう）を判定する物体検出システムである。

　ＴｏＦカメラ１００により、複数のレンジＲＮＧ_１～ＲＮＧ_Ｎに対応する複数のレンジ画像ＳＩＭＧ_１～ＳＩＭＧ_Ｎが生成される。ＴｏＦカメラ１００の出力データＣＡＭＥＲＡＯＵＴは、複数のレンジ画像ＳＩＭＧ_１～ＳＩＭＧ_Ｎを含む。

　演算処理装置４０は、ＴｏＦカメラ１００の出力データＣＡＭＥＲＡＯＵＴにもとづいて、分類器４２により物体の種類を識別可能に構成される。すなわち、演算処理装置４０は、出力データＣＡＭＥＲＡＯＵＴに含まれる複数のレンジ画像ＳＩＭＧ_１～ＳＩＭＧ_Ｎにもとづいて、物体の種類に関する複数のデータＯＵＴ_１～ＯＵＴ_Ｎを出力可能である。

　演算処理装置４０の機能は、ソフトウェア処理で実現してもよいし、ハードウェア処理で実現してもよいし、ソフトウェア処理とハードウェア処理の組み合わせで実現してもよい。ソフトウェア処理は、具体的には、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装される。なお演算処理装置４０は、複数のプロセッサとソフトウェアプログラムの組み合わせであってもよい。ハードウェア処理は具体的には、ＡＳＩＣ（Application Specific Integrated Circuit）やコントローラＩＣ、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアで実装される。演算処理装置４０の機能と、演算処理装置１４０の機能を、同じプロセッサに実装してもよい。

　図１１Ａ、図１１Ｂは、ＴｏＦカメラ１００を備える自動車３００を示す図である。図１１Ａを参照する。自動車３００は、ヘッドランプ（灯具）３０２Ｌ，３０２Ｒを備える。

　図１１Ａに示すように、ＴｏＦカメラ１００の照明装置１１０は、左右のヘッドランプ３０２Ｌ，３０２Ｒの少なくとも一方に内蔵されてもよい。イメージセンサ１２０は、車両の一部、たとえばルームミラーの裏側に取り付けることができる。あるいはイメージセンサ１２０は、フロントグリルやフロントバンパーに設けてもよい。カメラコントローラ１３０は、車室内に設けてもよいし、エンジンルームに設けてもよいし、ヘッドランプ３０２Ｌ，３０２Ｒに内蔵してもよい。

　図１１Ｂに示すように、イメージセンサ１２０は、左右のヘッドランプ３０２Ｌ，３０２Ｒのいずれかに、照明装置１１０とともに内蔵してもよい。

　照明装置１１０を、車両の一部、たとえばルームミラーの裏側や、フロントグリル、フロントバンパーに設けてもよい。

　図１２は、センシングシステム１０を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、車両側ＥＣＵ３１０とともに灯具システム３０４を構成する。車両用灯具２００は、灯具側ＥＣＵ２１０およびランプユニット２２０を備える。ランプユニット２２０は、ロービームユニットあるいはハイビームユニットであり、光源２２２、点灯回路２２４、光学系２２６を備える。さらに車両用灯具２００には、センシングシステム１０が設けられる。

　センシングシステム１０が検出した物体ＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具側ＥＣＵ２１０は、センシングシステム１０が生成する物体ＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２２４および光学系２２６は、灯具側ＥＣＵ２１０が生成した配光パターンが得られるように動作する。センシングシステム１０の演算処理装置４０は、車両用灯具２００の外部、すなわち車両側に設けられてもよい。

　またセンシングシステム１０が検出した物体ＯＢＪに関する情報は、車両側ＥＣＵ３１０に送信してもよい。車両側ＥＣＵ３１０は、この情報を、自動運転や運転支援に利用してもよい。

（変形例１）
　実施形態では、受光画素ｐｘが４個のサブピクセルを含んでいたがその限りでなく、サブピクセルの個数は２個あるいは３個であってもよい。たとえば、側方の２次物体による二次反射が問題とならない場合、路面とトンネルなどの天井の反射を除去すればよく、サブピクセルの個数を減らすことができる。

　実施形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにさまざまな変形例が存在すること、またそうした変形例も本開示または本発明の範囲に含まれることは当業者に理解されるところである。

　本出願は、２０２２年３月２８日出願の日本特許出願２０２２－０５１８２２号に基づくものであり、その内容はここに参照として取り込まれる。

Claims (8)

1. 　物体までの距離情報を含む画像データを生成可能な距離画像センサであって、
   　パルス照明光を視野に照射する照明装置と、
   　複数の受光画素を備え、各受光画素が複数のサブピクセルと、前記複数のサブピクセルに設けられた複数の偏光フィルタを有する、イメージセンサと、
   　前記照明装置の発光タイミングと前記イメージセンサの露光タイミングを制御するカメラコントローラと、
   　を備え、
   　前記イメージセンサが生成する画像データの各画素の値は、当該画素に対応する受光画素に含まれる複数のサブピクセルの値のうち、少なくとも最大値を除いた残りの値にもとづいている、距離画像センサ。
2. 　前記イメージセンサが生成する前記画像データの前記各画素の値は、当該画素に対応する受光画素に含まれる複数のサブピクセルの値のうち、最小値にもとづいている、請求項１に記載の距離画像センサ。
3. 　各受光画素は４個の偏光フィルタを含み、前記４個の偏光フィルタは、偏光方向が４５度異なる、請求項１または２に記載の距離画像センサ。
4. 　各受光画素は３個の偏光フィルタを含み、前記３個の偏光フィルタは、偏光方向が６０度異なる、請求項１または２に記載の距離画像センサ。
5. 　前記イメージセンサは、プラズモニック構造を有する、請求項１または２に記載の距離画像センサ。
6. 　前記距離画像センサは、間接ＴｏＦカメラである、請求項１または２に記載の距離画像センサ。
7. 　車両に搭載される、請求項１または２に記載の距離画像センサ。
8. 　請求項１または２に記載の距離画像センサを備える、車両用灯具。
    

Images