WO2022145261A1 - ゲーティングカメラ、車両用センシングシステム、車両用灯具 - Google Patents

Abstract

ゲーティングカメラ２０は、視野を奥行き方向について複数のレンジに区切り、複数のレンジに対応する複数のスライス画像を生成する。コントローラ２６は、発光制御信号Ｓ１と露光制御信号Ｓ２を生成可能である。照明装置２２は、通常撮影時に、発光制御信号Ｓ１に応じてプローブ光Ｌ１を照射する。イメージセンサ２４は、露光制御信号Ｓ２に応じて露光する。キャリブレーション用光源３０は、キャリブレーション時に、発光制御信号Ｓ１に応じてイメージセンサ２４にキャリブレーション光を照射する。コントローラ２６は、キャリブレーション時に、発光制御信号Ｓ１と露光制御信号Ｓ２の時間差τをスイープし、イメージセンサ２４の画素値の変化を監視する。

Description

ゲーティングカメラ、車両用センシングシステム、車両用灯具

　本開示は、ゲーティングカメラに関する。

　自動運転やヘッドランプの配光の自動制御のために、車両の周囲に存在する物体の位置および種類をセンシングする物体識別システムが利用される。物体識別システムは、センサと、センサの出力を解析する演算処理装置を含む。センサは、カメラ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ミリ波レーダ、超音波ソナーなどの中から、用途、要求精度やコストを考慮して選択される。

　一般的な単眼のカメラからは、奥行きの情報を得ることができない。したがって、異なる距離に位置する複数の物体が重なっている場合に、それらを分離することが難しい。

　奥行き情報が得られるカメラとして、ＴＯＦカメラが知られている。ＴＯＦ（Time Of Flight）カメラは、発光デバイスによって赤外光を投光し、反射光がイメージセンサに戻ってくるまでの飛行時間を測定し、飛行時間を距離情報に変換したＴＯＦ画像を得るものである。

　ＴＯＦカメラに代わるアクティブセンサとして、ゲーティングカメラ（Gating CameraあるいはGated Camera）が提案されている（特許文献１，２）。ゲーティングカメラは、撮影範囲を複数のレンジに区切り、レンジ毎に露光タイミングおよび露光時間を変化させて、撮像する。これにより、対象のレンジ毎にスライス画像が得られ、各スライス画像は対応するレンジに含まれる物体のみを含む。

　測距センサやゲーティングカメラをはじめとするアクティブセンサでは、発光デバイスの発光タイミングと受光デバイスの露光タイミングの時間差が正確に校正される必要がある。特許文献１～３には、キャリブレーションに関する技術が開示されている。

特開２０２０－６０４３３号公報 特開２０２０－８５４７７号公報 特開２０２０－１４８５１２号公報

　特許文献１から３の技術は、ＴｏＦセンサであり、飛行時間を測定するハードウェアの存在を前提としており、ゲーティングカメラに適用することはできない。

　特許文献１には、小型の電子機器に搭載される測距システムのキャリブレーション方法が開示される。具体的は、電子機器を、机などの上に載置し、机の表面を反射物（反射体）として利用する。この技術の適用は、小型の電子機器に限定され、常に同じ距離に反射物を存在するとは限らない車両用のセンサに利用できない。

　特許文献２には、光測距装置に、発光部の出射光を受光部に折り返す反射部が内蔵される。この技術は、発光部の出射光の一部が反射部において遮蔽され、あるいは受光部の一部には、反射部による反射光のみが入射することになる。つまり、ハードウェアの一部がキャリブレーションに割り当てられることになるため、通常の撮影時に利用することができず、ハードウェアの一部（あるいはエネルギーの一部）が無駄となっている。

　特許文献３には、光源の出射光の一部を、光ガイド部および光ファイバによって、イメージセンサに入射する技術が開示される。これも特許文献２と同様に、イメージセンサの一部が、キャリブレーション用に割り当てられるため、通常撮影時に利用できず、ハードウェアの一部が無駄となっている。

　本開示は係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、キャリブレーションが可能なゲーティングカメラの提供にある。

　本開示のある態様は、視野を奥行き方向について複数のレンジに区切り、複数のレンジに対応する複数のスライス画像を生成するゲーティングカメラに関する。ゲーティングカメラは、発光制御信号と第１露光制御信号を生成可能なコントローラと、通常撮影時に、発光制御信号に応じてプローブ光を照射する照明装置と、第１露光制御信号に応じて露光するイメージセンサと、キャリブレーション時に、発光制御信号に応じてイメージセンサにキャリブレーション光を照射するキャリブレーション用光源と、を備える。コントローラは、キャリブレーション時に、発光制御信号と第１露光制御信号の時間差をスイープし、イメージセンサの画素値が増大する時間差を取得する。

　本開示のある態様によれば、ゲーティングカメラのキャリブレーションが可能となる。

実施形態に係るセンシングシステムのブロック図である。 ゲーティングカメラの通常撮影の動作を説明する図である。 図３（ａ）、（ｂ）は、ゲーティングカメラにより得られるスライス画像を説明する図である。 実施例１に係るキャリブレーションを説明する図である。 時間差τと注目画素の画素値Ｐａの関係を示す図である。 実施例２に係るキャリブレーションを説明する図である。 第１露光と第２露光を説明する図である。 図８（ａ）～（ｃ）は、第１露光と第２露光を説明する図である。 図９（ａ）、（ｂ）は、照明装置およびキャリブレーション用光源のブロック図である。 センシングシステムのブロック図である。 図１１（ａ）、（ｂ）は、ゲーティングカメラを備える自動車を示す図である。 センシングシステムを備える車両用灯具を示すブロック図である。

　本開示のいくつかの例示的な実施形態の概要を説明する。この概要は、後述する詳細な説明の前置きとして、実施形態の基本的な理解を目的として、１つまたは複数の実施形態のいくつかの概念を簡略化して説明するものであり、発明あるいは開示の広さを限定するものではない。またこの概要は、考えられるすべての実施形態の包括的な概要ではなく、実施形態の欠くべからざる構成要素を限定するものではない。便宜上、「一実施形態」は、本明細書に開示するひとつの実施形態（実施例や変形例）または複数の実施形態（実施例や変形例）を指すものとして用いる場合がある。

　一実施形態に係るゲーティングカメラは、視野を奥行き方向について複数のレンジに区切り、複数のレンジに対応する複数のスライス画像を生成する。ゲーティングカメラは、発光制御信号と第１露光制御信号を生成可能なコントローラと、通常撮影時に、発光制御信号に応じてプローブ光を照射する照明装置と、第１露光制御信号に応じて露光するイメージセンサと、キャリブレーション時に、発光制御信号に応じてイメージセンサにキャリブレーション光を照射するキャリブレーション用光源と、を備える。コントローラは、キャリブレーション時に、発光制御信号と第１露光制御信号の時間差をスイープし、各時間差におけるイメージセンサの画素値の変化を監視する。

　この構成によれば、飛行時間を測定するハードウェアを有しないゲーティングカメラにおいて、タイミング誤差をキャリブレーションできる。さらに、通常撮影時に使用する光源に加えて、キャリブレーションのための光源を用意することにより、通常撮影時には、イメージセンサの全画素を利用した撮影が可能となり、また照明装置が生成するプローブ光も遮蔽されないため、ハードウェアの無駄を減らすことができる。

　一実施形態において、コントローラは、画素値が相対的に増大するときの時間差の値を取得してもよい。

　一実施形態において、コントローラは、キャリブレーション時に、イメージセンサがキャリブレーション光を検出できない期間に、第２露光制御信号を生成してもよい。コントローラは、第１露光制御信号に応じて得られる画素値を、第２露光制御信号に応じて得られる画素値により補正した値が、増大する時間差を取得してもよい。第２露光制御信号によって環境光を検出でき、環境光の影響を低減できるため、キャリブレーションの精度を高めることができる。特に車両用のセンサの場合、キャリブレーション時に環境光を遮断することができないため、この構成は有効である。

　一実施形態において、第２露光制御信号は時間差を切りかえるたびに生成されてもよい。環境光が時間的に変動する場合に、キャリブレーション精度を高めることができる。

　一実施形態において、第２露光制御信号は第１露光制御信号とセットで生成されてもよい。つまり、キャリブレーション光の撮影を目的とした露光を行うたびに、環境光を取り込むことで、さらに環境光の影響を抑制できる。

　一実施形態において、イメージセンサはマルチタップイメージセンサであり、第１露光制御信号に応じて第１タップを利用して撮影し、第２露光制御信号に応じて第２タップを利用して撮影してもよい。

　一実施形態において、照明装置はレーザダイオードを含み、キャリブレーション用光源は発光ダイオードを含んでもよい。キャリブレーション用光源として、レーザダイオードではなく、発光ダイオードを用いることで、コスト増を抑制できる。

　一実施形態において、照明装置とキャリブレーション用光源は、駆動回路が共有されてもよい。

　一実施形態において、コントローラは、イメージセンサの複数の画素値を監視し、画素値ごとに、時間差を取得してもよい。イメージセンサの画素毎に、タイミング誤差が存在する場合には、画素毎の時間差をキャリブレーションできる。

　一実施形態において、コントローラは、イメージセンサの所定領域の画素値を監視し、当該画素値が増大する時間差を取得してもよい。画素ごとのタイミング誤差が無視できる場合には、この手法が好適である。

　一実施形態において、コントローラは、イメージセンサの複数の画素値を監視し、複数の画素値にもとづく代表値が増大する時間差を取得してもよい。

（実施形態）
　以下、好適な実施形態について、図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施形態は、開示および発明を限定するものではなく例示であって、実施形態に記述されるすべての特徴やその組み合わせは、必ずしも開示および発明の本質的なものであるとは限らない。

（実施形態）
　図１は、実施形態に係るセンシングシステム１０のブロック図である。このセンシングシステム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪを検出する。

　センシングシステム１０は、主としてゲーティングカメラ２０を備える。ゲーティングカメラ２０は、照明装置２２、イメージセンサ２４、コントローラ２６、処理装置２８、キャリブレーション用光源３０を備える。ゲーティングカメラ２０による撮像は、視野を奥行き方向について複数Ｎ個（Ｎ≧２）のレンジＲＮＧ_１～ＲＮＧ_Ｎに区切って行われる。隣接するレンジ同士は、それらの境界において奥行き方向にオーバーラップしてもよい。

　このセンシングシステム１０は、通常撮影に加えて、キャリブレーションが可能である。先に、通常撮影に関連するハードウェアおよび機能について説明する。

　照明装置２２は、通常撮影に使用され、コントローラ２６から与えられる発光制御信号Ｓ１と同期して、プローブ光Ｌ１を車両前方に照射する。プローブ光Ｌ１は赤外光であることが好ましいが、その限りでなく、所定の波長を有する可視光や紫外光であってもよい。

　イメージセンサ２４は、複数の画素を含み、コントローラ２６から与えられる露光制御信号Ｓ２と同期した露光制御が可能であり、複数の画素を含む生画像（ＲＡＷ画像）を生成する。このイメージセンサ２４は、通常撮影とキャリブレーションの両方において使用される。イメージセンサ２４は、プローブ光Ｌ１と同じ波長に感度を有しており、物体ＯＢＪが反射した反射光（戻り光）Ｌ２を撮影する。ｉ番目のレンジＲＮＧ_ｉに関してイメージセンサ２４が生成するスライス画像ＩＭＧ＿ＲＡＷ_ｉは、必要に応じて生画像あるいは一次画像と称して、ゲーティングカメラ２０の最終的な出力であるスライス画像ＩＭＧｓ_ｉと区別する。

　コントローラ２６は、発光制御信号Ｓ１と露光制御信号Ｓ２を生成し、照明装置２２によるプローブ光Ｌ１の照射タイミング（発光タイミング）と、イメージセンサ２４による露光のタイミングを制御する。コントローラ２６は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。

　イメージセンサ２４と処理装置２８は、シリアルインタフェースなどを介して接続されている。処理装置２８は、イメージセンサ２４から生画像ＩＭＧ＿ＲＡＷ_ｉを受信し、スライス画像ＩＭＧｓ_ｉを生成する。

　ゲーティングカメラ２０は、遠方の物体からの反射光を撮影するため、１回の撮影（発光・露光のセット）では、十分な画像が得られない場合がある。そこでゲーティングカメラ２０は、レンジＲＮＧ_ｉごとに、複数Ｎ回（Ｎ≧２）の撮影を繰り返してもよい。この場合、ひとつのレンジＲＮＧ_ｉに対して、Ｎ枚の生画像ＩＭＧ＿ＲＡＷ_ｉ１～ＩＭＧ＿ＲＡＷ_ｉＮが生成される。処理装置２８は、ひとつのレンジＲＮＧ_ｉに対して、Ｎ枚の生画像ＩＭＧ＿ＲＡＷ_ｉ１～ＩＭＧ＿ＲＡＷ_ｉＮを合成し、一枚のスライス画像ＩＭＧｓ_ｉを生成してもよい。

　なお、コントローラ２６と処理装置２８は、同一のハードウェアで構成されてもよく、たとえばマイクロコントローラとソフトウェアプログラムの組み合わせで実現してもよい。

　以上が通常撮影に関する構成および機能である。続いてゲーティングカメラ２０による通常撮影について説明する。

　図２は、ゲーティングカメラ２０の通常撮影の動作を説明する図である。図２にはｉ番目のレンジＲＮＧ_ｉを興味レンジ（Range Of Interest）としてセンシングするときの様子が示される。照明装置２２は、発光制御信号Ｓ１と同期して、時刻ｔ_０～ｔ_１の間の発光期間τ_１の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。ゲーティングカメラ２０から、レンジＲＮＧ_ｉの手前の境界までの距離をｄ_{ＭＩＮｉ、}レンジＲＮＧ_ｉの奥側の境界までの距離をｄ_ＭＡＸｉとする。

　ある時刻に照明装置２２を出発した光が、距離ｄ_ＭＩＮｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間Ｔ_ＭＩＮｉは、
　Ｔ_ＭＩＮｉ＝２×ｄ_ＭＩＮｉ／ｃ
である。ｃは光速である。

　同様に、ある時刻に照明装置２２を出発した光が、距離ｄ_ＭＡＸｉに到達してその反射光がイメージセンサ２４に戻ってくるまでのラウンドトリップ時間Ｔ_ＭＡＸｉは、
　Ｔ_ＭＡＸｉ＝２×ｄ_ＭＡＸｉ／ｃ
である。

　レンジＲＮＧ_ｉに含まれる物体ＯＢＪのみを撮影したいとき、コントローラ２６は、時刻ｔ_２＝ｔ_０＋Ｔ_ＭＩＮｉに露光を開始し、時刻ｔ_３＝ｔ_１＋Ｔ_ＭＡＸｉに露光を終了するように、露光制御信号Ｓ２を生成する。これが１回の露光動作である。

　ｉ番目のレンジＲＮＧ_ｉを撮影する際に、発光および露光を複数Ｎ回、行ってもよい。この場合、コントローラ２６は、所定の周期τ_２で、上述の露光動作を複数回にわたり繰り返せばよい。

　図３（ａ）、（ｂ）は、ゲーティングカメラ２０により得られるスライス画像を説明する図である。図３（ａ）の例では、レンジＲＮＧ_２に物体（歩行者）ＯＢＪ_２が存在し、レンジＲＮＧ_３に物体（車両）ＯＢＪ_３が存在している。図３（ｂ）には、図３（ａ）の状況で得られる複数のスライス画像ＩＭＧ_１～ＩＭＧ_３が示される。スライス画像ＩＭＧ_１を撮影するとき、イメージセンサはレンジＲＮＧ_１からの反射光のみにより露光されるため、スライス画像ＩＭＧ_１にはいかなる物体像も写らない。

　スライス画像ＩＭＧ_２を撮影するとき、イメージセンサはレンジＲＮＧ_２からの反射光のみにより露光されるため、スライス画像ＩＭＧ_２には、物体像ＯＢＪ_２のみが写る。同様にスライス画像ＩＭＧ_３を撮影するとき、イメージセンサはレンジＲＮＧ_３からの反射光のみにより露光されるため、スライス画像ＩＭＧ_３には、物体像ＯＢＪ_３のみが写る。このようにゲーティングカメラ２０によれば、レンジ毎に物体を分離して撮影することができる。

　以上がゲーティングカメラ２０による通常撮影である。続いて、ゲーティングカメラ２０のキャリブレーションに関する構成および機能について説明する。図１に戻る。キャリブレーションは、イグニッションオンをトリガとして行ってもよい。また走行中の任意のタイミングで行ってもよい。

　キャリブレーション用光源３０は、キャリブレーション時にアクティブとなり、コントローラ２６が生成する発光制御信号Ｓ１に応じてイメージセンサ２４にキャリブレーション光Ｌ３を照射する。

　通常撮影時において発光制御信号Ｓ１がアサートされてから照明装置２２が発光するまでの遅延時間Ｔａと、キャリブレーション時において発光制御信号Ｓ１がアサートされてからキャリブレーション用光源３０が発光するまでの遅延時間Ｔｂの差分ΔＴは既知であるものとする。

　コントローラ２６は、キャリブレーション時に、発光制御信号Ｓ１と露光制御信号Ｓ２の時間差τをスイープし、イメージセンサ２４のひとつまたは複数の画素（注目画素という）の画素値の変化を監視する。たとえばコントローラ２６は、相対的に大きな画素値が得られるときの時間差τ_ＣＡＬを取得する。時間差τ_ＣＡＬの決定は、コントローラ２６あるいは処理装置２８において行うことができる。

　続いて、キャリブレーションの動作を、いくつかの実施例をもとに説明する。

（実施例１）
　図４は、実施例１に係るキャリブレーションを説明する図である。実施例１では、イメージセンサ２４が生成する生画像ＩＭＧ＿ＲＡＷのうち１画素（注目画素という）のみに着目する。注目画素の位置は限定されないが、イメージセンサ２４の中央であってもよい。

　ここでは簡単のため、発光制御信号Ｓ１と露光制御信号Ｓ２の時間差τを５段階（τ_－２，τ_－１，τ_０，τ_１，τ_２）でスイープするものとする。実際には、時間差τはより細かいステップで、より大きなステップ数で変化させることができる。

　Ｌ３ａは、キャリブレーション光Ｌ３のキャリブレーション用光源３０からの出発時刻を、Ｌ３ｂは、キャリブレーション光Ｌ３のイメージセンサ２４への到着時刻を表す。発光制御信号Ｓ１のアサートから、キャリブレーション用光源３０の発光タイミング（出発時刻）までには、遅延時間Ｔｂが存在する。

　また、キャリブレーション光Ｌ３の出発時刻（Ｌ３ａ）から到着時刻（Ｌ３ｂ）の間には、キャリブレーション光Ｌ３の伝搬遅延Ｔｃが存在する。この伝搬遅延Ｔｃは、キャリブレーション用光源３０とイメージセンサ２４の距離に応じて定まる。

　またＩＳは、キャリブレーション用光源３０の露光期間を表す。露光制御信号Ｓ２のアサートと、イメージセンサ２４の実際の露光開始の間にも、遅延時間Ｔｄが存在する。

　ノイズや環境光の影響を無視すれば、キャリブレーション光Ｌ３の到着時刻Ｌ３ｂが、イメージセンサ２４の露光期間ＩＳから外れているとき、注目画素の画素値Ｐａはゼロとなる。一方、キャリブレーション光Ｌ３の到着時刻Ｌ３ｂが、イメージセンサ２４の露光期間ＩＳに含まれているとき、注目画素Ｐａの画素値は増大する。

　図５は、時間差τと注目画素の画素値Ｐａの関係を示す図である。横軸が時間差τを、縦軸が画素値を示す。時間差τをスイープさせると、ある時間差τ_ＣＡＬ（図４の例では、τ＝τ_－１）において、注目画素値Ｐａが増大する。コントローラ２６は、画素値Ｐａが相対的に大きくなるときの時間差τ_ＣＡＬを取得する。

　時間差τ_ＣＡＬの決め方は特に限定されない。たとえば画素値Ｐａが最大値をとるときの時間差τをτ_ＣＡＬとしてもよい。あるいは、画素値Ｐａを横軸の時間差τで微分した値が所定値を超えたときの時間差を、τ_ＣＡＬとしてもよい。

　コントローラ２６は、この時間差τ_ＣＡＬを利用して、通常撮影時の発光制御信号Ｓ１と露光制御信号Ｓ２の時間差を補正することができる。

　このように、飛行時間を測定するハードウェアを有しないゲーティングカメラにおいて、タイミング誤差をキャリブレーションできる。さらに、通常撮影時に使用する光源に加えて、キャリブレーションのための光源を用意することにより、通常撮影時には、イメージセンサ２４の全画素を利用した撮影が可能となり、また照明装置２２が生成するプローブ光Ｌ１も遮蔽されないため、ハードウェアの無駄を減らすことができる。

（実施例２）
　図６は、実施例２に係るキャリブレーションを説明する図である。実施例２では、同じ時間差τ_ｊ（ｊ＝－２，－１，０，１，２）に対して、発光と露光を複数Ｍ回繰り返す。その結果、１個の時間差τ_ｊに関して、Ｍ個の画素値Ｐａ_ｊが得られる。コントローラ２６は、Ｍ個の画素値Ｐａ_ｊを加算し、あるいは平均して得られる画素値Ｐ_ｊが増大するときの時間差τ_ｊを取得する。

（実施例３）
　キャリブレーション中に、キャリブレーション光Ｌ３に対して無視できない大きさの環境光がイメージセンサ２４に入射すると、キャリブレーションの精度が低下する。

　そこで実施例２では、キャリブレーション光Ｌ３を検出するための露光（第１露光）に加えて、環境光のみを測定するための露光（第２露光）を行う。

　図７は、第１露光と第２露光を説明する図である。第１露光は、イメージセンサ２４がキャリブレーション光Ｌ３を検出しうる期間に行われ、第１露光のための露光制御信号Ｓ２を、第１露光制御信号Ｓ２ａと称する。第１露光制御信号Ｓ２ａは、実施例１における露光制御信号Ｓ２である。第２露光は、イメージセンサ２４がキャリブレーション光Ｌ３を検出しえない期間に行われる。第２露光のための露光制御信号Ｓ２を、第２露光制御信号Ｓ２ｂと称する。つまり第２露光制御信号Ｓ２ｂは、発光制御信号Ｓ１から十分に離れたタイミングでアサートされる。

　コントローラ２６（あるいは処理装置２８）は、第１露光制御信号Ｓ２ａに応じて得られる画素値Ｐａを、第２露光制御信号Ｓ２ｂに応じて得られる画素値Ｐｂにより補正する。コントローラ２６は、補正後の画素値Ｐａ’が増大するときの時間差τ_ＣＡＬを取得する。もっとも簡易には、ＰａからＰｂを減算し、補正後の画素値Ｐａ’（＝Ｐａ－Ｐｂ）を生成してもよい。

　図８（ａ）～（ｃ）は、第１露光と第２露光を説明する図である。図８（ａ）に示すように、環境光の強さが経時的に変化しない場合には、１回のキャリブレーション中に、第２露光は１回行えばよい。第１露光で得られた画素値Ｐａ_－２～Ｐａ_２は、第２露光で得られた画素値Ｐｂを用いて補正することができる。たとえば、Ｐａ_ｊからＰｂを減算し、補正後のＰａ_ｊ’を算出してもよい。

　実際には、環境光の強さは時間とともに変動する場合の方が多い。そこで、時々刻々と変化する環境光を測定するために、図８（ｂ）に示すように、１回のキャリブレーション中に、第２露光を複数回行ってもよい。たとえば、第２露光は、時間差τごとに行うとよい。この場合、時間差τ_－２，τ_－１，τ_０，τ_１，τ_２それぞれについて、第１露光にもとづく画素値Ｐａ_－２，Ｐａ_－１，Ｐａ_０，Ｐａ_１，Ｐａ_２が得られ、さらに第２露光にもとづく画素値Ｐｂ_－２，Ｐｂ_－１，Ｐｂ_０，Ｐｂ_１，Ｐｂ_２が得られる。ｊ＝－２，－１，０，１，２とすると、補正は、画素値Ｐａ_ｉからＰｂ_ｉを減算して行うことができる。

　図８（ｃ）では、図６（実施例２）で説明したように、１個の時間差τ_ｊにおいて、第１露光が複数Ｍ回、行われる。図８（ｃ）には、１個の時間差τ_ｊの動作が示される。

　この場合、第１露光を行うたびに、第２露光を行うとよい。その結果、Ｐａ_ｊとＰｂ_ｊがそれぞれＭ個生成される。各画素値Ｐａ_ｊを、対応する画素値Ｐｂ_ｊを用いて補正することで、Ｍ個の補正後の画素値Ｐａ_ｊ’が生成される。Ｍ個のＰａ_ｊ’を処理することで、画素値Ｐ_ｊが生成される。コントローラ２６は、画素値Ｐ_ｊが増大するときの時間差τ_ｊを取得する。

　イメージセンサ２４は、画素毎に複数のフローティングディフュージョンを有するマルチタップＣＭＯＳセンサであってもよい。この場合に、イメージセンサ２４はマルチタップイメージセンサであり、第１露光制御信号Ｓ２ａに応じて第１タップを利用して撮影し、第２露光制御信号Ｓ２ｂに応じて第２タップを利用して撮影するとよい。

　続いて照明装置２２およびキャリブレーション用光源３０の具体的な構成例を説明する。

　図９（ａ）、（ｂ）は、照明装置２２およびキャリブレーション用光源３０のブロック図である。図９（ａ）において、照明装置２２は、半導体発光素子２２ａとその駆動回路２２ｂを含む。半導体発光素子２２ａは、車両の遠方を照射する必要があるため、高強度で指向性が強いレーザダイオードが好適である。駆動回路２２ｂは、発光制御信号Ｓ１に応答して、半導体発光素子２２ａに駆動電流Ｉ_ＬＤを供給し、半導体発光素子２２ａをパルス発光させる。駆動回路２２ｂの構成は特に限定されず、公知のレーザドライバを用いることができる。

　同様に、キャリブレーション用光源３０は、半導体発光素子３０ａとその駆動回路３０ｂを含む。半導体発光素子３０ａは、直近のイメージセンサ２４を照射すればよいため、それほどの高出力や指向性は要求されないから、発光ダイオードが好適である。なお半導体発光素子３０ａとして、レーザダイオードを用いてもよい。

　駆動回路３０ｂは、発光制御信号Ｓ１に応答して、半導体発光素子３０ａに駆動電流Ｉ_ＬＥＤを供給し、半導体発光素子３０ａをパルス発光させる。駆動回路３０ｂの構成は特に限定されず、公知のＬＥＤドライバを用いることができる。

　図９（ｂ）では、照明装置２２とキャリブレーション用光源３０は、駆動回路２２ｂ、３０ｂを共有して構成される。この場合、半導体発光素子２２ａ，３０ａと直列にスイッチＳＷ１，ＳＷ２を挿入し、スイッチＳＷ１，ＳＷ２の一方をオンすることで、照明装置２２とキャリブレーション用光源３０を切りかえてもよい。

　以上、本発明について、実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。

（変形例１）
　変形例１では、イメージセンサ２４の近接する複数の画素が注目画素とされる。ゲーティングカメラ２０は、複数の画素値から、代表値を生成し、代表値が増大するときの時間差τ_ＣＡＬを取得してもよい。代表値は、複数の画素値の平均値、合計値、最大値などを用いることができる。

（変形例２）
　イメージセンサ２４の露光タイミングが、面内ばらつきを有する場合があり得る。この場合、イメージセンサ２４の離れた位置に、複数の注目画素を定め、注目画素ごとに、画素値が増大するときの時間差τ_ＣＡＬを取得してもよい。これにより、イメージセンサ２４のタイミング誤差の面内ばらつきをキャリブレーションできる。

（用途）
　図１０は、センシングシステム１０のブロック図である。センシングシステム１０は、上述のゲーティングカメラ２０に加えて演算処理装置４０を備える。このセンシングシステム１０は、自動車やバイクなどの車両に搭載され、車両の周囲に存在する物体ＯＢＪの種類（カテゴリ、あるいはクラスともいう）を判定する物体検出システムである。

　ゲーティングカメラ２０により、複数のレンジＲＮＧ_１～ＲＮＧ_Ｎに対応する複数のスライス画像ＩＭＧｓ_１～ＩＭＧｓ_Ｎが生成される。ｉ番目のスライス画像ＩＭＧｓ_ｉには、対応するレンジＲＮＧ_ｉに含まれる物体のみが写る。

　演算処理装置４０は、ゲーティングカメラ２０によって得られる複数のレンジＲＮＧ_１～ＲＮＧ_Ｎに対応する複数のスライス画像ＩＭＧｓ_１～ＩＭＧｓ_Ｎにもとづいて、物体の種類を識別可能に構成される。演算処理装置４０は、機械学習によって生成された学習済みモデルにもとづいて実装される分類器４２を備える。演算処理装置４０は、レンジ毎に最適化された複数の分類器４２を含んでもよい。分類器４２のアルゴリズムは特に限定されないが、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot MultiBox Detector）、R-CNN（Region-based Convolutional Neural Network）、SPPnet（Spatial Pyramid Pooling）、Faster R-CNN、DSSD（Deconvolution -SSD）、Mask R-CNNなどを採用することができ、あるいは、将来開発されるアルゴリズムを採用できる。

　演算処理装置４０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装することができる。演算処理装置４０は、複数のプロセッサの組み合わせであってもよい。あるいは演算処理装置４０はハードウェアのみで構成してもよい。演算処理装置４０の機能と、処理装置２８の機能を、同じプロセッサに実装してもよい。

　図１１（ａ）、（ｂ）は、ゲーティングカメラ２０を備える自動車３００を示す図である。図１１（ａ）を参照する。自動車３００は、ヘッドランプ（灯具）３０２Ｌ，３０２Ｒを備える。

　図１１（ａ）に示すように、ゲーティングカメラ２０の照明装置２２は、左右のヘッドランプ３０２Ｌ，３０２Ｒの少なくとも一方に内蔵されてもよい。イメージセンサ２４は、車両の一部、たとえばルームミラーの裏側に取り付けることができる。あるいはイメージセンサ２４は、フロントグリルやフロントバンパーに設けてもよい。コントローラ２６は、車室内に設けてもよいし、エンジンルームに設けてもよいし、ヘッドランプ３０２Ｌ，３０２Ｒに内蔵してもよい。また、照明装置２２についても、ヘッドランプ内部以外の場所、たとえば車室内や、フロントバンパー、フロントグリルに取り付けてもよい。

　図１１（ｂ）に示すように、イメージセンサ２４は、左右のヘッドランプ３０２Ｌ，３０２Ｒのいずれかに、照明装置２２とともに内蔵してもよい。

　図１２は、センシングシステム１０を備える車両用灯具２００を示すブロック図である。車両用灯具２００は、車両側ＥＣＵ３１０とともに灯具システム３０４を構成する。車両用灯具２００は、灯具側ＥＣＵ２１０およびランプユニット２２０を備える。ランプユニット２２０は、ロービームあるいはハイビームであり、光源２２２、点灯回路２２４、光学系２２６を備える。さらに車両用灯具２００には、センシングシステム１０が設けられる。

　センシングシステム１０が検出した物体ＯＢＪに関する情報は、車両用灯具２００の配光制御に利用してもよい。具体的には、灯具側ＥＣＵ２１０は、センシングシステム１０が生成する物体ＯＢＪの種類とその位置に関する情報にもとづいて、適切な配光パターンを生成する。点灯回路２２４および光学系２２６は、灯具側ＥＣＵ２１０が生成した配光パターンが得られるように動作する。センシングシステム１０の演算処理装置４０は、車両用灯具２００の外部、すなわち車両側に設けられてもよい。

　またセンシングシステム１０が検出した物体ＯＢＪに関する情報は、車両側ＥＣＵ３１０に送信してもよい。車両側ＥＣＵ３１０は、この情報を、自動運転や運転支援に利用してもよい。

　実施形態は、本発明の原理、応用の一側面を示しているにすぎず、実施形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。

　本開示は、センシング技術に利用できる。

Ｌ１…プローブ光、Ｓ１…発光制御信号、Ｌ２…反射光、Ｓ２…露光制御信号、Ｓ２ａ…第１露光制御信号、Ｓ２ｂ…第２露光制御信号、Ｌ３…キャリブレーション光、１０…センシングシステム、２０…ゲーティングカメラ、２２…照明装置、２４…イメージセンサ、２６…コントローラ、２８…処理装置、３０…キャリブレーション用光源、４０…処理装置、４２…分類器、２００…車両用灯具、２１０…灯具側ＥＣＵ、２２０…ランプユニット、２２２…光源、２２４…点灯回路、２２６…光学系、３００…自動車、３０２Ｌ…ヘッドランプ、３０４…灯具システム、３１０…車両側ＥＣＵ

Claims (13)

1. 　視野を奥行き方向について複数のレンジに区切り、前記複数のレンジに対応する複数のスライス画像を生成するゲーティングカメラであって、
   　発光制御信号と第１露光制御信号を生成可能なコントローラと、
   　通常撮影時に、前記発光制御信号に応じてプローブ光を照射する照明装置と、
   　前記第１露光制御信号に応じて露光するイメージセンサと、
   　キャリブレーション時に、前記発光制御信号に応じて前記イメージセンサにキャリブレーション光を照射するキャリブレーション用光源と、
   　を備え、
   　前記コントローラは、前記キャリブレーション時に、前記発光制御信号と前記第１露光制御信号の時間差をスイープし、各時間差における前記イメージセンサの画素値を監視することを特徴とするゲーティングカメラ。
2. 　前記コントローラは、前記キャリブレーション時に、前記イメージセンサが前記キャリブレーション光を検出できない期間に、第２露光制御信号を生成し、
   　前記コントローラは、前記第１露光制御信号に応じて得られる前記画素値を、前記第２露光制御信号に応じて得られる前記画素値により補正した値が、増大するときの前記時間差を取得することを特徴とする請求項１に記載のゲーティングカメラ。
3. 　前記第２露光制御信号は前記時間差を切りかえるたびに生成されることを特徴とする請求項２に記載のゲーティングカメラ。
4. 　前記第２露光制御信号は前記第１露光制御信号とセットで生成されることを特徴とする請求項２に記載のゲーティングカメラ。
5. 　前記イメージセンサはマルチタップイメージセンサであり、前記第１露光制御信号に応じて第１タップを利用して撮影し、前記第２露光制御信号に応じて第２タップを利用して撮影することを特徴とする請求項２から４のいずれかに記載のゲーティングカメラ。
6. 　前記照明装置はレーザダイオードを含み、
   　前記キャリブレーション用光源は発光ダイオードを含むことを特徴とする請求項１から５のいずれかに記載のゲーティングカメラ。
7. 　前記照明装置と前記キャリブレーション用光源は、駆動回路が共有されることを特徴とする請求項１から６のいずれかに記載のゲーティングカメラ。
8. 　前記コントローラは、前記イメージセンサの複数の画素値を監視し、画素値ごとに、前記画素値が増大するときの時間差を取得することを特徴とする請求項１から７のいずれかに記載のゲーティングカメラ。
9. 　前記コントローラは、前記イメージセンサの所定領域内の画素値を監視し、当該画素値が増大するときの前記時間差を取得することを特徴とする請求項１から７のいずれかに記載のゲーティングカメラ。
10. 　前記コントローラは、前記イメージセンサの複数の画素値を監視し、前記複数の画素値にもとづく代表値が増大するときの前記時間差を取得することを特徴とする請求項１から７のいずれかに記載のゲーティングカメラ。
11. 　車両に搭載されることを特徴とする請求項１から１０のいずれかに記載のゲーティングカメラ。
12. 　請求項１から１０のいずれかに記載のゲーティングカメラと、
    　前記ゲーティングカメラが撮影する前記複数のスライス画像を処理する演算処理装置と、
    　を備えることを特徴とする車両用センシングシステム。
13. 　請求項１から１０のいずれかに記載のゲーティングカメラを備えることを特徴とする車両用灯具。

Images