JP7347398B2

JP7347398B2 - 物体検出装置

Info

Publication number: JP7347398B2
Application number: JP2020181693A
Authority: JP
Inventors: 勇介林; 太一河内; 真之阿部
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2020-10-29
Filing date: 2020-10-29
Publication date: 2023-09-20
Anticipated expiration: 2040-10-29
Also published as: JP2022072328A; US20220137196A1; CN114428257A

Description

本開示は、物体検出装置に関する。

例えば、自動運転車両には、周囲の物標を検出するため、照射したレーザ光の反射光に基づいて物標を検出するライダーが搭載されている。また、例えば、非特許文献１に記載されているように、照射したレーザ光の反射光に加え、照射したレーザ光以外の環境光の反射光の受光結果も用いて物標を検出するライダーが開発されている。

伊藤誠悟平塚誠良太田充彦松原弘幸小川勝「小型イメージングＬＩＤＡＲとＤＣＮＮによる位置姿勢推定」情報処理学会第７９回全国大会講演論文集２０１７年

自動運転車両には、周囲の物標を検出するため、ライダーに加えてカメラが搭載されていることがある。この場合には、ライダーとカメラとのキャリブレーションが行われ、両者の検出結果に基づいて物標の検出が行われている。ここで、上述したように、照射したレーザ光以外の環境光の反射光の受光結果も用いて物標を検出するライダーがある。このようなライダーがカメラに加えて搭載されている場合であっても、両者のキャリブレーションを精度よく行うことが求められている。

このため、本開示は、照射したレーザ光の反射光に加え、環境光の反射光も検出可能なライダーと、カメラとのキャリブレーションを精度よく行うことができる物体検出装置について説明する。

本開示の一側面は、ライダー及びカメラを用いて物標を検出する物体検出装置であって、ライダーとカメラとのキャリブレーションを行うキャリブレーション処理部を備え、ライダーは、照射したレーザ光の反射光及びレーザ光以外の光である環境光の反射光を受光し、受光した環境光の反射光の強度を検出可能な受光部を備え、キャリブレーション処理部は、受光部で受光された環境光の反射光の受光結果と、カメラによって撮像されたカメラ画像とに基づいてキャリブレーションを行う。

この物体検出装置においてキャリブレーション処理部は、ライダーで受光された環境光の反射光の受光結果と、カメラのカメラ画像とに基づいてキャリブレーションを行う。すなわち、物体検出装置は、環境光の反射光の受光結果とカメラ画像という同種の情報に基づいてライダーとカメラとのキャリブレーションを行う。これにより、物体検出装置は、照射したレーザ光の反射光に加えて環境光の反射光も検出可能なライダーと、カメラとのキャリブレーションを精度よく行うことができる。

物体検出装置において、ライダーは、受光されたレーザ光の反射光の反射点の位置と、受光された環境光の反射光の強度と、が対応付けられた対応情報を生成する対応情報生成部を更に備え、キャリブレーション処理部は、対応情報生成部で生成された対応情報と、カメラ画像とに基づいてキャリブレーションを行ってもよい。この場合、カメラ画像と生成した対応情報とに基づいて、キャリブレーションを精度よく行うことができる。

物体検出装置において、対応情報には、当該対応情報を生成するために用いられた環境光の反射光の受光時刻が含まれ、カメラ画像には、当該カメラ画像の撮像時刻が含まれ、キャリブレーション処理部は、受光時刻と撮像時刻との差が所定時間以下の対応情報及びカメラ画像を用いてキャリブレーションを行ってもよい。例えば、物体検出装置が車両に搭載されている場合、車両の移動に伴って物体検出装置も移動する。これにより、環境光の反射光の受光時刻とカメラ画像の撮像時刻とが大きく離れているときには、同じ物標であっても見え方が大きく異なり、環境光情報とカメラ画像とを用いてキャリブレーションを精度よく行うことができない。このため、物体検出装置は、受光時刻と撮像時刻との差が所定時間以下の対応情報及びカメラ画像を用いてキャリブレーションを行うことで、キャリブレーションをより一層精度よく行うことができる。

物体検出装置は、ライダー及びカメラの前方の投影領域内に参照画像を投影する投影部を更に備え、ライダーは、投影領域を含む照射領域内にレーザ光を照射し、照射したレーザ光の反射光及び環境光の反射光を受光し、カメラは、投影領域を含む撮像領域内を撮像し、キャリブレーション処理部は、受光部で受光された照射領域内で反射した環境光の反射光の受光結果と、カメラによって撮像された撮像領域内のカメラ画像とに基づいてキャリブレーションを行ってもよい。この場合、物体検出装置は、参照画像を含む環境光の反射光と参照画像を含むカメラ画像とに基づいて、両者に含まれる参照画像を用いてライダーとカメラとのキャリブレーションをより一層精度よく行うことができる。

本開示の一側面によれば、照射したレーザ光の反射光に加え、環境光の反射光も検出可能なライダーと、カメラとのキャリブレーションを精度よく行うことができる。

図１は、第１実施形態に係る物体検出装置の一例を示すブロック図である。図２（ａ）は、ライダー環境光画像を示す図である。図２（ｂ）は、ライダー環境光画像の画像処理後の画像の一例を示す図である。図２（ｃ）は、ライダー環境光画像の画像処理後の画像の一例を示す図である。図３（ａ）は、ライダー環境光画像の画像処理後の画像の一例を示す図である。図３（ｂ）は、ライダー環境光画像の画像処理後の画像の一例を示す図である。図１は、第２実施形態に係る物体検出装置の一例を示すブロック図である。

以下、例示的な実施形態について図面を参照しながら説明する。なお、各図において、同一又は相当する要素同士には同一符号を付し、重複する説明を省略する。

（第１実施形態）
まず、物体検出装置の第１実施形態について説明する。図１に示される第１実施形態に係る物体検出装置１００は、車両（自車両）に搭載され、自車両の周囲の物標を検出する。物体検出装置１００によって検出された物標は、例えば自車両の自動運転等、種々の制御に用いられ得る。物体検出装置１００は、ライダー［LIDAR：Light Detection and Ranging］１、カメラ２、及びキャリブレーションＥＣＵ[Electronic Control Unit]３を備えている。物体検出装置１００は、ライダー１及びカメラ２を用いて車両の周囲の物標を検出する。また、物体検出装置１００は、ライダー１とカメラ２とのキャリブレーションを行う機能を有している。

ライダー１は、レーザ光を自車両の周囲に照射し、照射したレーザ光が物標で反射した反射光（レーザ光の反射光）を受光する。また、ライダー１は、レーザ光の反射光の強度を検出する。本実施形態におけるライダー１は、照射したレーザ光の反射光に加え、照射したレーザ光以外の光である環境光が物標で反射した反射光（環境光の反射光）を受光することができる。また、ライダー１は、受光した環境光の反射光の強度を検出することができる。この環境光とは、例えば、太陽光、及び照明などの自車両の周囲の光である。

より詳細には、ライダー１は、レーザ光照射部１１、受光素子１２、及び光処理ＥＣＵ１３を備えている。レーザ光照射部１１は、物体検出装置１００が搭載された自車両の周囲の予め定められた照射領域内の各位置に向けてそれぞれレーザ光を照射する。

受光素子１２は、レーザ光照射部１１から照射されたレーザ光の反射光を受光し、受光したレーザ光の反射光の強度に応じた信号を出力することができる。また、受光素子１２は、レーザ光照射部１１から照射されたレーザ光以外の環境光の反射光を受光し、受光した環境光の反射光の強度に応じた信号を出力することができる。

光処理ＥＣＵ１３は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有する電子制御ユニットである。光処理ＥＣＵ１３は、例えば、ＲＯＭに記録されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより各種の機能を実現する。光処理ＥＣＵ１３は、複数の電子ユニットから構成されていてもよい。

光処理ＥＣＵ１３は、受光素子１２の出力信号に基づいて、受光素子１２で受光されたレーザ光の反射光の強度及び環境光の反射光の強度をそれぞれ検出する。光処理ＥＣＵ１３は、機能的には、光分離部１４、レーザ光処理部１５、及び環境光処理部（対応情報生成部）１６を備えている。このように、受光素子１２、光分離部１４、レーザ光処理部１５、及び環境光処理部１６は、レーザ光の反射光及び環境光の反射光を受光し、受光したそれぞれの反射光の強度を検出可能な受光部として機能する。

光分離部１４は、受光素子１２で受光された光を、レーザ光の反射光と環境光の反射光とに分離する。光分離部１４は、例えば、特定の明滅パターンの光をレーザ光の反射光と判別し、それ以外の光を環境光の反射光と判別することができる。また、例えば、光分離部１４は、レーザ光照射部１１がレーザ光を照射してから所定時間以内に受光された光をレーザ光の反射光と判別し、それ以外のタイミングで受光された光を環境光の反射光と判別することができる。この所定時間は、レーザ光照射部１１がレーザ光を照射した後、照射されたレーザ光が自車両の周囲の物標で反射し、レーザ光の反射光が受光素子１２に到達するまでの時間に基づいて予め設定されている。なお、環境光の反射光には、上述したように、ライダー１から照射したレーザ光の反射光は含まない。しかしながら、環境光にレーザ光と同じ波長の光が含まれる場合、環境光の反射光には、レーザ光と同じ波長の光の反射光が含まれる。

レーザ光処理部１５は、受光素子１２で受光されたレーザ光の反射光の受光結果に基づいてレーザ光情報（レーザ光のポイントクラウド）を生成する。レーザ光情報とは、予め定められた照射領域内の各位置に向けて照射された複数のレーザ光の受光結果（複数の反射光の受光結果）に基づいて生成される。なお、ライダー１は、照射領域内の各位置の全てに対してレーザ光の照射が完了した後、再度、照射領域内の各位置に向けてそれぞれレーザ光を照射する。このように、ライダー１は、照射領域内の各位置の全てに対してレーザ光を照射する照射処理が完了した後、再度、次の照射処理を行う。レーザ光情報は、ライダー１が照射処理を行うごとに生成される。

より詳細には、レーザ光処理部１５は、照射領域内に向けて照射する複数のレーザ光のそれぞれについて、照射したレーザ光の反射点の三次元位置と、当該レーザ光の強度と、を対応付けてレーザ光ポイント情報を生成する。レーザ光処理部１５は、生成した複数のレーザ光ポイント情報に基づいて、レーザ光情報を生成する。なお、レーザ光処理部１５は、レーザ光照射部１１から照射されたレーザ光の照射角度と、レーザ光が照射されてから当該レーザ光の反射光が受光素子１２に到達するまでの到達時間と、に基づいて、レーザ光の反射点の三次元位置を計測することができる。

環境光処理部１６は、受光素子１２で受光された環境光の反射光の受光結果に基づいて環境光情報（環境光のポイントクラウド）を生成する。環境光情報は、レーザ光情報と同様に、ライダー１が照射領域内へ複数のレーザ光を照射する照射処理を行うごとに生成される。

より詳細には、環境光処理部１６は、まず、レーザ光処理部１５からレーザ光の反射点の三次元位置を取得する。ここで、レーザ光の照射角度等、ライダー１の各部の状態を変化させていない状態では、受光素子１２によって受光されるレーザ光の反射点の位置と、環境光の反射点の位置とは互いに同じとなっている。このため、ライダー１は、レーザ光の反射光を受光したときの状態で環境光の反射光の強度を検出することにより、レーザ光の反射点と同じ位置で反射した環境光の反射光の強度を検出することができる。従って、環境光処理部１６は、レーザ光処理部１５から取得したレーザ光の反射点の三次元位置と、受光素子１２で受光された環境光の反射光の強度と、を対応付けることにより、環境光ポイント情報を生成する。この環境光ポイント情報は、照射領域内に向けて照射される複数のレーザ光毎に生成される。

環境光処理部１６は、生成した複数の環境光ポイント情報に基づいて、環境光情報を生成する。すなわち、環境光処理部１６は、受光されたレーザ光（環境光）の反射光の反射点の位置と、受光された環境光の反射光の強度と、が反射点の位置毎に対応付けられた環境光情報（対応情報）を生成する。

このように、ライダー１は、受光素子１２の受光結果に基づいてレーザ光情報と環境光情報とを生成することができる。すなわち、ライダー１は、一つの受光素子１２の受光結果に基づいてレーザ光情報と環境光情報とを生成することができるため、レーザ光情報と環境光情報とのキャリブレーションが不要となる。

物体検出装置１００は、ライダー１で生成されたレーザ光情報に基づいて物標の検出を行う。また、物体検出装置１００は、レーザ光情報に加えて、ライダー１で生成された環境光情報も用いて物標の検出を行ってもよい。

カメラ２は、自車両の周囲の予め定められた撮像領域内を撮像し、撮像結果であるカメラ画像を生成する。カメラ２は、撮像素子２１、及び画像処理ＥＣＵ２２を備えている。撮像素子２１は、撮像領域内で反射した環境光の反射光を受光し、受光した環境光の反射光に応じた信号を出力することができる。

画像処理ＥＣＵ２２は、光処理ＥＣＵ１３と同様の構成を有する電子制御ユニットである。画像処理ＥＣＵ２２は、機能的には、画像処理部２３を備えている。画像処理部２３は、撮像素子２１の出力信号に基づいて、周知の方法によってカメラ画像を生成する。

キャリブレーションＥＣＵ３は、光処理ＥＣＵ１３と同様の構成を有する電子制御ユニットである。キャリブレーションＥＣＵ３は、光処理ＥＣＵ１３又は画像処理ＥＣＵ２２と一体に構成されていてもよい。キャリブレーションＥＣＵ３は、機能的には、キャリブレーション処理部３１を備えている。

キャリブレーション処理部３１は、ライダー１とカメラ２とのキャリブレーションを行う。より詳細には、キャリブレーション処理部３１は、ライダー１で受光された環境光の反射光の受光結果（環境光情報）と、カメラ２によって撮像されたカメラ画像とに基づいてキャリブレーションを行う。ここでのキャリブレーションとは、ライダー１とカメラ２との位置合わせを行い、両者の位置的な対応関係を算出することである。

ここでは、キャリブレーション処理部３１は、ライダー１とカメラ２とのキャリブレーションとして、例えば、ライダー１とカメラ２との外部パラメータを算出する。この外部パラメータとは、ライダー１とカメラ２との位置的な対応関係を表している。キャリブレーション処理部３１は、一つの環境光情報と一つのカメラ画像とに基づいて、外部パラメータを生成する。

具体的には、キャリブレーション処理部３１は、ランダムに生成された又は予め定められた条件に基づいて生成された、外部パラメータの初期値を用いて、環境光情報及びカメラ画像のいずれか一方又は両方のデータを変換する変換処理を行う。次に、キャリブレーション処理部３１は、変換処理が行われた後の環境光情報及びカメラ画像に基づいて、環境光情報とカメラ画像との類似度を算出する。そして、キャリブレーション処理部３１は、類似度が大きくなるように、外部パラメータを更新する。キャリブレーション処理部３１は、この外部パラメータの更新を、予め定められた回数又は類似度が予め定められた類似度閾値を超えるまで繰り返し行う。外部パラメータの更新が終了すると、キャリブレーション処理部３１は、更新が終了した外部パラメータをキャリブレーション結果として出力する。物体検出装置１００は、算出された外部パラメータに基づいて、ライダー１とカメラ２との位置的な対応関係を認識することができる。

ここで、キャリブレーション処理部３１がキャリブレーションを行う際に用いる環境光情報及びカメラ画像について説明する。なお、環境光情報には、当該環境光情報を生成するために用いられた環境光の反射光の受光時刻が含まれ、カメラ画像には、当該カメラ画像の撮像時刻が含まれている。キャリブレーション処理部３１は、キャリブレーションを行う環境光情報とカメラ画像とを抽出する際に、環境光情報に含まれる受光時刻とカメラ画像に含まれる撮像時刻との差が所定時間以下の環境光情報及びカメラ画像を抽出する。キャリブレーション処理部３１は、抽出した環境光情報及びカメラ画像を用いて、上述したようにキャリブレーションを行うことができる。

次に、キャリブレーション処理部３１で行われる外部パラメータを算出する種々の方法の一例について説明する。

（第１の方法）
まず、外部パラメータを算出する第１の方法について説明する。第１の方法において、キャリブレーション処理部３１は、画像のヒストグラムを用いて外部パラメータの算出を行う。
（１）キャリブレーション処理部３１は、例えば次の投影行列と変換式とに基づいて、環境光情報を「環境光の反射光の強度を画素値とする画像」に変換する。以下、環境光情報を変換することによって生成された「環境光の反射光の強度を画素値とする画像」を「ライダー環境光画像」という。そして、キャリブレーション処理部３１は、ライダー環境光画像を、カメラ画像と同じサイズ（幅×高さ）に切り出す。

（２）次に、キャリブレーション処理部３１は、カメラ画像をグレースケールに変換する。
（３）キャリブレーション処理部３１は、ライダー環境光画像と、グレースケールに変換したカメラ画像とをそれぞれヒストグラムに変換する。キャリブレーション処理部３１は、ヒストグラムの類似度をスコアとして、類似度が高くなるように外部パラメータ（位置と向きのパラメータ）を変換しながら最適化計算を行う。このスコアは、例えば、２つのヒストグラムの相互情報量等によって算出することができる。

（第２の方法）
外部パラメータを算出する第２の方法について説明する。第２の方法において、キャリブレーション処理部３１は、画像処理によって画像を加工して、ピクセルレベルで類似度を計算することによって外部パラメータを算出する。
（１）キャリブレーション処理部３１は、上記の第１の方法の（１）の処理と同様に、環境光情報をライダー環境光画像に変換する。

（２）次に、キャリブレーション処理部３１は、ライダー環境光画像に対して画像処理を行う。ここで、画像処理の手法の種々の例について説明する。例えば、図２（ａ）に示されるように、自車両の前方の様子を示すライダー環境光画像がある。第１の画像処理手法として、キャリブレーション処理部３１は、図２（ａ）に示されるライダー環境光画像に対して２値化処理を行うことで、図２（ｂ）に示されるように２値化された画像を生成してもよい。なお、キャリブレーション処理部３１は、２値化以外の多値化処理を行ってもよい。

また、第２の画像処理手法として、キャリブレーション処理部３１は、図２（ａ）に示されるライダー環境光画像に対してエッジ検出処理を行うことで、図２（ｃ）に示されるようにエッジ部分が強調された画像を生成してもよい。第３の画像処理手法として、キャリブレーション処理部３１は、図２（ａ）に示されるライダー環境光画像に対してセマンティックセグメンテーション処理を行うことで、図３（ａ）に示されるように属性ごとに領域分けされた画像を生成してもよい。第４の画像処理手法として、キャリブレーション処理部３１は、図２（ａ）に示されるライダー環境光画像に対して影の領域部分だけ抽出してセグメンテーション処理を行うことで、図３（ｂ）に示されるように影の領域部分のみが領域分けされた画像を生成してもよい。このように影の部分だけ領域分けすることにより、領域の切れ目が直線状となる箇所が多くなり、画像のマッチング処理が容易となる。

（３）キャリブレーション処理部３１は、カメラ画像に対しても（２）と同じ画像処理を行う。
（４）キャリブレーション処理部３１は、画像処理後のライダー環境光画像と画像処理後のカメラ画像との差分を計算する。キャリブレーション処理部３１は、算出した差分が小さくなるように、外部パラメータ（位置と向きのパラメータ）を変換しながら最適化計算を行う。例えば、キャリブレーション処理部３１は、次の式を用いてライダー環境光画像とカメラ画像との差分を算出し、lossが下がるように最適化計算を行うことができる。
loss＝Σ_ｗΣ_ｈ（カメラ画像[h][w]－ライダー環境光画像[h][w]）^２
ここでの「ｗ」は、画像中の幅方向の位置であり、「ｈ」は、画像中の高さ方向の位置である。ここでは、キャリブレーション処理部３１は、画像処理として用いた手法に応じて、２つの画像の類似度を算出し、最適化計算を行う。例えば、キャリブレーション処理部３１は、２値化等が行われて画素ごとに値を持つ場合、画素ごとの数値差に基づいて類似度を算出することができ、画素ごとに属性が付されている場合、属性の一致又は不一致に基づいて類似度を算出することができる。

また、キャリブレーション処理部３１は、環境光情報とカメラ画像とにおけるピクセルレベルでのマッピングテーブルを、外部パラメータとして使用してもよい。このマッピングテーブルは、例えば、環境光情報のある点（ある反射点の情報）が、カメラ画像中のどの画素に対応するかを表すマップである。キャリブレーション処理部３１は、例えば、次のようにして、マッピングテーブルを作成することができる。

（１）まず、キャリブレーション処理部３１は、環境光情報の反射強度値に補正を加える。例えば、キャリブレーション処理部３１は、反射強度値にγ補正を行ってもよい。
（２）次に、キャリブレーション処理部３１は、カメラ画像をグレースケールに変換する。
（３）キャリブレーション処理部３１は、環境光情報の各点（ポイント）の反射強度の値に近い、カメラ画像の画素をピックアップする。

（４）キャリブレーション処理部３１は、ピックアップしたカメラ画像の画素に基づいて、環境光情報中の各点の位置関係を崩さない、環境光情報の点とカメラ画像の画素とのペアを探索する。例えば、キャリブレーション処理部３１は、環境光情報の点Ａは点Ｂの左側に存在するにも関わらず、対応するカメラ画像の画素Ａが画素Ｂの右側に存在する場合には、ペアを不成立とする。
（５）キャリブレーション処理部３１は、（４）において予め定められたペア閾値以上のペアを探索することができた場合、このペアの位置関係に基づいてマッピングテーブルを作成する。ペア閾値以上のペアを探索することができなかった場合、キャリブレーション処理部３１は、（３）のピックアップの条件を緩めて再度ペアの探索を行う。このピックアップの条件を緩めることとして、例えば、キャリブレーション処理部３１は、「画素値が所定の範囲以内なら同じ（近い）と判定してピックアップする」の「所定の範囲」を緩和する。

また、キャリブレーション処理部３１は、上記の方法によって作成されたマッピングテーブルから、ライダー１の座標系をカメラ２の座標系へ変換するための射影行列を生成してもよい。

以上のように、物体検出装置１００においてキャリブレーション処理部３１は、ライダー１で受光された環境光の反射光の受光結果と、カメラ２のカメラ画像とに基づいてライダー１とカメラ２とのキャリブレーションを行う。すなわち、物体検出装置１００は、環境光の反射光の受光結果とカメラ画像という同種の情報に基づいてライダー１とカメラ２のキャリブレーションを行う。これにより、物体検出装置１００は、照射したレーザ光の反射光に加えて環境光の反射光も検出可能なライダー１と、カメラ２とのキャリブレーションを精度よく行うことができる。

ライダー１の環境光処理部１６は、受光されたレーザ光の反射光の反射点の位置と、環境光の反射光の強度と、が対応付けられた環境光情報（対応情報）生成する。キャリブレーション処理部３１は、生成された環境光情報とカメラ画像とに基づいてキャリブレーションを行う。この場合、物体検出装置１００は、反射光の反射点の位置ごとに反射光の強度が対応付けられた環境光情報と、カメラ画像とに基づいて、キャリブレーションを精度よく行うことができる。

キャリブレーション処理部３１は、環境光情報に含まれる環境光の反射光の受光時刻と、カメラ画像が撮像された撮像時刻との差が所定時間以下の環境光情報及びカメラ画像を用いてキャリブレーションを行う。例えば、物体検出装置１００が車両に搭載されている場合、車両の移動に伴って物体検出装置１００も移動する。これにより、環境光の反射光の受光時刻とカメラ画像の撮像時刻とが大きく離れているときには、同じ物標であっても見え方が大きく異なり、環境光情報とカメラ画像とを用いてキャリブレーションを精度よく行うことができない。このため、物体検出装置１００は、受光時刻と撮像時刻との差が所定時間以下の環境光情報及びカメラ画像を用いてキャリブレーションを行うことで、キャリブレーションをより一層精度よく行うことができる。

（第２実施形態）
次に、物体検出装置の第２実施形態について説明する。以下では、第１実施形態に係る物体検出装置１００との相違点を中心に説明し、対応する要素には同一符号を付して詳細な説明を省略する。図４に示されるように、第２実施形態に係る物体検出装置１００Ａは、投影した参照画像を用いてライダー１とカメラ２とのキャリブレーションを行う。物体検出装置１００Ａは、ライダー１、カメラ２、キャリブレーションＥＣＵ３Ａ、及び投影部４を備えている。

投影部４は、ライダー１及びカメラ２の前方の投影領域内に参照画像を投影する。この参照画像は、例えば、予め定められた数字、文字、及び図形等であってもよい。ライダー１は、参照画像が投影された投影領域を含む照射領域内にレーザ光を照射し、照射したレーザ光の反射光及び環境光の反射光を受光する。ここでの環境光には、投影部４から照射された参照画像の反射光も含まれる。また、カメラ２は、参照画像が投影された投影領域を含む撮像領域内を撮像する。

キャリブレーションＥＣＵ３Ａは、キャリブレーション処理部３１Ａを備えている。キャリブレーション処理部３１Ａは、ライダー１で受光された照射領域内で反射した環境光の反射光の受光結果（環境光情報）と、カメラ２によって撮像された撮像領域内のカメラ画像とに基づいて、第１の実施形態と同様の方法を用いてライダー１とカメラ２とのキャリブレーションを行う。すなわち、キャリブレーション処理部３１Ａは、参照画像の影響を含む環境光情報と、参照画像を含むカメラ画像とに基づいてキャリブレーションを行う。ここで、環境光情報及びカメラ画像の両方に参照画像が含まれているため、キャリブレーション処理部３１Ａは、参照画像に基づいて両者の類似度等を算出し、キャリブレーションを行うことができる。なお、本実施形態におけるライダー１は、レーザ光の反射光に加え、環境光の反射光も検出することができる。このため、キャリブレーション処理部３１Ａは、投影部４から照射された参照画像を含む環境光情報を用いてキャリブレーションを行うことができる。

以上のように、本実施形態における物体検出装置１００Ａは、参照画像を投影する投影部４を備えている。この場合、物体検出装置１００Ａは、参照画像を含む環境光情報と参照画像を含むカメラ画像とに基づいて、両者に含まれる参照画像を用いてライダーとカメラとのキャリブレーションをより一層精度よく行うことができる。

なお、投影部４は、投影する参照画像を定期的に変更してもよい。この場合、物体検出装置１００Ａが搭載された車両を移動させたり、カメラ２等を動かすことなく、前回とは異なる参照画像を含む環境光情報及びカメラ画像を得ることができる。また、投影部４は、キャリブレーション処理部３１Ａがキャリブレーションを行うのに適した参照画像を投影してもよい。この場合、キャリブレーション処理部３１Ａは、キャリブレーションをより一層精度よく行うことができる。

また、投影部４は、時間情報が埋め込まれた参照画像を投影してもよい。投影部４は、時間情報として、例えば、数字、及びＱＲコード（登録商標）等が埋め込まれた参照画像を投影してもよい。また、投影部４は、時間情報が埋め込まれた参照画像を、ライダー１の照射周期（照射処理の周期）又はカメラ２の撮像周期以下の周期で切り替える。

ここで、ライダー１においては、受光素子１２と光処理ＥＣＵ１３との間でのデータの転送遅延がある。また、カメラ２においても、撮像素子２１と画像処理ＥＣＵ２２との間でのデータの転送遅延がある。このため、ライダー１におけるデータの転送遅延がＴ１であり、カメラ２におけるデータの転送遅延がＴ２である場合、｜Ｔ１－Ｔ２｜の時間補正を考慮しておかないと、環境光情報とカメラ画像とを対比する際に物標の位置が合わなくなる。このため、キャリブレーション処理部３１Ａは、時間情報が埋め込まれた参照画像を含む環境光情報及びカメラ画像を用いることにより、埋め込まれた時間情報に基づいてライダー１及びカメラ２のそれぞれにおけるデータの転送遅延を考慮して、環境光情報とカメラ画像とを対比することができる。これにより、キャリブレーション処理部３１Ａは、キャリブレーションをより精度よく行うことができる。

以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されるものではない。本開示は、本開示の趣旨を逸脱しない範囲で種々の変更が可能である。

１…ライダー、２…カメラ、４…投影部、１２…受光素子（受光部）、１４…光分離部（受光部）、１５…レーザ光処理部（受光部）、１６…環境光処理部（受光部、対応情報生成部）、３１，３１Ａ…キャリブレーション処理部、１００，１００Ａ…物体検出装置。

Claims

ライダー及びカメラを用いて物標を検出する物体検出装置であって、
前記ライダーと前記カメラとのキャリブレーションを行うキャリブレーション処理部を備え、
前記ライダーは、
照射したレーザ光の反射光及び前記レーザ光以外の光である環境光の反射光を受光し、受光した前記環境光の反射光の強度を検出可能な受光部と、
前記受光部で受光された受光された前記レーザ光の反射光の反射点の位置と、前記受光部で受光された受光された前記環境光の反射光の強度と、が対応付けられた対応情報を生成する対応情報生成部と、
を備え、
前記対応情報には、当該対応情報を生成するために用いられた前記環境光の反射光の受光時刻が含まれ、
前記カメラによって撮像されたカメラ画像には、当該カメラ画像の撮像時刻が含まれ、
前記キャリブレーション処理部は、前記撮像時刻と前記受光時刻との差が所定時間以下の前記対応情報及び前記カメラ画像を用いて前記キャリブレーションを行い、
さらに前記キャリブレーション処理部は、前記撮像時刻及び前記受光時刻として、前記ライダー内における前記環境光の反射光のデータの転送遅延及び前記カメラ内における前記カメラ画像のデータの転送遅延を考慮して補正を行った時刻を用いる、物体検出装置。
前記ライダー及び前記カメラの前方の投影領域内に参照画像を投影する投影部を更に備え、
前記ライダーは、前記投影領域を含む照射領域内に前記レーザ光を照射し、照射した前記レーザ光の反射光及び前記環境光の反射光を受光し、
前記カメラは、前記投影領域を含む撮像領域内を撮像し、
前記キャリブレーション処理部は、前記受光部で受光された前記照射領域内で反射した前記環境光の反射光の受光結果と、前記カメラによって撮像された前記撮像領域内のカメラ画像とに基づいて前記キャリブレーションを行う、請求項１に記載の物体検出装置。