JPWO2019167350A1

JPWO2019167350A1 - 物体検知装置

Info

Publication number: JPWO2019167350A1
Application number: JP2020502801A
Authority: JP
Inventors: 信三香山
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2018-03-02
Filing date: 2018-11-07
Publication date: 2021-02-25
Also published as: WO2019167350A1; CN111801593A; US20210055406A1

Abstract

霧や雨のような悪天候下において、より高い解像度の画像を取得できる物体検知装置を提供する。物体を検知する物体検知装置であって、物体に電波を照射して物体の位置を表す信号を発生するレーダーと、物体に光を照射する光源と、物体の画像を取得するセンサと、プロセッサと、を備え、プロセッサは、信号に基づいて光源が光を照射するタイミングと、センサの露光とを制御する。

Description

本開示は、物体検知装置に関する。

レーダー及びカメラを備えた自動車が知られている。例えば、特許文献１において、レーダーは、自車の前を走行する車両との距離を測定し、カメラは、車線や道路端部を認識する。

特開平１１−２１２６４０号公報

物体検知装置では、どんな天候の時であっても、どのような物体かを区別して検知することが望まれる。具体的には、霧や雨のような悪天候下でも、物体の存在の確認だけでなく、どのような物が存在しているか区別して検知することが望まれる。

この場合、ヘッドライトの光量増加などによるカメラの視認性を上げることによる物体認識の向上方法が考えられる。しかし単にヘッドライトの光量のみを上げると、本当に見たい被写体からの光量以外に、霧粒子の後方散乱による戻り光も増加し、見たい被写体が見えなくなる。この結果、物体の視認性が悪化してしまい、物体が何であるかを認識することができない。

そこでレーダーのような雨、霧に強い検出器で物体検出をすることで、物体の検出率向上を実現することも考えられる。レーダーは、カメラに比べて大幅に低い解像度しか有しない。そのため、物体の存在を検知はできるが、物体が一体何であるかを区別して認識することができない。その結果、車などに応用する場合、車を停止させる必要のない物体にも過剰に停止または減速することが増え、快適な走行を妨げる結果につながる。

本開示による物体検知装置は、上記課題を解決するためになされたものである。

物体検知装置は、物体を検知する物体検知装置であって、前記物体に電波を照射して前記物体の位置を表す信号を発生するレーダーと、前記物体に光を照射する光源と、前記物体の画像を取得するセンサと、プロセッサと、を備え、前記プロセッサは、前記信号に基づいて前記光源が前記光を照射するタイミングと、前記センサの露光とを制御する。

霧や雨のような悪天候下において、より高い解像度の画像を取得できる物体検知装置を提供する。

図１は、物体検知装置の構成を示す図である。図２は、自車と物体との位置関係を示す図である。図３は、レーダー、光源、及びセンサの動作を示すタイミングチャートである。図４は、光源の自車への取り付け位置を示す図である。図５は、光源の自車への取り付け位置を示す図である。図６は、光源が拡散光によって照射する照射領域を示す図である。図７は、光源のラインスキャンによって照射する照射領域を示す図である。図８は、光源のラインスキャンによって照射する照射領域を示す図である。図９は、光源のポイントスキャンによって照射する照射領域を示す図である。図１０は、自車の近傍に複数の物体があるときのセンサによる撮像を示す図である。

以下、本開示の実施形態について、図面を参照しながら説明する。なお、以下で説明する実施形態は、いずれも本開示の好ましい一具体例を示すものである。したがって、以下の実施形態で示される、数値、形状、材料、構成要素、構成要素の配置位置及び接続形態等は、一例であって本開示を限定する主旨ではない。よって、以下の実施形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

各図は、模式図であり、必ずしも厳密に図示されたものではない。各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。

また、本明細書及び図面において、Ｘ軸、Ｙ軸及びＺ軸は、三次元直交座標系の三軸を表しており、本実施形態では、Ｚ軸方向を鉛直方向とし、Ｚ軸に垂直な方向（ＸＹ平面に平行な方向）を水平方向としている。Ｘ軸及びＹ軸は、互いに直交し、且つ、いずれもＺ軸に直交する軸である。

図１は、物体検知装置１００の構成を示す図である。物体検知装置１００は、レーダー１１０、光源１２０、センサ１３０、検知回路１４０、プロセッサ１５０、低周波除去回路１６０、及び検知回路１７０を備える。物体検知装置１００は、例えば自動車に設置され、前方に存在する物体１９０を検知する。物体検知装置１００が設置されている車両を自車と呼ぶ。

物体１９０は、典型的には他の車両であるが、これには限定されない。物体１９０は、例えば歩行者、道路上の構造物等であってもよい。物体１９０は、物体検知装置１００を備える自車と、物体１９０との位置関係によっては、障害物となり得る。この場合は、物体検知装置１００の検知結果に基づいて、例えば自車の運転者に対する警告、自車のブレーキの作動を行い得る。

レーダー１１０は、例えばミリ波レーダーである。レーダー１１０は、パルス状のミリ波を物体１９０に照射し、反射して戻ってくる電磁波を受け取る。レーダー１１０は、電磁波の照射及び受信の時刻を表す信号を検知回路１４０に出力する。プロセッサ１５０は、照射及び受信の時刻に基づいて、物体１９０との位置を表す信号を生成する。レーダー１１０が単一の方向だけに電磁波を照射する場合、この位置は、レーダー１１０に対する物体１９０の１次元的な位置、すなわちレーダー１１０及び物体１９０の距離に対応する。レーダー１１０の照射方向が水平面内で扇状に時間とともにスキャンされるときは、この位置は、レーダー１１０に対する物体１９０の２次元的な位置、すなわち水平面内におけるレーダー１１０に対する物体１９０の位置に対応する。

光源１２０は、物体１９０にパルス光を照射する。光源１２０が照射する光の強度の時間変化は、矩形又は三角形であり得る。光源１２０は、例えばレーザ素子又はＬＥＤ（発光ダイオード）であり得る。本明細書において、光源１２０は、レーザ光を発するレーザダイオードも含む。光源１２０は、典型的には可視光線を照射し、自車２１０のヘッドライトの光源を兼ねてもよい。光源１２０は、検知専用の光源として、近赤外光を照射してもよい。レーザ素子は高速な応答が可能なので、パルス光源として好ましい。光源１２０は、駆動能力の高い回路で駆動されるなら、ＬＥＤであってもよい。

センサ１３０は、パルス光が照射されてから遅延期間が経過した後に、受光期間だけ受光し、物体１９０を撮像する。この遅延期間は、レーダー１１０及び物体１９０の距離に対応する。受光期間は、レーダー１１０から見た物体１９０の奥行き方向の長さに対応する。センサ１３０は、典型的には、撮像素子が２次元アレイ状に配列されたセンサである。センサ１３０のシャッターは、好ましくはグローバルシャッターであり、そのシャッター速度は比較的高速である。

センサ１３０は、撮像した画像を低周波除去回路１６０に出力する。低周波除去回路１６０は、信号処理によってエンハンス画像を検知回路１７０に出力する。検知回路１７０は、物体を検知し、検知結果を出力する。

図２は、自車２１０と物体１９０との位置関係を示す図である。センサ１３０で撮像したい物体１９０が、自車２１０からの距離がｄ１〜ｄ２である撮像範囲２３０にあるとする。このときプロセッサ１５０は、撮像範囲２３０からの光だけをセンサ１３０が受け取るように、センサ１３０のシャッターを制御する。

図３は、レーダー１１０、光源１２０、及びセンサ１３０の動作を示すタイミングチャートである。図３において横軸は時間、縦軸は各構成要素の動作を表す。レーダー１１０がパルス状の電磁波３１０を発信して、遅延期間３１２の後に、物体１９０によって反射された電磁波３２０が受信される。光速をｃ、レーダー１１０及び物体１９０の距離をｄ１とすると、遅延期間３１２は２ｄ１／ｃに等しい。レーダー１１０は、例えば１００ｍｓの間隔でパルス状の電磁波３１０を発信するが、これには限定されず、任意の適切な間隔で電磁波を発信し得る。

光源１２０は、パルス光３３０、３４０を物体１９０に周期的に照射する。パルス光３３０及び３４０の間隔（照射間隔ともいい、すなわち期間ｔ１〜ｔ４）は、例えば１０μｓであるが、これには限定されず任意の適切な間隔であり得る。例えば光源１２０の照射間隔は、２μｓ〜１０μｓの範囲にある。パルス光３３０及び３４０のパルス幅Ｗは、後述するように、撮像範囲２３０に依存して、適切に選択され得る。

例えば１秒に３０フレームの画像を撮像するなら、１フレームは、３３．３ｍｓである。照射間隔１０μｓなら、１フレームにパルス光を１０００回のオーダーで発することができる。センサ１３０は、多数回のパルス光の発光によって受け取られた光子を蓄積し、総和をとることで画像を形成できる。光子を累積する動作を実現するセンサ１３０のために用いられる素子として、例えばアバランシェフォトダイオードがある。

パルス光３３０の前縁が時刻ｔ１だとすると、センサ１３０のセンサは、時刻ｔ２〜ｔ３の受光期間（ｔ３−ｔ２）だけ撮像する。時刻ｔ１〜ｔ２の期間は、２ｄ１／ｃに等しい。時刻ｔ１〜ｔ３の期間は、２ｄ２／ｃに等しい。よって撮像範囲２３０の自車２１０から見た奥行き（ｄ２−ｄ１）＝（ｔ３−ｔ２）ｃ／２とかける。すなわち受光期間（ｔ３−ｔ２）を適切に設定すれば、物体１９０にふさわしい撮像範囲２３０を得られる。典型的には受光期間（ｔ３−ｔ２）は、パルス光３３０及び３４０のパルス幅Ｗに等しい。プロセッサ１５０が光源１２０の発光及び受光をこのように制御すれば、センサ１３０は、撮像範囲２３０にある物体だけを選択的に撮像できる。パルス幅Ｗを例えば、物体１９０である自動車の奥行き方向の長さに設定すれば、悪天候下での霧や雨の撮像に対する影響を最小限に抑えることができる。

パルス光３３０及び３４０のパルス幅（すなわち期間ｔ２〜ｔ３）が、例えば１０ｎｓであるなら、撮像範囲２３０（すなわち（ｄ２−ｄ１）は、３ｍであり、これが被写界深度に相当する。パルス光３３０及び３４０のパルス幅（すなわち期間ｔ２〜ｔ３）が、例えば５０ｎｓであるなら、撮像範囲２３０（すなわち（ｄ２−ｄ１）は、１５ｍである。撮像範囲２３０に物体１９０として自動車が含まれることを想定すれば、パルス光３３０及び３４０のパルス幅（照射期間）は、例えば１０ｎｓ〜５０ｎｓであることが好ましいが、これには限定されず任意の適切な期間であり得る。例えば光源１２０の照射期間は、１０ｎｓ〜１００ｎｓの範囲にあってもよい。

上記構造によれば、光源１２０の光源のパワーを物体１９０の近傍にだけ集中させることができる。霧や雨の中にある物体１９０が反射する信号の強度を上げることができ、物体１９０がより遠方に存在しても検知できる。物体１９０の撮像が、霧や雨によって反射された光源１２０からの光の影響を受けにくくできる。

図４は、光源１２０の自車２１０への取り付け位置を示す図である。光源１２０は、例えば、可視光を照射するヘッドライト４１０と兼用してもよい。この構造では、ヘッドライトと光源１２０とを共通化できるので、部品点数の削減ができ、好ましい。この場合、光源１２０の位置とセンサ１３０の位置とが異なるので、制御信号の同期を考慮した配置とすることが好ましい。具体的にはプロセッサ１５０から光源１２０への制御信号が到達するまでの遅延時間、プロセッサ１５０からセンサ１３０への制御信号が到達するまでの遅延時間などを考慮し、制御時間にオフセットを与えることで矛盾のない距離範囲の撮像が可能になる。

図５は、光源１２０の自車２１０への取り付け位置を示す図である。光源１２０は、例えば、ヘッドライト４１０とは別個に設けられてもよい。このとき光源１２０は、自車２１０の車室内に取り付けられる。加えて光源１２０は、センサ１３０と一体化されてもよい。すなわち光源１２０及びセンサ１３０は、実質的に一つの筐体に実装されている。この場合、光源１２０及びセンサ１３０のそれぞれの制御信号の遅延時間差は少ないので、設計が容易になるという効果がある。

図６は、光源１２０が拡散光によって照射する照射領域６００を示す図である。光源１２０は、拡散光によって照射領域６００を照射する。照射領域６００は、撮像範囲と１対１であることが好ましい。例えば光源１２０の前にレンズ光学系を配置し、センサ１３０の撮像画角に合わせた照射を行うことが好ましい。拡散光によって同時に照射領域６００を撮像できるので、光源１２０にはスキャン機構を設ける必要がない。

図７は、光源１２０のラインスキャンによって照射する照射領域６００を示す図である。光源１２０は、垂直方向に沿ったストライプ領域７００を水平方向にスキャンすることで照射領域６００をカバーする。照射領域６００は、撮像範囲と１対１であることが好ましい。センサ１３０は、ストライプ領域７００に対応する領域だけを同時に撮像すればよい。１フレーム内で撮像領域をカバーする画角分だけ光源１２０をスキャンしていくことで全領域をカバーする。ストライプ領域７００によるスキャンは、撮像領域全体をカバーしてもよく、逆に撮像領域のうちの一部だけをカバーしてもよい。撮像領域では１ラインに対応する場合から複数ラインに対応する場合まで、光源１２０のストライプ領域７００の幅に合わせて駆動すればよい。ラインスキャンによれば、信号対ノイズ比（ＳＮＲ）を改善し得る。

図８は、光源１２０のラインスキャンによって照射する照射領域６００を示す図である。光源１２０は、水平方向に沿ったストライプ領域８００を垂直方向にスキャンすることで照射領域６００をカバーする。照射領域６００は、撮像範囲と１対１であることが好ましい。センサ１３０は、ストライプ領域８００に対応する領域だけを同時に撮像すればよい。１フレーム内で撮像領域をカバーする画角分だけ光源１２０をスキャンしていくことで全領域をカバーする。ストライプ領域８００によるスキャンは、撮像領域全体をカバーしてもよく、逆に撮像領域のうちの一部だけをカバーしてもよい。撮像領域では１ラインに対応する場合から複数ラインに対応する場合まで、光源１２０のストライプ領域８００の幅に合わせて駆動すればよい。ラインスキャンによれば、ＳＮＲを改善し得る。

図９は、光源１２０のポイントスキャンによって照射する照射領域６００を示す図である。光源１２０は、点状の光の領域を角度θでスキャンすることで照射領域９３０をカバーする。ポイントスキャンを利用することで、光源１２０による光照射パワーを大きくすることができる。これにより昼間であっても、より遠方まで物体１９０の撮像をすることが可能になる。また、２次元ＭＥＭＳミラーなどでポイントスキャンをすることで、レーダー受信で得られた角度θだけ縦横方向にスキャン領域を絞り撮像することも可能である。これにより、光源１２０のパワーを抑えながら極小の領域スキャンで必要な物体１９０の撮像が可能になる。

以上の実施形態において、距離の異なる２つの物体がレーダー１１０によって検知された場合、例えば、近い物体を優先的に撮像し、遠い物体は撮像しない動作モードにすることもできる。また、近い物体と遠い物体とをフレーム毎に交互に撮像することで、複数の物体のそれぞれを鮮明に撮像することもできる。ここでセンサ１３０は、例えば３０フレーム毎秒で撮像する。

図１０は、自車２１０の近傍に複数の物体があるときのセンサ１３０による撮像を示す図である。自車２１０の近傍において３台の車両１０１０、１０２０、及び１０３０が同じ方向に走行中である。車両１０１０は、自車２１０に対して、距離１０１２だけ離れ、角度１０１４を成す位置にある。車両１０２０は、自車２１０に対して、距離１０２２だけ離れ、自車２１０の正面の位置にある。車両１０３０は、自車２１０に対して、距離１０３２だけ離れ、角度１０３４を成す位置にある。車両１０１０、１０２０、及び１０３０は、それぞれ車線１０１６、１０２６、及び１０３６内を走行している。自車２１０は、車線１０２６内を走行している。領域１００８には車両が存在しない。領域１０１８、１０２８、及び１０３８には、車両１０１０、１０２０、及び１０３０がそれぞれ存在する。

プロセッサ１５０は、自車２１０及び車両の距離と、自車２１０の前方方向に対する車両の角度とに基づいて、車両が自車２１０と同じ車線に存在するかを判断する。例えば、距離１０１２が１０ｍであり、角度１０１４が２０度なら、10m×sin 20°＝3.4mなので車両１０１０は、同じ車線２１０ではなく、隣の車線１０１６に存在すると判断する。

プロセッサ１５０は、レーダー１１０が複数の車両１０１０、１０２０、及び１０３０を検知した場合、距離１０１２、１０２２、及び１０３２と、角度１０１４、角度０°（車両１０２０は自車２１０の前方に存在する）、角度１０３２とに基づいて、車両１０１０、１０２０、及び１０３０のそれぞれについての衝突の危険度を求める。例えば、同じ車線１０２６を走る車両は、危険度が高いと判断される。加えて距離が近いほど危険度は高いと判断される。よって車両１０１０は、車両１０３０よりも危険度が高い。以上のルールに基づいて危険度を判断すれば、車両１０２０の危険度＞車両１０１０の危険度＞車両１０３０の危険度という大小関係が得られる。

プロセッサ１５０は、得られた危険度に基づいて、複数の車両１０１０、１０２０、及び１０３０のうちの２つの画像が異なるフレームにおいて取得されるよう光源１２０の発光、及びセンサ１３０の露光のタイミングを制御する。図１０の場合、領域１００８、１０１８、１０２８、及び１０３８の画像が異なるフレームにおいて取得されるよう発光及び露光のタイミングを制御する。これにより複数の車両１０１０、１０２０、及び１０３０を異なるフレームを使い、それぞれクリアに撮像できる。

ある実施形態では、プロセッサ１５０は、レーダー１１０が複数の物体を検知した場合、最も近い物体の位置信号に基づいてセンサ１３０の露光を制御する。これにより最も危険度が高い車両を優先して画像処理できる。

またある実施形態では、距離の異なる３台以上の被写体を検知した場合、例えば、距離に応じて最遠方の物体だけは撮像対象から外し手前と中間の物体だけ交互に撮像したりすることも可能である。例えば車両１０３０は、最も遠くにあるので撮像せずに、車両１０１０及び１０２０だけを撮像してもよい。

物体検知装置１００は、移動体に搭載され得る。好ましくは物体検知装置１００は、自動車に搭載される。ある実施形態では、光源１２０は、移動体の内部を照らし、センサ１３０は、光源１２０と分離されている。

上述のさまざまな実施形態によれば、光源１２０をパルス駆動することによって、同一光量を有効に使って物体１９０からの光に対応する信号強度を改善できる。加えてセンサ１３０のパルス露光によって、霧や雨によるオフセットノイズ（背景ノイズ）を低減できる。

本発明の趣旨を逸脱しない範囲で、上述の複数の実施形態における各要素（または行為）を任意に組み合わせてもよい。

上に説明されてきたものには、本発明のさまざまな例が含まれる。本発明を記載する目的では、要素や手順の考えられるあらゆる組み合わせを記載することは当然のことながら不可能であるが、当業者なら本発明の多くのさらなる組み合わせおよび順列が可能であることがわかるだろう。したがって本発明は、特許請求の範囲の精神および範囲に入るそのような改変、変更および変形例を全て含むよう意図される。

１００物体検知装置
１１０レーダー
１２０光源
１３０センサ
１４０検知回路
１５０プロセッサ
１６０低周波除去回路
１７０検知回路

Claims

物体を検知する物体検知装置であって、
前記物体に電波を照射して前記物体の位置を表す信号を発生するレーダーと、
前記物体に光を照射する光源と、
前記物体の画像を取得するセンサと、
プロセッサと、
を備え、
前記プロセッサは、前記信号に基づいて前記光源が前記光を照射するタイミングと、前記センサの露光とを制御する
物体検知装置。
前記プロセッサは、前記レーダーが複数の物体を検知した場合、最も近い物体の前記信号に基づいて前記センサの露光を制御する
請求項１に記載の物体検知装置。
前記信号は、前記レーダー及び前記物体の距離と、前記レーダーに対する前記物体の角度とを表し、
前記プロセッサは、前記レーダーが複数の物体を検知した場合、前記距離と、前記角度とに基づいて、前記複数の物体についての衝突の危険度を求め、
前記プロセッサは、前記危険度に基づいて、前記複数の物体のうちの２つの画像が異なるフレームにおいて取得されるよう前記タイミングと前記露光とを制御する
請求項１に記載の物体検知装置。
前記センサと前記光源とは、実質的に一つの筐体に実装されている
請求項１に記載の物体検知装置。
前記光源は、拡散光を照射する
請求項１に記載の物体検知装置。
前記光源は、線状の光を一定のタイミングに基づいて線の垂直方向に走査し、
前記センサは、前記垂直方向に走査する
請求項１に記載の物体検知装置。
前記光源は、点状の光を一定のタイミングに基づいて特定の領域を走査し、
センサは、前記領域だけを撮像する
請求項１に記載の物体検知装置。
前記物体検知装置は、移動体に搭載されている
請求項１に記載の物体検知装置。
前記光源は、前記移動体の内部を照らし、
前記センサは、前記光源と分離されている
請求項１に記載の物体検知装置。
前記光源の照射期間は、１０ｎｓ〜１００ｎｓの範囲にある
請求項１に記載の物体検知装置。
前記光源の照射間隔は、２μｓ〜１０μｓの範囲にある
請求項１に記載の物体検知装置。