JP7384147B2 - 物標検出装置及びそれが搭載された車両 - Google Patents

Description

この発明は、車両に搭載される物標検出装置、及びそれが搭載された車両に関する。

車両の周囲の物標を精度良く判別するための方法が種々提案されている。例えば、特許文献１には、壁と有効物標とを精度良く判別するための技術が開示されている。特許文献１に記載の従来技術では、ＬｉＤＡＲにより基準長さよりも長い点群（第１点群）が計測された場合、当該点群は壁として分類される。また、壁として分類された第１点群以外の第２点群は物標候補として分類される。そして、単一の壁を表す第１点群が複数存在し、第１点群の端点と第２点群の端点との間に所定条件が満たされる場合、第２点群は有効物標と確定される。

特開２０１９－０９５２９０号公報

しかし、ＬｉＤＡＲを含む外部センサは、その特性により、物体の検出が困難となる条件を有している。外部センサによる物体の検出ができなければ、物標候補を得ることもできない。

本発明は、上述のような課題に鑑みてなされたものであり、外部センサによる物体の検出が困難な条件下でも、車両の周囲に存在する物体を認識することが可能な物標検出装置を提供することを目的とする。また、併せて、本発明は、その物標検出装置が搭載された車両も提供する。

本発明に係る物標検出装置は、車両に搭載される物標検出装置であって、車両の外部状況に関する情報を取得する外部センサ、地図情報を記憶した記憶装置、及び、情報処理装置を備える。情報処理装置は、外部センサで取得された情報及び地図情報を処理する。情報処理装置により実行される処理は、第１処理、第２処理、及び第３処理を含む。第１処理では、情報処理装置は、地図情報に基づき外部センサの検出範囲内に存在する静止物体を認識する。第２処理では、情報処理装置は、外部センサにより検出された静止物体の像を地図情報から認識された静止物体と照合することによって、外部センサにより検出された静止物体の像に未検出領域が含まれているかどうか判定する。第３処理では、情報処理装置は、未検出領域が確認された場合、静止物体と車両との間に存在する検出不能物体を認識する。

上記構成を有する本物標検出装置によれば、車両の周囲に外部センサによって直接検出できない検出不能物体が存在する場合、外部センサによる静止物体の検出結果を利用することで検出不能物体を間接的に認識することができる。

外部センサはＬｉＤＡＲでもよい。この場合、情報処理装置は、ＬｉＤＡＲにより検出された静止物体の像に点群が獲得されていない領域、すなわち、点群未獲得領域が含まれていないかどうか判定する。ＬｉＤＡＲにおいては点群未獲得領域が前述の未検出領域である。静止物体の像に点群未獲得領域が含まれ、且つ、点群未獲得領域が所定点数以上の点群に相当する場合、情報処理装置は、静止物体と車両との間に存在する検出不能物体を認識する。

外部センサはカメラでもよい。この場合、情報処理装置は、カメラにより検出された静止物体の像に画像認識が不能な領域、すなわち、画像認識不能領域が含まれていないかどうか判定する。カメラにおいては画像認識不能領域が前述の未検出領域である。静止物体の像に画像認識不能領域が含まれ、且つ、画像認識不能領域が所定画素数以上の画素群に相当する場合、情報処理装置は、静止物体と車両との間に存在する検出不能物体を認識する。

また、情報処理装置は、外部センサにより検出された移動物体が外部センサの検出範囲から出たことが確認されていないにも関わらず外部センサにより検出されない場合、外部センサの検出不能範囲に存在する検出不能物体を認識してもよい。これによれば、検出不能物体の認識に利用可能な静止物体が周囲に存在しない場合に、外部センサの検出範囲内での移動物体の動きから、検出不能範囲に移動した移動物体、すなわち、検出不能物体を認識することができる。

本発明により提供される第１の車両は、本物標検出装置が搭載された自律走行可能な車両である。第１の車両は、本物標検出装置により検出された検出不能物体を含む物標に基づいて車両を制御する車両制御装置を備える。第１の車両によれば、外部センサで検出された物体だけでなく、本物標検出装置で認識された検出不能物体も自律走行としての物標として扱われるので、より安全な自律走行が可能となる。

本発明により提供される第２の車両は、本物標検出装置が搭載された自律走行可能な車両である。第２の車両は、本物標検出装置により検出不能物体が認識された場合、発進時に車外に向けてアラームを出すアラーム装置を備える。第２の車両によれば、外部センサで検出できない検出不能物体に対してアラームを出することで、より安全な発進が可能となる。

本発明により提供される第３の車両は、本物標検出装置が搭載された車両である。第３の車両は、本物標検出装置により検出不能物体が認識された場合、検出不能物体の存在を車両の監視者に対して通知する通知装置を備える。ここでいう監視者には、自動運転車両を遠隔地から通信ネットワーク経由で遠隔支援する遠隔支援オペレータ、遠隔運転車両を遠隔地から通信ネットワーク経由で遠隔運転する遠隔ドライバ、車両に搭乗して車両を直接運転するドライバが含まれる。第３の車両によれば、外部センサで検出できない検出不能物体の存在が監視者に通知されるので、監視者は周囲に注意しながら車両を監視することができる。

以上述べたように、本発明に係る物標検出装置によれば、外部センサによって直接検出できない検出不能物体が車両の周囲に存在する場合、外部センサによる静止物体の検出結果を利用することで検出不能物体を間接的に認識することができる。

物標検出装置が適用される車両の一例を示す図である。 ＬｉＤＡＲによる物標の検出が不能となる第１のケースを説明するための図である。 ＬｉＤＡＲによる物標の検出が不能となる第２のケースを説明するための図である。 車両の周囲に存在する静止物体を利用してＬｉＤＡＲで検出されない検出不能物体を認識する方法を説明するための図である。 車両の周囲に存在する静止物体を利用してＬｉＤＡＲで検出されない検出不能物体を認識する方法を説明するための図であり、第１のケースでの効果を示す図である。 車両の周囲に存在する静止物体を利用してＬｉＤＡＲで検出されない検出不能物体を認識する方法を説明するための図であり、第２のケースでの効果を示す図である。 第１実施形態に係る物標検出装置が適用された自動運転車両の構成を示すブロック図である。 第１実施形態に係る物標検出装置による検出不能物体の認識手順を示すフローチャートである。 自動運転車両の発進を妨げる検出不能物体を認識する方法を説明するための図である。 第１実施形態に係る物標検出装置が適用された自動運転車両の発進手順を示すフローチャートである。 第１実施形態に係る物標検出装置を監視者への警戒通知に適用した場合の通知判断の手順を示すフローチャートである。 ＬｉＤＡＲで検出された移動物体の時系列データを利用してＬｉＤＡＲの検出範囲に存在する検出不能物体を認識する方法を説明するための図であり、移動物体がＬｉＤＡＲで検出されている状態を示す図である。 ＬｉＤＡＲで検出された移動物体の時系列データを利用してＬｉＤＡＲの検出範囲に存在する検出不能物体を認識する方法を説明するための図であり、移動物体がＬｉＤＡＲで検出不能になった状態を示す図である。 第２実施形態に係る物標検出装置が適用された自動運転車両の構成を示すブロック図である。 第２実施形態に係る物標検出装置による検出不能物体の認識手順を示すフローチャートである。 車両の周囲に存在する静止物体を利用してカメラで検出されない検出不能物体を認識する方法を説明するための図である。

以下に説明される各実施形態において、各図において共通する要素には、同一の符号を付して重複する説明を省略又は簡略する。また、以下に示す実施の形態において各要素の個数、数量、量、範囲などの数に言及した場合、特に明示した場合や原理的に明らかにその数に特定される場合を除いて、その言及した数に、この発明が限定されるものではない。また、以下に示す実施の形態において説明する構造は、特に明示した場合や明らかに原理的にそれに特定される場合を除いて、この発明に必ずしも必須のものではない。

１．第１実施形態
１－１．概要
まず、第１実施形態の概要について図１乃至図６の図を用いて説明する。

図１には、道路４０を２台の車両２、１１０が並走している様子が描かれている。２台の車両２、１１０のうちの少なくとも車両２は、本発明に係る物標検出装置が適用された自動運転車両である。車両２は、車両２の外部状況に関する情報を取得する外部センサ８を備える。外部センサ８は、例えば、ＬｉＤＡＲ、カメラ、ＬｉＤＡＲとカメラとのフュージョン、それらとミリ波レーダとのフュージョンである。図１に示す例では、外部センサ８は、車両２の屋根に搭載され、車両２の屋根から車両２の側方をセンシングしている。図１において、車両２の屋根から扇形に拡がる範囲１００は、外部センサ８の検出範囲を模式的に表している。外部センサ８の検出範囲１００に車両１１０が存在する場合、車両１１０は物標として検出される。例えば、車両２が車線変更を行う場合、隣接車線を走行する車両１１０の相対位置及び相対速度は車両２の目標軌跡の計算に反映される。

ただし、外部センサ８の検出範囲１００に存在する物体であっても、検出条件によっては外部センサ８で検出できない場合がある。物体を検出できない状況は外部センサ８の種類によって異なる。図２乃至図６を用いた第１実施形態の概要の説明では、外部センサ８とはＬｉＤＡＲを意味するものとする。以下の概要の説明においては、外部センサをＬｉＤＡＲ８と表記する。

図２は、ＬｉＤＡＲ８による物標の検出が不能となる第１のケースを説明するための図である。ＬｉＤＡＲ８の検出範囲１００に物体が存在する場合、ＬｉＤＡＲ８から照射されたレーザ光は物体の表面で反射される。ＬｉＤＡＲ８はその反射光を受光して物体の点群データを取得する。しかし、図２に示すように、物体１１１からＬｉＤＡＲ８までの距離が極短い場合、例えば、数１０ｃｍ以内の距離の場合、物体１１１から得られた点群とＬｉＤＡＲ８のセンサノイズとを識別することは難しい。センサノイズのフィルタリング処理によって、物体１１１からの点群も除去されてしまう。つまり、車両２に極近接する物体１１１の場合、ＬｉＤＡＲ８の検出範囲１００内に存在するにも関わらず、ＬｉＤＡＲ８によって直接検出できない可能性が有る。

図３は、ＬｉＤＡＲ８による物標の検出が不能となる第２のケースを説明するための図である。前述のとおり、ＬｉＤＡＲ８は、照射したレーザ光の反射光を受光して物体の点群を獲得する。このため、レーザ光の反射率が低い物体、例えば光を吸収する黒色の物体からは点群を獲得することは難しい。例えば、車両２の隣の車線を白色車両１１２と黒色車両１１３とが走行しているとする。両車両１１２，１１３がＬｉＤＡＲ８の検出範囲１００内に入っていたとしても、白色車両１１２からの点群は獲得できるが、黒色車両１１３からの点群は獲得が困難である。つまり、レーザ光を吸収する物体１１３の場合、ＬｉＤＡＲ８の検出範囲１００内に存在するにも関わらず、ＬｉＤＡＲ８によって直接検出できない可能性が有る。

上記の第１のケース及び第２のケースのように、検出条件によっては、車両２の周囲にＬｉＤＡＲ８によって直接検出できない検出不能物体が存在する場合がある。そこで、以下に図４乃至図６の図を用いて説明するように、第１実施形態では、車両２の周囲に存在する静止物体を利用して、ＬｉＤＡＲ８で検出されない検出不能物体を認識する。なお、図４は図４Ａと図４Ｂとを含み、図５は図５Ａと図５Ｂとを含み、図６は図６Ａと図６Ｂとを含む。図４Ａ，図５Ａ及び図６Ａは車両２と各物体との位置関係を示す平面図、図４Ｂ，図５Ｂ及び図６Ｂは図４Ａ，図５Ａ及び図６Ａに対応するＬｉＤＡＲ８の出力画像である。なお、ＬｉＤＡＲ８の出力画像とは、点群データを２次元画像データに変換して得られる画像を意味する。

図４Ａに示すように、道路４０の路肩には、壁、ガードレール、フェンスなど、道路４０に沿って設置された静止物体１１５が存在する場合がある。静止物体１１５がＬｉＤＡＲ８の検出範囲１００内にある場合、ＬｉＤＡＲ８では静止物体１１５からの点群１０５が得られる。一般に、車両２の走行時に、壁、ガードレール、フェンスなどの静止物体１１５が車両２の極近傍に存在することはない。また、一般に、この種の静止物体１１５の色はレーザ光を吸収するほどの黒色ではない。ゆえに、静止物体１１５がＬｉＤＡＲ８の検出範囲１００内に入っている限りにおいて、図４Ｂに示すように、ＬｉＤＡＲ８からは静止物体１１５をとらえた点群１０５が出力される。

図５は、静止物体１１５を利用してＬｉＤＡＲ８で検出されない検出不能物体を認識する方法を第１のケースに適用した例を示す図である。図５Ａに示す例では、道路４０の路肩に沿って静止物体１１５が存在し、静止物体１１５の内側で車両２の極近傍に検出不能物体１１１が存在している。この状態では、検出不能物体１１１によってレーザ光を遮られるため、検出不能物体１１１の影となる静止物体１１５の一部の領域からは点群を得ることはできない。

ＬｉＤＡＲ８と静止物体１１５と検出不能物体１１１とが図５Ａに示す位置関係にある場合、図５Ｂに示すようなＬｉＤＡＲ８の出力画像が得られる。つまり、静止物体１１５をとらえた点群１０５中に、点群が獲得されていない点群未獲得領域１０１が現れる。点群未獲得領域１０１は、静止物体１１５が検出されてない未検出領域である。点群未獲得領域１０１が、静止物体１１５が存在するのにも関わらずその点群１０５が得られていない未検出領域なのか、そもそも静止物体１１５が存在しない領域なのかは、地図情報から判断することができる。つまり、地図情報から認識される静止物体と照合することで、ＬｉＤＡＲ８により検出された静止物体１１５の像に未検出領域が含まれているかどうか判定することができる。静止物体１１５の点群１０５中に未検出領域が確認される場合、静止物体１１５と車両２との間に存在する検出不能物体１１１を間接的に認識することができる。

図６は、静止物体１１５を利用してＬｉＤＡＲ８で検出されない検出不能物体を認識する方法を第２のケースに適用した例を示す図である。図６Ａに示す例では、道路４０の路肩に沿って静止物体１１５が存在し、車両２と静止物体１１５との間に、２台の車両１１２，１１３が存在している。前述のとおり一方の車両１１３はレーザ光を吸収するために点群の取得が困難な黒色車両、すなわち、検出不能物体である。２台の車両１１２，１１３によってレーザ光を遮られるため、それらの影となる静止物体１１５の一部の領域からは点群を得ることはできない。

ＬｉＤＡＲ８と静止物体１１５と２台の車両１１２，１１３とが図６Ａに示す位置関係にある場合、図６Ｂに示すようなＬｉＤＡＲ８の出力画像が得られる。つまり、静止物体１１５をとらえた点群１０５中に、車両１１２をとらえた点群１０２と、点群が獲得されていない点群未獲得領域１０３が現れる。点群未獲得領域１０３は、黒色車両１１３の影となるために静止物体１１５が検出されてない未検出領域である。このケースでも、地図情報から認識される静止物体と照合することで、点群未獲得領域１０３が、静止物体１１５が存在するのにも関わらずその点群１０５が得られていない未検出領域なのかどうか判定することができる。静止物体１１５の点群１０５中に未検出領域が確認される場合、静止物体１１５と車両２との間に存在する検出不能物体１１３を間接的に認識することができる。

１－２．自動運転車両の構成
図７は、第１実施形態に係る物標検出装置が適用された自動運転車両としての車両２の構成を示すブロック図である。車両２は、車両２を制御する車両制御装置１０と、車両制御装置１０に情報を入力する車載センサと、車両制御装置１０から出力される信号によって動作するアクチュエータ４と、車両２の外部に向けてアラームを出すアラーム装置５とを備える。

車載センサは、ＧＰＳ受信機６、内部センサ７、及び外部センサ８を含む。ＧＰＳ受信機６は、ＧＰＳ衛星から信号を受信することにより、車両２の現在位置（例えば緯度及び経度）を測定する。内部センサ７は、車両２の走行状態を検出するセンサである。内部センサ７は、車両２の運動に関わる三軸の角度と加速度を検出する慣性計測装置（ＩＭＵ）と、車輪の回転数から車速を算出する車速計測装置とを含む。外部センサ８は、例えば、ＬｉＤＡＲ、カメラ、ＬｉＤＡＲとカメラとのフュージョン、それらとミリ波レーダとのフュージョンのうちの何れでもよい。外部センサ８で得られた情報に基づいて物標の検出が行われる。

アクチュエータ４は、具体的には、車両２を操舵する操舵アクチュエータ、車両２を駆動する駆動アクチュエータ、及び車両２を制動する制動アクチュエータを含む。アラーム装置５は、具体的には、音声を発生するスピーカ、情報を表示する表示装置、或いはそれらの組み合わせである。アラーム装置５は、音声や表示、或いはそれらの組み合わせによって、車両２の周囲の歩行者に対して車両２から離れることを促す。

車両制御装置１０は、少なくとも１つのプロセッサ１１と少なくとも１つのメモリ１２とを有するＥＣＵ（Electronic Control Unit）である。メモリ１２は、主記憶装置と補助記憶装置とを含む。メモリ１２には、プロセッサ１１で実行可能なプログラムとそれに関連する種々のデータとが記憶されている。メモリ１２に記憶されているプログラムがプロセッサ１１で実行されることで、車両制御装置１０には様々な機能が実現される。プログラムには、車両制御装置１０を物標検出装置の情報処理装置として機能させ、検出不能物体を認識させるためのプログラムが含まれている。なお、車両制御装置１０を構成するＥＣＵは、複数のＥＣＵの集合であってもよい。

メモリ１２に記憶されるデータには地図情報が含まれている。地図情報は地図データベース（地図ＤＢ）２１によって管理されている。地図ＤＢ２１で管理される地図情報には、例えば、道路の位置情報、道路形状の情報（例えばカーブ、直線部の種別、カーブの曲率）、交差点の分岐点の情報、自車が走行すべき目標ルート情報、道路構造物の情報が含まれる。道路構造物の情報には、壁、白線、ポール、看板、標識、ガードレール、フェンスなど、外部センサ８によって取得可能な静止物の情報が含まれている。地図ＤＢ２１はＳＳＤやＨＤＤなどの補助記憶装置に予め格納されている。ただし、インターネットを介して外部サーバから地図情報がダウンロードされてもよいし、外部サーバ上の地図情報が参照されるのでもよい。

車両制御装置１０は、停車時の車両制御に関係する構成として、自己位置推定部２２、静止物体認識部２３、物体検出部２４、検出不能物体認識部２５、走行計画生成部２６、及び走行制御部２７を備える。これらは、メモリ１２に記憶されたプログラムがプロセッサ１１で実行されたときに、車両制御装置１０の機能として実現される。

自己位置推定部２２は、ＧＰＳ受信機６で受信した車両２の位置情報と、内部センサ７で検出された車両２の走行状態に関する情報と、地図ＤＢ２１から得られる地図情報とに基づいて、地図上における車両２の位置を推定する。走行状態に関する情報には、例えば、車速情報、加速度情報、ヨーレート情報などが含まれる。また、自己位置推定部２２は、外部センサ８で検出された特徴物の車両２に対する相対位置と、内部センサ７で検出された車両２の走行状態に関する情報と、検出された特徴物の地図上における位置から車両２の位置を推定することもできる。

静止物体認識部２３は、自己位置推定部２２で推定された車両２の位置を地図ＤＢ２１に問い合わせ、外部センサ８の検出範囲内に存在する静止物体を認識する。具体的には、外部センサ８の検出範囲は、車両２に複数設けられている外部センサ８ごとに予め登録されている。静止物体認識部２３は、地図情報より外部センサ８の検出範囲内における静止物体の有無を判別し、検出範囲内に静止物体が存在する場合、その静止物体の地図上での位置を取得する。

物体検出部２４は、外部センサ８から受け取った情報に対し、パターンマッチングやディープラーニングなどの手法を用いて車両２の周囲の移動物体を検出し、その存在位置を特定する。外部センサ８から受け取る情報は、外部センサ８がＬｉＤＡＲであれば点群データであり、外部センサ８がカメラであれば画像データである。物体検出部２４で検出される移動物体には、車両、オートバイ、自転車、歩行者、動物などが含まれる。ただし、外部センサ８の検出範囲に移動物体が存在していたとしても、概要の項で説明したとおり、検出条件によっては当該移動物体を検出できない場合がある。外部センサ８で検出できなかった移動物体は、次に説明する検出不能物体認識部２５によりに認識される。

検出不能物体認識部２５は、外部センサ８から受け取った情報と、地図情報から認識された静止物の位置情報と、物体検出部２４で検出された移動物体の位置情報とを用いて、外部センサ８の検出範囲内に存在する検出不能物体を認識する。具体的には、図５及び図６を用いて説明したように、検出不能物体認識部２５は、外部センサ８により検出された静止物体の像を地図情報から認識された静止物体と照合する。外部センサ８がＬｉＤＡＲの場合、静止物体の像とは、点群データを２次元画像データに変換してなる像を意味する。

この照合により、検出不能物体認識部２５は、外部センサ８により検出された静止物体の像に未検出領域が含まれているかどうか判定する。そして、未検出領域が確認された場合、検出不能物体認識部２５は、静止物体と車両２との間に存在する検出不能物体を認識する。検出不能物体認識部２５で認識された検出不能物体は、物体検出部２４で検出された移動物体とともに物標として検出される。

走行計画生成部２６は、地図ＤＢ２１に記録された目標ルート、自己位置推定部２２で認識された車両２の位置、物体検出部２４で検出された移動物体の位置、及び、検出不能物体認識部２５で認識された検出不能物体の位置を取得する。走行計画生成部２６は、移動物体の位置及び検出不能物体の位置を含む物標情報と、地図ＤＢ２１の地図情報とに少なくとも基づいて、予め設定された目標ルートに沿った走行計画を生成する。走行計画生成部２６は、好ましくは、車両２に固定された座標系での目標位置ｐと各目標点での速度ｖとの二つの要素からなる組、すなわち配位座標（ｐ、ｖ）を複数持つものとして走行計画を生成する。走行計画生成部２４は、車両２の走行計画に干渉する物標が検出された場合、操舵或いは減速によって物標との衝突を回避するように走行計画を更新する。

走行制御部２７は、走行計画生成部２６で生成された走行計画に基づいて車両２の走行を自動で制御する。走行制御部２７は、走行計画に応じた制御信号をアクチュエータ４に出力する。これにより、走行制御部２７は、走行計画に沿って車両２が自動走行するように、車両２の走行を制御する。

１－３．検出不能物体の認識手順
次に、第１実施形態に係る検出不能物体の認識手順について図８を用いて説明する。図８には、第１実施形態に係る物標検出装置としての車両制御装置１０による検出不能物体の認識手順がフローチャートで表されている。図８を用いた検出不能物体の認識手順の説明では、外部センサ８とはＬｉＤＡＲを意味するものとする。以下の認識手順の説明では、外部センサをＬｉＤＡＲ８と表記する。

図８に表されたフローチャートによれば、車両制御装置１０は、ＧＰＳ受信機６、内部センサ７、及び外部センサ８で取得される各情報と、地図ＤＢ２１から得られる地図情報とに基づいて、地図上における車両２の自己位置を推定する（ステップＳ１０１）。次に、車両制御装置１０は、外部センサ８で取得された情報に基づいて車両２の周囲に存在する移動物体を検出する（ステップＳ１０２）。さらに、車両制御装置１０は、ステップＳ１０１で推定された自己位置を基準にして、地図ＤＢ２１から地図情報に基づきＬｉＤＡＲ８の検出範囲内に存在する静止物体を認識する（ステップＳ１０３）。

次に、車両制御装置１０は、ＬｉＤＡＲ８により検出された静止物体の像に未検出領域が含まれているかどうか判定する（ステップＳ１０４）。より詳しくは、車両制御装置１０は、ＬｉＤＡＲ８により検出された静止物体の像に点群が獲得されていない点群未獲得領域が含まれているかどうか判定する。そして、点群未獲得領域が所定点数以上の点群に相当する場合、車両制御装置１０は、点群未獲得領域を静止物体が検出されていない未検出領域として判定する。点群未獲得領域の面積は、検出不能物体のサイズに正比例し、車両２と検出不能物体との距離に負比例する。より漏れなく極近傍の物体を認識可能とするため、ノイズとの区別がつく限りにおいて所定点数は小さく設定される。

なお、点群が獲得されない点群未獲得領域は、車内通信のパケット抜けによっても生じうる。点群未獲得領域がパケット抜けによるものかどうかは、パケットの受信間隔を用いて検証することができる。例えば、通常はＬｉＤＡＲ８から１０ｍｓ間隔でデータが送られてきていたものが、あるときデータの受信に３０ｍｓかかったとする。この場合、そのデータ受信時刻の手前の２０ｍｓについてパケット抜けの有無を検証すればよい。

ＬｉＤＡＲ８により検出された静止物体の像に未検出領域が含まれていないのであれば、ＬｉＤＡＲ８の検出範囲内に検出不能物体は存在しない。ゆえに、ステップＳ１０４の判定の結果が否定の場合、フローチャートによる認識手順は終了する。

ステップＳ１０４の判定の結果が肯定の場合、車両制御装置１０は、静止物体が検出されていない未検出領域に移動物体の点群が含まれていないかどうか判定する（ステップＳ１０５）。より詳しくは、車両制御装置１０は、図６Ｂに例示するように、静止物体１１５からの点群１０５を得られていない全ての未検出領域について、移動物体１１２からの点群１０２が得られている領域なのか、領域１０３のように有効な点群が全く得られていない領域なのかを判定する。

未検出領域に移動物体の点群が含まれているのであれば、その未検出領域に検出不能物体は存在しない。ゆえに、ステップＳ１０５の判定の結果が否定の場合、フローチャートによる認識手順は終了する。

未検出領域に移動物体の点群が含まれていないのであれば、車両制御装置１０は、静止物体と車両との間に存在する検出不能物体を認識する（ステップＳ１０６）。以上の手順によれば、ＬｉＤＡＲ８の検出範囲内に静止物体が存在していれば、その検出結果を利用することによって、ＬｉＤＡＲ８によって直接検出できない検出不能物体であっても間接的に認識することができる。

なお、未検出領域は言わば検出不能物体の陰であることから、未検出領域の形状は検出不能物体の形状を表している。ゆえに、未検出領域の形状に対してパターンマッチングやディープラーニングなどの物体認識手法を適用することで、未検出領域の形状から検出不能物体の種類を認識することも可能である。検出不能物体の位置に加えて種類も走行計画に反映させることで、車両２の外部状況に対してより適切な自動運転を実現することができる。

１－４．自動運転車両の発進制御への適用
外部センサ８によって検出できない検出不能物体は、車両２が発生する際の安全確保の上で留意すべき存在である。例えば、図９Ａに示すように、車両２がバス車両であってバス停４１に停車している場合、車両２から降りた乗客１１６が車両２の極近くを歩いていることが有る。前述のとおり、乗客１１６と車両２との距離があまりに近い場合、外部センサ８の検出範囲１００内に乗客１１６が入っているとしても、外部センサ８にとって乗客１１６は検出不能物体となる可能性がある。

乗客１１６が車両２の近くにいるにも関わらず車両２を発進させることはできない。そこで、車両制御装置１０は、車両２の周囲に検出不能物体が認識される場合には、アラーム装置５によって車外にアラームを出す。そして、車両制御装置１０は、検出不能物体が車両２と干渉しない位置まで移動したことを確認してから車両２を発進させる。

車両２の発進制御において、車両制御装置１０は、前述の手順にて検出不能物体を認識する。ただし、ここでも外部センサ８とはＬｉＤＡＲを意味するものとし、以下の説明では、外部センサをＬｉＤＡＲ８と表記する。

図９Ａに示す例では、車両２の前に乗客１１６が立っており、その後ろに静止物体１１７が存在する。この場合のＬｉＤＡＲ８の出力画像には、図９Ｂに示すように、静止物体１１７をとらえた点群１０７中に、点群が獲得されていない点群未獲得領域１０６が現れる。点群未獲得領域１０６が静止物体１１７の点群１０７が得られていない未検出領域であることは、地図情報から判断することができる。静止物体１１７の点群１０７中に未検出領域が確認される場合、車両制御装置１０は、車両２の前に存在する検出不能物体１１６を認識する。検出不能物体１１６が人（乗客）であることは、未検出領域の形状に対してパターンマッチングやディープラーニングなどの物体認識手法を適用することで認識することができる。

図１０には、第１実施形態に係る物標検出装置としての車両制御装置１０による車両２の発進手順がフローチャートで表されている。このフローチャートでは、検出不能物体の認識手順における処理と同一の処理については、図８のフローチャートと同一のステップ番号が付されている。以下、検出不能物体の認識手順の説明において既に説明した処理については、重ねての説明を省略するか簡略化する。

図１０に表されたフローチャートによれば、ステップＳ１０２で車両２の周囲に移動物体が検出された場合、車両制御装置１０は、検出された移動物体の車両２からの距離が所定距離未満かどうか判定する（ステップＳ２０１）。この判定で用いられる所定距離は、車両２が発進した場合に車両の周囲の物体との間で安全を十分に確保できる最低距離に基づいて設定される。移動物体と車両２との距離が所定距離未満の場合、車両制御装置１０は、アラーム装置５によってアラームを出し、車両２の近傍の移動物体に対して車両２から離れるように移動を促す（ステップＳ２０２）。

検出された移動物体の車両２からの距離が所定距離未満でない場合、車両制御装置１０は、ステップＳ１０３及びステップＳ１０４の処理を行う。ステップＳ１０２で移動体が検出されなかった場合にも、手順はステップＳ２０１からステップＳ１０３及びステップＳ１０４に進む。

ステップＳ１０４では、ＬｉＤＡＲ８により検出された静止物体の像に未検出領域が含まれているかどうか判定される。ＬｉＤＡＲ８により検出された静止物体の像に未検出領域が含まれていない場合、ＬｉＤＡＲ８の検出範囲内には検出不能物体は存在しないと判断できる。また、ステップＳ２０１の判定結果は否定であるので、車両２からの距離が所定距離未満である移動体も存在しない。ゆえに、車両制御装置１０は、車両２を発進させることに問題はないと判断し、車両２を発進させる（ステップＳ２０４）。

ＬｉＤＡＲ８により検出された静止物体の像に未検出領域が含まれている場合、車両制御装置１０は、ステップＳ１０５の判定を行う。静止物体が検出されていない未検出領域に移動物体の点群が含まれている場合、その点群は、車両２からの距離が所定距離以上である移動体の点群である。つまり、この場合、車両２の周囲に検出不能物体も存在しないし、車両２の発進を妨げる距離にいる移動体も存在しない。ゆえに、車両制御装置１０は、車両２を発進させることに問題はないと判断し、車両２を発進させる（ステップＳ２０４）。

静止物体が検出されていない未検出領域に移動物体の点群が含まれていない場合、その未検出領域は静止物体と車両との間に存在する検出不能物体によって作られたものである。車両２の周囲に存在する検出不能物体が認識される状況では、車両２を安全に発進させることはできない。この場合、車両制御装置１０は、アラーム装置５によってアラームを出し、車両２の近傍の物体に対して車両２から離れるように移動を促す（ステップＳ２０２）。

車両２の近傍の物体に対してアラームを出した場合、車両制御装置１０は、検出不能物体を含む車両２の近傍の物体が車両２と干渉しない位置まで、すなわち、車両２から所定距離以上離れた位置まで移動したか判定する（ステップＳ２０３）。車両２の近傍の物体が車両２と干渉しない位置まで移動するまで、車両制御装置１０は、アラーム装置５によってアラームを出し続ける。そして、車両２の近傍の物体が車両２と干渉しない位置まで移動したことが確認されれば、車両制御装置１０は、車両２を発進させることに問題はないと判断し、車両２を発進させる（ステップＳ２０４）。

１－４．車両の監視者に対する警戒通知への適用
今までの説明では、第１実施形態に係る物標検出装置が適用される車両２は、自律走行する自動運転車両であった。しかし、第１実施形態に係る物標検出装置は、遠隔地から通信ネットワーク経由で遠隔支援される自動運転車両、遠隔地から通信ネットワーク経由で遠隔運転される遠隔運転車両、及び、ドライバによって直接運転される車両にも利用可能である。例えば、物標検出装置によって検出不能物体が認識された場合、検出不能物体の存在を車両の監視者に通知して警戒を促すことができる。ここでいう監視者とは、自動運転車両を遠隔支援する遠隔支援オペレータ、遠隔運転車両を遠隔運転する遠隔ドライバ、或いは、車両に搭乗して車両を直接運転するドライバである。

図１１には、第１実施形態に係る物標検出装置を監視者への警戒通知に適用した場合の通知判断の手順がフローチャートで表されている。このフローチャートでは、検出不能物体の認識手順における処理と同一の処理については、図１０のフローチャートと同一のステップ番号が付されている。以下、検出不能物体の認識手順の説明において既に説明した処理については、重ねての説明を省略するか簡略化する。

図１１に表されたフローチャートによれば、ステップＳ１０２で車両２の周囲に移動物体が検出された場合、検出された移動物体の車両２からの距離が所定距離未満かどうか判定される（ステップＳ３０１）。この判定で用いられる所定距離は、車両２が発進した場合に車両の周囲の物体との間で安全を十分に確保できる最低距離である。移動物体と車両２との距離が所定距離未満の場合、通知装置を介して車両２の監視者に周囲への警戒が促される（ステップＳ３０２）。通知装置としては、例えば、音声で通知するスピーカ、視覚情報で通知するヘッドアップディスプレイ、メーターパネルなどのＨＭＩを用いることができる。

検出された移動物体の車両２からの距離が所定距離未満でない場合、ステップＳ１０３及びステップＳ１０４の処理が行われる。ステップＳ１０４では、ＬｉＤＡＲ８により検出された静止物体の像に未検出領域が含まれているかどうか判定される。ステップＳ１０４の判定結果が否定の場合、ＬｉＤＡＲ８の検出範囲内には検出不能物体は存在しないと判断できる。また、ステップＳ３０１の判定結果は否定であるので、車両２からの距離が所定距離未満である移動体も存在しない。ゆえに、この場合、車両２の監視者への警戒通知は行われない。

ステップＳ１０４の判定結果が肯定の場合、車両制御装置１０は、ステップＳ１０５の判定を行う。静止物体が検出されていない未検出領域に移動物体の点群が含まれている場合、その点群は、車両２からの距離が所定距離以上である移動体の点群である。ゆえに、ステップＳ１０５の判定結果が否定の場合、車両２の監視者への警戒通知は行われない。

ステップＳ１０５の判定結果が肯定の場合、静止物体と車両２との間にＬｉＤＡＲ８で検出できない検出不能物体が存在する。この場合、車両２の周囲に存在する検出不能物体に対して警戒するよう、ＨＭＩを介して車両２の監視者に対し警戒通知が行われる（ステップＳ３０２）。

２．第２実施形態
２－１．概要
第２実施形態の概要について図１２及び図１３を用いて説明する。

第１実施形態に係る物標検出装置は、外部センサによる静止物体の検出結果を利用することで、外部センサによって直接検出できない検出不能物体を間接的に認識する。しかし、車両が置かれている環境によっては、利用可能な静止物体が車両の周囲に存在しない場合がある。第２実施形態は、利用可能な静止物体が存在しない場合に検出不能物体を認識可能にする方法の提案である。なお、図１２及び図１３を用いた第２実施形態の概要の説明では、外部センサとはＬｉＤＡＲを意味するものとする。

第１実施形態でも述べたように、物体からＬｉＤＡＲから物体までの距離が極短い場合、物体から得られた点群とＬｉＤＡＲのセンサノイズとを識別することは難しい。具体的には、図１２Ａに示すように、物体１１８がＬｉＤＡＲ８から至近距離の検出不能範囲１２０内にある場合、ＬｉＤＡＲ８は物体１１８からの有効な点群を得ることはできない。また、車両２の周囲に静止物体が無い場合には、静止物体からの点群を得ることもできない。このため、図１２Ｂに示すように、ＬｉＤＡＲ８の出力画像には、点群が得られない点群獲得不能領域１０９が広がることになる。

しかし、検出不能範囲１２０はＬｉＤＡＲ８の検出範囲１００内にある。このため、物体１１８は直接的に検出不能範囲１２０に入るのではなく、図１３Ａに示すように、検出範囲１００内の検出不能範囲１２０の外側の領域を通って検出不能範囲１２０に入る。物体１１８が図１３Ａに示す位置にいる場合、図１３Ｂに示すようなＬｉＤＡＲ８の出力画像が得られる。つまり、物体１１８が検出不能範囲１２０に入る前には、物体１１８に対応する点群１０８が得られる。

ＬｉＤＡＲ８により物体１１８が検出されている間は、ＬｉＤＡＲ８の出力画像内の点群１０８の動きから、車両２に対する物体１１８の移動速度を推定することができる。物体１１８の移動速度が推定されていれば、図１３Ｂに示すようにＬｉＤＡＲ８の出力画像から点群が消えたとしても、物体１１８の位置を推定することができる。そして、推定された物体１１８の位置に基づき、物体１１８が検出不能範囲１２０に入っているかどうか判定することができる。つまり、ＬｉＤＡＲ８の検出不能範囲１２０に存在する検出不能物体１１８を間接的に認識することができる。

２－２．自動運転車両の構成
図１４は、第２実施形態に係る物標検出装置が適用された自動運転車両としての車両２の構成を示すブロック図である。第２実施形態では、車両制御装置１０は、時系列データベース（時系列ＤＢ）２９をさらに備える。時系列ＤＢ２９には、物体検出部２４で検出された移動物体の情報が時系列に登録されている。時系列ＤＢ２９に登録された情報は、検出不能物体認識部２５において利用される。

第２実施形態では、検出不能物体認識部２５は、物体検出部２４で検出された移動物体の位置情報と、時系列ＤＢ２９に登録された過去フレームでの移動物体の位置及び速度の情報とを用いて、外部センサ８の検出範囲内に存在する検出不能物体を認識する。具体的には、検出不能物体認識部２５は、過去フレームにおいて検出され時系列ＤＢ２９に登録された移動物体が、物体検出部２４により今回も検出されたかどうか判定する。そして、過去フレームにおいて検出された移動物体が今回検出されなかった場合、検出不能物体認識部２５は、時系列ＤＢ２９に登録された当該移動物体の速度から、当該移動物体が外部センサ８の検出不能範囲に入ったかどうか判定する。当該移動物体が外部センサ８の検出不能範囲に入っていると推定される場合、検出不能物体認識部２５によって検出不能物体が認識される。

２－２．検出不能物体の認識手順
次に、第２実施形態に係る検出不能物体の認識手順について図１５を用いて説明する。図１５には、第２実施形態に係る物標検出装置としての車両制御装置１０による検出不能物体の認識手順がフローチャートで表されている。図１５を用いた検出不能物体の認識手順の説明では、外部センサ８とはＬｉＤＡＲを意味するものとする。以下の認識手順の説明では、外部センサをＬｉＤＡＲ８と表記する。

図１５に表されたフローチャートによれば、車両制御装置１０は、ＬｉＤＡＲ８で取得された情報に基づいて車両２の周囲に存在する移動物体を検出する（ステップＳ４０１）。車両制御装置１０は、ステップＳ４０１で移動物体を検出できたかどうか判定し（ステップＳ４０２）、移動物体が検出されていればステップＳ４０３に進む。

ステップＳ４０１で移動物体が検出された場合、車両制御装置１０は、時系列ＤＢ２９を参照し、検出された移動物体の最新の過去フレームにおける位置情報を取得する（ステップＳ４０３）。そして、車両制御装置１０は、当該移動物体の今回の位置情報と時系列ＤＢ２９から取得した位置情報とに基づき当該移動物体の速度を推定し（ステップＳ４０４）、時系列ＤＢ２９に登録されている当該移動物体の速度情報を更新する（ステップＳ４０５）。ステップＳ４０１で検出された移動物体の位置情報が時系列ＤＢ２９に登録されていない場合は、ステップＳ４０４及びステップＳ４０５の処理に変えて、時系列ＤＢ２９への位置情報の登録が行われる。

車両制御装置１０は、ステップＳ４０１で移動物体が検出されなくなるまで、ステップＳ４０１からステップＳ４０５までのループを繰り返し実行する。そして、移動物体が検出されなかった場合、車両制御装置１０は、ステップＳ４０６に進んで次の判定を実行する。なお、図１５に表されたフローチャートによれば、ＬｉＤＡＲ８による移動物体の検出が一度も行われることなく、ステップＳ４０６に進む場合もある。しかし、移動物体が直接、ＬｉＤＡＲ８の検出不能範囲、すなわち、ＬｉＤＡＲ８が物体からの点群を獲得できない至近距離の範囲に入る可能性は無視してもよい。

ステップＳ４０６では、車両制御装置１０は、移動物体がＬｉＤＡＲ８の検出不能範囲に進入したかどうか判定する。移動物体が検出不能範囲に進入したかどうかは、時系列ＤＢ２９に登録されている移動物体の情報、詳しくは、ＬｉＤＡＲ８で検出されなくなる直前の移動物体の位置と速度とから判断することができる。例えば、検出されなくなる直前の移動物体の移動方向が検出不能範囲の方向であれば、移動物体は検出不能範囲に進入した可能性が高い。しかし、検出されなくなる直前の移動物体の移動方向がＬｉＤＡＲ８の検出範囲の外方向であれば、移動体はＬｉＤＡＲ８の検出範囲外に出た可能性が高い。

移動物体が検出不能範囲に進入したのであれば、その移動物体はＬｉＤＡＲ８により検出することはできない。ゆえに、移動物体が検出不能範囲に進入したと推定される場合、車両制御装置１０は、ＬｉＤＡＲ８の検出不能範囲に存在する検出不能物体を認識する（ステップＳ４０７）。以上の手順によれば、検出不能物体の認識に利用可能な静止物体が車両２の周囲に存在しない場合に、ＬｉＤＡＲ８の検出範囲内での移動物体の動きから、ＬｉＤＡＲ８の検出不能範囲に移動した移動物体、すなわち、検出不能物体を認識することができる。

３．その他の実施形態
上述の各実施形態では、外部センサ８がＬｉＤＡＲである例について具体的に説明したが、本発明が適用される物標検出装置においては、外部センサ８はＬｉＤＡＲには限定されない。つまり、外部センサ８は、カメラでもよいし、ＬｉＤＡＲとカメラとのフュージョンでもよいし、さらにミリ波レーダを加えたフュージョンでもよい。

例えば、図１６は、外部センサ８がカメラである場合において、静止物体１１５を利用してカメラ８で検出されない検出不能物体を認識する方法を説明するための図である。カメラ８と静止物体１１５と物体１１１とが図１６Ａに示す位置関係にある場合、物体１１１はカメラ８の検出範囲（画角）１３０内に入っている。しかし、物体１１１がカメラ８の極近傍にあるために、物体１１１の全体をカメラ８の検出範囲１３０に収めることはできない。

この場合、図１６Ｂに示すように、カメラ８の出力画像には、静止物体１１５をとらえた画像１２５の中に、物体１１１の一部をとらえた画像１２１が現れる。しかし、物体１１１の一部のみが写された画像１２１からは画像認識によって物体１１１を認識することはできない。よって、画像１２１は、カメラ８の出力画像の処理において画像認識が不能な画像認識不能領域として扱われる。

画像認識不能領域１２１が、静止物体１１５が存在するのにも関わらずその画像１２５が得られていない未検出領域なのか、そもそも静止物体１１５が存在しない領域なのかは、地図情報から判断することができる。つまり、地図情報から認識される静止物体と照合することで、カメラ８により検出された静止物体１１５の像に未検出領域が含まれているかどうか判定することができる。

また、画像認識不能領域１２１がカメラ８のセンサノイズかどうかは、画像認識不能領域１２１の画素数から判断することができる。具体的には、画像認識不能領域１２１が所定画素数以上の画素群に相当する場合、画像認識不能領域１２１はセンサノイズではなく、静止物体１１５の画像１２５が得られていない未検出領域であると判断することができる。

静止物体１１５の画像１２５中に未検出領域が確認される場合、静止物体１１５と車両２との間に存在する検出不能物体１１１を間接的に認識することができる。以上のように、外部センサ８がカメラである場合であっても、カメラ８で検出される静止物体１１５を利用してカメラ８で検出されない検出不能物体を認識することができる。

なお、第２実施形態に係る検出不能物体の認識方法をカメラに適用する場合、距離及び速度を測れるステレオカメラが使用される。ただし、物体の速度を計測できるセンサと併用できるのであれば、モノラルカメラであっても使用することができる。

２ 車両
５ アラーム装置
８ 外部センサ
１０ 車両制御装置
２１ 地図データベース
２９ 時系列データベース
１００ 検出範囲
１０１ 点群未獲得領域（未検出領域）
１０２ 車両の点群
１０３ 点群未獲得領域（未検出領域）
１０５ 静止物体の点群
１１１ 検出不能物体（極近接物体）
１１３ 検出不能物体（黒色車両）
１１５ 静止物体

Claims (6)

1. 車両に搭載される物標検出装置であって、
   前記車両の外部状況に関する情報を取得するＬｉＤＡＲと、
   地図情報を記憶した記憶装置と、
   前記ＬｉＤＡＲで取得された点群及び前記地図情報を処理する情報処理装置と、を備え、
   前記情報処理装置は、
   前記地図情報に基づき前記ＬｉＤＡＲの検出範囲内に存在する道路に沿って設置された静止物体を認識し、
   前記ＬｉＤＡＲにより検出された前記静止物体の像を前記地図情報から認識された前記静止物体と照合することによって、前記ＬｉＤＡＲにより検出された前記静止物体の像に前記静止物体の点群が獲得されていない未検出領域が含まれているかどうか判定し、
   前記未検出領域が確認された場合、前記ＬｉＤＡＲにより検出された移動物体の点群が前記未検出領域に含まれていないか判定し、
   前記移動物体の点群が前記未検出領域に含まれていないことが確認された場合、前記静止物体と前記車両との間に存在する検出不能物体を認識する
   ことを特徴とする物標検出装置。
2. 請求項１に記載の物標検出装置において、
   前記情報処理装置は、
   前記ＬｉＤＡＲにより検出された前記静止物体の像に前記静止物体の点群も前記移動物体の点群も獲得されていない点群未獲得領域が含まれ、前記点群未獲得領域が所定点数以上の点群に相当する場合、前記静止物体と前記車両との間に存在する前記検出不能物体を認識する
   ことを特徴とする物標検出装置。
3. 請求項１又は２に記載の物標検出装置において、
   前記情報処理装置は、
   前記移動物体が前記ＬｉＤＡＲの検出範囲から出たことが確認されていないにも関わらず前記ＬｉＤＡＲにより検出されない場合、前記ＬｉＤＡＲの検出不能範囲に存在する前記検出不能物体を認識する
   ことを特徴とする物標検出装置。
4. 請求項１乃至３の何れか１項に記載の物標検出装置が搭載された自律走行可能な車両であって、
   前記物標検出装置により検出された前記検出不能物体を含む物標に基づいて前記車両を制御する車両制御装置を備える
   ことを特徴とする車両。
5. 請求項１乃至３の何れか１項に記載の物標検出装置が搭載された自律走行可能な車両であって、
   前記物標検出装置により前記検出不能物体が認識された場合、発進時に車外に向けてアラームを出すアラーム装置を備える
   ことを特徴とする車両。
6. 請求項１乃至３の何れか１項に記載の物標検出装置が搭載された車両であって、
   前記物標検出装置により前記検出不能物体が認識された場合、前記検出不能物体の存在を前記車両の監視者に対して通知する通知装置を備える
   ことを特徴とする車両。

Images