JP6954812B2 - 物体認識装置 - Google Patents

Description

本発明は、物体認識装置に関する。

従来、ライダーを用いた物体認識装置に関する技術文献として、下記の論文が知られている。これらの論文には、ライダーの検出した三次元情報から路面除去を行うことで、立体物としての物体のクラスタリングを行い、歩行者の識別を行うことが記載されている。

Kiyosumi Kindo, Takeo Miyasaka, AkihiroWatanabe, Takashi Naito, and Jun Miura, "Pedestrian Recognition UsingHigh-definition LIDAR"2011 IEEE intelligent Vehicles Symposium(IV),Baden-Baden, Germany, June 5-9,2011 城殿清澄、渡邊章弘、内藤貴志、三浦純、「高解像度レーザレーダによる歩行者識別」、日本ロボット学会誌、29巻、10号、963頁-970頁、2011年12月

しかしながら、従来の物体認識では、歩行者が他の物体付近に存在する場合、クラスタリングにおいて他の物体を歩行者と同一物体として判定するおそれがある。また、歩行者が他の物体に隠れて全身が見えない場合には、歩行者候補としての認識すらできない可能性がある。このため、ライダーを用いた物体認識には更なる改善が求められている。

そこで、本技術分野では、ライダーを用いた物体の認識精度を向上させることができる物体認識装置を提供することが望まれている。

上記課題を解決するため、本発明の一態様は、車載のライダーの信号に基づいて、走行中の車両の周囲の物体を認識する物体認識装置であって、走行中の車両の地図上の位置と地図情報とに基づいて信号蓄積時間を設定する信号蓄積時間設定部と、ライダーの信号からライダーの信号蓄積時間の時系列信号データを取得するデータ取得部と、当該信号蓄積時間の時系列信号データから物体クラスと背景クラスとを識別するクラス識別部と、クラス識別部の識別結果とライダーの信号とに基づいて、物体を認識する物体認識部と、を備え、信号蓄積時間設定部は、車両の走行する道路の車線幅が幅狭閾値未満である場合には、近距離歩行者用の信号蓄積時間を設定し、車線幅が幅狭閾値以上である場合には、遠距離歩行者用の信号蓄積時間を設定し、近距離歩行者用の信号蓄積時間は、遠距離歩行者用の信号蓄積時間より長い時間である。

本発明の一態様に係る物体認識装置によれば、ライダーの信号から時系列信号データを生成し、時系列信号データをニューラルネットワーク等に入れて時系列信号データから物体クラスと背景クラスとを識別することで、物体クラスと背景クラスとの識別を行わない場合と比べて、ライダーを用いた物体の認識精度を向上させることができる。

また、この物体認識装置によれば、認識の対象となる物体の種別（車両、歩行者）等によってライダーの時系列信号データを蓄積すべき時間が変わることから、例えば車両の地図上の位置と地図情報とに基づいて車両が自動車専用道路にいると認識した場合には車両認識用の信号蓄積時間を設定することで、認識対象に関わらずライダーの検出周期の１周分のデータを全て用いて物体認識を行うような場合と比べて、ライダーを用いた物体の認識処理の計算負荷の削減及び処理の高速化が可能となる。

以上説明したように、本発明の一態様に係る物体認識装置によれば、ライダーを用いた物体の認識精度を向上させることができる。

一実施形態に係る物体認識装置を示すブロック図である。 （ａ）ライダーから照射されるレーザ光の状況を説明するための平面図である。（ｂ）ライダーから照射されるレーザ光の状況を説明するための斜視図である。 （ａ）ライダーの信号から生成された車両の周囲の反射強度画像を示す図である。（ｂ）図３（ａ）の反射強度画像に対応するライダーの時系列信号データを示すグラフである。 ニューラルネットワークの一例を示す図である。 信号蓄積時間設定処理の一例を示すフローチャートである。 物体認識処理の一例を示すフローチャートである。

以下、本発明の実施形態について図面を参照して説明する。

図１に示す物体認識装置１００は、乗用車等の車両に搭載され、車両の周囲の物体を認識する装置である。物体には、少なくとも歩行者が含まれる。物体には、車両が含まれていてもよく、構造物（電柱、ガードレール等）が含まれていてもよい。

［物体認識装置の構成］
以下、物体認識装置１００の構成について図１を参照して説明を行う。図１に示すように、物体認識装置１００には、装置を統括的に管理する物体認識ＥＣＵ[Electronic Control Unit]１０を備えている。

物体認識ＥＣＵ１０は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]等を有する電子制御ユニットである。物体認識ＥＣＵ１０では、例えば、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより各種の機能を実現する。物体認識ＥＣＵ１０は、複数の電子ユニットから構成されていてもよい。

物体認識ＥＣＵ１０には、ライダー１、ＧＰＳ受信部２、地図データベース３、及び車両制御ＥＣＵ２０が接続されている。

ライダー１は、レーザ光を利用して車両の周囲の物体を検出するための車載のセンサである。ライダー１は、レーザ光を車両の周囲に照射し、物体で反射されたレーザ光を信号として受信する。ライダー１は、時間に応じてレーザ光の照射方向を変化させることで、予め設定された範囲内の物体の検出を行う。ライダー１は、受信した信号を物体認識ＥＣＵ１０へ送信する。

本実施形態では、ライダー１として、回転式ライダーを採用する。ライダー１は、例えば車両の中央上部に設けられ、車両の周囲の３６０度にレーザ光を照射（走査）する。ここで、図２（ａ）は、ライダー１から照射されるレーザ光の方位を説明するための平面図である。図２（ａ）において、ライダー１を中心とした周方向で異なる方位Ｌ１〜ＬＮと、車両の周囲の物体Ｄ１〜Ｄ３とを示す。Ｎはライダー１の仕様によって設定される任意の値である。Ｌｉは、後述の説明で用いる任意のレーザ光の方位である。

図２（ａ）の矢印Ａとして示すように、ライダー１は、右回りに回転することで方位Ｌ１〜ＬＮにレーザ光を照射する。ライダー１の回転方向は左回りであってもよい。ライダー１から照射されたレーザ光は、物体Ｄ１〜Ｄ３に反射することでライダー１に受信される。照射したレーザ光を受信するまでの時間からＴＯＦ［Time of Flight］方式によりライダー１と物体Ｄ１〜Ｄ３との距離を求めることができる。また、ライダー１の信号からは反射強度の情報を得ることができる。

ライダー１は、一例として、一回転の時間を０.１秒、一回転におけるレーザ光の照射本数Ｎを１８００の仕様とすることができる。この場合、レーザ光の照射間隔Δｔは０.１秒／１８００＝０．０５５ミリ秒となる。また、各レーザ光を照射する際の水平分解能は３６０度／１８００＝０.２度となる。

ライダー１は、車両の上下方向（回転方向に対して直交する方向）に複数個のレーザ光源及び光受信部を有している。ここでは、ライダー１は、１６個のレーザ光源及び光受信部を有している。図２（ｂ）は、ライダー１から照射されるレーザ光を説明するための斜視図である。図２（ｂ）に示すレーザ光Ｈ１〜Ｈ１６は、別々のレーザ光源から高さの異なる方向に照射されている。ライダー１では、高さの異なるレーザ光Ｈ１〜Ｈ１６が、ライダー１の回転によって周方向で異なる方位Ｌ１〜ＬＮに照射される。

ＧＰＳ受信部２は、３個以上のＧＰＳ衛星から信号を受信することにより、車両の地図上の位置（例えば車両の緯度及び経度）を測定する。ＧＰＳ受信部２は、測定した車両の位置情報を物体認識ＥＣＵ１０へ送信する。

地図データベース３は、地図情報を記憶するデータベースである。地図データベース３は、例えば、車両に搭載されたＨＤＤ［Hard Disk Drive］内に形成されている。地図情報には、道路の位置情報、道路幅の情報、道路形状の情報（例えばカーブ、直線部の種別、カーブの曲率等）、及び交差点及び分岐点の位置情報等が含まれる。地図情報には、自動車専用道路と一般道路を区別する情報が含まれていてもよい。地図情報には、人の密度が多い市街地と郊外とを区別する情報が含まれていてもよい。地図データベース３は、必ずしも車両に搭載されている必要はなく、車両と通信可能なサーバに形成されていてもよい。

車両制御ＥＣＵ２０は、車両の走行を制御するための電子制御ユニットである。車両制御ＥＣＵ２０は、車両の各種アクチュエータ（エンジンアクチュエータ、ブレーキアクチュエータ、操舵アクチュエータ等）に接続され、各種アクチュエータに制御信号を送信することで車両の走行を制御する。車両制御ＥＣＵ２０は、物体認識ＥＣＵ１０に於いて認識された車両の周囲の物体に関する物体情報に基づいて、車両の衝突回避制御等の各種の制御を実行する。なお、物体認識ＥＣＵ１０は、必ずしも車両制御ＥＣＵ２０に接続されている必要はない。物体認識ＥＣＵ１０による物体の認識結果は、車両制御ではなく運転者への注意喚起等に用いられてもよい。

次に、物体認識ＥＣＵ１０の機能的構成について説明する。物体認識ＥＣＵ１０は、信号蓄積時間設定部１１、データ取得部１２、クラス識別部１３、及び物体認識部１４を有している。なお、以下に説明する物体認識ＥＣＵ１０の機能の一部は、車両と通信可能なサーバにおいて実行される態様であってもよい。

信号蓄積時間設定部１１は、ライダー１の信号を蓄積する時間である信号蓄積時間を設定する。信号蓄積時間設定部１１は、ライダー１が一回転する時間より短い時間となるように信号蓄積時間を設定する。これにより、ライダー１が一回転する時間を待って物体認識処理を行う場合と比べて処理データ量も抑えられ、少ない計算負荷で高速に物体認識を行うことが可能となる。

なお、信号蓄積時間設定部１１は、ライダー１が回転式ではない場合には、ライダー１が予め設定された検出対象範囲の全範囲を検出する時間（ライダー１の検出周期）より短い時間となるように信号蓄積時間を設定する。

また、信号蓄積時間設定部１１は、ＧＰＳ受信部２の測定した車両の地図上の位置と地図データベース３の地図情報とに基づいて、信号蓄積時間を設定する。信号蓄積時間設定部１１は、車両の地図上の位置によってライダー１の信号から優先して認識すべき物体（優先認識対象の物体）が変わると考えられることから、車両の地図上の位置と地図情報とに基づいて信号蓄積時間を設定する。優先認識対象の物体とは、例えば歩行者又は車両である。

信号蓄積時間設定部１１は、例えば、１０ｍ先の横幅８０ｃｍの歩行者を検出したい場合には、ライダー１から見た対象物の水平画角は４．６ｄｅｇとなる。ライダー１が一回転で１８００回のレーザ光の照射を行う場合は、水平分解が０．２度であることから、前述の歩行者を検出するためには４．６／０．２＝２３本のレーザ光の受信信号が含まれていればよい。この場合、信号蓄積時間設定部１１は、例えば、３０回分の信号を蓄積する信号蓄積時間を設定することで、１０ｍ先の横幅８０ｃｍの歩行者を適切に検出する。

信号蓄積時間設定部１１は、車両の地図上の位置と地図情報に含まれる自動車専用道路の情報に基づいて、車両が自動車専用道路を走行していると認識した場合、車両の周囲に歩行者が存在する可能性が低いと考えられることから、車両を優先して認識するために車両用の信号蓄積時間を設定する。

一方、信号蓄積時間設定部１１は、車両の地図上の位置と地図情報とに基づいて、車両が一般道路を走行していると認識した場合、歩行者を優先して認識するために歩行者用の信号蓄積時間を設定してもよい。或いは、信号蓄積時間設定部１１は、車両が市街地を走行していると認識した場合、車両の周囲に歩行者が存在する可能性が比較的高いと考えられることから、歩行者用の信号蓄積時間を設定してもよい。この場合、市街地の情報は予め地図情報に設定されている。車両用の信号蓄積時間は、後述する歩行者用の信号蓄積時間より長い時間とすることができる。なお、信号蓄積時間設定部１１は、優先認識対象の物体の大きさが大きいほど、信号蓄積時間が長い時間となるように設定してもよい。

信号蓄積時間設定部１１は、車両と優先認識対象の物体との距離を考慮して、信号蓄積時間を設定してもよい。信号蓄積時間設定部１１は、車両と優先認識対象の物体との距離が遠いほど、信号蓄積時間が短い時間となるように設定してもよい。

具体的に、信号蓄積時間設定部１１は、車両の走行する一般道路の車線の車線幅が幅狭閾値未満である場合には、車両と歩道（又は路肩）との距離が近いと考えられることから車両と優先認識対象の物体である歩行者との距離が近いとして、近距離歩行者用の信号蓄積時間を設定してもよい。

一方、信号蓄積時間設定部１１は、車両の走行する車線の車線幅が幅狭閾値以上である場合には、車両と歩道との距離が比較的遠いと考えられることから車両と優先認識対象の物体である歩行者との距離が遠いとして、遠距離歩行者用の信号蓄積時間を設定してもよい。幅狭閾値は予め設定された閾値である。信号蓄積時間設定部１１は、車両が複車線の一般道路における中央線側の車線を走行している場合に、遠距離歩行者用の信号蓄積時間を設定してもよい。近距離歩行者用の信号蓄積時間は、遠距離歩行者用の信号蓄積時間より長い時間である。

なお、信号蓄積時間設定部１１は、車両が自動車専用道路を走行している等の車両の走行の状況を認識することは必須ではない。信号蓄積時間設定部１１は、地図情報と信号蓄積時間とを予め関連付けたデータテーブルを利用して、車両の地図上の位置から信号蓄積時間（歩行者用の信号蓄積時間、車両用の信号蓄積時間）を直接設定してもよい。データテーブルは、地図情報に埋め込まれていてもよく、地図データベース４とは別のデータベースに記憶されていてもよい。また、信号蓄積時間設定部１１は、ＧＰＳ受信部２だけではなくＳＬＡＭ［Simultaneous Localization and Mapping］等の周知の技術を使って車両の地図上の位置を認識してもよい。

データ取得部１２は、ライダー１の信号に基づいてライダーの時系列信号データを取得する。時系列信号データとは、時間方向におけるライダー１の信号（受信信号）の変化のデータである。データ取得部１２は、信号蓄積時間設定部１１の設定した信号蓄積時間の間、ライダー１の信号を蓄積することで信号蓄積時間の時系列信号データを取得する。

データ取得部１２は、信号蓄積時間の時系列信号データを取得したとき、クラス識別部１３に時系列信号データを送信する。データ取得部１２は、信号蓄積時間の時系列信号データを一単位として送信する。

ここで、図３（ａ）は、ライダーの信号から生成された車両の周囲の反射強度画像を示す図である。図３（ａ）に、歩行者Ｐを示す。図３（ｂ）は、図３（ａ）の反射強度画像に対応するライダーの時系列信号データを示すグラフである。図３（ｂ）に、歩行者Ｐに対応する領域Ｐａを示す。なお、データ取得部１２は、必ずしも図３（ａ）に示す反射強度画像を生成可能である必要はない。ここでは、説明に用いるため図３（ａ）に示す反射強度画像を示している。

図３（ｂ）の縦軸は、ライダー１において上下方向に１６個並んでいるレーザ光源から異なる高さにそれぞれ照射されたレーザ光Ｈ１〜Ｈ１６（図２（ｂ）参照）に対応している。横軸は時間である。図３（ｂ）においては、レーザ光Ｈ１〜Ｈ１６がライダー１の回転により方位Ｌ１〜ＬＮに照射され、レーザ光が物体に反射されてライダー１で受信した信号を波形として示している。物体で反射したレーザ光をライダー１が受信すると、信号の波形が下振れし、波形の振幅がライダー１と物体との距離に相当する。ライダー１と物体との距離が長いほど振幅が大きくなる。図３（ｂ）に、ある一つの方位Ｌｉにおける照射間隔Δｔを示す。レーザ光の方位Ｌｉは任意の方位である（図２（ａ）参照）。

また、図３（ｂ）に、信号蓄積時間設定部１１の設定した信号蓄積時間Ｔを示す。ここでは、信号蓄積時間Ｔを方位Ｌｎから方位Ｌｍまでのレーザ光の照射間隔を含む時間として示している。この信号蓄積時間Ｔの領域は、後述する時系列信号データの処理対象の領域に相当しており、時間経過に伴ってグラフの右側に移動する。

なお、方位Ｌｎ及び方位Ｌｍの間の方位Ｌｊを基準として、方位Ｌｎを基準方位Ｌｊからｗ１だけ左回りの方位（すなわち、Ｌｎのｎ＝ｊ−ｗ１）、方位Ｌｍを基準方位Ｌｊからｗ２−１だけ右回りの方位（すなわち、Ｌｍのｍ＝ｊ＋ｗ２−１）とすると、信号蓄積時間Ｔは照射間隔Δｔを用いて（ｗ１＋ｗ２）×Δｔと表現することができる。ｗ１，ｗ２は信号蓄積時間の設定によって決まる任意の値である。仮に、一回転の周期が０．１秒で一回転のレーザ照射回数が１８００回のライダー１において、３０回分のレーザ光の受信信号に対応する信号蓄積時間を設定したい場合には、ｗ１＝１５、ｗ２＝１５として信号蓄積時間Ｔ＝（１５＋１５）×Δｔ＝３０×０．１／１８００＝１／６００秒とすることができる。

図３（ｂ）に示すように、信号蓄積時間Ｔの領域の中に歩行者Ｐに対応する領域Ｐａが含まれている。これにより、データ取得部１２は、信号蓄積時間の時系列信号データを一単位として送信することで、歩行者Ｐに対応する領域Ｐａを含む時系列信号データをクラス識別部１３に送信することができる。

なお、データ取得部１２は、新たにライダー１から照射間隔Δｔ分の信号を受信した場合、前回に送信した信号蓄積時間の時系列信号データに新たな照射間隔Δｔ分のデータを追加すると共に、前回に送信した信号蓄積時間の時系列信号データから最も古い照射間隔Δｔ分のデータを除くことで、今回送信する信号蓄積時間の時系列信号データを取得してもよい。

クラス識別部１３は、データ取得部１２から信号蓄積時間の時系列信号データを送信された場合、ニューラルネットワーク（深層学習ネットワーク）により信号蓄積時間の時系列信号データから物体クラスと背景クラスとを識別する。物体クラスとは、時系列信号データのうち車両の周囲の物体に対応するデータ分類である。背景クラスとは、時系列信号データのうち背景に対応するデータ分類である。背景には路面やガードレール、電柱、建物の壁等の物体クラスとは異なるデータ分類が含まれる。なお、空や黒い対象物など、反射光が返ってこない場合も背景に含まれる。クラス識別部１３は、物体クラス及び背景クラス以外のクラスを更に識別してもよい。

具体的に、図３（ｂ）に示す信号蓄積時間Ｔに対応する領域には、レーザ光Ｈ１〜Ｈ１６の１６本の時系列信号データが、受信信号(Ｗ１＋Ｗ２)回分だけ含まれる。すなわち、信号蓄積時間Ｔに対応する領域には、１６×(Ｗ１＋Ｗ２)次元のデータが含まれる。Ｗ１＋Ｗ２を３０とすると、１６×３０次元となる。この信号蓄積時間Ｔの時系列信号データをニューラルネットワークへの入力とする。

図４は、ニューラルネットワークの一例を示す図である。図４に示すように、ニューラルネットワークには、入力層と複数の中間層と出力層とで構成されている。入力層には、時系列信号データ（例えば１６×３０次元の時系列信号データ）が入力される。複数の中間層は、周知の技術により、時系列信号データから物体クラスと背景クラスとを識別できるように構成されている。入力層に入力された時系列信号データは、複数の中間層による処理を経て出力層に出力される。ここでは出力層も１６×３０次元のデータを出力するようにしている。出力には、物体クラスと背景クラスの識別結果が含まれる。また、出力には、ライダー１から物体クラスまでの距離のみが出力されるように学習を行うことで、物体クラスと背景クラスの識別を行うように構成してもよい。

ニューラルネットワークの具体例として、ＣＮＮ［Convolutional neural networks：畳み込みニューラルネットワーク］を用いることができる。本実施形態では時系列信号データ（例えば１６×３０次元の時系列信号データ）を入力し、複数層（例えば３層）の畳み込み層と１層の全結合層から構成されているニューラルネットワークである。

本ニューラルネットワークでは、全ての畳み込みにおいて１次元重みフィルタを時間軸方向（図３（ｂ）の横軸方向）に移動して畳み込みを行う。上下方向（図３（ｂ）の縦軸方向）にはプーリングのみで結合を行う。畳み込みを増やすと、より高次な特徴を学習することができる。このようなニューラルネットワークに信号蓄積時間Ｔの時系列信号データが入力されると、１層目の畳み込み層において時系列信号データに対する１次元重みフィルタの畳み込みを行い、マックスプーリングによって特徴マップを得る。２層目の畳み込み層では、１層目で取得した特徴マップに対して１次元重みフィルタを畳み込み、新たな特徴マップを得る。３層目の畳み込み層では、２層目で取得した特徴マップに対して１次元重みフィルタを畳み込み、新たな特徴マップを得る。そして、３層目で得た特徴マップを特徴ベクトルに変換して全結合層に与える。出力層で、各レーザ光における物体の確率と背景の確率とをsoftmax関数を用いて算出する。

クラス識別部１３は、算出された物体の確率と背景の確率とを用いて、時系列信号データから物体クラスと背景クラスとを識別する。具体的に、クラス識別部１３は、図３（ｂ）に示す信号蓄積時間Ｔに対応する領域の時系列信号データが入力された場合、歩行者Ｐに対応する領域Ｐａを物体クラスとして識別する。

なお、ニューラルネットワークの構成は限定されず、周知の構成を採用することができる。ニューラルネットワークの学習方法としてもバックプロパゲーション等の公知の手法を用いればよい。更に学習時の教師信号についても限定されない。更には、物体クラスと背景クラスとの識別方法にニューラルネットワーク以外の周知の識別方法（例えばサポートベクターマシンやブースティング等）を採用してもよい。

物体認識部１４は、ライダー１の信号とクラス識別部１３の識別結果とに基づいて、車両の周囲の物体を認識する。ここでは、クラス識別部１３の識別結果は、信号蓄積時間の時系列信号データに基づく識別結果である。識別結果として用いるのは物体クラスのみであってもよい。

物体認識部１４は、ライダー１の信号における点群データ（物体に反射してライダー１に受信されたレーザ光に対応する点群のデータ）に対して、クラス識別部１３の識別結果と関連付けるラベリングを行う。物体認識部１４は、少なくともクラス識別部１３の識別した物体クラスと点群データとのラベリングを行う。

次に、物体認識部１４は、物体クラスに対応する点群データのクラスタリング処理を行う。クラスタリング処理を行うことで、物体付近の誤検出された点群を取り除くことができる。物体認識部１４は、クラスタリング処理により物体候補を生成する。物体認識部１４は、一例として、予め設定された距離内に点群が５つ以上存在した場合、クラスタリング処理により点群を同一物体にまとめて物体候補を生成する。予め設定された距離とは、例えば０.６ｍである。クラスタリング処理による物体候補の生成は、周知の手法を採用することができる。

物体認識部１４は、生成した物体候補に基づいて、物体の認識を行う。物体認識部１４は、一例として、物体候補のサイズに基づいて、物体としての歩行者を認識する。歩行者のサイズ条件は、例えば、０.１ｍ＜高さｈ＜２．０ｍ、幅ｗ＜０．７ｍ、奥行きｌ＜０．７ｍとすることができる。物体認識部１４は、予め用意された物体ごとのサイズ条件を用いて、歩行者及び車両等の物体を認識する。物体認識部１４は、ライダー１（車両）から物体までの距離も認識する。

なお、物体候補から物体を認識する方法は、上記の内容に限定されず、周知の手法を採用することができる。物体認識部１４は、ニューラルネットワークを用いて、クラス識別部１３の識別した物体クラスと点群データから物体を認識してもよい。

物体認識部１４は、車両の周囲の物体の認識結果を車両制御ＥＣＵ２０に送信する。車両制御ＥＣＵ２０は、物体認識部１４による物体の認識結果に基づいて、自動運転、運転支援等の車両制御を実行する。

［信号蓄積時間設定処理］
次に、物体認識装置１００による信号蓄積時間設定処理について図５を参照して説明する。図５は、信号蓄積時間設定処理の一例を示すフローチャートである。図５に示すフローチャートの処理は、ライダー１の実行中に行われる。

図５に示すように、物体認識装置１００の物体認識ＥＣＵ１０は、Ｓ１０として、信号蓄積時間設定部１１により信号蓄積時間を設定する。信号蓄積時間設定部１１は、ＧＰＳ受信部２の測定した車両の地図上の位置と地図データベース３の地図情報とに基づいて、信号蓄積時間を設定する。

信号蓄積時間設定部１１は、例えば、車両が自動車専用道路を走行していると認識した場合、車両用の信号蓄積時間を設定する。信号蓄積時間設定部１１は、車両が一般道路を走行していると認識した場合、歩行者用の信号蓄積時間を設定してもよい。物体認識ＥＣＵ１０は、信号蓄積時間を設定した後、一定時間の経過後に再びＳ１０の処理を繰り返す。

［物体認識処理］
続いて、物体認識装置１００による物体認識処理について図６を参照して説明する。図６は、信号蓄積時間設定処理の一例を示すフローチャートである。図６に示すフローチャートの処理は、ライダー１の実行中に行われる。

図６に示すように、物体認識装置１００の物体認識ＥＣＵ１０は、Ｓ２０として、データ取得部１２によりライダー１の時系列信号データを取得する。データ取得部１２は、ライダー１の信号に基づいてライダーの時系列信号データを取得する。

Ｓ２２において、物体認識ＥＣＵ１０は、クラス識別部１３により時系列信号データから物体クラスと背景クラスとを識別する。クラス識別部１３は、ニューラルネットワークにより物体クラスと背景クラスとを識別する。

Ｓ２４において、物体認識ＥＣＵ１０は、物体認識部１４によりクラスタリング処理により物体候補を生成する。物体認識部１４は、ライダー１の点群データを物体クラスと関連付けるラベリングを行い、物体クラスに対応するライダー１の点群データのクラスタリング処理により物体候補を生成する。

Ｓ２６において、物体認識ＥＣＵ１０は、物体認識部１４により物体の認識を行う。物体認識部１４は、生成した物体候補のサイズ等から歩行者又は車両等の物体を認識する。その後、物体認識ＥＣＵ１０は、ライダー１から新たな信号を受信した場合、再びＳ２０から処理を繰り返す。

［物体認識装置の作用効果］
以上説明した一実施形態に係る物体認識装置１００によれば、ライダー１の信号から時系列信号データを生成し、時系列信号データをニューラルネットワークに入れて時系列信号データから物体クラスと背景クラスとを識別することで、ニューラルネットワークによる物体クラスと背景クラスとの識別を行わない場合と比べて、ライダー１を用いた物体の認識精度を向上させることができる。

また、物体認識装置１００では、優先認識対象としている物体の種別（車両、歩行者）等によってライダー１の時系列信号データを蓄積すべき時間が変わることから、例えば車両の地図上の位置と地図情報とに基づいて車両が自動車専用道路にいると認識した場合には車両認識用の信号蓄積時間を設定することで、認識対象に関わらずライダー１の検出周期の１周分のデータを全て用いて物体認識を行うような場合と比べて、ライダー１を用いた物体の認識処理の計算負荷の削減及び処理の高速化が可能となる。

以上、本発明の好適な実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。本発明は、上述した実施形態を始めとして、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。

ライダーは、必ずしも１６個のレーザ光源及び光受信部を有する必要はなく、それぞれ１個ずつであってもよい。物体認識ＥＣＵ１０は、必ずしも信号蓄積時間設定部１１を有する必要はない。この場合には、ＧＰＳ受信部２及び地図データベース３も不要である。信号蓄積時間は一定であってもよく、ライダー１の検出周期（回転式ライダーの場合は一回転の時間）と一致していてもよい。

信号蓄積時間設定部１１は、優先認識対象の物体として子どもを設定してもよく、自転車を設定してもよい。信号蓄積時間設定部１１は、車両の地図上の位置と地図情報とに基づいて、車両が学校付近を走行していると認識した場合、子ども用の信号蓄積時間を設定してもよい。

また、信号蓄積時間設定部１１は、車両の地図上の位置及び地図情報だけではなく、時間を考慮してもよい。時間は、例えば物体認識ＥＣＵ１０に内蔵されたタイマーから取得することができる。信号蓄積時間設定部１１は、車両の地図上の位置と地図情報と時間とに基づいて、予め設定された通学時間帯に車両が学校付近（例えば学校から一定距離内）を走行していると認識した場合、子ども用の信号蓄積時間を設定してもよい。信号蓄積時間設定部１１は、車両の地図上の位置と地図情報と時間とに基づいて、予め設定された通勤時間帯に車両が駅の付近（例えば駅から一定距離内）を走行していると認識した場合、歩行者用の信号蓄積時間を設定してもよい。

信号蓄積時間設定部１１は、複数の信号蓄積時間を設定してもよい。信号蓄積時間設定部１１は、例えば車両用の信号蓄積時間を四輪車用の信号蓄積時間と二輪車用の信号蓄積時間に分け、四輪車用の信号蓄積時間と二輪車用の信号蓄積時間とを設定することができる。この場合、データ取得部１２は、四輪車用の信号蓄積時間及び二輪車用の信号蓄積時間のそれぞれ対応するように時系列信号データの蓄積を行う。クラス識別部１３は、四輪車用の信号蓄積時間の時系列信号データから物体クラスと背景クラスとを識別すると共に、二輪車用の信号蓄積時間の時系列信号データから物体クラスと背景クラスとを識別する。信号蓄積時間設定部１１は、歩行者用の信号蓄積時間と車両用の信号蓄積時間とを設定してもよい。

１…ライダー、２…ＧＰＳ受信部、３…地図データベース、１０…物体認識ＥＣＵ、１１…信号蓄積時間設定部、１２…データ取得部、１３…クラス識別部、１４…物体認識部、２０…車両制御ＥＣＵ、１００…物体認識装置。

Claims (1)

1. 車載のライダーの信号に基づいて、走行中の車両の周囲の物体を認識する物体認識装置であって、
   走行中の前記車両の地図上の位置と地図情報とに基づいて信号蓄積時間を設定する信号蓄積時間設定部と、
   前記ライダーの信号から前記ライダーの前記信号蓄積時間の時系列信号データを取得するデータ取得部と、
   当該信号蓄積時間の前記時系列信号データから物体クラスと背景クラスとを識別するクラス識別部と、
   前記クラス識別部の識別結果と前記ライダーの信号とに基づいて、前記物体を認識する物体認識部と、
   を備え、
   前記信号蓄積時間設定部は、前記車両の走行する道路の車線幅が幅狭閾値未満である場合には、近距離歩行者用の前記信号蓄積時間を設定し、前記車線幅が幅狭閾値以上である場合には、遠距離歩行者用の前記信号蓄積時間を設定し、
   前記近距離歩行者用の信号蓄積時間は、前記遠距離歩行者用の信号蓄積時間より長い時間である物体認識装置。

Images