JP6938846B2

JP6938846B2 - 物体認識装置

Info

Publication number: JP6938846B2
Application number: JP2016049615A
Authority: JP
Inventors: 映酒井
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2016-03-14
Filing date: 2016-03-14
Publication date: 2021-09-22
Anticipated expiration: 2036-03-14
Also published as: JP2017166846A

Description

本発明は、自車両の周囲に位置する物体を認識する物体認識装置に関する。

上記の物体認識装置として、レーザレーダによって得られる距離情報に含まれるマルチエコー（１つのレーザ光から複数の物体の距離情報を得る技術）を用いて解像度を向上させる技術が知られている（例えば、特許文献１参照）。

特表２０１４−１４２２４２号公報

しかしながら、上記物体認識装置は、マルチエコーを検出可能なレーザレーダは高機能かつ高価なものであるため、シングルエコー（１つのレーザ光から１つの距離情報のみを得る技術）を用いて解像度を向上させることに対する要求がある。

そこで、このような問題点を鑑み、自車両の周囲に位置する物体を認識する物体認識装置において、マルチエコーを用いることなく解像度を向上できるようにすることを本発明の目的とする。

本発明の物体認識装置は、点群取得部と、統合部と、物体認識部と、を備える。点群取得部は、少なくとも１つの自車両外の装置を含む複数の装置において検知された自車両の周囲に位置する物体に関する複数の測距点群を取得する（Ｓ１１０，Ｓ１２０）。また、統合部は、複数の測距点群を統合する（Ｓ５０）。そして、物体認識部は、統合後の複数の測距点群を用いて物体の認識を行う（Ｓ１８０）。

このような物体認識装置によれば、１つの装置から得られた１つの測距点群でなく、複数の装置にて得られた測距点群を用いて物体を認識するので、マルチエコーを用いることなく解像度を向上させることができる。

なお、この欄および特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

運転支援システム１の概略構成を示す説明図である。実施形態において、レーザ光を照射する領域を示す模式図である。レーダ制御部１１が実行する物体認識処理を示すフローチャートである。測距点群とクラスタリング結果の一例を示す鳥瞰図である。クラスタ同定処理を示すフローチャートである。クラスタ位置補正処理の概要を示す模式図である測距点群補正処理を示すフローチャートである。第１実施形態の統合処理の概要を示す模式図である。第１実施形態の識別処理を示すフローチャートである。データ送信処理を示すフローチャートである。第２実施形態の識別処理を示すフローチャートである。第３実施形態の統合処理を示すフローチャートである。第３実施形態の統合処理の概要を示す模式図である。第４実施形態の統合処理を示すフローチャートである。クラスタ点群をモデルに基づいてパーツ点群に分解する例を示す模式図である。第４実施形態の統合処理の概要を示す模式図である。第５実施形態の統合処理を示すフローチャートである。距離と反射強度との原理上の関係を示すグラフである。第６実施形態の統合処理を示すフローチャートである。第６実施形態の統合処理の概要を示す模式図である。第７実施形態の統合処理を示すフローチャートである。第７実施形態の統合処理の概要を示す模式図である。第８実施形態の識別処理を示すフローチャートである。第９実施形態の識別処理を示すフローチャートである。第９実施形態において補正クラスタ点群領域の一例を示す説明図である。第１０実施形態の識別処理を示すフローチャートである。その他の実施形態の物体認識処理を示すフローチャートである。

以下に本発明にかかる実施の形態を図面と共に説明する。
［１．第１実施形態］
［１−１．構成］
図１は本実施形態の運転支援システム１の概略構成を示す説明図、図２はレーザ光を照射する領域を示す模式図である。運転支援システム１は、例えば乗用車等の車両（以下「自車両」ともいう。）に搭載されており、図１に示すように、レーダ装置１０と、車両制御部３０と、通信部３５と、外部装置４０と、を備えている。

レーダ装置１０は、レーダ制御部１１と、走査駆動部１２と、光学ユニット１３とを備えている。
レーダ制御部１１は、ＣＰＵ１８と、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ（以下、メモリ１９）と、を有する周知のマイクロコンピュータを中心に構成される。レーダ制御部１１の各種機能は、ＣＰＵ１８が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ１９が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムの実行により、プログラムに対応する方法が実行される。なお、レーダ制御部１１を構成するマイクロコンピュータの数は１つでも複数でもよい。

レーダ制御部１１は、ＣＰＵ１８がプログラムを実行することで実現される機能の構成として、後述する物体認識処理等の各種処理を含む。レーダ制御部１１を構成するこれらの機能を実現する手法はソフトウェアに限るものではなく、その一部または全部の機能を、論理回路やアナログ回路等を組み合わせたハードウェアを用いて実現してもよい。

走査駆動部１２は、例えばモータ等のアクチュエータとして構成されており、レーダ制御部１１からの指令を受けて、光学ユニット１３を水平方向および鉛直方向の任意の方向に向けることができるよう構成されている。なお、走査駆動部１２は、レーダ制御部１１からの走査開始信号を受ける度に、レーザ光を照射すべき全ての領域から反射光を得る、１サイクル分の走査ができるように光学ユニット１３を駆動する。

光学ユニット１３は、レーダ制御部１１からの指令に応じてレーザ光を射出する発光部１４と、発光部１４からのレーザ光が物体５０に反射したときの反射光を受光する受光部１５と、を備えている。発光部１４から射出されるレーザ光は、図１において実線の矢印で示し、反射光は、図１において破線の矢印で示す。

なお、走査駆動部１２は、結果として発光部１４によるレーザ光の射出方向が受光部１５により反射光を受光可能な方向と同じ方向となるよう変化させられる構成であればよい。例えば、走査駆動部１２は、光学ユニット１３に換えて、光学ユニット１３に備えられたレーザ光および反射光を任意の方向に反射させるミラーを駆動するよう構成されていてもよい。

この場合には、複数の反射面を有するミラーを走査駆動部１２で回転させることによって水平方向にレーザ光を走査し、反射面の角度をそれぞれ異なる角度に設定することによって、鉛直方向にもレーザ光を振りつつ走査する構成を採用すればよい。また、１つの反射面を有するミラーを任意の方向に向ける機構を採用してもよい。

また、走査駆動部１２は、受光部１５のみの方向を変化させる構成でもよい。この場合、発光部１４は、発光部１４の方向を変化させることなく、受光部１５が走査される領域の一部または全体にレーザ光を照射可能な構成にされていてもよい。

上述のようにレーダ装置１０は、自車両の進行方向である前方等の、自車両周囲の任意の方向の所定領域に対して、走査しつつ間欠的に電磁波であるレーザ光を照射し、その反射光をそれぞれ受信することによって、自車両前方の物体を各測距点として検出するレーザレーダとして構成されている。測距点とは、レーザ光の反射光によって特定される物体の一部が存在する位置を示す。

ここで、本実施形態のレーダ装置１０においてレーダ制御部１１は、前述のように走査駆動部１２を利用して、光学ユニット１３から照射されるレーザ光を所定の領域内において走査させるが、詳細には図２に示すように、この領域の左上隅から右上隅に水平方向右側にレーザ光を照射させる範囲を変化させつつ間欠的に等間隔かつ等角度でレーザ光を照射させ、レーザ光が右上隅に到達すると、左上隅よりも所定角度だけ下方の領域から水平方向右側にレーザ光を照射させる範囲を変化させつつ再びレーザ光を照射させる。

この作動を繰り返すことによってレーダ装置１０は、所定領域の全域に順次レーザ光を照射させることになる。そしてレーダ装置１０は、反射光を受信したタイミングとレーザ光を照射した方向とに基づいて、レーザ光を照射する度に測距点の位置を演算する。

なお、レーザ光の射出方向については、レーザ光を照射する全領域をレーザ光が照射される領域毎にマトリクス状に区切り、各領域に番号を付すことによって特定できるようにしておく。例えば、図２に示すように、水平方向については左から順に番号を付し、この番号を方位番号と呼ぶ。また、鉛直方向については上から順に番号を付し、この番号をライン番号と呼ぶ。

例えば、ｉをライン番号とし、ｊを方位番号とする。また、測距点においては、距離ｒ、反射強度Ｉ、精度情報ｑが対応付けられる。なお、精度情報ｑは、装置の分解能や誤差の大きさ等、装置の精度を数値で表す情報である。この精度情報ｑは、測距点を検知するレーダ装置１０や外部装置４０に予め対応付けられている。測距点を検知した装置のそれぞれが、測距点を得るたびに精度情報ｑを測距点に対応付けて記録する。

次に、車両制御部３０においては、ＣＰＵ，ＲＯＭ，ＲＡＭ等からなる周知のコンピュータとして構成されており、ＲＯＭ等に記憶されたプログラムに従って、自車両の挙動を制御する処理や、運転者に対する報知を行う等の各種処理を実施する。例えば、車両制御部３０は、自車両の挙動を変更する、或いは挙動の変更を促す運転支援を行う旨の指令をレーダ装置１０から受けると、この指令に応じた制御信号を表示装置、音声出力装置、制動装置、操舵装置等の何れかに出力するようにすればよい。

通信部３５は、自車両外部に位置する装置である外部装置４０と無線通信を行うための周知の通信モジュールである。通信部３５は、自車両にて得られた測距点群を外部装置４０に送信したり、外部装置４０にて得られた測距点群を外部装置４０から受信したりする。通信相手は１または複数の外部装置４０を想定しているが、複数の外部装置４０であることが好ましい。なお、測距点群とは、レーザ光の照射領域毎に得られる物体の座標を表す１サイクル分の測距点の集合を表し、この測距点群には、測距点の距離（或いは３次元座標）と反射強度の情報と、精度情報が含まれる。

外部装置４０は、例えば複数の他車両のそれぞれに搭載されており、各々がレーダ装置１０と同等の機能を有する。つまり、後述する物体認識処理やデータ送信処理を実施する。これらの処理によりレーダ装置１０および外部装置４０にて得られた測距点群を共有することによって高精度な物体認識を実現する。

［１−２．処理］
このように構成された運転支援システム１において、レーダ制御部１１は、図３に示す物体認識処理を実施する。物体認識処理は、例えば測距点群が得られる毎に実施される処理である。

物体認識処理では、図３に示すように、まず、測距点群を取得する（Ｓ１１０，Ｓ１２０）。この処理では、自車両において検知された測距点群、および少なくとも１つの外部装置４０にて検知された測距点群を取得する。

続いて、クラスタリングを行う（Ｓ１２０）。クラスタリングとは、例えば、互いに近接する複数の測距点を１つのグループとして取り扱う処理を示す。この処理では、測距点群に対してクラスタリングを行うことで、各物体に対応するクラスタを得る。

このようなクラスタリングによって１つまたは複数のクラスタを得る。なお、各クラスタには、任意に定義されたクラスタの位置（点群位置）、クラスタの幅（ｘ軸方向の長さ）、および奥行き幅（ｙ軸方向の長さ）が対応付けられる。クラスタの位置とは、クラスタ毎に設定されるクラスタを代表する点の位置を示す。クラスタの位置には、重心位置や外接直方体のある頂点の位置等、任意の位置が設定される。

ここで、図４に測距点群とクラスタリング結果の一例を示す。なお、本実施形態では、自車両の右方向をｘ軸の正とし、自車両の前方をｙ軸の正とする。また、鉛直方向の上方向をｚ軸の正とする。図４に示す例では、例えば、クラスタＣｋの左端と右端の中心のｘ座標をｘｋ、クラスタの前端のｙ座標をｙｋとする。

クラスタＣｋを構成する測距点の集合がクラスタ点群であり、クラスタ点群は、Ｎｋ個の測距点で構成される点群としてＲＡＭ等のメモリにて保持される。なお、本実施形態では、点群の情報に加え、点群を取得した時刻を表す時刻情報や、点群の距離を表す距離情報も保持する。時刻情報や距離情報は、例えば、クラスタ点群を統合する際にクラスタ点群に重み付けを設定したり、統合する際にクラスタ点群を利用するかしないかを決定するために用いることができる。

続いて、座標変換を実施する（Ｓ１３０）。この処理では、レーザレーダ等のセンサにおける座標を、周知の技術よって特定される自車両の位置や方位に基づいて、グローバル座標に変換する。グローバル座標は、地球上の座標を示す絶対的な座標である。

例えば、ＧＰＳ情報や地図情報から取得したＰＯＩ（Point Of Interest）において取得される自車両の位置、またジャイロセンサ、地磁気センサ等において取得される自車両の方向を用いて座標変換を実施してもよい。

続いて、測距点群の補正を行う（Ｓ１４０）。この処理では、図７に示すように、まず、基準となる静止物の位置と方位とを真値として取得する（Ｓ３６０）。
例えば、固定配置されたセンサが静止物について検知した場合、センサおよび静止物の位置が変動しないため、この検知結果を真値とすることができる。このような検知結果が存在する場合、この検知結果を真値として取得する。なお、真値として利用可能な測距点群には、精度情報において特定の値が付されていてもよい。

続いて、複数の測距点群について、この静止物との位置と方位とを算出し（Ｓ３７０）、真値との差分を算出する（Ｓ３８０）。続いて、これらの差分の平均値を算出し（Ｓ３９０）、これらの平均値に従って測距点群の座標のそれぞれを補正する（Ｓ４００）。

続いて、クラスタ同定処理を実施する（Ｓ１５０）。クラスタ同定処理は、複数のクラスタ点群が同一の物体を示すか否かを判定する処理である。
クラスタ同定処理では、図５に示すように、まず、クラスタ位置の補正を行う（Ｓ３１０）。クラスタ位置の補正では、例えば図６に示すように、自車両にて検知されたクラスタをpⁱ _ownとし、他車両にて検知されたクラスタをp^j _otherとする。

そして、自車両および他車両にて検知されたクラスタのうちの自車両から最も近いものの距離Δp = p¹ _other - p¹ _ownを簡易的に自車両におけるセンサと他車両におけるセンサの誤差として、このΔpだけ他車両にて検知されたクラスタp^j _otherの位置をシフトさせることで、クラスタ位置の補正を行う。

続いて、測距点群のそれぞれに含まれるクラスタについてクラスタ間距離を算出する（Ｓ３２０）。この処理では、例えば重心位置等を各クラスタの位置として特定しておき、各クラスタ間の距離を求める。この際の距離とは、ユークリッド距離等を用いることができる。

続いて、距離閾値を算出する（Ｓ３３０）。距離閾値は、固定値であっても変動値であってもよい。変動値である場合、レーダ装置１０や外部装置４０の移動速度が大きくなるにつれて距離閾値も大きくするとよい。

続いて、距離閾値未満となるクラスタのＩＤを取得し（Ｓ３４０）、これらのクラスタのうちの最も近いクラスタのＩＤを同一のクラスタのＩＤとしてメモリ１９に記録し（Ｓ３５０）、クラスタ同定処理を終了する。なお、本処理は、検知されたクラスタ毎に実施される。

なお、クラスタ同定処理では、距離によってクラスタの同定判定を行ったが、サイズ比較、形状比較等、従来の追跡処理の物体同定手法を流用してもよい。
続いて、統合処理を実施する（Ｓ５０）。統合処理は、自車両および他車両において得られたクラスタ点群を、位置を補正して統合する処理である。

この処理では、まず、クラスタ点群の補正処理を行う（Ｓ１６０）。クラスタ点群の補正処理では、まず、クラスタ点群の重心座標を演算し、クラスタ点群の重心座標が原点となるように座標変換を実施する。クラスタ点群の重心座標を演算する処理では、クラスタ点群を構成する測距点の平均値等を用いる周知の手法にて重心座標を演算すればよい。

続いて、クラスタ点群の統合を行う（Ｓ１７０）。この処理では、図８に示すように、測距点群を得たセンサＡ，センサＢ，センサＣから得られた測距点群（ここではクラスタ点群）を全て統合する。すなわち、これらの測距点群が１つのクラスタを示すものとして加算されたクラスタ点群を得る。（以下、統合クラスタ点群と呼ぶ。）なお、この際には、クラスタ同定処理において一致すると判定されたクラスタのみが統合される。このような処理が終了すると、統合クラスタ点群をメモリ１９に格納して保存して、統合処理を終了する。

続いて、識別処理を実施する（Ｓ１８０）。識別処理は、統合クラスタ点群に対応する物体の種別を識別する処理である。
識別処理では、図９に示すように、まず属性ラベルを０で初期化する（Ｓ４０８）。次に統合クラスタ点群を得る際における複数の測距点群の統合回数Ｃを算出する（Ｓ４１０）。そして、この統合回数Ｃと予め設定された回数閾値ＴＨｃとを比較する（Ｓ４２０）。

統合回数Ｃが回数閾値ＴＨｃ以下であれば（Ｓ４２０：ＮＯ）、識別処理を終了する。また、統合回数Ｃが回数閾値ＴＨｃよりも大きければ（Ｓ４２０：ＹＥＳ）、統合クラスタ点群に付随した精度情報を用いて、識別処理に有効な測距点を選定する（Ｓ４３０）。

ここでは、例えば、精度が予め設定された閾値以上の測距点のみを使用し、それ以下の測距点は使用しないよう設定する。なお、精度に応じて各測距点に重み付けを行い、この重みに応じて測距点の利用の程度を設定してもよい。重み付けとは、データの重要度を示す値であり、例えば０から１の値に設定された係数として設定される。

すなわち、重み付けに応じた係数を乗じることで、データの重要度を表現するとよい。例えば、精度の低いデータは信頼性が乏しい可能性があるため、より小さな係数を乗じることで使用されにくく設定するとよい。

より具体的には、重み付けは、測距精度や取得時刻、距離等を用いて決定される。測距精度が高い場合や取得時刻が新しい場合、また距離が近い場合に重み付けがより大きく設定される。なお、例えば、測距精度としては、測距点を得る際の反射強度やＳＮ比、車種の情報等のセンサ自体の精度を表す情報等が採用できる。また、取得時刻としては、前述の時刻情報を採用できる。さらに、距離としては、前述の距離情報を採用できる
続いて、選定した測距点を用いて、各クラスタの特徴量を抽出する（Ｓ４４０）。例えば、選定した測距点から得られる、クラスタの幅、高さ、アスペクト比、相対速度、等の各種特徴量を抽出する。

そして、特徴量と予め用意した識別モデルを用いて識別スコアの演算を行う（Ｓ４５０）。例えば、既知の２クラスＳＶＭ（Support Vector Machine）を用いる。この処理では、予めＳＶＭモデルを学習しておき、学習したモデルと抽出した特徴量を用いて識別スコアＳを求める。

続いて、識別スコアＳと予め設定された識別閾値ＴＨｓとを比較する（Ｓ６２０）。識別スコアＳが識別閾値ＴＨｓ以下であれば（Ｓ６２０：ＮＯ）、属性ラベルを−１とする（Ｓ６３０）。また、識別スコアＳが識別閾値ＴＨｓよりも大きければ（Ｓ６２０：ＹＥＳ）、属性ラベルを＋１とする（Ｓ６４０）。

ここで属性ラベルは、クラスタの種別を表す値である。属性ラベルの値はクラスタの認識結果とともに車両制御部３０に送られる。ここではクラス数を２としたが、３以上でも同様に処理できる。この際、重み付けに応じて測距点群の価値に差をつけて物体の認識を行ってもよい。以降、クラス数は２として説明する。

このような処理が終了すると、識別処理を終了し、物体認識処理も終了する。
レーダ制御部１１は、物体認識処理と並行して、図１０に示すデータ送信処理も実施する。データ送信処理は、例えば、測距点群が取得される度に実施される処理である。

データ送信処理では、図１０に示すように、まず、自車両において検知された測距点群を取得する（Ｓ１１０）。そして、通信部３５を介してこの測距点群を外部装置４０に送信する（Ｓ５１０）。

なお、データ送信するデータは、クラスタリング前の測距点群である必要はなく、Ｓ１２０によるクラスタリング後のクラスタ点群であってもよい。例えば図１０の破線にて示すように、クラスタリング（Ｓ１２０）、座標変換（Ｓ１３０）、測距点群の補正（Ｓ１４０）を終えた後のデータを送信してもよい。

また、データ送信処理（図１０）において、データを送信する側の装置においてクラスタリングを行う場合には、少なくともクラスタが示す物体の代表位置（例えば重心位置や原点位置等）とサイズ（例えば外接矩形の大きさ等）とを含むクラスタ情報を、データを受信する側の装置に送信してもよい。この際、クラスタ点群の送信を省略してもよい。

なお、データを送信する側の装置がクラスタ点群の送信を省略する場合には、統合（Ｓ５０）の際に代表位置やサイズを統合し、統合回数に応じて、物体の信頼度や物体の属性を認識してもよい（Ｓ１８０：Ｓ４０８〜Ｓ６４０）。物体の信頼度とは、統合されたクラスタ情報が物体を示すかノイズを示すかの確からしさを示す値である。

このようにすれば、データを送信する側の装置とデータを受信する側の装置との間でやり取りされるデータ量を削減することができる。
［１−３．効果］
以上詳述した第１実施形態によれば、以下の効果が得られる。

（１ａ）上記の運転支援システム１においてレーダ制御部１１は、少なくとも１つの自車両外の装置を含む複数の装置において検知された自車両の周囲に位置する物体に関する複数の測距点群を取得する。また、複数の測距点群を統合する。そして、統合後の複数の測距点群を用いて物体の認識を行う。

このような運転支援システム１によれば、１つの装置から得られた１つの測距点群でなく、複数の装置にて得られた測距点群を用いて物体を認識するので、マルチエコーを用いることなく解像度を向上させることができる。

（１ｂ）上記の運転支援システム１においてレーダ制御部１１は、自車両において検知された測距点群を含む複数の測距点群を取得する。
このような運転支援システム１によれば、自車両において検知された自車両に影響を与えうる物体について解像度を向上させることができる。さらに、同じ物体に対して複数の方向から得られた測距点群を取得するので、自車両に搭載したセンサ正面以外の、取得が困難な点群も取得できる。

（１ｃ）上記の運転支援システム１においてレーダ制御部１１は、クラスタリング後の測距点群をそれぞれ取得することもできる。
このような運転支援システム１によれば、クラスタリング後の測距点群を取得するので、データ通信量を削減できる。さらに、取得した測距点群にノイズ等の不要な測距点が含まれにくくすることができる。よって、物体の認識精度を向上させることができる。

（１ｄ）上記の運転支援システム１においてレーダ制御部１１は、少なくとも取得された測距点群が示す位置に基づいて測距点群が示す物体のそれぞれが一致するか否かを判定し、一致する物体に関する測距点群のみを統合する。

このような運転支援システム１によれば、一致する物体についてのみ測距点群の統合を行うので、一致しない物体についても測距点群を統合する場合と比較して、物体の認識精度を向上させることができる。

（１ｅ）上記の運転支援システム１においてレーダ制御部１１は、一致する物体に関する測距点群について、測距点群が示す位置を表す点群位置を抽出し、点群位置が一致するよう各測距点群を構成する測距点の位置を補正し、該位置補正後の測距点群について統合する。

このような運転支援システム１によれば、点群位置が一致するよう測距点の位置を補正するので、物体の認識精度を向上させることができる。
（１ｆ）上記の運転支援システム１においてレーダ制御部１１は、各測距点群を検知した精度情報を示す精度情報を測距点群とともに取得し、精度情報に基づいて測距点群に対して重み付けを行い、重み付けを行った測距点群を用いて物体の認識を行う。

このような運転支援システム１によれば、精度情報に基づいて測距点群に対して重み付けを行い、精度が高い測距点群をより有効な測距点であるものとして利用するので、物体の認識精度を向上させることができる。

（１ｇ）上記の運転支援システム１においてレーダ制御部１１は、統合部による測距点群の統合数をカウントし、統合数に基づいて統合された測距点群に対して重み付けを行い、重み付けを行った測距点群を用いて物体の認識を行う。

このような運転支援システム１によれば、統合数に基づいて重み付けを行うので、物体の認識結果の精度を認識することができる。
［２．第２実施形態］
［２−１．第１実施形態との相違点］
第２実施形態は、基本的な構成は第１実施形態と同様であるため、共通する構成については説明を省略し、相違点を中心に説明する。なお、第１実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。

前述した第１実施形態と第２実施形態とでは、識別処理が第１実施形態と相違する。
［２−２．処理］
次に、第２実施形態の識別処理について、図１１のフローチャートを用いて説明する。

第２実施形態の識別処理においては、図１１に示すように、まず、物体フラグをＦａｌｓｅにセットし（Ｓ４０４）、属性ラベルを０にセットする（Ｓ４０８）。続いて、前述したＳ４１０，Ｓ４２０の処理を実施し、Ｓ４２０にて統合回数Ｃが回数閾値ＴＨｃよりも大きければ（Ｓ４２０：ＹＥＳ）、物体フラグをＴｒｕｅにセットする（Ｓ５６０）。物体フラグは、クラスタ点群が物体であるか否かを示すフラグであり、物体フラグがＴｒｕｅであればクラスタ点群が物体であり、物体フラグがＦａｌｓｅであればクラスタ点群が物体でないノイズ等であることを示す。

続いて、識別スコアＳの演算処理を実施する（Ｓ６１０）。この処理では、前述のＳ４３０〜Ｓ４５０の処理を実施するとよい。この際、識別スコアＳが算出される。
続いて、時間平均スコアＳ_Ａを求める（Ｓ６１５）。時間平均スコアＳ_Ａは、過去において算出された識別スコアＳを予め設定された回数分だけ平均化した値である。続いて、前述のＳ６２０〜Ｓ６４０の処理を実施する。ただし、Ｓ６２０では、時間平均スコアＳ_Ａと予め設定された識別閾値ＴＨｓとを比較する。

このような処理が終了すると、識別処理を終了する。
［２−３．効果］
以上詳述した第２実施形態によれば、前述した第１実施形態の効果（１ａ）に加え、以下の効果が得られる。

（２ａ）上記第２実施形態の運転支援システムでは、物体フラグを算出するので、クラスタの物体としての確からしさを自己診断することができる。そして、物体フラグを物体の認識結果とともに送れば、物体の認識結果がどの程度信頼できるものであるかを知らせることができる。

（２ｂ）上記第２実施形態の運転支援システムでは、時間平均スコアＳ_Ａを物体の識別の際に用いるので、時間の経過とともに物体の識別精度を向上させることができる。
［３．第３実施形態］
［３−１．構成および処理］
第３実施形態の運転支援システムでは、図３に示す統合処理に代えて、図１２に示す統合処理を実施する。すなわち、第３実施形態の統合処理では、図１２に示すように、まず各クラスタ点群をｘｙ平面へ射影する（Ｓ６６０）。

ｘｙ平面への射影とは、３次元空間の任意の点（ｘ、ｙ、ｚ）を２次元空間の点（ｘ、ｙ）に写像することを意味する。次に、射影後のクラスタ点群に対して主成分分析を行う（Ｓ６７０）。

例えば、主成分分析の結果を図１３の破線矢印で表す。
続いて、回転変換を行う（Ｓ６８０）。この処理では、図１３の上段および中段に示すように、第１主成分である長軸がｘ軸と平行になるように回転する座標変換を行う。このように、点群情報を補正した補正クラスタ点群を得る。

続いて、上記補正クラスタ点群の統合処理を行う（Ｓ６９０）。
このようにすると、図１３に示すように、あるレーダであるセンサＡにて得られたクラスタ点群および他のレーダであるセンサＢにて得られたクラスタ点群がそれぞれ異なる方向を向いているとしても、これらのクラスタ点群の向きを、ｘ軸の方向に揃えてから統合できることになる。このような処理が終了すると、第３実施形態の統合処理を終了する。

［３−２．効果］
（３ａ）すなわち、上記の第３実施形態の運転支援システムにおいてレーダ制御部１１は、クラスタ点群の方向を推定し、クラスタ点群の方向を予め設定された方向に回転させる。

このような第３実施形態の運転支援システムによれば、センサによる検知タイミングのずれ等の影響により物体が回転して検知された場合であっても、物体の方向を揃えた上で過去における測距点群とともに利用できる。よって高精度な識別を行うことができる。

［４．第４実施形態］
［４−１．構成および処理］
次に、第４実施形態の運転支援システムについて説明する。第４実施形態の運転支援システムでは、クラスタ点群を複数のパーツに分割してさらに各パーツの方向を推定し、各パーツのそれぞれについてパーツの方向を予め設定された方向に回転させる。なお、以下の説明においては、分割されたそれぞれの点群をパーツ点群と呼ぶ。

具体的には、図１４に示す第４実施形態の統合処理を実施する。第４実施形態の統合処理では、図１４に示すように、まず、クラスタを構成する各パーツを検出し（Ｓ７１０）、パーツ点群を抽出する（Ｓ７２０）。

例えば、識別対象として歩行者を考える。図１５の符号４１にて示すように、歩行者のパーツ（例えば頭・腕・胴体・脚）毎に識別器を用意する。そして、物体が歩行者である可能性がある場合、符号４２に示すそれぞれのパーツを構成する各測距点を、識別器に基づいてパーツ毎に抽出し、符号４３に示すパーツ点群を得る。この処理の際には、例えば、下記の技術を用いることができる。
「Pedestrian Detection Combining RGB and Dense LIDAR Data, C. Premebida, J. Carreira, J. Batista, U. Nunes; IROS2014」
続いて、抽出したパーツ点群の補正を行う。すなわち、歩行者が直立状態のときを標準姿勢と定義し、各パーツの位置と向きが重なるように座標変換する。具体的には、第３実施形態と同様の考え方で、まず各パーツ点群に対して主成分分析を行う（Ｓ７３０）。

続いて、各パーツ点群に対して回転変換を行う（Ｓ７３５）。この処理では、図１６の上段および中段に示すように、第１主成分ベクトルがｙ軸と平行になるように回転する座標変換を行う。

そして、標準姿勢となったクラスタ点群を、補正クラスタ点群として保持する。
これらの処理によって、図１６に示すように、センサによって手足の位置がまちまちであった歩行者であっても（図１６上段参照）、手足の位置が統一された状態で（図１６中段参照）、統合することができる。

続いて、補正クラスタ点群の統合処理を行う（Ｓ７４０）。
［４−２．効果］
（４ａ）すなわち、各取得時間で各パーツの向きが異なる場合であっても、各パーツの位置が統一された状態で（図１６中段参照）、補正クラスタ点群が統合されることになる（図１６下段参照）。このような処理が終了すると第４実施形態の統合処理を終了する。

このような第４実施形態の運転支援システムによれば、例えば、歩行者が腕を振る場合等、物体を構成するパーツの方向が変化した場合においても、各パーツの方向を揃えた上で複数の装置にて検知された測距点群を利用できるので、高精度な識別を行うことができる。

［５．第５実施形態］
［５−１．構成および処理］
次に、第５実施形態の運転支援システムについて説明する。第５実施形態の運転支援システムにおいては、レーダ制御部１１は距離に応じて反射強度を補正する。そして、反射強度も用いて統合クラスタ点群を識別する。

第５実施形態の統合処理では、図１７に示すように、まず、距離と反射強度とを含むクラスタ点群を取得する。
そして、反射強度の正規化を行う（Ｓ７７０）。すなわち、図１８に示すように、原理上において反射強度Ｉが距離ｒの２乗に反比例する特性（反射強度の距離二乗則）を利用して、測距点群が同距離（ｒ＝１）に存在すると仮定した反射強度となるよう反射強度を補正する。

そして、反射強度を補正した補正クラスタ点群を用いて、統合処理を行う（Ｓ７８０）。
このようにする場合、予め補正後の反射強度を用いて識別モデルを学習しておき、識別処理では、補正後の反射強度も用いて統合点群クラスタの種別を識別する。

［５−２．効果］
（５ａ）このような第５実施形態の運転支援システムによれば、距離に応じて反射強度を補正するので、距離に依存しない識別モデルを構築でき、高精度な識別を行うことができる。

［６．第６実施形態］
［６−１．構成および処理］
次に、第６実施形態の運転支援システムについて説明する。第６実施形態の運転支援システムにおいては、自車両の姿勢（傾き）を取得し、自車両の姿勢に応じて測距点群を補正する。

詳細には、図１９に示す統合処理を実施する。第６実施形態の統合処理では、図１９に示すように、まず、自車両の姿勢推定の一例としてピッチング推定を行う（Ｓ８１０）。ピッチング推定処理は周知であり、例えば、特開２００３−０４３１４７号公報に記載の技術を用いることができる。また、車両の傾きセンサ等からの情報を利用してもよい。

続いて、測距点群の回転変換を実施する（Ｓ８２０）。この処理では、推定したピッチング角αを用いて、ピッチング時に得られた測距点群が実際には物体のどの位置に相当するかを特定し、測距点群を補正する。

続いて、自車両のピッチングを補正した補正クラスタ点群を用いて統合し、統合クラスタ点群を得る（Ｓ８３０）。
このような処理を実施すると、例えば、図２０に示すように、車両のピッチングによって各時刻に異なる位置のクラスタ点群が得られる。例えば、センサＡにてピッチングが発生していない場合のクラスタ点群が得られ、センサＢにて自車両が上向きにピッチングした場合における比較的高い位置のクラスタ点群が得られ、センサＣにて自車両が下向きにピッチングしている場合における比較的低い位置のクラスタ点群が得られたとする。

このような場合、単にこれらを統合するのではなく、図２０に示すように、これらの位置をピッチングしていない場合に得られる位置に補正した上でクラスタ点群を統合する。このようにすると、ピッチングによる点群補正を実施しない場合と比較して、より高解像度な、または鉛直方向により広い範囲の統合クラスタ点群が得られることになる。このような処理が終了すると、第６実施形態の統合処理を終了する。

［６−２．効果］
（６ａ）このような第６実施形態の運転支援システムによれば、自車両の姿勢（傾き）に応じて測距点群を補正することで、より高解像度な、または鉛直方向により広い範囲の統合クラスタ点群が得られるので、高精度な識別を行うことができる。

［７．第７実施形態］
［７−１．構成および処理］
次に、第７実施形態の運転支援システムについて説明する。第７実施形態の運転支援システムにおいては、複数の装置による識別結果を取得し、種別に基づいて物体の形状に合致するように補正クラスタ点群を生成する。

具体的には、図２１に示す統合処理を実施する。第７実施形態の統合処理では、図２１に示すように、まず、レーダ制御部１１による前回の識別結果や外部装置４０による識別結果を取得する（Ｓ８６０）。そして、識別結果に応じて点群補正処理の際に利用する点群モデルを選択する（Ｓ８７０）。

続いて、点群モデルフィッティングを実施する（Ｓ８８０）。この処理では、例えば図２２に示すように、前回の識別結果や外部装置４０による識別結果（センサＡ）において電柱であると識別され、電柱の点群モデルが選択された場合には、電柱の点群モデルに最も合致するように、センサＢおよびセンサＣにおける各クラスタ点群を補正する。

より具体的には、例えば、ICP（Iterative Closest Point）等の一般的に知られる２点群のフィッティング技術を利用すればよい。この処理では、点群間の位置の誤差が最小となるようにクラスタ点群が補正され、補正クラスタ点群を生成する。

続いて、前述のような補正クラスタ点群の統合処理を行い（Ｓ８９０）、第７実施形態の統合処理を終了する。
［７−２．効果］
（７ａ）このような第７実施形態の運転支援システムによれば、物体の種別が識別できている場合には、その形状に合わせて位置を補正するので、補正精度が向上し高精度な識別を行うことができる。

［８．第８実施形態］
［８−１．構成および処理］
次に、第８実施形態の運転支援システムについて説明する。第８実施形態の運転支援システムにおいては、レーダ制御部１１は、測距点群取得時の測距点の距離に応じた重み付けを行った上で統合クラスタ点群を用い、識別処理を行う。
なお、点群補正処理については、例えば重心座標変換を用いて説明する。

具体的には、まず、クラスタ点群を取得する際に、各測距点の距離も記録しておく。次に、クラスタ点群における重心座標が原点となるよう各測距点を平行移動させる。この座標変換にて補正クラスタ点群を得る。

そして、測距点の距離を含む補正クラスタ点群を用いて統合する。そして、第８実施形態の運転支援システムでは、図２３に示す識別処理を実施する。第８実施形態の識別処理では、図２３に示すように、まず、統合クラスタ点群に付随した距離情報を用いて、識別処理に有効な測距点を選定する（Ｓ９１０）。

この処理では、例えば、所定距離以内の測距点のみを使用し、それ以遠の測距点は使用しないよう設定する。すなわち、ある程度遠距離のデータは信頼性が乏しい可能性があるため、使用されにくく設定する。他には、例えば統合クラスタ点群の中で、距離が近い測距点ほど重み付けを大きくして識別を行ってもよい。

以下、図９にて示したＳ４４０およびＳ４５０の処理を実施し、第８実施形態の識別処理を終了する。
［８−２．効果］
（８ａ）このような第８実施形態の運転支援システムによれば、各測距点の距離に応じて重み付けを行った上で物体の識別を行うため、信頼度の高い情報のみを用いて高精度な識別を行うことができる。

［９．第９実施形態］
［９−１．構成および処理］
次に、第９実施形態の運転支援システムについて説明する。第９実施形態の運転支援システムにおいては、レーダ制御部１１は、測距点の距離から得られるレーザ光の照射領域（以下、測距点領域と呼ぶ。）とその面積（以下、測距点面積と呼ぶ。）に基づいてクラスタ点群のレーザ光の照射領域（以下、クラスタ点群領域と呼ぶ。）の面積（以下、クラスタ点群面積と呼ぶ。）を演算し、クラスタ点群面積を利用して統合クラスタ点群を識別する。また、第９実施形態の運転支援システムにおいてレーダ制御部１１は、今回得られたクラスタ点群領域と、過去におけるクラスタ点群領域との和集合（以下、統合クラスタ点群領域と呼ぶ。）の面積（以下、統合クラスタ点群面積と呼ぶ。）を用いて統合クラスタ点群を識別する。
なお、点群補正処理については、例えばここでは第８実施形態の重心座標変換を用いて説明する。

具体的には、まず、測距点群を取得する際に、各測距点の測距点領域を記録しておく。
なお、測距点領域は、距離が大きくなるに従って領域が大きくなるよう設定される。次に、重心座標を用いた座標変換にて補正クラスタ点群を得る。続いて、測距点領域を含む補正クラスタ点群を用いて統合する。

そして、第９実施形態の運転支援システムでは、図２４に示す識別処理を実施する。第９実施形態の識別処理では、まず、統合クラスタ点群面積を演算する（Ｓ９６０）。この際、図２５に示すように、センサＡにおける補正クラスタ点群領域とセンサＢにおける補正クラスタ点群領域に対して、各測距点面積の総和を統合クラスタ点群面積とする。

続いて、統合クラスタ点群面積を特徴量として、予め用意した識別モデルを用いて識別スコアの演算を行う（Ｓ９７０）。このような処理が終了すると、第９実施形態の識別処理を終了する。

［９−２．効果］
（９ａ）このような第９実施形態の運転支援システムによれば、統合クラスタ点群面積を用いて物体を識別するので、物体の面積を高精度に表現でき、高精度な識別を行うことができる。

［１０．第３実施形態］
［１０−１．構成および処理］
次に、第１０実施形態の運転支援システムについて説明する。第１０実施形態の運転支援システムにおいては、レーダ制御部１１は追跡処理（Ｓ１３０）を用いて各クラスタの速度を取得し、予め速度別に学習したモデルから各クラスタの速度に応じて１つのモデルを選択し、選択したモデルを用いて識別を行う。

すなわち、図２６に示す識別処理を実施する。第１０実施形態の識別処理では、図２６に示すように、まず、各統合クラスタ点群の平均速度を演算する（Ｓ１０１０）。この処理では、自車速や舵角から自車両の速度を求めるとともに、追跡処理（Ｓ１３０）に基づいて各クラスタの速度を求める。そして、過去一連のクラスタの速度の平均を統合クラスタ点群の平均速度とする。

続いて、モデルを選定する（Ｓ１０２０）。ここで、レーダ制御部１１においては、予め物体の種別および物体の速度の区分に応じて複数のモデルが準備されている。例えば歩行者の場合、静止状態では姿勢の変化が小さいが、移動中には姿勢の変化が大きいため、速度に応じて複数のモデルを準備する。

続いて、選定したモデルを用いて識別スコアの演算を行う（Ｓ１０３０）。このような処理が終了すると、第１０実施形態の識別処理を終了する。
［１０−２．効果］
（１０ａ）このような第１０実施形態の運転支援システムによれば、速度に応じて姿勢が変化する場合であっても、姿勢変化に対して頑強な識別を行うことができる。

［１１．他の実施形態］
以上、本発明を実施するための形態について説明したが、本発明は上述の実施形態に限定されることなく、種々変形して実施することができる。

（１１ａ）例えば、取得した点群データの誤差が小さいと推定される場合には、物体認識処理を図２７に示すようにしてもよい。ここで誤差は、主にデータ取得タイミングのずれ、自車両の位置または方位の推定誤差、そしてレーダによる測距誤差のことを指す。すなわち、クラスタリング（Ｓ１２０）前に、Ｓ１３０，Ｓ１４０の処理および点群の統合（Ｓ１９０）を行ってもよい。

点群の統合では、クラスタリング前の測距点群について、クラスタ点群の統合（Ｓ１７０）と同様の処理で統合し、その後、クラスタリング（Ｓ１２０）および識別処理（Ｓ１８０）を実施するとよい。

このような運転支援システムによれば、簡素な処理で物体の認識を行うことができる。
（１１ｂ）レーダ制御部１１は、少なくとも１つの自車両外の装置を含む複数の装置において検知された自車両の周囲に位置する物体に関する情報であり、少なくとも該物体の位置と大きさとを含むクラスタ情報を取得し（Ｓ１１０，Ｓ１２０）、複数のクラスタ情報を統合してもよい（Ｓ５０）。この場合、統合後の複数のクラスタ情報を用いて物体の認識を行ってもよい（Ｓ１８０：Ｓ４０８〜Ｓ６４０）。

具体的には、例えば、データ送信処理（図１０）において、データを送信する側の装置においてクラスタリングを行い、少なくともクラスタが示す物体の代表位置（例えば重心位置や原点位置等）とサイズ（例えば外接矩形の大きさ等）とを含むクラスタ情報を、データを受信する側の装置に送信する。この際、クラスタ点群の送信を省略してもよい。

なお、データを送信する側の装置がクラスタ点群の送信を省略する場合には、統合の処理（Ｓ５０）の際に代表位置やサイズを統合し、統合回数に応じて、物体認識の処理として物体の信頼度や物体の属性を認識してもよい（Ｓ４０８〜Ｓ６４０）。物体の信頼度とは、統合されたクラスタ情報が物体を示すかノイズを示すかの確からしさを示す値である。

このようにすれば、データを送信する側の装置とデータを受信する側の装置との間でやり取りされるデータ量を削減することができる。
（１１ｃ）上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加または置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。

（１１ｄ）上述した運転支援システムの他、当該運転支援システムの構成要素となる制御装置、当該運転支援システムとしてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体、運転支援方法など、種々の形態で本発明を実現することもできる。

［１２．実施形態の構成と本発明の手段との対応関係］
上記実施形態においてレーダ制御部１１は本発明でいう物体認識装置に相当し、レーダ制御部１１が実行する処理のうちのＳ５０の処理は本発明でいう統合部に相当する。また、上記実施形態においてＳ１１０，Ｓ１２０の処理は本発明でいう点群取得部およびクラスタ取得部に相当し、上記実施形態においてＳ１５０の処理は本発明でいう一致判定部に相当する。

また、上記実施形態においてＳ１８０の処理は本発明でいう物体認識部に相当し、上記実施形態においてＳ４１０の処理は本発明でいう統合カウント部に相当する。また、上記実施形態においてＳ４３０，Ｓ９１０，Ｓ４４０，Ｓ４５０の処理は本発明でいう重み付け認識部に相当し、上記実施形態においてＳ６６０，Ｓ６７０の処理は本発明でいう点群方向推定部に相当する。

また、上記実施形態においてＳ６８０の処理は本発明でいう点群補正部に相当し、上記実施形態においてＳ６９０の処理は本発明でいう補正後統合部に相当する。また、上記実施形態においてＳ７１０の処理は本発明でいう点群分割部に相当し、上記実施形態においてＳ７３０の処理は本発明でいうパーツ方向推定部に相当する。

また、上記実施形態においてＳ７３５の処理は本発明でいうパーツ回転補正部に相当し、上記実施形態においてＳ７４０の処理は本発明でいう補正後統合部に相当する。また、上記実施形態においてＳ９６０の処理は本発明でいう面積演算部に相当し、上記実施形態においてＳ１０１０の処理は本発明でいう速度取得部に相当する。

１…運転支援システム、１０…レーダ装置、１１…レーダ制御部、１２…走査駆動部、１３…光学ユニット、１４…発光部、１５…受光部、１８…ＣＰＵ、１９…メモリ、３０…車両制御部、３５…通信部、４０…外部装置。

Claims

自車両に搭載された物体認識装置（１１）であって、
少なくとも１つの自車両外の装置において検知された自車両の周囲に位置する物体に関する第１の測距点群の代表位置及びサイズを取得し、且つ、自車両の装置において検知された自車両の周囲に位置する物体に関する第２の測距点群を取得する点群取得部（Ｓ１１０，Ｓ１２０）と、
少なくとも１つの前記第１の測距点群の代表位置及びサイズに応じた第１のクラスタ領域と、前記第２の測距点群の代表位置及びサイズに応じた第２のクラスタ領域とを重ね合せて、統合領域を生成する統合部（Ｓ５０）と、
前記統合部により前記第２のクラスタ領域に重ね合せた前記第１のクラスタ領域の個数である統合数をカウントする統合カウント部（Ｓ４１０）と、
前記統合数に基づいて、前記統合領域が物体を示すかノイズを示すかの確からしさを認識する認識部（Ｓ１８０）と、
を備えた
物体認識装置。
請求項１に記載の物体認識装置であって、
前記総合領域が物体を示す確からしさを示す値である信頼度を、前記統合数に応じて算出する信頼度算出部を更に備える、物体認識装置。
請求項１又は請求項２に記載の物体認識装置であって、
前記点群取得部は、クラスタリング前の第２の測距点群を取得する
物体認識装置。
請求項１又は請求項２に記載の物体認識装置であって、
前記点群取得部は、クラスタリング後の第２の測距点群を取得する
物体認識装置。
請求項１〜請求項４のいずれか１項に記載の物体認識装置であって、
少なくとも１つの前記第１の測距点群の前記代表位置に基づいて、前記第１のクラスタ領域と前記第２のクラスタ領域とが同一の物体を示すか否かを判定する一致判定部（Ｓ１５０）、
をさらに備え、
前記統合部は、前記一致判定部により同一の物体を示すと判定した前記第１のクラスタ領域と前記第２のクラスタ領域のみを重ね合せる、
物体認識装置。