JP7478900B2

JP7478900B2 - 物体認識装置

Info

Publication number: JP7478900B2
Application number: JP2023506720A
Authority: JP
Inventors: 昂亮坂田; 昌芳黒田
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2021-03-17
Filing date: 2021-09-28
Publication date: 2024-05-07
Anticipated expiration: 2041-09-28
Also published as: US20230418659A1; JPWO2022195929A1; WO2022195929A1

Description

本発明は、物体認識装置に関する。

ＬｉＤＡＲセンサは外界に向けて発したレーザパルスの散乱反射を観測することで、物体までの距離などを測るセンサであり、大量のレーザパルスを３次元空間の任意の方向へ離散的に発することで、非常に密な大量の観測値の集合として点群状のデータを取得することができる。

従来、このような点群データを入力として、車両や歩行者などの物体を検出する外界認識装置がある。点群データは非常に密な観測値の集合であるためデータ量が大きく、処理する外界認識装置において大きな処理負荷または長い処理時間が発生する。

大きな処理負荷に対応するために高性能な計算機を用いる場合、外界認識装置の製造コストが増大する。また長い処理時間を許容する場合、点群データの更新から認識結果の出力までの遅延時間が長くなり、外界の急な変化に対する認識速度が低下してしまい、外界認識装置の性能が低下してしまう。

この問題を解決する手段として、例えば特許文献１では、複数の外界認識センサ用信号処理装置で構成されるシステムにおいて、それぞれの外界認識センサ用信号処理装置が並列動作することで外界認識センサ情報の処理性能を向上させている。

特開２０１９－１５８３９０号公報

特許文献１に開示の技術は、複数の外界認識センサにそれぞれ用意された外界認識センサ用信号処理装置を用いてそれぞれの外界認識センサの信号を処理する構成とすることで、全体としての単位時間当たりの処理性能を向上させ処理時間を短縮するものだが、ＬｉＤＡＲセンサのような単一のセンサから発せられる大量のデータを分散処理するものではない。

単一のセンサからの入力信号が大量である場合、処理装置の処理負荷を軽減するため、若しくは処理時間を短縮するためには、入力信号単位、若しくは入力信号に適用する処理単位、若しくは処理の実行タイミング、などの分散化や、処理量自体を削減する施策が必要であり上記発明はそれらを考慮したものではない。

本発明は、以上の課題を解決するために創出され、その目的は、点群のセンサデータを入力とする物体認識処理において処理負荷を低減することができる物体認識装置を提供することにある。

上記目的を達成するために、本発明の物体認識装置は、センサによってセンシングされた点群のセンサデータを複数のステージからなるソフトウェアパイプラインに入力して物体認識処理を実行するプロセッサと、メモリと、を備え、前記プロセッサは、それぞれの前記ステージに割り当てられた前記物体認識処理を構成する処理を実行する複数の処理ユニットを有し、前記メモリは、それぞれの前記ステージの出力データを一時的に格納する複数のタスクキュー領域を有し、前記プロセッサは、それぞれの前記ステージの前記出力データが後段の前記ステージの入力において有効でない場合、それぞれの前記タスクキュー領域に前記出力データを格納せずに棄却する物体認識装置であって、前記プロセッサは、前記センサによってセンシングされた方位角の所定範囲に対応する前記センサデータごとに前記ソフトウェアパイプラインによって前記物体認識処理を実行する。

本発明によれば、点群のセンサデータを入力とする物体認識処理において処理負荷を低減することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の実施例１に係る物体認識装置の構成の一例を示すブロック図である。本発明の実施例１に係る物体認識装置の利用形態を説明するための図である。本発明の実施例１に係る外界認識センサのセンシング形態の例を説明するための図である。本発明の実施例１に係る外界認識センサのセンシング形態の例を説明するための図である。本発明の実施例１に係る外界認識センサのセンシングと従来の認識アルゴリズムの実行タイミングの時系列関係を説明するための図である。本発明の実施例１に係る外界認識センサのセンシングと本発明を適用した物体認識装置における部分的認識アルゴリズムの実行タイミングの時系列関係を説明するための図である。本発明の実施例１に係る部分的認識アルゴリズムの一例として座標変換アルゴリズムの処理手順を説明するための図である。本発明の実施例１に係る部分的認識アルゴリズムの一例としてクラスタリングアルゴリズムの処理手順を説明するための図である。本発明の実施例１に係る部分的認識アルゴリズムの一例としてグリッド化アルゴリズムの処理手順を説明するための図である。本発明の実施例１に係る部分的認識アルゴリズムの一例としてグルーピングアルゴリズムの処理手順を説明するための図である。本発明の実施例１に係るタスク優先度決定部の動作の一例を説明するための図である。本発明の実施例１に係るタスク優先度決定部の動作の一例を説明するための図である。本発明の実施例１に係る部分的認識アルゴリズムの一例として座標変換アルゴリズムの処理手順を説明するためのフローチャートである。本発明の実施例１に係る部分的認識アルゴリズムの一例としてクラスタリングアルゴリズムの処理手順を説明するためのフローチャートである。本発明の実施例１に係る部分的認識アルゴリズムの一例としてグリッド化アルゴリズムの処理手順を説明するためのフローチャートである。本発明の実施例１に係る部分的認識アルゴリズムの一例としてグルーピングアルゴリズムの処理手順を説明するためのフローチャートである。

以下、図面を用いて、実施例１～３による物体認識装置（点群データ処理装置）の構成及び動作について説明する。物体認識装置は、車両などの移動体に搭載され、ＬｉＤＡＲセンサ等の外界認識センサが観測した結果得られる観測点の集合を用いて物体を検出する処理装置である。

［実施例１］
以下、添付の図面を用いてこの発明の実施形態の一例を説明する。また説明中の記述と、添付のフロ―チャートが示す処理との対応を、フローチャート中に付与した記号（Ｓ１，Ｓ２，…）を記述中に併記することで示す。

図１は実施例１に係る物体認識装置３の構成の一例を示すブロック図である。以下では、便宜上、各処理それ自体を動作主体として説明することもあるが、各処理の実際の動作主体はプロセッサ４である。

図２はこの出願に係る物体認識装置３の利用形態を示す概略図である。図２に示す物体認識装置３は車両に設置され、外界認識センサ１（ＬｉＤＡＲセンサ等）を備えている。図２中の外界認識センサ１は車両のバンパの高さに１つ設置されているが、外界認識センサ１の設置場所や設置個数は任意に設計して良く、図２の形態に限定されるものではない。

図２において示される例では、外界認識センサ１は垂直方向の認識可能角度範囲内（図２中符号１２から１３で示す範囲）において、複数のレーザ光を放射状かつ離散的に照射することで複数の角度方向の観測点１１を得ることができる。同様に水平方向の認識可能角度範囲内（図２中符号１４から１５で示す範囲）においても、複数のレーザ光を照射することで、複数の角度方向の観測点１１を得ることができる。このようにして３次元の座標情報を持つ複数の観測点１１の集合としての点群データを外界認識センサ１より取得することが出来る。

この際、図３、図４で示される例においては、外界認識センサ１はレーザ光の照射方向を水平方向の認識可能角度範囲内の始端１４から終端１５に向けて掃引するように連続的に変化させることで、３次元の座標情報を持つ複数の観測点１１の集合としての点群データを生成する。

レーザ光の照射方向を掃引する方法については、図３に示される例のごとく垂直方向に異なる仰角で設置された複数のレーザ光照射装置を水平方向の認識可能角度範囲始端１４から終端１５にかけて、水平方向に掃引する方法が考えられる。または、図４に示される例のごとく単一のレーザ光照射装置を認識可能角度範囲内の水平方向始端１４から終端１５を往復するように掃引し、また同時に認識可能角度範囲内の垂直方向下端１３から上端１２または上端１２から下端１３にかけてレーザ光照射装置の仰角を変化させることで、３次元の座標情報を持つ複数の観測点１１の集合としての点群データを生成する。

このように外界認識センサ１が点群データを生成するためにレーザ光照射装置の照射方向を掃引させる方法が考えられるが、本発明で想定する掃引方法は図３、図４に例として示した方法に限定されることはなく、いずれの掃引方法を用いた場合にも適用可能である。また点群データの表現方法も３次元空間における座標形式に限定されるものではなく、例えば極座標表現を用いた方法など３次元空間における座標情報と等価以上の情報量を持つ別の方法を用いて実現された場合においても本発明を適用可能である。以降では一貫した説明のために点群データは３次元空間における座標形式（ｘ，ｙ，ｚ）の情報として扱うこととする。

図５では点群データを利用した従来の物体認識装置による典型的な処理手順を時間軸上に示している。従来の物体認識装置では上記掃引によって得られた認識可能角度範囲内のすべての３次元の座標情報を備えた点群データを用いて認識処理を行うため、まず掃引を完了させ、その後に入力データを座標情報へ変換し、その後に認識処理Ａ、認識処理Ｂと順番に処理することで点群データから物体の検出などを行い、その結果を出力する。

この際、物体認識装置を搭載する車載システムの性能要件から、掃引の完了から結果出力までに要する処理時間を出来るだけ短くしたい。図５に図示した従来の物体認識装置の処理時間を短縮するための方法を図６に示す。ここでは外界認識センサからの入力データを処理し得られた点群データを、一定の観測点１１の個数または掃引の角度範囲で区切り、区切られた区間ごとに含まれる部分的点群データを用いて処理Ａ、処理Ｂ、処理Ｃを部分的に実施することを繰り返すことを示している。

外界認識センサからの入力データ処理から、部分的認識アルゴリズムＡ、部分的認識アルゴリズムＢ、部分的認識アルゴリズムＣはソフトウェアパイプライン状に、それぞれの処理結果が後段の処理にとっての入力となる依存関係で配置されている。図６に示す例では入力データ処理の結果は部分的認識アルゴリズムＡの入力となり、部分的認識アルゴリズムＡの結果は部分的認識アルゴリズムＢへの入力となり、部分的認識アルゴリズムＣも同様の依存関係である。

このような構成とすることでレーザ光照射装置の掃引の完了を待たずに並行して認識処理の一部を部分的に実施でき、レーザ光照射装置の掃引の完了時点においては既にいくつかの点群データ区間に含まれる点群データに対しての認識処理は完了しており、残りの点群データを処理し、結果を出力することとなる。このため、図５で例示した従来の物体認識装置における処理時間と比較して、図６で例示した本発明を適用した場合の物体認識装置の処理時間は短縮される。

図６で示したソフトウェアパイプライン状の処理配置の実現方法について図１を用いて説明する。点群データを用いて物体を認識するための認識アルゴリズムは複数の部分的認識アルゴリズムによって構成されている。それぞれの部分的認識アルゴリズムはソフトウェアパイプライン状に配置されており、上位の部分的認識アルゴリズムの処理結果が下位の部分的認識アルゴリズムへの入力となるような依存関係となっている。

図１に示す例では部分的認識アルゴリズムＡがソフトウェアパイプラインの最上段に位置する処理であり、その処理結果データはタスクとしてエンキュー判定部Ａでの判定処理を経て、メモリ上のタスクキューＡ領域に書き込まれる。部分的認識アルゴリズムＢはメモリ上のタスクキューＡ領域を常にチェックし未処理のタスクが存在すれば取り出し、部分的認識アルゴリズムＢへの入力データとして利用しアルゴリズムを実施する。その処理結果データは前述と同様に、タスクとしてエンキュー判定部Ｂでの判定を経て、メモリ上のタスクキューＢ領域に書き込まれる。また、タスクキューから取り出され処理されたタスクはメモリ上から削除される。部分的認識アルゴリズムＣを主体とする振る舞いも前述と同様である。

それぞれの部分的認識アルゴリズムを実施する主体は処理ユニット５である。処理ユニット５が複数存在する場合、処理ユニット５への部分的認識アルゴリズムの割り当てはタスク優先度決定部によって決定される。タスク優先度決定部はメモリ上のそれぞれのタスクキュー領域に書き込まれているタスクの総量をそれぞれ比較し、未処理のタスクが多く残っているタスクキューに対して高い優先度を設定し、未処理のタスクが少ないタスクキューには低い優先度を設定する。

処理ユニット５はタスクキューに設定されている優先度を逐次確認し、高い優先度が設定されているタスクキューの未処置タスクに対応した部分的認識アルゴリズムを優先的に実行するように動作させる。以上の構成により外界の状況変化に起因するセンシング結果の粗密や認識対象の増減などの変化によって、特定のタスク量が増減することに対して動的に処理リソースを配分することが可能となり、処理効率が高まる。

タスク優先度決定部の例として図１１を用いて説明する。タスク優先度決定部の目的は本発明を適用するプロセッサ４が複数の処理ユニット５を持つ場合に、それぞれの処理ユニット５をどの部分的認識アルゴリズムの実行に割り当てるかを決定することである。

処理ユニット５の割り当てはタスク優先度決定部によって決定されるそれぞれの部分的認識アルゴリズムによって処理されるタスクキューの優先度によって決定される。図１１ではタスクキューの優先度を数字で表しており、数字が小さいほど高い優先度を意味する。複数の処理ユニットは各部分的認識アルゴリズムに対応するタスクキューに設定された優先度に従い、最も高い優先度が設定されている部分的認識アルゴリズムを実行するように割り当てられる。

優先度の決定方法は、各タスクキューに書き込まれている未処理のタスクの量を比較し、最も未処理のタスク量が多いタスクキューを入力とする部分的認識アルゴリズムから順に高い優先度を付与する。図１１に示す例ではタスクキューＡ、Ｂ、Ｃの順で未処理のタスク量が多く、したがってそれらに対応する部分的認識アルゴリズムはＡ、Ｂ、Ｃの順で高い優先度を付与されることを示している。

また、図１２では、各タスクキューの未処理のタスク量が同じであった場合は、対応する部分的認識アルゴリズムに対しても同じ優先度の値を付与し、この場合は複数の処理ユニットは各部分的認識アルゴリズムに対して均等に割り当てられることを示している。

部分的認識アルゴリズムの例として図７に座標変換アルゴリズムを示す。座標変換アルゴリズムはＬｉＤＡＲなどの外界認識センサ１から送信されるデータを入力とし（Ｓ１）、センサ固有のデータフォーマットに従ってデータを解読し（Ｓ２）、後段の部分的認識アルゴリズムが認識可能な座標形式データ３０への変換処理を実施する（Ｓ３）。

図７では３次元の直交座標系を用いて座標形式データ３０を図示しているが、座標形式データ３０の表現形態は３次元の直交座標系に限定されるものではなく、後段の部分的認識アルゴリズムにとって適した形式とすることも可能である。本説明においては一貫した説明のために外界認識センサの設置位置を原点とした３次元の直交座標系を用いた表現のデータとして（ｘ，ｙ，ｚ）を用いる。

実際に運用するセンサによっては観測点の信号の強さや、速度などの座標情報以上の情報を取得できる場合があるが、それらの情報についても座標形式データ３０と同様に扱うことは当然可能であり、本発明の適用範囲は座標形式データ３０にのみ限定されるものではない。

座標形式データ３０は座標変換アルゴリズムの出力として、座標変換アルゴリズム用のタスクキュー領域２２に書き込むかを判定するためにエンキュー判定部２１へ入力される。座標変換アルゴリズムのエンキュー判定においては、後段の部分的認識アルゴリズムへの入力として利用可能かを判定し、判定に合格したデータはタスクとして座標変換アルゴリズム用のタスクキュー領域２２に書き込まれる（Ｓ６）。判定によって棄却されたデータは前述のタスクキュー領域２２に書き込まず、その場で消去する、若しくは棄却データとして別のメモリ領域に書き込む。

エンキュー判定部２１での具体的な判定方法は座標形式データ３０が既定の空間内に含まれるかどうかによって判定する。図７における３次元直交座標系では例えばＸ軸方向、Ｙ軸方向、Ｚ軸方向の座標値にそれぞれ上下限を設定し、その上下限値によって規定される直方体の空間以内に含まれる座標形式データ３０を合格とし、空間の外に位置する座標形式データ３０を棄却するように判定する（Ｓ４）。

または、座標形式データ３０までの距離情報を用いて既定の閾値よりも近い座標形式データ３０を棄却する、若しくは一定の閾値よりも遠い座標形式データ３０を棄却する、若しくはその両方も用いて判定してもよい。または、センサ固有のデータフォーマットに含まれる情報として特定の座標形式データ３０が無効値であることが示されている場合は棄却してもよい（Ｓ５）。または、センサ固有のデータフォーマットに含まれる情報として座標形式データ３０の強度や信頼度、確度などが示されている場合、既定の閾値以下の値である場合に棄却してもよい（Ｓ５）。

部分的認識アルゴリズムの例として図８にクラスタリングアルゴリズムを示す。クラスタリングアルゴリズムは座標形式データ３０を入力とし（Ｓ１１）、複数の座標形式データ３０が同一の物体を検出していると判断できるほど十分に密接している、若しくは複数の座標形式データ３０間に関連性が認められる場合に、それら複数の座標形式データ３０に対して同一の物体を検出した点であることを示すためのラベル情報を付与したクラスタデータ３１に変換する。

クラスタリングアルゴリズムにおいて実施される座標形式データ３０間の密接度の評価や関連性の評価については種々の実現方法があると考えられるが一例としては２つの座標形式データ３０間の距離を計算し（Ｓ１２）、既定の閾値よりも距離が短ければ同一のラベル値をそれぞれの座標形式データ３０に付与し（Ｓ１４）、クラスタデータ３１に変換する操作を対象となる既存の座標形式データ３０すべてに対して繰り返し実施する方法としてもよい。

ラベルを付与する際には既存のクラスタデータ３１が既に有意なラベル値を保有している場合は他方の座標形式データ３０に対して同一のラベルを付与する。また、いずれの既存の座標形式データ３０との評価においても密接度や関連性が認められなかった場合、当該の座標形式データ３０は新規のラベル値として一定の時間間隔内で既に付与されているいずれのラベル値とも重複しない値を付与する（Ｓ１５）。

クラスタデータ３１はクラスタリングアルゴリズムの出力として、クラスタリングアルゴリズム用のタスクキュー領域２４に書き込むかを判定するためにエンキュー判定部２３へ入力される。クラスタリングアルゴリズムのエンキュー判定部２３においては、後段の部分的認識アルゴリズムへの入力として利用可能かを判定し、判定に合格したデータはタスクとしてクラスタリングアルゴリズム用のタスクキュー領域２４に書き込まれる（Ｓ１８）。判定によって棄却されたデータは前述のタスクキュー領域２４に書き込まず、その場で消去する、若しくは棄却データとして別のメモリ領域に書き込む。

エンキュー判定部２３での具体的な判定方法は座標形式データ３０が、一定個数以上の座標形式データ３０を保有するクラスタデータ３１に属するかによって判定する。当該の座標形式データ３０がどのクラスタデータ３１にも属していないか、属しているクラスタデータ３１が保有する座標形式データ３０が一定の個数以下の場合、それらの座標形式データ３０はノイズとして扱い合格としない（Ｓ１６）。

他方で一定以上の個数の座標形式データ３０によって構成されているクラスタデータ３１は何かしらの物体を観測していると判断されエンキュー判定部２３において合格と判断する。クラスタデータ３１の構成点数はクラスタリングアルゴリズムの処理が進むにつれて更新されるため、あるタイミングでの判定によって合格とされなかったとしても、後程合格条件を満たす可能性があるため、即座に棄却しない。

また、図８における３次元直交座標系でＸ軸方向、Ｙ軸方向、Ｚ軸方向の座標値にそれぞれ上下限を設定し、その上下限値によって規定される直方体の空間以内に含まれるクラスタデータ３１を合格とし、空間の外に位置するクラスタデータ３１を棄却するように判定してもよい（Ｓ１７）。

部分的認識アルゴリズムの例として図９にグリッド化アルゴリズムを示す。グリッド化アルゴリズムはクラスタデータ３１を入力とし（Ｓ２１）、図９中に示されるＸ軸とＹ軸とで規定されるＸＹ平面上にクラスタデータ３１が示す座標情報を射影変換し（Ｓ２２）、あらかじめＸＹ平面上に設けた格子地図状に並ぶ複数の矩形区画のうち、射影変換したクラスタデータ３１が示す座標情報がどの区画（Ｘ，Ｙ）に属するかを判定する。あるクラスタデータ３１が属する格子地図上の区画３２が決定されたのち、その区画３２に紐づけられメモリ上に保持されている統計データを更新する操作を行う（Ｓ２３）。

ある区画３２に紐づいて管理される具体的な統計データの内容は、ある区画３２に対応付けられた少なくとも１つ以上のクラスタデータ３１の個数、クラスタデータ３１の各要素の各最大値と最小値、観測点の各要素の各分散値、観測点の各要素の各平均値や、ある時刻を基準として現在までにクラスタデータ３１が対応付けられた総回数、連続して対応付けられた回数などであり、その他にも種々の統計情報を本統計データとして設定することが考えられる。

統計データが更新された区画３２の格子地図上の番地を表すインデックス情報（Ｘ，Ｙ）はグリッド化アルゴリズムの出力として、グリッド化アルゴリズム用のタスクキュー領域２６に書き込むかを判定するためにエンキュー判定部２５へ入力される。

グリッド化アルゴリズムのエンキュー判定部２５においては、後段の部分的認識アルゴリズムへの入力として利用可能かを判定し、判定に合格したデータはタスクとしてグリッド化アルゴリズム用のタスクキュー領域２６に書き込まれる（Ｓ２５）。判定によって棄却されたデータは前述のタスクキュー領域２６に書き込まず、その場で消去する、若しくは棄却データとして別のメモリ領域に書き込む。

エンキュー判定部２５での具体的な判定方法は、あるセンシング周期において統計データが更新されたある区画３２を示すインデックス情報が例えばセンシング周期によって規定される一定の時間間隔内で同一の区画３２の番地を表すインデックス情報がエンキュー判定部２５において既に判定されていなければ合格とし、逆に一定の時間間隔内で既に同一の区画３２の番地を表すインデックス情報がエンキュー判定部２５において判定済み場合は、後段の部分的認識アルゴリズムにおいて重複した操作を引き起こす情報とみなし棄却する（Ｓ２４）。

部分的認識アルゴリズムの例として図１０にグルーピングアルゴリズムを示す。グルーピングアルゴリズムは格子地図上の区画を表すインデックス情報を入力とし（Ｓ３１）、複数の区画に同一の物体が検出されていると判断できるほど十分に密接している、若しくは区画間に関連性が認められる場合に、それら複数の区画に対して同一の物体が検出されている領域であることを示すためのラベル情報を付与したグループ情報３３に変換する。

グルーピングアルゴリズムにおいて実施される区画の密接度の評価や関連性の評価については種々の実現方法があると考えられるが一例としては、格子地図上に存在する評価対象の区画３２に隣接する複数の区画について、それらの区画のうちインデックス情報が対応付けられた区画が存在すれば（Ｓ３２）、評価対象の区画３２はその区画と同一のグループを構成する区画だとして、隣接の区画がラベル値を保有していれば同一のラベル値を付与し（Ｓ３６）、隣接の区画がラベル値を保有していなければ既存のグループに付与されているラベル値と重複しないラベル値をそれぞれの区画に対応するインデックス情報に付与する（Ｓ３５）。

評価対象の区画３２に隣接する区画のいずれにもインデックス情報と紐づけられた区画が存在しなければ、評価対象の区画３２は新規のグループを構成する区画として、既存のグループに付与されているラベル値と重複しないラベル値を付与してもよい（Ｓ３３）。既存または新規のグループとしてラベル値に対応するグループ情報３３に対して、新たなインデックス情報を追加して更新する（Ｓ３７）。

いずれのエンキュー判定部においても、判定によって棄却されなかったデータは後段の部分的認識アルゴリズムにて処理されるべきタスクとして各部分的認識アルゴリズム用のタスクキュー領域に書き込まれる。いずれのタスクキュー領域においても、先入れ先出し方式（ＦＩＦＯ）のデータ並び順で格納され、後段の部分的認識アルゴリズムが本タスクキュー領域からタスクを取得する際は最も古いデータから順に取得する。

本実施例の特徴は以下のようにまとめることもできる。

物体認識装置３は、センサ（外界認識センサ１）によってセンシングされた点群のセンサデータを複数のステージからなるソフトウェアパイプラインに入力して物体認識処理を実行するプロセッサ４と、メモリと、を備える。なお、本実施例では、図１に示すようにプロセッサ４に内蔵されるメモリを利用しているが、プロセッサ４の外部に設けられたメモリを利用してもよい。

図１に示すように、プロセッサ４は、それぞれのステージＡ～Ｃに割り当てられた物体認識処理を構成する処理（部分的認識アルゴリズムＡ～Ｃに応じた処理）を実行する複数の処理ユニット５（プロセッサコア）を有する。メモリは、それぞれのステージの出力データを一時的に格納する複数のタスクキュー領域（タスクキューＡ～Ｃ）を有する。プロセッサ４は、それぞれのステージの出力データが後段のステージの入力において有効でない場合、それぞれのタスクキュー領域に出力データを格納せずに棄却する。これにより、後段のステージの処理負荷を低減することができる。

詳細には、プロセッサ４は、それぞれのステージＡ～Ｃの出力データをそれぞれのタスクキュー領域（タスクキューＡ～Ｃ）に格納するかどうかを判定する複数のエンキュー判定部Ａ～Ｃを備える。それぞれのエンキュー判定部は、それぞれのステージの出力データが後段の前記ステージの入力において有効でない場合、それぞれのタスクキュー領域に出力データを格納せずに棄却する。なお、それぞれのエンキュー判定部Ａ～Ｃの処理を行う主体は、例えば、それぞれの処理ユニット５である。

換言すれば、それぞれのエンキュー判定部Ａ～Ｃは、それぞれのステージＡ～Ｃの出力データが後段のステージの入力において有効である場合のみ、それぞれのタスクキュー領域（タスクキューＡ～Ｃ）に出力データを格納する。これにより、例えば、ステージごとにプロセッサとメモリのリソースを有効に活用することができる。

本実施例では、それぞれの処理ユニット５は、それぞれのステージＡ～Ｃにおいて、センサデータ又は前段のステージのタスクキュー領域（タスクキューＡ～Ｃ）に格納された出力データを用いて演算を行う。なお、センサデータは、センサ（ＬｉＤＡＲセンサ等の外界認識センサ１）から出力され、メモリに逐次保存されるストリームデータである。これにより、センサデータはソフトウェアパイプラインで逐次処理されるため、１スキャンの物体認識処理に要する時間が従来例よりも短くなる。

図１に示すプロセッサ４は、図１１に示すように、それぞれのステージのタスクキュー領域（タスクキューＡ～Ｃ）に格納された未処理の出力データ（タスク）の数に応じてタスクキュー領域の優先度を決定するタスク優先度決定部を有する。タスク優先度決定部は、例えば、それぞれのステージのタスクキュー領域（タスクキューＡ～Ｃ）に格納された未処理の出力データ（タスク）の数が多い順にタスクキュー領域に高い優先度を付与する。プロセッサ４は、最も高い優先度が付与されたタスクキュー領域（タスクキューＡ～Ｃ）に格納された出力データを処理する後段のステージに複数の処理ユニット５を動的に割り当る。これにより、ステージごとの処理負荷が平準化され、スループットを向上することができる。

図６に示すように、プロセッサ４は、センサ（外界認識センサ１）によってセンシングされた方位角の所定範囲に対応するセンサデータごとにソフトウェアパイプラインによって物体認識処理を実行する。これにより、１スキャンの物体認識処理に要する時間が従来例よりも短くなる。

図７に示すセンサ（外界認識センサ１）は、観測値が取得できない場合、無効であることを示す情報をセンサデータに含めて出力する。最初のステージの処理ユニット５は、センサデータに無効であることを示す情報が含まれる場合、無効であることを示す情報を出力データ（座標形式データ３０）に含めて出力する。最初のステージのエンキュー判定部２１は、出力データに無効であることを示す情報が含まれる場合、最初のステージの出力データが後段のステージの入力において有効でないと判定する。最初のステージのエンキュー判定部２１は、最初のステージの出力データ（座標形式データ３０）が後段のステージの入力において有効でない場合、出力データを最初のステージのタスクキュー領域２２へ格納しない。これにより、観測値が取得できない場合の出力データが除外され、後段のステージの処理負荷を低減することができる。

また、少なくとも１つのステージのエンキュー判定部２１は、そのステージの出力データが、センサ（外界認識センサ１）がセンシングできる三次元空間の範囲内である場合、そのステージの出力データが後段のステージの入力において有効であると判定する。これにより、センサの性能（仕様）から出力データが有効かどうかを判定することができる。

図９に示すように、少なくとも１つのステージのエンキュー判定部２５は、そのステージの出力データ（Ｘ，Ｙ）のうち重複する２個目以降の出力データを有効でないと判定する。これにより、後段のステージの処理負荷をさらに低減することができる。

物体認識処理は、図７に示すように、第１のステージで、センサデータをデコードし、デコードされたセンサデータを座標形式データ３０に変換する第１のステップと、図８に示すように、第２のステージで、座標形式データ３０のうち位置の近いものどうしをグルーピングしてクラスタデータ３１を生成する第２のステップと、図９に示すように、第３のステージで、クラスタデータ３１を平面上の区画３２に射影変換して区画３２の位置を示すインデックス情報（Ｘ，Ｙ）を生成する第３のステップと、図１０に示すように、第４のステージで、インデックス情報（Ｘ，Ｙ）のうち位置の近いものどうしをグルーピングする第４のステップと、を含む。これにより、物体認識処理のレイテンシを従来例よりも短縮することができる。

図６に示すように、ソフトウェアパイプラインは複数本設けられ、センサ（外界認識センサ１）によってセンシングされた方位角の所定範囲に対応するセンサデータは、それに対応するソフトウェアパイプラインに入力される。プロセッサ４は、それぞれのソフトウェアパイプラインによって物体認識処理を実行する。これにより、それぞれの方位角の所定範囲に対応するセンサデータはそれぞれのソフトウェアパイプラインで逐次処理されるため、物体認識処理のレイテンシを従来例よりもさらに短縮することができる。

図１に示すように、それぞれの処理ユニット５は、それぞれのステージに割り当てられた物体認識処理を構成する処理のアルゴリズムを示す部分的認識アルゴリズムＡ～Ｃに従って処理を実行する。これにより、それぞれのステージに割り当てられた処理をソフトウェア的に行うことができる。

以上説明したように、本実施例によれば、点群のセンサデータを入力とする物体認識処理において処理負荷を低減することができる。

［実施例２］
本発明が適用される物体認識装置３は装置への入力となる外界認識センサ１としてＲａｄａｒセンサを利用することもできる。Ｒａｄａｒセンサを用いて取得された観測点の集合としての点群データに対しても実施例１に示した本発明を適用した物体認識装置３を構成可能である。また、カメラセンサを用いて取得された画像データから抽出した観測点の集合としての点群データに対しても同様に実施例１に示した本発明を適用した物体認識装置３を構成可能である。

［実施例３］
本発明が適用される物体認識装置３は装置への入力となる外界認識センサ１を一種類に限定するものではなく、複数種類のセンサを異種混合に用いてもよく、また構成するセンサの個数も１個に限定されるものではなく、複数個のセンサを用いても実施例１および実施例２に示した本発明を適用した物体認識装置３を構成可能である。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

なお、本発明の実施例は、以下の態様であってもよい。

（１）．外界認識センサのセンシングにより取得された外界の点群データを逐次受信し保存するメモリと、前記メモリに保存された前記点群データ及び複数の部分認識アルゴリズムにより構成される物体認識アルゴリズムに基づいて物体認識処理を実行する演算部とを備える物体認識装置であって、前記演算部は各前記部分認識アルゴリズムに基づき演算を行う複数ステージからなるソフトウェアパイプラインを構成する演算処理ユニットを備え、前記メモリは、各ステージへの入出力データを一時的に格納するタスクキュー領域を複数有し、前記入出力データとは前記各ステージへ入力されるデータ及び前段のステージにて演算処理された処理結果データであって、前記各ステージは、前記タスクキュー領域に格納された入力データもしくは前段のステージの前記処理結果データを用い演算を行うものであり、前記演算部は、前段のステージでの処理結果データを後段のステージへ入力するかどうかを判断するエンキュー判断部を複数有し、前記エンキュー判定部は、前記前段のステージの処理結果データが、前記後段のステージへの入力における有効値であるかを判定し、前記有効値でないと判断される場合は、対応する前記タスクキュー領域にはデータを追加せずに破棄する物体認識装置。

（２）．（１）に記載の物体認識装置であって、前記演算部はさらに、前記複数のタスクキュー領域に対しそれぞれのタスクの処理優先度を設定するタスク優先度決定部を備え、前記タスク優先度決定部は、各ステージにおいて前記複数のタスクキュー領域に保持される未処理データ件数が多い順に前記タスクキュー領域に対して高い優先度を付与することを特徴とする物体認識装置。

（３）．（２）に記載の物体認識装置であって、前記高い優先度が付与された前記タスクキュー領域の前記ステージへ優先的に演算リソースを割り当てるものであって、前記点群データはセンシングにおいて所定の観測点を取得するごとに前記メモリへ逐次送信され、前記演算部により逐次処理されることを特徴とする物体認識装置。

（４）．（１）に記載の物体認識装置であって、前記有効値でない場合とは、前記外界認識センサによる観測値の取得ができなかった場合であって、前記観測値が得られない場合には無効を示すデータを出力し、前記観測値を無効化することを特徴とする物体認識装置。

（５）．（４）に記載の物体認識装置において、前記有効値でない場合は、前記観測値をタスクキュー領域へ出力しないことを特徴とする物体認識装置。

（６）．（１）に記載の物体認識装置であって、前記有効値であるデータとは前記物体認識装置が認識すべき三次元空間の観測範囲内のセンシングデータであることを特徴とする物体認識装置。

（７）．（１）に記載の物体認識装置であって、前記点群データと同様のデータがセンシングにより入力された場合には、前記点群データと同様のデータは無効とし、既入力された前記点群データをセンシングに利用することを特徴とする物体認識装置。

（８）．（１）に記載の物体認識装置であって、各ステージにおいては異なる画像処理が行われるものであって、前記画像処理には、前記外界認識センサから取得したデータをデコードし、座標値に変換する第一のステップと、前記第一のステップで得られた座標値のうち座標上で近い位置に存在する物体をグルーピングして観測点として認識する第二のステップと、前記第二のステップで得られた観測点情報をＸＹ平面に対応させる第三のステップと、前記第三のステップで対応付けられた情報を観測点が近いもの同士をグルーピングして認識する第四のステップを含むことを特徴とする物体認識装置。

（９）．（１）乃至（８）に記載の物体認識装置であって、前記パイプラインは複数本設けられるものであって前記外界認識センサが所定角度のセンシングにより取得したデータは、対応するパイプラインへそれぞれ入力され、前記複数の部分認識アルゴリズムに基づき逐次演算が実行されるものであることを特徴とする物体認識装置。

以上の構成では、前記演算部は前記複数のタスクキュー領域に対しそれぞれのタスクの処理優先度を設定するタスク優先度決定部を備え、前記タスク優先度決定部は、各ステージにおいて前記複数のタスクキュー領域に保持される未処理データ件数が多い順に前記タスクキュー領域に対して高い優先度を付与し、また、前記高い優先度が付与された前記タスクキュー領域の前記ステージへ優先的に演算リソースを割り当てるものであって、前記点群データはセンシングにおいて所定の観測点を取得するごとに前記メモリへ逐次送信され、前記演算部により逐次処理されることで並列に動作する演算処理ユニットの負荷を平準化し処理効率を高めることができる。

また、前記有効値でない場合とは、前記外界認識センサによる観測値の取得ができなかった場合であって、前記観測値が得られない場合には無効を示すデータを出力し、前記観測値を無効化し、前記有効値でない場合は、前記観測値をタスクキュー領域へ出力せず、前記有効値であるデータとは前記物体認識装置が認識すべき三次元空間の観測範囲内のセンシングデータであり処理対象のタスクを有効値に限ることで全体の処理量を削減できる。

また、前記点群データと同様のデータがセンシングにより入力された場合には、前記点群データと同様のデータは無効とし、既入力された前記点群データをセンシングに利用することで重複した処理を削減することができる。

また、ソフトウェアパイプラインの各ステージにおいては異なる画像処理が行われるものであって、前記画像処理には、前記外界認識センサから取得したデータをデコードし、座標値に変換する第一のステップと、前記第一のステップで得られた座標値のうち座標上で近い位置に存在する物体をグルーピングして観測点として認識する第二のステップと、前記第二のステップで得られた観測点情報をＸＹ平面に対応させる第三のステップと、前記第三のステップで対応付けられた情報を観測点が近いもの同士をグルーピングして認識する第四のステップを含むことで独立した画像処理を並列化して処理可能となり、処理効率が向上する。

１外界認識センサ、３物体認識装置、４プロセッサ、５処理ユニット、１１観測点、１２認識可能角度範囲内の垂直方向上端、１３認識可能角度範囲内の垂直方向下端、１４認識可能角度範囲内の水平方向始端、１５認識可能角度範囲内の垂直方向終端、２１座標変換アルゴリズムにおけるエンキュー判定部、２２座標変換アルゴリズムにおけるタスクキュー領域、２３クラスタリングアルゴリズムにおけるエンキュー判定部、２４クラスタリングアルゴリズムにおけるタスクキュー領域、２５グリッド化アルゴリズムにおけるエンキュー判定部、２６グリッド化アルゴリズムにおけるタスクキュー領域、２７グルーピングアルゴリズムにおけるエンキュー判定部、２８グルーピングアルゴリズムにおけるタスクキュー領域、３０座標形式データ、３１クラスタデータ、３２クラスタデータが対応付けられた格子地図上の区画、３３グループ情報

Claims

センサによってセンシングされた点群のセンサデータを複数のステージからなるソフトウェアパイプラインに入力して物体認識処理を実行するプロセッサと、メモリと、を備え、
前記プロセッサは、それぞれの前記ステージに割り当てられた前記物体認識処理を構成する処理を実行する複数の処理ユニットを有し、
前記メモリは、それぞれの前記ステージの出力データを一時的に格納する複数のタスクキュー領域を有し、
前記プロセッサは、それぞれの前記ステージの前記出力データが後段の前記ステージの入力において有効でない場合、それぞれの前記タスクキュー領域に前記出力データを格納せずに棄却する物体認識装置であって、
前記プロセッサは、前記センサによってセンシングされた方位角の所定範囲に対応する前記センサデータごとに前記ソフトウェアパイプラインによって前記物体認識処理を実行することを特徴とする物体認識装置。
請求項１に記載の物体認識装置であって、
前記プロセッサは、
それぞれの前記ステージの前記出力データをそれぞれの前記タスクキュー領域に格納するかどうかを判定する複数のエンキュー判定部を備え、
それぞれのエンキュー判定部は、
それぞれの前記ステージの前記出力データが後段の前記ステージの入力において有効でない場合、それぞれの前記タスクキュー領域に前記出力データを格納せずに棄却する
ことを特徴とする物体認識装置。
請求項２に記載の物体認識装置であって、
それぞれの前記処理ユニットは、
それぞれの前記ステージにおいて、前記センサデータ又は前段の前記ステージの前記タスクキュー領域に格納された前記出力データを用いて演算を行う
ことを特徴とする物体認識装置。
請求項２に記載の物体認識装置であって、
それぞれの前記エンキュー判定部は、
それぞれの前記ステージの前記出力データが後段の前記ステージの入力において有効である場合のみ、それぞれの前記タスクキュー領域に前記出力データを格納する
ことを特徴とする物体認識装置。
請求項１に記載の物体認識装置であって、
前記プロセッサは、
それぞれの前記ステージの前記タスクキュー領域に格納された未処理の前記出力データの数に応じて前記タスクキュー領域の優先度を決定するタスク優先度決定部を有する
ことを特徴とする物体認識装置。
請求項５に記載の物体認識装置であって、
前記タスク優先度決定部は、
それぞれの前記ステージの前記タスクキュー領域に格納された未処理の前記出力データの数が多い順に前記タスクキュー領域に高い優先度を付与する
ことを特徴とする物体認識装置。
請求項６に記載の物体認識装置であって、
前記プロセッサは、
最も高い前記優先度が付与された前記タスクキュー領域に格納された前記出力データを処理する後段の前記ステージに複数の前記処理ユニットを動的に割り当る
ことを特徴とする物体認識装置。
請求項２に記載の物体認識装置であって、
前記センサは、観測値が取得できない場合、無効であることを示す情報を前記センサデータに含めて出力し、
最初の前記ステージの前記処理ユニットは、前記センサデータに無効であることを示す情報が含まれる場合、無効であることを示す情報を前記出力データに含めて出力し、
最初の前記ステージの前記エンキュー判定部は、
前記出力データに無効であることを示す情報が含まれる場合、最初の前記ステージの前記出力データが後段の前記ステージの入力において有効でないと判定する
ことを特徴とする物体認識装置。
請求項８に記載の物体認識装置であって、
最初の前記ステージの前記エンキュー判定部は、
最初の前記ステージの前記出力データが後段の前記ステージの入力において有効でない場合、前記出力データを最初の前記ステージのタスクキュー領域へ格納しない
ことを特徴とする物体認識装置。
請求項２に記載の物体認識装置であって、
少なくとも１つの前記ステージの前記エンキュー判定部は、
前記ステージの前記出力データが、前記センサがセンシングできる三次元空間の範囲内である場合、前記ステージの前記出力データが後段の前記ステージの入力において有効であると判定する
ことを特徴とする物体認識装置。
請求項２に記載の物体認識装置であって、
少なくとも１つの前記ステージの前記エンキュー判定部は、
前記ステージの前記出力データのうち重複する２個目以降の前記出力データを有効でないと判定する
ことを特徴とする物体認識装置。
センサによってセンシングされた点群のセンサデータを複数のステージからなるソフトウェアパイプラインに入力して物体認識処理を実行するプロセッサと、メモリと、を備え、前記プロセッサは、それぞれの前記ステージに割り当てられた前記物体認識処理を構成する処理を実行する複数の処理ユニットを有し、前記メモリは、それぞれの前記ステージの出力データを一時的に格納する複数のタスクキュー領域を有し、前記プロセッサは、それぞれの前記ステージの前記出力データが後段の前記ステージの入力において有効でない場合、それぞれの前記タスクキュー領域に前記出力データを格納せずに棄却する物体認識装置であって、
前記物体認識処理は、
第１のステージで、前記センサデータをデコードし、デコードされた前記センサデータを座標形式データに変換する第１のステップと、
第２のステージで、前記座標形式データのうち位置の近いものどうしをグルーピングしてクラスタデータを生成する第２のステップと、
第３のステージで、前記クラスタデータを平面上の区画に射影変換して前記区画の位置を示すインデックス情報を生成する第３のステップと、
第４のステージで、前記インデックス情報のうち位置の近いものどうしをグルーピングする第４のステップと、を含む
ことを特徴とする物体認識装置。
センサによってセンシングされた点群のセンサデータを複数のステージからなるソフトウェアパイプラインに入力して物体認識処理を実行するプロセッサと、メモリと、を備え、前記プロセッサは、それぞれの前記ステージに割り当てられた前記物体認識処理を構成する処理を実行する複数の処理ユニットを有し、前記メモリは、それぞれの前記ステージの出力データを一時的に格納する複数のタスクキュー領域を有し、前記プロセッサは、それぞれの前記ステージの前記出力データが後段の前記ステージの入力において有効でない場合、それぞれの前記タスクキュー領域に前記出力データを格納せずに棄却する物体認識装置であって、
前記ソフトウェアパイプラインは複数本設けられ、
前記センサによってセンシングされた方位角の所定範囲に対応する前記センサデータは、それに対応する前記ソフトウェアパイプラインに入力され、
前記プロセッサは、
それぞれの前記ソフトウェアパイプラインによって前記物体認識処理を実行する
ことを特徴とする物体認識装置。
請求項１に記載の物体認識装置であって、
それぞれの前記処理ユニットは、
それぞれの前記ステージに割り当てられた前記物体認識処理を構成する処理のアルゴリズムを示す部分的認識アルゴリズムに従って処理を実行する
ことを特徴とする物体認識装置。