JP6766898B2 - 点群データ処理装置、点群データ処理方法、点群データ処理プログラム、車両制御装置及び車両 - Google Patents

Description

本発明は、距離測定装置によって取得した点群データのうち対象物に関連した点群データのみを抽出するための技術に関するものである。

従来、Ｌｉｄａｒ（Light Detection and Ranging、Laser Imaging Detection and Ranging：「光検出と測距」ないし「レーザー画像検出と測距」）と呼ばれる距離測定技術が存在する。Ｌｉｄａｒによれば、多数の測定点について測定点までの距離及び測定点の三次元座標を取得した点群データが得られ、その点群データに基づいて、対象物までの距離や対象物の形状等を特定する手法が開発されている。

特許文献１には、点群データを用いて移動体と障害物の接触を予測する画像処理装置及びそれを用いた運転支援システムが開示されている。

特開２０１６−１３４０９０号公報

Ｌｉｄａｒ等によって取得した点群データは広範囲を一様に探査してデータ取得を行うものであるため、取得した点群データを目的に応じて利用するためには、取得した点群データが対象物に含まれるか否かなどの分類、いわゆる点群データのセグメンテーションを行う必要がある。

点群データのセグメンテーションの手法としては、例えば、以下のものが挙げられる。
（１）単純なユークリッド距離ベースのセグメンテーション
点群間の距離をベースに閾値以下のクラスターをセグメントと見なして計算する手法である。例えば、最初に深さ情報で荒いセグメンテーションを行い、その中で距離ベースのセグメンテーションを適用し、細かいセグメンテーションを得る手法がよく使われる。

（２）Difference of Normals（DoN）
工夫された手法としてDoNが知られている。これは点群中の１点を中心にある決められた一定範囲の法線ベクトルＡの計算を行う。さらにＡを計算した時よりも広い範囲での法線ベクトルＢを計算する。その時、ベクトルＡ、Ｂの差を計算したときの絶対値｜Ｂ−Ａ｜の値が大きければ対象点周辺での形状の変化が大きく、小さければ対象点周辺の変化は小さいとみなすことができる。変化の大きい点以外をフィルターすることで、各オブジェクトに属するクラスターをうまく分離することが期待できる。

（３）Min-Cut Based Segmentation
点群をグラフとみなして、グラフ理論の定番手法である最小カットアルゴリズムを使って点群を再帰的に分割していく手法である。

上記（１）の手法は、セグメンテーションをしたいオブジェクトによって最適な閾値が異なることがあるため、適切に分類できないおそれがあった。また、物体同士が非常に近い位置にある場合、距離ベースの手法では区別をつけることができないという問題があった。上記（２）の手法は、点ごとに法線ベクトルを計算しなければいけないので、広い範囲をカバーできるＬｉｄａｒの点群を扱うと計算量が膨大になってしまうという問題があった。また、フィルター後の処理は距離ベースのクラスタリングを行うので、近接する物体の区別が難しいという問題がある。上記（３）の手法は、上記（２）と同様に、計算量が膨大になってしまうという問題があり、また、どこまで細かく分割するかの閾値を決めなければいけないという処理上の問題があった。

自動運転などの技術において、前を走る車両や障害物をリアルタイムに識別して処理を行うためには、点群データを対象物ごとに正確に分類する必要があり、かつ、分類をリアルタイムに行うためには計算量が少なく短時間で行える必要があるが、上記（１）〜（３）の方法はこの条件を満たしていない。

本発明は、上記問題点に鑑みなされたものであり、短時間で処理可能な演算量で点群データを対象物ごとに正確に分類可能な点群データ処理装置、点群データ処理方法、点群データ処理プログラム、車両制御装置及び車両を提供することを目的とする。

本発明に係る点群データ処理装置は、撮影された画像を取得する画像データ取得部と、前記画像に含まれる複数の点に対応する点群の位置情報を示す点群データを取得する点群データ取得部と、前記画像上の対象物を囲む領域である対象領域、及び、前記対象領域を拡大した領域である拡大領域を設定する領域設定部と、前記点群データに含まれる、前記対象領域に含まれる点群の深さ情報と前記拡大領域に含まれる点群の深さ情報とに基づいて、前記対象物に対応する対象点群を特定する対象点群特定部と、を具備してなることを特徴とする。

また、本発明に係る点群データ処理装置は、前記対象点群特定部は、前記対象領域に含まれる点群の深さ情報から作成した対象領域のヒストグラムと、前記拡大領域に含まれる点群の深さ情報から作成した拡大領域のヒストグラムとを比較して、両者が一致した範囲を対象物に対応する対象点群として特定するようにしたことを特徴とする。

また、本発明に係る点群データ処理装置は、前記対象点群特定部は、対象領域のヒストグラムにおける分布のピークの階級から点群の深さの深い方向と浅い方向に向かってそれぞれ階級ごとに、対象領域のヒストグラム値と拡大領域のヒストグラム値とを比較し、両者の値の相違が所定値以下であり、かつ、拡大領域のヒストグラム値が所定値以上である最後の階級を、対象点群として特定するヒストグラムの範囲に含まれる境界の階級として設定するようにしたことを特徴とする。

本発明に係る点群データ処理方法は、撮影された画像を取得する画像データ取得手順と、前記画像に含まれる複数の点に対応する点群の位置情報を示す点群データを取得する点群データ取得手順と、前記画像上の対象物を囲む領域である対象領域、及び、前記対象領域を拡大した領域である拡大領域を設定する領域設定手順と、前記点群データに含まれる、前記対象領域に含まれる点群の深さ情報と前記拡大領域に含まれる点群の深さ情報とに基づいて、前記対象物に対応する対象点群を特定する対象点群特定手順と、を含むことを特徴とする。

本発明に係る点群データ処理プログラムは、撮影された画像を取得する画像データ取得機能と、前記画像に含まれる複数の点に対応する点群の位置情報を示す点群データを取得する点群データ取得機能と、前記画像上の対象物を囲む領域である対象領域、及び、前記対象領域を拡大した領域である拡大領域を設定する領域設定機能と、前記点群データに含まれる、前記対象領域に含まれる点群の深さ情報と前記拡大領域に含まれる点群の深さ情報とに基づいて、前記対象物に対応する対象点群を特定する対象点群特定機能と、をコンピュータに実現させることを特徴とする。

本発明に係る車両制御装置は、上記点群データ処理装置を備えていることを特徴とする。

本発明に係る車両は、上記車両制御装置を備えていることを特徴とする。

本発明によれば、画像データに対して物体検出アルゴリズム等に基づいて正しく対象領域の設定が行われてさえいれば、近接する物体に所属する点群を正しく区別することができる。２次元画像データでは深さ情報がないため、２次元画像データに３次元の点群データを投影しただけでは、複数の対象領域が重なっている場所に点群が投影された場合に、どの対象領域にどの点群データが所属するのかを判別できなかったが、本発明に係る点群データ処理装置１０により、各対象領域に対応した点群データを少ない計算量で正確に特定することが可能となる。すなわち、カメラ画像の物体認識で得られた物体のクラス／トラッキング情報をそのまま流用できるため、点群用の分類器／追跡器を別途用意する必要がないというメリットがある。

本発明に係る疾患の点群データ処理装置１０の構成を表したブロック図である。 カメラ画像データに対して対象領域を設定した様子を表した説明図である。 カメラ画像データに対して拡大領域を設定した様子を表した説明図である。 図３における一つの拡大領域を表示した説明図である。 点群データ処理装置１０における対象点群特定処理の流れを表したフローチャート図である。 ヒストグラムの分布の一例を表したイメージ図である。

［第１の実施の形態］
以下、図面を参照しながら、第１の実施の形態に係る点群データ処理装置の例について説明する。図１は、本発明に係る点群データ処理装置１０の構成を表したブロック図である。なお、点群データ処理装置１０は、専用マシンとして設計した装置であってもよいが、一般的なコンピュータによって実現可能なものであるものとする。この場合に、点群データ処理装置１０は、一般的なコンピュータが通常備えているであろうＣＰＵ（Central Processing Unit：中央演算処理装置）、メモリ、ハードディスクドライブ等のストレージを具備しているものとし、必要であればさらにＧＰＵ（Graphics Processing Unit：画像処理装置）を具備しているものとする（図示省略）。また、これらの一般的なコンピュータを本例の点群データ処理装置１０として機能させるためにプログラムよって各種処理が実行されることは言うまでもない。

点群データ処理装置１０は、カメラ画像取得部１１と、点群データ取得部１２と、同期処理部１３と、領域設定部１４と、ヒストグラム作成部１５と、対象点群特定部１６と、記憶部１７とを少なくとも備えている。

カメラ画像取得部１１は、点群データ処理装置１０による処理対象の環境を撮影するために別途設けられた撮影カメラからのカメラ画像を取得する機能を有する。例えば、車両に点群データ処理装置１０を搭載する場合には、車両の前方を撮影してカメラ画像を取得するように撮影カメラが設置され、撮影カメラからのカメラ画像データ１８がカメラ画像取得部１１によって取得される。

点群データ取得部１２は、点群データ処理装置１０による処理対象の環境について、対象の各点までの距離（深さ）及び３次元座標情報からなる点群データを取得するためするために別途設けられた距離測定装置から点群データを取得する機能を有する。例えば、車両に点群データ処理装置１０を搭載する場合には、車両の前方方向の点群データを取得するように距離測定装置が設置され、距離測定装置からの点群データが点群データ取得部１２によって取得される。また、距離測定装置の設置位置は、カメラ画像データ１８を取得するための撮影カメラと近接していることが好ましく、カメラの撮像方向と同一方向かつ同一角度で測定できることが理想である。なお、距離測定装置としては、例えば、Ｌｉｄａｒが考えられるが、これに限定されるものではなく、各点までの距離（深さ）及び３次元座標情報が得られるものであればどのようなものであってもよい。

同期処理部１３は、カメラ画像取得部１１で取得したカメラ画像データ１８と、点群データ取得部１２で取得した点群データ１９との同期処理及びキャリブレーションを行う機能を有する。例えば、車両に点群データ処理装置１０を搭載する場合には、撮影カメラによる画像データ１８の取得と、距離測定装置による点群データ１９の取得は同時に行われるが、これらのデータについて点群データ処理装置１０において同期をとる必要がある。また、撮影カメラによるカメラ画像データは２次元の平面画像であるのに対して、距離測定装置による点群データは３次元座標情報であり、カメラ画像データ上に点群データを適切に投影するためには、撮影カメラと距離測定装置との間でキャリブレーションを行う必要がある。

領域設定部１４は、カメラ画像取得部１１で取得したカメラ画像データ１８に基づいて、カメラ画像に含まれる対象物を含む対象領域及びこの対象領域を拡大した拡大領域を設定する機能を有する。カメラ画像に含まれる対象物を特定して対象領域を設定する手法はどのようなものであってもよく、既存の物体検出アルゴリズムに基づいて対象領域を設定する。また、拡大領域は、対象領域を所定倍率で拡大した領域であり、必ず対象領域を含んだ状態で設定される。また、カメラ画像中に複数の対象物が存在する場合には各対象物ごとに対象領域及び拡大領域が設定され、対象物が重なっている場合には対象領域及び拡大領域も重なった状態となるが、各対象物ごとに設定されることに変わりはない。なお、本例では、カメラ画像データ１８から対象領域及び拡大領域を設定するものとして説明を行うが、点群データ１９から対象領域及び拡大領域を設定するようにしてもよい。

ヒストグラム作成部１５は、点群データ１９のうち領域設定部１４で設定された対象領域及び拡大領域に投影される点群データの深さ情報に基づいてヒストグラムを作成する機能を有する。具体的には、画像中に存在する複数の対象領域のそれぞれについて、対象領域ｂ及び拡大領域ｂ’にそれぞれ投影される点群データの部分集合ｐ及びｐ’を求め、ｐ及びｐ’の深さ情報からヒストグラムｈ及びｈ’を作成する。複数の対象領域の間で対象領域の一部が重なっている場合には、手前の対象領域に含まれる点群データは処理中の対象領域のヒストグラムから除くようにする。

対象点群特定部１６は、ヒストグラム作成部１５で作成した対象領域のヒストグラムと拡大領域のヒストグラムを比較して、分布がおおよそ一致する範囲の点群を対象物の点群データとして特定する機能を有する。対象領域に映り込んだ対象外の物体は対象領域の外にもはみ出していると仮定すると、拡大領域までヒストグラムの範囲を広げた場合に、対象外の物体の距離に該当するヒストグラムの分布は増加するはずであり、逆に、本来の対象物に該当するヒストグラムの分布は拡大領域までヒストグラムの範囲を広げたとしてもヒストグラムの分布に変化が生じないという考えに基づいて、対象物に該当する点群データを特定し、対象点群データを得る。

記憶部１７は、点群データ処理装置１０において使用するデータ及び処理結果として得られたデータを記憶する機能を有する。具体的には、図１に示すように、カメラ画像データ１８、点群データ１９、領域データ（対象領域及び拡大領域のデータ）２０、ヒストグラムデータ２１、対象点群データ２２などが記憶される。

次に、本発明に係る点群データ処理装置１０における処理の概要について図面に基づいて説明する。図２は、カメラ画像データに対して対象領域を設定した様子を表した説明図である。この図２は、車両に点群データ処理装置１０を搭載して、車両の前方を撮影してカメラ画像データを取得した場合を表している。領域設定部１４において画像データに対して既存の物体検出アルゴリズムに基づいて対象領域を設定する処理を行うことで、この図２に示すように、前方を走る他の車両を対象物として検出して、それぞれの車両を囲む矩形の対象領域（以下、ボックスともいう）が設定されている。この図２において、一台前の車両の対象領域には他の対象物は含まれていないが、二台前の車両の対象領域には車両の奥に存在する電柱が含まれていることが分かる。

図３は、カメラ画像データに対して拡大領域を設定した様子を表した説明図である。この図３は、図２において設定した対象領域を拡大した拡大領域を設定した様子を表している。この図３において、一台前の車両の対象領域には他の対象物は含まれていないため、拡大領域に範囲を広げても他の対象物を含む領域が増えることはないが、二台前の車両の対象領域には車両の奥に存在する電柱が含まれており、拡大領域に範囲を広げると電柱を含む領域が増えることになる。図４は、図３における一つの拡大領域を拡大した説明図である。この図４に示すように、拡大領域に範囲を広げると電柱を含む領域が増えるため、電柱の距離に該当するヒストグラムの分布が増加することになる。すなわち、本来の対象物は対象領域と拡大領域の間でヒストグラムの分布に変化はないが、他の対象物が対象領域に一部含まれている場合には、拡大領域に広げたときにヒストグラムの分布が増加するという特徴がある。これを利用して、対象物を表す点群データのみを対象点群特定部１６で特定するようにする。

次に、本発明に係る点群データ処理装置１０における対象点群特定処理の流れについて図面に基づいて説明する。図５は、点群データ処理装置１０における対象点群特定処理の流れを表したフローチャート図である。この図５における対象点群特定処理は、時刻ｔにおける画像データに対象領域（ボックス）を設定した時点から開始される。なお、撮影カメラにおいて動画で画像データを取得している場合には、フレーム単位で画像を選択してその画像について処理を行うことを想定している。以下の説明において、ボックスＢは、画像に含まれる対象物ごとに設定された全てのボックスを含む概念であり、点群Ｐは、画像データに対応した全ての点群データを含む概念であるものとする。

図５において、対象点群特定処理は、先ず、時刻ｔのボックスＢ及び点群Ｐを取得することによって開始される（ステップＳ０１）。時刻ｔのボックスＢについて、Ｂが空であるか否かを判定する（ステップＳ０２）。Ｂが空である、すなわち時刻ｔのボックスＢには処理すべき対象領域がこれ以上存在しないという場合には、対象点群特定処理のフローを終了する。Ｂが空ではない場合、一番手前のボックスｂを取り出し、Ｂからｂを削除する（ステップＳ０３）。

次に、取り出したボックスｂをｅ倍（ｅは１以上の所定値）に拡大した拡大領域に該当するボックスｂ’を計算し、ｂとｂ’のそれぞれに投影される点群Ｐの部分集合ｐ、ｐ’を求める（ステップＳ０４）。そして、部分集合ｐ、ｐ’のそれぞれについて、深さ情報からヒストグラムｈ、ｈ’を作成する（ステップＳ０５）。ヒストグラムｈのピークの階級をｉとする（ステップＳ０６）。対象物が的確にボックスｂに包含されていれば、ヒストグラムにおいて最も分布の集中したピークの階級部分が対象物の距離に該当するため、ピークの階級ｉを含む部分が対象点群の範囲であると仮定する。次に、ヒストグラムにおいて深さの深い方向にどこまでが対象点群の範囲であるかと、ヒストグラムにおいて深さの浅い方向にどこまでが対象点群の範囲であるかを決定する必要がある。

最初の探索対象のヒストグラムの階級ｉ_ｒをｉと定義（ｉ_ｒ：＝ｉ）し、対象点群の範囲のうち最も深さの深い階級を表すｒを０（ｒ：＝０）と定義する（ステップＳ０７）。拡大領域ｂ’のヒストグラムｈ’のうち階級ｉ_ｒのヒストグラム値であるｈ’［ｉ_ｒ］が０ではないかを判定する（ｈ’［ｉ_ｒ］≠０）（ステップＳ０８）。ｈ’［ｉ_ｒ］≠０の場合、次に、（（ｈ’［ｉ_ｒ］−ｈ［ｉ_ｒ］）／ｈ［ｉ_ｒ］）＞εであるか否かを判定する（ステップＳ０９）。これは、階級ｉ_ｒにおけるｂ、ｂ’におけるヒストグラム値ｈ［ｉ_ｒ］、ｈ’［ｉ_ｒ］の間の差が所定値以上であるか否かを判定するための数式であり、両者の値がほぼ同値である場合には（（ｈ’［ｉ_ｒ］−ｈ［ｉ_ｒ］）／ｈ［ｉ_ｒ］）の値はゼロに近い値となるため、閾値ε以下となるが、両者の値に一定以上の開きが生じてきたときに、閾値εを超えることになる。対象点群の範囲である場合には、（（ｈ’［ｉ_ｒ］−ｈ［ｉ_ｒ］）／ｈ［ｉ_ｒ］）の値はゼロに近い値となるため、ステップＳ０９において、Ｎｏとなり、ステップＳ１０に移行する。次の、階級の探索に移行するために、ｉ_ｒ：＝ｉ_ｒ＋１とし、ｒ：＝ｉ_ｒとした上で、ステップＳ０８に戻る（ステップＳ１０）。

ここで、図６は、ヒストグラムの分布の一例を表したイメージ図である。図６において、横軸は距離測定装置から対象点までの深さ（距離）であり、縦軸は点群の頻度である。また、白抜きの棒グラフは対象領域のボックスｂに対応したヒストグラムｈの分布であり、ハッチングの掛けられた棒グラフは拡大領域のボックスｂ’に対応したヒストグラムｈ’の分布であり、両者を重ね合わせて表示して、拡大領域部分のヒストグラムｈ’において増えた部分だけがハッチングの掛けられた棒グラフとして表示されている。この図６において、ピークの階級ｉから探索を開始した場合、深さの深い方向（図６における右（ｒ）方向）に探索対象の階級を移動していく。ｈとｈ’の両者が一致している、もしくは、差があっても僅かである場合には、図５のステップ０９においてＮｏとなるため、対象点群の範囲のうち最も深さの深い階級を表すｒを現在探索した階級の値に更新（ステップＳ１０）しつつ、次の階級に探索対象を変更していく（ステップＳ０８へ戻る）。この処理を繰り返して行くと、図６に示すように、ｈ’［ｉ_ｒ］の値がゼロとなる階級に到達する。この場合には、ステップＳ０８でＮｏとなるため、ステップＳ１１に移行して、ｉ_ｒ：＝ｉ_ｒ＋１として探索対象の階級を次の階級に変更するが、対象点群の範囲のうち最も深さの深い階級を表すｒについては変更せずに、次の階級に移行する（ステップＳ１１）。ｈ’［ｉ_ｒ］の値がゼロの階級が続く場合、ｒを変更しないまま、次の階級へ移行し続ける（Ｓ０８とＳ１１のループ）。そして、ｈ’［ｉ_ｒ］の値がゼロでない階級に到達したとき（ステップＳ０８−Ｙｅｓ）、その階級において、（（ｈ’［ｉ_ｒ］−ｈ［ｉ_ｒ］）／ｈ［ｉ_ｒ］）＞εであるか否かを判定する（ステップＳ０９）。ここで、ｈ’［ｉ_ｒ］とｈ［ｉ_ｒ］の両者の値に一定以上の開きが生じてきたときは、閾値εを超えるため、次のステップＳ１２に移行する（ステップＳ０９−Ｙｅｓ）。対象点群の範囲のうち最も深さの深い階級を表すｒを確定させるために、ｍａｘ：＝ｒと定義する（ステップＳ１２）。

次に、ヒストグラムにおいて深さの浅い方向にどこまでが対象点群の範囲であるかを決定する処理における最初の探索対象のヒストグラムの階級ｉ_ｌをｉと定義（ｉ_ｌ：＝ｉ）し、対象点群の範囲のうち最も深さの浅い階級を表すｌを０（ｌ：＝０）と定義する（ステップＳ１３）。拡大領域ｂ’のヒストグラムｈ’のうち階級ｉ_ｌのヒストグラム値であるｈ’［ｉ_ｌ］が０ではないかを判定する（ｈ’［ｉ_ｌ］≠０）（ステップＳ１４）。ｈ’［ｉ_ｌ］≠０の場合、次に、（（ｈ’［ｉ_ｌ］−ｈ［ｉ_ｌ］）／ｈ［ｉ_ｌ］）＞εであるか否かを判定する（ステップＳ１５）。これは、階級ｉ_ｌにおけるｂ、ｂ’におけるヒストグラム値ｈ［ｉ_ｌ］、ｈ’［ｉ_ｌ］の間の差が所定値以上であるか否かを判定するための数式であり、両者の値がほぼ同値である場合には（（ｈ’［ｉ_ｌ］−ｈ［ｉ_ｌ］）／ｈ［ｉ_ｌ］）の値はゼロに近い値となるため、閾値ε以下となるが、両者の値に一定以上の開きが生じてきたときに、閾値εを超えることになる。対象点群の範囲である場合には、（（ｈ’［ｉ_ｌ］−ｈ［ｉ_ｌ］）／ｈ［ｉ_ｌ］）の値はゼロに近い値となるため、ステップＳ１５において、Ｎｏとなり、ステップＳ１６に移行する。次の、階級の探索に移行するために、ｉ_ｌ：＝ｉ_ｌ＋１とし、ｌ：＝ｉ_ｌとした上で、ステップＳ１４に戻る（ステップＳ１６）。

ピークの階級ｉから探索を開始して深さの浅い方向（図６における左（ｌ）方向）に探索対象の階級を移動していく。ｈとｈ’の両者が一致している、もしくは、差があっても僅かである場合には、図５のステップ１５においてＮｏとなるため、対象点群の範囲のうち最も深さの浅い階級を表すｌを現在探索した階級の値に更新（ステップＳ１６）しつつ、次の階級に探索対象を変更していく（ステップＳ１４へ戻る）。この処理を繰り返して行くと、図６に示すように、ｈ’［ｉ_ｌ］の値がゼロとなる階級に到達する。この場合には、ステップＳ１４でＮｏとなるため、ステップＳ１７に移行して、ｉ_ｌ：＝ｉ_ｌ＋１として探索対象の階級を次の階級に変更するが、対象点群の範囲のうち最も深さの深い階級を表すｌについては変更せずに、次の階級に移行する（ステップＳ１７）。ｈ’［ｉ_ｌ］の値がゼロの階級が続く場合、ｌを変更しないまま、次の階級へ移行し続ける（Ｓ１４とＳ１７のループ）。そして、ｈ’［ｉ_ｌ］の値がゼロでない階級に到達したとき（ステップＳ１４−Ｙｅｓ）、その階級において、（（ｈ’［ｉ_ｌ］−ｈ［ｉ_ｌ］）／ｈ［ｉ_ｌ］）＞εであるか否かを判定する（ステップＳ１５）。ここで、ｈ’［ｉ_ｌ］とｈ［ｉ_ｌ］の両者の値に一定以上の開きが生じてきたときは、閾値εを超えるため、次のステップＳ１８に移行する（ステップＳ１５−Ｙｅｓ）。そして、対象点群の範囲のうち最も深さの浅い階級を表すｌを確定させるために、ｍｉｎ：＝ｌと定義する（ステップＳ１８）。

このようにして、対象点群のヒストグラム範囲について、最も深さの深い階級ｍａｘと最も深さの浅い階級ｍｉｎが確定したので、ｍａｘ〜ｍｉｎの間をｂの対象点群データｑとして特定して出力する（ステップＳ１９）。そして、画像データ全体に対応した点群Ｐからｑを削除して、ステップＳ０２に移行する（ステップＳ２０）。画像データ内にボックスが存在する限り、ステップＳ０２からステップＳ２０を繰り返して、ボックスＢ内に未処理のボックスがなくなった段階で、処理を終了する。

なお、ステップＳ０８及びステップＳ１４において、拡大領域のヒストグラム値がゼロであるか否かを確認したが、比較対象をゼロとしたのは一例であり、拡大領域のヒストグラム値が所定値以上であるか否かを確認するステップとしても、本発明は同様の効果が得られる。所定値を極端に大きく設定してしまうと機能しないが、設計時に適宜調整して、本発明の効果が得られる範囲でゼロではない所定値に設定しておくことが好ましい。

以上の対象点群特定処理を行うことで、図６に示すように、ボックス内の全点群データからなるヒストグラムの分布のうちから、対象物の点群データの範囲を選択することができるため、対象物の点群データのみを特定することで、不要な点群データを削除して扱うデータ量を削減することができる。

以上のように、本発明に係る点群データ処理装置１０によれば、画像データに対して物体検出アルゴリズム等に基づいて正しくボックスが付けられてさえいれば、近接する物体に所属する点群を正しく区別することができる。２次元画像データでは深さ情報がないため、２次元画像データに３次元の点群データを投影しただけでは、複数のボックスが重なっている場所に点群が投影された場合に、どのボックスにどの点群データが所属するのかを判別できなかったが、本発明に係る点群データ処理装置１０により、各ボックスに対応した点群データを少ない計算量で正確に特定することが可能となる。すなわち、カメラ画像の物体認識で得られた物体のクラス／トラッキング情報をそのまま流用できるため、点群用の分類器／追跡器を別途用意する必要がないというメリットがある。

また、本発明に係る点群データ処理装置１０によれば、点群セグメンテーションの正解データを大量に作成することが可能となるため、機械学習アルゴリズム用の訓練データを簡単に用意できるという効果がある。このようにして生成したデータで自動運転ソフトウェアの性能評価、パラメータチューニングを行うことができる。

また、自動運転等の運転支援システムに適用する場合以外においても、２次元画像に写っている物体に点群から得られる深さ情報を与えることができるため、３次元地図情報の作成などの３次元空間情報自動生成ツールに適用することが可能である。

１０ 点群データ処理装置
１１ カメラ画像取得部
１２ 点群データ取得部
１３ 同期処理部
１４ 領域設定部
１５ ヒストグラム作成部
１６ 対象点群特定部
１７ 記憶部
１８ カメラ画像データ
１９ 点群データ
２０ 領域データ
２１ ヒストグラムデータ
２２ 対象点群データ

Claims (7)

1. 撮影された画像を取得する画像データ取得部と、
   前記画像に含まれる複数の点に対応する点群の位置情報を示す点群データを取得する点群データ取得部と、
   前記画像上の対象物を囲む領域である対象領域、及び、前記対象領域を拡大した領域である拡大領域を設定する領域設定部と、
   前記点群データに含まれる、前記対象領域に含まれる点群の深さ情報と前記拡大領域に含まれる点群の深さ情報とに基づいて、前記対象物に対応する対象点群を特定する対象点群特定部と、
   を具備してなる点群データ処理装置。
2. 前記対象点群特定部は、前記対象領域に含まれる点群の深さ情報から作成した対象領域のヒストグラムと、前記拡大領域に含まれる点群の深さ情報から作成した拡大領域のヒストグラムとを比較して、両者が一致した範囲を対象物に対応する対象点群として特定するようにした
   請求項１記載の点群データ処理装置。
3. 前記対象点群特定部は、対象領域のヒストグラムにおける分布のピークの階級から点群の深さの深い方向と浅い方向に向かってそれぞれ階級ごとに、対象領域のヒストグラム値と拡大領域のヒストグラム値とを比較し、両者の値の相違が所定値以下であり、かつ、拡大領域のヒストグラム値が所定値以上である最後の階級を、対象点群として特定するヒストグラムの範囲に含まれる境界の階級として設定するようにした
   請求項２記載の点群データ処理装置。
4. 撮影された画像を取得する画像データ取得手順と、
   前記画像に含まれる複数の点に対応する点群の位置情報を示す点群データを取得する点群データ取得手順と、
   前記画像上の対象物を囲む領域である対象領域、及び、前記対象領域を拡大した領域である拡大領域を設定する領域設定手順と、
   前記点群データに含まれる、前記対象領域に含まれる点群の深さ情報と前記拡大領域に含まれる点群の深さ情報とに基づいて、前記対象物に対応する対象点群を特定する対象点群特定手順と、
   を含む点群データ処理方法。
5. 撮影された画像を取得する画像データ取得機能と、
   前記画像に含まれる複数の点に対応する点群の位置情報を示す点群データを取得する点群データ取得機能と、
   前記画像上の対象物を囲む領域である対象領域、及び、前記対象領域を拡大した領域である拡大領域を設定する領域設定機能と、
   前記点群データに含まれる、前記対象領域に含まれる点群の深さ情報と前記拡大領域に含まれる点群の深さ情報とに基づいて、前記対象物に対応する対象点群を特定する対象点群特定機能と、
   をコンピュータに実現させる点群データ処理プログラム。
6. 請求項１から請求項３の何れかに記載の点群データ処理装置を備えた車両制御装置。
7. 請求項６に記載の車両制御装置を備えた車両。

Images