JP7279848B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、およびコンピュータ可読媒体に関し、例えば、点群データの教師データを効率よく生成することが可能な画像処理装置、画像処理方法、およびコンピュータ可読媒体に関する。

現在、画像などを用いた認識技術には、統計的機械学習の手法が用いられている。このような統計的機械学習では、認識対象に関連した正解ラベルが付されたラベルデータを大量に用意し、これらのラベルデータを用いて学習および評価が行われている（例えば、非特許文献１及び非特許文献２参照）。

特許文献１には、三次元点群データのデータ量が膨大な場合でも、三次元点群データから高速に物体形状を抽出できる形状抽出装置が開示されている。この形状抽出装置において、三次元点群データに対して、複数の点のすべてを包括する包括ボクセルが設定されている。複数の点のピッチよりも大きなサイズを有する複数の仮想ボクセルで包括ボクセルが分割されている。複数の仮想ボクセルのそれぞれに固有の識別番号が設定されている。識別番号が付与された仮想ボクセル内の点の有無に応じて、仮想ボクセルを単位としてラベリング処理が行われ、点を含む複数の仮想ボクセルのうち、連結する仮想ボクセルに同一のラベル値が付与されている。

特開２０１６－００３８８６号公報

N. Silberman, D. Hoiem, P. Kohli, and R. Fergus. "Indoor segmentation and support inference from RGBD images", In European Conference on Computer Vision (ECCV), 2012. Shibata, Takashi, Masayuki Tanaka, and Masatoshi Okutomi. "Accurate joint geometric camera calibration of visible and far-infrared cameras." Electronic Imaging 2017.11 (2017): 7-13.

上記の、連結する仮想ボクセルに同一のラベル値を付与する方法において、その仮想ボクセルがどのような物体に対応するのか不明である。また、この方法を用いて物体認識処理を行うためには、仮想ボクセルに付与されたラベル値がどのような物体に対応するかを手作業で確認する必要がある。したがって、この方法では、三次元点群データを用いた物体認識処理で使用されるラベルデータを容易に生成することは困難となり得る。

本開示の目的は、上述した課題のいずれかを解決する画像処理装置、画像処理方法及びコンピュータ可読媒体を提供することである。

上記目的を達成するための一態様は、
物体の三次元点群を、複数のクラスタリングパラメータを用いて、前記三次元点群の点間の距離が小さいほど同じクラスタにクラスタリングされるように、分割する三次元点群分割部と、
前記三次元点群の座標と二次元画像の画素の座標との対応関係に基づいて、前記三次元点群のクラスタを二次元画像に写像し、写像点群を生成するクラスタ写像部と、
二次元画像の対象となるラベルと該二次元画像上の位置情報とに基づいて、前記クラスタ写像部にて写像された写像点群の各点に対してラベルを付与するラベル照合部と、
前記ラベル照合部によって付与された写像点群の各点のラベルに対して投票する照合結果投票部と、
前記照合結果投票部による投票結果に基づいて、前記写像点群の各点のラベルを決定するラベル決定部と、
を備える画像処理装置
である。
上記目的を達成するための一態様は、
物体の三次元点群を、複数のクラスタリングパラメータを用いて、前記三次元点群の点間の距離が小さいほど同じクラスタにクラスタリングされるように、分割するステップと
前記三次元点群の座標と二次元画像の画素の座標との対応関係に基づいて、前記三次元点群のクラスタを二次元画像に写像し、写像点群を生成するステップと、
二次元画像の対象となるラベルと該二次元画像上の位置情報とに基づいて、前記写像された写像点群の各点に対してラベルを付与するステップと、
前記付与された写像点群の各点のラベルに対して投票するステップと、
前記投票結果に基づいて、前記写像点群の各点のラベルを決定するステップと、
を含む画像処理方法
であってもよい。
上記目的を達成するための一態様は、
物体の三次元点群を、複数のクラスタリングパラメータを用いて、前記三次元点群の点間の距離が小さいほど同じクラスタにクラスタリングされるように、分割する処理と
前記三次元点群の座標と二次元画像の画素の座標との対応関係に基づいて、前記三次元点群のクラスタを二次元画像に写像し、写像点群を生成する処理と、
二次元画像の対象となるラベルと該二次元画像上の位置情報とに基づいて、前記写像された写像点群の各点に対してラベルを付与する処理と、
前記付与された写像点群の各点のラベルに対して投票する処理と、
前記投票結果に基づいて、前記写像点群の各点のラベルを決定する処理と、
をコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体
であってもよい。

本開示によれば、上述した課題のいずれかを解決する画像処理装置、画像処理方法及びコンピュータ可読媒体を提供することができる。

本実施形態１に係る画像処理装置の概略的なシステム構成を示すブロック図である。 本実施形態１に係るコンピュータの概略的なシステム構成を示すブロック図である。 本実施形態１における三次元点群と複数のクラスタリングパラメータによるクラスタリングの結果を示す図である。 本実施形態１におけるクラスタ写像部とラベル照合部の動作を説明する図である。 本実施形態１に係る画像処理方法のフローを示すフローチャートである。 本実施形態１に係る画像処理装置及び画像処理方法の効果を説明するための図である 本実施形態２に係る画像処理装置の概略的なシステム構成を示すブロック図である。

［実施形態１］
本発明を実施するための形態について、図面を参照して詳細に説明する。図１は、本実施形態１に係る画像処理装置の概略的なシステム構成を示すブロック図である。本実施形態に係る画像処理装置１は、図１に示すように、三次元点群取得部１０と、カメラ情報取得部１１と、二次元ラベル取得部１２と、コンピュータ２０と、点群ラベル出力部３１と、を備えている。

以下、各構成の概要について述べるが、その前に本明細書で使用する記号について列挙する。
・三次元点群の各点を区別するための添え字；ｊ
・三次元点群の世界座標系における各点の座標：（Ｘｊ、Ｙｊ、Ｚｊ）
・カメラ座標系における各点の座標：（ｘ_ｊ、ｙ_ｊ）
・物体ラベル：Ｂ_ｋ
・各物体を区別するための添え字：ｋ
・オブジェクトや属性を区別するためのラベル：ｑ
・位置情報：Ｄ_ｋ
・クラスタリングパラメータ：Ｌ_ｔ
・クラスタリングパラメータを区別するための添え字：ｔ
・世界座標系における分割された各クラスタを区別するための変数：Ｐ_ｔ
・カメラ座標における分割された各クラスタを区別するための変数：Ｃ_ｔ
・ｊ番目の点群、ｔ番目のクラスタリングパラメータに割り当てられた物体ラベル：Ｑ_ｊｔ
・各点ｊにおけるｑ番目の物体ラベルにおける投票数（信頼度）：Ｓ_ｊｑ
・点群のｊ番目の点の物体ラベル：Ｇ_ｊ

［三次元点群取得部］
三次元点群取得部１０は、三次元点群取得装置などにより物体の三次元点群の情報を取得する。三次元点群取得部１０は、具体的に、ＬｉＤＡＲ（Light Detection And Ranging、Laser Imaging Detection and Ranging）など距離を計測する装置を用いて、空間上の三次元点の座標を取得する。三次元点群取得部１０は、空間上の三次元点の座標の集合を三次元点群として取得する。

例えば、地形調査や自動運転等で広く利用されている３Ｄ-ＬｉＤＡＲは、高密度かつ広範囲に三次元空間上の物体の計測点からの距離データを、三次元点群データとして集積可能である。三次元点群取得部１０は、この３Ｄ-ＬｉＤＡＲで取得された実環境の構造を反映するデータ、すなわち、人、自動車などの対象オブジェクト、及び、地面、建物、標識などの構造物から反射されて得られた三次元座標情報を持つ三次元点の集合を、三次元点群として取得する。

以下、三次元点群の座標を（Ｘ_ｊ，Ｙ_ｊ，Ｚ_ｊ）と表す。ここでｊは、三次元点群中の各点を区別するための添え字である。三次元点群取得部１０は、三次元点の座標の集合に加え、装置の情報、或いは三次元点を取得した際の時刻や緯度経度などの位置情報を同時に取得してもよい。さらに、三次元点群取得部１０は、取得された画像或いは測定値をメモリ（図示せず）等に記録してもよい。

［カメラ情報取得部］
カメラ情報取得部（情報取得部）１１は、三次元点群の座標と二次元画像の画素の座標との対応関係を含むカメラ情報を取得する。より具体的には、カメラ情報取得部１１は、三次元点群の座標の位置（すなわち世界座標における三次元座標）と、二次元画像のある画素の座標（すなわちカメラ座標から投影して得られる二次元座標）と、の間の変換に必要なパラメータ（以下、変換パラメータ）を含むカメラ情報を取得する。

例えば、カメラ情報取得部１１は、変換パラメータとして、三次元点群の座標と二次元画像の画素の座標とを関係付ける外部パラメータ、及び二次元画像を取得した際に使用したカメラの内部パラメータを取得する。或いは、カメラ情報取得部１１は、内部パラメータと、外部パラメータの替わりに、三次元点群の座標を表す座標系（すなわち世界座標）と二次元画像を取得するために用いたカメラの座標系（すなわちカメラ座標）の間の回転と並進のパラメータと、を取得してもよい。

カメラ情報取得部１１は、取得したカメラ情報をメモリ（図示せず）等に記録してもよい。カメラ情報取得部１１は、三次元点群の座標と二次元画像の画素の座標との対応関係を、別途カメラキャリブレーション技術等により算出することで取得してもよい。

なお、本実施形態１に係る画像処理装置１は、カメラ情報取得部１１を備えない構成であってもよい。この場合、上記カメラ情報は、クラスタ写像部２０２に予め設定されていてもよい。

［二次元ラベル取得部］
二次元ラベル取得部１２は、二次元画像の対象となる物体のラベルと、その二次元画像上の位置情報と、を取得する。物体のラベルは、例えば人、車，犬、自転車のようなオブジェクトの種類に関するラベルである。物体のラベルは、赤い服、青い鞄、年齢、性別などの属性情報に関するラベルであってもよい。上記二次元画像上の位置情報は、例えば、対象となっている物体の矩形の４点の座標やそれに類似する情報である。二次元画像上の位置情報は、物体の中心座標であってもよく、或いは物体上が存在する座標上の幾つかの点であってもよい。

二次元ラベル取得部１２は、上記ラベルとその二次元画像上の位置情報を機械学習などによる検出手法を用いて自動的に算出してもよい。二次元ラベル取得部１２に、人手で、上記ラベルとその二次元画像上の位置情報が入力されてもよい。二次元ラベル取得部１２に、人手による入力と機械学習を用いた検出手法を組み合わせて、上記ラベルとその二次元画像上の位置情報を取得してもよい。

なお、本実施形態１に係る画像処理装置１は、二次元ラベル取得部１２を備えない構成であってもよい。この場合、上記ラベルとその二次元画像上の位置情報は、ラベル照合部２０３に予め設定されていてもよい。

二次元ラベル取得部１２は、取得したラベルとその二次元画像上の位置情報をメモリ（図示せず）等に記録してもよい。以下では、三次元点群の各点に対応するカメラ座標を（ｘ_ｊ、ｙ_ｊ）と表す。ここで、ｊは点群中の各点を区別するための添え字である。

また、上記物体のラベルをＢ_ｋと表し、ここでｋは各物体を区別するための添え字である。ラベルＢ_ｋに割り当てられる値であり、オブジェクトの種類や属性などのラベルを以下ではｑを用いて表す。

例えば、ｑ＝１の場合は人、ｑ＝２の場合は車といったように、ｑの値とオブジェクトや属性を対応付けることで、ラベルＢ_ｋは、ラベルの内容を区別するものとする。ｋ番目のラベルＢ_ｋはＢ_ｋ＝ｑなどといったように表現される。各ラベルＢ_ｋと共に取得されるその二次元画像上の位置情報をＤ_ｋとして表す。

なお、以下位置情報Ｄ_ｋは、物体を囲む矩形情報として位置情報が与えられていると仮定して説明するが、本発明における位置情報Ｄ_ｋの包含する範囲はこれに限定されない。例えば、上述したように物体の中心座標を位置情報としてもよいし、或いは物体上に存在する座標上の幾つかの点を位置情報とし、これをＤ_ｋとして表してもよい。

［コンピュータ］
コンピュータ２０は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などのプロセッサと、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などの内部メモリと、ＨＤＤ（Hard Disk Drive）やＳＤＤ（Solid State Drive）などのストレージデバイスと、ディスプレイなどの周辺機器を接続するための入出力Ｉ／Ｆと、装置外部の機器と通信を行う通信Ｉ／Ｆと、を備えた通常のコンピュータのハードウェア構成を有する。

コンピュータ２０は、例えば、プロセッサが内部メモリを利用しながら、ストレージデバイスや内部メモリなどに格納されたプログラムを実行することで、後述の各機能的な構成要素を実現することができる。

図２は、本実施形態１に係るコンピュータの概略的なシステム構成を示すブロック図である。本実施形態１に係るコンピュータ２０は、三次元点群分割部２０１と、クラスタ写像部２０２と、ラベル照合部２０３と、照合結果投票部２０４と、ラベル決定部２０５と、を有している。

［三次元点群分割部］
三次元点群分割部２０１は、三次元点群取得部１０により取得された三次元点群を、複数のクラスタリングパラメータを用いて、点間の距離が小さいほど同じクラスタにクラスタリングされるように分割する。

この点間の距離は、例えば、ユークリッド距離である。クラスタリングパラメータは、例えば、異なるクラスタの点間の距離が最小距離Ｌ以上となるように三次元点群を分割するためのパラメータである。このように、最小距離Ｌに基づいたクラスタリングパラメータを用いて、三次元点群が分割された場合、あるクラスタに属する点は、別のクラスタに属する点と必ず最小距離Ｌ以上離れていることが保証される。

図３は、本実施形態１における三次元点群と複数のクラスタリングパラメータによるクラスタリングの結果を示す図である。三次元点群分割部２０１は、図３に示すように、この最小距離Ｌを複数用意し（例えば、Ｌ_１＝０．０１、Ｌ_２＝０．１、Ｌ_３＝１など）、異なる距離毎に、三次元点群を分割する。

以下、これらパラメータをクラスタリングパラメータＬ_ｔと称す。ｔはクラスタリングパラメータを区別するための添え字である。また、分割結果が得られた分割クラスタを、整数クラスタラベルとして三次元点群の各点に割り当てる。すなわち、三次元点群の各点ｊにはクラスタリングの結果、整数クラスタラベルが割り当てられる。以下、整数クラスタラベルをＰ_ｔとして表す。ｔはクラスタリングパラメータを区別するための添え字である。すなわち、三次元点群中の各点はｔ個の分割クラスタＰ_ｔのうちのいずれかが付与されることを意味する。以下Ｐ_ｔを分割クラスタと称す。

なお、三次元点群分割部２０１による分割方法は上記方法に限定されない。例えば、三次元点群分割部２０１は、三次元点群取得部１０により取得された三次元点群の分割個数をパラメータとして、三次元点群を指定されたクラスタに分割してもよい。

［クラスタ写像部］
クラスタ写像部２０２は、カメラ情報取得部１１により取得されたカメラ情報と、三次元点群分割部２０１により分割されたクラスタリング結果と、に基づいて、三次元点群の分割クラスタＰ_ｔを、図４に示すように、二次元ラベルが定義されたカメラ座標へ写像する。上記カメラ情報は、例えば、内部パラメータ、外部パラメータなどの変換パラメータを含む。上記クラスタリング結果は、例えば、分割クラスタＰ_ｔ及び三次元点群座標（Ｘ_ｊ，Ｙ_ｊ，Ｚ_ｊ）を含む。

クラスタ写像部２０２は、カメラ情報取得部１１により取得された三次元点群の座標と二次元画像の座標との対応関係に基づいて、三次元点群のクラスタを二次元画像に写像し、写像点群を生成する。

上記写像を行うためには、三次元点群座標から二次元画像平面への写像が定義されている必要がある。ここでは、二次元ラベルが定義された平面座標は、二次元ラベルを付与する元になった画像の座標系、すなわちカメラ座標を想定し、三次元点群座標から二次元画像平面への写像が与えられているものとする。

クラスタ写像部２０２は、この写像を、カメラ情報取得部１１により取得された内部パラメータや外部パラメータなどの変換パラメータに基づいて、算出する。以下、カメラ座標に写像投影後の分割クラスタをＣ_ｔで表し、写像投影前の分割クラスタＰ_ｔと区別して表す。

［ラベル照合部］
ラベル照合部２０３は、図４に示すように、クラスタ写像部２０２により写像された写像点群の各点に対して、二次元ラベル取得部１２により取得された位置情報Ｄ_ｋと、物体のラベルＢ_ｋと、に基づいてラベルを付与する。

例えば、ラベル照合部２０３は、クラスタ写像部２０２によって二次元画像平面へ投影された分割クラスタＣ_ｔと、二次元ラベル取得部１０２により取得された２次元ラベルと、を照合し、それぞれの２次元ラベルに適合する分割クラスタＣ_ｔを選別する。より具体的には、ラベル照合部２０３は、以下の式を用いて、カメラ座標に投影された分割クラスタＣ_ｔ単位で、各点ｊ∈Ｃ_ｔに対応する位置情報Ｄ_ｋを探索し、分割クラスタＣ_ｔにラベルＢ_ｋを対応付ける。

なお，Ｑ_ｊｔは，三次元点群分割部２０１におけるｔ番目の分割パラメータＬ_ｔにおける、ｊ番目の写像点群において付与された物体のラベルを表している。上記「～」は、カメラ座標系に写像後の分割クラスタＣ_ｔと位置情報Ｄ_ｔが対応付けられていることを示している。

ラベル照合部２０３は、分割クラスタＣ_ｔ毎に対応するラベルＢ_ｋと位置情報Ｄ_ｋを探索し、これらラベルＢ_ｋと位置情報Ｄ_ｋを分割クラスタＣ_ｋに対応付ける。ここで、写像後の分割クラスタＣ_ｔと位置情報Ｄ_ｋとが重なった状態であればあるほど、その分割クラスタＣ_ｔに属する各点に対し、位置情報Ｄ_ｋに対応するラベルＢ_ｋを割り当てる。すなわち、ラベル照合部２０３は、分割クラスタＣ_ｔに属する点ｊ∈Ｃ_ｔ（画像平面における点群の写像）が位置情報Ｄ_ｋの内部に含まれる割合に応じて、分割クラスタＣ_ｔと位置情報Ｄ_ｋとを照合する。

ラベル照合部２０３は、各分割クラスタＣ_ｔに対し、位置情報Ｄ_ｋに含まれる写像点群の包含率を算出し、各分割クラスタＣ_ｔに対し、最も包含率の高い位置情報Ｄ_ｋと同一のラベルを付与する。このとき、ラベル照合部２０３は、ある小クラスタについての最大の包含率が所定の閾値を超えない場合には、対応ラベルなし（Ｌａｂｅｌ＝ＵｎＫｎｏｗｎ）としてもよい。

ラベル照合部２０３は、以下の式によって、包含率を計算する。

ただし、Ｃ_ｔは分割クラスタを示し、Ｄ_ｋは位置情報を示し、ｊは小クラスタの要素の点を示す。Ｎｕｍ（・）は、要素の個数をカウントする関数である。上式において、分母は分割クラスタＣ_ｔに含まれる写像点群の数を、分子はカメラ座標に写像投影後の分割クラスタＣ_ｔが位置情報Ｄ_ｋに含まれている数を表している。

なお、ラベル照合部２０３による照合方法は、上記方法に限定されない。例えば、ラベル照合部２０３は、上式で包含率を計算するかわりに、面積重複率（ＩｏＵ）を計算し、この値を用いて最も面積重複率の高い位置情報Ｄ_ｋと同一のラベルＢ_ｋを付与してもよい。このとき、ラベル照合部２０３は、ある小クラスタについての最大の面積重複率が所定の閾値を超えない場合には、対応ラベルなし（Ｌａｂｅｌ＝ＵｎＫｎｏｗｎ）としてもよい。

［照合結果投票部］
照合結果投票部２０４は、ラベル照合部２０３によってクラスタリングパラメータ毎に得られた写像点群の各点のラベルＱ_ｊｔを、投票により統合する。

例えば、照合結果投票部２０４は、写像点群の各点のラベルＱ_ｊｔを用いて、ラベルＱ_ｊｔに対する信頼度Ｓ_ｊqを算出する。より具体的には、照合結果投票部２０４は、ラベルＱ_ｊｔに基づいて、下記式を用いて、ラベルＱ_ｊｔに対する信頼度Ｓ_jqを算出する。

ここで、ｑは物体ラベルの種類を表す値であり、δ（ａ，ｂ）は、aとｂが同じ値であれば１、違う値であれば０を返す関数である。信頼度Ｓ_jqは、点群の各点に対しｑ個のビンを持つ配列となっている。

照合結果投票部２０４による信頼度Ｓ_jqの算出方法は、上記方法に限定されない。例えば、照合結果投票部２０４は、信頼度Ｓ_jqを算出する際に、該当する点群中の点ｊのラベルに対してだけでなく、点ｊの周囲の点群のラベルに対しても投票してもよい。

より具体的には、照合結果投票部２０４は、以下の式を用いて信頼度Ｓ_jqを算出してもよい。ここで、Ｏ（ｊ）は点群中の点ｊの周囲にある点の集合である。

［ラベル決定部］
ラベル決定部２０５は、照合結果投票部２０４による投票結果に基づいて、写像点群の各点のラベルを決定する。例えば、ラベル決定部２０５は、照合結果投票部２０４により算出された信頼度Ｓ_jqを用いて、点群の点ｊ毎に、最大のｑをとる値をその点ｊにおけるラベルであるとして決定する。より具体的には、ラベル決定部２０５は、以下の式を用いて算出される値Ｇ_ｊを点群のｊ番目の点のラベルとする。

以下、ラベル決定部２０５によって決定されたラベルをＧ_ｊとして表すこととする。

ラベル決定部２０５によるラベル決定方法は、上記方法に限定されない。例えば、ラベル決定部２０５は、照合結果投票部２０４による投票の信頼度Ｓ_jqの最大値が第１所定値よりも低い場合、人手により写像点群の各点にラベルを割り当てる方法に決定してもよい。すなわち、ラベル決定部２０５は、照合結果投票部２０４による投票結果に基づき、写像点群の各点のラベルを決定する際に、該当するラベルに対する信頼度Ｓ_jqの全てが第１所定値よりも低い場合、人手によりラベルを割当てる方法に決定してもよい。なお、上記第１所定値は、予めラベル決定部２０５に設定されていてもよい。

ラベル決定部２０５は、上記人手によるラベルの割当て方法として、例えば、該当するラベルに対する信頼度Ｓ_jqの全てが第１所定値よりも低い場合、信頼度Ｓ_jqが第２所定値よりも高い複数のラベルをディスプレイなどに表示させ、人がその表示されたラベルを選択する方法に決定してもよい。なお、第２所定値は第１所定値よりも小さく（第１所定値＞第２所定値）、予めラベル決定部２０５に設定されていてもよい。

［点群ラベル出力部］
点群ラベル出力部３１は、後述のラベル決定部２０５により決定された点群のｊ番目の点のラベルを出力する。なお、点群ラベル出力部３１は、出力結果をディスプレイに表示してもよいし、メモリなどの記録装置にその値を出力してもよい。

次に、本実施形態に係る画像処理方法について説明する。図５は、本実施形態１に係る画像処理方法のフローを示すフローチャートである。三次元点群取得部１０は、三次元点群取得装置により三次元点群の情報を取得する（ステップＳ１０１）。

カメラ情報取得部１１は、三次元点群の座標と二次元画像の画素の座標との対応関係を取得する（ステップＳ１０２）。二次元ラベル取得部１２は、二次元画像の対象となる物体のラベルと、その二次元画像上の位置情報と、を取得する（ステップＳ１０３）。

三次元点群分割部２０１は、三次元点群取得部１０により取得された三次元点群を、複数のクラスタリングパラメータを用いて、点間の距離が小さいほど同じクラスタにクラスタリングされるように分割する（ステップＳ１０４）。

クラスタ写像部２０２は、カメラ情報取得部１１により取得された三次元点群の座標と二次元画像の座標との対応関係に基づいて、三次元点群のクラスタを二次元画像に写像し、写像点群を生成する（ステップＳ１０５）。

ラベル照合部２０３は、クラスタ写像部２０２により写像された写像点群の各点に対して、二次元ラベル取得部１２により取得された位置情報と物体のラベルとに基づいて、ラベルを付与する（ステップＳ１０６）。

照合結果投票部２０４は、ラベル照合部２０３によってクラスタリングパラメータ毎に得られたラベル付された写像点群の各点のラベルを投票により統合する（ステップＳ１０７）。

ラベル決定部２０５は、照合結果投票部２０４による投票結果に基づいて、写像点群の各点のラベルを決定する（ステップＳ１０８）。点群ラベル出力部３１は、ラベル決定部２０５により決定されたラベルを出力する（ステップＳ１０９）。

次に、本実施形態１に係る画像処理装置及び画像処理方法による効果を、図６を用いて詳細に説明する。例えば、図６における車の位置座標に対応する三次元点群を一つの分割として扱いたいが、三次元点群の形状が複雑な場合は、これらを一つのクラスタとして分割することは難しい。

そこで、本実施形態１において、複数のクラスタリングパラメータを用い、異なるスケールで分割結果を出力し、これらの分割クラスタごとにラベルを付与する。最後に、これらの結果を統合することで、投票数が多い、すなわちより多くのクラスタリングパラメータで同一のラベルが出力されたラベルを正解ラベルとする。これにより、例えば、三次元点群の形状が複雑である場合でも、より頑健なラベルを容易に生成し、三次元点群の各点に与えることができる。

以上、本実施形態に係る画像処理装置１は、図２に示すように、物体の三次元点群を、複数のクラスタリングパラメータにて、三次元点群の点間の距離が小さいほど同じクラスタにクラスタリングされるように、分割する三次元点群分割部２０１と、三次元点群の座標と二次元画像の画素の座標との対応関係に基づいて、三次元点群のクラスタを二次元画像に写像し、写像点群を生成するクラスタ写像部２０２と、二次元画像の対象となるラベルと該二次元画像上の位置情報とに基づいて、クラスタ写像部２０２にて写像された写像点群の各点に対してラベルを付与するラベル照合部２０３と、ラベル照合部２０３によって付与された写像点群の各点のラベルに対して投票する照合結果投票部２０４と、照合結果投票部２０４による投票結果に基づいて、写像点群の各点のラベルを決定するラベル決定部２０５と、を備えている。

本実施形態に係る画像処理装置１によれば、複数のクラスタリングパラメータで三次元点群を分割し、クラスタリングパラメータ毎に、ラベルを三次元点群の各点に付与し、各点のラベルに対して投票している。これにより、三次元点群データを用いた物体認識処理で使用されるラベルデータを容易に生成することができる。

［実施形態２］
図７は、本実施形態２に係る画像処理装置の概略的なシステム構成を示すブロック図である。本実施形態２に係る画像処理装置１００は、図７に示すように、上記実施形態１に係る構成に加えて、画像取得部１３と、セグメンテーションラベル出力部３２と、を更に備えている。また、本実施形態２に係るコンピュータは、上記実施形態１に係る構成に加えて、セグメンテーションラベル生成部２０６と、セグメンテーションラベル修正部２０７と、を更に有している。

［画像取得部］
画像取得部１３は、三次元点群取得部１０により三次元点群が取得されたシーンと同一時刻同一場所の画像を取得する。例えば、画像取得部１０１は、カメラや測定用のセンサなどにより、一枚以上の二次元画像や測定値を取得する。二次元画像或いは測定値は、可視画像に限定されず、例えば、その他のセンサから取得された画像であってもよい。二次元画像或いは測定値は、温度画像や深度画像などであってもよい。画像取得部１３は、取得した二次元画像或いは測定値を、メモリ（図示せず）等に記録する。

画像取得部１３は、深層学習の途中の処理結果を多チャンネルの二次元画像として取得してもよい。或いは、画像取得部１３は、数値シミュレーションなどにより算出した速度場、密度場などのベクトルデータを多チャンネルの二次元画像として取得してもよい。

さらに、二次元画像は、単一のカメラにより取得された画像に限定されない。例えば、画像取得部１３は、可視画像や遠赤外画像などの、複数のモーダルの画像を動画像として取得してもよい。その場合、例えば、画像取得部１３は、下記非特許文献３に示す方法を用いて、これらの画像の位置を合わせてもよい。また、画像取得部１３は、下記非特許文献４に示す方法を用いて、これらの画像から一枚の画像を合成してもよい。

（非特許文献３）
Shibata, Takashi, Masayuki Tanaka, and Masatoshi Okutomi. "Accurate joint geometric camera calibration of visible and far-infrared cameras." Electronic Imaging 2017.11 (2017): 7-13.
（非特許文献４）
Shibata, Takashi, Masayuki Tanaka, and Masatoshi Okutomi. "Unified Image Fusion Framework With Learning-Based Application-Adaptive Importance Measure." IEEE Transactions on Computational Imaging 5.1 (2018): 82-96.

［セグメンテーションラベル生成部］
セグメンテーションラベル生成部２０６は、画像取得部１３により取得された画像に基づいて、セグメンテーションラベルを生成する。セグメンテーションラベル生成部２０６は、例えば、物体の種類ごとに領域分割するセマンティックセグメンテーションなどを用いて、セグメンテーションラベルを生成する。セマンティックセグメンテーションの方法は、例えば、下記非特許文献５に開示されており、これを援用できるものとする。

（非特許文献５）
Long, Jonathan, Evan Shelhamer, and Trevor Darrell. "Fully convolutional networks for semantic segmentation." Proceedings of the IEEE conference on computer vision and pattern recognition. 2015.

［セグメンテーションラベル修正部］
セグメンテーションラベル修正部２０７は、ラベル決定部２０５により決定された物体ラベルと、セグメンテーションラベル生成部２０６により生成されたセグメンテーションラベルと、を比較し、両者のラベルに相違がある場合、そのセグメンテーションラベルをラベル決定部２０５によるラベルに修正する。

より具体的には、セグメンテーションラベル修正部２０７は、ラベル決定部２０５により決定された点群の点ｊにおけるラベルＧ_ｊと、セグメンテーションラベル生成部２０６により生成された対応するセグメンテーションラベルとが異なる場合、そのセグメンテーションラベルを、点群の点ｊにおけるラベルＧ_ｊに置き換える。

［セグメンテーションラベル出力部］
セグメンテーションラベル出力部３２は、セグメンテーションラベル修正部２０７により修正されたセグメンテーションラベルを出力する。セグメンテーションラベル出力部３２は、出力結果をディスプレイに表示してもよいし、メモリなどの記録装置にその値を出力してもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他のさまざまな形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

本発明は、例えば、図５に示す処理を、プロセッサにコンピュータプログラムを実行させることにより実現することも可能である。

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。

プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

なお、上述した各実施形態に係る画像処理装置を構成する各部は、プログラムにより実現するだけでなく、その一部または全部を、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）などの専用のハードウェアにより実現することもできる。

１ 画像処理装置
１０ 三次元点群取得部
１１ カメラ情報取得部
１２ 二次元ラベル取得部
１３ 画像取得部
２０ コンピュータ
３１ 点群ラベル出力部
３２ セグメンテーションラベル出力部
１００ 画像処理装置
２０１ 三次元点群分割部
２０２ クラスタ写像部
２０３ ラベル照合部
２０４ 照合結果投票部
２０５ ラベル決定部
２０６ セグメンテーションラベル生成部
２０７ セグメンテーションラベル修正部

Claims (8)

1. 物体の三次元点群を、複数のクラスタリングパラメータを用いて、前記三次元点群の点間の距離が小さいほど同じクラスタにクラスタリングされるように、分割する三次元点群分割部と、
   前記三次元点群の座標と二次元画像の画素の座標との対応関係に基づいて、前記三次元点群のクラスタを二次元画像に写像し、写像点群を生成するクラスタ写像部と、
   二次元画像の対象となるラベルと該二次元画像上の位置情報とに基づいて、前記クラスタ写像部にて写像された写像点群の各点に対してラベルを付与するラベル照合部と、
   前記ラベル照合部によって付与された写像点群の各点のラベルに対して投票する照合結果投票部と、
   前記照合結果投票部による投票結果に基づいて、前記写像点群の各点のラベルを決定するラベル決定部と、
   を備える画像処理装置。
2. 請求項１記載の画像処理装置であって、
   前記物体の三次元点群を取得する三次元点群取得部と、
   前記三次元点群の座標と二次元画像の画素の座標との対応関係を取得する情報取得部と、
   前記二次元画像の対象となるラベルと、該二次元画像上の位置情報と、を取得する二次元ラベル取得部と、
   前記ラベル決定部により決定された写像点群の各点のラベルを出力する点群ラベル出力部と、
   を更に備える画像処理装置。
3. 請求項１又は２記載の画像処理装置であって、
   前記三次元点群が取得されたシーンと同一時刻同一場所の画像を取得することを特徴とする画像取得部と、
   前記画像取得部により取得された画像から、セマンティックセグメンテーションを用いて、セグメンテーションラベルを生成するセグメンテーションラベル生成部と、
   前記ラベル決定部により決定されたラベルと、前記セグメンテーションラベル生成部により生成されたセグメンテーションラベルと、を比較し、前記ラベル決定部によるラベルと、前記セグメンテーションラベル生成部によるセグメンテーションラベルと、が相違している場合、前記セグメンテーションラベル生成部によるセグメンテーションラベルを前記ラベル決定部によるラベルに修正するセグメンテーションラベル修正部と、
   前記セグメンテーションラベル修正部により修正されたラベルを出力するセグメンテーションラベル出力部と、
   更に備える画像処理装置。
4. 請求項１乃至３のうちいずれか１項記載の画像処理装置であって、
   前記ラベル決定部は、前記照合結果投票部による投票結果に基づいて前記写像点群の各点のラベルを決定する際に、前記ラベルに対する信頼度の全てが第１所定値より低い場合、人手により前記写像点群の各点にラベルを割り当てる方法に決定する、
   画像処理装置。
5. 請求項４項記載の画像処理装置であって、
   前記ラベル決定部は、前記人手によるラベルの割当て方法として、前記ラベルに対する信頼度の全てが第１所定値より低い場合、前記信頼度が前記第１所定値よりも低い第２所定値よりも高い複数のラベルを表示し、人が該表示されたラベルを選択する方法に決定する、
   画像処理装置。
6. 請求項１乃至５のうちのいずれか１項記載の画像処理装置であって、
   前記照合結果投票部は、前記ラベル照合部によって付与された写像点群の各点のラベルおよび、該各点の周囲の点群のラベルに対しても投票を行う、
   画像処理装置。
7. 物体の三次元点群を、複数のクラスタリングパラメータを用いて、前記三次元点群の点間の距離が小さいほど同じクラスタにクラスタリングされるように、分割するステップと
   前記三次元点群の座標と二次元画像の画素の座標との対応関係に基づいて、前記三次元点群のクラスタを二次元画像に写像し、写像点群を生成するステップと、
   二次元画像の対象となるラベルと該二次元画像上の位置情報とに基づいて、前記写像された写像点群の各点に対してラベルを付与するステップと、
   前記付与された写像点群の各点のラベルに対して投票するステップと、
   前記投票結果に基づいて、前記写像点群の各点のラベルを決定するステップと、
   を含む画像処理方法。
8. 物体の三次元点群を、複数のクラスタリングパラメータを用いて、前記三次元点群の点間の距離が小さいほど同じクラスタにクラスタリングされるように、分割する処理と
   前記三次元点群の座標と二次元画像の画素の座標との対応関係に基づいて、前記三次元点群のクラスタを二次元画像に写像し、写像点群を生成する処理と、
   二次元画像の対象となるラベルと該二次元画像上の位置情報とに基づいて、前記写像された写像点群の各点に対してラベルを付与する処理と、
   前記付与された写像点群の各点のラベルに対して投票する処理と、
   前記投票結果に基づいて、前記写像点群の各点のラベルを決定する処理と、
   をコンピュータに実行させるプログラム。

Images