JP7205613B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

現在、画像などを用いた認識技術には、統計的機械学習の手法が用いられている。このような統計的機械学習では、認識対象に関連した正解ラベルが付されたラベルデータを大量に用意し、これらのラベルデータを学習および評価用に用いることが必須となっている。ラベル付与に関する技術が、非特許文献１及び非特許文献２に記載されている。

また、この技術に関連し、特許文献１は、膨大なデータ量の３次元点群データの場合であっても、３次元点群データから高速に物体の形状を抽出することができる形状抽出装置を開示する。特許文献１にかかる技術は、３次元点群データに対して、複数の点のすべてを包括する包括ボクセルを設定する。また、特許文献１にかかる技術は、複数の点のピッチよりも大きなサイズを有する複数の仮想ボクセルで包括ボクセルを分割する。また、特許文献１にかかる技術は、複数の仮想ボクセルのそれぞれに固有の識別番号を設定する。さらに、特許文献１にかかる技術は、識別番号が付与された仮想ボクセル内の点の有無に応じて、仮想ボクセルを単位としてラベリング処理を行い、点を含む複数の仮想ボクセルのうち、連結する仮想ボクセルに同一のラベル値を付与する。

特開２０１６－００３８８６号公報

N. Silberman, D. Hoiem, P. Kohli, and R. Fergus. "Indoor segmentation and support inference from RGBD images", In European Conference on Computer Vision (ECCV), 2012.https://cs.nyu.edu/~silberman/datasets/nyu_depth_v2.html S. Song, S. Lichtenberg, and J. Xiao. "SUN RGB-D: A RGB-D Scene Understanding Benchmark Suite", In Proceedings of 28th IEEE Conference on Computer Vision and Pattern Recognition (CVPR2015)http://rgbd.cs.princeton.edu/

上記の特許文献１の技術のように、連結する仮想ボクセルに同一のラベル値を付与する方法では、その仮想ボクセルがどのような物体に対応するのか不明である。したがって、特許文献１にかかる方法を用いて物体の認識処理を行うためには、仮想ボクセルに付与されたラベル値がどのような物体に対応するかを手作業で行う必要があり得る。したがって、特許文献１にかかる方法では、３次元点群データを用いた物体認識技術で使用されるラベルデータを容易に生成することは困難である。

本開示の目的は、このような課題を解決するためになされたものであり、３次元点群データを用いた物体認識技術で使用されるラベルデータを容易に生成することが可能な画像処理装置、画像処理方法及びプログラムを提供することにある。

本開示にかかる画像処理装置は、物体の３次元点群を示す３次元点群データを取得する３次元点群取得手段と、前記物体の２次元画像に対応するラベルデータである２次元ラベルデータを取得する２次元ラベル取得手段と、前記２次元ラベルデータを前記３次元点群データと対応付けて、前記２次元ラベルデータを、前記３次元点群のラベルを示す３次元点群ラベルデータに変換するラベル変換手段とを有する。

また、本開示にかかる画像処理方法は、物体の３次元点群を示す３次元点群データを取得し、前記物体の２次元画像に対応するラベルデータである２次元ラベルデータを取得し、前記２次元ラベルデータを前記３次元点群データと対応付けて、前記２次元ラベルデータを、前記３次元点群のラベルを示す３次元点群ラベルデータに変換する。

また、本開示にかかるプログラムは、物体の３次元点群を示す３次元点群データを取得するステップと、前記物体の２次元画像に対応するラベルデータである２次元ラベルデータを取得するステップと、前記２次元ラベルデータを前記３次元点群データと対応付けて、前記２次元ラベルデータを、前記３次元点群のラベルを示す３次元点群ラベルデータに変換するステップとをコンピュータに実行させる。

本開示によれば、３次元点群データを用いた物体認識技術で使用されるラベルデータを容易に生成することが可能な画像処理装置、画像処理方法及びプログラムを提供できる。

本開示の実施の形態にかかる画像処理装置の概要を示す図である。 実施の形態１に係る画像処理システムの構成を示すブロック図である。 実施の形態１にかかる電子制御装置の構成を模式的に示した機能ブロック図である。 実施の形態１にかかるラベル変換部の構成を模式的に示した機能ブロック図である。 実施の形態１にかかる２次元ラベルデータの形式について説明するための図である。 実施の形態１にかかる３次元点群データ及び２次元ラベルデータの取得方法を説明するための図である。 実施の形態１にかかる３次元点群分割部によるクラスタリングについて説明するための図である。 実施の形態１にかかる、３次元点から２次元平面への投影方法を説明するための図である。 実施の形態１にかかるラベル変換部におけるクラスタ写像投影部の動作を説明するための図である。 実施の形態１にかかるラベル照合部によって行われる照合処理で使用される判別方式を説明するための図である。 実施の形態１にかかるラベル照合部によって行われる照合処理で使用される判別方式を説明するための図である。 実施の形態１にかかるラベル照合部によって行われる照合処理で使用される判別方式を説明するための図である。 実施の形態１にかかる電子制御装置によって実行される画像処理方法を示すフローチャートである。 実施の形態１にかかるラベル変換部の動作を示すフローチャートである。 実施の形態２にかかる電子制御装置の構成を模式的に示した機能ブロック図である。 実施の形態２にかかる電子制御装置によって実行される画像処理方法を示すフローチャートである。

（本開示にかかる実施の形態の概要）
本開示の実施の形態の説明に先立って、本開示にかかる実施の形態の概要について説明する。図１は、本開示の実施の形態にかかる画像処理装置１の概要を示す図である。画像処理装置１は、例えばコンピュータである。画像処理装置１は、３次元点群取得部２と、２次元ラベル取得部４と、ラベル変換部６とを有する。３次元点群取得部２は、３次元点群取得手段として機能する。２次元ラベル取得部４は、２次元ラベル取得手段として機能する。ラベル変換部６は、ラベル変換手段として機能する。

３次元点群取得部２は、物体の３次元点群を示す３次元点群データを取得する。２次元ラベル取得部４は、その物体の２次元画像に対応する２次元ラベルデータを取得する。ラベル変換部６は、２次元ラベルデータを３次元点群データと対応付けて、２次元ラベルデータを、３次元点群のラベルを示す３次元点群ラベルデータに変換する。

＜一般的な機械学習用データの高コスト課題について＞
以下、関連技術の問題点について説明する。現在、画像などを用いた認識技術には、統計的機械学習の手法が用いられており、そのためには認識対象ドメインに関連した正解ラベル付されたデータを大量に用意し、これらのデータを学習および評価用に用いることが必須となっている。このようなラベル付きデータの準備には、現在、時間的、金銭的、労力的な観点で極めて高いコストが必要とされている。

＜画像ラベルの生成方法について＞
画像上の認識対象クラス（例えば、人、車、家具など）の検出を目的とする場合、ラベルデータは、通常、認識対象のオブジェクト（対象オブジェクト）の画像上における位置と対象クラス名とを対応付けて保存されたテキストデータである。ここで、対象オブジェクトの位置は、例えば、対象オブジェクトを囲む矩形を表現するベクトルで表現され得る。このベクトルは、例えば、画像のピクセルにおいて、［左上ｘ座標，左上ｙ座標，矩形幅，矩形高さ］といったように表現される。また、対象クラス名は、例えば、「Ｃａｒ」又は「Ｐｅｄｅｓｔｒｉａｎ」などと表現される。

また、ラベル付与作業を行う場合には、ユーザによって操作されるＧＵＩ（Graphical User Interface）を有するツールが用いられる。このＧＵＩは、可視画像をスクリーンに提示する。ユーザは、マウスカーソル等を操作して可視画像における対象オブジェクトを囲む矩形の左上座標と右下座標を選択して矩形領域を指定する。また、ユーザは、テキスト入力やあらかじめ指定された選択ボタン等でクラス名などのラベル情報を入力する。

目的とする出力結果が矩形による位置検出ではなく、ピクセルレベルの領域の塗り分けを目的とした画像セグメンテーションである場合には、ラベル付与作業で指定されるオブジェクトの領域も、矩形ではなく、ピクセル単位で塗り分けられる。ここで、矩形の指定は比較的容易だが、画像セグメンテーション領域の指定のコストは比較的大きい。

＜３Ｄ ＬｉＤＡＲと点群データについて＞
近年、地形調査や自動運転等で広く利用されている３次元構造を計測する技術（あるいはそれを利用した計測装置）として、例えば、３Ｄ ＬｉＤＡＲ（Light Detection And Ranging、Laser Imaging Detection and Ranging）がある。３Ｄ ＬｉＤＡＲは、それまでの１ラインスキャナー等と比較して、高密度かつ広範囲に３次元空間上の遮蔽物の計測点からの距離データを３次元点群データとして集積可能な技術、及びその計測装置である。３次元点群データは、例えば３Ｄ ＬｉＤＡＲで取得された実環境の構造を反映するデータである。３次元点群データは、人、自動車などの対象オブジェクト、及び、地面、建物、標識などの構造物から反射されて得られた３次元座標情報を持つ点（３次元点）の集合である３次元点群を示すデータである。

＜３次元点群データのラベル付与について＞
３Ｄ ＬｉＤＡＲ等で取得された３次元点群データにおいて、計測結果を可視化するためには、一般に、３次元ビューア等で各点の３次元座標を描画することになるが、このときに取得された各点は、３次元空間上に点在している。このような３次元上に拡散した大量の点に対し、３次元ビューア等を見ながら手作業でラベルを与えることは、極めて困難であり、かつ高コストを誘発するおそれがある。

ここで、ラベル付与に関する技術の例について、非特許文献１に記載されているように、データへのピクセルラベルを与える方法がある。この方法では、可視カメラ画像と距離画像とに共通のラベルデータを付与する。また、この方法では、ＫＩＮＥＣＴ（登録商標）等のＲＧＢ－Ｄカメラを用いて、可視カメラ画像と、それにピクセル単位で対応付けされた距離データが保存された距離画像（Depth image）との組を取得する。そして、可視カメラ画像上の対象オブジェクト領域をそれぞれのクラス分類毎にピクセルレベルで塗り分けすることによって、可視カメラ画像と距離画像とに共通のラベルデータが付与される。ＲＧＢ－Ｄカメラでは、光学系と画像上のピクセルの幾何学的な関係式と距離画像とから、センサが捉えたオブジェクト上の点の３次元座標データの集まりである、３次元点群が復元され得る。したがって、この手法を用いれば、ピクセル単位の画像ラベルから３次元点群ラベルが生成できるようにも思われる。しかしながら、この方法では、画像上のオブジェクト領域を手がかりにピクセル単位でラベルを塗り分ける作業を人手で行う必要があり、極めて作業コストが大きくなるという問題がある。

また、ラベル付与に関する技術の例について、非特許文献２に記載されているように、データへ３次元ボックスラベルを与える方法がある。この方法では、ラベル情報を付与できるようなＧＵＩを「アノテーションツール」として提案する。この方法では、ＲＧＢ－Ｄカメラの出力を用いて、可視画像、および、３次元点群に可視画像から取得した色情報を追加したカラー点群の多視点（正面、見下ろし、側面など）の疑似視点画像を提示する。そして、アノテーションツールを用いて、ユーザは、４種の視点画像上でマウスカーソルを操作しながらラベル付与対象のオブジェクトを囲む３次元のボックス領域を指定し、その領域に対応するラベル情報を付与する。この方法では、正確に対象オブジェクトを囲む３次元領域を指定できる利点があるものの、複数視点画像上で位置の指定をマウスカーソルから微調整する必要があり、入力に手間がかかるという問題がある。

このような問題点に対し、本開示にかかる画像処理装置１は、上記のように構成されているので、３次元点群へのラベル付与のコストを低減し、より容易に３次元点群ラベルを生成することができる。具体的には、本開示にかかる画像処理装置１は、上記のように構成されているので、可視画像上で定義された２次元のオブジェクトラベルのみから、対応する３次元点群へのラベル付与を可能となる。これにより、３次元点群のラベル付与を、より簡便な２次元平面へのラベル付与の実行によって可能にすることで、手作業によるコストを低減することができる。さらに、２次元のカメラ画像への２次元ラベルを入力として利用することで、カメラ画像と対応する３次元点群とのラベルデータを共通化したデータベースを生成できる。

このように、本開示によれば、ＲＧＢ－Ｄカメラ又は３Ｄ ＬｉＤＡＲと可視カメラとを組み合わせた撮像系において、可視画像平面上で定義された２次元矩形ラベルを与えることで、自動的に３次元点群へのラベル付与を実現することができる。これによって、３次元点群データを用いた物体識別や検出などの認識技術を開発する上で必要となる学習データを容易に生成することが可能となる。なお、本実施の形態では、３次元点群から可視画像への写像可能な校正データがあるとする。

また、入力として用いる可視画像上で定義された２次元ラベルは、手作業で与える以外にも、あらかじめ既存の学習データによって学習済みの物体検出器の出力を用いて、誤りのみを手作業で修正する方法で半自動化することもできる。具体的には、近年の画像認識技術の著しい発展に伴い、２次元画像上の物体検出に関しては、既にラベル付きのデータセットが利用可能な状態で豊富に用意されている。また、既存の深層学習等による識別器であっても、特殊な対象物以外では、ある程度の性能が期待できるようになっているので、自動的に２次元ラベルを生成できる。

さらに、上述したように、本開示には、カメラ画像と３次元点群とのラベルデータを相互に対応可能な状態で共通化されることによる利点がある。具体例を示すと、ラベルが付与された３次元点群を２次元画像平面へ射影し、同一ラベルが割り振られた平面上の点群同士の隙間を埋める処理等を施すことで、画像データに対するセグメンテーションラベルデータを生成することが可能である。このように、ラベルデータを２次元画像と３次元点群とで共有することにより、相互にラベルデータの変換と補間が可能になる。

（実施の形態１）
以下、実施の形態について、図面を参照しながら説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

また、以降の実施の形態の説明では、主に、実環境における自動車や歩行者の物体を観測データから検出し識別する認識タスク、すなわちＯｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎを目的とした機械学習及びその評価を行うためのラベルデータの生成を想定する。しかし本開示の適用範囲は、特にそれに限定するものではない。また、３次元点群を取得する方法は、ＬｉＤＡＲに限られない。他の３次元距離センサ（ＲＧＢ－Ｄカメラ）を用いて、３次元点群を取得してもよい。

図２は、実施の形態１に係る画像処理システム１００の構成を示すブロック図である。画像処理システム１００は、電子制御装置１０と、画像出力装置２０と、点群出力装置３０と、端末装置４０とを有する。画像出力装置２０は、少なくとも画像情報を電子制御装置１０に対して出力する装置である。画像出力装置２０は、例えば、カメラデバイスである。カメラデバイスは、リアルタイムで画像を撮像する撮像装置であり、撮影対象の画像を連続的に取得する。撮像装置は、例えば、ＮＴＳＣ（National Television Standards Committee）形式又はＰＡＬ（Phase Alternating Line）形式等の各種デジタル画像を出力するビデオカメラ等であってもよい。

画像出力装置２０は、カメラデバイスの他、記憶媒体に保存された画像情報を読み出して、ＮＴＳＣ形式又はＰＡＬ形式等の電子制御装置１０が読み取ることのできる画像形式に変換して出力するような、画像キャプチャ装置であってもよい。この場合の画像出力装置２０は、電子制御装置１０のＣＰＵ内部で動作するソフトウェアプログラムとして実現され得る。

点群出力装置３０は、少なくとも３次元点群データを電子制御装置１０に対して出力する装置である。３次元点群データは、少なくとも、３次元空間上の座標情報（ｘ，ｙ，ｚ）を持つ点の集合（３次元点群）からなるデータである。３次元点群データは、通常、３次元空間上の物体（オブジェクト及び構造物）の表面上の点をサンプリングしたデータとして取得される。点群出力装置３０は、例えば、３Ｄ ＬｉＤＡＲである。３Ｄ ＬｉＤＡＲは、レーザを水平角方向及び垂直角方向の複数方向に照射し、それぞれの照射光の反射時間から当該照射方向に存在するオブジェクトの距離を測定し、測定結果から周辺の３次元構造を３次元点群データとして取得する計測装置である。

なお、点群出力装置３０は、何らかの手段で取得された３次元点群データを記憶媒体から出力する再生装置であってもよい。この場合の点群出力装置３０は、電子制御装置１０のＣＰＵ内部で動作するソフトウェアプログラムとして実現され得る。

なお、以下に示す実施の形態において、画像出力装置２０によって取得される可視画像（画像情報）における観測対象は、点群出力装置３０によって取得される３次元点群における観測対象と対応しているとする。つまり、画像出力装置２０によって出力されるデータと、点群出力装置３０によって出力されるデータとは、特記ない限り、同時刻に同一環境下で互いの位置関係が既知の条件下で取得されるものとする。また、可視画像と３次元点群とは、少なくとも一部は対応付けが可能であるとする。つまり、画像情報の視野領域と３次元点群とは、対応する現実の３次元空間において、互いに、少なくとも一部を包含しているものとする。

電子制御装置１０は、本開示にかかる情報処理（画像処理）を行うコンピュータである。電子制御装置１０は、図１に示した画像処理装置１に対応する。電子制御装置１０は、画像出力装置２０および点群出力装置３０から出力される情報に応じて、所定のプログラムに基づく処理を実行する。詳しくは後述する。

端末装置４０は、電子制御装置１０を操作し、かつ電子制御装置１０の内部状態及び出力をモニタリングするためのユーザインタフェースとして動作する。端末装置４０は、例えば、出力デバイス又は入力デバイスである。出力デバイスは、例えばディスプレイである。ディスプレイは、例えば、画像出力装置２０からの入力画像を提示し、入力画像を変換した変換画像を提示し、変換画像を用いた各種画像処理結果を提示し、又は、ラベルデータを入力画像へオーバーレイした画像を提示する。入力デバイスは、装置の開始／終了、パラメータの指定、ディスプレイ提示情報の選択等の、電子制御装置１０への指令を入力する。入力デバイスは、例えば、スイッチボード、キーボード、マウス、タッチパネル等である。なお、端末装置４０を有しない構成で、画像処理システム１００を実現することも可能である。

また、電子制御装置１０には、画像処理システム１００によって取得された情報を入力として利用する装置が接続され得る。また、電子制御装置１０に接続された装置の機能を、電子制御装置１０の内部のＣＰＵで動作するソフトウェアプログラムとして実現してもよい。接続される装置の例としては、本実施の形態で生成される３次元点群ラベルを入力とする画像処理装置又は機械学習装置などが考えられる。

電子制御装置１０は、中央演算装置１１（ＣＰＵ）と、記憶装置１２（Ｍｅｍ）と、記憶装置１３（ＤＢ）と、インタフェース１４，１５，１６とを有する。なお、図２においては、記憶装置１２（Ｍｅｍ）と記憶装置１３（ＤＢ）とを別個の構成としているが、これらは１つの記憶デバイスとして実現され得る。

インタフェース１４は、中央演算装置１１、記憶装置１２及び記憶装置１３と、画像出力装置２０との間の情報のやり取りを仲介する装置である。なお、図２では、インタフェース１４は、画像出力装置２０及び中央演算装置１１のみと直接接続されているが、記憶装置１２（Ｍｅｍ）及び記憶装置１３（ＤＢ）と直接接続されてもよい。このことは、他のインタフェース１５，１６についても同様である。

インタフェース１５は、中央演算装置１１、記憶装置１２及び記憶装置１３と、点群出力装置３０との間の情報のやり取りを仲介する装置である。インタフェース１６は、中央演算装置１１、記憶装置１２及び記憶装置１３と、端末装置４０との間の情報のやり取りを仲介する装置である。インタフェース１６は、電子制御装置１０の内部で行なわれた情報処理の結果を端末装置４０に出力する場合の仲介を行う。また、インタフェース１６は、端末装置４０から電子制御装置１０へ出力される指令入力を受け取る場合の仲介を行う。

記憶装置１２は、一時的なデータを記憶する装置であり、中央演算装置１１と電気的に接続されている。記憶装置１３は、主にデータベース（ＤＢ）を記憶する装置であり、中央演算装置１１と電気的に接続されている。なお、図２では、記憶装置１２及び記憶装置１３は、電子制御装置１０に内蔵されているが、電子制御装置１０の外部の記憶装置であってもよい。

中央演算装置１１は、情報処理を行う装置であり、インタフェース１４，１５，１６、記憶装置１２、及び記憶装置１３と電気的に接続されている。中央演算装置１１は、記憶装置１３に記憶されたプログラムを実行する。これにより、中央演算装置１１は、インタフェース１４を介して入力された画像情報、インタフェース１５，１６を介して入力された各種情報に基づいて、記憶装置１２及び記憶装置１３に記憶された情報を適宜参照しながら所定の手続きによる情報処理を行う。

図３は、実施の形態１にかかる電子制御装置１０の構成を模式的に示した機能ブロック図である。電子制御装置１０は、中央演算装置１１においてソフトウェアプログラムを実行することで、図３に示す各構成要素を実現する。また、電子制御装置１０において実現される各構成要素は、個々の装置、又は機能部もしくは電子回路として実現してもよい。

図３に示すように、実施の形態１にかかる電子制御装置１０は、３次元点群入力部１０１と、２次元ラベル入力部１０２と、ラベル変換部１０３とを有する。また、図４は、実施の形態１にかかるラベル変換部１０３の構成を模式的に示した機能ブロック図である。これらの機能の動作について、以下に説明する。

３次元点群入力部１０１は、点群出力装置３０から電子制御装置１０へ出力された３次元点群データを取得する機能である。取得される３次元点群データは、例えば３Ｄ ＬｉＤＡＲで取得された実環境の構造を反映するデータである。例えば、３次元点群データは、人若しくは自動車などのオブジェクト、又は、地面、建物若しくは標識などの構造物から反射された３次元座標情報を持つ点（３次元点）の集合である。

２次元ラベル入力部１０２は、画像出力装置２０から電子制御装置１０へ出力された画像データに対し、ラベル情報を与える機能である。ここで与えられるラベルデータは、画像の２次元平面座標で定義された領域に対して付与されたものであるので、以降、２次元ラベルと称する。２次元ラベルは、あるフレームの画像に対し、画像平面上における認識対象物体の位置と、その物体に割り当てられたクラスラベル（あるいは個々の物体に対する固有ＩＤラベル）とを少なくとも含む情報で構成される。ここで、「クラスラベル」とは、例えば、「Ｃａｒ」、「Ｖａｎ」、「Ｔｒｕｃｋ」、「Ｐｅｄｅｓｔｒｉａｎ」のように、物体の種別を示すラベルである。また、「（固有）ＩＤラベル」とは、例えば、フレーム全体のオブジェクトの１つ１つに割り当てられる、１，２，３，・・・等の、個体識別のためのラベルである。なお、２次元ラベルは、クラスラベル及びＩＤラベルの両方を含んでもよい。

図５は、実施の形態１にかかる２次元ラベルデータの形式について説明するための図である。２次元ラベルデータは、オブジェクトの位置を示す位置ラベルと、クラスラベル（及びＩＤラベル）とを含む。位置ラベルは、例えば、オブジェクトを囲む矩形の２次元画像における左上座標（ｘ，ｙ）、矩形の幅（ｗ）及び高さ（ｈ）を含む。また、クラスラベル（ＩＤラベル）は、その位置に対応するオブジェクトのクラスを示す。２次元ラベルデータは、位置ラベルとクラスラベル（及びＩＤラベル）とを対応付けて、対象オブジェクトの個数分のリストを各フレーム画像毎に書き出したテキストデータ等の形式で保存される。

２次元ラベルは、通常、保存された画像データに対し、画像ラベリングツールなどを用いて手作業で生成される。なお、２次元ラベルの生成方法は、既存の画像検出技術の検出結果を用いて自動的に２次元ラベルを生成することでも実現可能であるし、画像検出技術で生成したラベルの誤りを人手で修正する方法でも実現可能である。このように、本実施の形態では、２次元ラベルの取得方法については特に限定されない。本実施の形態の主眼は、この与えられた２次元ラベルから３次元点群に対応付けられたラベルを生成することである。

図６は、実施の形態１にかかる３次元点群データ及び２次元ラベルデータの取得方法を説明するための図である。図６は、３次元点群入力部１０１及び２次元ラベル入力部１０２がデータを取得するための撮像系の模式図を示す。図６に例示するように、カメラ（画像出力装置２０）と３Ｄ ＬｉＤＡＲ（点群出力装置３０）との位置関係が互いに校正済みで固定された撮像系から、それぞれカメラ画像Ｉｍ（２次元画像）及び３次元点群の集合Ｐのデータが取得される。カメラ画像に対しては、ラベルデータを付与することで２次元ラベルが用意される。例えば、図６に示した例では、カメラ画像を用いて、オブジェクトＯｂ（「円柱」及び「直方体」）に、位置ラベル及びクラスラベルを含む２次元ラベルが付与されている。

ラベル変換部１０３は、３次元点群入力部１０１及び２次元ラベル入力部１０２からそれぞれ与えられる２次元ラベル及び３次元点群を用いて、３次元点群に対応するラベル情報を付与する機能である。実施の形態１にかかるラベル変換部１０３は、以下の基本方法に基づいて２次元ラベルを３次元点群ラベルへ変換することを特徴としている。

ここで、図４に示すように、ラベル変換部１０３は、３次元点群分割部１０３１と、クラスタ写像投影部１０３２と、ラベル照合部１０３３とを有する。３次元点群分割部１０３１は、３次元点群を、あるルールに基づいてクラスタリングを行うことで、点群の部分集合である小クラスタに分割する。クラスタ写像投影部１０３２は、小クラスタを２次元ラベルと同一の座標平面へ投影する。ラベル照合部１０３３は、小クラスタと２次元ラベルとを照合する（対応付ける）。

ここで、２次元ラベルを３次元空間上の点群に対応付けるときに問題となるのは、ラベル側の次元が対応付ける側の次元よりも小さい、すなわち次元の縮退があるために、一般に対応付けが一意に決まらないことである。本実施の形態にかかる方法は、このような問題を、対応付けられる側の３次元点群をそれ自体の３次元情報に基づいて小クラスタに分離させることで解決できる。すなわち、生成された各小クラスタを構成する点群が単一物体に由来するという期待に基づき、点単位ではなく小クラスタ単位での照合問題に落としこむことで、２次元ラベルとの一意な対応付けを可能にする。

以下、ラベル変換部１０３の詳細な機能について説明する。
図７は、実施の形態１にかかる３次元点群分割部１０３１によるクラスタリングについて説明するための図である。３次元点群分割部１０３１は、図７に例示するように、３次元点群入力部１０１から受け取った３次元点群を、所定の基準に従ってクラスタリングすることで、複数の小クラスタに分割する。小クラスタは、以下の式１のように３次元点ｐ_ｋの集合Ｐから分割された、部分集合Ｃ_ｉである。

ここで、Ｎは３次元点群の個数であり、Ｍはクラスタ数である。Ｎ及びＭは、分割（クラスタリング）の手法やデータに依存して定められる。また、図７の例において、３次元点群は、小クラスタＣ_１（白抜きの点），Ｃ_２（黒点）に分割されている。

具体的には、３次元点群分割部１０３１は、小クラスタ毎に異なるクラスタＩＤを小クラスタの要素である点に与えることで、小クラスタ単位で点群処理可能とする。すなわち、ここで述べるクラスタリングは、３次元点ｐ_ｋのそれぞれに、対応するクラスタラベルを割り当てることと同義である。言い換えると、クラスタリングが実行された以降では、小クラスタＣ_ｉの要素に分類された点に対して同一のクラスタＩＤ（ｉ）が参照され得る。つまり、以下の式２が成り立つ。

小クラスタへの分割の方法について説明する。小クラスタへの分割には、既存のクラスタリング手法を用いることができる。例えば、以下の式３で示すように、２点間の３次元空間上のユークリッド距離が閾値以下である点を同一の小クラスタとするような、距離ベースクラスタリングを用いることができる。

ただし、Ｃ_＊及びｐ_＊は、それぞれ、小クラスタ及びその要素の点を示す。また、ｎｏｒｍ（）は２点間の距離を示し、ｔｈｒｅｓ_ｄｉｓｔは同一クラスタに分類するための距離閾値とする。また、ｉは３次元点群データを分割して生成される小クラスタのそれぞれに割り当てられたインデックスである。

また、小クラスタへの分割には、２次元矩形を用いた最適化手法を用いることもできる。例えば、クラスタの所属を最適化する基準として、クラスタと点の間の距離を小さくする基準と、クラスタの要素が画像平面上に投影されたときに同一の２次元ラベル矩形の内部に包含されている期待値を高める基準とを組み合わせた基準を利用することができる。これによって、２次元ラベル矩形によって与えられた２次元平面上のオブジェクトに対する空間分布の拘束条件を３次元点群のクラスタリングに与えることができる。したがって、あらかじめ定めた距離の閾値より近傍に別々のオブジェクトが存在している場合でも、正しく（オブジェクトごとに）小クラスタに分離できる可能性がある。

例えば、上記のように距離閾値以内の点を同一クラスタに統合するクラスタリングを行った上で、以下の方法を行う。つまり、各クラスタＣ_ｉに含まれる点ｐ∈Ｃ_ｉに対し、画像平面への写像ｐ’が同一の２次元ラベル矩形Ｂ_ｊに含まれない個数を加算するペナルティ項を考える。そして、このペナルティ項を小さくするようにクラスタＣ_ｉを再分割するようにする方法が考えられる。ここで、ペナルティ項は、例えば以下のように定義できる。

ただし、２次元ラベル矩形が定義されていない領域は、全て、同一の背景領域Ｂ_０に属するものとする。また、Ｎｕｍは、要素の個数をカウントする関数であるとする。式４は、クラスタＣ_ｉの全要素における２次元ラベル矩形の包含関係に対するエントロピーと等価の概念である。したがって、式４は、クラスタＣ_ｉの要素が画像平面上で相異なる２次元ラベル矩形に含まれる場合が多いほど大きな値になるため、これを最小化、もしくは閾値以下に収めるように再分割を行えばよい。

クラスタ写像投影部１０３２は、３次元点群の小クラスタのそれぞれを、２次元ラベルが定義された平面座標系へ投影する。ここで、上記の投影を行うためには、３次元点群座標からこの平面への写像が定義されている必要がある。ここでは、２次元ラベルが定義された平面座標は、２次元ラベルを付与する元になった画像の座標系を想定し、３次元点群座標から画像平面への写像が与えられているものとする。具体的には、画像出力装置２０であるカメラと、点群出力装置３０である３Ｄ ＬｉＤＡＲとのキャリブレーション（位置の対応付け）が実行済みであるとする。

図８は、実施の形態１にかかる、３次元点から２次元平面への投影方法を説明するための図である。図８を用いて、校正済みの光学系の座標変換について説明する。３Ｄ ＬｉＤＡＲ（点群出力装置３０）及びカメラ（画像出力装置２０）による光学系を想定すると、図８に示すように、３Ｄ ＬｉＤＡＲで計測される３次元空間上の点Ｘ_ｖｅｌは、以下の式５のように、カメラの中心座標系の点Ｘ_ｃａｍと、３次元の座標変換行列Ｔ_ｖｃ∈Ｒ^{（４×４）}によって一意に変換できる。

カメラモデルが非線形である場合、３次元点Ｘ_ｖｅｌからカメラ画像Ｉｍにおける画像平面上の点Ｘ_ｉｍｇへの写像は、関数Ｐ_ｃｉ：Ｒ^４→Ｒ^３を用いて、以下の式６で表される。

カメラモデルが線形である場合、３次元点Ｘ_ｖｅｌからカメラ画像Ｉｍにおける画像平面上の点Ｘ_ｉｍｇへの写像は、行列Ｐ_ｃｉ∈Ｒ^{（３×４）}を用いて、以下の式７で表される。

ここで、式５～式７で示した全てのベクトルは、同次ベクトルである。つまり、Ｘ_ｖｅｌ，Ｘ_ｃａｍ∈Ｒ^４、Ｘ_ｉｍｇ∈Ｒ^３である。また、前述したように、３次元点と画像平面への写像は一対一対応ではなく、一意に決まるのは３次元点から画像平面への写像のみであることに注意が必要である。

一般に、行列Ｔ_ｖｃの要素を外部パラメータ（extrinsic parameters）と称し、関数Ｐ_ｃｉの係数又は行列要素を（カメラ）内部パラメータ（intrinsic parameters）と称し、これらのパラメータを求めることをキャリブレーションと称する。本実施の形態では、何らかの手段でキャリブレーションが実行済みであることを想定している。このとき、３次元点群の各点の座標は、画像平面の各点へ幾何学的な演算で一意に投影される。同様に、３次元点群の各点の集合である小クラスタは、要素の各点の写像の集合として画像平面上へ投影される。

図９は、実施の形態１にかかるラベル変換部１０３におけるクラスタ写像投影部１０３２の動作を説明するための図である。図９は、２次元平面へ射影される各小クラスタの３次元点群の写像及びその要素からなる凸包が、２次元ラベル矩形と同一平面に投影された結果を模式的に示す。これらの結果は次に述べるラベル照合部１０３３に用いられる。

ここで、図９は、図７に例示したクラスタリングによって分割されて得られた小クラスタに対応している。点Ｘ_１，Ｘ_２は、それぞれ、小クラスタＣ_１，Ｃ_２の画像平面９０への写像に対応する。また、凸包Ｄ_１，Ｄ_２は、それぞれ、点Ｘ_１，Ｘ_２を含む凸包である。また、矩形Ｂ_１，Ｂ_２は、それぞれ、小クラスタＣ_１，Ｃ_２に対応する２次元ラベル矩形である。

ラベル照合部１０３３は、クラスタ写像投影部１０３２によって画像平面９０へ投影された小クラスタと、２次元ラベル入力部１０２によって与えられた２次元ラベルとを照合し、それぞれの２次元ラベルに適合する小クラスタを選別する機能である。具体的には、ラベル照合部１０３３は、以下の式８のように小クラスタＣ_ｉ単位で各点ｐ∈Ｃ_ｉに対応する２次元ラベル矩形（bounding-box）Ｂ_ｊを探索し、クラスラベル（及びＩＤラベル）を対応付ける。

図１０～図１２は、実施の形態１にかかるラベル照合部１０３３によって行われる照合処理で使用される判別方式を説明するための図である。図１０は、小クラスタＣ_ｉの凸包Ｄ_ｉと２次元ラベル矩形Ｂ_ｊとが重なった状態を示している。ラベル照合部１０３３は、小クラスタＣ_ｉの点ｐ∈Ｃ_ｉ（画像平面における点群の写像）が２次元ラベル矩形Ｂ_ｊの内部に含まれる割合に応じて、小クラスタＣ_ｉと２次元ラベル矩形Ｂ_ｊとを照合する。言い換えると、ラベル照合部１０３３は、小クラスタＣ_ｉの写像と２次元ラベル矩形Ｂ_ｊとの相関に応じて、小クラスタＣ_ｉと２次元ラベル矩形Ｂ_ｊとを照合する。

図１１は、小クラスタを構成する点群の写像が２次元ラベル矩形Ｂ_ｊの内部に含まれる割合を算出する第１の方法を説明するための図である。図１１は、２次元ラベル矩形Ｂ_ｊに含まれる点群の包含率を算出する方法に関する。つまり、ラベル照合部１０３３は、点群の包含率を算出し、各小クラスタに対し、最も包含率の高い２次元ラベル矩形と同一のラベルを付与する。この包含率が、小クラスタＣ_ｉの写像と２次元ラベル矩形Ｂ_ｊとの相関を表すパラメータに対応する。言い換えると、このパラメータは、小クラスタの写像の要素が２次元ラベルデータに含まれる割合である包含率に対応する。このとき、ラベル照合部１０３３は、ある小クラスタについての最大の包含率が所定の閾値を超えない場合には、対応ラベルなし（Ｌａｂｅｌ＝ＵｎＫｎｏｗｎ）としてもよい。

具体的には、ラベル照合部１０３３は、以下の式９によって、包含率ＩＢＲ（In Box Ratio）を計算する。

ただし、Ｃ_ｉは小クラスタを示し、Ｂ_ｊは２次元ラベル矩形を示し、ｐ_ｋは小クラスタの要素の点を示す。また、ｉ，ｊ，ｋは、それぞれ、対応する集合要素のインデックスである。また、Ｎｕｍ（）は要素の個数をカウントする関数である。

図１２は、小クラスタを構成する点群の写像が２次元ラベルの矩形Ｂ_ｊの内部に含まれる割合を算出する第２の方法を説明するための図である。図１２は、小クラスタの点群の写像の凸包と２次元ラベル矩形Ｂ_ｊとの面積重複率を算出する方法に関する。つまり、ラベル照合部１０３３は、面積重複率（ＩｏＵ；Intersection-over-union）を算出し、各小クラスタに対し、最も面積重複率の高い２次元ラベル矩形と同一のラベルを付与する。この面積重複率が、小クラスタＣ_ｉの写像と２次元ラベル矩形Ｂ_ｊとの相関を表すパラメータに対応する。言い換えると、このパラメータは、小クラスタの写像によって形成される凸包と２次元ラベルデータとの面積重複率に対応する。このとき、ラベル照合部１０３３は、ある小クラスタについての最大のＩｏＵが所定の閾値を超えない場合には、対応ラベルなし（Ｌａｂｅｌ＝ＵｎＫｎｏｗｎ）としてもよい。

具体的には、ラベル照合部１０３３は、以下の式１０によって、面積重複率（ＩｏＵ）を計算する。

ただし、Ｄ_ｉは、小クラスタＣ_ｉの画像平面上における凸包（convex hull）とする。また、Ａｒｅａ（）は面積を求める関数である。

また、ラベル照合部１０３３は、上記の式９で示した点包含率と上記の式１０で示した面積重複率とを組み合わせて、小クラスタに対応する２次元ラベル矩形を判別してもよい。例えば、ラベル照合部１０３３は、以下の式１１に示すように、小クラスタ及びそれを構成する点群について、ＩＢＲが閾値ｔｈ_ｉｂｒを超え、かつＩｏＵを最大にする２次元ラベル矩形Ｂ_ｊを、この小クラスタ及びそれを構成する点群のラベルとしてもよい。ここで、Ｌａｂｅｌ（＊）は、データ＊に付与された位置情報を除くラベルデータを表す。具体例では、このラベルデータは、［クラスラベルとＩＤラベル］である。

（効果）
実施の形態１にかかる画像処理システム１００により、画像データに付与された２次元ラベルから、対応する３次元点群データに対する３次元ラベルを自動的に生成することが可能になる。これにより、２次元画像と３次元点群とを同時に取得可能な撮像系（例えばカメラ及び３Ｄ ＬｉＤＡＲを含む撮像系等）において、画像へのラベル付与コストのみで、２次元画像と３次元点群とで共通化されたラベルデータを生成することができる。したがって、容易に、このラベルデータを、２次元画像及び３次元点群の２つのデータを用いた機械学習タスクに利用できるようになる。

また、このように生成された３次元点群ラベルは、以下のように利用可能である。例えば、３次元点群ラベルは、３次元点群のみからオブジェクトに対応する点群を推定し、特定オブジェクトの３次元領域位置を出力するような、３次元物体検出タスクに対する性能評価のための評価データセットとして利用され得る。また、３次元点群ラベルは、例えば、３次元物体検出タスクを統計的機械学習によって実現する場合の学習用データセットとして利用され得る。

（動作）
図１３は、実施の形態１にかかる電子制御装置１０によって実行される画像処理方法を示すフローチャートである。まず、電子制御装置１０の３次元点群入力部１０１は、点群出力装置３０から、３次元点群データを取得する（ステップＳ１）。また、電子制御装置１０の２次元ラベル入力部１０２は、２次元ラベルデータを取得する（ステップＳ２）。具体的には、２次元ラベル入力部１０２は、画像出力装置２０から画像を取得して、この画像に対応する、予め保存された２次元ラベルデータを取得する。あるいは、２次元ラベル入力部１０２は、画像出力装置２０から画像を取得して、この画像に対応する、電子制御装置１０において自動的に機械学習等により生成された２次元ラベルデータを取得する。次に、ラベル変換部１０３は、２次元ラベルデータを３次元点群ラベルへ変換する、ラベル変換処理を実行する（ステップＳ３）。Ｓ３の処理の詳細については後述する。なお、Ｓ１～Ｓ３の処理は、複数の画像系列に対して、逐次繰り返し実行され得る。

図１４は、実施の形態１にかかるラベル変換部１０３の動作を示すフローチャートである。ラベル変換部１０３の３次元点群分割部１０３１は、取得された３次元点群データに対して上述したクラスタリングを実行し、３次元点群データ全体を小クラスタに分割する（ステップＳ３０１）。次に、ラベル変換部１０３のクラスタ写像投影部１０３２は、３次元点群を２次元ラベルデータと同一の２次元座標系（画像平面）へ射影する（ステップＳ３０２）。最後に、ラベル変換部１０３のラベル照合部１０３３は、２次元ラベル矩形と画像平面上の小クラスタ間で照合を実行する（ステップＳ３０３）。これにより、ラベル照合部１０３３は、選択された２次元ラベル矩形に対応する小クラスタに所属する３次元点に対し、この選択された２次元ラベル矩形と同一のクラスラベル（又はＩＤラベル）を付与する処理を実行する。

（実施の形態２）
次に、実施の形態２について、図面を参照しながら説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。なお、実施の形態２にかかるシステム構成については、図２に示したものと実質的に同様であるので、説明を省略する。実施の形態２は、画像セグメンテーションラベルを生成する点で、実施の形態１と異なる。

実施の形態２にかかる画像処理システム１００では、実施の形態１にかかる画像処理方法によって生成された３次元点群ラベルを用いて、画像セグメンテーションラベルを生成する。ここで、画像セグメンテーションラベルとは、画像上のオブジェクトの形状に沿って、オブジェクトに対応する領域のピクセル単位で付与される、クラスラベル（又はＩＤラベル）である。

ここで、上述した実施の形態１は、画像上のオブジェクトを２次元矩形レベルで推定する物体検出（object detection）の課題に用いられる２次元ラベルデータ（矩形）に関する。これに対し、画像セグメンテーションラベルは、ピクセルレベルでオブジェクトの塗り分け（分類）を行う画像セグメンテーション（image (semantic) segmentation）の課題に用いられるラベルデータである。画像セグメンテーションラベルは、ピクセルレベルの塗り分け（分類）を要するため、手作業でラベル付与を行うには高コストである。一方、実施の形態２においては、２次元ラベル（矩形）から３次元点群ラベルを自動生成し、３次元点群ラベルから画像セグメンテーションラベルを自動生成することが可能である。

図１５は、実施の形態２にかかる電子制御装置１０の構成を模式的に示した機能ブロック図である。実施の形態１と同様に、実施の形態２にかかる電子制御装置１０は、３次元点群入力部１０１と、２次元ラベル入力部１０２と、ラベル変換部１０３とを有する。さらに、実施の形態２にかかる電子制御装置１０は、画像入力部１０４及びセグメンテーションラベル生成部１０５を有する。３次元点群入力部１０１、２次元ラベル入力部１０２及びラベル変換部１０３の動作については、実施の形態１と実質的に同様であるので、説明を省略する。

画像入力部１０４は、画像入力手段として機能する。画像入力部１０４は、３次元点群データ、対応する２次元ラベル、及び、対応するカメラ画像を取得（入力）する。つまり、画像入力部１０４は、ラベルが付与された３次元点群データを取得する。セグメンテーションラベル生成部１０５は、セグメンテーションラベル生成手段として機能する。セグメンテーションラベル生成部１０５は、ラベル変換部１０３によって出力される、ラベルが付与された３次元点群データを用いて、画像セグメンテーションラベルデータを生成する。ここで、画像入力部１０４によって取得される画像が用いられる場合と、この画像が用いられない場合とがある。実施の形態２では、ラベル変換部１０３によって出力される３次元点を画像平面上に投影し、ラベル（クラスラベル又はＩＤラベル）毎に、投影された点間の画像ピクセルを補間することで、セグメンテーションラベルが生成される。

ここで、ピクセルの補間処理については、既存の画像補間処理が用いられ得る。例えば３ｘ３ピクセルなどの範囲を指定して、クロージング（closing）のモーフォロジー（morphology）演算を行い、隣接ピクセルを埋める処理を行う。つまり、ラベルが付与された３次元点の周囲のピクセルに、そのラベルが付与されることとなる。このような処理を行うことで、３次元点群ラベルから、画像上のオブジェクトに重なるピクセルを塗りつぶした画像セグメンテーションラベルデータを生成することができる。

また、補間処理に関しては、入力画像情報（カメラ画像）を参照して最適化を行ってもよい。また、ラベル毎に補間処理を実行した後、異なるラベル間で補間ピクセルの干渉が起こったときに、画像のエッジ及び色情報等を参照して境界を決定する方法等を用いてもよい。

（効果）
実施の形態２にかかる方法によって生成された画像セグメンテーションラベルは、以下のように利用可能である。例えば、画像セグメンテーションラベルは、入力画像のみからオブジェクトの領域ピクセルを推定し、マスク領域を塗りつぶした結果を出力するような、画像セグメンテーションタスクに対する性能評価のための評価データセットとして利用され得る。また、例えば、画像セグメンテーションラベルは、画像セグメンテーションタスクを統計的機械学習によって実現する場合の学習用データセットとして利用され得る。

（動作）
図１６は、実施の形態２にかかる電子制御装置１０によって実行される画像処理方法を示すフローチャートである。まず、上述したＳ１～Ｓ３の処理（図１３，図１４）が実行される。次に、画像入力部１０４は、ラベルが付与された３次元点群データを取得する（ステップＳ４０１）。セグメンテーションラベル生成部１０５は、取得された３次元点群データを、ラベルごとに、２次元画像平面へ投影する（ステップＳ４０２）。セグメンテーションラベル生成部１０５は、２次元画像平面上で、ラベル毎に、投影点に対してピクセル補間処理を行う（ステップＳ４０３）。この際、必要に応じて、入力画像の情報が参照され得る。

（変形例）
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上述したフローチャートの各ステップの処理の１つ以上は、省略され得る。

上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

上記の実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
物体の３次元点群を示す３次元点群データを取得する３次元点群取得手段と、
前記物体の２次元画像に対応するラベルデータである２次元ラベルデータを取得する２次元ラベル取得手段と、
前記２次元ラベルデータを前記３次元点群データと対応付けて、前記２次元ラベルデータを、前記３次元点群のラベルを示す３次元点群ラベルデータに変換するラベル変換手段と
を有する画像処理装置。
（付記２）
前記ラベル変換手段は、前記３次元点群を前記２次元画像に対応する画像平面へ投影した写像と前記２次元ラベルデータとを対応付けることで、前記２次元ラベルデータを前記３次元点群データと対応付ける
付記１に記載の画像処理装置。
（付記３）
前記ラベル変換手段は、前記２次元ラベルデータと前記３次元点群の前記写像とを照合することで、前記２次元ラベルデータを前記３次元点群データと対応付ける
付記２に記載の画像処理装置。
（付記４）
前記ラベル変換手段は、前記３次元点群を所定の基準に従ってクラスタリングすることによって前記３次元点群を複数の小クラスタに分割し、分割された前記小クラスタごとに、前記２次元ラベルデータを対応付ける
付記１～３のいずれか１項に記載の画像処理装置。
（付記５）
前記ラベル変換手段は、前記小クラスタを前記２次元画像に対応する画像平面へ投影した写像と前記２次元ラベルデータとの相関を表すパラメータに応じて、前記２次元ラベルデータと前記３次元点群データとを対応付ける
付記４に記載の画像処理装置。
（付記６）
前記パラメータは、前記小クラスタの写像の要素が前記２次元ラベルデータに含まれる割合である包含率、及び、前記小クラスタの写像によって形成される凸包と前記２次元ラベルデータとの面積重複率の、少なくとも一方に対応する
付記５に記載の画像処理装置。
（付記７）
前記ラベル変換手段は、前記クラスタリングにおいて、前記３次元点群それぞれのクラスタの所属を最適化する基準として、クラスタと点の間の距離を小さくする基準、及び、クラスタの要素が画像平面上に投影されたときに同一の２次元ラベル矩形の内部に包含されている期待値を高める基準とを組み合わせた基準を利用する
付記４～６のいずれか１項に記載の画像処理装置。
（付記８）
前記３次元点群ラベルデータを前記２次元画像に対応する画像平面へ投影した写像についてピクセル補間処理を行うことで、画像セグメンテーションラベルデータを生成するセグメンテーションラベル生成手段
をさらに有する付記１～７のいずれか１項に記載の画像処理装置。
（付記９）
物体の３次元点群を示す３次元点群データを取得し、
前記物体の２次元画像に対応するラベルデータである２次元ラベルデータを取得し、
前記２次元ラベルデータを前記３次元点群データと対応付けて、前記２次元ラベルデータを、前記３次元点群のラベルを示す３次元点群ラベルデータに変換する
画像処理方法。
（付記１０）
前記３次元点群を前記２次元画像に対応する画像平面へ投影した写像と前記２次元ラベルデータとを対応付けることで、前記２次元ラベルデータを前記３次元点群データと対応付ける
付記９に記載の画像処理方法。
（付記１１）
前記２次元ラベルデータと前記３次元点群の前記写像とを照合することで、前記２次元ラベルデータを前記３次元点群データと対応付ける
付記１０に記載の画像処理方法。
（付記１２）
前記３次元点群を所定の基準に従ってクラスタリングすることによって前記３次元点群を複数の小クラスタに分割し、分割された前記小クラスタごとに、前記２次元ラベルデータを対応付ける
付記９～１１のいずれか１項に記載の画像処理方法。
（付記１３）
前記小クラスタを前記２次元画像に対応する画像平面へ投影した写像と前記２次元ラベルデータとの相関を表すパラメータに応じて、前記２次元ラベルデータと前記３次元点群データとを対応付ける
付記１２に記載の画像処理方法。
（付記１４）
前記パラメータは、前記小クラスタの写像の要素が前記２次元ラベルデータに含まれる割合である包含率、及び、前記小クラスタの写像によって形成される凸包と前記２次元ラベルデータとの面積重複率の、少なくとも一方に対応する
付記１３に記載の画像処理方法。
（付記１５）
前記クラスタリングにおいて、前記３次元点群それぞれのクラスタの所属を最適化する基準として、クラスタと点の間の距離を小さくする基準、及び、クラスタの要素が画像平面上に投影されたときに同一の２次元ラベル矩形の内部に包含されている期待値を高める基準とを組み合わせた基準を利用する
付記１２～１４のいずれか１項に記載の画像処理方法。
（付記１６）
前記３次元点群ラベルデータを前記２次元画像に対応する画像平面へ投影した写像についてピクセル補間処理を行うことで、画像セグメンテーションラベルデータを生成する
付記９～１５のいずれか１項に記載の画像処理方法。
（付記１７）
物体の３次元点群を示す３次元点群データを取得するステップと、
前記物体の２次元画像に対応するラベルデータである２次元ラベルデータを取得するステップと、
前記２次元ラベルデータを前記３次元点群データと対応付けて、前記２次元ラベルデータを、前記３次元点群のラベルを示す３次元点群ラベルデータに変換するステップと
をコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。

１ 画像処理装置
２ ３次元点群取得部
４ ２次元ラベル取得部
６ ラベル変換部
１０ 電子制御装置
２０ 画像出力装置
３０ 点群出力装置
４０ 端末装置
９０ 画像平面
１００ 画像処理システム
１０１ ３次元点群入力部
１０２ ２次元ラベル入力部
１０３ ラベル変換部
１０４ 画像入力部
１０５ セグメンテーションラベル生成部
１０３１ ３次元点群分割部
１０３２ クラスタ写像投影部
１０３３ ラベル照合部

Claims (10)

1. 物体の３次元点群を示す３次元点群データを取得する３次元点群取得手段と、
   前記物体の２次元画像に対応するラベルデータである２次元ラベルデータを取得する２次元ラベル取得手段と、
   前記２次元ラベルデータを前記３次元点群データと対応付けて、前記２次元ラベルデータを、前記３次元点群のラベルを示す３次元点群ラベルデータに変換するラベル変換手段と
   を有する画像処理装置。
2. 前記ラベル変換手段は、前記３次元点群を前記２次元画像に対応する画像平面へ投影した写像と前記２次元ラベルデータとを対応付けることで、前記２次元ラベルデータを前記３次元点群データと対応付ける
   請求項１に記載の画像処理装置。
3. 前記ラベル変換手段は、前記２次元ラベルデータと前記３次元点群の前記写像とを照合することで、前記２次元ラベルデータを前記３次元点群データと対応付ける
   請求項２に記載の画像処理装置。
4. 前記ラベル変換手段は、前記３次元点群を所定の基準に従ってクラスタリングすることによって前記３次元点群を複数の小クラスタに分割し、分割された前記小クラスタごとに、前記２次元ラベルデータを対応付ける
   請求項１～３のいずれか１項に記載の画像処理装置。
5. 前記ラベル変換手段は、前記小クラスタを前記２次元画像に対応する画像平面へ投影した写像と前記２次元ラベルデータとの相関を表すパラメータに応じて、前記２次元ラベルデータと前記３次元点群データとを対応付ける
   請求項４に記載の画像処理装置。
6. 前記パラメータは、前記小クラスタの写像の要素が前記２次元ラベルデータに含まれる割合である包含率、及び、前記小クラスタの写像によって形成される凸包と前記２次元ラベルデータとの面積重複率の、少なくとも一方に対応する
   請求項５に記載の画像処理装置。
7. 前記ラベル変換手段は、前記クラスタリングにおいて、前記３次元点群それぞれのクラスタの所属を最適化する基準として、クラスタと点の間の距離を小さくする基準、及び、クラスタの要素が画像平面上に投影されたときに同一の２次元ラベル矩形の内部に包含されている期待値を高める基準とを組み合わせた基準を利用する
   請求項４～６のいずれか１項に記載の画像処理装置。
8. 前記３次元点群ラベルデータを前記２次元画像に対応する画像平面へ投影した写像についてピクセル補間処理を行うことで、画像セグメンテーションラベルデータを生成するセグメンテーションラベル生成手段
   をさらに有する請求項１～７のいずれか１項に記載の画像処理装置。
9. 物体の３次元点群を示す３次元点群データを取得し、
   前記物体の２次元画像に対応するラベルデータである２次元ラベルデータを取得し、
   前記２次元ラベルデータを前記３次元点群データと対応付けて、前記２次元ラベルデータを、前記３次元点群のラベルを示す３次元点群ラベルデータに変換する
   画像処理方法。
10. 物体の３次元点群を示す３次元点群データを取得するステップと、
    前記物体の２次元画像に対応するラベルデータである２次元ラベルデータを取得するステップと、
    前記２次元ラベルデータを前記３次元点群データと対応付けて、前記２次元ラベルデータを、前記３次元点群のラベルを示す３次元点群ラベルデータに変換するステップと
    をコンピュータに実行させるプログラム。

Images