JP7388751B2 - 学習データ生成装置、学習データ生成方法および学習データ生成プログラム - Google Patents

Description

本発明は、機械学習で用いられる学習データを生成する学習データ生成装置、学習データ生成方法および学習データ生成プログラムに関する。

ディープラーニングなどを用いた機械学習において、学習を効率的に行うためには大量の学習データが必要である。そのため、学習データを効率的に作成する方法が各種提案されている。

特許文献１には、３Ｄ（3-Dimensions）のＣＧ（computer graphics ）から２Ｄ（2-Dimensions）画像を作成して学習する物体認識装置が記載されている。特許文献１に記載された物体認識装置は、手の様々な形状の画像を予め複数枚作成し、作成された画像に基づいて学習し、認識時に入力された画像に対して形状が近い手の画像を学習画像から検索する。

特開２０１０－２１１７３２号公報

一方、教師あり学習を行う場合、正解ラベルが設定された学習データが必要である。しかし、正解ラベルが適切に設定され、現場に則した学習データを大量に集めることは非常にコストのかかる作業である。

特許文献１に記載された物体認識装置は、３次元のＣＧ基本動作画像データから、１個の動作フレームごとに、ある視点から見た二次元の見え画像（２次元平面へ投影した２次元画像）を１枚作成する。そのため、学習データの生成に要する処理を低減することは可能である。しかし、特許文献１に記載された物体認識装置は、認識対象（例えば、手の認識、身体の認識など）が決まっているため、所定の認識対象か否かを示す正解ラベルしか学習データに設定できないという問題がある。

すなわち、特許文献１に記載された物体認識装置を用いて３次元のＣＧ基本動作画像データから仮想的にデータを増やしたとしても、所定の正解ラベルしか設定できないため、データの種類に応じた正解ラベルを自動的に付与することは困難である。

そこで、本発明は、データの種類に応じた正解ラベルが付与された学習データをＣＧから自動で生成できる学習データ生成装置、学習データ生成方法および学習データ生成プログラムを提供することを目的とする。

本発明による学習データ生成装置は、属性が関連付けられた３次元モデルと第一の背景とを仮想空間内にモデリングした３次元空間を生成する３次元空間生成部と、２次元平面に３次元空間における３次元モデルを投影して２次元物体を描画する２次元物体描画部と、２次元物体の投影元の３次元モデルに関連付けられた属性からラベルを生成するラベル生成部と、２次元物体と第二の背景とを合成した２次元画像を生成する背景合成部と、第二の背景と２次元物体とが合成された２次元画像と、生成されたラベルとを対応付けた学習データを生成する学習データ生成部とを備え、ラベル生成部が、学習データを用いて学習されるモデルが判定する内容を示す新たなラベルを属性に基づいて作成し、学習データ生成部は、生成された新たなラベルを対応付けた学習データを生成することを特徴とする。

本発明による学習データ生成方法は、属性が関連付けられた３次元モデルと第一の背景とを仮想空間内にモデリングした３次元空間を生成し、２次元平面に３次元空間における３次元モデルを投影して２次元物体を描画し、２次元物体の投影元の３次元モデルに関連付けられた属性からラベルを生成し、２次元物体と第二の背景とを合成した２次元画像を生成し、第二の背景と２次元物体とが合成された２次元画像と、生成されたラベルとを対応付けた学習データを生成し、ラベルの生成において、学習データを用いて学習されるモデルが判定する内容を示す新たなラベルを上記属性に基づいて作成し、生成された新たなラベルを対応付けた学習データを生成することを特徴とする。

本発明による学習データ生成プログラムは、コンピュータに、属性が関連付けられた３次元モデルと第一の背景とを仮想空間内にモデリングした３次元空間を生成する３次元空間生成処理、２次元平面に３次元空間における３次元モデルを投影して２次元物体を描画する２次元物体描画処理、２次元物体の投影元の３次元モデルに関連付けられた属性からラベルを生成するラベル生成処理、２次元物体と第二の背景とを合成した２次元画像を生成する背景合成処理、および、第二の背景と２次元物体とが合成された２次元画像と、生成されたラベルとを対応付けた学習データを生成する学習データ生成処理を実行させ、ラベル生成処理で、学習データを用いて学習されるモデルが判定する内容を示す新たなラベルを属性に基づいて作成させ、学習データ生成処理で、生成された新たなラベルを対応付けた学習データを生成させることを特徴とする。

本発明によれば、データの種類に応じた正解ラベルが付与された学習データをＣＧから自動で生成できる。

本発明による学習データ生成装置の一実施形態の構成例を示すブロック図である。 学習データの例を示す説明図である。 学習データ生成装置の動作例を示すフローチャートである。 学習データを生成する処理の例を示す説明図である。 本発明による学習データ生成装置の概要を示すブロック図である。

以下、本発明の実施形態を図面を参照して説明する。

図１は、本発明による学習データ生成装置の一実施形態の構成例を示すブロック図である。本実施形態の学習データ生成装置１００は、記憶部１０と、３次元空間生成部２０と、２次元物体描画部３０と、領域算出部４０と、ラベル生成部５０と、背景合成部６０と、学習データ生成部７０とを備えている。

記憶部１０は、後述する３次元空間を生成するための各種オブジェクトや背景の情報（パラメータ）、合成に用いられる背景上の情報（パラメータ）などを記憶する。また、記憶部１０は、生成された学習データを記憶してもよい。記憶部１０は、例えば、磁気ディスク等により実現される。

３次元空間生成部２０は、３次元モデルと背景とを仮想空間内にモデリングした３次元空間を生成する。具体的には、３次元空間生成部２０は、３次元のＣＧを作成するツールやプログラムにより３次元空間の画像を生成する。３次元空間生成部２０は、３次元のＣＧを生成する一般的な方法を用いて３次元空間を生成してもよい。

３次元モデルは、３次元空間上に存在するオブジェクトであり、例えば、人物や、車両等の物体である。また、３次元モデルには、その３次元モデルの属性を表わす情報が関連付けられている。属性の例として、物体の種類や色、性別や年齢など、様々な要素が挙げられる。

以下、３次元空間生成部２０が３次元空間を生成する処理の一例を具体的に説明する。ここでは、人物が動くことを想定した３次元空間を生成する場合を例示する。まず、３次元空間生成部２０は、背景ＣＧおよび人物ＣＧを入力し、背景と人物とをＣＧ上で合成させる。なお、人物ＣＧには、性別や服装などの属性情報が関連付けられている。

さらに、３次元空間生成部２０は、人物ＣＧの動きを入力する。なお、背景ＣＧ、人物ＣＧ、および、人物の動きは、ユーザ等により指定される。また、３次元空間生成部２０は、３次元空間に対する視点を表わすパラメータや、環境光などの光源を示すパラメータ、物体のテクスチャやシェーディングなどを示す情報を入力してもよい。そして、３次元空間生成部２０は、入力された情報に基づいてレンダリング（画像または映像の生成）を行う。

さらに、３次元空間生成部２０は、変更対象とする複数の視点を示すパラメータのパターン（以下、視点変更パターンと記す。）と、変更対象とする複数の環境光を示すパラメータのパターン（以下、環境光変更パターンと記す。）のいずれか一方、または、両方を入力してもよい。この場合、３次元空間生成部２０は、入力された視点変更パターンおよび環境光変更パターンごとに３次元空間を生成してもよい。このようなパターンを入力することで、数多くの環境を想定した３次元空間を容易に生成することが可能になる。

２次元物体描画部３０は、３次元空間における３次元モデルを２次元平面に投影して、２次元物体を描画する。なお、２次元物体描画部３０が３次元モデルを２次元物体として描画する方法は任意である。２次元物体描画部３０は、例えば、３次元空間内から視点への透視投影変換によって３次元モデルを変換した点群を２次元物体として描画してもよい。なお、透視投影変換によって３次元モデルを変換する方法は広く知られており、ここでは詳細な説明は省略する。

また、２次元物体描画部３０は、単一色で定義された２次元平面に３次元モデルを投影して、２次元物体を描画してもよい。単一色の２次元平面に２次元物体を描画することで、後述する領域算出部４０による２次元物体の領域の特定が容易になる。

領域算出部４０は、描画された２次元物体ごとに、その２次元物体が存在する領域を算出する。具体的には、領域算出部４０は、描画された２次元物体ごとに、その２次元物体の外接矩形座標を、物体が存在する領域として算出してもよい。

また、２次元物体が透視投影変換による点群として描画されている場合、領域算出部４０は、描画された点群に基づいて、２次元物体が存在する領域を算出してもよい。領域算出部４０は、例えば、描画された点群そのものを、物体が存在する領域として算出してもよく、その点群の外接矩形座標を、物体が存在する領域として算出してもよい。

さらに、単一色で定義された２次元平面に２次元物体が描画された場合、領域算出部４０は、定義された単一色以外の領域を囲む外接矩形座標を、物体が存在する領域として算出してもよい。

ラベル生成部５０は、２次元物体の投影元の３次元モデルに関連付けられた属性からラベルを生成する。生成されるラベルは、関連付けされた属性の一部または複数であってもよい。また、ラベル生成部５０は、関連付けされた属性に基づいて、新たなラベルを生成してもよい。例えば、属性に「性別（男性または女性）」を含む場合、ラベル生成部５０は、新たなラベルとして、男性か否かを示すラベルや、女性か否かを示すラベルを新たに生成してもよい。

背景合成部６０は、２次元物体と背景とを合成した２次元画像を生成する。背景合成部６０が合成する背景は、３次元空間生成部２０が３次元空間の生成に用いた背景と同一であってもよく、異なっていてもよい。以下の説明では、３次元空間生成部２０が３次元空間の生成に用いた背景と、背景合成部６０が２次元物体と合成する背景とを区別するため、前者の背景を第一の背景と記し、後者の背景を、第二の背景と記すこともある。

なお、第二の背景と２次元物体とを合成したときの違和感を避けるため、背景合成部６０は、２次元物体が描画された際の視点パラメータおよび環境光パラメータと同一のパラメータで定義される第二の背景と、その２次元物体とを合成した２次元画像を生成することが好ましい。

学習データ生成部７０は、第二の背景と２次元物体とが合成された２次元画像と、生成されたラベルとを対応付けた学習データを生成する。さらに、学習データ生成部７０は、２次元画像とラベルに加え、算出された領域を対応付けた学習データを生成してもよい。

学習データ生成部７０が生成する学習データの内容は、機械学習で必要とする情報に応じて、予め定めておけばよい。例えば、物体認識を行うモデルを学習する場合、学習データ生成部７０は、２次元平面での物体の座標値と画像とを対応付けた学習データを生成してもよい。また、例えば、物体認識に加えて性別も判定するモデルを学習する場合、学習データ生成部７０は、２次元平面での物体の座標値、画像、および、男性または女性を示すラベルを対応付けた学習データを生成してもよい。

また、学習データ生成部７０は、生成した学習データの中から、所望の条件に合致するラベルが対応付けられた学習データのみ抽出してもよい。例えば、スーツを着用した男性が含まれる学習データのみ抽出したい場合、学習データ生成部７０は、生成した学習データのうち、「スーツを着用した男性」を示すラベルが対応付けられた学習データのみを抽出してもよい。このような学習データを抽出することで、例えば、洋服認識のモデルを学習することが可能になる。

図２は、学習データの例を示す説明図である。図２に例示する画像１１は、背景合成部６０によって生成された２次元画像の一例である。図２に示す例では、画像１１が、３種類の２次元物体（２次元物体１２、２次元物体１３および２次元物体１４）を含んでいることを示す。

また、図２に例示するラベル１５は、２次元画像に対応付けられるラベルの一例である。図２に示す例では、ラベル１５が各２次元物体に対応したラベルを含み、ラベル１５の各行が各２次元物体に対応したラベルを示す。

図２に例示するラベル１５において、Ｘ，Ｙは、左上を原点とした場合における２次元画像の各２次元物体の座標値（Ｘ，Ｙ）を示し、Ｗ，Ｈは、それぞれ、２次元物体の幅および高さを示す。また、ＩＤは、３Ｄモデルに対応する画像内の２次元物体の識別子を示し、ＰＡＲＴＳは、個々の３Ｄモデル（オブジェクト）の識別子を示す。また、ＮＡＭＥは、個々の３Ｄモデルの具体的な名称を示す。

なお、図２のラベル１５（ＡＰＰ，ＯＢＪ，ＴＹＰＥ，ＣＡＴＧ）に例示するように、ラベルには、物体の向きや進行方向、オブジェクトのカテゴリ（例えば、スクーターなど）や具体的な製品名等が設定されていてもよい。例えば、３Ｄモデルのオブジェクト（ＯＢＪ）がバイクの場合、カテゴリ（ＣＡＴＧ）には、スクーターなどが設定され、タイプには、スクーターの製品名などが設定され、パーツ（ＰＡＲＴＳ）には、タイヤやハンドルなどが設定される。

学習データ生成部７０が２次元画像とラベルとを対応付ける方法は任意である。例えば、２Ｄ画像１枚に１つの物体が存在する場合、学習データ生成部７０は、２Ｄ画像１枚に対して、１つのラベルを対応付けた学習データを生成してもよい。このとき、物体の存在する範囲が明らかである場合（例えば、画像全体に１つの物体が存在している場合など）、学習データ生成部７０は、学習データに領域を対応付けなくてもよい。

また、２Ｄ画像１枚に複数の物体が存在する場合、学習データ生成部７０は、２Ｄ画像１枚に対して、画像中の対応する領域を含む複数のラベルを対応付けた学習データを生成してもよい。この場合、各ラベルには、対応付ける２Ｄ画像を識別する情報を含めればよい。このように学習データを生成することで、画像を保存するストレージの量を低減させることが可能になる。

一方、２Ｄ画像１枚に複数の物体が存在する場合、学習データ生成部７０は、２Ｄ画像から、物体が存在する領域（例えば、矩形領域）に対応する部分画像を抽出し、抽出された部分画像とラベルとを対応付けた学習データを生成してもよい。この場合、学習データ生成部７０は、学習データに領域を対応付けなくてもよい。また、各ラベルには、対応付ける部分画像を識別する情報（例えば、ファイル名など）を含めればよい。このように学習データを生成することで、画像を保存するストレージの量を低減させつつ、個々の２次元画像（部分画像）に対応するラベルが設定された学習データを保持することが可能になる。

なお、本実施形態では、２次元物体が存在する領域を領域算出部４０が算出する場合について説明した。ただし、上述するように領域の設定が不要な学習データを生成する場合、学習データ生成装置１００は、領域算出部４０を備えていなくてもよい。

３次元空間生成部２０と、２次元物体描画部３０と、領域算出部４０と、ラベル生成部５０と、背景合成部６０と、学習データ生成部７０とは、プログラム（学習データ生成プログラム）に従って動作するコンピュータのプロセッサ（例えば、ＣＰＵ（Central Processing Unit ）、ＧＰＵ（Graphics Processing Unit））によって実現される。

例えば、プログラムは、記憶部１０に記憶され、プロセッサは、そのプログラムを読み込み、プログラムに従って、３次元空間生成部２０、２次元物体描画部３０、領域算出部４０、ラベル生成部５０、背景合成部６０および学習データ生成部７０として動作してもよい。また、学習データ生成装置１００の機能がＳａａＳ（Software as a Service ）形式で提供されてもよい。

３次元空間生成部２０と、２次元物体描画部３０と、領域算出部４０と、ラベル生成部５０と、背景合成部６０と、学習データ生成部７０とは、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路（circuitry ）、プロセッサ等やこれらの組合せによって実現されもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。

また、学習データ生成装置１００の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

次に、本実施形態の学習データ生成装置の動作を説明する。図３は、本実施形態の学習データ生成装置１００の動作例を示すフローチャートである。

３次元空間生成部２０は、属性が関連付けられた３次元モデルと背景とを仮想空間内にモデリングした３次元空間を生成する（ステップＳ１１）。２次元物体描画部３０は、３次元空間における３次元モデルを２次元平面に投影して２次元物体を描画する（ステップＳ１２）。領域算出部４０は、描画された２次元物体ごとに、その２次元物体が存在する領域を算出してもよい。

ラベル生成部５０は、２次元物体の投影元の３次元モデルに関連付けられた属性からラベルを生成する（ステップＳ１３）。背景合成部６０は、２次元物体と背景とを合成した２次元画像を生成する（ステップＳ１４）。そして、学習データ生成部７０は、背景と２次元物体とが合成された２次元画像と、生成されたラベルとを対応付けた学習データを生成する（ステップＳ１５）。

次に、本実施形態における学習データ生成処理の具体例を説明する。図４は、学習データを生成する処理の例を示す説明図である。まず、３次元空間生成部２０が、３次元モデルである複数の人物と、背景とを合成させた３次元空間の画像２１を生成する。２次元物体描画部３０は、画像２１が示す３次元空間の人物を２次元平面に投影して２次元の人物を描画して、２次元画像２２を生成する。

領域算出部４０は、描画された人物ごとに、その人物が存在する領域３１を算出する。また、ラベル生成部５０は、人物の属性からラベル３２を生成する。背景合成部６０は、人物と背景とを合成した２次元画像２３を生成する。図４では、ラベルのＩＤ＝０で特定される人物と背景とを合成した２次元画像を生成した例を示す。なお、ラベルのＩＤ＝１およびＩＤ＝２で特定される人物と背景とを合成した２次元画像を生成する方法も同様である。そして、学習データ生成部７０は、背景と人物とが合成された２次元画像２３と、生成されたラベル３２とを対応付けた学習データを生成する。

以上のように、本実施形態では、３次元空間生成部２０が、属性が関連付けられた３次元モデルと第一の背景とを仮想空間内にモデリングした３次元空間を生成し、２次元物体描画部３０が、２次元平面に３次元空間における３次元モデルを投影して２次元物体を描画する。また、ラベル生成部５０が、２次元物体の投影元の３次元モデルに関連付けられた属性からラベルを生成し、背景合成部６０が、２次元物体と第二の背景とを合成した２次元画像を生成する。そして、学習データ生成部７０が、第二の背景と２次元物体とが合成された２次元画像と、生成されたラベルとを対応付けた学習データを生成する。よって、データの種類に応じた正解ラベルが付与された学習データをＣＧから自動で生成できる。

次に、本発明の概要を説明する。図５は、本発明による学習データ生成装置の概要を示すブロック図である。本発明による学習データ生成装置８０（例えば、学習データ生成装置１００）は、属性が関連付けられた３次元モデルと第一の背景とを仮想空間内にモデリングした３次元空間を生成する３次元空間生成部８１（例えば、３次元空間生成部２０）と、２次元平面に３次元空間における３次元モデルを投影して２次元物体を描画する２次元物体描画部８２（例えば、２次元物体描画部３０）と、２次元物体の投影元の３次元モデルに関連付けられた属性からラベルを生成するラベル生成部８３（例えば、ラベル生成部５０）と、２次元物体と第二の背景とを合成した２次元画像を生成する背景合成部８４（例えば、背景合成部６０）と、第二の背景と２次元物体とが合成された２次元画像と、生成されたラベルとを対応付けた学習データを生成する学習データ生成部８５（例えば、学習データ生成部７０）とを備えている。

そのような構成により、データの種類に応じた正解ラベルが付与された学習データをＣＧから自動で生成できる。

また、学習データ生成装置８０は、描画された２次元物体ごとにその２次元物体が存在する領域を算出する領域算出部（例えば、領域算出部４０）を備えていてもよい。そして、学習データ生成部８５は、２次元画像とラベルと領域とを対応付けた学習データを生成してもよい。

具体的には、領域算出部は、描画された２次元物体ごとに、その２次元物体の外接矩形座標を物体が存在する領域として算出してもよい。

また、２次元物体描画部８２は、単一色で定義された２次元平面に３次元モデルを投影して、２次元物体を描画し、領域算出部は、定義された単一色以外の領域を囲む外接矩形座標を、物体が存在する領域として算出してもよい。

また、２次元物体描画部８２は、３次元空間内から視点への透視投影変換によって３次元モデルを変換した点群を２次元物体として描画し、領域算出部は、描画された点群に基づいて、２次元物体が存在する領域を算出してもよい。

また、背景合成部８４は、２次元物体が描画された際の視点パラメータおよび環境光パラメータと同一のパラメータで定義される背景と、その２次元物体とを合成した２次元画像を生成してもよい。

また、３次元空間生成部８１は、変更対象とする複数の視点を示すパラメータのパターンである視点変更パターン、および、変更対象とする複数の環境光を示すパラメータのパターンである環境光変更パターンごとに３次元空間を生成してもよい。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）属性が関連付けられた３次元モデルと第一の背景とを仮想空間内にモデリングした３次元空間を生成する３次元空間生成部と、２次元平面に前記３次元空間における前記３次元モデルを投影して２次元物体を描画する２次元物体描画部と、前記２次元物体の投影元の３次元モデルに関連付けられた属性からラベルを生成するラベル生成部と、前記２次元物体と第二の背景とを合成した２次元画像を生成する背景合成部と、前記第二の背景と前記２次元物体とが合成された前記２次元画像と、生成されたラベルとを対応付けた学習データを生成する学習データ生成部とを備えたことを特徴とする学習データ生成装置。

（付記２）描画された２次元物体ごとに当該２次元物体が存在する領域を算出する領域算出部を備え、学習データ生成部は、２次元画像とラベルと前記領域とを対応付けた学習データを生成する付記１記載の学習データ生成装置。

（付記３）領域算出部は、描画された２次元物体ごとに、当該２次元物体の外接矩形座標を物体が存在する領域として算出する付記２記載の学習データ生成装置。

（付記４）２次元物体描画部は、単一色で定義された２次元平面に３次元モデルを投影して、２次元物体を描画し、領域算出部は、定義された前記単一色以外の領域を囲む外接矩形座標を、物体が存在する領域として算出する付記２または付記３記載の学習データ生成装置。

（付記５）２次元物体描画部は、３次元空間内から視点への透視投影変換によって３次元モデルを変換した点群を２次元物体として描画し、領域算出部は、描画された前記点群に基づいて、２次元物体が存在する領域を算出する付記２から付記４のうちのいずれか１つに記載の学習データ生成装置。

（付記６）背景合成部は、２次元物体が描画された際の視点パラメータおよび環境光パラメータと同一のパラメータで定義される背景と、当該２次元物体とを合成した２次元画像を生成する付記１から付記５のうちのいずれか１つに記載の学習データ生成装置。

（付記７）３次元空間生成部は、変更対象とする複数の視点を示すパラメータのパターンである視点変更パターン、および、変更対象とする複数の環境光を示すパラメータのパターンである環境光変更パターンごとに３次元空間を生成する付記１から付記６のうちのいずれか１つに記載の学習データ生成装置。

（付記８）属性が関連付けられた３次元モデルと第一の背景とを仮想空間内にモデリングした３次元空間を生成し、２次元平面に前記３次元空間における前記３次元モデルを投影して２次元物体を描画し、前記２次元物体の投影元の３次元モデルに関連付けられた属性からラベルを生成し、前記２次元物体と第二の背景とを合成した２次元画像を生成し、前記第二の背景と前記２次元物体とが合成された前記２次元画像と、生成されたラベルとを対応付けた学習データを生成することを特徴とする学習データ生成方法。

（付記９）描画された２次元物体ごとに当該２次元物体が存在する領域を算出し、２次元画像とラベルと前記領域とを対応付けた学習データを生成する付記８記載の学習データ生成方法。

（付記１０）コンピュータに、属性が関連付けられた３次元モデルと第一の背景とを仮想空間内にモデリングした３次元空間を生成する３次元空間生成処理、２次元平面に前記３次元空間における前記３次元モデルを投影して２次元物体を描画する２次元物体描画処理、前記２次元物体の投影元の３次元モデルに関連付けられた属性からラベルを生成するラベル生成処理、前記２次元物体と第二の背景とを合成した２次元画像を生成する背景合成処理、および、前記第二の背景と前記２次元物体とが合成された前記２次元画像と、生成されたラベルとを対応付けた学習データを生成する学習データ生成処理を実行させるための学習データ生成プログラム。

（付記１１）コンピュータに、描画された２次元物体ごとに当該２次元物体が存在する領域を算出する領域算出処理を実行させ、学習データ生成処理で、２次元画像とラベルと前記領域とを対応付けた学習データを生成させる付記１０記載の学習データ生成プログラム。

１０ 記憶部
２０ ３次元空間生成部
３０ ２次元物体描画部
４０ 領域算出部
５０ ラベル生成部
６０ 背景合成部
７０ 学習データ生成部
１００ 学習データ生成装置

Claims (10)

1. 属性が関連付けられた３次元モデルと第一の背景とを仮想空間内にモデリングした３次元空間を生成する３次元空間生成部と、
   ２次元平面に前記３次元空間における前記３次元モデルを投影して２次元物体を描画する２次元物体描画部と、
   前記２次元物体の投影元の３次元モデルに関連付けられた属性からラベルを生成するラベル生成部と、
   前記２次元物体と第二の背景とを合成した２次元画像を生成する背景合成部と、
   前記第二の背景と前記２次元物体とが合成された前記２次元画像と、生成されたラベルとを対応付けた学習データを生成する学習データ生成部とを備え、
   前記ラベル生成部は、前記学習データを用いて学習されるモデルが判定する内容を示す新たなラベルを前記属性に基づいて作成し、
   前記学習データ生成部は、生成された新たなラベルを対応付けた学習データを生成する
   ことを特徴とする学習データ生成装置。
2. 描画された２次元物体ごとに当該２次元物体が存在する領域を算出する領域算出部を備え、
   学習データ生成部は、２次元画像とラベルと前記領域とを対応付けた学習データを生成する
   請求項１記載の学習データ生成装置。
3. 領域算出部は、描画された２次元物体ごとに、当該２次元物体の外接矩形座標を物体が存在する領域として算出する
   請求項２記載の学習データ生成装置。
4. ２次元物体描画部は、単一色で定義された２次元平面に３次元モデルを投影して、２次元物体を描画し、
   領域算出部は、定義された前記単一色以外の領域を囲む外接矩形座標を、物体が存在する領域として算出する
   請求項２または請求項３記載の学習データ生成装置。
5. ２次元物体描画部は、３次元空間内から視点への透視投影変換によって３次元モデルを変換した点群を２次元物体として描画し、
   領域算出部は、描画された前記点群に基づいて、２次元物体が存在する領域を算出する
   請求項２から請求項４のうちのいずれか１項に記載の学習データ生成装置。
6. 背景合成部は、２次元物体が描画された際の視点パラメータおよび環境光パラメータと同一のパラメータで定義される背景と、当該２次元物体とを合成した２次元画像を生成する
   請求項１から請求項５のうちのいずれか１項に記載の学習データ生成装置。
7. ３次元空間生成部は、変更対象とする複数の視点を示すパラメータのパターンである視点変更パターン、および、変更対象とする複数の環境光を示すパラメータのパターンである環境光変更パターンごとに３次元空間を生成する
   請求項１から請求項６のうちのいずれか１項に記載の学習データ生成装置。
8. 属性が関連付けられた３次元モデルと第一の背景とを仮想空間内にモデリングした３次元空間を生成し、
   ２次元平面に前記３次元空間における前記３次元モデルを投影して２次元物体を描画し、
   前記２次元物体の投影元の３次元モデルに関連付けられた属性からラベルを生成し、
   前記２次元物体と第二の背景とを合成した２次元画像を生成し、
   前記第二の背景と前記２次元物体とが合成された前記２次元画像と、生成されたラベルとを対応付けた学習データを生成し、
   前記ラベルの生成において、前記学習データを用いて学習されるモデルが判定する内容を示す新たなラベルを前記属性に基づいて作成し、
   生成された新たなラベルを対応付けた学習データを生成する
   ことを特徴とする学習データ生成方法。
9. 描画された２次元物体ごとに当該２次元物体が存在する領域を算出し、
   ２次元画像とラベルと前記領域とを対応付けた学習データを生成する
   請求項８記載の学習データ生成方法。
10. コンピュータに、
    属性が関連付けられた３次元モデルと第一の背景とを仮想空間内にモデリングした３次元空間を生成する３次元空間生成処理、
    ２次元平面に前記３次元空間における前記３次元モデルを投影して２次元物体を描画する２次元物体描画処理、
    前記２次元物体の投影元の３次元モデルに関連付けられた属性からラベルを生成するラベル生成処理、
    前記２次元物体と第二の背景とを合成した２次元画像を生成する背景合成処理、および、
    前記第二の背景と前記２次元物体とが合成された前記２次元画像と、生成されたラベルとを対応付けた学習データを生成する学習データ生成処理を実行させ、
    前記ラベル生成処理で、前記学習データを用いて学習されるモデルが判定する内容を示す新たなラベルを前記属性に基づいて作成させ、
    前記学習データ生成処理で、生成された新たなラベルを対応付けた学習データを生成させる
    ための学習データ生成プログラム。

Images