JP6330092B1 - 機械学習用教師データ生成装置及び生成方法 - Google Patents

Abstract

【課題】画像解析に適した教師データを効率的に生成する。【解決手段】機械学習システム１００に用いられる教師データを生成する教師データ生成装置２０であって，当該装置は，入力画像１０から抽出されたオブジェクトの形状及びその他の外観要因の少なくともいずれか１つ以上の画像固有成分を記憶するデータベース２２と，データベース２２に記憶されている画像固有成分を変更して一又は複数種類の別の画像固有成分を生成する変更部２５と，この別の画像固有成分を用いて少なくとも部分的に入力画像１０に対応する再構成画像を生成し機械学習に適用する再構成部２６と、を含む。【選択図】図５

Description

本発明は，機械学習用の教師データを生成するための装置及び方法に関する。また，本発明は，上記装置及び方法によって生成した教師データを利用して機械学習を実施することにより学習済みモデルを生成する方法や，その学習済みモデルを使用する方法に関するものである。

近年，画像解析や動画解析の分野において人工知能（ＡＩ）が利用されている。人工知能の学習には大量のデータが必要となり，データの量が人工知能による解析精度に大きく影響を与える。例えば人工知能により入力画像を解析して画像認識や状況予測を行う場合，その入力画像に近似した既知の画像データを大量に予め学習させておく必要があるが，十分な画像データが存在しない場合には，画像認識や状況予測を行うことができないか或いはその精度が著しく低下する。

このような問題を解消するために，例えば特許文献１には，少ない元データから十分な量の教師データを作成する技術が開示されている。特許文献１に記載の学習方法では，検出対象画像上で順次切り出した部分画像に対して左右反転処理や９０度単位の回転処理を施すことにより，部分画像の反転／回転画像を生成する。そして，これらの画像に対して所定の種類の判別器を用いて当該画像が所定の顔の向き及び天地方向にある顔画像であるか否かを判別する。このようにして，判別器の種類と入力された画像の種類との組合せから，種々の向き及び天地方向にある顔であるか否かが判別される。

特開２００６−３５０７０４号公報

しかしながら，上記特許文献１に記載の技術は，入力画像に対して反転や回転などの幾何変換が行われているに過ぎず，実質的には同じ画像が繰り返し学習に使用されているに過ぎない。このため，特許文献１の技術では，高精度の画像認識や状況予測に利用し得る十分な量の教師データを得ることができないという問題がある。

そこで，本発明は，元データから特に画像解析に適した教師データを効率的に生成できる技術を提供することを目的とする。

本発明の発明者は，従来技術の問題点の解決手段について鋭意検討した結果，元データとなる入力画像からそこに含まれるオブジェクトの形状や外観要因といった画像固有成分を抽出し，これに変更を加えた別の種類の画像固有成分を用いて入力画像を再構成することで，一の入力画像から様々なバリエーションの教師データ（教師画像）を容易かつ効率的に生成できるという知見を得た。そして，本発明者は，上記知見に基づけば従来技術の課題を解決できることに想到し，本発明を完成させた。具体的に説明すると，本発明は以下の構成・工程を有する。

本発明の第１の側面は，機械学習に用いられる教師データを生成する教師データ生成装置に関する。教師データ生成装置は，データベース，変更部，及び再構成部を含む。データベースは，入力画像から抽出された画像固有成分を記憶している。ここにいう画像固有成分は，オブジェクトの形状及びその他の外観要因の少なくともいずれか１つ以上を含む。例えば画像固有成分には，オブジェクトの形状の他に，ライティングや，テクスチャ，カメラに関するパラメータが含まれる。変更部は，データベースに記憶されている画像固有成分を変更して，一又は複数種類の別の画像固有成分を生成する。再構成部は，変更部が作成した別の画像固有成分を用いて，少なくとも部分的に入力画像に対応する再構成画像を生成する。そして，本発明の教師データ生成装置は，ここで得られた再構成画像を機械学習に適用する。機械学習の技法は特に限定されず，例えば，ニューラルネットワーク，判別分析，ロジスティック回帰分析，遺伝的プログラミング，帰納論理プログラミング，サポートベクタマシン，及びクラスタリングなどの公知の技法を利用すればよい。

一例を挙げて説明すると，入力画像から，“光源の影響を排除した表面の柄”といったようなテクスチャの画像固有成分が抽出されてデータベースに記憶されている。つまり，この例では，光源のパラメータと表面の柄（テクスチャ）のパラメータとが分離されて，画像固有成分としてそれぞれデータベースに記憶されていることとなる。また，変更部は，このような画像固有成分（光源の影響を排除した表面の柄）に対して，３次元グラフィックスなどの技術で光源を照射し，照射位置を様々に変えたり，光源の種類を変化させたりすることによって，別の種類の画像固有成分を生成し，その種類を増やしていく。そして，再構成部は，ここで得られた別種の画像固有成分を用いて，入力画像と同様のオブジェクトを含みつつも，画像固有成分（照明環境や描画角度）の異なる再構成画像を生成していく。再構成画像は，ある種無限に生成することが可能である。このようにして得られた再構成画像は，入力画像を幾何変換したに過ぎない画像や，画像の輝度値やコントラストを調整したに過ぎない画像とは本質的に異なる。再構成画像は，上記のとおり，入力画像と同様のオブジェクトを含みつつも，これらのオブジェクトが異なる照明環境に置かれている状況や，これらのオブジェクトを別の角度から描画した状況などに対応したものであるため，入力画像の様々なバリエーションを表したものであるといえる。従って，このような再構成画像は，画像解析用の教師データとして効果的に利用することができる。

本発明に係る教師データ生成装置は，解析部をさらに含むことが好ましい。解析部は，入力画像から，３Ｄオブジェクトの形状，光源，及び当該画像の撮影に用いられた装置に関する情報の１つ以上を，前記の画像固有成分として抽出し，データベースに登録する。また，教師データ生成装置は，入力画像を単純化する画像フィルタリングを行うフィルタリング部をさらに含んでいてもよい。この場合に，解析部は，画像フィルタリング後の入力画像から画像固有成分を抽出する。このようにフィルタリング部によって入力画像を単純化させることで，解析部による画像固有成分の抽出処理の負荷を軽減することができ，抽出処理の高速化を図ることができる。

本発明に係る教師データ生成装置は，比較部をさらに含んでいてもよい。比較部は，第１の入力画像に基づいて生成された第１の再構成画像を使用した機械学習により出力された第１の特徴パターンと，第２の入力画像に基づいて生成された第２の再構成画像を使用した機械学習により出力された第２の特徴パターンとを比較する。この場合に，変更部は，比較部における比較結果に基づいて，画像固有成分を変更する。例えば第１の特徴パターンと第２の特徴パターンとが特徴空間（特徴量をベクトルで示した空間）において離れすぎている場合には，変更部は画像固有成分の変更量を調整して両特徴パターンが近づくように制御し，反対に第１の特徴パターンと第２の特徴パターンとが特徴空間において近すぎる場合には，変更部は画像固有成分の変更量を調整して両特徴パターンが遠くなるように制御する。これにより，一の入力画像から機械学習に適した教師データを効率的に作成することができる。

本発明の第２の側面は，コンピュータプログラムに関する。本発明のコンピュータプログラムは，コンピュータを上記第１の側面に係る教師データ生成装置として機能させる。なお，このコンピュータプログラムは，インターネットを通じてダウンロード可能なものであってもよいし，記録媒体に記録されたものであってもよい。

本発明の第３の側面は，機械学習システムに関する。本発明の機械学習システムは，上記第１の側面に係る教師データ生成装置と，この教師データ生成装置が生成した再構成画像を利用して機械学習を実施する学習装置とを備える。

本発明の第４の側面は，機械学習に用いられる教師データを生成する方法に関する。本発明に係る教師データの生成方法は，コンピュータにより実行される。まず，入力画像から抽出されたオブジェクトの形状及びその他の外観要因の少なくともいずれか１つ以上の画像固有成分をデータベースに記憶する（記憶工程）。次に，データベースに記憶されている画像固有成分を変更して，一又は複数種類の別の画像固有成分を生成する（変更工程）。次に，ここで得られた別の画像固有成分を用いて，少なくとも部分的に入力画像に対応する再構成画像を生成する（再構成工程）。そして，少なくとも再構成画像は機械学習用の教師データとして利用される。

本発明の第５の側面は，学習済みモデルの生成方法に関する。本発明に係る学習済みモデルの生成方法は，コンピュータにより実行される。本発明では，上記第４の側面に係る方法によって生成した教師データを利用して機械学習を実施することにより学習済みモデルを生成する。

本発明の第６の側面は，学習済みモデルの使用方法に関する。本発明に係る学習済みモデルの使用方法は，コンピュータにより実行される。本発明では，上記第４の側面に係る方法によって生成した教師データを利用して機械学習を実施することにより学習済みモデルを生成し，ここで得られた学習済みモデルを用いて画像認識及び状況予測のいずれか一方又は両方行う。学習済みモデルを用いた画像認識及び状況予測は公知である。

本発明によれば，元データから特に画像解析に適した教師データを効率的に生成することができる。

図１は，機械学習システムの全体構成の一例を示している。 図２は，教師データ生成装置による入力画像の解析処理の一例を示している。 図３は，入力画像の解析処理の詳細を示している。 図４は，教師データ生成装置による入力画像の解析処理の別の例を示している。 図５は，教師データ生成装置による画像再構成処理の一例を示している。 図６は，教師データ生成装置による画像再構成処理の別の例を示している。 図７は，教師データ生成装置による画像再構成処理のさらに別の例を示している。 図８は，画像固有成分の抽出処理の一例を示している。 図９は，画像固有成分の変更処理の一例を示している。 図１０は，画像固有成分の変更処理の別の例を示している。 図１１は，入力画像の再構成処理の一例を示している。

以下，図面を用いて本発明を実施するための形態について説明する。本発明は，以下に説明する形態に限定されるものではなく，以下の形態から当業者が自明な範囲で適宜変更したものも含む。

図１は，本発明に係る機械学習システム１００の全体構成を示したブロック図である。図１に示されるように，機械学習システム１００は，教師データ生成装置２０とＡＩ学習装置３０とを備える。教師データ生成装置２０は，入力画像１０が入力されると，これに基づいて複数の教師データを生成し，ＡＩ学習装置３０に提供する。また，ＡＩ学習装置３０は，入力画像１０と教師データ生成装置２０から提供された教師データとを利用して機械学習を実施する。ＡＩ学習装置３０は，機械学習の結果，入力画像から抽出した特徴量を表すネットワークの構造と各リンクの重み付けが決定された学習済みモデル４０を出力することができる。この学習済みモデル４０に判別対象となる画像を適用することで，その画像の画像認識や状況予測を行うことが可能である。本発明において，ＡＩ学習装置３０や学習済み４０を用いた画像判別処理については，適宜公知の装置や処理方法を採用することができる。本発明は，ＡＩ学習装置３０が機械学習に利用する教師データを生成するための教師データ生成装置２０に特徴を有する。そこで，以下ではこの教師データ生成装置２０について特に詳しく説明する。

本発明の教師データ生成装置２０は，入力画像の種類や量が少ない場合に，ＡＩを学習させるのに十分な教師データを用意することを目的とするものである。効果的なＡＩ学習のためには，十分な量の教師データを用意することが重要となる。例えば，ＡＩを利用して自動車を識別する場合，多様な車種を，異なる照明条件，異なる色，異なる位置のカメラで撮影した画像や，あるいは異なる画質で表示された画像が大量に必要となるが，多様なシーンに備えてあらゆる状況の画像を教師データとして用意することは非常に困難である。そこで，本発明の教師データ生成装置２０は，様々な状況を表す新しい画像を容易に作成できるようにすることを目的としている。つまり，図１に示すように，教師データ生成装置２０は，１つの入力画像が与えられたときに，複数の新しい画像（再構成画像）を生成してＡＩ学習装置に適用する。

本発明に係る教師データ生成装置２０は，コンピュータにより実現されるものであり，基本的に制御演算装置と記憶装置とを備える。制御演算装置は，ＣＰＵ又はＧＰＵといったプロセッサを利用することができる。制御演算装置は，記憶装置に記憶されているプログラムを読み出し，このプログラムに従って所定の画像処理や演算処理を行う。また，制御演算装置は，プログラムに従った演算結果を，記憶装置に適宜書き込んだり読み出したりすることができる。本願の各図においては，制御演算装置により実現される各種の機能ブロックを示している。また，記憶装置のストレージ機能は，例えばＨＤＤ及びＳＤＤといった不揮発性メモリによって実現できる。また，記憶装置は，制御演算装置による演算処理の途中経過などを書き込む又は読み出すためのメモリとしての機能を有していてもよい。記憶装置のメモリ機能は，ＲＡＭやＤＲＡＭといった揮発性メモリにより実現できる。記憶装置は，後述するデータベース２２として利用することができる。

図２は，入力画像を解析して，そこから所定の画像固有成分を抽出し，データベース２２に登録する処理を示している。図２に示されるように，教師データ生成装置２０は，解析部２１とデータベース２２を有している。解析部２１は，入力画像から画像固有成分を抽出してデータベース２２に登録する機能を持つ。

図３は，解析部２１による解析処理を概念的に示している。解析部２１は，入力画像が入力されると，そこに含まれる画像固有成分を抽出する。画像固有成分は，例えば図３に示されるように，入力画像に含まれるオブジェクトの形状要素２１ａや，その他の外観要因２１ｂを含む。入力画像に含まれる複数のオブジェクトが含まれる場合，解析部２１は，複数のオブジェクトについてそれぞれの形状要素を抽出する。形状要素の例は，オブジェクトのサイズや，形態，輪郭，種類などである。オブジェクトの形状要素を抽出することは，例えばオブジェクトをボーンモデル化することを意味する。入力画像が写真であっても，そこに人の画像が含まれている場合には，その人画像をモデル化し，そのモデルの各種情報をデータベース２２に記憶することで，入力画像からオブジェクトの形状要素を画像固有成分として抽出することができる。例えば実画像によって表されるシーンは，コンピュータグラフィックス技術を用いてモデル化することができ，入力画像と同程度に近いものとすることができる（フォトリアリスティックレンダリング技術等）。

また，その他の外観要因２１ｂとしては，入力画像内に含まれるライティング情報（光源情報）や，テクスチャ情報，あるいはカメラ情報が挙げられる。ライティング情報には，照明の種類や強さ，アルベド，反射率，陰影，光源位置などに関する情報が含まれる。また，テクスチャ情報には，テクスチャ座標やカラー情報などが含まれる。また，カメラ情報には，入寮画像の撮影に用いられたカメラの解像度や，画質，ノイズ，画角などに関する情報が含まれる。このように，入力画像から外観要因に関する画像固有成分を抽出してデータベース２２に記憶する。例えば，このように入力画像から画像固有成分を抽出することで，例えばシェーディング成分（ライティング情報）とカラー成分（テクスチャ情報）とを分離することができる。このため，シェーディング成分を排除したカラー成分のみのオブジェクトを取り出すこともできる。解析部２１は，このようにして入力画像から抽出した各画像固有成分を，その種類ごとに分類してデータベース２２に登録する。

このように，入力画像が与えられた場合，そこから抽出可能な画像固有成分は，オブジェクトの形状要素２１ａとその他の外観要因２１ｂとに分類される。形状要素２１ａは，入力画像を構成要素の集合として記述し，各構成要素は３Ｄオブジェクトとして定義される。例えば，道路上に自動車が存在するシーンを示した画像の場合，そのシーンは例えば自動車自体，道路，及び車の周囲環境に分解することができる。シーンの分解のレベルは，ＡＩの学習の程度に依存するため，より高度な学習が必要な場合にはシーンを細かく分解すればよい。例えばＡＩ学習装置の目的が自動車の種別を判別するための学習済みモデルそ生成することにある場合，自動車を表すための単一の３Ｄオブジェクトを抽出すれば十分である。あるいはＡＩ学習装置の目的がタイヤの挙動や異常等を検出することを目的とした学習済みモデルを生成することにある場合，自動車の３Ｄオブジェクトは，タイヤを含む部品郡を構成する３Ｄオブジェクトの集合として抽出される。シーンを定義する３Ｄオブジェクトは，手動でモデル化したり，既存のライブラリから取得したりすることもできるし，あるいは入力画像自体に十分な情報が含まれている場合には自動的に抽出できる。例えば，入力画像のデータに深さ情報が含まれている場合には３Ｄ再構成が可能である。同様に，画像が既存の自動車又はモニュメントの写真である場合も３Ｄ再構成が可能である。他方で，他の外観要因２１ｂとしては，画像の視覚的外観及びそのような画像を得るための物理的環境要因を抽出する。物理的環境要因の一例は，太陽やオフィスのライトなどの照明である。入力画像内を構成する照明情報は，照明の拡散率，アルベド，反射率，陰影，光源の強度や位置，霧，雨などの大気条件を含む相互依存するパラメータに分解することができる。他の別の物理的環境要因は，カメラなどの画像を撮影するために使用された装置である。つまり，シーンに対するカメラの位置，視野，解像度，ノイズおよび品質などの要素に分解することができる。

図４は，画像固有成分を抽出する処理の別の例を示している。図４に示されるように，教師データ生成装置２０は，解析部２１及びデータベース２２に加えて，さらにフィルタリング部２３を含む。フィルタリング部２３は，入力画像を解析部２１で解析する前に，その入力画像を単純化する画像フィルタリング処理を行う。例えば，入力画像の種類によっては，既存のコンピュータグラフィックス技術を用いて画像固有成分抽出する処理やモデル化する処理の負荷が大きくなる可能性がある。例えば，毛髪をリアルにモデリングすることは，現在のコンピュータグラフィックスにおいても依然として困難であるとされており，レンダリング時間が長くなりすぎて，ＡＩ学習用の教師データ生成の効率が低下するおそれがある。また，入力画像が写真であるような場合には，その写真の中には大量のオブジェクトが含まれているため，全てのオブジェクトから正確に画像固有成分を抽出することは困難である。そこで，図４に示された例では，入力画像から画像固有成分を抽出する処理の前に，これを単純化させるフィルタリング処理を行う。

フィルタリング処理は，関連情報を保存しながら，元の入力画像の細部量を減らす処理である。フィルタリング処理の一例としては，画像の解像度を下げる処理や，画像のコントラストや明度，彩度を調整する処理，あるいは入力画像が不要成分を除去する処理が含まれる。また，フィルタリング処理には，例えば，kuwaharaフィルタ（エッジを保存したメジアンフィルタ），バイラテラルフィルタ（エッジを保存しつつ近接領域をぼかすフィルタ），ノンフォトリアリスティックレンダリング（NPR）を含む。これらのフィルタリング処理を行うことで，入力画像内の細部が大幅に削減され，ストロークのエッジやアニメーションレンダリングのための一定の色などの関連情報が残るため，処理の高速化を実現することができる。

図５は，入力画像から多種の再構成画像を生成する処理の一例を示している。図５に示されるように，教師データ生成装置２０は，上記の工程を経て構築したデータベース２２に加えて，抽出部２４，変更部２５，及び再構築部２６をさらに含む。入力画像が与えられると，抽出部２４による処理が１回実行され，変更部２５及び再構築部２６による処理が複数回繰り返し実行され，複数の再構成画像が作成される。再構成画像はＡＩ学習装置３０において使用される。

抽出部２４は，データベース２２から所定の画像固有成分を抽出（検索）するための要素である。抽出部２４は，教師データの元となる入力画像１０が入力されると，この入力画像１０に関連する画像固有成分をデータベース２２から抽出（検索）する。例えば，抽出部２４は，上記した解析部２１と同様の処理により入力画像から画像固有成分を抽出し，各画像固有成分と同様の又は対応した画像固有成分をデータベース２２から抽出（検索）すればよい。

変更部２５は，抽出部２４によって抽出された画像固有成分を変更して，一又は複数種類の別の画像固有成分を生成する。画像固有成分の変更には，例えば入力画像に含まれるオブジェクトの形状要素を変形させることが含まれる。前処理（図４等参照）において，オブジェクトは３Ｄモデルされているため，そのモデルを動かしてオブジェクトの形や姿勢を変形させればよい。また，画像固有成分の変更には，３Ｄモデルに当たる照明条件を変化させたり，３Ｄモデルを撮影しているカメラの位置を変化させたりすることが含まれる。例えば，３Ｄモデル表面のテクスチャパターンを別のパターンに再構築したり，あるいはこの再構築したテクスチャパターンを貼り付けた３Ｄモデルに対して仮想空間内で照明を当てることにより，画像固有成分を変更する。また，仮想空間内では，３Ｄモデルで当てる照明の色調を変えたり，３Ｄモデルに当てる照明の角度を変えたり，３Ｄモデルを撮影するカメラの角度を変えたりすることもできる。このように，入力画像は，画像固有成分に分離，具体的には入力画像に含まれるオブジェクトの形状モデルと，その他のテクスチャや照明条件，カメラ条件などの外観要因に分離されており，その上で，変更部２５は，形状モデル自体を変形させたり，あるいはその他の外観要因を様々なシーンを想定したものに変化させたりする処理を行う。このようにして，変更部２５は，元の入力画像の画像固有成分に対応する，一又は複数種類の別の画像固有成分を生成していく。

例えば入力画像に自動車が含まれる場合，次の変更処理を行うことができる。例えば，自動車を写すカメラ位置を変更して様々な角度（上下左右斜め方向，遠近の調整など）から見ることができる。また，照明条件は，例えば，光の位置，輝度の色，光が太陽の場合には時間などを変化させることで，様々な方法で修正することができる。自動車モデルの形態要素については，異なる形状を持つ異なるメーカーの異なる自動車を使用することもでき，また自動車の構成物品（カメラ，照明など）を変更することもできる。

再構成部２６は，上記変更後の画像固有成分を用いて，少なくとも部分的に元の入力画像に対応する再構成画像を生成する。つまり，再構成部２６は，変更後の画像固有成分を再度組み合わせたり，あるいはその組み合わせ方を変えたりすることによって，大量の再構成画像を生成することができる。このように，再構成部２６は，変更後の画像固有成分を最終的に合わせこんで，元画像とは別のバリエーションとなる再構成画像を生成する。

図５に示されるように，再構成部２６によって生成された複数の再構成画像は，ＡＩ学習装置３０に提供される。また，これらの再構成画像とあわせて，元の入力画像をＡＩ学習装置３０に入力することとしてもよい。ＡＩ学習装置３０は，多種の再構成画像を教師データとして機械学習を実施し，特徴量を表すネットワークの構造と各リンクの重み付けが決定された学習済みモデル４０を出力する。このように，教師データとして利用できる入力画像の量や種類が乏しい場合であっても，教師データ生成装置２０を利用すれば，入力画像から多数の再構成画像を得ることができるため，教師データの量や種類を増やすことができる。

図６は，再構成画像を生成する処理の別の例を示している。図６に示されるように，教師データ生成装置２０は，フィルタリング部２７をさらに含む。このフィルタリング部２７は，前述したフィルタリング２３と同様に，入力画像を単純化するフィルタリング処理を行う。入力画像は，教師データ生成装置２０の抽出部２４やＡＩ学習装置３０には直接入力されず，フィルタリング部２７によって単純化されたものが抽出部２４やＡＩ学習装置３０にそれぞれ入力される。

図７は，再構成画像を生成する処理のさらに別の例を示している。図７に示した例において，教師データ生成装置２０は，比較部２８をさらに含む。例えば，第１の入力画像に基づいて第１の再構成画像が生成され，この第１の再構成画像を使用した機械学習により第１の特徴パターンが出力される。同様に，第２の入力画像に基づいて第２の再構成画像が生成され，この第２の再構成画像を使用した機械学習により第２の特徴パターンが出力される。このとき，例えば，比較部２８は，上記第１の特徴パターンと第２の特徴パターンとを比較して，両者が十分に異なるパターンであるか否かを判断する。比較部２８において第１の特徴パターンと第２の特徴パターンとの差が十分ではないと判断された場合，変更部２５は，第２の特徴パターンの学習に利用された第２の再構成画像を生成するための画像固有成分の変更量を変化させる。具体的には，変更部２５は，第１の特徴パターンと第２の特徴パターンの差が十分に大きくなるように，第２の再構成画像を生成するための画像固有成分の変更量を制御する。また，比較部２８は，上記第１の特徴パターンと第２の特徴パターンとを比較して，両者が離れすぎていないかどうかを判断してもよい。この場合，変更部２５は，第１の特徴パターンと第２の特徴パターンの差が許容範囲内に収まるように，第２の再構成画像を生成するための画像固有成分の変更量を制御する。このようにＡＩ学習装置３０の出力結果からのフィードバックを受けて，変更部２５における画像固有成分の変更量を制御することができる。これにより，機械学習に有効活用できる再構成画像（教師データ）を効率的に生成することができる。

次に，教師データ生成装置２０の実施例について説明する。図８は，入力画像からの画像固有成分の抽出及びオブジェクトの３Ｄモデル化の例を示している。この例における入力画像は，自動車を運転している車内のシーンを示しており，そこには運転手と同乗者が含まれる。図５に示した例では，入力画像から運転手と自動車とを抽出している。運転手の位置や姿勢は，骨格を抽出したボーンモデルで推定できる。また，自動車の３Ｄモデルは，データベース２２に登録されている既存のライブラリから取得すればよい。また，自動車の３Ｄモデルには車内の構造も含まれており，車内の３Ｄモデルと入力画像とが類似するように，車内を写すカメラ位置を決定することができる。そして，運転手のボーンモデルと自動車の車内の３Ｄモデルを組み合わせることで，入力画像に近似したシーンを表す３Ｄモデルを仮想空間内に生成することができる。そして，このようにして得られた３Ｄモデルに対して，照明条件やカメラ条件に変更を加えることで，教師データ用の多様な再構成画像を得ることができる。教師データを利用してＡＩ学習を行う目的は，例えば運転者の行動を検出することにあり，例えば片手での運転，電話を使用しながらの運転，喫煙しながらの運転といった危険運転を外部から検出することである。このようなＡＩ目標の定義から，入力画像を例として使用して，自動車，運転手，屋外シーンの３Ｄオブジェクトを定義すればよい。

３Ｄ形状のパラメータの変更は，オブジェクトに応じて異なる方法で行われる。例えば，自動車の場合には，既存のライブラリから異なる車種を抽出したり，あるいは図９に示されるようにカメラの位置を変更することによって，画像固有成分の変更が行われる。他方で，人間の場合には，例えば図１０に示されるようにパラメトリックモデルを使用することができる。図１０では，上段の画像が体型の異なるモデルを示し，中間の画像は衣服スタイルの異なるモデルを示し，下の画像は異なる骨格アニメーションを示している。形状のパラメータ化は，元の形状またはデータが持つパラメータを１つ以上変更することによって，類似の形状またはデータを持つ異なるモデルを作成する。また，人間の形態の観点では，身体のサイズ（細身，標準，肥満）や，身長，頭の大きさ，腕，年齢などのパラメータを変更することもできる。スケルトンアニメーションについても同様に，初期パスと差異はあるもののこれに類似したパスになるように，パスを適宜変更することができる。図１０の下の画像では，様々なタイプのパスの変化を示している。図１０に示したスケルトンアニメーションは，いずれもランニング中の姿勢である点において共通しているが，それぞれアームバランスや，歩幅，元の立ち位置（スケルトンの中心骨格）のパラメータなどが微修正されいて，それぞれ似ているが異なる姿勢を取っていることがわかる。

図１１は，別の実施例を示している。図１１の例では，入力画像内のオブジェクトを３Ｄモデル化し，この３Ｄモデルに当たる照明の影響の排除をする前処理を行う。そして，照明の影響が排除された３Ｄモデルに対して別種の照明を当てることによって再構成画像を生成して，教師データの種類を増やすこととしている。具体的に説明すると，入力画像内の３Ｄモデルには，既に特定の照明が当てられている。そこで，解析部２１は，この３Ｄモデルを画像固有成分に分離し，例えばカラー成分（あるいはテクスチャ成分）とシェーディング成分とを抽出する。シェーディング成分は，照明の影響を受けて決定されたパラメータであるため，これを取り除いたカラー成分は，照明の影響が排除されたものであるといえる。これらの３Ｄモデルから抽出された画像固有成分は，データベース２２に蓄積される。

次いで，教師データの増量又は多様化が必要となったときに，抽出部２４はデータベース２２から入力画像１０に対応する画像固有成分を抽出する。前述したとおり，３Ｄモデルを構成する画像固有成分は，カラー成分とシェーディング成分とに分離されてデータベース２２に記録されている。抽出部２４は，照明条件を変更した教師データを生成する場合には，シェーディング成分を除いたカラー成分のみをデータベース２２から読み出す。変更部２５は，照明の影響が排除された３Ｄモデルに対して，仮想空間内にて照明条件（色調や角度）を変えた照明を当てることにより再ライティングの演算を行う。つまり，再ライティングによって，３Ｄモデルのカラー成分は変更されず，シェーディング成分のみが変更されることとなる。変更部２５は，このようにして入力画像に含まれる３Ｄモデルの画像固有成分の変更を行う。そして，再構成部２６は，変更された画像固有成分を用いて３Ｄモデルの再構成を行う。図１１の例では，元のカラー成分と，再ライティングによって変更されたシェーディング成分とを組み合わせて，照明条件が変更された再構成画像を生成する。照明条件の種類を変えることで，複数の再構成画像を生成することも容易である。例えば図１１の例において，再ライティング例１は周辺光を白色近くに変更した例であり，再ライティング例２は周辺光をオレンジ色近くに変更した例となっている。このようにして得られた再構成画像がＡＩ学習装置３０に提供されて，機械学習の教師データとして利用される。

以上，本願明細書では，本発明の内容を表現するために，図面を参照しながら本発明の実施形態の説明を行った。ただし，本発明は，上記実施形態に限定されるものではなく，本願明細書に記載された事項に基づいて当業者が自明な変更形態や改良形態を包含するものである。

１０…入力画像 ２０…教師データ生成装置
２１…解析部 ２２…データベース
２３…フィルタリング部 ２４…抽出部
２５…変更部 ２６…再構成部
２７…フィルタリング部 ２８…比較部
３０…ＡＩ学習装置 ４０…学習済みモデル

Claims (7)

1. 機械学習に用いられる教師データを生成する教師データ生成装置であって，
   写真である入力画像を単純化する画像フィルタリングを行うフィルタリング部と，
   前記画像フィルタリング後の前記入力画像から３Ｄモデルのオブジェクトの形状及びその他の外観要因の少なくともいずれか１つ以上の画像固有成分を抽出し，データベースに登録する解析部と，
   入力画像に関連する画像固有成分を前記データベースから抽出する抽出部と，
   前記データベースから抽出された前記画像固有成分を変更して，一又は複数種類の別の画像固有成分を生成する変更部と，
   前記別の画像固有成分を用いて，少なくとも部分的に前記入力画像に対応する３Ｄモデルの再構成画像を生成する再構成部と，を含み，
   少なくとも前記再構成画像を教師データとして機械学習に適用する
   教師データ生成装置。
2. 請求項１に記載の教師データ生成装置であって，
   前記解析部は，前記入力画像から，３Ｄモデルのオブジェクトの形状，光源，及び当該画像の撮影に用いられた装置に関する情報の１つ以上を前記画像固有成分として抽出し，前記データベースに登録する
   教師データ生成装置。
3. 機械学習に用いられる教師データを生成する教師データ生成装置であって，
   入力画像から抽出されたオブジェクトの形状及びその他の外観要因の少なくともいずれか１つ以上の画像固有成分を記憶するデータベースと，
   前記データベースに記憶されている前記画像固有成分を変更して，一又は複数種類の別の画像固有成分を生成する変更部と，
   前記別の画像固有成分を用いて，少なくとも部分的に前記入力画像に対応する再構成画像を生成する再構成部と，を含み，
   少なくとも前記再構成画像を教師データとして機械学習に適用するものであり，
   第１の入力画像に基づいて生成された第１の再構成画像を使用した機械学習により出力された第１の特徴パターンと，第２の入力画像に基づいて生成された第２の再構成画像を使用した機械学習により出力された第２の特徴パターンとを比較する比較部をさらに有し，
   前記変更部は，前記比較部における比較結果に基づいて，前記画像固有成分を変更する
   教師データ生成装置。
4. コンピュータを請求項１又は請求項３に記載の教師データ生成装置として機能させるコンピュータプログラム。
5. 請求項１又は請求項３に記載の教師データ生成装置と，
   前記教師データ生成装置が生成した再構成画像を利用して機械学習を実施する学習装置と，を備える
   機械学習システム。
6. 機械学習に用いられる教師データを生成する方法であって，
   写真である入力画像を単純化する画像フィルタリングを行う工程と，
   前記画像フィルタリング後の前記入力画像から３Ｄモデルのオブジェクトの形状及びその他の外観要因の少なくともいずれか１つ以上の画像固有成分を抽出し，データベースに登録する工程と，
   入力画像に関連する画像固有成分を前記データベースから抽出する工程と，
   前記データベースから抽出された前記画像固有成分を変更して，一又は複数種類の別の画像固有成分を生成する工程と，
   前記別の画像固有成分を用いて，少なくとも部分的に前記入力画像に対応する３Ｄモデルの再構成画像を生成する工程と，を含み，
   少なくとも前記再構成画像を教師データとして利用する
   教師データの生成方法。
7. 請求項６に記載の方法によって生成した教師データを利用して機械学習を実施することにより学習済みモデルを生成する
   学習済みモデルの生成方法。