JP7199931B2 - 画像生成装置、画像生成方法及びコンピュータープログラム - Google Patents

Description

本発明は、既存の画像群に類似した新規の画像を生成するための技術に関する。

画像を用いて人物認識を精度よく実現するためには、一般的には教師データとして大量の人物画像が必要となる。仮に特定の人物についての人物認識を実現しようとすると、その特定の人物について大量の教師データが必要となる。このように、人物認識を精度よく実現するためには、大量の教師データを取得することに膨大な労力を要していた。
このような問題に対し、近年では画像のデータオーグメンテーション技術が提案されている（例えば非特許文献１及び非特許文献２参照。）。画像のデータオーグメンテーションでは、既に取得されている教師データに基づいて、教師データに関連する新たな画像が生成される。このように新たな画像を生成することによって、教師データを増加させることが可能となる。

A. G Howard, Some Improvements on Deep Convolutional Neural Network Based Image Classification, in arXiv preprint, 2013. L. Ma et al., Disentangled Person Image Generation, in Proc. CVPR, 2018.

しかしながら、単に教師データの量が多いだけでは、人物認識の精度向上は限定的であった。このような問題は、必ずしも画像による人物認識のみに限られた問題ではなく、画像を用いて生物又はロボットを認識する技術全般に共通する問題である。
上記事情に鑑み、本発明は、画像を用いて生物又はロボットを認識する技術に対し、新たな画像を生成することによって認識の精度を向上させることができる技術の提供を目的としている。

本発明の一態様は、特定の基準を満たした共通の被写体である特定被写体が撮影された複数の画像の一群であるサブ学習画像群の各画像と、前記サブ学習画像群の各画像における前記特定被写体の姿勢情報と、の組み合わせを教師データとして用いた学習処理を行うことによって得られる画像生成器のパラメーターに基づいて、前記特定被写体の画像を新たに生成する画像生成部、を備え、前記画像生成部は、与えられた姿勢情報を用いることによって、前記特定被写体が、前記姿勢情報が示す姿勢をとった画像を生成する、画像生成装置である。

本発明の一態様は、上記の画像生成装置であって、選択の候補となる姿勢情報を複数記憶する記憶部と、前記記憶部から前記姿勢情報を読み出し、読み出された姿勢情報の候補の中から、前記サブ学習画像群において前記特定被写体がとっている姿勢と所定の基準で非類似である姿勢を示す姿勢情報を選択する姿勢情報選択部をさらに備え、前記画像生成部は、前記姿勢情報選択部によって選択された前記姿勢情報を、与えられた姿勢情報として用いることによって、前記画像を生成する。

本発明の一態様は、上記の画像生成装置であって、前記サブ学習画像群において、前記特定被写体の姿勢を示す情報である姿勢情報を画像毎に取得する姿勢情報取得部をさらに備え、前記姿勢情報選択部は、前記姿勢情報取得部によって取得された姿勢情報を選択の候補として使用する。

本発明の一態様は、特定の基準を満たした共通の被写体である特定被写体が撮影された複数の画像の一群であるサブ学習画像群の各画像と、前記サブ学習画像群の各画像における前記特定被写体の姿勢情報と、の組み合わせを教師データとして用いた学習処理を行うことによって得られる画像生成器のパラメーターに基づいて、前記特定被写体の画像を新たに生成する画像生成ステップ、を有し、前記画像生成ステップにおいて、与えられた姿勢情報を用いることによって、前記特定被写体が、前記姿勢情報が示す姿勢をとった画像を生成する、画像生成方法である。

本発明の一態様は、上記の画像生成装置としてコンピューターを機能させるためのコンピュータープログラムである。

本発明により、画像を用いて生物又はロボットを認識する技術に対し、新たな画像を生成することによって認識の精度を向上させることが可能となる。

本発明の画像生成装置の構成例を示す概略ブロック図である。 姿勢情報の具体例を示す図である。 姿勢画像の具体例を示す図である。 画像生成装置の画像生成器パラメーター生成時の処理の流れの具体例を示すフローチャートである。 画像生成装置の姿勢情報生成器パラメーター生成時の処理の流れの具体例を示すフローチャートである。 画像生成装置の画像生成時の処理の流れの具体例を示すフローチャートである。

以下、本発明の具体的な構成例について、図面を参照しながら説明する。
図１は、本発明の画像生成装置１０の構成例を示す概略ブロック図である。画像生成装置１０は、パーソナルコンピューターやサーバーやワークステーション等の情報処理装置を用いて構成される。画像生成装置１０は、画像入力部１１、画像出力部１２、指示入力部１３、姿勢情報記憶部１４、姿勢情報生成器記憶部１５、画像生成器記憶部１６及び制御部１７を備える。以下、画像生成装置１０について説明する。

画像入力部１１は、画像生成装置１０に対して入力される学習画像群のデータを受け付ける。学習画像群は、既に得られている複数の画像の一群である。学習画像群は、１又は複数のサブ学習画像群を含んでもよい。サブ学習画像群は、特定の基準を満たした共通の被写体（以下「特定被写体」という。）が写った複数の画像の一群である。特定の基準とは、例えば特定の人物であることでもよいし、特定の種目の選手であることでもよいし、特定の属性（性別、年齢、人種など）の人物であることでもよいし、特定の種の生物であることでもよいし、特定の種類のロボットであることでもよい。また、特定の基準とは、特定の人物であって、且つ、特定の服を着用していることであってもよい。また、特定の基準とは、特定の人物であって、且つ、特定の動作（例えば、特定の種目の運動、特定の種別の行動）をしていることであってもよい。例えば、ある特定の選手がバスケットボールをしている姿が被写体として映った複数の画像の一群がサブ学習画像群として形成されてもよい。

画像入力部１１は、有線通信や無線通信を介したデータ通信を行うことによって他の装置から学習画像群のデータを受信してもよい。この場合、画像入力部１１は、通信インターフェースを用いて構成されてもよい。画像入力部１１は、例えばＣＤ－ＲＯＭやＵＳＢメモリー（Universal Serial Bus Memory）等の記録媒体に記録された学習画像群のデータを記録媒体から読み出してもよい。この場合、画像入力部１１は、ＣＤ－ＲＯＭドライブや、ＵＳＢインターフェース等の装置を用いて構成されてもよい。画像入力部１１は、スチルカメラやビデオカメラによって撮像された学習画像群を、カメラから受信してもよい。この場合、画像入力部１１は、カメラとデータ通信可能な通信プロトコルのインターフェースを用いて構成されてもよい。また、画像生成装置１０がスチルカメラやビデオカメラ若しくはカメラを備えた情報処理装置（スマートフォン等）に内蔵されている場合は、画像入力部１１は撮像された画像又は撮像前の画像をバスから受信してもよい。画像入力部１１は、学習画像群のデータの入力を受けることが可能な構成であれば、どのような態様で構成されてもよい。また、画像入力部１１に入力される時点で既に各画像が学習画像群を形成している必要は無く、複数の画像がそれぞれ入力されることによって結果として学習画像群が画像生成装置１０に入力されてもよい。

画像出力部１２は、制御部１７によって生成された画像のデータを出力する。画像出力部１２は、有線通信や無線通信を介したデータ通信を行うことによって他の装置（例えば他の情報処理装置や他の記憶装置）に対して画像を送信してもよい。この場合、画像出力部１２は、通信インターフェースを用いて構成されてもよい。画像出力部１２は、例えばＤＶＤ－ＲＯＭやＵＳＢメモリー等の記録媒体に対して画像を記録してもよい。この場合、画像出力部１２は、ＤＶＤ－Ｒドライブや、ＵＳＢインターフェース等の装置を用いて構成されてもよい。画像出力部１２は、画像生成装置１０に備えられた記憶装置に画像を記録してもよい。画像出力部１２は、画像のデータを出力することが可能な構成であれば、どのような態様で構成されても良い。

指示入力部１３は、キーボード、ポインティングデバイス（マウス、タブレット等）、ボタン、タッチパネル等の既存の入力装置を用いて構成されてもよい。この場合、指示入力部１３は、ユーザーの指示を画像生成装置１０に入力する際にユーザーによって操作される。上述した入力装置は、音声入力を受け付けるためのマイク及び音声認識装置を用いて構成されてもよい。指示入力部１３は、入力装置を画像生成装置１０に接続するためのインターフェースであってもよい。この場合、指示入力部１３は、入力装置においてユーザーの入力に応じ生成された入力信号を画像生成装置１０に入力する。指示入力部１３は、有線通信や無線通信を介したデータ通信を行うことによって他の装置からユーザーの指示を受信してもよい。この場合、指示入力部１３は、通信インターフェースを用いて構成されてもよい。

姿勢情報記憶部１４は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。姿勢情報記憶部１４は、学習画像群に含まれる画像データから得られた姿勢情報を、姿勢情報が得られた画像を示す画像識別情報と対応付けて記憶する。姿勢情報記憶部１４は、姿勢情報を、姿勢情報が得られた画像が含まれるサブ学習画像群を示すサブ学習画像群識別情報と対応付けて記憶してもよい。

姿勢情報は、学習画像群に含まれる各画像の被写体がとっている姿勢を示す情報である。姿勢情報は、例えば被写体に対して予め定められた複数の特徴部位の位置を示す情報であってもよい。このような特徴部位は、予め定められた人体の部位であってもよい。このような特徴部位の具体例として、頭、胴体、右肩、左肩、右足、左足が定義されてもよい。このような特徴部位の他の具体例として、右目、左目、鼻、右肩、左肩、右肘、左肘、右手首、左手首、右手先、左手先、首、腰、右膝、左膝、右足首、左足首、右足先、左足先が定義されてもよい。

姿勢情報は、これらの特徴部位毎に、画像上の位置を示す座標（例えばｘ座標及びｙ座標）を有した情報として定義されてもよい。図２は、姿勢情報の具体例を示す図である。図２の例では、頭、胴体、右肩、左肩、左足などの各特徴部位のイメージ座標がｘ及びｙの値の組み合わせとして定義されている。

姿勢情報は、各特徴部位の位置を示す画像（以下「姿勢画像」という。）として定義されてもよい。例えば、姿勢画像は、各特徴部位を示すノードと、ノード間を繋ぐリンクとを用いた画像として定義されてもよい。図３は、姿勢画像の具体例を示す図である。図３では、各特徴部位を表すノード２１の画像と、ノード２１間を繋ぐリンク２２の画像と、を組み合わせることによって人の姿勢情報を示す姿勢画像が形成されている。姿勢画像は、各リンクがそれぞれ異なる色で表されてもよいし、各ノードがそれぞれ異なる色で表されてもよい。

図１の説明に戻る。姿勢情報生成器記憶部１５は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。姿勢情報生成器記憶部１５は、姿勢情報を生成する姿勢情報生成器が動作するために必要となる情報（以下「姿勢情報生成器パラメーター」という。）を記憶する。このような姿勢情報生成器パラメーターは、制御部１７の処理によって得られる。

画像生成器記憶部１６は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。画像生成器記憶部１６は、画像を生成する画像生成器が動作するために必要となる情報（以下「画像生成器パラメーター」という。）を記憶する。このような画像生成器パラメーターは、制御部１７の処理によって得られる。

制御部１７は、バスで接続されたＣＰＵ（Central Processing Unit）等のプロセッサーとメモリーとを備える。制御部１７が画像生成プログラムを実行することによって、制御部１７は姿勢情報取得部１７１、画像生成器学習部１７２、姿勢情報生成器学習部１７３、姿勢情報生成部１７４、姿勢情報選択部１７５及び画像生成部１７６として動作する。なお、各構成の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。また、各構成の全て又は一部は、ＧＰＵ（Graphics Processing Unit）等の専用プロセッサーがプログラムを実行することによって実現されてもよい。画像生成プログラムは、コンピューター読み取り可能な記録媒体に記録されても良い。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ：Solid State Drive）等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。画像生成プログラムは、電気通信回線を介して送信されても良い。

姿勢情報取得部１７１は、画像入力部１１によって入力された学習画像群に含まれる各画像の被写体の姿勢を推定する。姿勢情報取得部１７１は、姿勢の推定結果として、姿勢情報を生成する。姿勢情報取得部１７１には、例えば以下に示す参考文献に記載された技術が適用されてもよい。姿勢情報取得部１７１は、生成された姿勢情報を姿勢情報記憶部１４に記録する。

参考文献１：Z. Cao et al., Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields, in Proc. CVPR, 2017.
参考文献２：S. -E. Wei et al., Convolutional Pose Machines, in Proc. CVPR, 2016.

画像生成器学習部１７２は、サブ学習画像群毎に画像生成器パラメーターを取得する。画像生成器学習部１７２は、例えば処理対象となるサブ学習画像群に含まれる複数の画像と、各画像において推定された姿勢情報と、の組み合わせを教師画像として用いた機械学習を実行することによって、画像生成器パラメーターを取得してもよい。画像生成器パラメーターによって表される画像生成器は、姿勢画像を入力として、その姿勢画像が示す姿勢をとった生物又はロボットの画像を生成する。どのような生物又はロボットの画像が生成されるかは、サブ学習画像群によって決まる。すなわち、処理対象となっているサブ学習画像群において定義された特定の基準を満たした被写体が、入力された姿勢画像が示す姿勢をとった画像が生成される。画像生成器学習部１７２は、例えばＧＡＮ等の敵対的学習によって画像生成器パラメーターを取得するように構成されてもよい。画像生成器学習部１７２には、例えば以下に示す参考文献に記載された技術が適用されてもよい。画像生成器学習部１７２は、生成された画像生成器パラメーターを画像生成器記憶部１６に記録する。

参考文献３：X. Mao et al., Least Squares Generative Adversarial Networks, in Proc. ICCV, 2017.
参考文献４：I. Gulrajani, Improved Training of Wasserstein GANs, in Proc. ICLR, 2018.

姿勢情報生成器学習部１７３は、姿勢情報生成器パラメーターを取得する。姿勢情報生成器学習部１７３は、例えば処理対象となる学習画像群に含まれる複数の画像から姿勢情報取得部１７１によって得られた姿勢情報を教師データとして用いた機械学習を実行することによって、姿勢情報生成器パラメーターを取得してもよい。姿勢情報生成器パラメーターの学習に用いられる教師データには、学習画像群に含まれる画像から得られた全ての姿勢情報が用いられてもよいし、特定のサブ学習画像群の画像から得られた姿勢情報のみが用いられてもよい。

姿勢情報生成器パラメーターによって表される姿勢情報生成器は、例えば所定の次元数のランダムな数値列を入力として、所定の大きさで所定のチャンネル数の姿勢画像を生成するように構成される。例えば、縦１９２ピクセル、横１９２ピクセル、チャンネル数３の姿勢画像が生成されてもよい。姿勢情報生成器学習部１７３は、例えば変分オートエンコーダー（ＶＡＥ：下記参考文献５参照）や、敵対的生成ネットワーク（ＧＡＮ：下記参考文献６参照）を用いることによって姿勢情報生成器パラメーターを取得するように構成されてもよい。姿勢情報生成器学習部１７３には、例えば以下に示す参考文献に記載された技術が適用されてもよい。姿勢情報生成器学習部１７３は、生成された姿勢情報生成器パラメーターを姿勢情報生成器記憶部１５に記録する。

参考文献５：D. P. Kingma et al., Auto-Encoding Variational Bayes, in Proc. ICLR, 2014.
参考文献６：I. Goodfellow et al., Generative Adversarial Networks, in NIPS, 2014.

姿勢情報生成部１７４は、姿勢情報生成器記憶部１５に記憶されている姿勢情報生成器パラメーターに基づいて、姿勢情報生成器として動作する。姿勢情報生成部１７４は、姿勢情報生成器として動作することによって、姿勢情報を生成する。姿勢情報生成部１７４には、姿勢情報生成器学習部１７３において姿勢情報生成器に与えられることが前提とされていた所定の入力パラメーターが与えられる。所定の入力パラメーターは、例えば所定の次元数の数値列であってもよい。所定の入力パラメーターの生成方法はどのように実現されてもよい。例えば、次元数が“１０”と定められた場合、各次元の値を正規分布に基づいて取得することによってランダムな数値列が生成されてもよい。姿勢情報生成部１７４は、生成された姿勢情報を姿勢情報選択部１７５に出力する。

姿勢情報選択部１７５は、姿勢情報記憶部１４に記憶されている姿勢情報と、姿勢情報生成部１７４によって生成された姿勢情報と、の中から処理の対象となる姿勢情報を選択する。以下の説明では、姿勢情報記憶部１４に記憶されている姿勢情報と、姿勢情報生成部１７４によって生成された姿勢情報と、を合わせて「候補姿勢情報」という。

姿勢情報選択部１７５は、画像生成部１７６において画像生成の対象となっている特定被写体の姿勢情報（以下「特定姿勢情報」という。）として未だに得られていない姿勢情報を、候補姿勢情報の中から選択する。より具体的には、姿勢情報選択部１７５は、候補姿勢情報の中から選択される判定対象の姿勢情報について、既に得られている特定姿勢情報毎に類似度を算出し、算出された全ての類似度が所定の基準以上類似していないことを示す場合には、判定対象の姿勢情報を選択する。姿勢情報選択部１７５は、一つの姿勢情報を選択してもよいし、予め定められた数の姿勢情報を選択してもよいし、指示入力部１３を介して入力された指示によって示された数の姿勢情報を選択してもよい。姿勢情報選択部１７５は、予め定められた数の姿勢情報を選択する場合や、指示入力部１３を介して入力された指示によって示された数の姿勢情報を選択する場合には、類似度の値が最も類似していないことを示す値のものから順に姿勢情報を選択してもよい。姿勢情報選択部１７５は、選択された姿勢情報を画像生成部１７６に出力する。

画像生成部１７６は、画像生成器記憶部１６に記憶されている画像生成器パラメーターのうち、処理対象となる特定被写体の画像生成器パラメーターを用いることによって、画像生成器として動作する。画像生成部１７６は、画像生成の際に、姿勢情報選択部１７５によって選択された姿勢情報を用いる。画像生成部１７６は、姿勢情報を用いて画像生成器として動作することによって、選択された姿勢情報が示す姿勢を特定被写体がとっている画像を生成する。画像生成部１７６は、生成された画像のデータを画像出力部１２に出力する。

図４は、画像生成装置１０の画像生成器パラメーター生成時の処理の流れの具体例を示すフローチャートである。まず、画像入力部１１が、処理対象のサブ学習画像群の画像データを入力する（ステップＳ１０１）。姿勢情報取得部１７１は、処理対象のサブ学習画像群の各画像データにおける被写体の姿勢情報を推定する（ステップＳ１０２）。画像生成器学習部１７２は、処理対象のサブ学習画像群の画像データ及び姿勢情報の複数の組み合わせを教師データとして用いた学習処理を実行することによって、画像生成器パラメーターを取得する（ステップＳ１０３）。画像生成器学習部１７２は、ステップＳ１０１～Ｓ１０３の処理をサブ学習画像群毎に繰り返し実行することによって、サブ学習画像群毎に画像生成器パラメーターを取得する。画像生成器学習部１７２は、取得された画像生成器パラメーターをサブ学習画像群に対応付けて画像生成器記憶部１６に記録する。

図５は、画像生成装置１０の姿勢情報生成器パラメーター生成時の処理の流れの具体例を示すフローチャートである。まず、画像入力部１１が、処理対象の学習画像群の画像データを入力する（ステップＳ２０１）。姿勢情報取得部１７１は、処理対象の学習画像群の各画像データにおける被写体の姿勢情報を推定する（ステップＳ２０２）。姿勢情報生成器学習部１７３は、処理対象の学習画像群から得られた複数の姿勢情報を教師データとして用いた学習処理を実行することによって、姿勢情報生成器パラメーターを取得する（ステップＳ２０３）。姿勢情報生成器学習部１７３は、取得された姿勢情報生成器パラメーターを学習画像群に対応付けて姿勢情報生成器記憶部１５に記録する。

図６は、画像生成装置１０の画像生成時の処理の流れの具体例を示すフローチャートである。まず、姿勢情報選択部１７５が、複数の姿勢情報を取得する（ステップＳ３０１）。例えば、姿勢情報選択部１７５は、姿勢情報記憶部１４に記憶されている姿勢情報と、姿勢情報生成部１７４によって生成された姿勢情報と、を取得してもよい。姿勢情報選択部１７５は、取得された複数の姿勢情報（候補姿勢情報）の中から、姿勢情報を選択する（ステップＳ３０２）。画像生成部１７６は、姿勢情報選択部１７５によって選択された姿勢情報と、処理対象のサブ学習画像群に応じた画像生成器パラメーターと、に基づいて画像を生成する（ステップＳ３０３）。

このように構成された画像生成装置１０によれば、画像を用いて生物又はロボットを認識する技術に対し、新たな画像を生成することによって認識の精度を向上させることが可能となる。詳細は以下の通りである。

画像を用いて生物又はロボットを認識する技術では、膨大な量の教師データが必要となるが、同じような画像がたくさん教師データに含まれていても認識精度の向上は限定的であった。このような問題に対し、上述した画像生成装置１０では、それまでその被写体の画像としては存在していなかった新たな姿勢の画像が生成される。このような新たな姿勢の画像を教師データとして用いることによって、認識の精度を向上させることが可能となる。

また、画像生成装置１０では、学習画像群を入力するだけで、その中に含まれる各特定被写体の姿勢が推定され、各特定被写体において存在していない新たな姿勢を示す姿勢情報が選択され、選択された姿勢情報が示す姿勢をとった特定被写体の画像が生成される。そのため、ユーザーがわざわざ姿勢を判断して入力する必要が無く、ユーザーの手間を削減することが可能となる。

また、画像生成装置１０では、サブ学習画像群において共通する特定の基準を満たした特定被写体毎に画像生成器パラメーターが生成される。そのため、一般的な生物や種族に応じた画像生成器パラメーターが生成される場合に比べて、各特定被写体の特徴をより顕著に有した画像を生成することができる。このように生成された画像を用いて学習処理を行うことによって、特定被写体の認識精度を向上させることが可能となる。

（変形例）
姿勢取得部１７１は、画像に基づいて姿勢情報を推定するのではなく、予め他の装置や人間によって判断された姿勢情報を外部から取得するように構成されてもよい。この場合、姿勢情報取得部１７１は、画像毎に予め判断された姿勢情報を外部から取得し、姿勢情報記憶部１４に姿勢情報を記録する。

画像生成装置１０は、画像生成器学習部１７２を備えないように構成されてもよい。この場合、予め他の装置に実装された画像生成器学習部１７２によって得られた画像生成器パラメーターを画像生成器記憶部１６に記録しておくことで、画像生成部１７６は処理を実行することが可能となる。

画像生成装置１０は、姿勢情報生成器学習部１７３を備えないように構成されてもよい。この場合、予め他の装置に実装された姿勢情報生成器学習部１７３によって得られた姿勢情報生成器パラメーターを姿勢情報生成器記憶部１５に記録しておくことで、姿勢情報生成部１７４は処理を実行することが可能となる。

画像生成装置１０は、姿勢情報生成部１７４を備えないように構成されてもよい。この場合、姿勢情報選択部１７５は、姿勢情報記憶部１４に記憶されている姿勢情報、すなわち学習画像群の画像から得られた姿勢情報の中から姿勢情報を選択する。姿勢情報の中には、他の特定被写体の姿勢情報も含まれているため、姿勢情報選択部１７５は姿勢情報を選択することが可能となる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１０…画像生成装置， １１…画像入力部， １２…画像出力部， １３…指示入力部， １４…姿勢情報記憶部， １５…姿勢情報生成器記憶部， １６…画像生成器記憶部， １７…制御部， １７１…姿勢情報取得部， １７２…画像生成器学習部， １７３…姿勢情報生成器学習部， １７４…姿勢情報生成部， １７５…姿勢情報選択部， １７６…画像生成部

Claims (5)

1. 特定の基準を満たした共通の被写体である特定被写体が撮影された複数の画像の一群であるサブ学習画像群の各画像と、前記サブ学習画像群の各画像における前記特定被写体の姿勢情報と、の組み合わせを教師データとして用いた学習処理を行うことによって得られる画像生成器のパラメーターに基づいて、前記特定被写体の画像を新たに生成する画像生成部、を備え、
   前記画像生成部は、与えられた姿勢情報を用いることによって、前記特定被写体が、前記姿勢情報が示す姿勢をとった画像を生成し、
   選択の候補となる姿勢情報を複数記憶する記憶部から前記姿勢情報を読み出し、読み出された姿勢情報の候補の中から、前記サブ学習画像群において前記特定被写体がとっている姿勢と所定の基準で非類似である姿勢を示す姿勢情報を選択する姿勢情報選択部をさらに備え、
   前記画像生成部は、前記姿勢情報選択部によって選択された前記姿勢情報を、与えられた姿勢情報として用いることによって、前記画像を生成する、画像生成装置。
2. 特定の基準を満たした共通の被写体である特定被写体が撮影された複数の画像の一群であるサブ学習画像群の各画像と、前記サブ学習画像群の各画像における前記特定被写体の姿勢情報と、の組み合わせを教師データとして用いた学習処理を行うことによって得られる画像生成器のパラメーターに基づいて、前記特定被写体の画像を新たに生成する画像生成部、を備え、
   前記画像生成部は、与えられた姿勢情報を用いることによって、前記特定被写体が、前記姿勢情報が示す姿勢をとった画像を生成し、
   選択の候補となる姿勢情報を複数記憶する記憶部と、
   前記記憶部から前記姿勢情報を読み出し、読み出された姿勢情報の候補の中から、前記サブ学習画像群において前記特定被写体がとっている姿勢と所定の基準で非類似である姿勢を示す姿勢情報を選択する姿勢情報選択部をさらに備え、
   前記画像生成部は、前記姿勢情報選択部によって選択された前記姿勢情報を、与えられた姿勢情報として用いることによって、前記画像を生成する、画像生成装置。
3. 前記サブ学習画像群において、前記特定被写体の姿勢を示す情報である姿勢情報を画像毎に取得する姿勢情報取得部をさらに備え、
   前記姿勢情報選択部は、前記姿勢情報取得部によって取得された姿勢情報を選択の候補として使用する、請求項１又は２に記載の画像生成装置。
4. コンピューターが、特定の基準を満たした共通の被写体である特定被写体が撮影された複数の画像の一群であるサブ学習画像群の各画像と、前記サブ学習画像群の各画像における前記特定被写体の姿勢情報と、の組み合わせを教師データとして用いた学習処理を行うことによって得られる画像生成器のパラメーターに基づいて、前記特定被写体の画像を新たに生成する画像生成ステップ、を有し、
   前記画像生成ステップにおいて、コンピューターが、与えられた姿勢情報を用いることによって、前記特定被写体が、前記姿勢情報が示す姿勢をとった画像を生成し、
   コンピューターが、選択の候補となる姿勢情報を複数記憶する記憶部から前記姿勢情報を読み出し、読み出された姿勢情報の候補の中から、前記サブ学習画像群において前記特定被写体がとっている姿勢と所定の基準で非類似である姿勢を示す姿勢情報を選択する姿勢情報選択ステップをさらに有し、
   前記画像生成ステップでは、コンピューターが、前記姿勢情報選択ステップにおいて選択された前記姿勢情報を、与えられた姿勢情報として用いることによって、前記画像を生成する、画像生成方法。
5. 請求項１から３のいずれか一項に記載の画像生成装置としてコンピューターを機能させるためのコンピュータープログラム。

Images