JP7007780B1 - ３次元人物モデル生成装置およびプログラム - Google Patents

Abstract

【課題】３次元人物モデルを、デザイナーができる限り少ない労力で生成可能な３次元人物モデル生成装置を提供する。【解決手段】３次元人物モデルの評価基準を機械学習させる評価学習部１１１と、複数種類の被生成３次元人物モデルを生成可能な生成部１１２と、被生成３次元人物モデルを、評価基準及び属性情報を用いて評価可能な評価部１１３と、被生成３次元人物モデルのうち評価部１１３によって所定の評価がなされた被出力３次元人物モデルを出力可能な出力部１１４と、被出力３次元人物モデルに関する利用者評価情報を受信可能な受信部１１５と、被出力３次元人物モデル及び利用者評価情報によって人物モデル構成情報及び評価情報を更新可能にする更新部１１６と、教師なし学習による機械学習を実行可能な機械学習部１１７と、を有する３次元人物モデル生成装置。【選択図】図１

Description

本開示は、３次元人物モデル生成装置、より詳しくは、コンピュータグラフィックスに携わるデザイナーが少ない労力で所望の３次元人物モデルを生成可能な装置に関する。

コンピュータグラフィックスの技術分野において、多数のポリゴン（多角形）を用いて人物を３次元で精細に表示することへの需要がますます高まっている。しかしながら、人物を３次元で精細に表示するには、多大な労力を要する。需要の高まりに応え、より多くの３次元人物モデルを精彩な状態で提供可能にするため、１つあたりの３次元人物モデルの生成に要する労力を軽減することが求められている。

労力を軽減し得る技術として、手本である訓練データを用いて予め学習を行った学習済ニューラルネットワークモデルに基づいて着色処理を実行することで、３次元モデルデータ表面の色彩や質感に関するデータ（「テクスチャ」とも称される。）を自動で生成可能な技術が提案されている（特許文献１参照）。特許文献１に記載の技術によると、学習済ニューラルネットワークモデルを用いてテクスチャの生成を自動で行うため、３次元モデル表面に施す色彩や質感を設定するのに必要な労力を軽減し得る。

特開２０２０－０１３３９０号公報

３次元人物モデルの生成においては、デザイナーへの発注者が求める属性や形状に合わせ、デザイナーが発注者のニーズに合わせた３次元人物モデルを容易に生成可能であることが重要である。しかし、特許文献１の技術は、３次元モデルデータ表面の色彩や質感に関するデータの生成を自動で行うことにとどまり、発注者のニーズに合わせることの自動化という点では、なお改良の余地がある。

より具体的に説明すると、特許文献１に記載の訓練データを用いたニューラルネットワークの機械学習では、デザイナーが手本である訓練データを用意する。デザイナーへの発注者が所望する属性を備えた３次元人物モデルを生成するニューラルネットワークは、発注者が所望する属性のそれぞれに対応した訓練データを必要とする。このため、デザイナーは、大量の訓練データを用意するために、多大な労力を要する。デザイナーが少ない労力で所望の３次元人物モデルを生成するためには、ニューラルネットワークの学習に要する労力を軽減することが重要である。

本開示は、このような事情に鑑みてなされたものであり、その目的は、発注者が所望する３次元人物モデルを、コンピュータグラフィックスに携わるデザイナーができる限り少ない労力で生成可能な３次元人物モデル生成装置を提供することである。

本願発明者は、上記課題を解決するために鋭意検討した結果、ニューラルネットワークの教師なし学習を行うことで、上記の目的を達成できることを見出し、本開示を完成させるに至った。具体的に、本開示は以下のものを提供する。

第１の開示は、３次元人物モデルを構成可能な人物モデル構成情報、前記人物モデル構成情報によって構成される複数種類の３次元人物モデルのそれぞれに関する評価情報、及び前記複数種類の３次元人物モデルの属性情報を用いて、前記複数種類の３次元人物モデルの評価基準を第１ニューラルネットワークに機械学習させることが可能な評価学習部と、第２ニューラルネットワーク及び前記属性情報を用いて複数種類の被生成３次元人物モデルを生成可能な生成部と、前記複数種類の被生成３次元人物モデルを、前記評価基準及び前記属性情報を用いて評価可能な評価部と、前記複数種類の被生成３次元人物モデルのうち、前記評価部によって評価がなされた単数種類の被出力３次元人物モデル、または評価がなされた複数種類の被出力３次元人物モデルを出力可能な出力部と、前記被出力３次元人物モデルに関し、利用者評価情報を受信可能な受信部と、前記被出力３次元人物モデルによって前記人物モデル構成情報を更新可能にし、前記利用者評価情報によって前記評価情報を更新可能にする更新部と、少なくとも前記第２ニューラルネットワークについて、教師なし学習による機械学習を実行可能な機械学習部と、を備える３次元人物モデル生成装置を提供する。

第１の開示によれば、３次元人物モデルの利用者であるグラフィックデザイナーへの発注者が３次元人物モデルに求める属性に関する評価基準を、第１ニューラルネットワークに機械学習させることができる。生成部は、当該利用者が３次元人物モデルに求める属性を有する被生成３次元人物モデルを複数生成できる。そして、出力部は、生成部が生成した複数の被生成３次元人物モデルから、属性に関する評価基準を満たす、すなわち、所望の３次元人物モデルであると認められる、複数種類の被出力３次元人物モデルを選別して出力できる。被出力３次元人物モデルの出力に関する一連の処理が自動で行われるため、デザイナーは、利用者（発注者）が所望する３次元人物モデルをより少ない労力で出力させることができる。

評価学習部において、人物モデル構成情報、評価情報、及び属性情報は、機械学習の手本となる訓練データの役割を果たす。更新部が人物モデル構成情報及び評価情報を更新可能であるため、デザイナーは、訓練データを少ない労力で用意できる。すなわち、利用者（デザイナーへの発注者）が３次元人物モデルに求める属性をより一層反映した評価基準を、デザイナーは、少ない労力で得ることができる。これにより、デザイナーは、利用者（発注者）が所望する３次元人物モデルを少ない労力で出力させることができる。

第１の開示によれば、生成部は、機械学習された第２ニューラルネットワークを用いることにより、利用者（デザイナーへの発注者）が所望する３次元人物モデルをより精彩な状態で生成できる。教師なし学習による機械学習は、外部から手本となる訓練データが与えられなくても実行できるため、デザイナーの労力を増やすことなく、利用者（発注者）が所望する３次元人物モデルをより精彩な状態で生成できる。

したがって、第１の開示によれば、利用者（発注者）が所望する３次元人物モデルを、コンピュータグラフィックスに携わるデザイナーができるだけ少ない労力で生成可能な３次元人物モデル生成装置を提供できる。

第２の開示は、第１の開示に加えて、前記機械学習部は、前記第１ニューラルネットワーク及び前記第２ニューラルネットワークの両方について、前記教師なし学習による前記機械学習を実行可能である、３次元人物モデル生成装置を提供する。

第２の開示によれば、教師なし学習による機械学習を実行するため、評価学習部は、デザイナーによって与えられた訓練データがなくても、更新された人物モデル構成情報及び評価情報に基づく評価基準を第１ニューラルネットワークに機械学習させることができる。したがって、利用者（発注者）が所望する３次元人物モデルを、デザイナーの労力を増やすことなくより精彩な状態で出力できる。

第３の開示は、第１の開示または 第２の開示に加え、前記教師なし学習は、敵対的生成ネットワークによる学習である、３次元人物モデル生成装置を提供する。

第３の開示によれば、第２ニューラルネットワークを敵対的生成ネットワークの生成器とし、第１ニューラルネットワークを敵対的生成ネットワークの識別器とする、敵対的生成ネットワークによる機械学習を行える。敵対的生成ネットワークによる機械学習では、生成器がデータを生成し、識別器が生成されたデータを識別する。そして、生成器は、生成したデータが正しいデータであると識別器に識別されることを目的とした機械学習を行う。

生成器が被生成３次元人物モデルの生成に関する第２ニューラルネットワークであり、識別器が３次元人物モデルの評価基準を機械学習した第１ニューラルネットワークである敵対的生成ネットワークによる機械学習において、識別器が生成されたデータを正しいデータであると識別することは、評価基準を機械学習した第１ニューラルネットワークが第２ニューラルネットワークに生成された被生成３次元人物モデルを、利用者（発注者）が求める属性を備えた３次元人物モデルであると評価することに相当する。すなわち、第２ニューラルネットワークは、利用者（発注者）が求める属性を備えていると第１ニューラルネットワークに評価されるような被生成３次元人物モデルの生成を目的とした機械学習を行う。これにより、第２ニューラルネットワークを用いる生成部は、所望の３次元人物モデルを、より精彩な状態で生成可能となる。

上述の敵対的生成ネットワークによる機械学習は教師なし学習なので、デザイナーの労力を増やすことがない。したがって、第３の開示によれば、利用者（発注者）が所望する３次元人物モデルを、コンピュータグラフィックスに携わるデザイナーが少ない労力で生成できる３次元人物モデル生成装置を提供できる。

第４の開示は、第１から第３のいずれかの開示であって、前記属性情報は、人物の特徴に関する情報を含む、３次元人物モデル生成装置を提供する。

第４の開示によれば、利用者（発注者）が求める人物の特徴に関する評価基準を第１ニューラルネットワークに機械学習させることができる。これにより、第１ニューラルネットワークは、３次元人物モデルの評価基準を、３次元人物モデルを利用する利用者（３次元人物モデルをデザイナーに発注する発注者）が求める人物の特徴に相当する部分に注目して評価するように機械学習できる。また、デザイナーは、属性情報が含む人物の特徴に関する情報を介して、３次元人物モデルの利用者（発注者）が求める人物の特徴を捉えた３次元人物モデルを容易に生成させ、出力させることができる。

第５の開示は、第１から第４のいずれかの開示であって、前記属性情報は、前記３次元人物モデルの利用目的に関する情報を含む、３次元人物モデル生成装置を提供する。

第５の開示によれば、３次元人物モデルの利用目的に関する評価基準を第１ニューラルネットワークに機械学習させることができる。また、生成部は、利用目的に応じた被生成３次元人物モデルを生成できる。したがって、デザイナーは、利用目的に応じた３次元人物モデルの属性情報を逐一指定する労力を要することなく、利用目的を指定するだけで、利用者（発注者）が求める３次元人物モデルを生成させることができる。したがって、コンピュータグラフィックスに携わるデザイナーは、利用者（発注者）が所望する３次元人物モデルをより少ない労力で生成できる。

第６の開示は、第１から第５のいずれかの開示であって、前記属性情報は、前記単数種類の被出力３次元人物モデルまたは複数種類の被出力３次元人物モデルを識別可能にする識別情報を含む、３次元人物モデル生成装置を提供する。

第６の開示によれば、更新された人物モデル構成情報の代わりに、属性情報に含まれる識別情報によって、利用者評価情報によって更新された評価情報と被出力３次元人物モデルとを対応づけることができる。これにより、人物モデル構成情報の更新を行わなくても、被出力３次元モデルに関する評価基準を第１ニューラルネットワークに機械学習させることができる。人物モデル構成情報の更新を行わなわなければ、人物モデル構成情報の更新によってデザイナーを待たせることがなくなり、デザイナーの労力を軽減できる。

第７の開示は、第１の開示に係る構成のカテゴリを変更したものである。

本開示によれば、３次元人物モデルの利用者（発注者）が所望する３次元人物モデルを、コンピュータグラフィックスに携わるデザイナーができる限り少ない労力で生成可能な３次元人物モデル生成装置を提供できる。

本実施形態の３次元人物モデル生成装置の構成例を示すブロック図である。 人物モデル情報テーブルの一例を示す図である。 ニューラルネットワークテーブルの一例を示す図である。 本実施形態の３次元人物モデル生成装置を用いた３次元人物モデル生成処理の一例を示すフローチャートである。 敵対的生成ネットワークを用いる場合における機械学習処理の一例を示すフローチャートである。 属性情報を用いた３次元人物モデル生成の一例を示す説明図である。 利用者評価情報を用いた機械学習の一例を示す説明図である。

以下、本開示を実施するための好適な形態の一例について図を参照しながら説明する。なお、これはあくまでも一例であって、本開示の技術的範囲はこれに限られるものではない。

＜３次元人物モデル生成装置１＞
図１は、本実施形態の３次元人物モデル生成装置１（以下、単に「生成装置１」とも称する。）の構成の一例を示すブロック図である。生成装置１は、少なくとも、制御部１１、記憶部１２、表示部１３、入力部１４、を含んで構成される。

［制御部１１］
制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備える。

制御部１１は、所定のプログラムを読み込み、必要に応じて記憶部１２、表示部１３、入力部１４が協働することで、生成装置１におけるソフトウェア構成の要素である、評価学習部１１１、生成部１１２、評価部１１３、出力部１１４、受信部１１５、更新部１１６、機械学習部１１７等を実現する。

［記憶部１２］
記憶部１２は、データやファイルが記憶される装置であって、ハードディスクや半導体メモリ、記録媒体、メモリカード等による、データのストレージ部を有する。記憶部１２は、ネットワークを介してＮＡＳ（Ｎｅｔｗｏｒｋ Ａｔｔａｃｈｅｄ Ｓｔｏｒａｇｅ）、ＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、クラウドストレージ、ファイルサーバ、分散ファイルシステム等の記憶装置、または記憶システムとの接続を可能にする仕組みを有してもよい。

記憶部１２には、マイクロコンピューターで実行される制御プログラム、人物モデル情報テーブル１２１、ニューラルネットワークテーブル１２２等が記憶されている。記憶部１２には、制御部１１の出力部１１４から信号及び情報が入力される。また、記憶部１２から、制御部１１の受信部１１５へ信号及び情報が送信される。

［人物モデル情報テーブル１２１］
図２は、人物モデル情報テーブル１２１の一例を示す図である。図２に示す人物モデル情報テーブル１２１には、人物モデル情報を識別する「ＩＤ」と、３次元人物モデルの形状、３次元人物モデル表面の質感、３次元人物モデル表面の色彩を有する「人物モデル構成情報」と、人物モデル構成情報によって構成される３次元人物モデルに関する「評価情報」と、３次元人物モデルの「属性情報」とを紐付けた情報が記憶されている。

また、人物モデル情報テーブル１２１は、ＩＤと人物モデル構成情報と属性情報とを紐付けた情報を追加可能に構成されている。人物モデル情報テーブル１２１が情報を追加可能に構成されていることにより、更新部１１６は、被出力３次元人物モデルによって人物モデル構成情報を更新できる。

（人物モデル構成情報）
人物モデル構成情報は、３次元人物モデルを構成可能な情報である。３次元人物モデルは、人物または人物の一部を視覚的に表現するための３次元モデルであれば特に限定されない。３次元人物モデルは、男性または女性の何れでもよく、人物が身に着ける着衣、装飾品、小道具の３次元モデルのうち、少なくとも１つを含んでも良い。人物モデル構成情報のフォーマットは、特に限定されず、従来技術のフォーマットの人物モデル構成情報を記憶できる。

人物モデル構成情報は、３次元人物モデルの立体的形状に関する情報、３次元人物モデル表面の質感に関する情報、または、３次元人物モデル表面の色彩に関する情報のうち、少なくとも１つの情報を含むことが好ましい。これらの情報を含むことにより、後述する第１ニューラルネットワークＮ１に手本となる訓練データを提供できる。これにより、第１ニューラルネットワークＮ１に、３次元人物モデルの立体的形状、３次元人物モデルの表面の色彩、３次元人物モデルの表面の色彩のうち、少なくとも１つに関する評価基準を機械学習させることができる。

また、これらの３次元人物モデルに関する各種の情報を含むことにより、人物モデル情報テーブル１２１は、後述する第２ニューラルネットワークＮ２に、手本となる訓練データを提供できる。これにより、第２ニューラルネットワークＮ２は、３次元人物モデルの立体的形状、３次元人物モデルの表面の色彩、３次元人物モデルの表面の色彩のうち、少なくとも１つに関する生成アルゴリズムを機械学習できる。例えば、ＩＤ「Ｍ１」の行には、形状が細長い顔であり、表面の色彩及び質感が明るい色の髪、ひげ有、及び薄い色の肌である、３次元人物モデルを構成する人物モデル構成情報が格納されている。

人物モデル構成情報は、後述する出力部１１４が出力する被出力３次元人物モデルを構成可能な情報を含んでもよい。被出力３次元人物モデルを構成可能な情報は、被出力３次元人物モデルを構成可能であれば特に限定されず、人物モデル構成情報と同様に、従来技術のフォーマットの被出力３次元人物モデルを構成可能な構成情報を記憶できる。人物モデル構成情報が被出力３次元人物モデルを構成可能な情報を含んでもよいため、後述する更新部１１６は、被出力３次元人物モデルによって、人物モデル構成情報を更新できる。

（評価情報）
評価情報は、人物モデル構成情報によって構成される３次元人物モデルに対して行われる利用者の評価情報である。図２に示す例では、利用者が求める３次元人物モデルに関する評価基準に合致する割合を１００点満点で示す評価を評価情報として格納している。評価情報のフォーマットは、評価基準に合致する割合を１００点満点で示す評価に限定されず、例えば、３次元人物モデルを利用者が評価した得点に関する情報、３次元人物モデルが備える属性を列挙した情報、３次元人物モデルが備えていない属性を列挙した情報、等を含んでもよい。

また、評価基準は、利用者が、発注してから購買した３次元人物モデルの履歴を含んでいてもよい。なお、利用者の評価が受信部１１５へ入力される経路は、入力部１４から受信部１１５へ入力される経路と、外部装置１２０及び通信部１５を介して受信部１１５へ入力される経路とを含む。利用者は、デザイナーに３次元人物モデルを発注する発注者である。

（属性情報）
属性情報は、人物モデル構成情報によって構成される３次元人物モデルの属性の情報である。属性情報のフォーマットは、特に限定されず、３次元人物モデルの属性に関する任意の情報を含んでよい。

属性情報は、“利用者が求める人物の特徴”に関する情報を含むことが好ましい。図２に示す例では、ＩＤ「Ｍ１」に紐付けられた属性情報として「明るい色の髪」「細長い顔」「ヒゲ有」等の人物の特徴に関する情報が格納されている。人物の特徴に関する情報を含むことにより、利用者（発注者）が求める人物の特徴に関する評価基準を後述する第１ニューラルネットワークＮ１に機械学習させることができる。これにより、第１ニューラルネットワークＮ１は、３次元人物モデルを利用する利用者（３次元人物モデルをデザイナーに発注する発注者）が求める人物の特徴に相当する部分に注目して評価するように、３次元人物モデルの評価基準を機械学習できる。また、デザイナーは、属性情報が含む人物の特徴に関する情報を介して、３次元人物モデルの利用者（発注者）が求める人物の特徴を捉えた３次元人物モデルを容易に生成させ、出力させることができる。

属性情報は、３次元人物モデルの利用目的に関する情報を含むことが好ましい。図２に示す例では、ＩＤ「Ｍ１」に紐付けられた属性情報として「北米地域での広告向け」という３次元人物モデルの利用目的に関する情報が格納されている。３次元人物モデルの利用目的に関する情報を含むことにより、利用者（発注者）が求める３次元人物モデルの利用目的に関する評価基準を後述する第１ニューラルネットワークＮ１に機械学習させることができる。利用目的は、「北米地域での広告向け」、「アジア地域での広告向け」、「欧州地域での広告向け」、「アフリカ地域での広告向け」等、広告する地域を含む。

これにより、第１ニューラルネットワークＮ１は、３次元人物モデルを利用する利用者（３次元人物モデルをデザイナーに発注する発注者）が求める３次元人物モデルの利用目的に適しているか否かに注目して評価するように、３次元人物モデルの評価基準を機械学習できる。また、デザイナーは、属性情報が含む３次元人物モデルの利用目的に関する情報を介して、３次元人物モデルの利用者（発注者）が求める３次元人物モデルの利用目的に適した３次元人物モデルを容易に生成させ、出力させることができる。

属性情報が３次元人物モデルの利用目的に関する情報を含むことにより、生成装置１は、属性情報を介して３次元人物モデルの利用目的を受信可能となる。したがって、デザイナーは、利用目的に応じた３次元人物モデルの属性情報を逐一指定する労力を要することなく、利用目的を指定するだけで、利用目的に応じた被生成３次元人物モデルを生成できる。したがって、コンピュータグラフィックスに携わるデザイナーは、利用者（発注者）が所望する３次元人物モデルをより少ない労力で生成できる。

属性情報は、被出力３次元人物モデルを識別可能にする識別情報を含むことが好ましい。図２に示す例では、ＩＤ「Ｍ５」に紐付けられた属性情報として「被出力３次元人物モデル：Ｐ１」という被出力３次元人物モデルを識別可能にする情報が格納されている。これにより、更新された人物モデル構成情報の代わりに、属性情報に含まれる識別情報によって、利用者評価情報によって更新された評価情報と被出力３次元人物モデルとを対応づけることができる。これにより、人物モデル情報テーブル１２１に格納された人物モデル構成情報の更新を行わなくても、被生成３次元モデルに関する評価基準を第１ニューラルネットワークＮ１に機械学習させることができる。人物モデル構成情報の更新を行わなければ、人物モデル構成情報の更新によってデザイナーを待たせることがなくなり、デザイナーの労力を軽減できる。

図２に示す人物モデル情報テーブル１２１では、ＩＤが格納されているため、人物モデル情報テーブル１２１に格納された情報の取得及び更新が容易になる。評価情報が格納されているため、後述する第１ニューラルネットワークＮ１に、手本となる訓練データを提供できる。これにより、第１ニューラルネットワークＮ１に、３次元人物モデルの評価基準を機械学習させることができる。属性情報が格納されているため、評価学習部１１１は、３次元人物モデルの利用者であるグラフィックデザイナーへの発注者が３次元人物モデルに求める属性に関する評価基準を、第１ニューラルネットワークＮ１に機械学習させることができる。

生成部１１２は、当該利用者が３次元人物モデルに求める属性を有する被生成３次元人物モデルを複数生成できる。そして、出力部１１４は、生成部１１２が生成した複数の被生成３次元人物モデルから、属性に関する評価基準を満たす、すなわち、所望の３次元人物モデルであると認められる、複数種類の被出力３次元人物モデルを選別して出力できる。

例えば、ＩＤ「Ｍ１」の行には、形状が細長い顔であり、表面の色彩及び質感が明るい色の髪、ひげ有、及び薄い色の肌である、３次元人物モデルを構成する人物モデル構成情報と、この人物モデル構成情報によって構成される３次元人物モデルに関する評価情報「９０」と、この人物モデル構成情報によって構成される３次元人物モデルの属性情報「明るい色の髪」「細長い顔」「ヒゲ有」「薄い色の肌」「北米地域での広告向け」とが紐付けられて記憶されている。このように、人物モデル情報テーブル１２１は、人物モデル構成情報と、評価情報と、属性情報とを紐付けて格納できる。

［ニューラルネットワークテーブル１２２］
図３は、ニューラルネットワークテーブル１２２の一例を示す図である。ニューラルネットワークテーブル１２２には、少なくとも、３次元人物モデルの評価基準に関する第１ニューラルネットワークＮ１（ＩＤ「Ｎ１」に相当）及び３次元人物モデルの生成に関する第２ニューラルネットワークＮ２（ＩＤ「Ｎ２」に相当）が記憶される。

第１ニューラルネットワークＮ１及び第２ニューラルネットワークＮ２のフォーマットは、特に限定されず、ニューラルネットワークの人工ニューロン（ノードとも称される。）が出力する信号の有無、または信号の強さを決定する活性化関数に関する情報、ニューラルネットワークの人工ニューロンに入力された信号に対する重み付け（シナプスの結合強度または 単に結合強度とも称される。）を表現する重み行列（重みパラメータとも称される。）に関する情報、ニューラルネットワークの人工ニューロンに入力された信号に基準となる重み（バイアスパラメータまたは単にバイアスとも称される。）を与えるバイアスベクトルに関する情報、ニューラルネットワークの人工ニューロン間の接続関係に関する情報、等を含むデータ構造体を含んでもよい。

ニューラルネットワークテーブル１２２が格納する第１ニューラルネットワークＮ１及び第２ニューラルネットワークＮ２の種類は、特に限定されず、例えば、順伝播型ニューラルネットワーク（フィードフォワードニューラルネットワーク、または ＦＦＮＮとも称される。）、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＣＮＮ、または 、ＣｏｎｖＮｅｔとも称される。）、Ｄｅｅｐ ｓｔａｃｋｉｎｇ ｎｅｔｗｏｒｋ（ＤＳＮとも称される。）、ＲＢＦネットワーク（Ｒａｄｉａｌ ｂａｓｉｓ ｆｕｎｃｔｉｏｎ ｎｅｔｗｏｒｋとも称される。）、回帰型ニューラルネットワーク（リカレントニューラルネットワーク、または 、ＲＮＮとも称される。）、モジュール型ニューラルネットワーク（Ｍｏｄｕｌａｒ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、等の従来技術の各種のニューラルネットワークを、第１ニューラルネットワークＮ１及び第２ニューラルネットワークＮ２として、ニューラルネットワークテーブル１２２に格納できる。

ニューラルネットワークテーブル１２２の構成をより詳しくみると、図３に示すニューラルネットワークテーブル１２２には、ニューラルネットワークを識別する「ＩＤ」と、ニューラルネットワークの重み行列Ａ及びＢとが紐付けられて格納されている。ＩＤを格納することにより、ニューラルネットワークテーブル１２２に格納された情報の取得及び更新が容易になる。ニューラルネットワークの重み行列Ａ及びＢを格納することにより、ニューラルネットワークを用いた生成、または評価を行うことと、ニューラルネットワークに機械学習させることとを実行できる。

ＩＤ「Ｎ１」の行には、重み行列Ａ１（ａ１１１からａ１７９までの要素を含む行列）と、重み行列Ｂ１（ｂ１１１からｂ１９４までの要素を含む行列）とによって表される第１ニューラルネットワークＮ１が格納されている。重み行列Ａ１及び重み行列Ｂ１を格納することにより、評価学習部１１１は、第１ニューラルネットワークＮ１に評価基準を機械学習させることができる。また、重み行列Ａ１及び重み行列Ｂ１を格納することにより、評価部１１３は、被生成３次元人物モデルを評価できる。

ＩＤ「Ｎ２」の行には、重み行列Ａ２（ａ２１１からａ２４９までの要素を含む行列）と、重み行列Ｂ２（ｂ２１１からｂ２９７までの要素を含む行列）とによって表される第２ニューラルネットワークＮ２が格納されている。ニューラルネットワークテーブル１２２に重み行列Ａ２及び重み行列Ｂ２を格納することにより、生成部１１２は、被生成３次元人物モデルを生成することができる。また、重み行列Ａ２及び重み行列Ｂ２を格納することにより、機械学習部１１７は、第２ニューラルネットワークＮ２に関する機械学習を実行できる。

ニューラルネットワークテーブル１２２に第１ニューラルネットワークＮ１が記憶されることにより、評価学習部１１１は、３次元人物モデルの評価基準を第１ニューラルネットワークＮ１に学習させることができる。ニューラルネットワークテーブル１２２に第２ニューラルネットワークＮ２が記憶されることにより、生成部１１２は、複数種類の被生成３次元モデルを生成できる。また、ニューラルネットワークテーブル１２２に第２ニューラルネットワークＮ２が記憶されることにより、機械学習部１１７は、第２ニューラルネットワークＮ２について、教師なし学習による機械学習を実行できる。機械学習は、学習データに正解を与えない状態で学習させる手法である。

［表示部１３］
表示部１３の種類は、特に限定されない。表示部１３として、例えば、モニタ、タッチパネル、プロジェクタ、外部装置１２０に被出力３次元人物モデルを表示させるビデオカード等が挙げられる。表示部１３には、制御部１１の出力部１１４から出力される信号及び情報が入力される。

［入力部１４］
入力部１４の種類は、特に限定されない。入力部１４として、例えば、キーボード、マウス、タッチパネル、外部装置１２０から入力を受信する通信デバイス等が挙げられる。入力部１４から入力される信号及び情報は、制御部１１の受信部１１５へ入力される。入力部１４に入力される利用者の発注情報は、受信部１１５へ送られる。

［通信部１５］
生成装置１は、生成装置１と外部装置１２０との通信を行う通信部１５を備えてもよい。通信部１５と外部装置１２０とはネットワーク１２３を介して接続される。ネットワーク１２３は、無線または有線の何れによって構築されてもよい。また、外部装置１２０は、単数または複数の何れであってもよい。生成装置１は、通信部１５を備えることにより、出力部１１４が出力する被出力３次元人物モデルを外部装置１２０に送信できる。生成装置１は、通信部１５を備えることにより、３次元人物モデルの生成に関する指令を、外部装置１２０から受信できる。生成装置１は、通信部１５を備えることにより、外部装置１２０から人物モデル構成情報、評価情報、属性情報、利用者評価情報等を受信して、利用できる。

［外部装置１２０］
外部装置１２０は、携帯型端末、固定型端末の何れでもよい。外部装置１２０は、利用者により操作され、かつ、制御回路１２５、入力部１２６、表示部１２７、記憶部１２８及び通信部１２９を有する。制御回路１２５は、入力ポート、出力ポート及び中央演算処理回路を有するコンピュータである。制御回路１２５は、入力部１２６、表示部１２７、記憶部１２８及び通信部１２９に対して、信号の送信及び受信が可能に接続されている。入力部１２６として、例えば、キーボード、マウス、タッチパネル、外部装置１２０から入力を受信する通信デバイス等が挙げられる。表示部１２７として、例えば、モニタ、タッチパネル、プロジェクタ、外部装置１２０に被出力３次元人物モデルを表示させるビデオカード等が挙げられる。記憶部１２８は、データやファイルが記憶される装置であって、ハードディスクや半導体メモリ、記録媒体、メモリカード等による、データのストレージ部を有する。通信部１２９は、ネットワーク１２３に接続される。

＜生成装置１で実行される生成処理のメインフローチャート＞
図４は、本変形例における生成処理の手順を示すメインフローチャートの一例である。以下では、図４を参照しながら、生成装置１が行う生成処理の好ましい手順について説明する。

［ステップＳ１：評価基準の機械学習］
まず、制御部１１は、記憶部１２と協働して評価学習部１１１を実行し、人物モデル情報テーブル１２１を参照し、複数種類の３次元人物モデルの評価基準を第１ニューラルネットワークＮ１に機械学習させる処理を実行する（ステップＳ１）。

ステップＳ１において評価基準を機械学習させるアルゴリズムは、特に限定されず、誤差逆伝播法、Ｗｉｄｒｏｗ－Ｈｏｆｆ法（デルタルールとも称される。）等の確率的勾配降下法、勾配降下法、オンライン学習、バッチ学習、ロジスティック関数、シグモイド関数、最大値関数等の１以上を用いる、既知のニューラルネットワークの教師あり学習に関する機械学習アルゴリズムを利用できる。

制御部１１は、評価学習部１１１を実行し、人物モデル情報テーブル１２１から人物モデル構成情報、評価情報及び属性情報を取得する。そして、制御部１１は、ニューラルネットワークテーブル１２２に格納された第１ニューラルネットワークＮ１に、人物モデル構成情報、評価情報及び属性情報を用いて評価基準を機械学習させ、ニューラルネットワークテーブル１２２に格納された第１ニューラルネットワークＮ１を更新する。言い換えると、制御部１１は、人物モデル情報テーブル１２１から人物モデル構成情報、評価情報及び属性情報を取得し、第１ニューラルネットワークＮ１に、人物モデル構成情報、評価情報及び属性情報を手本となる訓練データとして用いて評価基準を機械学習させる。

その結果、３次元人物モデルの利用者であるグラフィックデザイナーへの発注者が３次元人物モデルに求める属性に関する評価基準を、第１ニューラルネットワークＮ１に機械学習させることができる。制御部１１は、ステップＳ１の処理を終えると、ステップＳ２の判断を行う。

［ステップＳ２：属性情報を受信したか否かを判定］
制御部１１は、記憶部１２及び入力部１４と協働して生成部１１２を実行し、受信部１１５で属性情報を受信したか否かを判定する（ステップＳ２）。制御部１１は、属性情報を受信したならば、ステップＳ２でＹｅｓと判断し、処理をステップＳ３の処理を行う。制御部１１は、属性情報を受信していないならば、ステップＳ２でＮｏと判断し、ステップＳ７の判断を行う。

［ステップＳ３：被生成３次元人物モデルを生成］
制御部１１は、記憶部１２と協働して生成部１１２を実行し、ニューラルネットワークテーブル１２２に格納された第２ニューラルネットワークＮ２を取得する。そして、制御部１１は、ステップＳ２で受信した属性情報と、第２ニューラルネットワークＮ２とを用いて、複数種類の被生成３次元人物モデルを生成する（ステップＳ３）。

生成部１１２は、ステップＳ２で受信した属性情報と、重み行列Ａ２及びＢ２によって表される第２ニューラルネットワークＮ２とを用いて、ランダムな３次元人物モデルを複数生成できる。これにより、デザイナーは、３次元人物モデルの利用者（発注者）が３次元人物モデルに求める属性を有する被生成３次元人物モデルを、少ない労力で複数生成できる。制御部１１は、ステップＳ３の処理後、ステップＳ４に進む。

［ステップＳ４：被生成３次元人物モデルを評価］
制御部１１は、記憶部１２と協働して評価部１１３を実行し、ニューラルネットワークテーブル１２２に格納された第１ニューラルネットワークＮ１を取得する。そして、制御部１１は、ステップＳ２で受信した属性情報と、第１ニューラルネットワークＮ１とを用いて、ステップＳ３で生成された複数種類の被生成３次元人物モデルを評価する（ステップＳ４）。

このように、制御部１１は、ステップＳ２で受信した属性情報と、ステップＳ１で評価基準を機械学習した第１ニューラルネットワークＮ１とを用いて、ステップＳ３で生成された複数種類の被生成３次元人物モデルを評価する。このため、生成部１１２が生成した複数種類の被生成３次元人物モデルに、ステップＳ２で受信した属性情報が示す属性に関する評価を与えられる。制御部１１は、ステップＳ４の処理後、ステップＳ５に進む。

［ステップＳ５：被出力３次元人物モデルを出力］
制御部１１は、記憶部１２及び表示部１３と協働して出力部１１４を実行し、ステップＳ３で生成された複数種類の被生成３次元人物モデルのうち、ステップＳ４で所定の評価がなされた被生成３次元人物モデルを、被出力３次元人物モデルとして出力する（ステップＳ５）。

出力部１１４は、ステップＳ２で受信した属性情報が示す属性に関して所定の評価がなされている被出力３次元人物モデルを選別して、出力できる。被出力３次元人物モデルの出力に関する一連の処理が自動で行われるため、デザイナーは、利用者（発注者）が所望する３次元人物モデルをより少ない労力で出力させることができる。制御部１１は、ステップＳ５の処理後、ステップＳ６に進む。

［ステップＳ６：人物モデル構成情報を更新］
制御部１１は、記憶部１２と協働して更新部１１６を実行し、新たなＩＤとステップＳ５で出力された被出力３次元人物モデルを構成可能な情報を含む人物モデル構成情報と当該被出力３次元人物モデルを識別可能な情報を含む属性情報を紐付けて人物モデル情報テーブル１２１に追加する（ステップＳ６）。

更新部１１６が新たなＩＤとステップＳ５で出力された被出力３次元人物モデルを構成可能な情報を含む人物モデル構成情報と当該被出力３次元人物モデルを識別可能な情報を含む属性情報を紐付けて人物モデル情報テーブル１２１に追加することにより、人物モデル情報テーブル１２１に格納された人物モデル構成情報が更新される。これにより、デザイナーは、ステップＳ１で実行される処理及び後述するステップＳ９で実行される処理において用いられる手本となる訓練データを少ない労力で用意できる。すなわち、デザイナーは、利用者（デザイナーへの発注者）が３次元人物モデルに求める属性をより一層反映した評価基準を、少ない労力で得ることができる。これにより、デザイナーは、利用者（発注者）が所望する３次元人物モデルを少ない労力で出力させることができる。

このように、制御部１１は、属性情報を受信したか否かをステップＳ２で判定して、その後の処理を行う。制御部１１は、属性情報を受信していないときに、属性情報に応じた３次元人物モデルの生成、評価及び出力を行うステップＳ３からステップＳ５で実行される処理をスキップできる。また、制御部１１は、人物モデル構成情報の更新に関するステップＳ６をスキップできる。これにより、制御部１１で実行される処理の量を軽減できる。制御部１１は、ステップＳ６の処理後、ステップＳ７に進む。

［ステップＳ７：利用者から評価情報を受信したか否かを判定］
制御部１１は、記憶部１２及び入力部１４と協働して受信部１１５を実行し、利用者から評価情報を受信したか否かを判定する（ステップＳ７）。制御部１１は、利用者から評価情報を受信したならば、ステップＳ７でＹｅｓと判断し、ステップＳ８に進む。制御部１１は、利用者から評価情報を受信していなければ、ステップＳ７でＮｏと判断し、ステップＳ１に戻る。

［ステップＳ８：評価情報を更新］
制御部１１は、記憶部１２と協働して更新部１１６を実行し、利用者から受信した評価情報によって、人物モデル情報テーブル１２１に格納された、Ｓ５で出力された被出力３次元人物モデルに関する評価情報を更新する（ステップＳ８）。

評価情報によって、人物モデル情報テーブル１２１に格納された評価情報を更新することにより、デザイナーは、ステップＳ１で実行される処理及び後述するステップＳ９で実行される処理において用いられる手本となる訓練データを少ない労力で用意できる。すなわち、デザイナーは、利用者（デザイナーへの発注者）が３次元人物モデルに求める属性をより一層反映した評価基準を、少ない労力で得ることができる。これにより、デザイナーは、利用者（発注者）が所望する３次元人物モデルを少ない労力で出力させることができる。制御部１１は、ステップＳ８の処理後、ステップＳ９に進む。

［ステップＳ９：教師なし学習による機械学習を実行］
制御部１１は、記憶部１２と協働して機械学習部１１７を実行し、人物モデル情報テーブル１２１から人物モデル構成情報、評価情報及び属性情報を取得する。そして、人物モデル構成情報、評価情報及び属性情報を用いて、ニューラルネットワークテーブル１２２に格納された第２ニューラルネットワークＮ２に、３次元人物モデルの生成を教師なし学習による機械学習させ、ニューラルネットワークテーブル１２２に格納された第２ニューラルネットワークＮ２を更新する（ステップＳ９）。

ステップＳ９において機械学習を行うアルゴリズムは、教師なし学習であれば特に限定されず、クラスター分析、主成分分析、ベクトル量子化、自己組織化写像、敵対的生成ネットワーク（ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋまたは ＧＡＮとも称される。）、ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋ （ＤＢＮとも称される。）、ヘッブの法則等の１以上を用いる、既知のニューラルネットワークの教師なし学習に関する機械学習アルゴリズムを利用できる。

ステップＳ９で実行される機械学習により、第２ニューラルネットワークＮ２は、属性情報に関する３次元人物モデルをより精彩な状態で生成できるようになる。これにより、ステップＳ３において生成部１１２は、機械学習が行われた第２ニューラルネットワークＮ２を用い、利用者（デザイナーへの発注者）が所望する３次元人物モデルをより精彩な状態で生成できる。ステップＳ９で実行される教師なし学習による機械学習は、外部から手本となる訓練データが与えられなくても実行できるため、生成装置１は、デザイナーの労力を増やすことなく、利用者（発注者）が所望する３次元人物モデルをより精彩な状態で生成できる。

したがって、ステップＳ１からステップＳ９の処理を実行することにより、利用者（発注者）が所望する３次元人物モデルを、コンピュータグラフィックスに携わるデザイナーができるだけ少ない労力で生成可能な３次元人物モデル生成装置１を提供できる。制御部１１は、ステップＳ９の処理後、ステップＳ１へ戻る。

このように、制御部１１は、利用者から評価情報を受信したか否かを判定し、制御部１１は、利用者から評価情報を受信したときに、“教師なし学習による機械学習”を行うことができる。なお、“教師なし学習による機械学習”は後述する。また、制御部１１は、利用者から評価情報を受信していないときに、“教師なし学習による機械学習”を行うことなく、３次元人物モデル生成処理を繰り返せる。

ステップＳ９において機械学習を行うアルゴリズムは、ニューラルネットワークへの入力に対するニューラルネットワークからの出力のばらつきを抑えることが可能であり、また、３次元人物モデルの生成及び評価を含む様々な機能をニューラルネットワーク上で実現可能であることから、敵対的生成ネットワークを含むことが好ましい。

第２ニューラルネットワークＮ２を用いた被生成３次元人物モデルの生成において、受信した属性情報が第２ニューラルネットワークＮ２への入力に相当し、生成される被生成３次元人物モデルが第２ニューラルネットワークＮ２からの出力に相当する。入力に対する出力のばらつきを抑えることが可能であるため、第２ニューラルネットワークＮ２は、受信した属性情報に対して、所望の３次元人物モデルのみを精彩な状態で生成し、所望の３次元人物モデルとは似て非なる３次元人物モデルを生成しないようにできる。すなわち、属性情報に関する３次元人物モデルをより精彩な状態で生成できるようになる。

図５は、ステップＳ９において実行される敵対的生成ネットワークを用いる場合における機械学習処理の流れの一例を示すフローチャートである。以下では、図５を参照しながら、図４のステップＳ９で実行される機械学習処理の好ましい手順について、機械学習を行うアルゴリズムが敵対的生成ネットワークを含む場合を例にとって説明する。

［ステップＳ１１：属性情報を取得］
制御部１１は、記憶部１２と協働して機械学習部１１７を実行し、第２ニューラルネットワークＮ２が更新された回数を示す更新回数を０に設定する。制御部１１は、さらに、属性情報を取得する（ステップＳ１１）。制御部１１が更新回数を０に設定することにより、機械学習を、所定の回数連続して実行できる。制御部１１が属性情報を取得することにより、属性情報に応じた機械学習を実行できる。制御部１１は、ステップＳ１１の処理後、ステップＳ１２に進む。

［ステップＳ１２：被生成３次元人物モデルを生成］
制御部１１は、記憶部１２と協働して機械学習部１１７を実行し、第２ニューラルネットワークＮ２を用いて被生成人物モデルを生成する（ステップＳ１２）。

敵対的生成ネットワークによる機械学習では、生成器（ｇｅｎｅｒａｔｏｒ）がデータを生成し、識別器（ｄｉｓｃｒｉｍｉｎａｔｏｒ）が生成されたデータを識別する。そして、生成器は、生成したデータが正しいデータであると識別器に識別されることを目的とした機械学習を行う。制御部１１が第２ニューラルネットワークＮ２を用いて被生成人物モデルを生成することにより、第２ニューラルネットワークＮ２を、敵対的生成ネットワークにおける生成器にすることができる。制御部１１は、ステップＳ１２の処理後、ステップＳ１３に進む。

［ステップＳ１３：被生成３次元人物モデルを評価］
制御部１１は、記憶部１２と協働して機械学習部１１７を実行し、第１ニューラルネットワークＮ１を用いてステップＳ１２で生成された被生成人物モデルを評価する（ステップＳ１３）。

機械学習部１１７が第１ニューラルネットワークＮ１を用いてステップＳ１２で生成された被生成人物モデルを、制御部１１がステップＳ１３で評価する。このため、第１ニューラルネットワークＮ１を、敵対的生成ネットワークにおける識別器にすることができる。したがって、機械学習部１１７は、第２ニューラルネットワークＮ２を敵対的生成ネットワークにおける生成器とし、第１ニューラルネットワークＮ１を敵対的生成ネットワークにおける識別器とする、敵対的生成ネットワークによる機械学習を実行できる。制御部１１は、ステップＳ１３の処理後、ステップＳ１４の判定を行う。

［ステップＳ１４：属性に関する評価基準を満たすか否かを判定］
制御部１１は、記憶部１２と協働して機械学習部１１７を実行し、ステップＳ１２で生成された被生成３次元人物モデルが属性に関する評価基準を満たすか否かを判定する（ステップＳ１４）。制御部１１は、属性に関する評価基準を満たすならば、ステップＳ１４でＹｅｓと判断し、ステップＳ１５に進む。また、制御部１１は、属性に関する評価基準を満たさないならば、ステップＳ１４でＮｏと判断し、ステップＳ１６に進む。

［ステップＳ１５：類似する被生成３次元人物モデルをより多く生成するよう、第２ニューラルネットワークＮ２を更新］
制御部１１は、記憶部１２と協働して機械学習部１１７を実行し、ステップＳ１２で生成された被生成人物モデルに類似する被生成３次元人物モデルをより多く生成するよう、第２ニューラルネットワークＮ２を更新する（ステップＳ１５）。

機械学習部１１７がステップＳ１２で生成された被生成人物モデルに類似する被生成３次元人物モデルをより多く生成するよう、第２ニューラルネットワークＮ２を更新することにより、第２ニューラルネットワークＮ２を用いる生成部１１２は、ステップＳ１３で所定の評価を得た被生成３次元人物モデルに類似する被生成３次元人物モデルをより多く生成するようになる。すなわち、生成部１１２は、利用者（発注者）が所望する３次元人物モデルを、より精彩な状態で生成できるようになる。制御部１１は、ステップＳ１５の処理後、ステップＳ１７に進む。

［ステップＳ１６：類似する被生成３次元人物モデルをより少なく生成するよう、第２ニューラルネットワークＮ２を更新］
制御部１１は、記憶部１２と協働して機械学習部１１７を実行し、ステップＳ１２で生成された被生成人物モデルに類似する被生成３次元人物モデルをより少なく生成するよう、第２ニューラルネットワークＮ２を更新する（ステップＳ１６）。

機械学習部１１７がステップＳ１２で生成された被生成人物モデルに類似する被生成３次元人物モデルをより少なく生成するよう、第２ニューラルネットワークＮ２を更新することにより、第２ニューラルネットワークＮ２を用いる生成部１１２は、ステップＳ１３で所定の評価を得られなかった被生成３次元人物モデルに類似する被生成３次元人物モデルをより少なく生成するようになる。すなわち、生成部１１２は、利用者（発注者）が所望する３次元人物モデルを、より精彩な状態で生成できるようになる。

このように、制御部１１は、ステップＳ１２で生成された被生成３次元人物モデルが属性に関する評価基準を満たすか否かを、ステップＳ１４で判定する。そして、機械学習部１１７は、属性に関する評価基準を満たすか否かに応じて、類似する被生成３次元人物モデルが生成される割合を変化させるよう、第２ニューラルネットワークＮ２を更新できる。制御部１１は、ステップＳ１５の処理後、または、ステップＳ１６の処理後、ステップＳ１７に進む。

［ステップＳ１７：更新回数を１増やす］
制御部１１は、記憶部１２と協働して機械学習部１１７を実行し、更新回数を１増やす（ステップＳ１７）。更新回数を１増やすことにより、第２ニューラルネットワークＮ２の更新が行われた回数を、更新回数に反映させられる。制御部１１は、ステップＳ１７の処理後、ステップＳ１８に進む。

［ステップＳ１８：更新回数が所定の回数以上であるか否かを判定］
制御部１１は、記憶部１２と協働して機械学習部１１７を実行し、更新回数が所定の回数以上であるか否かを判定する（ステップＳ１８）。制御部１１は、更新回数が所定の回数未満であると、ステップＳ１８でＮｏと判断し、
ステップＳ１２に戻る。制御部１１は、更新回数が所定の回数以上であると、ステップＳ１８でＹｅｓと判断し、図４のステップＳ１に戻る。

このように、制御部１１は、更新回数が所定の回数以上であるか否かを判定して処理を変更することにより、敵対的生成ネットワークを用いた機械学習を、所定の回数とちょうど同じ回数だけ、連続して実行できる。

制御部１１がステップＳ１１からステップＳ１８の処理を実行することにより、機械学習部１１７は、第２ニューラルネットワークＮ２を敵対的生成ネットワークの生成器とし、第１ニューラルネットワークＮ１を敵対的生成ネットワークの識別器とする、敵対的生成ネットワークによる機械学習を行える。敵対的生成ネットワークによる機械学習では、生成器がデータを生成し、識別器が生成されたデータを識別する。そして、生成器は、生成したデータが正しいデータであると識別器に識別されることを目的とした機械学習を行う。

生成器が被生成３次元人物モデルの生成に関する第２ニューラルネットワークＮ２であり、識別器が３次元人物モデルの評価基準を機械学習した第１ニューラルネットワークＮ１である敵対的生成ネットワークによる機械学習において、識別器が生成されたデータを正しいデータであると識別することは、評価基準を機械学習した第１ニューラルネットワークＮ１が第２ニューラルネットワークＮ２に生成された被生成３次元人物モデルを、利用者（発注者）が求める属性を備えた３次元人物モデルであると評価することに相当する。すなわち、第２ニューラルネットワークＮ２は、利用者（発注者）が求める属性を備えていると第１ニューラルネットワークＮ１に評価されるような被生成３次元人物モデルの生成を目的とした機械学習を行う。これにより、第２ニューラルネットワークＮ２を用いる生成部１１２は、所望の３次元人物モデルを、より精彩な状態で生成可能となる。

上述の敵対的生成ネットワークによる機械学習は教師なし学習なので、デザイナーの労力を増やすことがない。したがって、利用者（発注者）が所望する３次元人物モデルを、コンピュータグラフィックスに携わるデザイナーが少ない労力で生成できる３次元人物モデル生成装置１を提供できる。

ニューラルネットワークテーブル１２２に格納された第２ニューラルネットワークＮ２に、３次元人物モデルの生成を教師なし学習による機械学習させ、ニューラルネットワークテーブル１２２に格納された第２ニューラルネットワークＮ２を更新すると、制御部１１は、処理を図４のステップＳ１に戻す。

＜３次元人物モデル生成装置１の使用例＞
続いて、図６及び図７を用いて、本実施形態における３次元人物モデル生成装置１の使用例を説明する。

［評価基準を学習］
利用者（発注者）から所望の属性を備える３次元人物モデルの生成を発注されたデザイナーは、３次元人物モデル生成処理を、生成装置１に実行させる。生成装置１は、評価学習部１１１を実行し、人物モデル情報テーブル１２１に格納された人物モデル構成情報、評価情報及び属性情報を用いて、第１ニューラルネットワークＮ１に評価基準を機械学習させる。

図２を用いて、第１ニューラルネットワークＮ１に機械学習させる評価基準の一例を説明する。図２に示す人物モデル情報テーブル１２１には、３次元人物モデルの形状に関する属性情報について、属性情報「細長い顔」を有する人物モデル構成情報Ｍ１及びＭ３と、属性情報「幅広の顔」を有する人物モデル構成情報Ｍ２及びＭ４とが格納されている。

評価学習部１１１は、人物モデル構成情報Ｍ１及びＭ３に共通する人物モデル構成情報の特徴である「細長い顔」「薄い色の肌」を、属性情報「細長い顔」に関する評価基準として第１ニューラルネットワークＮ１に機械学習させ、人物モデル構成情報Ｍ２及びＭ４に共通する人物モデル構成情報の特徴である「幅広の顔」「濃い色の肌」「ヒゲ無」「暗い色の髪」を、属性情報「幅広の顔」に関する評価基準として第１ニューラルネットワークＮ１に機械学習させる。

［属性情報を受信］
図６は、属性情報を用いた３次元人物モデル生成の一例を示す説明図である。図６に示す例を用いて、属性情報を用いた３次元人物モデル生成を説明する。デザイナーは、利用者（発注者）が所望する属性を、属性情報として生成装置１に送信（入力）する。図６に示す例では、利用者（発注者）が所望する属性は、属性情報「幅広の顔」であるものとして説明を行う。生成装置１は、図４のステップＳ２において生成部１１２を実行し、デザイナーが送信した属性情報「幅広の顔」を受信する。

［被出力３次元人物モデルを出力］
生成部１１２は、第２ニューラルネットワークＮ２と、属性情報「幅広の顔」とを用いて、ランダムな被生成３次元モデルＧ１からＧ４を生成する。

評価部１１３は、第１ニューラルネットワークＮ１が機械学習した評価基準と、属性情報「幅広の顔」とを用いて、被生成３次元モデルＧ１からＧ４のそれぞれを評価する。

被生成３次元モデルＧ１は、「幅広の顔」に関する４つの評価基準のうち、「幅広の顔」「濃い色の肌」「ヒゲ無」「暗い色の髪」の４つを満たしているため、１００点満点で「１００」点という高い評価を得る。また、被生成３次元モデルＧ３は、「幅広の顔」に関する４つの評価基準のうち、「幅広の顔」「暗い色の髪」の２つを満たしているため、「５０」点という高い評価を得る。

一方、被生成３次元モデルＧ２は、「幅広の顔」に関する４つの評価基準のうち、「ヒゲ無」しか満たしていないため、「２５」点という低い評価を得る。また、被生成３次元モデルＧ４は、「幅広の顔」に関する４つの評価基準のうち、「濃い色の肌」しか満たしていないため、「２５」点という低い評価を得る。

出力部１１４は、所定の評価を得た被生成３次元モデルＧ１及びＧ３を、被出力３次元人物モデルＰ１及びＰ２として出力する。生成部１１２によって属性情報「幅広の顔」を備える被生成３次元モデルが生成され、評価部１１３によって評価され、所定の評価を得た被生成３次元モデルＧ１及びＧ３が出力されるため、図６に示すように、幅広の顔の特徴を備えた所望の３次元人物モデルである被出力３次元人物モデルＰ１及びＰ２が出力される。

このように、被出力３次元人物モデルの出力に関する一連の処理が自動で行われるため、デザイナーは、利用者（発注者）が所望する属性情報「幅広の顔」を備えた３次元人物モデルをより少ない労力で出力させることができる。

［利用者評価情報を受信］
図７は、利用者評価情報を用いた機械学習の一例を示す説明図である。図７に示す例を用いて、利用者評価情報を用いた機械学習を説明する。利用者（発注者）は、被出力３次元人物モデルＰ１及びＰ２に関する評価を、利用者評価情報として生成装置１に送信（入力）する。図７に示す例では、利用者（発注者）は被出力３次元人物モデルＰ１に「８０」点という評価を与え、被出力３次元人物モデルＰ１に「９０」点という評価を与えた。すなわち、利用者（発注者）は、顔の形状がより幅広である被出力３次元人物モデルＰ２により高い評価を与える、評価基準を用いた評価と異なる評価を行った。そして、利用者（発注者）は、それらの評価を利用者評価情報Ｓ１及びＳ２として生成装置１に送信した。生成装置１は、受信部１１５及び更新部１１６を実行し、利用者評価情報の受信と、人物モデル情報テーブル１２１の更新とを実行する。

［教師なし学習による機械学習を実行］
生成装置１は、機械学習部１１７を実行し、第２ニューラルネットワークＮ２について、３次元人物モデルの生成を、教師なし学習により機械学習させる。そして、機械学習部１１７は、ニューラルネットワークテーブル１２２に格納された第２ニューラルネットワークＮ２を更新する。

上述のとおり、評価部１１３は、図２に示す当初の人物モデル情報テーブル１２１に格納された情報をもとに、被出力３次元人物モデルＰ１に対して、被出力３次元人物モデルＰ２より高い評価を与えた。

しかし、図７（ａ）に示すように、生成装置１が受信したのは、被出力３次元人物モデルＰ１に「８０」点という評価を与える利用者評価情報Ｓ１と、被出力３次元人物モデルＰ１に「９０」点という評価を与える利用者評価情報Ｓ２とである。すなわち、利用者（発注者）は、顔の形状がより幅広である被出力３次元人物モデルＰ２により高い評価を与える、評価基準を用いた評価と異なる評価を行った。これは、図２に示す当初の人物モデル情報テーブル１２１を用いた機械学習による評価基準が「幅広の顔」とは直接関係しない３次元人物モデル構成情報の特徴である「濃い色の肌」「ヒゲ無」「暗い色の髪」を、属性情報「幅広の顔」に関する評価基準に含めていたためである。

更新部１１６は、被出力３次元人物モデルＰ１及びＰ２ならびに利用者評価情報Ｓ１及びＳ２を用いて人物モデル情報テーブル１２１を更新する。そして、機械学習部１１７は、更新された人物モデル情報テーブル１２１を用いて、第２ニューラルネットワークＮ２について、教師なし学習による機械学習を実行する。これにより、第２ニューラルネットワークＮ２は、属性情報「幅広の顔」に関する３次元人物モデルの特徴を、上述の評価を踏まえて機械学習する。そして、第２ニューラルネットワークＮ２は、「幅広の顔」に関する３次元人物モデル構成情報の特徴を、より深く学習したニューラルネットワークとなる。

図７（ｂ）に示すように、機械学習後の生成部１１２は、様々な肌の色、ヒゲの有無、及び髪の色と、幅広の顔とを備える被生成３次元人物モデルＧ１１、Ｇ１２、Ｇ１３及びＧ１４を生成する。すなわち、機械学習部１１７が実行した教師なし学習による機械学習によって、利用者（デザイナーへの発注者）が所望する３次元人物モデルを、より精彩な状態で生成できるようになる。教師なし学習による機械学習は、外部から手本となる訓練データが与えられなくても実行できるため、生成装置１は、デザイナーの労力を増やすことなく、利用者（発注者）が所望する３次元人物モデルをより精彩な状態で生成できる。

したがって、本実施形態の３次元人物モデル生成装置１によれば、利用者（発注者）が所望する３次元人物モデルを、コンピュータグラフィックスに携わるデザイナーができるだけ少ない労力で生成できる。

［人物モデル情報テーブル１２１に記憶される情報の他の例］
人物モデル情報テーブル１２１に記憶される属性情報には、次に情報が含まれていてもよい。人物モデル情報テーブル１２１は、例えば、利用者が求める３次元人物モデルの体形を記憶できる。また、利用者が求める３次元人物モデルを、表示部１３または外部装置１２０の表示部に表示する場合、人物モデル情報テーブル１２１は、利用者が求める３次元人物モデルに適した背景の情報を記憶できる。人物モデル情報テーブル１２１は、利用者が求める３次元人物モデルに適した服の種類、服のデザイン、服の色、服の模様等を記憶できる。さらに、人物モデル情報テーブル１２１は、利用者が求める３次元人物モデルに適したバッグの種類、バッグのデザインなどを記憶できる。さらにまた、人物モデル情報テーブル１２１は、利用者が求める３次元人物モデルに適したアクセサリの種類、アクセサリの色を記憶できる。さらにまた、人物モデル情報テーブル１２１は、利用者が求める３次元人物モデルに適したヘアメイクを記憶できる。さらに、人物モデル情報テーブル１２１は、利用者が求める３次元人物モデルの体形、服等に適した履物を記憶できる。履物は、靴、下駄、草履、ブーツ、パンプス、ミュール、サンダル等を含む。さらに、人物モデル情報テーブル１２１は、利用者が求める３次元人物モデルの顔の表情、年齢、男性または女性の性別、顔や体の角度を記憶可能である。性別の情報としては、男性的な要素、または、女性的な要素を入れることもできる。顔の角度は、例えば、胴体の中心線に対する顔の中心線の角度を含む。体の角度は、例えば、ポージングを含む。

３次元人物モデルの体形は、例えば、やせ形、標準形、太目形等を含む。３次元人物モデルの背景は、例えば、山、海、市街地、室内、屋外、空等を含む。人物モデルが着る服の種類は、シャツ、ブラウス、セーター、ニット、ジャケット、スカート、カーディガン、ベスト、パンツ等を含む。アクセサリは、ネックレス、ピアス、ブレスレット、サングラス、帽子等を含む。ヘアメイクは、ショートカット、ボブ、ロング、パーマ、ストレート等を含む。

３次元人物モデルが着る服の種類、服のデザイン、服の色、服の模様、３次元人物モデルが持つバッグの種類、バッグのデザイン、３次元人物モデルが装着するアクセサリの種類、アクセサリの色、３次元人物モデルのヘアメイク、履物、３次元人物モデルの顔の表情、年齢、男性または女性の性別、顔や体の角度等は、人がアパレル３Ｄを用いて作成可能である。アパレル３Ｄでは、発注される３次元人物モデルを人が分析し、基本となるモデルに対して、予め用意されている各種のパターンの切り替え及び変更を行うことで、３次元人物モデルを生成する。

利用者が求める３次元人物モデルが着る服の種類、服のデザイン、服の色、服の模様、バッグの種類、バッグのデザイン、アクセサリの種類、アクセサリの色、ヘアメイク、履、３次元人物モデルの顔の表情、年齢、男性または女性の性別、顔や体の角度等は、ＡＩシステムにより作成してもよい。ＡＩシステムは、発注される３次元人物モデルを分析し、発注者の好みにマッチしたデザインの服等の画像を生成するというシステムである。アパレル３Ｄのシステム、ＡＩシステムは、３次元人物モデル生成装置１より構築されていてもよいし、外部装置１２０を用いて構築してもよい。

［情報の他の例を、図４、図５、図６、図７（ａ），（ｂ）のフローチャートで用いる手法］
図４、図５、図６、図７（ａ），（ｂ）のフローチャートでは、属性情報に含まれるモデルの体形、モデルの背景、人物モデルが着る服の種類、服のデザイン、服の色、服の模様、人物モデルが持つバッグの種類、バッグのデザイン、人物モデルが装着するアクセサリの種類、アクセサリの色、人物モデルのヘアメイク、履物、３次元人物モデルの顔の表情、年齢、男性または女性の性別、顔や体の角度等の情報を用いて、各ステップの処理及び判断を行うことが可能である。

［補足説明］
以上、本開示の実施形態及び各種変形例について説明したが、本開示は上述したこれらの実施形態及び各種変形例に限るものではない。また、本開示の実施形態及び各種変形例に記載された効果は、本開示から生じる最も好適な効果を列挙したものに過ぎず、本開示による効果は、本開示の実施形態及び各種変形例に記載されたものに限定されるものではない。

また、上述した実施の形態は本開示を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。さらに、制御部１１は、画像のエンコードの精度を高める、機械学習の回数及び情報量を増やすことにより、表示部１３または表示部１２７で表示される３次元人物モデルの画像の画質及び画像の精度を向上させることができる。図４のステップＳ１は、機械学習ステップである。ステップＳ６は、更新ステップである。ステップＳ７でＹｅｓと判断することが、受信ステップである。ステップＳ５は、出力ステップである。ステップＳ３は、生成ステップである。ステップＳ４は、評価ステップである。ステップＳ１は、評価学習ステップである。

１ 生成装置
１１ 制御部
１１１ 評価学習部
１１２ 生成部
１１３ 評価部
１１４ 出力部
１１５ 受信部
１１６ 更新部
１１７ 機械学習部
１２ 記憶部
１２１ 人物モデル情報テーブル
１２２ ニューラルネットワークテーブル
１３ 表示部
１４ 入力部
Ｇ１、Ｇ２、Ｇ３、Ｇ４ 被生成３次元人物モデル
Ｇ１１、Ｇ１２、Ｇ１３、Ｇ１４ 被生成３次元人物モデル
Ｐ１、Ｐ２ 被出力３次元人物モデル
Ｓ１、Ｓ２ 利用者評価情報
Ｎ１ 第１ニューラルネットワーク
Ｎ２ 第２ニューラルネットワーク

Claims (12)

1. ３次元人物モデルを構成可能な人物モデル構成情報、前記人物モデル構成情報によって構成される複数種類の３次元人物モデルのそれぞれに関する評価情報、及び前記複数種類の３次元人物モデルの属性情報を用いて、前記複数種類の３次元人物モデルの評価基準を第１ニューラルネットワークに機械学習させることが可能な評価学習部と、
   第２ニューラルネットワーク及び前記属性情報を用いて複数種類の被生成３次元人物モデルを生成可能な生成部と、
   前記複数種類の被生成３次元人物モデルを、前記評価基準及び前記属性情報を用いて評価可能な評価部と、
   前記複数種類の被生成３次元人物モデルのうち、前記評価部によって所定の評価がなされた単数種類の被出力３次元人物モデル、または評価がなされた複数種類の被出力３次元人物モデルを出力可能な出力部と、
   前記被出力３次元人物モデルに関し、利用者評価情報を受信可能な受信部と、
   前記被出力３次元人物モデルによって前記人物モデル構成情報を更新可能にし、前記利用者評価情報によって前記評価情報を更新可能にする更新部と、
   少なくとも前記第２ニューラルネットワークについて、教師なし学習による機械学習を実行可能な機械学習部と、
   を備える３次元人物モデル生成装置。
2. 前記機械学習部は、前記第１ニューラルネットワーク及び前記第２ニューラルネットワークの両方について、前記教師なし学習による前記機械学習を実行可能である、請求項１に記載の３次元人物モデル生成装置。
3. 前記教師なし学習は、敵対的生成ネットワークによる学習である、請求項１または２に記載の３次元人物モデル生成装置。
4. 前記属性情報は、前記３次元人物モデルの人物の特徴に関する情報を含む、請求項１から３のいずれか１項に記載の３次元人物モデル生成装置。
5. 前記属性情報は、前記３次元人物モデルの利用目的に関する情報を含む、請求項１から４のいずれか１項に記載の３次元人物モデル生成装置。
6. 前記属性情報は、前記単数種類の被出力３次元人物モデルまたは前記複数種類の被出力３次元人物モデルを識別可能にする識別情報を含む、請求項１から５のいずれか１項に記載の３次元人物モデル生成装置。
7. 前記属性情報は、前記３次元人物モデルの体形に関する情報を含む、請求項１から６のいずれか１項に記載の３次元人物モデル生成装置。
8. 前記属性情報は、前記３次元人物モデルの肌の色に関する情報を含む、請求項１から７のいずれか１項に記載の３次元人物モデル生成装置。
9. 前記属性情報は、前記被出力３次元人物モデルを表示部に表示する場合の背景に関する情報を含む、請求項１から８のいずれか１項に記載の３次元人物モデル生成装置。
10. 前記属性情報は、前記３次元人物モデルが着る服、前記３次元人物モデルが持つバッグ、前記３次元人物モデルのアクセサリ、前記３次元人物モデルのヘアメイク、前記３次元人物モデルの履物のうち、少なくとも１つを含む、請求項１から９のいずれか１項に記載の３次元人物モデル生成装置。
11. 前記属性情報は、前記３次元人物モデルの顔の表情、年齢、男性または女性の性別、顔や体の角度のうち、少なくとも１つを含む、請求項１から１０のいずれか１項に記載の３次元人物モデル生成装置。
12. ３次元人物モデル生成装置に、
    ３次元人物モデルを構成可能な人物モデル構成情報、前記人物モデル構成情報によって構成される複数種類の３次元人物モデルのそれぞれに関する評価情報、及び前記複数種類の３次元人物モデルの属性情報を用いて、前記複数種類の３次元人物モデルの評価基準を第１ニューラルネットワークに機械学習させることが可能な評価学習ステップと、
    第２ニューラルネットワーク及び前記属性情報を用いて複数種類の被生成３次元人物モデルを生成可能な生成ステップと、
    前記複数種類の被生成３次元人物モデルを、前記評価基準及び前記属性情報を用いて評価可能な評価ステップと、
    前記複数種類の被生成３次元人物モデルのうち、評価がなされた単数種類の被出力３次元人物モデル、または、評価がなされた複数種類の被出力３次元人物モデルを出力可能な出力ステップと、
    前記被出力３次元人物モデルに関し、利用者評価情報を受信可能な受信ステップと、
    前記被出力３次元人物モデルによって前記人物モデル構成情報を更新可能にし、前記利用者評価情報によって前記評価情報を更新可能にする更新ステップと、
    少なくとも前記第２ニューラルネットワークについて、教師なし学習による機械学習を実行可能な機械学習ステップと、
    を実行させるプログラム。

Images