JP7058851B1 - 作品を作成し及び/又は編集する方法及びプログラム - Google Patents

作品を作成し及び/又は編集する方法及びプログラム Download PDF

Info

Publication number
JP7058851B1
JP7058851B1 JP2021129982A JP2021129982A JP7058851B1 JP 7058851 B1 JP7058851 B1 JP 7058851B1 JP 2021129982 A JP2021129982 A JP 2021129982A JP 2021129982 A JP2021129982 A JP 2021129982A JP 7058851 B1 JP7058851 B1 JP 7058851B1
Authority
JP
Japan
Prior art keywords
data
plot
trained model
production data
work
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021129982A
Other languages
English (en)
Other versions
JP2023023978A (ja
Inventor
長堅 小美濃
兼太郎 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Celsys Inc
Original Assignee
Celsys Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Celsys Inc filed Critical Celsys Inc
Priority to JP2021129982A priority Critical patent/JP7058851B1/ja
Application granted granted Critical
Publication of JP7058851B1 publication Critical patent/JP7058851B1/ja
Publication of JP2023023978A publication Critical patent/JP2023023978A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Machine Translation (AREA)
  • Document Processing Apparatus (AREA)

Abstract

【課題】ユーザが意図している物語により近い形で、ユーザが発揮できる創造性をより汲み取られるようにして、より容易に作品を作成及び/又は編集する方法及びプログラムを提供する。【解決手段】作品を作成及び/又は編集する方法において、L番目のフェーズは、第1の学習済みモデルが、少なくとも、L番目の制作データに基づく第1のデータと、L番目のプロットデータに基づくデータと、を取得しS312、第1の学習済みモデルが、少なくとも、L+1番目のプロットデータを出力しS314、第2の学習済みモデルが、少なくとも、L番目の制作データに基づく第2のデータと、L+1番目のプロットデータに基づくデータと、を取得しS316、第2の学習済みモデルが少なくとも、L+1番目の制作データを出力するS318。【選択図】図6

Description

本発明は、作品を作成し及び/又は編集する方法及びプログラムに関する。
文章の作成、物語の作成、絵本の作成、小説の作成、マンガの作成など、ストーリを有する作品を作成するには、その作成者は、多くの労力を必要とする。
物語、マンガなどを作成するには、物語又は絵などを作成する文章力や絵を作成するスキルが必要である。
思い通りに作品を作成したり、読者に対して興味を抱かせ訴えかける作品を制作したりするには、卓越した能力が必要とされる。
そこで、例えば、格納されているメディアファイルに基づきシングルメディア又はマルチメディアプレゼンテーションを自動生成し、これにより、最小限のユーザの労力しか要求することなくユーザについてカスタマイズされたストーリを自動生成する技術が存在する(特許文献1参照)。この技術は、ストーリープロダクトを自動生成するコンピュータにより実現される方法であって、ルールセットを複数のデジタルイメージアセットに自動適用するステップと、ルールセットを充足するデジタルイメージアセットのデジタルイメージアセットを特定するステップと、特定されたデジタルイメージアセットを含むストーリープロダクトを自動生成するステップを含んでいる。
また、物語モデルを構築することができるデータ処理装置の技術が存在する(特許文献2参照)。データ処理装置は、抽出部と、事例生成部と、モデル構築部とを備える。抽出部は、述語項構造解析および共参照解析が行われた文書から、共有項を持つ述語と共有項の格の種別を表す格種別情報との組み合わせを要素とし、複数の要素を文書における述語の出現順に並べた要素系列を、共有項とともに抽出する。事例生成部は、要素系列を構成する要素のそれぞれについて、当該要素を注目要素としたときに、注目要素を末尾の要素とする要素系列内の部分系列に関する1つ以上の特徴量と、部分系列に対応する共有項の系列に関する1つ以上の特徴量と、の少なくともいずれかの特徴量を含む特徴ベクトルで表現された事例データを生成する。モデル構築部は、事例データを用いて識別モデルに基づく機械学習を行うことにより、先行文脈に後続する要素を推定するための物語モデルを構築する。
また、キャラクタ、台詞、演出などのコマンドをドラッグ&ドロップすることで、アドベンチャーゲームの作成を支援する技術が存在する(例えば、非特許文献1参照)。
さらに、ユーザが、キャラクタを複数の候補から選択して、選択肢の候補からユーザが候補を選択すると、マンガのストーリ展開を変化させることができる技術が存在する(例えば、非特許文献2参照)。
特表2010-534420号公報 特許第5945062号公報
ラノゲツクール(https://tkool.jp/lngmv/)(2021年6月26日アクセス) マンガ・カ・ケール(https://www.manga-kakeru.com/)(2021年6月26日アクセス)
開示の技術は、ユーザが意図している物語により近い形で、ユーザが発揮できる創造性をより汲み取られるようにして、より容易に作品を作成することができるようにする技術を提供することを目的とする。
開示の技術は、作品を作成し及び/又は編集する方法であって、当該方法は、第1の学習済みモデルが、少なくとも、L番目の制作データに基づく第1のデータと、L番目のプロットデータに基づくデータと、を取得する、第1の取得するステップと、前記第1の学習済みモデルが、少なくとも、L+1番目のプロットデータを出力する、第1の出力するステップと、第2の学習済みモデルが、少なくとも、前記L番目の制作データに基づく第2のデータと、前記L+1番目のプロットデータに基づくデータと、を取得する、第2の取得するステップと、前記第2の学習済みモデルが少なくとも、L+1番目の制作データを出力する、第2の出力するステップと、を含むL番目のフェーズを有し、当該方法は、コンピュータが、前記L番目のフェーズの前記L+1番目のプロットデータと、前記L+1番目の制作データとが、LがインクリメントされたフェーズであるL+1番目のフェーズに用いられるようにして、Lが1からNとなるまで前記フェーズを順に繰り返し実行することで、一連のN+1個の前記制作データに基づくデータを持つ作品を作成し及び/又は編集する方法であって、前記第1の学習済みモデルは、少なくとも、既存の作品に基づくP個の連続した学習用制作データと、前記P個の連続した学習用制作データの各々に対応するP個の連続した学習用プロットデータと、を教師データとして、少なくとも、Q番目(1≦Q<P)の前記学習用制作データと、Q番目の前記学習用プロットデータと、が入力された際に、Q+1番目の前記学習用プロットデータに近いデータが出力されるように、第1の機械学習処理が施され、前記第2の学習済みモデルは、少なくとも、前記Q番目の学習用制作データと、前記Q+1番目の学習用プロットデータと、が入力された際に、Q+1番目の学習用制作データに近いデータが出力されるように、第2の機械学習処理が施された、作品を作成し及び/又は編集する方法を提供する。
開示の技術によれば、ユーザが意図している物語により近い形で、ユーザが発揮できる創造性をより汲み取られるようにして、より容易に作品を作成することができるようにする技術を提供することができる。
図1Aは、作品10の例を示す。図1Bは、プロットブロックA1のプロットデータ11pd及びこれに対応する制作データ11aと、プロットブロックA2のプロットデータ21pd及びこれに対応する制作データ21aとを示す。 図2A及び図2Bは、実施形態1を実現する第1の学習済みモデルと第2の学習済みモデルとをそれぞれ示す。 図3は、開示の技術によって出力されるテキストの各プロットデータと各制作データの例を示す。 図4は、図3のテキストの制作データの各々に対応する絵の制作データの例を示す。 図5は、図3のテキストの制作データと図4の絵の制作データとを用いて絵本の作品を構成した例を示す。 図6は、実施形態1の処理フローを示す。 図7は、実施形態2で用いられる学習済みモデルの例を示す。図7Aは、K個のL+1番目のプロットデータを出力する学習済みモデルを示す。図7Bは、M個のL+1番目の制作データを出力する学習済みモデルを示す。 図8Aは、実施形態3に用いられる第1の学習済みモデルを示す。図8Bは、実施形態3に用いられる第2の学習済みモデルを示す。 図9A及び図9Bは、実施形態3の処理フローの一部を示す。 図10A及び図10Bは、実施形態3の処理フローの一部を示す。 図11は、AIの学習プロセスを示す。図11Aは、第1の学習済みモデルを構築する学習プロセス、図11Bは、第2の学習済みモデルを構築する学習プロセスを示す。 図12Aは、GANを用い、第1の学習済みモデルから推奨度もまた出力させるようにするAIの学習プロセスの例を示す。図12Bは、GANを用い、第2の学習済みモデルから推奨度もまた出力させるようにするAIの学習プロセスの例を示す。 図13Aは、GANを用い、定められた個数のプロットデータと推奨度の対を出力する第1の学習済みモデルを得るための、学習プロセスの例を示す。図13Bは、GANを用い、定められた個数の制作データと推奨度の対を出力する第2の学習済みモデルを得るための、学習プロセスの例を示す。 図14Aは、RNNのブロック図を示す。図14Bは、図14Aを展開した図であり、RNNが、ニューラルネットワークの過去から現在に至るまでの一連の入力の影響を将来のRNNに伝えてゆく仕組みを模式的に示した図である。すなわち、図14Aと図14Bは同義の図である。 図15は、各実施例を実現するためのコンピュータのハードウエア構成を示す。
以下に、図面を参照しながら開示の技術を説明する。なお、複数の実施形態において共通する部分については、1つの実施形態において説明し、他の実施形態において説明を省略する場合がある。また、それぞれの実施形態は排他的なものではなく、矛盾の無い限り、ある実施形態の一部を他の実施形態に組み込むことができることは言うまでもない。
まず、本明細書において用いられる用語の定義を説明する。
(1)作品
本明細書において、作品とは、小説、物語、マンガ、映画、絵本等の創作物等を意味する。作品は、二次元的又は三次元的なイメージ、テキストの集合、時間的要素を含む映像、音声などを含み、これらの組合せたものを含み得る。
(2)プロット及びプロットデータ
プロット(Plot)とは、文章及び絵などの作品の部分(制作データ(制作データについては後述する。))における構想、筋書き、筋道を意味する。プロットは、狭い意味では、「・・・が・・・をした(A)。だから、・・・をした(B)。」というような文章における「だから」で繋がる原因(A)と、結果(B)のことをいう。プロットが連鎖して記述されることで、物語などのあらすじが構築される。プロットは、別の表現を用いれば、因果関係を意識して出来事を表現した短文と定義することができる。
なお、プロットは、広義には、本などの目次、要約の要素等を指す。
本明細書におけるプロットとは、上記の狭義のプロットに加えて、広義のプロットをも意味する。したがって、本明細書では、プロットは、因果関係で繋がる短文ばかりでなく、筋書、構想などを表す単語である場合があり得る。
プロットは、文字列で表現され得る。個々のプロットの文字列をプロットデータという。
(3)制作データ
1つの制作データとは、1つのプロットを具現化した作品の部分をいう。
すなわち、制作データは、1つのプロットデータに対応する作品の部分をいう。制作データは、例えば作品が小説であれば、プロットデータに対応する小説の部分的な文章を指す。また、作品がマンガであれば、制作データとは、プロットデータに対応するマンガのひとコマであり得る。マンガのひとコマには、絵と文章が含まれ得る。或いは、作品が絵本であれば、プロットデータに対応する絵又は絵と文字との組み合わせによる絵本の1ページであってもよい。制作データには、文字が一切含まれなくてもよく、絵、写真、抽象画、動画、映像、音声の一部分などであってもよい。
制作データを時系列的に並べることで、小説、物語、絵本、マンガ、映画などの作品の全体(或いは部分)が出来上がる。
したがって、創作者が作品を創作する場合には、まずプロットを作ることで、作品の部分である制作データの骨組みを立案することができる。立案した骨組み(プロット)に基づいて、具体的な作品の一部である制作データを創作してゆくことで、作品の内容の構想を立案し具体的な作品を作成することをより容易に行うことができる。
(4)プロットポイント、プロットブロック
プロットとプロットとの区切りをプロットポイントという。また、プロットポイントどうしで区切られる部分をプロットブロックという。プロットポイントで区切られる1つのプロットブロックには、1つの制作データとその制作データに対応するプロットデータが含まれる。
図1Aは、作品10の例を示している。図1Aでは、作品10は、文の集合を含んでいる。作品10は、文の集合であるが、既に述べたように一般的な作品は、文の集合であってもよいし、絵、音声などであってもよいことは言うまでもない。
図1Aは、作品10が制作データ11aと制作データ21aの2つを含んでいることを示している。
そして、制作データ11aと制作データ21aとの間にプロットポイント11ppが存在している。また、制作データ21aの終わりにプロットポイント21ppが存在している。すなわち、制作データ21aは、プロットポイント11ppとプロットポイント21ppとの間に存在している。
図1Bは、プロットブロックA1のプロットデータ11pdと制作データ11aを示している。プロットデータ11pdは制作データ11aに対応する。プロットデータ11pd「「ドラゴンの鳴き声がだんだん大きくなる」「木陰に隠れた」」は、制作データ11aの因果関係を示すプロットデータの一例である。
図1Bはまた、プロットブロックA2のプロットデータ21pdと制作データ21aを示している。プロットデータ21pdは制作データ21aに対応する。プロットデータ21pd「「ドラゴンの足音が聞こえる」「震えた」」は、制作データ21aの因果関係を示すプロットデータの一例である。
<実施形態1>
図2A及び図2Bは、実施形態1を実現する第1の学習済みモデルと第2の学習済みモデルを示している。
第1の学習済みモデル及び第2の学習済みモデルは、AI(Artificial Intelligence)に対して、様々な作品を用いて学習させた学習済みモデルである。なお、学習のさせ方については、後述する。
図2Aの第1の学習済みモデル1000と図2Bの第2の学習済みモデル2000を交互に用いることによって、実施形態1は、作品の創作者であるオペレータの創作意図を反映させた作品を生成することができる。
図2Aにおける第1の学習済みモデル1000は、「(補正された)L番目のプロットデータと(補正された)L番目の制作データが入力されると、L+1番目のプロットデータを予測して出力する」ように予め学習が施されたAIである。
なお、Lは自然数(すなわち1,2,3,・・・)である。また「補正」とは、オペレータによる補正を意味する。L番目のプロットデータは、オペレータによって補正されたものであってもよく、或いは、補正されなくてもよいことを意味する。そして、L番目の制作データは、オペレータによって補正されたものであってもよく、或いは、補正されなくてもよいことを意味する。
図2Aの第1の学習済みモデル1000から出力されたL+1番目のプロットデータは、補正ブロック1002において、オペレータによる補正を受け取ってもよく、或いは、オペレータによる補正を受け取らなくてもよい。補正ブロック1002からは、(補正された)L+1番目のプロットデータが出力される。
第1の学習済みモデル1000には、オペレータから受け取った作品の特徴パラメータ及び/又はキャラクタの属性が、入力されてもよい。
作品の特徴パラメータとは、作品のストーリ展開の特徴、作品の時代、作品の表現の作風、作品の対象とする読者の年齢、作品の対象とする読者の性別、及び作品のジャンルのうちの少なくともいずれかの観点における指標を含む。
作品の特徴パラメータは、第1の学習済みモデルが、学習を行う際に、他の教師データと併せてモデルに入力してもよい。他の実施形態における学習済みモデルについても同様である。
キャラクタの属性とは、性別、服装、性格、年齢、体格、機敏性、及び特技のうちの少なくともいずれかの観点における指標を含む。
キャラクタの属性は、第1の学習済みモデルが、学習を行う際に、他の教師データと併せてモデルに入力してもよい。他の実施形態における学習済みモデルについても同様である。
図2Bにおける第2の学習済みモデル2000は、「(補正された)L+1番目のプロットデータと(補正された)L番目の制作データが入力されると、L+1番目の制作データを予測して出力する」ように予め学習が施されたAIである。
(補正された)L+1番目のプロットデータは、オペレータによって補正されたものであってもよく、或いは、補正されなくてもよいことを意味する。そして、(補正された)L番目の制作データは、オペレータによって補正されたものであってもよく、或いは、補正されなくてもよいことを意味する。
図2Bの第2の学習済みモデル2000から出力されたL+1番目の制作データは、補正ブロック2002において、オペレータによる補正を受け取ってもよく、或いは、オペレータによる補正を受け取らなくてもよい。補正ブロック2002からは、(補正された)L+1番目の制作データが出力される。
第2の学習済みモデル2000には、オペレータから受け取った作品の特徴パラメータ及び/又はキャラクタの属性が、入力されてもよい。
図2Aにおいて出力された(補正された)L+1番目のプロットデータと、図2Bにおいて出力された(補正された)L+1番目の制作データとを得ることで、L番目のフェーズが終了する。
L+1番目のフェーズは、L番目のフェーズにおいて得られた(補正された)L+1番目のプロットデータと、(補正された)L+1番目の制作データとを、第1の学習済みモデル1000に再び入力することで開始される。L+1番目のフェーズの動作は、Lが1だけインクリメントされていることを除けば、既に述べたL番目のフェーズの動作と同様である。
このように、複数のフェーズを繰り返しN回実行することで、最初の1個と合わせてN+1個の一連の(補正された)制作データが得られる。得られたN+1個の一連の(補正された)制作データにより、作品が構成されることとなる。
以上のように、オペレータにプロットデータ又は制作データを補正させることを許容することによって、実施形態1によって作り出される作品に対するオペレータの創作意図を適切にかつ容易に反映させることができる。
図3は、開示の技術によって出力される各プロットデータと各制作データの例を示している。1個のプロットブロックは、1個のプロットデータと1個の制作データとから構成される。一連の制作データを合わせたものが作品となる。
図3を用いて、図2に示された実施形態1の動作を以下に説明する。図2においてL=1の場合から順に説明する。
●L=1番目のフェーズの動作
例示として、図3におけるプロットブロック1の制作データ110aとプロットデータ111とを用いる場合を想定する。これらがそのまま図2Aの第1の学習済みモデル1000に入力されてもよいし、これらにオペレータが補正を加えたものが第1の学習済みモデル1000に入力されてもよい。
以下の説明では、L=1のフェーズにおいて、オペレータが独自に創作した制作データとプロットデータとが用いられる実施形態について述べる。これ以外の実施形態(例えば、L=1のフェーズにおいてオペレータが独自に創作したプロットデータのみを用いる場合)については後述する。
この場合、1番目のフェーズで、第1の学習済みモデル1000に、1番目のプロットデータとして図3に示すプロットデータ110pdが入力され、1番目の制作データとして図3に示す制作データ110aが入力されたとする。
すると、図2Aの第1の学習済みモデル1000が、例えば2番目のプロットデータとして、以下のプロットデータを出力したとする。
[2番目のプロットデータ]=「現れたのはチビドラゴン」「泣き出す」
が出力されたとする。
図3のプロットブロック2に示されるように、オペレータは、出力された上記2番目のプロットデータに補正を加えて、以下の補正された2番目のプロットデータ120pdに変更したとする。
[補正された1番目のプロットデータ120pd]=「現れたのはチビドラゴン」「巨大なドラゴンに立ち向かおうとする」
この補正された2番目のプロットデータ120pdと、1番目の制作データ110aが、図2Bの第2の学習済みモデル2000に入力される。
第2の学習済みモデルは、以下の2番目の制作データを出力したとする。
[2番目の制作データ]=「しかし、そんな主人公たちの前に現れたのは、チビドラゴンだった。チビドラゴンは巨大なドラゴンに噛みついた。」
図3の制作データ120aに示されるように、オペレータは、出力された上記2番目の制作データに補正を加えて、以下の補正された制作データ120aに変更したとする。
[補正された2番目の制作データ120a]=「しかし、そんな主人公たちの前に現れたのは、チビドラゴンだった。チビドラゴンは主人公たちの前に立ちはだかり、巨大なドラゴンに立ち向かおうとする。」
以上で、L=1番目のフェーズが終了する。以下、順を追って、後続するフェーズについて説明する。
●L=2番目のフェーズの動作
図3におけるプロットブロック2のプロットデータ120pd及び制作データ120aが、図2Aの第1の学習済みモデル1000に入力される。なお、この場合、オペレータによる補正がなされる前の制作データが第1の学習済みモデル1000に入力されてもよい。
第1の学習済みモデル1000が、例えば3番目のプロットデータとして、以下のプロットデータを出力したとする。
[3番目のプロットデータ]=「助けようとする」「駆け出し」「魔法など使えっこない」
が出力されたとする。
図3のプロットブロック3に示されるように、オペレータは、出力された上記3番目のプロットデータに補正を加えなかったとする。
この場合、補正されていない3番目のプロットデータ130pdと、2番目の制作データ120aが、図2Bの第2の学習済みモデル2000に入力される。
第2の学習済みモデルは、以下の3番目の制作データを出力したとする。
[3番目の制作データ]=「「危ない!」主人公たちは魔法でチビドラゴンを助けようとするが、そこは駆け出しの魔女っ娘の魔法、ドラゴンに対抗できる魔法など使えっこない。」
図3の制作データ130aに示されるように、オペレータは、出力された上記3番目の制作データに補正を加えなかったとする。この場合は、補正を加えていない制作データ130aが作品に用いられる。
以上で、L=2番目のフェーズが終了する。
以上のように、第1の学習済みモデル1000から出力されるLがインクリメントされたプロットデータ及び第2の学習済みモデル2000から出力されるLがインクリメントされた制作データに対して、オペレータは、自己の創作意図を反映させるように、補正を加えるか否かを判断しつつ、フェーズを進めることができる。
この一連のフェーズにおいて、オペレータは、プロットデータに対して自己の創作意図を考慮して補正の要否を判断し、必要に応じて適切なプロットデータに補正することができる。そして、該当フェーズの適切なプロットデータと、1つ前のフェーズの適切な制作データとが、第2の学習済みモデル2000に入力されようになる。このため、第2の学習済みモデル2000は、過去の制作データのストーリの連続性を保ちつつ、適切な該当フェーズの制作データを出力することができる。
図3に示されるように、上記の手順と同様に、第3のフェーズでは、プロットブロック4のプロットデータ140pd及び制作データ140aが得られる。
更に、第4のフェーズでは、プロットブロック5のプロットデータ150pd及び制作データ150aが得られる。
得られた制作データ110a、120a、130a、140a、及び150aを連結して、以下の作品が得られる。
(作品)
『洞窟の奥から壁を破って出てきたのは、巨大なドラゴンだった!叫ぶ主人公たちはどうしたらいいかわからず、パニック状態だった!
しかし、そんな主人公たちの前に現れたのは、チビドラゴンだった。チビドラゴンは主人公たちの前に立ちはだかり、巨大なドラゴンに立ち向かおうとする。
「危ない!」主人公たちは魔法でチビドラゴンを助けようとするが、そこは駆け出しの魔女っ娘の魔法、ドラゴンに対抗できる魔法など使えっこない。
「もうだめだ・・・。」巨大なドラゴンは炎を吐きかけ、主人公たちがあきらめかけたその瞬間、ドラゴンはチビドラゴンに向かい、突然話しかけてきた。
「こんなところで何しているの!心配したわよ!」なんとドラゴンとチビドラゴンは親子のようだ。』
以上のように、図2の第1の学習済みモデル1000によって、入力された既存のプロットブロック(プロットデータ及び制作データ)に続く新たなプロットブロックのプロットデータが出力され、オペレータに提案される。
オペレータは、必要に応じて、この提案されたプロットデータにオペレータ自身の創作意図を考慮して、補正を加えることができる。プロットデータは、作品データの内容の因果関係を含むエッセンスであるから、オペレータにとって、理解しやすくかつ容易に補正をすることができる。
適切に補正されたプロットデータと既存の制作データとが第2の学習済みモデル2000に入力される。この第2の学習済みモデル2000は、既存のプロットブロックと、これに続く新たなプロットブロックの適切なプロットデータとに基づいて、新たなプロットブロックの制作データを出力することができる。
図4は、図3のテキストの制作データの各々に対応する絵の制作データの例を示す。
図4に示す絵の制作データのみを作品として採用してもよいし、図3のテキストの制作データと図4に示す絵の制作データとを併せて用いて作品を構成してもよい。制作データ110aは、制作データ110bに対応する。制作データ120aは、制作データ120bに対応する。制作データ130aは、制作データ130bに対応する。制作データ140aは、制作データ140bに対応する。制作データ150aは、制作データ150bに対応する。
図5は、図3のテキストの制作データと図4の絵の制作データとを用いて絵本の作品を構成した例を示す。
なお、オペレータは、第2の学習済みモデル2000が出力した制作データに対しても、必要に応じて、自己の創作意図を反映させるべく補正を加えることができる。
このようにして、実施形態1によって、オペレータの負担を軽減させつつ、適切な制作データを得ることができる。
L=1のフェーズにおいてオペレータが独自に創作したプロットデータのみを用いる場合について述べる。この実施形態においては、オペレータは独自の制作データを創作する必要がないため、オペレータの負担を更に軽減させることができる。
L=1のフェーズでは、1番目の制作データとしてブランクデータを用いる。ブランクデータとは、中身が空であることを表すデータであって、たとえば空の文字列であってもよい。
L=1のフェーズにおいて、第1の学習済みモデル1000に、1番目のプロットデータとしてオペレータが創作したプロットデータを入力し、1番目の制作データとしてブランクデータを入力する。
すると、第1の学習済みモデル1000から、2番目のプロットデータとして、1番目のプロットデータとほぼ同一内容のプロットデータが出力される。
L=1のフェーズにおいて、第2の学習済みモデル2000に、2番目のプロットデータとして上記で得られた2番目のプロットデータ(内容は1番目のプロットデータとほぼ同一)を入力し、1番目の制作データとしてブランクデータを入力する。
すると、第2の学習済みモデル2000から、2番目の制作データとして、2番目のプロットデータに合った内容(即ち1番目のプロットデータに合った内容)の制作データが出力される。
このような挙動をするように、第1のモデルおよび第2のモデルを学習させる方法については、後の学習方法についての説明の中で述べる。
L=2以降のフェーズでは、学習済みモデルに入力されるデータは、ブランクデータではない通常の制作データになるため、処理の流れは既に述べたものと同様の流れになる。
具体的には、L=2のフェーズにおいて、第1の学習済みモデル1000に、上記2番目のプロットデータ(内容は1番目のプロットデータとほぼ同一)と、上記2番目の制作データ(1番目のプロットデータに合った内容の制作データ)と、を入力する。
すると、第1の学習済みモデル1000から、3番目のプロットデータが出力される。L=2のフェーズにおいて、第2の学習済みモデル2000に、上記3番目のプロットデータと上記2番目の制作データとを入力する。
すると、第2の学習済みモデル2000から、3番目の制作データが出力される。同様の処理を、L=Nになるまで繰り返して、1番目からN+1番目までの制作データを得る。得られた制作データのうち、2番目からN+1番目までの制作データを合わせたものを作品とする。
図6は、実施形態1の処理フローを示す。以下に、図6の各ステップについて説明する。
なお、実施形態1において、オペレータが意図している作品の特徴パラメータ及び/又は作品のキャラクタの属性を、第1の学習済みモデル及び/又は第2の学習済みモデルに入力してもよい。作品の中で、一貫して作品の特徴を統一したり、キャラクタの属性を統一したりしたい場合は、初期の段階で、作品の特徴パラメータ及び/又は作品のキャラクタの属性を決め、それ以降は、決められた特徴パラメータ及び/又はキャラクタの属性を一貫して入力し続けるようにしてもよい。なお、作品の特徴パラメータ及び/又は作品のキャラクタの属性は、オペレータが少なくとも1回入力することで、その後のフェーズにおいても同一の特徴パラメータ及び/又はキャラクタの属性が継続して第1の学習済みモデル及び/又は第2の学習済みモデルに入力されるようにしてもよい。
なお、キャラクタが複数存在する場合には、キャラクタ毎にキャラクタの属性を指定できるようにすることが望ましい。
図6の各ステップを以下に説明する。
[ステップS310]ステップS310とステップS320との間の各ステップを、L=1からNまで繰り返し実行する(Lは自然数)。なお、Nは、あらかじめ定めておかなくてもよい。オペレータが処理を終了してもよいと判断した段階で処理を終了してもよいし、全ての作品データが得られた段階で、処理を終了してもよい。
[ステップS312]第1の学習済みモデルが、少なくとも、L番目の制作データに基づく第1のデータと、L番目のプロットデータに基づくデータとを取得する。Lが1である場合(最初のステップ)においては、作品の最初のプロットデータ及び最初の制作データは、オペレータにより作成されたものであってもよい。あるいは、作品の最初プロットデータはオペレータにより作成されたものであって、最初の制作データはブランクデータであってもよい。なお、L番目の制作データがオペレータにより補正さている場合には、補正されたL番目の制作データが取得されてもよい。或いは、L番目の制作データがオペレータにより補正されていても、補正されていないL番目の制作データが取得されてもよい。また、L番目のプロットデータがオペレータにより補正されている場合には、補正されたL番目のプロットデータが取得されることが望ましい。
[ステップS314]第1の学習済みモデルが、少なくとも、L+1番目のプロットデータを出力する。なお、下記に説明する他の実施形態では、更にその他のデータが出力されてもよい。詳細は、他の実施形態を説明する際に説明する。
[ステップS316]第2の学習済みモデルが、少なくとも、L番目の制作データに基づく第2のデータと、L+1番目のプロットデータに基づくデータとを取得する。なお、L番目の制作データがオペレータにより補正されている場合には、補正されたL番目の制作データが取得されてもよい。或いは、L番目の制作データがオペレータにより補正されていても、補正されていないL番目の制作データが取得されてもよい。また、L+1番目のプロットデータがオペレータにより補正されている場合には、補正されたL+1番目のプロットデータが取得されることが望ましい。
[ステップS318]第2の学習済みモデルが少なくとも、L+1番目の制作データを出力する。なお、下記に説明する他の実施形態では、更にその他のデータが出力されてもよい。詳細は、他の実施形態を説明する際に説明する。
[ステップS320]L<Nの場合には、Lをインクリメントして、ステップS312に戻る。L=Nの場合は、処理を終了する。
以上の処理を繰り返すことによって、オペレータの創作意図が適切に反映された複数の制作データが得られる。得られた制作データが結合されることで、作品が得られる。
<実施形態2>
図7は、実施形態2で用いられる学習済みモデルの例を示す。
図7において、図2と同じ部分については、図2の説明との重複を避けるため、ここでは説明を省略する点に留意すべきである。図7Aは、K個のL+1番目のプロットデータを出力する学習済みモデルを示す。図7Bは、M個のL+1番目の制作データを出力する学習済みモデルを示す。
図7A及び図7Bに示す実施形態2と図2A及び図2Bに示す実施形態1との差は、実施形態2においては、第1の学習済みモデル及び/又は第2の学習済みモデルが、複数の候補を出力する点である。実施形態2では、複数の候補を出力するAIを用いる。例えば、学習のときに、教師データと共に、乱数を教師データに含める。入力に乱数を含めて学習した学習済みモデルは、入力の乱数の値を変えることにより、異なる出力を得ることができる。例えば、r個の異なる乱数のそれぞれを学習済みモデルに与えて、処理をr回実行すれば、r個の異なる出力を得ることが可能である。なお、乱数を用いた学習については、後述する。或いは、1回の処理の実行により、予め定められた所定個数(複数個)のプロットデータ又は制作データを出力するように、AIを予め構築しておいてもよい。
以下の説明(実施形態2及び実施形態3)では、学習済みモデルの出力が複数個となる例を挙げるが、上記のように、複数回の処理実行により複数個の出力を得る実施形態も可能であるし、また、1回の処理実行により複数個の出力を得る実施形態も可能である。
第1の学習済みモデル1010は、K個のL+1番目のプロットデータを出力する。補正/選択ブロック1012は、オペレータにK個のL+1番目のプロットデータを提示し、オペレータに対して、1つを選択するよう促してもよい。補正/選択ブロック1012は、オペレータが選択したL+1番目のプロットデータに対して、更にオペレータからの補正を受け入れてもよい。
或いは、補正/選択ブロック1012は、K個のL+1番目のプロットデータに含まれるテキスト情報のうち、単語のみを抽出してオペレータに示して、1以上の単語をオペレータが選択するように促してもよい。そして、補正/選択ブロック1012は、K個のL+1番目のプロットデータのうち、オペレータにより選択された単語を最も多く含むL+1番目のプロットデータをオペレータに提示し、その内容の補正をオペレータに促してもよい。Kは、固定された値でなくてもよい。
図7Bに示すM個の制作データを出力する第2の学習済みモデル2010及び補正/選択ブロック2012についても、図7Aに示す第1の学習済みモデル1010及び補正/選択ブロック1012の説明と同様であるため、説明を省略する。
<実施形態3>
図8は、実施形態3を示している。図8Aは、実施形態3に用いられる第1の学習済みモデルを示す。図8Bは、実施形態3に用いられる第2の学習済みモデルを示す。
図8Aの第1の学習済みモデル1020は、K1個のL+1番目のプロットデータと、そのそれぞれに対応するK1個の推奨度とを出力する。出力されたK1個のL+1番目のプロットデータと、そのそれぞれに対応するK1個の推奨度とは、ゲート1021に入力される。ゲート1021は、あらかじめ定められた閾値1又はオペレータに指示された閾値2よりも大きな推奨度を持つK2個のL+1番目のプロットデータを出力する。
補正/選択ブロック1022の動作は、図7における補正/選択ブロック1012と同じであるため、説明を省略する。
推奨度を出力させるための学習のさせ方については、後述する。推奨度は、その値が大きいほど、対応するL+1番目のプロットデータの推奨される度合いが高いことを示す。
この場合、上記閾値1又は閾値2を小さくすれば、候補数K2は、大きくなり、オペレータが選択できる候補を多くすることができる。なお、例えば出力されたK1個の推奨度の中に閾値1及び閾値2のいずれをも超える推奨度が無い場合には、K1個の推奨度の中の最大の推奨度に対応するL+1番目のプロットデータを、ゲート1021が出力するようにしてもよい。
図8Bに示すM1個の制作データを出力する第2の学習済みモデル2020、ゲート2021及び補正選択ブロック2022についても、図8Aに示す第1の学習済みモデル1020、ゲート1021及び補正/選択ブロック1022の説明が当てはまるため、説明を省略する。
図9A及び図9Bは、実施形態3の処理フローの一部を示している。以下、これらのステップについて説明する。
図9Aは、第1の学習済みモデルが、少なくとも、L+1番目のプロットデータを出力するフローである。
[ステップS1112]推奨度が所定の値よりも高いL+1番目のプロットデータが抽出される。なお、推奨度が所定の値よりも高いL+1番目のプロットデータが無い場合には、推奨度が高いものから順に1個以上のL+1番目のプロットデータを抽出してもよい。
[ステップS1113]抽出されたプロットデータが1つかがチェックされる。このチェックが肯定的(Yes)であれば、処理はステップS1116に進む。このチェックが否定的(No)であれば、処理はステップS1114に進む。
[ステップS1114]複数のL+1番目のプロットデータがオペレータに提示され、そのうちの1つが、オペレータによって選択される。
[ステップS1116]選択されたL+1番目のプロットデータ又は唯一のプロットデータに対する補正が、オペレータから受け取られる。
以上の処理を行うことによって、(選択され補正された)L+1番目のプロットデータを取得することができる。
なお、以上の処理の過程で、補正をオペレータから受け取らない場合も許容される。
図9Bは、第2の学習済みモデルが、少なくとも、L+1番目の制作データを出力するフローである。
[ステップS1122]推奨度が所定の値よりも高いL+1番目の制作データが抽出される。なお、推奨度が所定の値よりも高いL+1番目の制作データが無い場合には、推奨度が高いものから順に1個以上のL+1番目の制作データを抽出してもよい。
[ステップS1123]抽出された制作データが1つかがチェックされる。このチェックが肯定的(Yes)であれば、処理はステップS1126に進む。このチェックが否定的(No)であれば、処理はステップS1124に進む。
[ステップS1124]複数のL+1番目の制作データがオペレータに提示され、そのうちの1つが、オペレータによって選択される。
[ステップS1126]選択されたL+1番目の制作データ又は唯一の制作データに対する補正が、オペレータから受け取られる。
以上の処理を行うことによって、(選択され補正された)L+1番目の制作データを取得することができる。
なお、以上の処理の過程で、補正をオペレータから受け取らない場合も許容される。
図10A及び図10Bは、実施形態3の処理フローの一部を示している。以下、これらのステップについて説明する。
図10Aは、第1の学習済みモデルが、少なくとも、L+1番目のプロットデータを出力するフローである。
[ステップS1152]推奨度が高い方から所定の個数のL+1番目のプロットデータが、オペレータに提示される。
[ステップS1154]複数のL+1番目のプロットデータのうちの1つが、オペレータによって選択される。なお、上記の所定の個数が1の場合には、1つのプロットデータが提示されるので、このステップは実行されなくてよい。
[ステップS1156]選択されたL+1番目のプロットデータに対する補正が、オペレータから受け取られる。
以上の処理を行うことによって、(選択され補正された)L+1番目のプロットデータを取得することができる。
なお、以上の処理の過程で、補正をオペレータから受け取らない場合も許容される。
図10Bは、第2の学習済みモデルが、少なくとも、L+1番目の制作データを出力するフローである。
[ステップS1162]推奨度が高い方から所定の個数のL+1番目の制作データが、オペレータに提示される。
[ステップS1164]複数のL+1番目の制作データのうちの1つが、オペレータによって選択される。なお、上記の所定の個数が1の場合には、1つの制作データが提示されるので、このステップは実行されなくてよい。
[ステップS1166]選択されたL+1番目の制作データに対する補正が、オペレータから受け取られる。
以上の処理を行うことによって、(選択され補正された)L+1番目の制作データを取得することができる。
なお、以上の処理の過程で、補正をオペレータから受け取らない場合も許容される。
<実施形態4>学習プロセスの例1
教師データとして、既存の作品をプロットポイントで区切られる複数個(P個とする)のプロットブロックに切り分けて、各プロットブロックのプロットデータと制作データを抽出したものを用意する。切り分けられた各プロットブロックから、プロットデータと制作データを人間が作成してもよい。或いは、大量の既存の作品データと、この作品データから人間が抽出したプロットデータ及び制作データと、を教師データとしてAIを学習させることで、「作品をプロットブロックに切り分けて、各プロットブロックのプロットデータと制作データを抽出する」AIの学習済みモデルを予め構築しておき、利用することもできる。このようにして複数の既存の作品の各々について、一連のプロットブロックのプロットデータと制作データとを用意するとよい。
作品の特徴パラメータ及びキャラクタの属性については、教師データとする既存の作品から人間によって抽出されたものを用いることができる。或いは、複数の既存の作品とその作品から人間によって抽出された作品の特徴パラメータ及びキャラクタの属性とを教師データとして、作品から特徴パラメータ及びキャラクタの属性を抽出するように学習させたAIによって、作品の特徴パラメータ及びキャラクタの属性を抽出させるようにしてもよい。
図11は、AIの学習プロセスを示す図である。図11Aは、第1の学習済みモデルを構築する学習プロセス、図11Bは、第2の学習済みモデルを構築する学習プロセスを示す。
図11Aでは、1つの作品のQ番目のプロットデータ及びQ番目の制作データから、Q+1番目のプロットデータに近いデータを出力するように教師データ1031を使って第1のAIに学習させて、第1の学習済みモデル1030を作成する第1のAIの学習プロセスを示している。1つの作品がP個のプロットブロックから構成される場合には、一連のP-1個の教師データを用いることができる。そして、複数の既存の作品を用いて、学習プロセスを繰り返すことにより、第1の学習済みモデル1030を構築することができる。
教師データに用いる作品は、テキストのみを含む作品に限られない。教師データに用いる作品は、絵、マンガ、映像、音声などの作品であってもよい。
AIの学習プロセスで用いる教師データには、作品の特徴パラメータ及び/又は作品に含まれるキャラクタの属性を含ませることができる。
図11Bは、1つの作品のQ+1番目のプロットデータ及びQ番目の制作データから、Q+1番目の制作データに近いデータを出力するように教師データ2031を使って第2のAIに学習させて、第2の学習済みモデル2030を作成する第2のAI学習プロセスを示している。
学習のさせ方は、図11Aと同様であるので、説明を省略する。
前述のように、L=1のフェーズにおいてオペレータが独自に創作したプロットデータのみを用い、制作データはブランクデータとする実施形態が可能である。このような実施形態のAIの学習方法について述べる。
既存の作品から作成した教師データのP個のプロットデータを、先頭から順に1番目からP番目のプロットデータとする。同様に、P個の制作データを、先頭から順に1番目からP番目の制作データとする。
この教師データに、以下のように0番目のデータを追加する。0番目のプロットデータは、1番目のプロットデータと同一の内容とする。0番目の制作データは、ブランクデータとする。
この追加により、第1のAIの教師データには、次のようなデータが含まれる。
入力(プロットデータ): 0番目のプロットデータ(即ち1番目のプロットデータ)
入力(制作データ): 0番目の制作データ(即ちブランクデータ)
出力(プロットデータ): 1番目のプロットデータ
このような教師データを使って学習させることにより、第1のAIは、「入力された制作データがブランクデータであれば、入力されたプロットデータとほぼ同じ内容のプロットデータを出力する」ように学習する。
また、上記のように0番目のデータを追加することにより、第2のAIの教師データには、次のようなデータが含まれる。
入力(プロットデータ): 1番目のプロットデータ
入力(制作データ): 0番目の制作データ(即ちブランクデータ)
出力(制作データ): 1番目の制作データ
このような教師データを使って学習させることにより、第2のAIは、「入力された制作データがブランクデータであっても、入力されたプロットデータに合った適切な制作データを出力する」ように学習する。
なお、図11A及び図11Bの第1のAI学習プロセス及び第2のAI学習プロセスとして、当業者に周知のGAN(Generative Adversarial Network)(敵対的生成ネットワーク)を用いてもよい。
<実施形態5>学習プロセスの例2
図12Aは、GANを用い、第1の学習済みモデルから推奨度もまた出力させるようにするAIの学習プロセスの例を示す。図12Bは、GANを用い、第2の学習済みモデルから推奨度もまた出力させるようにするAIの学習プロセスの例を示す。
図12Aを用いて、第1の学習済みモデルから推奨度もまた出力させるようにするAIの学習プロセスを以下に説明する。
GANによる学習では、ジェネレータ1043とディスクリミネータ1044の二つのAIを交互に学習させる。加えて、このAI学習プロセスによって学習した学習済みモデルから、異なる複数のL+1番目のプロットデータと、これに対応する複数の推奨度が得られるように、モデルの入力に乱数を加える。以下に学習プロセスの例を具体的に説明する。
(A1)ディスクリミネータ1044の学習
教師データとして、本物のデータと偽物のデータを用意する。本物のデータとは、人間が作成した作品から抽出した、Q番目のプロットデータ、Q番目の制作データ、及びQ+1番目のプロットデータである。
一方、偽物のデータとは、ジェネレータ1043から出力されたQ+1番目のプロットデータと、その出力を得る処理において入力されたQ番目のプロットデータと、Q番目の制作データとである。ジェネレータ1043に入力されるQ番目のプロットデータは、1つ前のフェーズでジェネレータ1043が出力したものをそのまま用いても良いし、オペレータによる補正を想定した加工が施されたものであっても良い。また、ジェネレータ1043に入力されるQ番目の制作データは、1つ前のフェーズで制作データを生成したAIが出力したものをそのまま用いても良いし、オペレータによる補正を想定した加工が施されたものであっても良い。
ディスクリミネータ1044に本物のデータが入力された際には出力の真贋度1aの値が真(例えば、1.0)に近づくように、また偽物のデータが入力された際には出力の真贋度1aの値が偽(例えば、0.0)に近づくように、ディスクリミネータ1044を学習させる。
(A2)ジェネレータ1043の学習
ジェネレータ1043から出力されたQ+1番目のプロットデータと、その出力を得る処理においてジェネレータ1043に入力されたQ番目のプロットデータと、Q番目の制作データとを、ディスクリミネータ1044に入力し、ディスクリミネータ1044から出力される真贋度1aの値が真(例えば、1.0)に近づくように、ジェネレータ1043を学習させる。同時に、ジェネレータ1043から出力される推奨度1bの値がディスクリミネータ1044から出力される真贋度1aの値に近づくように、即ち推奨度と真贋度の差が0に近づくように、ジェネレータ1043を学習させる。
なお、Q番目のプロットデータは、1つ前のフェーズでジェネレータ1043が出力したものをそのまま用いても良いし、オペレータによる補正を想定した加工が施されたものであっても良い。ただし、ジェネレータ1043に入力されるQ番目のプロットデータと、ディスクリミネータ1044に入力されるQ番目のプロットデータは、同一のものとする。
また、Q番目の制作データは、1つ前のフェーズで制作データを生成したAIが出力したものをそのまま用いても良いし、オペレータによる補正を想定した加工が施されたものであっても良い。ただし、ジェネレータ1043に入力されるQ番目の制作データと、ディスクリミネータ1044に入力されるQ番目の制作データは、同一のものとする。
以上のように学習させることによって、ジェネレータ1043が第1の学習済みモデルとなる。
図12Bは、第2の学習済みモデルから推奨度もまた出力させるようにするAIの学習プロセスを示している。
第2の学習済みモデルの学習プロセスは、図12Aと比較すると、入力がQ番目ではなくQ+1番目のプロットデータである点と、出力がプロットデータではなく制作データである点と、で相違している。したがって、上記の相違点以外は、図12Aにおいて説明した学習プロセスと同様の学習プロセスをジェネレータ2043及びディスクリミネータ2044に同様に適用することができるため、説明を省略する。
この学習プロセスにより、「ディスクリミネータが真に近いと判断するような出力」の推奨度が高くなるように学習される。
学習済みモデルに入力する乱数の値を変えて、処理を複数回実行することにより、複数の出力と複数の出力の各々に対応する推奨度が得られる。
このようにして得られた推奨度をオペレータに提示することによって、オペレータは、既存の作品の傾向に近い、より自然なプロットの展開の選択肢を選択することができる。
以上の実施形態では、ジェネレータからプロットデータ又は制作データと推奨度が出力されるので、得られた学習済みモデルは実施形態3に用いるのに好適である。
一方、変形実施形態として、ジェネレータからプロットデータ又は制作データのみを出力し、推奨度を出力しない実施も可能である。その場合、ジェネレータの学習においては、ディスクリミネータからの出力が真(例えば、1.0)に近づくことのみを目標とする。この実施形態から得られた学習済みモデルは、実施形態2に用いるのに好適である。
また、更なる変形実施形態として、学習済みのジェネレータと学習済みのディスクリミネータとを合わせて、第1の学習済みモデル又は第2の学習済みモデルとして利用する実施形態も可能である。
以下、第1の学習済みモデルを例として説明する。この実施形態では、ジェネレータは推奨度を出力しない。学習済みのジェネレータと学習済みのディスクリミネータとを合わせたものを第1の学習済みモデルとする。第1の学習済みモデルへの入力は、学習済みのジェネレータに入力される。学習済みのジェネレータから出力されたプロットデータを、第1の学習済みモデルの出力とする。更に、このプロットデータを学習済みのディスクリミネータに入力して、出力された真贋度を推奨度とする。この実施形態は推奨度を得ることができるので、実施形態3に用いるのに好適である。
<実施形態6>学習プロセスの例3
図13Aは、GANを用い、定められた個数のプロットデータと推奨度の対を出力する第1の学習済みモデルを得るための、学習プロセスの例を示す。図13Bは、GANを用い、定められた個数の制作データと推奨度の対を出力する第2の学習済みモデルを得るための、学習プロセスの例を示す。
図13Aは、定められた個数のプロットデータと推奨度の対を出力する第1の学習済みモデルを得るための、学習プロセスの例を示す。
GANによる学習では、ジェネレータ1053とディスクリミネータ1044の二つのAIを交互に学習させる。
(B1)ディスクリミネータ1044の学習
学習データとして、本物のデータと偽物のデータを用意する。
本物のデータとは、人間が制作した作品から抽出された、Q番目のプロットデータ、Q+1番目のプロットデータ及びQ番目の制作データである。
一方、偽物のデータとは、ジェネレータ1053から出力されたQ+1番目のプロットデータと、その出力を得る処理においてジェネレータ1053に入力されたQ番目のプロットデータと、Q番目の制作データとである。ジェネレータ1053からは複数個のプロットデータが出力されるので、その中からランダムに選んだ1個を使用する。ジェネレータ1053に入力するQ番目のプロットデータは、1つ前のフェーズでジェネレータ1053が出力したものをそのまま用いても良いし、オペレータによる補正を想定した加工が施されたものであっても良い。また、ジェネレータ1053に入力されるQ番目の制作データは、1つ前のフェーズで制作データを生成したAIが出力したものをそのまま用いてもよいし、オペレータによる補正を想定した加工が施されたものであってもよい。
ディスクリミネータ1054に本物のデータが入力された際には出力の真贋度3aの値が真(例えば、1.0)に近づくように、また偽物のデータが入力された際には出力の真贋度3bの値が偽(例えば、0.0)に近づくように、ディスクリミネータ1054を学習させる。
(B2)ジェネレータ1053の学習
ジェネレータ1053から出力されたQ+1番目のプロットデータと、その出力を得る処理においてジェネレータ1053に入力されたQ番目のプロットデータと、Q番目の制作データとを、ディスクリミネータ1054に入力し、ディスクリミネータ1054から出力される真贋度3aの値が真(例えば、1.0)に近づくように、ジェネレータ1053を学習させる。同時に、ジェネレータ1053から出力される推奨度3bの値がディスクリミネータ1054から出力される真贋度3aの値に近づくように、即ち推奨度と真贋度の差が0に近づくように、学習させる。ジェネレータ1053は複数個(K個)の「プロットデータと推奨度の対」を出力するので、その中からランダムに選んだ1対を使用する。
また、これと同時に、「ジェネレータ1053から出力されるK個のQ+1番目のプロットデータが互いに似た内容にならない」ように学習させることが望ましい。
なお、Q番目のプロットデータは、1つ前のフェーズでジェネレータ1053が出力したものをそのまま用いても良いし、オペレータによる補正を想定した加工が施されたものであっても良い。ただし、ジェネレータ1053に入力されるQ番目のプロットデータと、ディスクリミネータ1054に入力されるQ番目のプロットデータは、同一のものとする。
また、Q番目の制作データは、1つ前のフェーズで制作データを生成したAIが出力したものをそのまま用いても良いし、オペレータによる補正を想定した加工が施されたものであっても良い。ただし、ジェネレータ1053に入力されるQ番目の制作データと、ディスクリミネータ1054に入力されるQ番目の制作データは、同一のものとする。
以上のように学習させることによって、ジェネレータ1053が第1の学習済みモデルとなる。
図13Bは、定められた個数の制作データと推奨度の対を出力する第2の学習済みモデルを得るための、学習プロセスの例を示す。
第2の学習済みモデルの学習プロセスは、図13Aと比較すると、入力がQ番目ではなくQ+1番目のプロットデータである点と、出力がプロットデータではなく制作データである点と、で相違している。したがって、上記の相違点以外は、図13Aにおいて説明した学習プロセスと同様の学習プロセスをジェネレータ2053及びディスクリミネータ2054に同様に適用することができるため、説明を省略する。
この学習プロセスにより、「ディスクリミネータが真に近いと判断するような出力」の推奨度が高くなるように学習される。
このようにして得られた推奨度をオペレータに提示することによって、オペレータは、既存の作品の傾向に近い、より自然なプロットの展開の選択肢を選択することができる。
以上の実施形態では、ジェネレータからプロットデータ又は制作データと推奨度が出力されるので、得られた学習済みモデルは実施形態3に用いるのに好適である。
一方、変形実施形態として、ジェネレータからプロットデータ又は制作データのみを出力し、推奨度を出力しない実施も可能である。その場合、ジェネレータの学習においては、ディスクリミネータからの出力が真(例えば、1.0)に近づくことのみを目標とする。この実施形態から得られた学習済みモデルは、実施形態2に用いるのに好適である。
また、更なる変形実施形態として、学習済みのジェネレータと学習済みのディスクリミネータとを合わせて、第1の学習済みモデル又は第2の学習済みモデルとして利用する実施形態も可能である。
以下、第1の学習済みモデルを例として説明する。この実施形態では、ジェネレータは推奨度を出力しない。学習済みのジェネレータと学習済みのディスクリミネータとを合わせたものを第1の学習済みモデルとする。第1の学習済みモデルへの入力は、学習済みのジェネレータに入力される。学習済みのジェネレータから出力されたプロットデータを、第1の学習済みモデルの出力とする。更に、このプロットデータを学習済みのディスクリミネータに入力して、出力された真贋度を推奨度とする。この実施形態は推奨度を得ることができるので、実施形態3に用いるのに好適である。
<用いるAI>
以上の各実施形態では、作品のストーリ展開における因果関係を考慮することが重要となる。すなわち、あるプロットブロックと次のプロットブロックとのストーリの連続性が、なるべく担保されるように実施形態を構築することが重要である。
上記の様なニーズに親和性があるAIの例としては、当業者に周知のRNN(Recurrent Neural Network)が挙げられる。
図14Aは、RNNのブロック図を示す。図14Bは、図14Aを展開した図であり、RNNが、過去から現在に至るまでの一連の入力の影響を将来のRNNに伝えてゆく仕組みを模式的に示した図である。すなわち、図14Aと図14Bは同義の図である。
図14Aにおいて、時刻tにおける入力Xtが、RNNであるA930に入力され、時刻tにおいてYtを出力することを示している。時刻tは本発明のフェーズのカウンタLに相当する。矢印920は、隠れ状態のデータ(hidden state data)と呼ばれ、過去から現在に至るまでの一連の入力の影響を将来のRNNに与えるようにすることができるデータである。
図14Bは、時刻1におけるA931の入力がX1で出力がY1であり、入力X1の影響が、時刻2におけるA932に矢印921によって伝えられることを示している。時刻2におけるA932の入力はX2であり出力はY2である。出力Y2は、入力X2の影響だけでなく、矢印921を経由して入力X1の影響も受けることができる。時刻2に至るまでの入力X1およびX2の影響は、矢印922によって、時刻3のA933に伝えられる。時刻3の入力はX3で出力はY3である。出力Y3は、入力X3の影響だけでなく、矢印922を経由して入力X1及び入力X2の影響も受けることができる。時刻3に至るまでの入力X1、X2およびX3の影響は、矢印923により、さらに将来のRNNに伝えられていく。
このような性質を持つAIであるRNNを用いると、それぞれの実施形態において、各フェーズで出力されるプロットデータ及び制作データが、それ以前のフェーズで入力された一連のプロットデータ及び制作データの影響を受けるので、より自然なストーリ展開を持つ制作データで構成される作品が得られやすくなる。
したがって、このようなRNNを各実施形態に用いることは、より自然でより望ましい作品を得ることにつながる。
RNNの異なる使い方として、以下のような実施形態も可能である。
第1の学習済みモデルがRNNを内包して、例えば単語ごとに処理を行う構成であってもよい。この内包されるRNNを図14Bを使って説明すると、X1、X2、X3、・・・及びY1、Y2、Y3、・・・はそれぞれ1個の単語となる。Y1、Y2、Y3、・・・を並べたものがプロットデータとなり、第1の学習済みモデルから出力される。
同様に、第2の学習済みモデルがRNNを内包して、例えば単語ごとに処理を行う構成であってもよい。この内包されるRNNを図14Bを使って説明すると、X1、X2、X3、・・・及びY1、Y2、Y3、・・・はそれぞれ1個の単語となる。Y1、Y2、Y3、・・・を並べたものが制作データとなり、第2の学習済みモデルから出力される。
<ハードウエア構成>
図15は、各実施例を実現するためのコンピュータのハードウエア構成を示す。
ハードウエア構成は、CPU501、本実施形態のプログラム及びデータが格納されるROM502、RAM503、ネットワークインターフェース505、入力インタフェース506、表示インタフェース507、外部メモリインタフェース508を有する。これらのハードウエアは、バス504によって相互に接続されている。
ネットワークインターフェース505は、ネットワーク515に接続されている。ネットワーク515には、有線LAN、無線LAN、インターネット、電話網などがある。入力インタフェース506には、入力部516が接続されている。表示インタフェース507には、表示部517が接続される。外部メモリインタフェース508には、記憶媒体518が接続される。記憶媒体518は、RAM、ROM、CD-ROM、DVD-ROM、ハードディスク、メモリーカード、USBメモリ等であってもよい。
上述の実施形態を実現するプログラム及び方法は、図15に示されるハードウエア構成を備えるコンピュータにより実行され得る。
本明細書及び図面に開示された動作フローの各ステップは、矛盾の無い限り順番を入れ換えて実行されてもよい。また、複数のステップが同時に実行されてもよい。各ステップは、メモリに記憶されたプログラムを実行することにより実現されてもよい。また各ステップの一部は、オペレーティングシステム或いはハードウエアにより実現されてもよい。また、各ステップが全て実行される必要はなく、特定のステップの実行が省略されてもよい。また、1つのステップが複数回実行されてもよい。また、複数のステップが、繰り返し実行されてもよい。
プログラムは、非一時的(non-transitory)な記憶媒体に格納され得る。非一時的なメモリとしては、RAM,ROM、USBメモリ、DVDなどが挙げられるが、これらに限定されるものではない。
また、各実施形態は、ハードウエアの装置としてインプリメントされ得る。
また、各実施形態は排他的なものではなく、矛盾の無い限り組み合わせることができる。
すなわち、請求項に記載された方法又はプログラムの順序とは異なる順序で実行される技術、或いは一部の処理が同時に実行される技術も、当該請求項に規定された発明の技術的範囲に属することは言うまでもない。
1000 モデル
1002 補正ブロック
1010 モデル
1012 補正/選択ブロック
1020 モデル
1021 ゲート
1022 補正/選択ブロック
1030 モデル
1031 教師データ
1043 ジェネレータ
1044 ディスクリミネータ
1053 ジェネレータ
1054 ディスクリミネータ
2000 モデル
2002 補正ブロック
2010 モデル
2012 補正/選択ブロック
2020 モデル
2021 ゲート
2022 補正/選択ブロック
2030 モデル
2031 教師データ
2043 ジェネレータ
2044 ディスクリミネータ
2053 ジェネレータ
2054 ディスクリミネータ

Claims (18)

  1. 作品を作成し及び/又は編集する方法であって、
    当該方法は、
    第1の学習済みモデルが、少なくとも、L番目の制作データに基づく第1のデータと、L番目のプロットデータに基づくデータと、を取得する、第1の取得するステップと、
    前記第1の学習済みモデルが、少なくとも、L+1番目のプロットデータを出力する、第1の出力するステップと、
    第2の学習済みモデルが、少なくとも、前記L番目の制作データに基づく第2のデータと、前記L+1番目のプロットデータに基づくデータと、を取得する、第2の取得するステップと、
    前記第2の学習済みモデルが少なくとも、L+1番目の制作データを出力する、第2の出力するステップと、
    を含むL番目のフェーズを有し、
    前記L番目のフェーズは、
    オペレータによる補正を前記オペレータから受け取ることができるステップをさらに有し、
    前記L番目の制作データに基づく第1のデータ、前記L番目のプロットデータに基づくデータ、前記L番目の制作データに基づく第2のデータ、及び前記L+1番目のプロットデータに基づくデータ、のうちの少なくとも1つのデータは、前記オペレータによる前記補正を含むことができるデータであり、
    当該方法は、コンピュータが、前記L番目のフェーズの前記L+1番目のプロットデータと、前記L+1番目の制作データとが、LがインクリメントされたフェーズであるL+1番目のフェーズに用いられるようにして、Lが1からNとなるまで前記フェーズを順に繰り返し実行することで、一連のN+1個の前記制作データに基づくデータを持つ作品を作成し及び/又は編集する方法であって、
    前記第1の学習済みモデルは、少なくとも、既存の作品に基づくP個の連続した学習用制作データと、前記P個の連続した学習用制作データの各々に対応するP個の連続した学習用プロットデータと、を教師データとして、少なくとも、Q番目(1≦Q<P)の前記学習用制作データと、Q番目の前記学習用プロットデータと、が入力された際に、Q+1番目の前記学習用プロットデータに近いデータが出力されるように、第1の機械学習処理が施され、
    前記第2の学習済みモデルは、少なくとも、前記Q番目の学習用制作データと、前記Q+1番目の学習用プロットデータと、が入力された際に、Q+1番目の学習用制作データに近いデータが出力されるように、第2の機械学習処理が施された、
    作品を作成し及び/又は編集する方法。
  2. 前記第1の学習済みモデル及び前記第2の学習済みモデルの少なくとも一方は、更に既存の作品に基づく特徴パラメータが教師データとして入力されることで、前記第1の機械学習処理及び/又は前記第2の機械学習処理が施され、
    前記特徴パラメータを教師データとする前記第1の機械学習処理が施された前記第1の学習済みモデルの前記第1の取得するステップ及び/又は前記特徴パラメータを教師データとする前記第2の機械学習処理が施された前記第2の学習済みモデルの前記第2の取得するステップは、少なくとも1回はオペレータから特徴パラメータを更に取得する、
    請求項に記載の作品を作成し及び/又は編集する方法。
  3. 前記第1の学習済みモデル及び前記第2の学習済みモデルの少なくとも一方は、更に既存の作品に基づくキャラクタの属性が教師データとして入力されることで、前記第1の機械学習処理及び/又は前記第2の機械学習処理が施され、
    前記キャラクタの属性を教師データとする前記第1の機械学習処理が施された前記第1の学習済みモデルの前記第1の取得するステップ及び/又は前記キャラクタの属性を教師データとする前記第2の機械学習処理が施された前記第2の学習済みモデルの前記第2の取得するステップは、少なくとも1回はオペレータからキャラクタの属性を更に取得する、
    請求項1又は2に記載の作品を作成し及び/又は編集する方法。
  4. 前記第1の出力するステップは、複数のL+1番目のプロットデータを出力する、
    請求項1ないしのうちいずれか1項に記載の作品を作成し及び/又は編集する方法。
  5. 前記第1の出力するステップは、前記複数のL+1番目のプロットデータのそれぞれに対応する推奨度をさらに出力する、
    請求項に記載の作品を作成し及び/又は編集する方法。
  6. 前記L番目のフェーズは、
    前記第1の出力するステップが出力した前記複数のL+1番目のプロットデータのうちの1つを、オペレータに選択させることができるステップをさらに有し、
    前記L番目のフェーズの前記第2の取得するステップ及び前記L+1番目のフェーズの前記第1の取得するステップは、前記選択されたL+1番目のプロットデータに基づくデータを取得することができる、
    請求項又はに記載の作品を作成し及び/又は編集する方法。
  7. 前記第1の出力するステップが出力した前記複数のL+1番目のプロットデータのうちの1つを、オペレータに選択させることができるステップは、
    前記複数のL+1番目のプロットデータのうち対応する推奨度が高いほうから所定の個数のL+1番目のプロットデータを、オペレータに選択させるようにオペレータに提示するステップを含む、
    請求項に記載の作品を作成し及び/又は編集する方法。
  8. 前記第1の出力するステップが出力した前記複数のL+1番目のプロットデータのうちの1つを、オペレータに選択させることができるステップは、
    前記複数のL+1番目のプロットデータのうち、対応する推奨度が所定の値よりも高いL+1番目のプロットデータの個数が複数である場合は、前記対応する推奨度が所定の値よりも高いプロットデータを、オペレータに選択させるようにオペレータに提示するステップを含む、
    請求項に記載の作品を作成し及び/又は編集する方法。
  9. 前記第2の出力するステップは、複数のL+1番目の制作データを出力する、
    請求項1ないしのうちいずれか1項に記載の作品を作成し及び/又は編集する方法。
  10. 前記第2の出力するステップは、前記複数のL+1番目の制作データのそれぞれに対応する推奨度をさらに出力する、
    請求項に記載の作品を作成し及び/又は編集する方法。
  11. 前記L番目のフェーズは、
    前記第2の出力するステップが出力した前記複数のL+1番目の制作データのうちの1つを、オペレータに選択させることができるステップを、さらに有し、
    前記L+1番目のフェーズにおいて、
    前記第1の取得するステップが取得するL+1番目の制作データに基づく第1のデータは、前記選択されたL+1番目の制作データが用いられ、かつ、前記第2の取得するステップが取得するL+1番目の制作データに基づく第2のデータは、前記選択されたL+1番目の制作データが用いられる、
    請求項又は10に記載の作品を作成し及び/又は編集する方法。
  12. 前記第2の出力するステップが出力した前記複数のL+1番目の制作データのうちの1つを、オペレータに選択させることができるステップは、
    前記複数のL+1番目の制作データのうち、対応する推奨度が高いほうから所定の個数のL+1番目の制作データを、オペレータに選択させるようにオペレータに提示するステップを含む、
    請求項11に記載の作品を作成し及び/又は編集する方法。
  13. 前記第2の出力するステップが出力した前記複数のL+1番目の制作データのうちの1つを、オペレータに選択させることができるステップは、
    前記複数のL+1番目の制作データのうち、対応する推奨度が所定の値よりも高いL+1番目の制作データの個数が複数である場合は、前記対応する推奨度が所定の値よりも高い制作データを、オペレータに選択させるようにオペレータに提示するステップを含む、
    請求項11に記載の作品を作成し及び/又は編集する方法。
  14. 前記特徴パラメータは、
    作品のストーリ展開の特徴、作品の時代、作品の表現の作風、作品の対象とする読者の年齢、作品の対象とする読者の性別、及び作品のジャンルのうちの少なくともいずれかの観点における指標を含む、
    請求項に記載の作品を作成し及び/又は編集する方法。
  15. 前記キャラクタの属性は、
    性別、服装、性格、年齢、体格、機敏性、及び特技のうちの少なくともいずれかの観点における指標を含む、
    請求項に記載の作品を作成し及び/又は編集する方法。
  16. 前記L番目のフェーズの前記第1の出力するステップにおいて、前記第1の学習済みモデルがL+1番目の第1の状態データをさらに出力し、
    前記L+1番目のフェーズの前記第1の取得するステップにおいて、前記第1の学習済みモデルが前記L+1番目の第1の状態データをさらに取得する、請求項1ないし15のうちいずれか1項に記載の作品を作成し及び/又は編集する方法。
  17. 前記L番目のフェーズの前記第2の出力するステップにおいて、前記第2の学習済みモデルがL+1番目の第2の状態データをさらに出力し、
    前記L+1番目のフェーズの前記第2の取得するステップにおいて、前記第2の学習済みモデルが前記L+1番目の第2の状態データをさらに取得する、
    請求項1ないし16のうちいずれか1項に記載の作品を作成し及び/又は編集する方法。
  18. 請求項1ないし17のうちいずれか1項に記載の方法をコンピュータに実行させるプログラム。
JP2021129982A 2021-08-06 2021-08-06 作品を作成し及び/又は編集する方法及びプログラム Active JP7058851B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021129982A JP7058851B1 (ja) 2021-08-06 2021-08-06 作品を作成し及び/又は編集する方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021129982A JP7058851B1 (ja) 2021-08-06 2021-08-06 作品を作成し及び/又は編集する方法及びプログラム

Publications (2)

Publication Number Publication Date
JP7058851B1 true JP7058851B1 (ja) 2022-04-25
JP2023023978A JP2023023978A (ja) 2023-02-16

Family

ID=81378483

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021129982A Active JP7058851B1 (ja) 2021-08-06 2021-08-06 作品を作成し及び/又は編集する方法及びプログラム

Country Status (1)

Country Link
JP (1) JP7058851B1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7565419B1 (ja) 2023-09-05 2024-10-10 株式会社コロプラ プログラム及び情報処理システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020035019A (ja) 2018-08-27 2020-03-05 大日本印刷株式会社 情報処理装置、情報処理方法及びプログラム
JP2020106910A (ja) 2018-12-26 2020-07-09 株式会社日立ソリューションズ マンガ生成システムおよびマンガ生成方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020035019A (ja) 2018-08-27 2020-03-05 大日本印刷株式会社 情報処理装置、情報処理方法及びプログラム
JP2020106910A (ja) 2018-12-26 2020-07-09 株式会社日立ソリューションズ マンガ生成システムおよびマンガ生成方法

Also Published As

Publication number Publication date
JP2023023978A (ja) 2023-02-16

Similar Documents

Publication Publication Date Title
JP6799574B2 (ja) 音声対話の満足度の確定方法及び装置
KR20210110620A (ko) 상호작용 방법, 장치, 전자 장치 및 저장 매체
CN110782900B (zh) 协作ai讲故事
CN106653052A (zh) 虚拟人脸动画的生成方法及装置
US10217454B2 (en) Voice synthesizer, voice synthesis method, and computer program product
US9805493B2 (en) Social identity models for automated entity interactions
CN108470188B (zh) 基于图像分析的交互方法及电子设备
US20150187112A1 (en) System and Method for Automatic Generation of Animation
JP6783479B1 (ja) 動画生成プログラム、動画生成装置及び動画生成方法
Fernández-Baena et al. Gesture synthesis adapted to speech emphasis
CN112750187A (zh) 一种动画生成方法、装置、设备及计算机可读存储介质
JP7058851B1 (ja) 作品を作成し及び/又は編集する方法及びプログラム
Charalambous et al. Audio‐driven emotional speech animation for interactive virtual characters
Salge et al. Generative design in Minecraft: Chronicle challenge
CN114007064B (zh) 特效同步评估方法、装置、设备及存储介质
Jucan sys. begin to sys. exit: Software Performs A Piece of Work
WO2024060873A1 (zh) 动态影像的生成方法和装置
Antoun et al. Generating natural language retellings from Prom Week play traces
Hollister et al. The campfire storytelling system–automatic creation and modification of a narrative
JP6222465B2 (ja) アニメーション生成装置、アニメーション生成方法およびプログラム
CN114928755B (zh) 一种视频制作方法、电子设备及计算机可读存储介质
KR102254865B1 (ko) 이야기 생성을 위한 카드세트 및 이를 이용한 이야기 생성 방법
CN113838445B (zh) 歌曲创作方法及相关设备
WO2024224928A1 (ja) 情報処理装置及び情報処理方法、並びにコンピュータプログラム
KR102616058B1 (ko) 음성 기록을 시각화하여 재연하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210806

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220405

R150 Certificate of patent or registration of utility model

Ref document number: 7058851

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350