JP7058851B1 - 作品を作成し及び/又は編集する方法及びプログラム - Google Patents
作品を作成し及び/又は編集する方法及びプログラム Download PDFInfo
- Publication number
- JP7058851B1 JP7058851B1 JP2021129982A JP2021129982A JP7058851B1 JP 7058851 B1 JP7058851 B1 JP 7058851B1 JP 2021129982 A JP2021129982 A JP 2021129982A JP 2021129982 A JP2021129982 A JP 2021129982A JP 7058851 B1 JP7058851 B1 JP 7058851B1
- Authority
- JP
- Japan
- Prior art keywords
- data
- plot
- trained model
- production data
- work
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004519 manufacturing process Methods 0.000 claims abstract description 236
- 238000000034 method Methods 0.000 claims abstract description 117
- 238000012937 correction Methods 0.000 claims description 52
- 238000012545 processing Methods 0.000 claims description 23
- 238000010801 machine learning Methods 0.000 claims description 12
- 238000011161 development Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 abstract description 6
- 238000013473 artificial intelligence Methods 0.000 description 37
- 238000012549 training Methods 0.000 description 16
- 238000013459 approach Methods 0.000 description 12
- 241000556720 Manga Species 0.000 description 9
- 230000001364 causal effect Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 241001481828 Glyptocephalus cynoglossus Species 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 1
- 206010039740 Screaming Diseases 0.000 description 1
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
Abstract
Description
物語、マンガなどを作成するには、物語又は絵などを作成する文章力や絵を作成するスキルが必要である。
思い通りに作品を作成したり、読者に対して興味を抱かせ訴えかける作品を制作したりするには、卓越した能力が必要とされる。
まず、本明細書において用いられる用語の定義を説明する。
本明細書において、作品とは、小説、物語、マンガ、映画、絵本等の創作物等を意味する。作品は、二次元的又は三次元的なイメージ、テキストの集合、時間的要素を含む映像、音声などを含み、これらの組合せたものを含み得る。
プロット(Plot)とは、文章及び絵などの作品の部分(制作データ(制作データについては後述する。))における構想、筋書き、筋道を意味する。プロットは、狭い意味では、「・・・が・・・をした(A)。だから、・・・をした(B)。」というような文章における「だから」で繋がる原因(A)と、結果(B)のことをいう。プロットが連鎖して記述されることで、物語などのあらすじが構築される。プロットは、別の表現を用いれば、因果関係を意識して出来事を表現した短文と定義することができる。
なお、プロットは、広義には、本などの目次、要約の要素等を指す。
プロットは、文字列で表現され得る。個々のプロットの文字列をプロットデータという。
1つの制作データとは、1つのプロットを具現化した作品の部分をいう。
制作データを時系列的に並べることで、小説、物語、絵本、マンガ、映画などの作品の全体(或いは部分)が出来上がる。
プロットとプロットとの区切りをプロットポイントという。また、プロットポイントどうしで区切られる部分をプロットブロックという。プロットポイントで区切られる1つのプロットブロックには、1つの制作データとその制作データに対応するプロットデータが含まれる。
図2A及び図2Bは、実施形態1を実現する第1の学習済みモデルと第2の学習済みモデルを示している。
第1の学習済みモデル1000には、オペレータから受け取った作品の特徴パラメータ及び/又はキャラクタの属性が、入力されてもよい。
キャラクタの属性は、第1の学習済みモデルが、学習を行う際に、他の教師データと併せてモデルに入力してもよい。他の実施形態における学習済みモデルについても同様である。
第2の学習済みモデル2000には、オペレータから受け取った作品の特徴パラメータ及び/又はキャラクタの属性が、入力されてもよい。
図3を用いて、図2に示された実施形態1の動作を以下に説明する。図2においてL=1の場合から順に説明する。
例示として、図3におけるプロットブロック1の制作データ110aとプロットデータ111とを用いる場合を想定する。これらがそのまま図2Aの第1の学習済みモデル1000に入力されてもよいし、これらにオペレータが補正を加えたものが第1の学習済みモデル1000に入力されてもよい。
すると、図2Aの第1の学習済みモデル1000が、例えば2番目のプロットデータとして、以下のプロットデータを出力したとする。
が出力されたとする。
[補正された1番目のプロットデータ120pd]=「現れたのはチビドラゴン」「巨大なドラゴンに立ち向かおうとする」
この補正された2番目のプロットデータ120pdと、1番目の制作データ110aが、図2Bの第2の学習済みモデル2000に入力される。
第2の学習済みモデルは、以下の2番目の制作データを出力したとする。
以上で、L=1番目のフェーズが終了する。以下、順を追って、後続するフェーズについて説明する。
図3におけるプロットブロック2のプロットデータ120pd及び制作データ120aが、図2Aの第1の学習済みモデル1000に入力される。なお、この場合、オペレータによる補正がなされる前の制作データが第1の学習済みモデル1000に入力されてもよい。
[3番目のプロットデータ]=「助けようとする」「駆け出し」「魔法など使えっこない」
が出力されたとする。
図3のプロットブロック3に示されるように、オペレータは、出力された上記3番目のプロットデータに補正を加えなかったとする。
この場合、補正されていない3番目のプロットデータ130pdと、2番目の制作データ120aが、図2Bの第2の学習済みモデル2000に入力される。
第2の学習済みモデルは、以下の3番目の制作データを出力したとする。
以上で、L=2番目のフェーズが終了する。
更に、第4のフェーズでは、プロットブロック5のプロットデータ150pd及び制作データ150aが得られる。
得られた制作データ110a、120a、130a、140a、及び150aを連結して、以下の作品が得られる。
『洞窟の奥から壁を破って出てきたのは、巨大なドラゴンだった!叫ぶ主人公たちはどうしたらいいかわからず、パニック状態だった!
しかし、そんな主人公たちの前に現れたのは、チビドラゴンだった。チビドラゴンは主人公たちの前に立ちはだかり、巨大なドラゴンに立ち向かおうとする。
「危ない!」主人公たちは魔法でチビドラゴンを助けようとするが、そこは駆け出しの魔女っ娘の魔法、ドラゴンに対抗できる魔法など使えっこない。
「もうだめだ・・・。」巨大なドラゴンは炎を吐きかけ、主人公たちがあきらめかけたその瞬間、ドラゴンはチビドラゴンに向かい、突然話しかけてきた。
「こんなところで何しているの!心配したわよ!」なんとドラゴンとチビドラゴンは親子のようだ。』
このようにして、実施形態1によって、オペレータの負担を軽減させつつ、適切な制作データを得ることができる。
L=1のフェーズにおいて、第1の学習済みモデル1000に、1番目のプロットデータとしてオペレータが創作したプロットデータを入力し、1番目の制作データとしてブランクデータを入力する。
すると、第1の学習済みモデル1000から、2番目のプロットデータとして、1番目のプロットデータとほぼ同一内容のプロットデータが出力される。
このような挙動をするように、第1のモデルおよび第2のモデルを学習させる方法については、後の学習方法についての説明の中で述べる。
なお、キャラクタが複数存在する場合には、キャラクタ毎にキャラクタの属性を指定できるようにすることが望ましい。
[ステップS310]ステップS310とステップS320との間の各ステップを、L=1からNまで繰り返し実行する(Lは自然数)。なお、Nは、あらかじめ定めておかなくてもよい。オペレータが処理を終了してもよいと判断した段階で処理を終了してもよいし、全ての作品データが得られた段階で、処理を終了してもよい。
[ステップS320]L<Nの場合には、Lをインクリメントして、ステップS312に戻る。L=Nの場合は、処理を終了する。
以上の処理を繰り返すことによって、オペレータの創作意図が適切に反映された複数の制作データが得られる。得られた制作データが結合されることで、作品が得られる。
図7は、実施形態2で用いられる学習済みモデルの例を示す。
図7において、図2と同じ部分については、図2の説明との重複を避けるため、ここでは説明を省略する点に留意すべきである。図7Aは、K個のL+1番目のプロットデータを出力する学習済みモデルを示す。図7Bは、M個のL+1番目の制作データを出力する学習済みモデルを示す。
以下の説明(実施形態2及び実施形態3)では、学習済みモデルの出力が複数個となる例を挙げるが、上記のように、複数回の処理実行により複数個の出力を得る実施形態も可能であるし、また、1回の処理実行により複数個の出力を得る実施形態も可能である。
図8は、実施形態3を示している。図8Aは、実施形態3に用いられる第1の学習済みモデルを示す。図8Bは、実施形態3に用いられる第2の学習済みモデルを示す。
補正/選択ブロック1022の動作は、図7における補正/選択ブロック1012と同じであるため、説明を省略する。
図8Bに示すM1個の制作データを出力する第2の学習済みモデル2020、ゲート2021及び補正選択ブロック2022についても、図8Aに示す第1の学習済みモデル1020、ゲート1021及び補正/選択ブロック1022の説明が当てはまるため、説明を省略する。
図9Aは、第1の学習済みモデルが、少なくとも、L+1番目のプロットデータを出力するフローである。
[ステップS1112]推奨度が所定の値よりも高いL+1番目のプロットデータが抽出される。なお、推奨度が所定の値よりも高いL+1番目のプロットデータが無い場合には、推奨度が高いものから順に1個以上のL+1番目のプロットデータを抽出してもよい。
[ステップS1113]抽出されたプロットデータが1つかがチェックされる。このチェックが肯定的(Yes)であれば、処理はステップS1116に進む。このチェックが否定的(No)であれば、処理はステップS1114に進む。
[ステップS1114]複数のL+1番目のプロットデータがオペレータに提示され、そのうちの1つが、オペレータによって選択される。
[ステップS1116]選択されたL+1番目のプロットデータ又は唯一のプロットデータに対する補正が、オペレータから受け取られる。
以上の処理を行うことによって、(選択され補正された)L+1番目のプロットデータを取得することができる。
なお、以上の処理の過程で、補正をオペレータから受け取らない場合も許容される。
図9Bは、第2の学習済みモデルが、少なくとも、L+1番目の制作データを出力するフローである。
[ステップS1122]推奨度が所定の値よりも高いL+1番目の制作データが抽出される。なお、推奨度が所定の値よりも高いL+1番目の制作データが無い場合には、推奨度が高いものから順に1個以上のL+1番目の制作データを抽出してもよい。
[ステップS1123]抽出された制作データが1つかがチェックされる。このチェックが肯定的(Yes)であれば、処理はステップS1126に進む。このチェックが否定的(No)であれば、処理はステップS1124に進む。
[ステップS1124]複数のL+1番目の制作データがオペレータに提示され、そのうちの1つが、オペレータによって選択される。
[ステップS1126]選択されたL+1番目の制作データ又は唯一の制作データに対する補正が、オペレータから受け取られる。
以上の処理を行うことによって、(選択され補正された)L+1番目の制作データを取得することができる。
なお、以上の処理の過程で、補正をオペレータから受け取らない場合も許容される。
図10Aは、第1の学習済みモデルが、少なくとも、L+1番目のプロットデータを出力するフローである。
[ステップS1152]推奨度が高い方から所定の個数のL+1番目のプロットデータが、オペレータに提示される。
[ステップS1154]複数のL+1番目のプロットデータのうちの1つが、オペレータによって選択される。なお、上記の所定の個数が1の場合には、1つのプロットデータが提示されるので、このステップは実行されなくてよい。
[ステップS1156]選択されたL+1番目のプロットデータに対する補正が、オペレータから受け取られる。
以上の処理を行うことによって、(選択され補正された)L+1番目のプロットデータを取得することができる。
なお、以上の処理の過程で、補正をオペレータから受け取らない場合も許容される。
図10Bは、第2の学習済みモデルが、少なくとも、L+1番目の制作データを出力するフローである。
[ステップS1162]推奨度が高い方から所定の個数のL+1番目の制作データが、オペレータに提示される。
[ステップS1164]複数のL+1番目の制作データのうちの1つが、オペレータによって選択される。なお、上記の所定の個数が1の場合には、1つの制作データが提示されるので、このステップは実行されなくてよい。
[ステップS1166]選択されたL+1番目の制作データに対する補正が、オペレータから受け取られる。
以上の処理を行うことによって、(選択され補正された)L+1番目の制作データを取得することができる。
なお、以上の処理の過程で、補正をオペレータから受け取らない場合も許容される。
教師データとして、既存の作品をプロットポイントで区切られる複数個(P個とする)のプロットブロックに切り分けて、各プロットブロックのプロットデータと制作データを抽出したものを用意する。切り分けられた各プロットブロックから、プロットデータと制作データを人間が作成してもよい。或いは、大量の既存の作品データと、この作品データから人間が抽出したプロットデータ及び制作データと、を教師データとしてAIを学習させることで、「作品をプロットブロックに切り分けて、各プロットブロックのプロットデータと制作データを抽出する」AIの学習済みモデルを予め構築しておき、利用することもできる。このようにして複数の既存の作品の各々について、一連のプロットブロックのプロットデータと制作データとを用意するとよい。
図11は、AIの学習プロセスを示す図である。図11Aは、第1の学習済みモデルを構築する学習プロセス、図11Bは、第2の学習済みモデルを構築する学習プロセスを示す。
教師データに用いる作品は、テキストのみを含む作品に限られない。教師データに用いる作品は、絵、マンガ、映像、音声などの作品であってもよい。
AIの学習プロセスで用いる教師データには、作品の特徴パラメータ及び/又は作品に含まれるキャラクタの属性を含ませることができる。
学習のさせ方は、図11Aと同様であるので、説明を省略する。
この追加により、第1のAIの教師データには、次のようなデータが含まれる。
入力(制作データ): 0番目の制作データ(即ちブランクデータ)
出力(プロットデータ): 1番目のプロットデータ
入力(プロットデータ): 1番目のプロットデータ
入力(制作データ): 0番目の制作データ(即ちブランクデータ)
出力(制作データ): 1番目の制作データ
図12Aは、GANを用い、第1の学習済みモデルから推奨度もまた出力させるようにするAIの学習プロセスの例を示す。図12Bは、GANを用い、第2の学習済みモデルから推奨度もまた出力させるようにするAIの学習プロセスの例を示す。
図12Aを用いて、第1の学習済みモデルから推奨度もまた出力させるようにするAIの学習プロセスを以下に説明する。
教師データとして、本物のデータと偽物のデータを用意する。本物のデータとは、人間が作成した作品から抽出した、Q番目のプロットデータ、Q番目の制作データ、及びQ+1番目のプロットデータである。
ジェネレータ1043から出力されたQ+1番目のプロットデータと、その出力を得る処理においてジェネレータ1043に入力されたQ番目のプロットデータと、Q番目の制作データとを、ディスクリミネータ1044に入力し、ディスクリミネータ1044から出力される真贋度1aの値が真(例えば、1.0)に近づくように、ジェネレータ1043を学習させる。同時に、ジェネレータ1043から出力される推奨度1bの値がディスクリミネータ1044から出力される真贋度1aの値に近づくように、即ち推奨度と真贋度の差が0に近づくように、ジェネレータ1043を学習させる。
以上のように学習させることによって、ジェネレータ1043が第1の学習済みモデルとなる。
第2の学習済みモデルの学習プロセスは、図12Aと比較すると、入力がQ番目ではなくQ+1番目のプロットデータである点と、出力がプロットデータではなく制作データである点と、で相違している。したがって、上記の相違点以外は、図12Aにおいて説明した学習プロセスと同様の学習プロセスをジェネレータ2043及びディスクリミネータ2044に同様に適用することができるため、説明を省略する。
この学習プロセスにより、「ディスクリミネータが真に近いと判断するような出力」の推奨度が高くなるように学習される。
学習済みモデルに入力する乱数の値を変えて、処理を複数回実行することにより、複数の出力と複数の出力の各々に対応する推奨度が得られる。
このようにして得られた推奨度をオペレータに提示することによって、オペレータは、既存の作品の傾向に近い、より自然なプロットの展開の選択肢を選択することができる。
以上の実施形態では、ジェネレータからプロットデータ又は制作データと推奨度が出力されるので、得られた学習済みモデルは実施形態3に用いるのに好適である。
一方、変形実施形態として、ジェネレータからプロットデータ又は制作データのみを出力し、推奨度を出力しない実施も可能である。その場合、ジェネレータの学習においては、ディスクリミネータからの出力が真(例えば、1.0)に近づくことのみを目標とする。この実施形態から得られた学習済みモデルは、実施形態2に用いるのに好適である。
また、更なる変形実施形態として、学習済みのジェネレータと学習済みのディスクリミネータとを合わせて、第1の学習済みモデル又は第2の学習済みモデルとして利用する実施形態も可能である。
以下、第1の学習済みモデルを例として説明する。この実施形態では、ジェネレータは推奨度を出力しない。学習済みのジェネレータと学習済みのディスクリミネータとを合わせたものを第1の学習済みモデルとする。第1の学習済みモデルへの入力は、学習済みのジェネレータに入力される。学習済みのジェネレータから出力されたプロットデータを、第1の学習済みモデルの出力とする。更に、このプロットデータを学習済みのディスクリミネータに入力して、出力された真贋度を推奨度とする。この実施形態は推奨度を得ることができるので、実施形態3に用いるのに好適である。
図13Aは、GANを用い、定められた個数のプロットデータと推奨度の対を出力する第1の学習済みモデルを得るための、学習プロセスの例を示す。図13Bは、GANを用い、定められた個数の制作データと推奨度の対を出力する第2の学習済みモデルを得るための、学習プロセスの例を示す。
図13Aは、定められた個数のプロットデータと推奨度の対を出力する第1の学習済みモデルを得るための、学習プロセスの例を示す。
GANによる学習では、ジェネレータ1053とディスクリミネータ1044の二つのAIを交互に学習させる。
学習データとして、本物のデータと偽物のデータを用意する。
本物のデータとは、人間が制作した作品から抽出された、Q番目のプロットデータ、Q+1番目のプロットデータ及びQ番目の制作データである。
一方、偽物のデータとは、ジェネレータ1053から出力されたQ+1番目のプロットデータと、その出力を得る処理においてジェネレータ1053に入力されたQ番目のプロットデータと、Q番目の制作データとである。ジェネレータ1053からは複数個のプロットデータが出力されるので、その中からランダムに選んだ1個を使用する。ジェネレータ1053に入力するQ番目のプロットデータは、1つ前のフェーズでジェネレータ1053が出力したものをそのまま用いても良いし、オペレータによる補正を想定した加工が施されたものであっても良い。また、ジェネレータ1053に入力されるQ番目の制作データは、1つ前のフェーズで制作データを生成したAIが出力したものをそのまま用いてもよいし、オペレータによる補正を想定した加工が施されたものであってもよい。
ジェネレータ1053から出力されたQ+1番目のプロットデータと、その出力を得る処理においてジェネレータ1053に入力されたQ番目のプロットデータと、Q番目の制作データとを、ディスクリミネータ1054に入力し、ディスクリミネータ1054から出力される真贋度3aの値が真(例えば、1.0)に近づくように、ジェネレータ1053を学習させる。同時に、ジェネレータ1053から出力される推奨度3bの値がディスクリミネータ1054から出力される真贋度3aの値に近づくように、即ち推奨度と真贋度の差が0に近づくように、学習させる。ジェネレータ1053は複数個(K個)の「プロットデータと推奨度の対」を出力するので、その中からランダムに選んだ1対を使用する。
また、これと同時に、「ジェネレータ1053から出力されるK個のQ+1番目のプロットデータが互いに似た内容にならない」ように学習させることが望ましい。
以上のように学習させることによって、ジェネレータ1053が第1の学習済みモデルとなる。
第2の学習済みモデルの学習プロセスは、図13Aと比較すると、入力がQ番目ではなくQ+1番目のプロットデータである点と、出力がプロットデータではなく制作データである点と、で相違している。したがって、上記の相違点以外は、図13Aにおいて説明した学習プロセスと同様の学習プロセスをジェネレータ2053及びディスクリミネータ2054に同様に適用することができるため、説明を省略する。
この学習プロセスにより、「ディスクリミネータが真に近いと判断するような出力」の推奨度が高くなるように学習される。
このようにして得られた推奨度をオペレータに提示することによって、オペレータは、既存の作品の傾向に近い、より自然なプロットの展開の選択肢を選択することができる。
以上の実施形態では、ジェネレータからプロットデータ又は制作データと推奨度が出力されるので、得られた学習済みモデルは実施形態3に用いるのに好適である。
一方、変形実施形態として、ジェネレータからプロットデータ又は制作データのみを出力し、推奨度を出力しない実施も可能である。その場合、ジェネレータの学習においては、ディスクリミネータからの出力が真(例えば、1.0)に近づくことのみを目標とする。この実施形態から得られた学習済みモデルは、実施形態2に用いるのに好適である。
また、更なる変形実施形態として、学習済みのジェネレータと学習済みのディスクリミネータとを合わせて、第1の学習済みモデル又は第2の学習済みモデルとして利用する実施形態も可能である。
以下、第1の学習済みモデルを例として説明する。この実施形態では、ジェネレータは推奨度を出力しない。学習済みのジェネレータと学習済みのディスクリミネータとを合わせたものを第1の学習済みモデルとする。第1の学習済みモデルへの入力は、学習済みのジェネレータに入力される。学習済みのジェネレータから出力されたプロットデータを、第1の学習済みモデルの出力とする。更に、このプロットデータを学習済みのディスクリミネータに入力して、出力された真贋度を推奨度とする。この実施形態は推奨度を得ることができるので、実施形態3に用いるのに好適である。
以上の各実施形態では、作品のストーリ展開における因果関係を考慮することが重要となる。すなわち、あるプロットブロックと次のプロットブロックとのストーリの連続性が、なるべく担保されるように実施形態を構築することが重要である。
上記の様なニーズに親和性があるAIの例としては、当業者に周知のRNN(Recurrent Neural Network)が挙げられる。
したがって、このようなRNNを各実施形態に用いることは、より自然でより望ましい作品を得ることにつながる。
RNNの異なる使い方として、以下のような実施形態も可能である。
第1の学習済みモデルがRNNを内包して、例えば単語ごとに処理を行う構成であってもよい。この内包されるRNNを図14Bを使って説明すると、X1、X2、X3、・・・及びY1、Y2、Y3、・・・はそれぞれ1個の単語となる。Y1、Y2、Y3、・・・を並べたものがプロットデータとなり、第1の学習済みモデルから出力される。
同様に、第2の学習済みモデルがRNNを内包して、例えば単語ごとに処理を行う構成であってもよい。この内包されるRNNを図14Bを使って説明すると、X1、X2、X3、・・・及びY1、Y2、Y3、・・・はそれぞれ1個の単語となる。Y1、Y2、Y3、・・・を並べたものが制作データとなり、第2の学習済みモデルから出力される。
図15は、各実施例を実現するためのコンピュータのハードウエア構成を示す。
ハードウエア構成は、CPU501、本実施形態のプログラム及びデータが格納されるROM502、RAM503、ネットワークインターフェース505、入力インタフェース506、表示インタフェース507、外部メモリインタフェース508を有する。これらのハードウエアは、バス504によって相互に接続されている。
上述の実施形態を実現するプログラム及び方法は、図15に示されるハードウエア構成を備えるコンピュータにより実行され得る。
また、各実施形態は、ハードウエアの装置としてインプリメントされ得る。
また、各実施形態は排他的なものではなく、矛盾の無い限り組み合わせることができる。
1002 補正ブロック
1010 モデル
1012 補正/選択ブロック
1020 モデル
1021 ゲート
1022 補正/選択ブロック
1030 モデル
1031 教師データ
1043 ジェネレータ
1044 ディスクリミネータ
1053 ジェネレータ
1054 ディスクリミネータ
2000 モデル
2002 補正ブロック
2010 モデル
2012 補正/選択ブロック
2020 モデル
2021 ゲート
2022 補正/選択ブロック
2030 モデル
2031 教師データ
2043 ジェネレータ
2044 ディスクリミネータ
2053 ジェネレータ
2054 ディスクリミネータ
Claims (18)
- 作品を作成し及び/又は編集する方法であって、
当該方法は、
第1の学習済みモデルが、少なくとも、L番目の制作データに基づく第1のデータと、L番目のプロットデータに基づくデータと、を取得する、第1の取得するステップと、
前記第1の学習済みモデルが、少なくとも、L+1番目のプロットデータを出力する、第1の出力するステップと、
第2の学習済みモデルが、少なくとも、前記L番目の制作データに基づく第2のデータと、前記L+1番目のプロットデータに基づくデータと、を取得する、第2の取得するステップと、
前記第2の学習済みモデルが少なくとも、L+1番目の制作データを出力する、第2の出力するステップと、
を含むL番目のフェーズを有し、
前記L番目のフェーズは、
オペレータによる補正を前記オペレータから受け取ることができるステップをさらに有し、
前記L番目の制作データに基づく第1のデータ、前記L番目のプロットデータに基づくデータ、前記L番目の制作データに基づく第2のデータ、及び前記L+1番目のプロットデータに基づくデータ、のうちの少なくとも1つのデータは、前記オペレータによる前記補正を含むことができるデータであり、
当該方法は、コンピュータが、前記L番目のフェーズの前記L+1番目のプロットデータと、前記L+1番目の制作データとが、LがインクリメントされたフェーズであるL+1番目のフェーズに用いられるようにして、Lが1からNとなるまで前記フェーズを順に繰り返し実行することで、一連のN+1個の前記制作データに基づくデータを持つ作品を作成し及び/又は編集する方法であって、
前記第1の学習済みモデルは、少なくとも、既存の作品に基づくP個の連続した学習用制作データと、前記P個の連続した学習用制作データの各々に対応するP個の連続した学習用プロットデータと、を教師データとして、少なくとも、Q番目(1≦Q<P)の前記学習用制作データと、Q番目の前記学習用プロットデータと、が入力された際に、Q+1番目の前記学習用プロットデータに近いデータが出力されるように、第1の機械学習処理が施され、
前記第2の学習済みモデルは、少なくとも、前記Q番目の学習用制作データと、前記Q+1番目の学習用プロットデータと、が入力された際に、Q+1番目の学習用制作データに近いデータが出力されるように、第2の機械学習処理が施された、
作品を作成し及び/又は編集する方法。 - 前記第1の学習済みモデル及び前記第2の学習済みモデルの少なくとも一方は、更に既存の作品に基づく特徴パラメータが教師データとして入力されることで、前記第1の機械学習処理及び/又は前記第2の機械学習処理が施され、
前記特徴パラメータを教師データとする前記第1の機械学習処理が施された前記第1の学習済みモデルの前記第1の取得するステップ及び/又は前記特徴パラメータを教師データとする前記第2の機械学習処理が施された前記第2の学習済みモデルの前記第2の取得するステップは、少なくとも1回はオペレータから特徴パラメータを更に取得する、
請求項1に記載の作品を作成し及び/又は編集する方法。 - 前記第1の学習済みモデル及び前記第2の学習済みモデルの少なくとも一方は、更に既存の作品に基づくキャラクタの属性が教師データとして入力されることで、前記第1の機械学習処理及び/又は前記第2の機械学習処理が施され、
前記キャラクタの属性を教師データとする前記第1の機械学習処理が施された前記第1の学習済みモデルの前記第1の取得するステップ及び/又は前記キャラクタの属性を教師データとする前記第2の機械学習処理が施された前記第2の学習済みモデルの前記第2の取得するステップは、少なくとも1回はオペレータからキャラクタの属性を更に取得する、
請求項1又は2に記載の作品を作成し及び/又は編集する方法。 - 前記第1の出力するステップは、複数のL+1番目のプロットデータを出力する、
請求項1ないし3のうちいずれか1項に記載の作品を作成し及び/又は編集する方法。 - 前記第1の出力するステップは、前記複数のL+1番目のプロットデータのそれぞれに対応する推奨度をさらに出力する、
請求項4に記載の作品を作成し及び/又は編集する方法。 - 前記L番目のフェーズは、
前記第1の出力するステップが出力した前記複数のL+1番目のプロットデータのうちの1つを、オペレータに選択させることができるステップをさらに有し、
前記L番目のフェーズの前記第2の取得するステップ及び前記L+1番目のフェーズの前記第1の取得するステップは、前記選択されたL+1番目のプロットデータに基づくデータを取得することができる、
請求項4又は5に記載の作品を作成し及び/又は編集する方法。 - 前記第1の出力するステップが出力した前記複数のL+1番目のプロットデータのうちの1つを、オペレータに選択させることができるステップは、
前記複数のL+1番目のプロットデータのうち対応する推奨度が高いほうから所定の個数のL+1番目のプロットデータを、オペレータに選択させるようにオペレータに提示するステップを含む、
請求項6に記載の作品を作成し及び/又は編集する方法。 - 前記第1の出力するステップが出力した前記複数のL+1番目のプロットデータのうちの1つを、オペレータに選択させることができるステップは、
前記複数のL+1番目のプロットデータのうち、対応する推奨度が所定の値よりも高いL+1番目のプロットデータの個数が複数である場合は、前記対応する推奨度が所定の値よりも高いプロットデータを、オペレータに選択させるようにオペレータに提示するステップを含む、
請求項6に記載の作品を作成し及び/又は編集する方法。 - 前記第2の出力するステップは、複数のL+1番目の制作データを出力する、
請求項1ないし8のうちいずれか1項に記載の作品を作成し及び/又は編集する方法。 - 前記第2の出力するステップは、前記複数のL+1番目の制作データのそれぞれに対応する推奨度をさらに出力する、
請求項9に記載の作品を作成し及び/又は編集する方法。 - 前記L番目のフェーズは、
前記第2の出力するステップが出力した前記複数のL+1番目の制作データのうちの1つを、オペレータに選択させることができるステップを、さらに有し、
前記L+1番目のフェーズにおいて、
前記第1の取得するステップが取得するL+1番目の制作データに基づく第1のデータは、前記選択されたL+1番目の制作データが用いられ、かつ、前記第2の取得するステップが取得するL+1番目の制作データに基づく第2のデータは、前記選択されたL+1番目の制作データが用いられる、
請求項9又は10に記載の作品を作成し及び/又は編集する方法。 - 前記第2の出力するステップが出力した前記複数のL+1番目の制作データのうちの1つを、オペレータに選択させることができるステップは、
前記複数のL+1番目の制作データのうち、対応する推奨度が高いほうから所定の個数のL+1番目の制作データを、オペレータに選択させるようにオペレータに提示するステップを含む、
請求項11に記載の作品を作成し及び/又は編集する方法。 - 前記第2の出力するステップが出力した前記複数のL+1番目の制作データのうちの1つを、オペレータに選択させることができるステップは、
前記複数のL+1番目の制作データのうち、対応する推奨度が所定の値よりも高いL+1番目の制作データの個数が複数である場合は、前記対応する推奨度が所定の値よりも高い制作データを、オペレータに選択させるようにオペレータに提示するステップを含む、
請求項11に記載の作品を作成し及び/又は編集する方法。 - 前記特徴パラメータは、
作品のストーリ展開の特徴、作品の時代、作品の表現の作風、作品の対象とする読者の年齢、作品の対象とする読者の性別、及び作品のジャンルのうちの少なくともいずれかの観点における指標を含む、
請求項2に記載の作品を作成し及び/又は編集する方法。 - 前記キャラクタの属性は、
性別、服装、性格、年齢、体格、機敏性、及び特技のうちの少なくともいずれかの観点における指標を含む、
請求項3に記載の作品を作成し及び/又は編集する方法。 - 前記L番目のフェーズの前記第1の出力するステップにおいて、前記第1の学習済みモデルがL+1番目の第1の状態データをさらに出力し、
前記L+1番目のフェーズの前記第1の取得するステップにおいて、前記第1の学習済みモデルが前記L+1番目の第1の状態データをさらに取得する、請求項1ないし15のうちいずれか1項に記載の作品を作成し及び/又は編集する方法。 - 前記L番目のフェーズの前記第2の出力するステップにおいて、前記第2の学習済みモデルがL+1番目の第2の状態データをさらに出力し、
前記L+1番目のフェーズの前記第2の取得するステップにおいて、前記第2の学習済みモデルが前記L+1番目の第2の状態データをさらに取得する、
請求項1ないし16のうちいずれか1項に記載の作品を作成し及び/又は編集する方法。 - 請求項1ないし17のうちいずれか1項に記載の方法をコンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021129982A JP7058851B1 (ja) | 2021-08-06 | 2021-08-06 | 作品を作成し及び/又は編集する方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021129982A JP7058851B1 (ja) | 2021-08-06 | 2021-08-06 | 作品を作成し及び/又は編集する方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7058851B1 true JP7058851B1 (ja) | 2022-04-25 |
JP2023023978A JP2023023978A (ja) | 2023-02-16 |
Family
ID=81378483
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021129982A Active JP7058851B1 (ja) | 2021-08-06 | 2021-08-06 | 作品を作成し及び/又は編集する方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7058851B1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7565419B1 (ja) | 2023-09-05 | 2024-10-10 | 株式会社コロプラ | プログラム及び情報処理システム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020035019A (ja) | 2018-08-27 | 2020-03-05 | 大日本印刷株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2020106910A (ja) | 2018-12-26 | 2020-07-09 | 株式会社日立ソリューションズ | マンガ生成システムおよびマンガ生成方法 |
-
2021
- 2021-08-06 JP JP2021129982A patent/JP7058851B1/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020035019A (ja) | 2018-08-27 | 2020-03-05 | 大日本印刷株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2020106910A (ja) | 2018-12-26 | 2020-07-09 | 株式会社日立ソリューションズ | マンガ生成システムおよびマンガ生成方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2023023978A (ja) | 2023-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6799574B2 (ja) | 音声対話の満足度の確定方法及び装置 | |
KR20210110620A (ko) | 상호작용 방법, 장치, 전자 장치 및 저장 매체 | |
CN110782900B (zh) | 协作ai讲故事 | |
CN106653052A (zh) | 虚拟人脸动画的生成方法及装置 | |
US10217454B2 (en) | Voice synthesizer, voice synthesis method, and computer program product | |
US9805493B2 (en) | Social identity models for automated entity interactions | |
CN108470188B (zh) | 基于图像分析的交互方法及电子设备 | |
US20150187112A1 (en) | System and Method for Automatic Generation of Animation | |
JP6783479B1 (ja) | 動画生成プログラム、動画生成装置及び動画生成方法 | |
Fernández-Baena et al. | Gesture synthesis adapted to speech emphasis | |
CN112750187A (zh) | 一种动画生成方法、装置、设备及计算机可读存储介质 | |
JP7058851B1 (ja) | 作品を作成し及び/又は編集する方法及びプログラム | |
Charalambous et al. | Audio‐driven emotional speech animation for interactive virtual characters | |
Salge et al. | Generative design in Minecraft: Chronicle challenge | |
CN114007064B (zh) | 特效同步评估方法、装置、设备及存储介质 | |
Jucan | sys. begin to sys. exit: Software Performs A Piece of Work | |
WO2024060873A1 (zh) | 动态影像的生成方法和装置 | |
Antoun et al. | Generating natural language retellings from Prom Week play traces | |
Hollister et al. | The campfire storytelling system–automatic creation and modification of a narrative | |
JP6222465B2 (ja) | アニメーション生成装置、アニメーション生成方法およびプログラム | |
CN114928755B (zh) | 一种视频制作方法、电子设备及计算机可读存储介质 | |
KR102254865B1 (ko) | 이야기 생성을 위한 카드세트 및 이를 이용한 이야기 생성 방법 | |
CN113838445B (zh) | 歌曲创作方法及相关设备 | |
WO2024224928A1 (ja) | 情報処理装置及び情報処理方法、並びにコンピュータプログラム | |
KR102616058B1 (ko) | 음성 기록을 시각화하여 재연하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210806 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210806 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220405 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220405 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7058851 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |