JP6656447B1 - 動画出力システム - Google Patents
動画出力システム Download PDFInfo
- Publication number
- JP6656447B1 JP6656447B1 JP2019061491A JP2019061491A JP6656447B1 JP 6656447 B1 JP6656447 B1 JP 6656447B1 JP 2019061491 A JP2019061491 A JP 2019061491A JP 2019061491 A JP2019061491 A JP 2019061491A JP 6656447 B1 JP6656447 B1 JP 6656447B1
- Authority
- JP
- Japan
- Prior art keywords
- voice
- deceased
- moving image
- sound
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims abstract description 44
- 230000008569 process Effects 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 35
- 230000008921 facial expression Effects 0.000 claims abstract description 10
- 230000008859 change Effects 0.000 claims abstract description 9
- 230000004397 blinking Effects 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims description 29
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 239000000284 extract Substances 0.000 claims description 11
- 230000014509 gene expression Effects 0.000 claims description 10
- 230000033001 locomotion Effects 0.000 claims description 10
- 238000010586 diagram Methods 0.000 abstract description 13
- 230000006870 function Effects 0.000 description 18
- 210000000214 mouth Anatomy 0.000 description 18
- 230000004044 response Effects 0.000 description 18
- 239000004973 liquid crystal related substance Substances 0.000 description 15
- 230000015572 biosynthetic process Effects 0.000 description 13
- 238000003786 synthesis reaction Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000002269 spontaneous effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 239000011521 glass Substances 0.000 description 4
- 210000004709 eyebrow Anatomy 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 210000001260 vocal cord Anatomy 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 240000002853 Nelumbo nucifera Species 0.000 description 1
- 235000006508 Nelumbo nucifera Nutrition 0.000 description 1
- 235000006510 Nelumbo pentapetala Nutrition 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
Description
(実施例1)
本例は、音声と共に動画を出力可能なデジタルポートレート1に関する例である。この内容について、図1〜図7を用いて説明する。
動画出力システムの一例をなすデジタルポートレート1は、音声付の動画による故人の遺影として利用される。デジタルポートレート1は、遺影の故人が参列者の問掛けに受け答えする高機能の出力装置として機能する。
故人情報記憶部240は、例えば、故人に関わる以下の各情報を記憶している。
(1.1)故人の静止画:予め撮影された故人の静止画。
(1.2)故人の音声データ:予め録音された故人の音声データ。
(1.3)故人の声色情報:故人の声色を特定する声色情報。
(1.4)故人の3次元モデルデータ:故人の静止画に基づく3次元モデル(ワイヤフレームモデル)のデータ。
(1.5)故人の情報:故人の趣味や好物や交友関係や姻戚関係等の情報。故人と交友関係や姻戚関係を有する人物の顔画像や個人情報などを、故人の情報に含めることも良い。なお、故人の情報は、オペレータによる操作に応じて適宜、参照可能に構成しておくと良い。故人の情報があれば、オペレータが参列者の問掛けに対してより的確に対応できる。
故人モデル化部201は、顔の特徴点を抽出する特徴点抽出部、3次元モデル生成部により構成されている。
(2.1)特徴点抽出部
特徴点抽出部は、故人の静止画の顔領域について、目、鼻、唇、眉などの特徴点FP(図4参照。)を抽出する特徴点抽出処理(画像処理の一例)を実行する。例えば目については、目頭、目尻、黒目、目の輪郭をなす点などが特徴点FPとして抽出される。例えば口については、口角、上唇の輪郭をなす点、下唇の輪郭をなす点などが特徴点FPとして抽出される。
(2.2)3次元モデル生成部
3次元モデル生成部は、故人の3次元モデルを生成する3次元モデル生成処理を実行する。画像処理の一例をなす3次元モデル生成処理は、標準的な顔(標準顔)の3次元的な形状を表すワイヤフレームモデルである標準3次元モデルを故人に適合するように変形させることで、故人の3次元モデルを生成する処理である。
動画生成部202は、故人の3次元モデルを変形させて動きを生み出す動画生成処理を実行する。この動画生成処理では、3次元モデルをなすワイヤフレームモデルを局所的あるいは全体的に変形させる処理が行われる。例えば、瞼を閉じる動作を実現する際には、目を構成する特徴点などワイヤフレームモデルの頂点あるいは交点を変位させると良い。例えば、口を開く動作を実現する際には、口を構成する特徴点を変位させる処理が行われる。さらに例えば、頷く動作を実現する際には、故人の3次元モデルをなすワイヤフレームモデルの局所的な変形に代えて、軽く前回りさせるようにワイヤフレームモデル全体を回転変位させた後、すぐに元の位置に戻す処理が行われる。さらに、怒りの表情を故人に行わせる際には、眉や目尻を吊り上げるようなワイヤフレームモデルの変形処理が行われる。例えば故人の発話中では、目のまばたきや、口の開閉や、頷きなどを適宜組み合わせることで、故人の自然な発話動作を再現できる。
話者情報抽出部203は、予め録音された故人の音声データから声色情報を分離、抽出する話者情報抽出処理を実行する。音声データに信号処理を施すと、声帯の振動に由来する音源情報と、話者のあごの骨格や口腔形状等が反映された声色情報に分解できる。音源情報は、音の強弱や音程など、音源から発生する音の特性を表す情報である。声色情報は、音源から生じた音が伝達される経路の特性を表す情報である。声色情報は、声質を表す情報であり、声帯の振動が伝わる口腔の形状などが反映される情報である。話者情報抽出部203によって抽出された声色情報は、故人の声色の特徴を表す情報として、故人情報記憶部240としてのハードディスク24に保存される。
音声変換部204は、バックヤードに控えるオペレータの返答音声の声色を変換(加工)する音声変換処理を実行する。音声変換部204は、返答音声の音声データから音源情報を抽出する音源情報抽出部、音源情報に対して故人に係る声色情報を組み合わせる音声合成部、を含んで構成される。
(5.1)音源情報抽出部
音源情報抽出部は、外部マイク31を利用して入力されたオペレータの音声データ(返答音声)から音源情報を分離、抽出する音源情報抽出処理を実行する。この音源情報抽出部は、上記の話者情報抽出部203と構成が似通っている。音源情報抽出部は、音声データを音源情報と声色情報とに分解する点において、話者情報抽出部203と同様の技術的構成を備えている。話者情報抽出部203が声色情報を分離、抽出するのに対して、音源情報抽出部は、音源情報を分離、抽出する点が相違している。
(5.2)音声合成部
音声合成部は、音源情報抽出部によって抽出された音源情報に対して、故人に係る声色情報を組み合わせて新たな音声を生成する音声合成処理を実行する。音声合成部によって合成された音声データは、内蔵スピーカ223から出力される。
音声認識部205は、参列者の問掛け音声及びオペレータの返答音声の意味内容を特定するための音声認識処理を実行する。本例の音声認識部205は、音声の意味内容を厳密に特定するものではなく、穏やかなものか、ユーモラスなものか、シリアスなものか、悲しみを含むものか、等を特定するものである。本例の音声認識処理では、例えば、音韻論で分析される最小の音韻的単位である音素の単位時間当たりの個数(発話速度)、音声の音程や、音声の音量、笑い声の有無、等によって、上記のような意味内容が特定される。
(a)準備作業
デジタルポートレート1を運用する際には、故人の静止画及び音声データを予め、故人情報記憶部240としてのハードディスク24に保存しておく必要がある。例えば、故人の静止画及び音声データを保存したUSBメモリ等の外付メモリ39を利用すれば、静止画等のデータをデジタルポートレート1に容易に転送できる。なお、精度の高い声色情報を抽出するためには、故人の存命中に、所定パターンの会話文を音読させて記録しておくと良い。所定パターンの会話文には、声色情報を精度高く抽出可能な会話のパターンを設定すると良い。
デジタルポートレート1は、所定の運用プログラムの実行によって運用される。デジタルポートレート1の運用中では、故人の動画が表示画面210に表示され、対話も可能である。デジタルポートレート1の故人は、まばたきや、時折、頭を傾けたり、顔の向きを変えるといった動作を行う。特に、会話中の故人は、発話に合わせて口を開閉したり、話の内容に応じて軽く頷くといった様々な動作を行う。
また、本例では、例えば遺影への適用において、遺影となる1枚の静止画に基づいて動画を生成する構成を例示している。この場合、遺影となる静止画としては、故人に対する親しみを感じられるよう、亡くなるよりも少し前の故人の撮像画像が選ばれることが多い。亡くなるよりも少し前の故人の静止画に基づく動画生成に加えて、例えば、故人の10代の頃の静止画や、20代の頃の静止画や、30代の頃の静止画などに基づき、若い年代の頃の故人の動画を生成することも良い。この場合には、遺影だけでなく故人の人生を年代別に顧みたり、思い出深い年代における故人を偲んだりすることが可能となる。このような運用は、遺影だけでなく、上述した有名人のような他のポートレートを対象とした運用においても有用である。
本例は、実施例1のデジタルポートレートに基づいて、故人の話し方を話者情報に含めた例である。本例の構成のうち、故人の音声データから話者情報を抽出する話者情報抽出部、及びオペレータの音声を変換する音声変換部の構成が実施例1とは相違している。本例の内容について、図8及び図9を参照して説明する。図8は、話者情報抽出部による処理の流れを示すフロー図である。図9は、音声変換部による処理の流れを示すフロー図である。
なお、その他の構成及び作用効果については実施例1と同様である。
本例は、実施例1のデジタルポートレート(動画出力システム)に基づいて、バックヤードのオペレータを必要としない構成例である。
本例の構成では、デジタルポートレートのハードディスクが、音声パターンを記憶する音声パターン記憶部としての機能を備えている。音声パターン記憶部としてのハードディスクには、故人が自発的に発話するパターン(自発パターン)や、問掛けに対する返答パターンなどの音声パターンが記録されている。デジタルポートレートは、音声パターンの音源情報に対して故人の声色情報を組み合わせる(加工)ことで、故人の音声を生成する。なお、音声パターンは、予め録音されたアナウンサーなどの音声でも良く、音声から分離、抽出された音源情報であっても良い。
なお、自発パターンや返答パターンは、テキストであっても良い。故人の声色情報を利用し、故人の声色でテキストを読み上げることで故人の音声を生成できる。
自発パターンや返答パターンに係る故人の音声は、発話する際に音声合成等により生成しても良いが、各パターンを予め故人の音声に変換しておき、音声パターン記憶部としてのハードディスクに保存しておくことも良い。この場合には、各パターンが必要になったとき、ハードディスクから読み出して直ちに出力可能できる。故人の音声への変換処理は、デジタルポートレート本体で行っても良いが、別体のPC装置で変換した音声をデジタルポートレートに転送しても良い。音声の転送は、例えばUSBメモリなどの記録媒体を利用しても良く、WiFi(登録商標)等の無線通信を利用して転送しても良い。インターネットを経由して遠隔地のサーバ装置等から故人の音声をデジタルポートレートに転送しても良い。
なお、その他の構成及び作用効果については実施例1と同様である。
本例は、実施例1に基づいて、別体のPC装置100にて生成された動画をデジタルポートレート1が表示するように構成された動画出力システム1Sの例である。本例の内容について、図10を参照して説明する。
本例のデジタルポートレート1は、業者が利用者に提供して運用されるレンタル機器である。デジタルポートレート1の利用者は、故人の静止画等を保存したUSBメモリ391等を一旦、業者に送るか引き渡すと、別体のPC装置100で生成された動画等が保存されたUSBメモリ391の返却を受けることができる。USBメモリ391を利用してやり取りする情報には、動画に加えて、音声を含めても良い。
なお、その他の構成及び作用効果については実施例1と同様である。
本例は、実施例1のデジタルポートレートに基づいて、インターネット101を介在してデジタルポートレート1を運用する動画出力システム1Sの例である。この内容について、図11を参照して説明する。
なお、その他の構成及び作用効果については実施例1と同様である。
本例は、実施例1を元にして、動画の生成方法を変更した構成例である。この内容について、図12を参照して説明する。
なお、その他の構成及び作用効果については実施例1と同様である。
本例は、実施例1のデジタルポートレートに基づいて、動画の立体表示を可能とした構成例である。この内容について、図13〜図16を参照して説明する。
本例は、故人を立体的に表示するための立体表示部5が組み込まれたデジタルポートレートの例である。
立体表示部5(図13)は、ハーフミラー50を利用して故人511を立体的に表示させるように構成されている。さらに、この立体表示部5では、立体的に表示された故人511と重ねて像531が表示される。
空間の底面に配設される液晶ディスプレイ51に代えて、液晶プロジェクターと映像を映し出すスクリーンとの組み合わせを採用することもできる。この場合、液晶ディスプレイ51に代えてスクリーンを配置すると共に、スクリーンと対面する空間の天井に液晶プロジェクターを配設すれば良い。
なお、その他の構成及び作用効果については実施例1と同様である。
本例は、実施例7のデジタルポートレートに基づいて、故人の全身表示の動画を立体的に表示可能に構成した例である。この内容について、図17及び図18を参照して説明する。本例のデジタルポートレート1は、図17のように故人の全身表示が可能であるうえ、故人を立体的に表示可能である。
なお、その他の構成及び作用効果については実施例7と同様である。
1S 動画出力システム
13 筐体
133 USB端子
201 故人モデル化部
202 動画生成部
203 話者情報抽出部
204 音声変換部
205 音声認識部
21 液晶ディスプレイ
210 表示画面
221 内蔵カメラ
222 内蔵マイク
223 内蔵スピーカ
24 ハードディスク(HD)
240 故人情報記憶部
300 オペレータ
31 外部マイク(集音マイク)
32 外部スピーカ
33 外部モニタ
39 外付メモリ
391 USBメモリ
5 立体表示部
50 ハーフミラー
511A、521A 立体像
Claims (5)
- 音を電気信号に変換する集音マイクを介して入力された音声を加工し、声色及び話し方のうちの少なくともいずれかが異なる音声に変換する音声変換部と、
年代の異なる同一の人物の顔が撮像された複数の静止画に対して画像処理を施すことにより、顔の表情の変化、目のまばたき、口の動き、及び顔の向きの変化のうちの少なくともいずれかを含む動画を年代別に生成する動画生成部と、
前記動画生成部により生成された動画、及び前記音声変換部により変換された音声を出力する出力装置と、を含み、
前記動画生成部は、前記出力装置によって出力される音声に同期して変化する動画であって、同一人物の年代別の動画を生成する動画出力システム。 - 音声の意味内容を特定する音声認識部を含み、
前記動画生成部は、集音マイクを介して問掛け音声入力された場合に、前記音声変換部により変換された音声に同期して変化させることで返答する第1の動画と、前記音声認識部により特定される当該問掛け音声の意味内容に応じた表情変化により反応する第2の動画と、を生成可能であるように構成されている請求項1に記載の動画出力システム。 - 前記動画生成部は、予め設けられる複数の表情のパターンの内から指定された表情のパターンで前記出力装置によって出力される音声に同期して変化する動画を生成するように構成されている請求項1又は2に記載の動画出力システム。
- 前記動画生成部による動画の生成対象となる人物の趣味、好物、交友関係、或いは姻戚関係を示す個人情報を記憶する情報記憶部を含み、
前記出力装置は、前記音声変換部の変換対象となる音声を入力するオペレータに対して前記個人情報を提示するように構成されている請求項1〜3のいずれか1項に記載の動画出力システム。 - 前記静止画における顔の特徴点を抽出する特徴点抽出部を含み、
前記動画生成部は、前記特徴点抽出部により抽出された特徴点を変位させることで、前記音声変換部により変換された音声に同期して変化する動画を生成するように構成されている請求項1〜4のいずれか1項に記載の動画出力システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019061491A JP6656447B1 (ja) | 2019-03-27 | 2019-03-27 | 動画出力システム |
JP2020017514A JP6902127B2 (ja) | 2019-03-27 | 2020-02-04 | 動画出力システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019061491A JP6656447B1 (ja) | 2019-03-27 | 2019-03-27 | 動画出力システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020017514A Division JP6902127B2 (ja) | 2019-03-27 | 2020-02-04 | 動画出力システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6656447B1 true JP6656447B1 (ja) | 2020-03-04 |
JP2020160341A JP2020160341A (ja) | 2020-10-01 |
Family
ID=69997862
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019061491A Expired - Fee Related JP6656447B1 (ja) | 2019-03-27 | 2019-03-27 | 動画出力システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6656447B1 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111723898A (zh) * | 2020-05-25 | 2020-09-29 | 成都时空穿梭智能科技有限公司 | 一种模拟人类的智能机器人 |
CN111857343A (zh) * | 2020-07-21 | 2020-10-30 | 潘晓明 | 一种能部分实现数字永生并可与用户交互的系统 |
CN112367526A (zh) * | 2020-10-26 | 2021-02-12 | 联想(北京)有限公司 | 视频生成方法、装置、电子设备及存储介质 |
CN113035198A (zh) * | 2021-02-26 | 2021-06-25 | 北京百度网讯科技有限公司 | 三维人脸的唇动控制方法、设备和介质 |
JP7024027B1 (ja) | 2020-09-11 | 2022-02-22 | 株式会社セガトイズ | 動画作成装置、動画作成システム及び動画作成プログラム |
CN115700873A (zh) * | 2022-07-01 | 2023-02-07 | 南京硅基智能科技有限公司 | 一种智能人物复刻终端 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112286366B (zh) | 2020-12-30 | 2022-02-22 | 北京百度网讯科技有限公司 | 用于人机交互的方法、装置、设备和介质 |
JP7339615B2 (ja) * | 2021-01-12 | 2023-09-06 | 智久 末重 | 対話システム |
CN113450759A (zh) * | 2021-06-22 | 2021-09-28 | 北京百度网讯科技有限公司 | 语音生成方法、装置、电子设备以及存储介质 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09179576A (ja) * | 1995-12-21 | 1997-07-11 | Toshiba Corp | 音声合成方法 |
JP3884851B2 (ja) * | 1998-01-28 | 2007-02-21 | ユニデン株式会社 | 通信システムおよびこれに用いられる無線通信端末装置 |
JP2005051554A (ja) * | 2003-07-29 | 2005-02-24 | Mitsubishi Electric Corp | 応答コールセンターシステムの顧客端末及びオペレータ端末 |
JP2006053403A (ja) * | 2004-08-12 | 2006-02-23 | Sony Corp | 立体画像表示装置、光反射装置及び立体画像表示方法 |
JP4508917B2 (ja) * | 2005-03-24 | 2010-07-21 | 株式会社ケンウッド | 情報呈示装置、情報呈示方法、および、情報呈示用プログラム |
JP4343201B2 (ja) * | 2006-08-25 | 2009-10-14 | 富士通株式会社 | キャラクタインタフェースシステム |
JP2008085421A (ja) * | 2006-09-26 | 2008-04-10 | Asahi Kasei Corp | テレビ電話機、通話方法、プログラム、声質変換・画像編集サービス提供システム、および、サーバ |
JP2009038708A (ja) * | 2007-08-03 | 2009-02-19 | Kddi Corp | 故人情報管理システム |
JP2010141447A (ja) * | 2008-12-10 | 2010-06-24 | Casio Computer Co Ltd | カメラ付携帯情報端末 |
JP2010171573A (ja) * | 2009-01-21 | 2010-08-05 | Epson Imaging Devices Corp | 3次元画像表示・撮像装置、通信システム、および表示装置 |
JP6465398B6 (ja) * | 2015-03-13 | 2019-03-13 | Dynabook株式会社 | 電子機器、表示方法及びプログラム |
JP6708865B2 (ja) * | 2017-11-02 | 2020-06-10 | 株式会社UsideU | 顧客応対システム及び顧客応対方法 |
-
2019
- 2019-03-27 JP JP2019061491A patent/JP6656447B1/ja not_active Expired - Fee Related
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111723898A (zh) * | 2020-05-25 | 2020-09-29 | 成都时空穿梭智能科技有限公司 | 一种模拟人类的智能机器人 |
CN111857343A (zh) * | 2020-07-21 | 2020-10-30 | 潘晓明 | 一种能部分实现数字永生并可与用户交互的系统 |
CN111857343B (zh) * | 2020-07-21 | 2024-04-19 | 心行者科技(杭州)有限责任公司 | 一种能部分实现数字永生并可与用户交互的系统 |
JP7024027B1 (ja) | 2020-09-11 | 2022-02-22 | 株式会社セガトイズ | 動画作成装置、動画作成システム及び動画作成プログラム |
JP2022047036A (ja) * | 2020-09-11 | 2022-03-24 | 株式会社セガトイズ | 動画作成装置、動画作成システム及び動画作成プログラム |
CN112367526A (zh) * | 2020-10-26 | 2021-02-12 | 联想(北京)有限公司 | 视频生成方法、装置、电子设备及存储介质 |
CN112367526B (zh) * | 2020-10-26 | 2022-03-25 | 联想(北京)有限公司 | 视频生成方法、装置、电子设备及存储介质 |
CN113035198A (zh) * | 2021-02-26 | 2021-06-25 | 北京百度网讯科技有限公司 | 三维人脸的唇动控制方法、设备和介质 |
CN113035198B (zh) * | 2021-02-26 | 2023-11-21 | 北京百度网讯科技有限公司 | 三维人脸的唇动控制方法、设备和介质 |
CN115700873A (zh) * | 2022-07-01 | 2023-02-07 | 南京硅基智能科技有限公司 | 一种智能人物复刻终端 |
Also Published As
Publication number | Publication date |
---|---|
JP2020160341A (ja) | 2020-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6656447B1 (ja) | 動画出力システム | |
WO2022048403A1 (zh) | 基于虚拟角色的多模态交互方法、装置及系统、存储介质、终端 | |
WO2022116977A1 (zh) | 目标对象的动作驱动方法、装置、设备及存储介质及计算机程序产品 | |
US20220150285A1 (en) | Communication assistance system, communication assistance method, communication assistance program, and image control program | |
TWI681317B (zh) | 人機互動方法及系統 | |
US8224652B2 (en) | Speech and text driven HMM-based body animation synthesis | |
EP2849087B1 (en) | A computer generated emulation of a subject | |
EP3198589B1 (en) | Method and apparatus to synthesize voice based on facial structures | |
CN103218842B (zh) | 一种语音同步驱动三维人脸口型与面部姿势动画的方法 | |
CN113454708A (zh) | 语言学风格匹配代理 | |
US20180277093A1 (en) | Sensor based text-to-speech emotional conveyance | |
CN102568023A (zh) | 用于富于表情的化身的实时动画 | |
KR102098734B1 (ko) | 대화 상대의 외형을 반영한 수어 영상 제공 방법, 장치 및 단말 | |
CN111145777A (zh) | 一种虚拟形象展示方法、装置、电子设备及存储介质 | |
KR102174922B1 (ko) | 사용자의 감정 또는 의도를 반영한 대화형 수어-음성 번역 장치 및 음성-수어 번역 장치 | |
CN110162598B (zh) | 一种数据处理方法和装置、一种用于数据处理的装置 | |
CN110148406B (zh) | 一种数据处理方法和装置、一种用于数据处理的装置 | |
GB2510201A (en) | Animating a computer generated head based on information to be output by the head | |
US20200342896A1 (en) | Conference support device, conference support system, and conference support program | |
KR20110081364A (ko) | 캐릭터의 발화와 감정표현 제공 시스템 및 방법 | |
JP6201212B2 (ja) | キャラクタ生成装置およびプログラム | |
JP6902127B2 (ja) | 動画出力システム | |
CN113205569A (zh) | 图像绘制方法及装置、计算机可读介质和电子设备 | |
JP2017182261A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
Verma et al. | Animating expressive faces across languages |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190724 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190724 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190904 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190917 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191024 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200204 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6656447 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |