JP7273752B2 - 表情制御プログラム、記録媒体、表情制御装置、表情制御方法 - Google Patents
表情制御プログラム、記録媒体、表情制御装置、表情制御方法 Download PDFInfo
- Publication number
- JP7273752B2 JP7273752B2 JP2020037104A JP2020037104A JP7273752B2 JP 7273752 B2 JP7273752 B2 JP 7273752B2 JP 2020037104 A JP2020037104 A JP 2020037104A JP 2020037104 A JP2020037104 A JP 2020037104A JP 7273752 B2 JP7273752 B2 JP 7273752B2
- Authority
- JP
- Japan
- Prior art keywords
- facial expression
- character
- facial
- state
- predetermined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Description
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、描画制御装置の一例としての、フェイシャルキャプチャ機能を備えたスマートフォンに、本発明を適用した例を説明する。しかし、本発明は、ユーザの顔面の状態を実測して出力された顔面情報を取得可能に構成された任意の機器に適用可能である。
図1は、本発明の実施形態に係るスマートフォン100の機能構成を示すブロック図である。
上述したように、漫画やアニメーション等で用いられているような特有の表情には、ユーザの表情変化では物理的に到達し得ない状態や、そのような状態を維持して会話を行うことが困難なものが存在する。即ち、ユーザについて取得された顔面情報に基づいて表情を構成したCGキャラクタを描画する態様において、所望の表情表現が提示されない場合がある。換言すれば、特定の感情を表現するために適切な表情は、現実の人間と描画されたCGキャラクタとでは乖離しており、後者を優先し、所望の表情表現をユーザの顔面を実測した情報に基づいて実現しようとした場合、ユーザの表情筋では物理的にこれに到達し得ないことがある。
このような構成をもつ本実施形態のキャラクタ提示アプリケーションを用いて、ユーザの顔面の状態に基づく表情表現を提示した、CGキャラクタを介したリアルタイムコミュニケーション映像を配信する配信理について、図5のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部101が、例えば記録媒体102に記憶されている対応する処理プログラムを読み出し、メモリ103に展開して実行することにより実現することができる。
本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。また本発明に係る描画制御装置は、1以上のコンピュータを該描画制御装置として機能させるプログラムによっても実現可能である。該プログラムは、コンピュータが読み取り可能な記録媒体に記録されることにより、あるいは電気通信回線を通じて、提供/配布することができる。
Claims (7)
- ユーザの表情変化に応じてコンピュータグラフィックス(CG)キャラクタの表情を制御する表情制御プログラムであって、
コンピュータに、
ユーザの顔面の状態を実測して出力された顔面情報を取得する処理と、
取得された前記顔面情報に基づいて、前記CGキャラクタの表情構成物の状態を制御する処理と、
予め定められた表情を、前記CGキャラクタに適用するか否かを判断する処理と、
を実行させ、
前記予め定められた表情を前記CGキャラクタに適用すると判断された場合に、前記CGキャラクタの一部の表情構成物の状態を、該予め定められた表情について設定された状態と前記顔面情報とに基づいて制御し、
前記表情制御プログラムは、前記予め定められた表情を前記CGキャラクタに適用する際の、前記一部の表情構成物に対する前記顔面情報に基づく状態変更の適用率を調整する処理を、前記コンピュータにさらに実行させる表情制御プログラム。 - 前記予め定められた表情を前記CGキャラクタに適用すると判断された場合に、該予め定められた表情について設定された状態に変更した表情構成物と、前記顔面情報に基づいて変更した表情構成物とを合成することで、前記CGキャラクタの表情構成物の状態を制御する請求項1に記載の表情制御プログラム。
- 前記予め定められた表情は、複数種類設けられており、
前記表情制御プログラムは、複数種類の前記予め定められた表情のうちから、前記CGキャラクタに適用する1つの前記予め定められた表情を選択する処理を、前記コンピュータにさらに実行させる請求項1または2に記載の表情制御プログラム。 - 前記予め定められた表情は、表情を構成する一部の表情構成物の位置及び形状の少なくともいずれかが、ユーザの表情変化では物理的に到達し得ない状態である請求項1乃至3のいずれか1項に記載の表情制御プログラム。
- 請求項1乃至4のいずれか1項に記載の表情制御プログラムを記録した、コンピュータ読み取り可能な記録媒体。
- ユーザの表情変化に応じてコンピュータグラフィックス(CG)キャラクタの表情を制御する表情制御装置であって、
ユーザの顔面の状態を実測して出力された顔面情報を取得する取得手段と、
前記取得手段により取得された前記顔面情報に基づいて、前記CGキャラクタの表情構成物の状態を制御する制御手段と、
予め定められた表情を、前記CGキャラクタに適用するか否かを判断する判断手段と、
を有し、
前記制御手段は、前記判断手段により前記予め定められた表情を前記CGキャラクタに適用すると判断された場合に、前記CGキャラクタの一部の表情構成物の状態を、該予め定められた表情について設定された状態と前記顔面情報とに基づいて制御し、
前記表情制御装置は、前記予め定められた表情を前記CGキャラクタに適用する際の、前記一部の表情構成物に対する前記顔面情報に基づく状態変更の適用率を調整する調整手段を、さらに有する表情制御装置。 - ユーザの表情変化に応じてコンピュータグラフィックス(CG)キャラクタの表情を制御する表情制御方法であって、
ユーザの顔面の状態を実測して出力された顔面情報を取得する取得工程と、
前記取得工程において取得された前記顔面情報に基づいて、前記CGキャラクタの表情構成物の状態を制御する制御工程と、
予め定められた表情を、前記CGキャラクタに適用するか否かを判断する判断工程と、
を有し、
前記判断工程において前記予め定められた表情を前記CGキャラクタに適用すると判断された場合に、前記制御工程において、該予め定められた表情について設定された状態と前記顔面情報とに基づいて、前記CGキャラクタの一部の表示構成物の状態が制御され、
前記表情制御方法は、前記予め定められた表情を前記CGキャラクタに適用する際の、前記一部の表情構成物に対する前記顔面情報に基づく状態変更の適用率を調整する工程をさらに有する表情制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020037104A JP7273752B2 (ja) | 2020-03-04 | 2020-03-04 | 表情制御プログラム、記録媒体、表情制御装置、表情制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020037104A JP7273752B2 (ja) | 2020-03-04 | 2020-03-04 | 表情制御プログラム、記録媒体、表情制御装置、表情制御方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018187576A Division JP6672414B1 (ja) | 2018-10-02 | 2018-10-02 | 描画プログラム、記録媒体、描画制御装置、描画制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020091909A JP2020091909A (ja) | 2020-06-11 |
JP7273752B2 true JP7273752B2 (ja) | 2023-05-15 |
Family
ID=71012967
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020037104A Active JP7273752B2 (ja) | 2020-03-04 | 2020-03-04 | 表情制御プログラム、記録媒体、表情制御装置、表情制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7273752B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7526874B2 (ja) | 2021-03-18 | 2024-08-01 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成システムおよび画像生成方法 |
WO2023089747A1 (ja) * | 2021-11-18 | 2023-05-25 | 日本電信電話株式会社 | 収集装置、収集方法、収集プログラム及び収集システム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018092523A (ja) | 2016-12-07 | 2018-06-14 | 株式会社コロプラ | 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 |
JP2018151966A (ja) | 2017-03-14 | 2018-09-27 | フィールズ株式会社 | 情報処理装置及びプログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101116838B1 (ko) * | 2009-12-28 | 2012-03-06 | 성결대학교 산학협력단 | 개인성향을 반영한 과장표정 생성방법 |
-
2020
- 2020-03-04 JP JP2020037104A patent/JP7273752B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018092523A (ja) | 2016-12-07 | 2018-06-14 | 株式会社コロプラ | 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 |
JP2018151966A (ja) | 2017-03-14 | 2018-09-27 | フィールズ株式会社 | 情報処理装置及びプログラム |
Non-Patent Citations (3)
Title |
---|
xsinryux_x,Facerigで使いたい効果,2016年04月08日,第1頁-第3頁,<URL:https://forum.live2d.com/discussion/347/facerig%E3%81%A7%E4%BD%BF%E3%81%84%E3%81%9F%E3%81%84%E5%8A%B9%E6%9E%9C>,[検索日:2022年9月30日] |
xsinryux_x,FaceRig実用モデル,2018年06月11日,第1頁-第13頁,<URL:https://forum.live2d.com/discussion/569/facerig%E5%AE%9F%E7%94%A8%E3%83%A2%E3%83%87%E3%83%AB>,[検索日:2022年9月30日] |
いちから始めるVTuberデビューのためのFaceRig・Live2D入門 実際にやってみた,PANORA,2018年05月11日,第1頁-第9頁,<URL:https://panora.tokyo/panora.tokyo/57846/HPC-index.html>,[検索日:2022年9月30日] |
Also Published As
Publication number | Publication date |
---|---|
JP2020091909A (ja) | 2020-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102241153B1 (ko) | 2차원 이미지로부터 3차원 아바타를 생성하는 방법, 장치 및 시스템 | |
CN106170083B (zh) | 用于头戴式显示器设备的图像处理 | |
JP5785254B2 (ja) | 顔の表情のリアルタイムアニメーション | |
KR102196380B1 (ko) | 사용자의 감정 상태들을 사용하여 가상 이미지 생성 시스템을 제어하기 위한 기술 | |
EP3047884B1 (en) | Program, information-processing device, information-processing system, and avatar generating method | |
JP7504968B2 (ja) | アバター表示装置、アバター生成装置及びプログラム | |
JP2018170005A (ja) | 画像及び深度データを用いて3次元(3d)人物顔面モデルを発生させるための仮想現実ベースの装置及び方法 | |
JP2006520971A (ja) | デジタル顔モデルのアニメーション化のためのシステム及び方法 | |
JP5442966B2 (ja) | ゲーム装置、ゲーム制御方法、ゲーム制御プログラム、及び、該プログラムを記録した記録媒体 | |
JP6672414B1 (ja) | 描画プログラム、記録媒体、描画制御装置、描画制御方法 | |
JP2009534774A (ja) | 演技から作り出される顔アニメーション | |
KR20200093034A (ko) | 특수 효과 프로그램 파일 패키지 및 특수 효과의 생성 방법과 장치, 전자 기기 | |
JP7070435B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP7273752B2 (ja) | 表情制御プログラム、記録媒体、表情制御装置、表情制御方法 | |
US11380072B2 (en) | Neutral avatars | |
CN111968248A (zh) | 基于虚拟形象的智能化妆方法、装置、电子设备及存储介质 | |
JP6563580B1 (ja) | コミュニケーションシステム及びプログラム | |
JP2013200735A (ja) | 画像生成装置、画像生成方法及びプログラム | |
JP2015197710A (ja) | 化粧支援装置およびプログラム | |
JP5920858B1 (ja) | プログラム、情報処理装置、深度定義方法及び記録媒体 | |
US20150379753A1 (en) | Movement processing apparatus, movement processing method, and computer-readable medium | |
US20150379329A1 (en) | Movement processing apparatus, movement processing method, and computer-readable medium | |
RU2703327C1 (ru) | Способ обработки двухмерного изображения и реализующее его вычислительное устройство пользователя | |
JP7145359B1 (ja) | 推論モデル構築方法、推論モデル構築装置、プログラム、記録媒体、構成装置及び構成方法 | |
JP6935531B1 (ja) | 情報処理プログラムおよび情報処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200304 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20210312 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211004 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220810 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221007 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230331 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230428 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7273752 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |