JP7162737B2 - コンピュータプログラム、サーバ装置、端末装置、システム及び方法 - Google Patents
コンピュータプログラム、サーバ装置、端末装置、システム及び方法 Download PDFInfo
- Publication number
- JP7162737B2 JP7162737B2 JP2021520695A JP2021520695A JP7162737B2 JP 7162737 B2 JP7162737 B2 JP 7162737B2 JP 2021520695 A JP2021520695 A JP 2021520695A JP 2021520695 A JP2021520695 A JP 2021520695A JP 7162737 B2 JP7162737 B2 JP 7162737B2
- Authority
- JP
- Japan
- Prior art keywords
- specific
- score
- emotion
- performer
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
Description
センサにより取得された演者に関するデータに基づいて、前記演者に関連する複数の特定部分の各々の変化量を取得し、複数の特定感情のうち各特定部分に対応付けられた少なくとも1つの特定感情について、該特定部分の変化量に基づく第1のスコアを取得し、前記複数の特定感情の各々について、該各特定感情について取得された第1のスコアの合計に基づく第2のスコアを取得し、前記複数の特定感情のうち閾値を上回る第2のスコアを有する特定感情を、前記演者により表現された感情として選択する、ように前記プロセッサを機能させる」ことを特徴とする。
図1は、一実施形態に係る通信システムの構成の一例を示すブロック図である。図1に示すように、通信システム1は、通信網10に接続される1又はそれ以上の端末装置20と、通信網10に接続される1又はそれ以上のサーバ装置30と、を含むことができる。なお、図1には、端末装置20の例として、3つの端末装置20A~20Cが例示され、サーバ装置30の例として、3つのサーバ装置30A~30Cが例示されているが、端末装置20として、これら以外の1又はそれ以上の端末装置20が通信網10に接続され得るし、サーバ装置30として、これら以外の1又はそれ以上のサーバ装置30が通信網10に接続され得る。
次に、端末装置20、サーバ装置30及びスタジオユニット40の各々が有するハードウェア構成の一例について説明する。
各端末装置20のハードウェア構成例について図2を参照して説明する。図2は、図1に示した端末装置20(サーバ装置30)のハードウェア構成の一例を模式的に示すブロック図である(なお、図2において、括弧内の参照符号は、後述するように各サーバ装置30に関連して記載されている。)
各サーバ装置30のハードウェア構成例について同じく図2を参照して説明する。各サーバ装置30のハードウェア構成としては、例えば、上述した各端末装置20のハードウェア構成と同一のものを用いることが可能である。したがって、各サーバ装置30が有する構成要素に対する参照符号は、図2において括弧内に示されている。
スタジオユニット40は、パーソナルコンピュータ等の情報処理装置により実装可能であって、図示はされていないが、上述した端末装置20及びサーバ装置30と同様に、主に、中央処理装置と、主記憶装置と、入出力インタフェイス装置と、入力装置と、補助記憶装置と、出力装置と、を含むことができる。これら装置同士は、データバス及び/又は制御バスにより接続されている。
次に、端末装置20及びサーバ装置30の各々が有する機能の一例について説明する。
3-1.端末装置20の機能
端末装置20の機能の一例について図3を参照して説明する。図3は、図1に示した端末装置20(サーバ装置30)の機能の一例を模式的に示すブロック図である(なお、図3において、括弧内の参照符号は、後述するようにサーバ装置30に関連して記載されている。)。
センサ部100は、様々なタイプのカメラ及び/又はマイクロフォン等のセンサにより構成される。このセンサ部100は、このセンサ部100に対向する演者に関するデータ(画像及び/又は音声等)を取得して、このデータに対する情報処理を実行することが可能である。具体的には、例えば、センサ部100は、様々なタイプのカメラを用いて、単位時間区間ごとに演者に関する画像データを取得し、このように取得した画像データを用いて、単位時間区間ごとに演者に関連する複数の特定部分の位置を特定することができる。ここで、複数の特定部分とは、演者の右目、左目、右頬、左頬、鼻、右眉毛、左眉毛、顎、右耳及び/又は左耳等を、これらに限定することなく含むことができる。また、単位時間区間は、ユーザ・演者等によりユーザインタフェイスを介して任意のタイミングにおいて任意の長さに設定・変更可能である。
(i)演者の頭蓋骨の物理的な中心位置
(ii)演者の顔を構成する何百もの頂点を含み上記中心位置に対して定義される顔メッシュ
(iii)上記(i)及び(ii)に基づいて識別された、演者の顔における特定部分(例えば、右頬、左頬、鼻の頂点)の位置
センサ部100は、この技術を用いることにより、単位時間区間ごとに、演者の上半身(顔等)における特定部分の位置(座標)を取得することができる。
変化量取得部110は、センサ部100により取得された演者に関するデータに基づいて、演者に関連する複数の特定部分の各々の変化量を取得する。具体的には、変化量取得部110は、例えば、右頬という特定部分について、単位時間区間1において取得された位置(座標)と、単位時間区間2において取得された位置(座標)と、の差分をとることができる。これにより、変化量取得部110は、単位時間区間1と単位時間区間2との間において、右頬という特定部分の変化量を取得することができる。変化量取得部110は、他の特定部分についても同様にその特定部分の変化量を取得することができる。
第1スコア取得部120は、(例えば任意に設定可能な単位時間区間ごとに)複数の特定感情のうち各特定部分に対応付けられた少なくとも1つの特定感情について、この特定部分の変化量に基づく第1のスコアを取得する。具体的には、まず、第1スコア取得部120は、複数の特定感情として、例えば、「恐れ」、「驚き」、「悲しみ」、「嫌悪」、「怒り」、「期待」、「喜び」及び/又は「信頼」といった特定感情を、これらに限定することなく用いることができる。
第2スコア取得部130は、(例えば任意に設定可能な単位時間区間ごとに)複数の特定感情の各々について、この各特定感情について取得された第1のスコアの合計に基づく第2のスコアを取得する。具体的には、第2スコア取得部130は、例えば、ある特定感情について、複数の特定部分の変化量に基づく第1のスコアが取得されている場合には、これら複数の第1のスコアを合計した値を、その特定感情についての第2のスコアとして取得することができる。また、第2のスコア取得部130は、例えば、別の特定感情について、1つの特定部分の変化量に基づく第1のスコアしか取得されていない場合には、その第1のスコアをそのまま、その別の特定感情についての第2のスコアとして取得することができる。
感情選択部140は、(例えば任意に設定可能な単位時間区間ごとに)複数の特定感情のうち閾値を上回る第2のスコアを有する特定感情を、演者により表現された感情として選択する。具体的には、感情選択部140は、単位時間区間ごとに、複数の特定感情について取得された第2のスコアを用いて、例えば設定された閾値を上回る第2のスコアを有する特定感情を、その単位時間区間において演者により表現された感情として選択することができる。上記閾値は、可変、固定又はこれらの組み合わせであってもよい。
動画生成部150は、(例えば任意に設定可能な単位時間区間ごとに)感情選択部140により選択された感情を仮想的なキャラクターに表現させた動画を生成することができる。上記動画は静止画であってもよい。具体的には、例えば、ある単位時間区間において、閾値を上回る第2のスコアが存在することに起因して複数の特定感情の中から感情選択部140によりその第2のスコアを有する感情が選択される場合が考えられる。この場合には、動画生成部150は、そのように選択された感情に対応する表情を仮想的なキャラクターに表現させた動画を生成することができる。ここで、上記選択された感情に対応する表情は、演者の表情が実際には表現することが不可能な表情であってもよい。上記不可能な表情は、例えば、両目が×で表現された表情、及び、口がアニメのように飛び出した表情等を含む。この場合、具体的には、動画生成部150は、演者が示した実際の表情の上に、漫画のような動画を重ねた動画を生成すること、及び/又は、演者が示した実際の表情のうちの一部を書き換えた動画を生成することができる。上記漫画のような動画は、例えば、両目が通常の状態から×に変化する動画、及び、口が通常の状態から飛び出した状態に変化する動画等を含む。
また、別の実施形態では、動画生成部150は、例えば、”Blend Shapes”と称する技術を用いて、感情選択部140により選択された感情を仮想的なキャラクターに表現させた動画を生成することも可能である。この技術を用いる場合には、動画生成部150は、顔の複数の特定部分のうち、感情選択部140により選択された特定感情に対応する1以上の特定部分の各々のパラメータを調整することができる。これにより、動画生成部150は、上記漫画のような動画を生成することができる。
なお、”Blend Shapes”については、下記URLにより特定されるウェブサイトに記載された技術を用いることが可能である。
https://developer.apple.com/documentation/arkit/arfaceanchor/2928251-blendshapes
このウェブサイトに記載された内容は、引用よりその全体が本明細書に組み入れられる。
表示部160は、(例えば任意に設定可能な単位時間区間ごとに)動画生成部150により生成された動画を、端末装置20のディスプレイ(タッチパネル)及び/又は端末装置20に接続された(他の端末装置の)ディスプレイ等に表示することができる。表示部160は、センサ部100が演者に関するデータを取得する動作と並行して、動画生成部150により生成された動画を順次表示することもできる。また、表示部160は、上記データを取得する動作と並行して、動画生成部150により生成され記憶部170に記憶された動画を、演者の指示に従って上記ディスプレイ等に表示することもできる。さらに、表示部160は、上記データを取得する動作と並行して、通信網10を介してサーバ装置30から通信部180により受信され(さらに記憶部170に記憶され)た動画を生成することもできる。
サーバ装置30の機能の具体例について同じく図3を参照して説明する。サーバ装置30の機能としては、例えば、上述した端末装置20の機能の一部を用いることが可能である。したがって、サーバ装置30が有する構成要素に対する参照符号は、図3において括弧内に示されている。
スタジオユニットは、図3に示した端末装置20又はサーバ装置30と同様の構成を有することにより、端末装置20又はサーバ装置30と同様の動作を行うことが可能である。但し、通信部180(280)は、動画生成部150(250)により生成され記憶部170(270)に記憶された動画を、通信網10を介してサーバ装置30に送信することができる。
次に、上述した構成を有する通信システム1全体の動作の具体例について、図4を参照して説明する。図4は、図1に示した通信システム1全体において行われる動作の一例を示すフロー図である。
次に、図4を参照して上述した動作のうち、ST402及びST404において端末装置20(サーバ装置30又はスタジオユニット40でも同様)により行われる動画の生成及び送信に関する動作の具体的な例について、図5を参照して説明する。図5は、図4に示した動作のうち動画の生成及び送信に関する動作の具体例を示すフロー図である。
さらに、最も大きい「同一の」第2のスコアを有する複数の特定感情が存在する場合には、第1の例では、感情選択部140は、複数の特定の感情の各々に対して予め演者及び/又はオペレータにより定められた優先度に従い、これら最も大きい「同一の」第2のスコアを有する複数の特定感情のうち、最も大きい優先度を有する特定感情を、演者により表現された感情として選択することができる。具体的には、例えば、各演者が、自己のアバター等に対して、用意された複数の性格の中から自己の性格に対応する又は近似する性格(例えば「怒りっぽい」性格等)を設定しておいた場合が考えられる。この場合には、複数の特定感情のうち、このように設定された性格(例えば「怒りっぽい」性格)に対応する又は近似する特定感情(例えば「怒り」等)に対して高い優先度が付与され得る。このような優先度に基づいて、感情選択部140は、同一の第2のスコアを有する複数の特定感情のうち、最も高い優先度を有する特定感情を、演者により選択された感情として選択することができる。これに加えて及び/又はこれに代えて、複数の特定感情のうちこのように設定された性格(例えば「怒りっぽい」性格)に対応する又は近似する特定感情に対する閾値は、他の特定感情に対する閾値よりも小さくなるように変更されてもよい。
さらにまた、最も大きい「同一の」第2のスコアを有する複数の特定感情が存在する場合には、第2の例では、感情選択部140は、複数の特定感情の各々に対してその特定感情が過去に選択された頻度を履歴として保持しておき、これら最も大きい「同一の」第2のスコアを有する複数の特定感情のうち、最も大きい頻度を有する特定感情を、演者により表現された感情として選択することができる。
別言すれば、別の実施形態では、ST502~ST512のうち、ST502から少なくとも1つの工程が順次端末装置20(又はスタジオユニット40)により実行され、残りの工程がサーバ装置30により実行されてもよい。この場合、端末装置20(又はスタジオユニット40)は、ST502~ST512のうち最後に実行した工程において取得したデータ等を、サーバ装置30に送信する必要がある。例えば、端末装置20(又はスタジオユニット40)は、ST502まで実行した場合には、ST502において取得した「演者に関するデータ」をサーバ装置30に送信する必要がある。また、端末装置20(又はスタジオユニット40)は、ST504まで実行した場合には、ST504において取得した「変化量」をサーバ装置30に送信する必要がある。同様に、端末装置20(又はスタジオユニット40)は、ST506(又はST508)まで実行した場合には、ST506(又はST508)において取得した「第1のスコア」(又は「第2のスコア」)をサーバ装置30に送信する必要がある。また、端末装置20(又はスタジオユニット40)は、ST510まで実行した場合には、ST510において取得した「感情」をサーバ装置30に送信する必要がある。端末装置20(又はスタジオユニット40)がST512より前のいずれかの処理までしか実行しない場合には、サーバ装置30が端末装置20(又はスタジオユニット40)から受信したデータ等に基づいて画像を生成することになる。
別言すれば、さらに別の実施形態では、ST502~ST512のうち、ST502から少なくとも1つの工程が順次端末装置20(又はスタジオユニット40)により実行され、残りの工程が別の端末装置(視聴者の端末装置)20により実行されてもよい。この場合、端末装置20(又はスタジオユニット40)は、ST502~ST512のうち最後に実行した工程において取得したデータ等を、サーバ装置30を介して別の端末装置20に送信する必要がある。例えば、端末装置20(又はスタジオユニット40)は、ST502まで実行した場合には、ST502において取得した「演者に関するデータ」を、サーバ装置30を介して別の端末装置20に送信する必要がある。また、端末装置20(又はスタジオユニット40)は、ST504まで実行した場合には、ST504において取得した「変化量」を、サーバ装置30を介して別の端末装置20に送信する必要がある。同様に、端末装置20(又はスタジオユニット40)は、ST506(又はST508)まで実行した場合には、ST506(又はST508)において取得した「第1のスコア」(又は「第2のスコア」)を、サーバ装置30を介して別の端末装置20に送信する必要がある。また、端末装置20(又はスタジオユニット40)は、ST510まで実行した場合には、ST510において取得した「感情」を、サーバ装置30を介して別の端末装置20に送信する必要がある。端末装置20(又はスタジオユニット40)がST512より前のいずれかの処理までしか実行しない場合には、別の端末装置20がサーバ装置30を介して受信したデータ等に基づいて画像を生成して再生することができる。
複数の特定感情(に対応する第2のスコア)に対して個別に設定された閾値は、端末装置20のユーザ、演者等により、サーバ装置30のユーザ、演者、オペレータ等により、スタジオユニット40のユーザ、オペレータ等により、これらの装置・ユニットにより表示部に表示されるユーザインタフェイスを介して任意のタイミングで変更されるようにしてもよい。
第1の態様に係るコンピュータプログラムは、「プロセッサにより実行されることにより、センサにより取得された演者に関するデータに基づいて、前記演者に関連する複数の特定部分の各々の変化量を取得し、複数の特定感情のうち各特定部分に対応付けられた少なくとも1つの特定感情について、該特定部分の変化量に基づく第1のスコアを取得し、前記複数の特定感情の各々について、該各特定感情について取得された第1のスコアの合計に基づく第2のスコアを取得し、前記複数の特定感情のうち閾値を上回る第2のスコアを有する特定感情を、前記演者により表現された感情として選択する、ように前記プロセッサを機能させる」ことを特徴とする。
本件出願に開示された技術は、例えば、次のような分野において適用することが可能である。
(1)仮想的なキャラクターが登場するライブ動画を配信するアプリケーション・サービス
(2)文字及びアバター(仮想的なキャラクター)を用いてコミュニケーションすることができるアプリケーション・サービス(チャットアプリケーション、メッセンジャー、メールアプリケーション等)
(3)表情を変化させることが可能な仮想的なキャラクターを操作するゲーム・サービス(シューティングゲーム、恋愛ゲーム及びロールプレイングゲーム等)
10 通信網
20(20A~20C) 端末装置
30(30A~30C) サーバ装置
40(40A、40B) スタジオユニット
100(200) センサ部
110(210) 変化量取得部
120(220) 第1スコア取得部
130(230) 第2スコア取得部
140(240) 感情選択部
150(250) 動画生成部
160(260) 表示部
170(270) 記憶部
180(280) 通信部
Claims (42)
- プロセッサにより実行されることにより、
センサにより取得された演者に関するデータに基づいて、前記演者に関連する複数の特定部分の各々の変化量を取得し、
複数の特定感情のうち各特定部分に対応付けられた少なくとも1つの特定感情について、該特定部分の変化量に基づく第1のスコアを取得し、
前記複数の特定感情の各々について、該各特定感情について取得された第1のスコアの合計に基づく第2のスコアを取得し、
前記複数の特定感情のうち閾値を上回る第2のスコアを有する特定感情を、前記演者により表現された感情として選択する、
ように前記プロセッサを機能させる、ことを特徴とするコンピュータプログラム。 - 前記閾値が、前記複数の特定感情の各々の第2のスコアに対して個別に設定される、請求項1に記載のコンピュータプログラム。
- 前記閾値が、前記演者又はユーザによりユーザインタフェイスを介して任意のタイミングで変更される、請求項1又は請求項2に記載のコンピュータプログラム。
- 前記閾値は、複数の性格の各々に対応付けて用意された閾値のうち、前記演者又はユーザによりユーザインタフェイスを介して選択された性格に対応する閾値である、請求項1から請求項3のいずれかに記載のコンピュータプログラム。
- 前記プロセッサが、選択された前記特定感情に対応する表情を予め定められた時間だけ仮想的なキャラクターが表現した画像を生成する、請求項1から請求項4のいずれかに記載のコンピュータプログラム。
- 前記予め定められた時間が、前記演者又はユーザによりユーザインタフェイスを介して任意のタイミングで変更される、請求項5に記載のコンピュータプログラム。
- ある特定部分に対応付けられた第1の特定感情について該特定部分の変化量に基づいて取得される第1のスコアと、該特定部分に対応付けられた第2の特定感情について該特定部分の変化量に基づいて取得される第1のスコアとが、相互に異なる、請求項1から請求項6のいずれかに記載のコンピュータプログラム。
- 前記プロセッサが、
前記複数の特定感情のうち、現在選択されている特定感情に対して第1の関係を有する特定感情については、該特定感情の第2のスコアに対する閾値を大きく設定し、
前記複数の特定感情のうち、現在選択されている特定感情に対して第2の関係を有する特定感情については、該特定感情の第2のスコアに対する閾値を小さく設定する、請求項1から請求項7のいずれかに記載のコンピュータプログラム。 - 前記第1の関係が相反する関係であり、前記第2の関係が類似する関係である、請求項8に記載のコンピュータプログラム。
- 前記第1のスコアは、前記特定部分に対応付けられた前記少なくとも1つの特定感情に対する寄与度の大きさを示す、請求項1から請求項9のいずれかに記載のコンピュータプログラム。
- 前記データは、単位時間区間に前記センサにより取得されたデータである、請求項1から請求項10のいずれかに記載のコンピュータプログラム。
- 前記単位時間区間が前記演者又はユーザにより設定される、請求項11に記載のコンピュータプログラム。
- 前記複数の特定部分が、右目、左目、右頬、左頬、鼻、右眉毛、左眉毛、顎、右耳、左耳及び音声を含む群から選択される、請求項1から請求項12のいずれかに記載のコンピュータプログラム。
- 前記複数の特定感情が、前記演者によりユーザインタフェイスを介して選択される、請求項1から請求項13のいずれかに記載のコンピュータプログラム。
- 前記プロセッサは、
前記閾値を上回る第2のスコアを有する複数の特定感情のうち、最も大きい第2のスコアを有する特定感情を、前記演者により表現された感情として選択する、請求項1から14のいずれかに記載のコンピュータプログラム。 - 前記プロセッサは、
前記複数の特定感情の各々に対応付けて記憶された優先度を取得し、
前記閾値を上回る第2のスコアを有する複数の特定感情のうち、最も高い優先度を有する特定感情を、前記演者により表現された感情として選択する、請求項1から請求項15のいずれかに記載のコンピュータプログラム。 - 前記プロセッサは、
前記複数の特定感情の各々に対応付けて記憶された、該各特定感情が前記演者により表現された感情として選択された頻度を取得し、
前記閾値を上回る第2のスコアを有する複数の特定感情のうち、最も高い頻度を有する特定感情を、前記演者により表現された感情として選択する、請求項1から請求項15のいずれかに記載のコンピュータプログラム。 - 前記プロセッサが、中央処理装置(CPU)、マイクロプロセッサ又はグラフィックスプロセッシングユニット(GPU)である、請求項1から請求項17のいずれかに記載のコンピュータプログラム。
- 前記プロセッサが、スマートフォン、タブレット、携帯電話若しくはパーソナルコンピュータ、又は、サーバ装置に搭載される、請求項1から請求項18のいずれかに記載のコンピュータプログラム。
- プロセッサを具備し、
該プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、
センサにより取得された演者に関するデータに基づいて、前記演者に関連する複数の特定部分の各々の変化量を取得し、
複数の特定感情のうち各特定部分に対応付けられた少なくとも1つの特定感情について、該特定部分の変化量に基づく第1のスコアを取得し、
前記複数の特定感情の各々について、該各特定感情について取得された第1のスコアの合計に基づく第2のスコアを取得し、
前記複数の特定感情のうち閾値を上回る第2のスコアを有する特定感情を、前記演者により表現された感情として選択する、ことを特徴とするサーバ装置。 - 前記プロセッサが、中央処理装置(CPU)、マイクロプロセッサ又はグラフィックスプロセッシングユニット(GPU)である、請求項20に記載のサーバ装置。
- 前記複数の特定部分が、右目、左目、右頬、左頬、鼻、右眉毛、左眉毛、顎、右耳、左耳及び音声を含む群から選択される、請求項20又は請求項21に記載のサーバ装置。
- スタジオに配置される、請求項20から請求項22のいずれかに記載のサーバ装置。
- コンピュータにより読み取り可能な命令を実行するプロセッサにより実行される方法であって、
センサにより取得された演者に関するデータに基づいて、前記演者に関連する複数の特定部分の各々の変化量を取得する変化量取得工程と、
複数の特定感情のうち各特定部分に対応付けられた少なくとも1つの特定感情について、該特定部分の変化量に基づく第1のスコアを取得する第1スコア取得工程と、
前記複数の特定感情の各々について、該各特定感情について取得された第1のスコアの合計に基づく第2のスコアを取得する第2スコア取得工程と、
前記複数の特定感情のうち閾値を上回る第2のスコアを有する特定感情を、前記演者により表現された感情として選択する選択工程と、
を含むことを特徴とする方法。 - 各工程が、スマートフォン、タブレット、携帯電話及びパーソナルコンピュータを含む群から選択される端末装置に搭載されたプロセッサにより実行される、請求項24に記載の方法。
- 前記変化量取得工程、前記第1スコア取得工程、前記第2スコア取得工程及び前記選択工程のうち、
前記変化量取得工程のみ、前記変化量取得工程及び前記第1スコア取得工程のみ、又は、前記変化量取得工程、前記第1スコア取得工程及び前記第2スコア取得工程のみが、スマートフォン、タブレット、携帯電話及びパーソナルコンピュータを含む群から選択される端末装置に搭載されたプロセッサにより実行され、
残りの工程が、サーバ装置に搭載されたプロセッサにより実行される、請求項24に記載の方法。 - 前記プロセッサが、中央処理装置(CPU)、マイクロプロセッサ又はグラフィックスプロセッシングユニット(GPU)である、請求項24から請求項26のいずれかに記載の方法。
- 前記複数の特定部分が、右目、左目、右頬、左頬、鼻、右眉毛、左眉毛、顎、右耳、左耳及び音声を含む群から選択される、請求項24から請求項27のいずれかに記載の方法。
- 第1のプロセッサを含む第1の装置と、第2のプロセッサを含み該第1の装置に通信回線を介して接続可能な第2の装置と、を具備するシステムであって、
センサにより取得された演者に関するデータに基づいて、前記演者に関連する複数の特定部分の各々の変化量を取得する、変化量取得処理、
複数の特定感情のうち各特定部分に対応付けられた少なくとも1つの特定感情について、該特定部分の変化量に基づく第1のスコアを取得する、第1スコア取得処理、
前記複数の特定感情の各々について、該各特定感情について取得された第1のスコアの合計に基づく第2のスコアを取得する、第2スコア取得処理、
前記複数の特定感情のうち閾値を上回る第2のスコアを有する特定感情を、前記演者により表現された感情として選択する、選択処理、及び、
選択された前記感情に基づく画像を生成する画像生成処理、のうち、
前記第1の装置に含まれた前記第1のプロセッサが、コンピュータにより読み取り可能な命令を実行することにより、前記変化量取得処理から少なくとも1つの処理を順次実行し、
前記第1のプロセッサにより実行されていない残りの処理が存在する場合には、前記第2の装置に含まれた前記第2のプロセッサが、コンピュータにより読み取り可能な命令を実行することにより、前記残りの処理を実行する、ことを特徴とするシステム。 - 前記第2のプロセッサが、前記第1のプロセッサにより生成された前記画像を、通信回線を介して受信する、請求項29に記載のシステム。
- 第3のプロセッサを含み前記第2の装置に通信回線を介して接続可能な第3の装置をさらに具備し、
前記第2のプロセッサが、生成された前記画像を、通信回線を介して前記第3の装置に送信し、
該第3の装置に含まれた前記第3のプロセッサが、コンピュータにより読み取り可能な命令を実行することにより、前記第2のプロセッサにより送信された前記画像を、通信回線を介して受信し、受信された前記画像を表示部に表示する、請求項29又は請求項30に記載のシステム。 - 前記第1の装置及び前記第3の装置が、それぞれ、スマートフォン、タブレット、携帯電話、パーソナルコンピュータ及びサーバ装置を含む群から選択され、
前記第2の装置がサーバ装置である、請求項31に記載のシステム。 - 第3のプロセッサを含み前記第1の装置及び前記第2の装置に通信回線を介して接続可能な第3の装置をさらに具備し、
前記第1の装置及び前記第2の装置が、それぞれ、スマートフォン、タブレット、携帯電話、パーソナルコンピュータ及びサーバ装置を含む群から選択され、
前記第3の装置がサーバ装置であり、
該第3の装置は、
前記第1の装置が前記変化量取得処理のみを実行する場合には、該第1の装置により取得された前記変化量を前記第2の装置に送信し、
前記第1の装置が前記変化量取得処理から前記第1スコア取得処理までを実行する場合には、該第1の装置により取得された前記第1スコアを前記第2の装置に送信し、
前記第1の装置が前記変化量取得処理から前記第2スコア取得処理までを実行する場合には、該第1の装置により取得された前記第2スコアを前記第2の装置に送信し、
前記第1の装置が前記変化量取得処理から前記選択処理までを実行する場合には、該第1の装置により取得された前記演者により表現された感情を、前記第2の装置に送信し、
前記第1の装置が前記変化量取得処理から前記画像生成処理までを実行する場合には、該第1の装置により生成された前記画像を、前記第2の装置に送信する、
請求項29に記載のシステム。 - 前記通信回線がインターネットを含む、請求項29から請求項33のいずれかに記載のシステム。
- 前記画像が動画像及び/又は静止画像を含む、請求項29から請求項34のいずれかに記載のシステム。
- 第1のプロセッサを含む第1の装置と、第2のプロセッサを含み該第1の装置に通信回線を介して接続可能な第2の装置と、を具備するシステムにおいて実行される方法であって、
センサにより取得された演者に関するデータに基づいて、前記演者に関連する複数の特定部分の各々の変化量を取得する、変化量取得工程、
複数の特定感情のうち各特定部分に対応付けられた少なくとも1つの特定感情について、該特定部分の変化量に基づく第1のスコアを取得する、第1スコア取得工程、
前記複数の特定感情の各々について、該各特定感情について取得された第1のスコアの合計に基づく第2のスコアを取得する、第2スコア取得工程、
前記複数の特定感情のうち閾値を上回る第2のスコアを有する特定感情を、前記演者により表現された感情として選択する、選択工程、及び、
選択された前記感情に基づく画像を生成する画像生成工程、のうち、
前記第1の装置に含まれた前記第1のプロセッサが、コンピュータにより読み取り可能な命令を実行することにより、前記変化量取得工程から少なくとも1つの工程を順次実行し、
前記第1のプロセッサにより実行されていない残りの工程が存在する場合には、前記第2の装置に含まれた前記第2のプロセッサが、コンピュータにより読み取り可能な命令を実行することにより、前記残りの工程を実行する、ことを特徴とする方法。 - 前記第2のプロセッサが、前記第1のプロセッサにより生成された前記画像を、通信回線を介して受信する、請求項36に記載の方法。
- 前記システムが、第3のプロセッサを含み前記第2の装置に通信回線を介して接続可能な第3の装置をさらに具備し、
前記第2のプロセッサが、生成された前記画像を、通信回線を介して前記第3の装置に送信し、
該第3の装置に含まれた前記第3のプロセッサが、コンピュータにより読み取り可能な命令を実行することにより、前記第2のプロセッサにより送信された前記画像を、通信回線を介して受信し、受信された前記画像を表示部に表示する、請求項36又は請求項37に記載の方法。 - 前記第1の装置及び前記第3の装置が、それぞれ、スマートフォン、タブレット、携帯電話、パーソナルコンピュータ及びサーバ装置を含む群から選択され、
前記第2の装置がサーバ装置である、請求項38に記載の方法。 - 前記システムが、第3のプロセッサを含み前記第1の装置及び前記第2の装置に通信回線を介して接続可能な第3の装置をさらに具備し、
前記第1の装置及び前記第2の装置が、それぞれ、スマートフォン、タブレット、携帯電話、パーソナルコンピュータ及びサーバ装置を含む群から選択され、
前記第3の装置がサーバ装置であり、
該第3の装置は、
前記第1の装置が前記変化量取得工程のみを実行する場合には、該第1の装置により取得された前記変化量を前記第2の装置に送信し、
前記第1の装置が前記変化量取得工程から前記第1スコア取得工程までを実行する場合には、該第1の装置により取得された前記第1スコアを前記第2の装置に送信し、
前記第1の装置が前記変化量取得工程から前記第2スコア取得工程までを実行する場合には、該第1の装置により取得された前記第2スコアを前記第2の装置に送信し、
前記第1の装置が前記変化量取得工程から前記選択工程までを実行する場合には、該第1の装置により取得された前記演者により表現された感情を、前記第2の装置に送信し、
前記第1の装置が前記変化量取得工程から前記画像生成工程までを実行する場合には、該第1の装置により生成された前記画像を、前記第2の装置に送信する、
請求項36に記載の方法。 - 前記通信回線がインターネットを含む、請求項36から請求項40のいずれかに記載の方法。
- 前記画像が動画像及び/又は静止画像を含む、請求項36から請求項41のいずれかに記載の方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022166878A JP2023015074A (ja) | 2019-05-20 | 2022-10-18 | コンピュータプログラム、サーバ装置、端末装置、システム及び方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019094557 | 2019-05-20 | ||
JP2019094557 | 2019-05-20 | ||
PCT/JP2020/018556 WO2020235346A1 (ja) | 2019-05-20 | 2020-05-07 | コンピュータプログラム、サーバ装置、端末装置、システム及び方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022166878A Division JP2023015074A (ja) | 2019-05-20 | 2022-10-18 | コンピュータプログラム、サーバ装置、端末装置、システム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020235346A1 JPWO2020235346A1 (ja) | 2020-11-26 |
JP7162737B2 true JP7162737B2 (ja) | 2022-10-28 |
Family
ID=73458472
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021520695A Active JP7162737B2 (ja) | 2019-05-20 | 2020-05-07 | コンピュータプログラム、サーバ装置、端末装置、システム及び方法 |
JP2022166878A Pending JP2023015074A (ja) | 2019-05-20 | 2022-10-18 | コンピュータプログラム、サーバ装置、端末装置、システム及び方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022166878A Pending JP2023015074A (ja) | 2019-05-20 | 2022-10-18 | コンピュータプログラム、サーバ装置、端末装置、システム及び方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220083766A1 (ja) |
JP (2) | JP7162737B2 (ja) |
WO (1) | WO2020235346A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014526829A (ja) | 2011-09-09 | 2014-10-06 | クゥアルコム・インコーポレイテッド | 触覚フィードバックとしての感情の伝送 |
JP2014211719A (ja) | 2013-04-17 | 2014-11-13 | キヤノン株式会社 | 情報処理装置およびその方法 |
JP2016126500A (ja) | 2014-12-26 | 2016-07-11 | Kddi株式会社 | ウェアラブル端末装置およびプログラム |
JP2016149063A (ja) | 2015-02-13 | 2016-08-18 | オムロン株式会社 | 感情推定装置及び感情推定方法 |
JP2016162001A (ja) | 2015-02-26 | 2016-09-05 | Kddi株式会社 | 業務支援装置および業務支援プログラム |
-
2020
- 2020-05-07 WO PCT/JP2020/018556 patent/WO2020235346A1/ja active Application Filing
- 2020-05-07 JP JP2021520695A patent/JP7162737B2/ja active Active
-
2021
- 2021-11-22 US US17/531,805 patent/US20220083766A1/en active Pending
-
2022
- 2022-10-18 JP JP2022166878A patent/JP2023015074A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014526829A (ja) | 2011-09-09 | 2014-10-06 | クゥアルコム・インコーポレイテッド | 触覚フィードバックとしての感情の伝送 |
JP2014211719A (ja) | 2013-04-17 | 2014-11-13 | キヤノン株式会社 | 情報処理装置およびその方法 |
JP2016126500A (ja) | 2014-12-26 | 2016-07-11 | Kddi株式会社 | ウェアラブル端末装置およびプログラム |
JP2016149063A (ja) | 2015-02-13 | 2016-08-18 | オムロン株式会社 | 感情推定装置及び感情推定方法 |
JP2016162001A (ja) | 2015-02-26 | 2016-09-05 | Kddi株式会社 | 業務支援装置および業務支援プログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2020235346A1 (ja) | 2020-11-26 |
JPWO2020235346A1 (ja) | 2020-11-26 |
JP2023015074A (ja) | 2023-01-31 |
US20220083766A1 (en) | 2022-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10097492B2 (en) | Storage medium, communication terminal, and display method for enabling users to exchange messages | |
JP2016528571A (ja) | パーソナル感情アイコンを提供するための方法及びシステム | |
EP3383036A2 (en) | Information processing device, information processing method, and program | |
US20160231878A1 (en) | Communication system, communication terminal, storage medium, and display method | |
CN107085495B (zh) | 一种信息展示方法、电子设备及存储介质 | |
US20160320833A1 (en) | Location-based system for sharing augmented reality content | |
WO2022252866A1 (zh) | 一种互动处理方法、装置、终端及介质 | |
JP2021108030A (ja) | コンピュータプログラム、サーバ装置及び方法 | |
CN110148191A (zh) | 视频虚拟表情生成方法、装置及计算机可读存储介质 | |
JP2019537397A (ja) | 映像のための効果共有方法およびシステム | |
US20220172440A1 (en) | Extended field of view generation for split-rendering for virtual reality streaming | |
WO2022204674A1 (en) | True size eyewear experience in real-time | |
CN108846881B (zh) | 一种表情图像的生成方法及装置 | |
CN107204026B (zh) | 一种用于显示动画的方法和装置 | |
JP7162737B2 (ja) | コンピュータプログラム、サーバ装置、端末装置、システム及び方法 | |
US20230120037A1 (en) | True size eyewear in real time | |
CN115225948A (zh) | 直播间互动方法、装置、设备及介质 | |
CN115220613A (zh) | 一种事件提示处理方法、装置、设备及介质 | |
JP7184835B2 (ja) | コンピュータプログラム、方法及びサーバ装置 | |
CN106780676B (zh) | 一种用于显示动画的方法和装置 | |
JP7129463B2 (ja) | コンピュータプログラム、方法、及び、サーバ装置 | |
US20100073399A1 (en) | Methods and devices for controlling a presentation of an object | |
JP7113065B2 (ja) | コンピュータプログラム、方法、及び、サーバ | |
CN116597050A (zh) | 动画数据的响应方法及相关装置 | |
JP2024044908A (ja) | 方法、プログラム、及び端末装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210927 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210927 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220920 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221018 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7162737 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |