JP7129724B2 - オンラインショー演出システムおよびそのプログラム、並びに笑い解析装置、笑い解析方法およびそのプログラム - Google Patents
オンラインショー演出システムおよびそのプログラム、並びに笑い解析装置、笑い解析方法およびそのプログラム Download PDFInfo
- Publication number
- JP7129724B2 JP7129724B2 JP2021123165A JP2021123165A JP7129724B2 JP 7129724 B2 JP7129724 B2 JP 7129724B2 JP 2021123165 A JP2021123165 A JP 2021123165A JP 2021123165 A JP2021123165 A JP 2021123165A JP 7129724 B2 JP7129724 B2 JP 7129724B2
- Authority
- JP
- Japan
- Prior art keywords
- time period
- laughter
- predetermined time
- user
- terminal device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims description 286
- 238000004519 manufacturing process Methods 0.000 title claims description 24
- 230000008451 emotion Effects 0.000 claims description 275
- 238000007726 management method Methods 0.000 claims description 159
- 230000001815 facial effect Effects 0.000 claims description 72
- 238000006243 chemical reaction Methods 0.000 claims description 68
- 230000008921 facial expression Effects 0.000 claims description 52
- 238000004891 communication Methods 0.000 claims description 43
- 238000009826 distribution Methods 0.000 claims description 35
- 238000003384 imaging method Methods 0.000 claims description 33
- 238000006073 displacement reaction Methods 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 32
- 210000003205 muscle Anatomy 0.000 claims description 25
- 230000002776 aggregation Effects 0.000 claims description 9
- 238000004220 aggregation Methods 0.000 claims description 7
- 210000000216 zygoma Anatomy 0.000 claims description 7
- 230000002238 attenuated effect Effects 0.000 claims description 6
- 238000000034 method Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 26
- 230000000875 corresponding effect Effects 0.000 description 23
- 238000004364 calculation method Methods 0.000 description 21
- 238000003860 storage Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 17
- 238000012545 processing Methods 0.000 description 17
- 230000010354 integration Effects 0.000 description 12
- 238000005259 measurement Methods 0.000 description 10
- 230000002996 emotional effect Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 210000001097 facial muscle Anatomy 0.000 description 5
- 238000003780 insertion Methods 0.000 description 5
- 230000037431 insertion Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 238000009795 derivation Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 206010011469 Crying Diseases 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000011158 quantitative evaluation Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000005054 agglomeration Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000002417 xiphoid bone Anatomy 0.000 description 2
- 206010024796 Logorrhoea Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007831 electrophysiology Effects 0.000 description 1
- 238000002001 electrophysiology Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y10/00—Economic sectors
- G16Y10/65—Entertainment or amusement; Sports
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Social Psychology (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Computational Linguistics (AREA)
- Strategic Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
ショーをオンライン配信する管理端末装置と、
画像出力部と音声出力部と撮像部と録音部とを有し、前記管理端末装置と相互に情報通信可能に構成され、前記管理端末装置によってオンライン配信された情報を前記画像出力部と前記音声出力部に出力してユーザに前記ショーを視聴させる複数のユーザ端末装置と、を含み、
前記ユーザ端末装置および前記管理端末装置の少なくとも一方は、
前記ユーザ端末装置の前記撮像部によって撮像される前記ユーザの顔表情の動きに基づいて前記ユーザの感情を解析して第1感情解析値を算出し、
前記ユーザ端末装置の前記撮像部によって撮像される前記ユーザの身体の動きに基づいて前記ユーザの動きを解析して第2感情解析値を算出し、
前記ユーザ端末装置の前記録音部によって録音される前記ユーザの発声の種類および/または大きさに基づいて前記ユーザのリアクションを解析して第3感情解析値を算出し、
前記ユーザ端末装置を通じて取得されるユーザ情報および端末情報に基づいて前記ユーザの属性を解析してユーザ属性解析値を算出し、
前記第1感情解析値と、前記第2感情解析値と、前記第3感情解析値と、前記ユーザ属性解析値と、に基づいて、総合ユーザ感情解析値を前記ユーザごとに算出し、
前記ユーザのすべてのうち少なくともその一部における複数の前記総合ユーザ感情解析値のそれぞれに基づいて、画像情報および/または音声情報を生成し、
前記ユーザ端末装置がオンライン配信された情報を出力する際、前記ユーザ端末装置の前記画像出力部および/または前記音声出力部に前記画像情報および/または前記音声情報を重畳して出力させる、
オンラインショー演出システム。
(2)
前記ショーが開催される現実または仮想の会場の、場所情報、容積情報、座席数情報、空間情報および想定観客数情報の少なくとも1つが格納されるデータベースをさらに含み、
前記ユーザ端末装置および前記管理端末装置の少なくとも一方は、
前記画像情報および/または前記音声情報を生成する際、前記データベースも参照して前記画像情報および/または前記音声情報を生成する、
(1)に記載のオンラインショー演出システム。
(3)
前記画像情報はテロップ情報、および前記総合ユーザ感情解析値に基づく数値情報の少なくとも1つである、
(1)または(2)に記載のオンラインショー演出システム。
(4)
対象者の顔の少なくとも左右一方において前記対象者の大頬骨筋の前記対象者の目元側の付け根部分に対応する第1の顔表面位置、および前記大頬骨筋の前記付け根部分以外に対応する複数の第2の顔表面位置を、少なくとも取得し、
前記第1の顔表面位置を基準位置に、前記第2の顔表面位置のそれぞれを第1の参照位置に設定した上で、所定の時間周期で、前記第1の参照位置と前記基準位置との、変位のそれぞれを算出し、これら算出された当該変位のそれぞれを所定の時間周期ごとに総和して第1の特徴量を算出し、
前記第1の特徴量に基づいて前記対象者の笑いに関する感情解析値を算出する、
笑い解析装置。
(5)
前記対象者の顔の少なくとも左右一方において前記対象者の頬骨脂肪に対応する複数の第3の顔表面位置を、さらに取得し、
前記複数の第3の顔表面位置のそれぞれを第2の参照位置に設定した上で、所定の時間周期で、前記第2の参照位置のそれぞれで構成される位置群での凝集の程度に基づいて第2の特徴量を算出し、
前記第1の特徴量および前記第2の特徴量に基づいて前記感情解析値を算出する、
(4)に記載の笑い解析装置。
(6)
前記凝集の程度は、前記位置群において一対の組が複数設定され、前記一対の組の間での変位のそれぞれが算出され、これら算出された当該変位のそれぞれが所定の時間周期ごとに総和されることによって算出される、
(5)に記載の笑い解析装置。
(7)
所定の時間周期で、少なくとも前記第1の特徴量および前記第2の特徴量のそれぞれに対しそれぞれで個別に設定される所定の重み付け係数を個別に乗じた上で互いに加算して総合特徴量を算出し、
所定の時間周期の前記総合特徴量と、当該所定の時間周期よりも1周期前の前記総合特徴量と、の差分に基づく所定の力学モデルに従って当該所定の時間周期での単位時間周期当たりの笑いに係るエネルギー量を示す単位笑エネルギーを算出し、
所定の時間周期ごとに前記単位笑エネルギーを累積的に加算して、当該所定の時間周期までの総和笑エネルギーを算出し、
前記総和笑エネルギーに基づいて前記感情解析値を算出する、
(5)または(6)に記載の笑い解析装置。
(8)
所定の時間周期ごとに算出される、前記総合特徴量と第1の閾値との大小関係を所定の時間周期ごとに判定するとともに、従前の所定の時間周期から当該所定の時間周期に至るまで大きいまたは小さいとの同じ判定になり続ける連続回数を計数し、
前記連続回数に対応して前記単位笑エネルギーを減衰して算出する、
(7)に記載の笑い解析装置。
(9)
所定の時間周期ごとに算出される、前記単位笑エネルギーが第2の閾値より大きいか否かを所定の時間周期ごとに判定し、
前記単位笑エネルギーが前記第2の閾値よりも大きいと判定する場合、当該所定の時間周期よりも1周期前に算出された前記総和笑エネルギーに対し当該所定の時間周期の前記単位笑エネルギーを加算して当該所定の時間周期での前記総和笑エネルギーを算出し、
前記単位笑エネルギーが前記第2の閾値よりも大きくないと判定する場合、当該所定の時間周期よりも1周期前に算出された前記総和笑エネルギーを減衰して算出して当該所定の時間周期までの前記総和笑エネルギーに設定する、
(7)または(8)に記載の笑い解析装置。
(10)
対象者の顔表面において前記対象者の大頬骨筋の前記対象者の目元側の付け根部分に対応する第1の顔表面位置、および前記大頬骨筋の前記付け根部分以外に対応する複数の第2の顔表面位置を少なくとも取得し、
前記第1の顔表面位置を基準位置に、前記第2の顔表面位置のそれぞれを第1の参照位置に設定した上で、所定の時間周期で、前記第1の参照位置と前記基準位置との、変位のそれぞれを算出するとともにこれら算出された前記変位を前記所定の時間周期ごとに総和して第1の特徴量を算出し、
前記第1の特徴量に基づいて前記対象者の笑いに関する感情解析値を算出する、
笑い解析方法。
前記(2)の構成によれば、ショーが開催される現実または仮想の会場の情報を踏まえて、そのショーの会場にフィードバックする画像情報および/または音声情報を生成するので、臨場感をより高めることができる。
前記(3)の構成によれば、画面情報がテロップ情報、および総合ユーザ感情解析値に基づく数値情報の少なくとも1つであるので、他視聴者と笑いまたはリアクション・感情を容易に共有することができる。
前記(4)の構成によれば、対象者(ユーザなどの視聴者)の顔の少なくとも左右一方において対象者の大頬骨筋の対象者の目元側の付け根部分に対応する第1の顔表面位置、および大頬骨筋のその付け根部分以外に対応する複数の第2の顔表面位置に基づいてユーザの笑いに関する感情の解析をする。これにより、人(視聴者などのユーザ)の笑いに関する表情または感情を定量的かつ精度よく解析するとともに、その解析での取り扱いを簡便にして解析作業の効率を高めることができる。
前記(5)の構成によれば、ユーザの顔の少なくとも左右一方においてユーザの頬骨脂肪に対応する複数の第3の顔表面位置をさらに取得して笑いに関する感情を解析する。これにより、人の笑いに関する表情および感情をより精度よく解析することができる。
前記(6)の構成によれば、凝集の程度をより簡便に算出することができる。
前記(7)の構成によれば、所定の時間周期の総合特徴量と、当該所定の時間周期よりも1周期前の総合特徴量と、の差分に基づく所定の力学モデルに従って解析する。これにより、人の笑いに関する表情および感情をより一層的確に精度よく解析することができる。
前記(8)の構成によれば、対象者(視聴者などのユーザ)のじんわり笑いといった笑いの遷移が時間的に長い状態を検出することで、笑いに関するエネルギー減衰、および同程度の笑い状態における感情の減衰現象を適応的かつ定量的に表現して、ユーザの笑いに関する感情をさらにより一層精度よく解析することができる。
前記(9)の構成によれば、笑いに関する感情における感情減衰を適応的かつ定量的に表現して、ユーザの笑いに関する感情をより一層精度よく解析することができる。
前記(10)の構成によれば、人(視聴者などのユーザ)の笑いに関する表情および感情を定量的かつ精度よく解析するとともに、その解析での取り扱いを簡便にして解析作業の効率を高めることができる。
まず図1~図12を参照して、本発明に係るオンラインショー演出システム1の第1実施形態について説明する。
図1を参照しながら、本実施形態のオンラインショー演出システム1のネットワーク構成について説明する。図1は、本実施形態のオンラインショー演出システム1のネットワーク構成を説明する概略構成図である。
なお、通信ネットワーク2は、管理端末装置10およびユーザ端末装置20の間の通信を促進するために、相互に接続して使用される、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、携帯電話ネットワーク(MTN)および他の種類のネットワークを適宜含むことも可能である。
また、本実施形態では、ユーザの顔表面位置を取得する装置として、ユーザ端末装置20の撮像部(たとえばカメラなど)が用いられるが、これに限定されない。ユーザの顔表面位置を検出可能なデバイスであれば、レーザーなどの特殊な光を用いた光学式、または磁気式などの位置計測デバイスについても適宜採用することが可能である。
なお、本実施形態では、システムの大部分の機能が管理端末装置10に実装されるがこれに限定されない。たとえば、後述する管理端末装置10の機能の一部またはそのすべてをユーザ端末装置20に実装し、ユーザ端末装置20のそれぞれが自律的にシステムの大部分の機能を実現してもよい。
なお、管理端末装置10は前述した汎用のサーバのコンピュータに限定されず、ユーザ端末装置20と同様にスマートフォンまたはラップトップコンピュータなどのコンピュータによって構成されてもよい。
図2を参照しながら、管理端末装置10の構成について説明する。図2は、図1に示す管理端末装置10の機能を説明するブロック図である。
なお、通信方式は、前述のような通信方式の他、Bluetooth(登録商標)なども適宜含んで構成することも可能である。
なお、その他、目または鼻の開き具合、眉の動き、涕涙(ているい)の有無、顔の輪郭の変化、またそれぞれが変化する際の加速度なども合わせて取得され、その取得の結果に基づいて第1感情解析値が数値化されるように構成されてもよい。
図3を参照しながら、本実施形態での管理端末装置10およびユーザ端末装置20の間での連携動作のフローについて説明する。図3は、本実施形態での管理端末装置10およびユーザ端末装置20の間での連携動作を説明するフロー図である。
図4を参照しながら、管理端末装置10のユーザ感情解析部15によるユーザの笑いに関する感情解析の基本動作についてさらに詳細に説明する。図4は、図2に示す管理端末装置10のユーザ感情解析部15が実行するメインプロセスを例示するフロー図である。
なお、本実施形態では、前述した総合特徴量C4は笑いの表情に近くなるほどその値は減少するように設けられるが、その逆に大きくなるように規定してもよい。その場合、後述するサブプロセスでの総合特徴量C4の大小関係の比較判定をそれに対応するように変更すればよい。この場合でも、同様な作用効果を得ることが可能である。
なお、力学モデルとして、バネモデルが用いられる場合など、その弾性係数などのパラメータはユーザの表情筋の力学的特性に基づいて適宜決定されるとよい。
図5~図8を参照しながら、総合特徴量算出サブプロセス(S300)について説明する。図5は、図4に示す総合特徴量算出サブプロセス(S300)を例示するフロー図である。図6は、ユーザの顔表面において第1の顔表面位置A1、第2の顔表面位置A21,A22,A23,・・・および第3の顔表面位置A31,A32,A33,・・・の配置、および第4の顔表面位置A41,A42,A43,・・・の位置関係を例示する顔の模式図である。図7は、第1の顔表面位置A1および第2の顔表面位置A21に基づいて算出される第1の特徴量C1を説明する模式図である。図8は、第3の顔表面位置A31に基づいて算出される第2の特徴量C2を説明する模式図である。図9は、第4の顔表面位置A41,A42,A43,・・・に基づいて算出される第3の特徴量C3を説明する模式図である。
図10を参照しながら、総合特徴量変動判定サブプロセス(S400)について説明する。図10は、図4に示す総合特徴量変動判定サブプロセス(S400)を例示するフロー図である。
図11を参照しながら、単位笑エネルギー変動判定サブプロセス(S600)について説明する。図11は、図4に示す単位笑エネルギー変動判定サブプロセス(S600)を例示するフロー図である。
なお、本実施形態では、この減衰の処理は、たとえば第2のカウンタの値の逆数を乗算することで実行される。
図12を参照しながら、笑度算出サブプロセス(S700)について説明する。図12は、図4に示す笑度算出サブプロセス(S700)を例示するフロー図である。
なお、前述の差分が第2の閾値よりも小さいと判定される場合(S705のNO)、本サブプロセスは終了し、メインプロセスに戻る(RETURN)。
以上により、本実施形態のオンラインショー演出システム1によれば、ショーをオンライン配信する管理端末装置10と、画像出力部と音声出力部と撮像部と録音部とを有し、管理端末装置10と相互に情報通信可能に構成され、画像出力部と音声出力部にオンライン配信された情報を出力してユーザにショーを視聴させる複数のユーザ端末装置20と、を含む。管理端末装置10は、ユーザ端末装置20の撮像部によって撮像されるユーザの表情の動きに基づいてユーザの感情を解析して第1感情解析値を算出し、ユーザ端末装置20の撮像部によって撮像されるユーザの身体の動きに基づいてユーザの動きを解析して第2感情解析値を算出し、ユーザ端末装置20の録音部によって録音されるユーザの発声の種類や大きさに基づいてユーザのリアクションを解析して第3感情解析値を算出し、ユーザ端末装置20を通じて取得されるユーザ情報および端末情報に基づいてユーザの属性を解析してユーザ属性解析値を算出し、第1感情解析値と、第2感情解析値と、第3感情解析値と、ユーザ属性解析値と、に基づいて、総合ユーザ感情解析値をユーザごとに算出し、ユーザのすべてのうち少なくともその一部における複数の総合ユーザ感情解析値に基づいて、画像情報および音声情報を生成し、ユーザ端末装置20がオンライン配信された情報を出力する際、ユーザ端末装置20の画像出力部および音声出力部に画像情報および音声情報を重畳して出力させる。
次に図13~図15を参照して、本発明に係るオンラインショー演出システム1の第2実施形態について説明する。
なお、前述の第1実施形態と同一または同等部分については、図面に同一あるいは同等符号を付してその説明を省略あるいは簡略化する。
図13および図14を参照しながら、管理端末装置10およびユーザ端末装置20の構成について説明する。図13は、本実施形態の管理端末装置10の機能を説明するブロック図である。図14は、本実施形態のユーザ端末装置20の機能を説明するブロック図である。
なお、ユーザ端末装置20の笑い声・リアクション生成部23、ユーザ感情統合部24およびユーザ感情解析部25は、ユーザ端末装置20のアプリケーションソフト(以下単に「アプリ」ともいう。)として実現される。
図15を参照しながら、本実施形態での管理端末装置10およびユーザ端末装置20の間での連携動作のフローについて説明する。図15は、本実施形態での管理端末装置10およびユーザ端末装置20の間での連携動作を説明するフロー図である。
以上により、本実施形態のオンラインショー演出システム1によれば、ユーザ端末装置20は、ユーザ端末装置20の撮像部によって撮像されるユーザの表情の動きに基づいてユーザの感情を解析して第1感情解析値を算出し、ユーザ端末装置20の撮像部によって撮像されるユーザの身体の動きに基づいてユーザの動きを解析して第2感情解析値を算出し、ユーザ端末装置20の録音部によって録音されるユーザの発声の種類や大きさに基づいてユーザのリアクションを解析して第3感情解析値を算出し、ユーザ端末装置20を通じて取得されるユーザ情報および端末情報に基づいてユーザの属性を解析してユーザ属性解析値を算出し、第1感情解析値と、第2感情解析値と、第3感情解析値と、ユーザ属性解析値と、に基づいて、総合ユーザ感情解析値をユーザごとに算出し、ユーザのすべてのうち少なくともその一部における複数の総合ユーザ感情解析値に基づいて、画像情報および音声情報を生成し、ユーザ端末装置20がオンライン配信された情報を出力する際、ユーザ端末装置20の画像出力部および音声出力部に画像情報および音声情報を重畳して出力させる。
その他の構成や作用などについては、前述の第1実施形態と同様である。
たとえば、ユーザ感情解析部(15,25)は管理端末装置(10)またはユーザ端末装置(20)に搭載される機能として実現されるが、これに限定さない。ユーザ感情解析部(15,25)は、たとえば他のシステムまたは装置に設けられてもよく、あるいは笑い解析装置として単独で実現されてもよい。
また、前述の第2実施形態では、管理端末装置(10)およびユーザ端末装置(20)の両方に、笑い声・リアクション生成部(13,23)を設けたが、これに限定されない。前述の第1実施形態と同様に管理端末装置(10)にのみに設けてもよいし、あるいはユーザ端末装置(20)にのみ設けてもよい。すなわち、前述したオンラインショー演出システム(1)での機能が管理端末装置(10)およびユーザ端末装置(20)との間で重畳して役割分担されてもよいし、完全に分離されて役割分担されてもよいし、あるいは一方側のみでその機能すべてが実現されるように設けてもよい。
2 :通信ネットワーク
10 :管理端末装置
11 :オンライン配信部
12 :画像音声挿入部
13 :笑い声・リアクション生成部
14 :ユーザ感情統合部
15 :ユーザ感情解析部
16 :解析値決定部
17 :感情解析部
18 :情報通信部
19 :解析データベース部
20 :ユーザ端末装置
23 :笑い声・リアクション生成部
24 :ユーザ感情統合部
25 :ユーザ感情解析部
28 :情報通信部
A1 :第1の顔表面位置
A21 :第2の顔表面位置
A22 :第2の顔表面位置
A23 :第2の顔表面位置
A31 :第3の顔表面位置
A32 :第3の顔表面位置
A33 :第3の顔表面位置
A41 :第4の顔表面位置,第1の口元位置
A42 :第4の顔表面位置,第2の口元位置
A43 :第4の顔表面位置,第3の口元位置
C1 :第1の特徴量
C2 :第2の特徴量
C3 :第3の特徴量
C4 :総合特徴量
D :交角
V1 :第1のベクトル
V2 :第2のベクトル
W :総合笑い声・リアクション生成値
m1 :個人動画データ
m2 :個人動画データ
m3 :個人動画データ
p1 :個人総合感情解析値
p2 :個人総合感情解析値
p3 :個人総合感情解析値
w1 :個人笑い声・リアクション生成値
w2 :個人笑い声・リアクション生成値
w3 :個人笑い声・リアクション生成値
Claims (22)
- ショーをオンライン配信する管理端末装置と、
画像出力部と音声出力部と撮像部と録音部とを有し、前記管理端末装置と相互に情報通信可能に構成され、前記管理端末装置によってオンライン配信された情報を前記画像出力部と前記音声出力部に出力してユーザに前記ショーを視聴させる複数のユーザ端末装置と、を含み、
前記ユーザ端末装置および前記管理端末装置の少なくとも一方は、
前記ユーザ端末装置の前記撮像部によって撮像される前記ユーザの顔表情の動きに基づいて前記ユーザの感情を解析して第1感情解析値を算出し、
このとき当該第1感情解析値の算出の際には、前記ユーザ端末装置の前記撮像部によって、前記ユーザの顔の少なくとも左右一方において前記ユーザの大頬骨筋の前記ユーザの目元側の付け根部分に対応する第1の顔表面位置、および前記大頬骨筋の前記付け根部分以外に対応する複数の第2の顔表面位置が、少なくとも取得されており、前記第1の顔表面位置を基準位置に、前記第2の顔表面位置のそれぞれを第1の参照位置に設定した上で、所定の時間周期で、前記第1の参照位置と前記基準位置との、変位のそれぞれを算出し、これら算出された当該変位のそれぞれを所定の時間周期ごとに総和して第1の特徴量を算出し、前記第1の特徴量に基づいて、当該第1感情解析値のうち前記ユーザの笑いに関する感情解析値を算出し、
前記ユーザ端末装置の前記撮像部によって撮像される前記ユーザの身体の動きに基づいて前記ユーザの動きを解析して第2感情解析値を算出し、
前記ユーザ端末装置の前記録音部によって録音される前記ユーザの発声の種類および/または大きさに基づいて前記ユーザのリアクションを解析して第3感情解析値を算出し、
前記ユーザ端末装置を通じて取得されるユーザ情報および端末情報に基づいて前記ユーザの属性を解析してユーザ属性解析値を算出し、
前記第1感情解析値と、前記第2感情解析値と、前記第3感情解析値と、前記ユーザ属性解析値と、に基づいて、総合ユーザ感情解析値を前記ユーザごとに算出し、
前記ユーザのすべてのうち少なくともその一部における複数の前記総合ユーザ感情解析値のそれぞれに基づいて、画像情報および/または音声情報を生成し、
前記ユーザ端末装置がオンライン配信された情報を出力する際、前記ユーザ端末装置の前記画像出力部および/または前記音声出力部に前記画像情報および/または前記音声情報を重畳して出力させる
オンラインショー演出システム。 - 前記ショーが開催される現実または仮想の会場の、場所情報、容積情報、座席数情報、空間情報および想定観客数情報の少なくとも1つが格納されるデータベースをさらに含み、
前記ユーザ端末装置および前記管理端末装置の少なくとも一方は、
前記画像情報および/または前記音声情報を生成する際、前記データベースも参照して前記画像情報および/または前記音声情報を生成する、
請求項1に記載のオンラインショー演出システム。 - ショーをオンライン配信する管理端末装置と、画像出力部と音声出力部と撮像部と録音部とを有する複数のユーザ端末装置と、が相互に情報通信可能に構成され、前記管理端末装置によってオンライン配信された情報が前記ユーザ端末装置のそれぞれの前記画像出力部と前記音声出力部に出力されてユーザに前記ショーを視聴させるために、前記管理端末装置および/またはユーザ端末装置に係るコンピュータに、
前記ユーザ端末装置の前記撮像部によって撮像される前記ユーザの顔表情の動きに基づいて前記ユーザの感情を解析して第1感情解析値を算出し、
このとき当該第1感情解析値の算出の際には、前記ユーザ端末装置の前記撮像部によって、前記ユーザの顔の少なくとも左右一方において前記ユーザの大頬骨筋の前記ユーザの目元側の付け根部分に対応する第1の顔表面位置、および前記大頬骨筋の前記付け根部分以外に対応する複数の第2の顔表面位置が、少なくとも取得されており、前記第1の顔表面位置を基準位置に、前記第2の顔表面位置のそれぞれを第1の参照位置に設定した上で、所定の時間周期で、前記第1の参照位置と前記基準位置との、変位のそれぞれを算出し、これら算出された当該変位のそれぞれを所定の時間周期ごとに総和して第1の特徴量を算出し、前記第1の特徴量に基づいて、当該第1感情解析値のうち前記ユーザの笑いに関する感情解析値を算出し、
前記ユーザ端末装置の前記撮像部によって撮像される前記ユーザの身体の動きに基づいて前記ユーザの動きを解析して第2感情解析値を算出し、
前記ユーザ端末装置の前記録音部によって録音される前記ユーザの発声の種類および/または大きさに基づいて前記ユーザのリアクションを解析して第3感情解析値を算出し、
前記ユーザ端末装置を通じて取得されるユーザ情報および端末情報に基づいて前記ユーザの属性を解析してユーザ属性解析値を算出し、
前記第1感情解析値と、前記第2感情解析値と、前記第3感情解析値と、前記ユーザ属性解析値と、に基づいて、総合ユーザ感情解析値を前記ユーザごとに算出し、
前記ユーザのすべてのうち少なくともその一部における複数の前記総合ユーザ感情解析値のそれぞれに基づいて、画像情報および/または音声情報を生成し、
前記ユーザ端末装置がオンライン配信された情報を出力する際、前記ユーザ端末装置の前記画像出力部および/または前記音声出力部に前記画像情報および/または前記音声情報を重畳して出力させる、
機能を実現するための、プログラム。 - 前記画像情報および/または前記音声情報を生成する際、前記ショーが開催される現実または仮想の会場の、場所情報、容積情報、座席数情報、空間情報および想定観客数情報の少なくとも1つが格納されるデータベースも参照して前記画像情報および/または前記音声情報を生成する、
機能をさらに実現するための、請求項3に記載のプログラム。 - 対象者の顔の少なくとも左右一方において前記対象者の大頬骨筋の前記対象者の目元側の付け根部分に対応する第1の顔表面位置、および前記大頬骨筋の前記付け根部分以外に対応する複数の第2の顔表面位置を、少なくとも取得し、
前記第1の顔表面位置を基準位置に、前記第2の顔表面位置のそれぞれを第1の参照位置に設定した上で、所定の時間周期で、前記第1の参照位置と前記基準位置との、変位のそれぞれを算出し、これら算出された当該変位のそれぞれを所定の時間周期ごとに総和して第1の特徴量を算出し、
前記第1の特徴量に基づいて前記対象者の笑いに関する感情解析値を算出する、
笑い解析装置。 - 前記対象者の顔の少なくとも左右一方において前記対象者の頬骨脂肪に対応する複数の第3の顔表面位置を、さらに取得し、
前記複数の第3の顔表面位置のそれぞれを第2の参照位置に設定した上で、所定の時間周期で、前記第2の参照位置のそれぞれで構成される位置群での凝集の程度に基づいて第2の特徴量を算出し、
前記第1の特徴量および前記第2の特徴量に基づいて前記感情解析値を算出する、
請求項5に記載の笑い解析装置。 - 前記凝集の程度は、前記位置群において一対の組が複数設定され、前記一対の組の間での変位のそれぞれが算出され、これら算出された当該変位のそれぞれが所定の時間周期ごとに総和されることによって算出される、
請求項6に記載の笑い解析装置。 - 所定の時間周期で、少なくとも前記第1の特徴量および前記第2の特徴量のそれぞれに対しそれぞれで個別に設定される所定の重み付け係数を乗じた上で互いに加算して総合特徴量を算出し、
所定の時間周期の前記総合特徴量と、当該所定の時間周期よりも1周期前の前記総合特徴量と、の差分に基づく所定の力学モデルに従って当該所定の時間周期での単位時間周期当たりの笑いに係るエネルギー量を示す単位笑エネルギーを算出し、
所定の時間周期ごとに前記単位笑エネルギーを累積的に加算して、当該所定の時間周期までの総和笑エネルギーを算出し、
前記総和笑エネルギーに基づいて前記感情解析値を算出する、
請求項6または7に記載の笑い解析装置。 - 所定の時間周期ごとに算出される、前記総合特徴量と第1の閾値との大小関係を所定の時間周期ごとに判定するとともに、従前の所定の時間周期から当該所定の時間周期に至るまで大きいまたは小さいとの同じ判定になり続ける連続回数を計数し、
前記連続回数に対応して前記単位笑エネルギーを減衰して算出する、
請求項8に記載の笑い解析装置。 - 所定の時間周期ごとに算出される、前記単位笑エネルギーが第2の閾値より大きいか否かを所定の時間周期ごとに判定し、
前記単位笑エネルギーが前記第2の閾値よりも大きいと判定する場合、当該所定の時間周期よりも1周期前に算出された前記総和笑エネルギーに対し当該所定の時間周期の前記単位笑エネルギーを加算して当該所定の時間周期での前記総和笑エネルギーを算出し、
前記単位笑エネルギーが前記第2の閾値よりも大きくないと判定する場合、当該所定の時間周期よりも1周期前に算出された前記総和笑エネルギーを減衰して算出して当該所定の時間周期までの前記総和笑エネルギーに設定する、
請求項8または9に記載の笑い解析装置。 - 対象者の顔表面において前記対象者の大頬骨筋の前記対象者の目元側の付け根部分に対応する第1の顔表面位置、および前記大頬骨筋の前記付け根部分以外に対応する複数の第2の顔表面位置を少なくとも取得し、
前記第1の顔表面位置を基準位置に、前記第2の顔表面位置のそれぞれを第1の参照位置に設定した上で、所定の時間周期で、前記第1の参照位置と前記基準位置との、変位のそれぞれを算出するとともにこれら算出された前記変位を前記所定の時間周期ごとに総和して第1の特徴量を算出し、
前記第1の特徴量に基づいて前記対象者の笑いに関する感情解析値を算出する、
笑い解析方法。 - 前記対象者の顔の少なくとも左右一方において前記対象者の頬骨脂肪に対応する複数の第3の顔表面位置を、さらに取得し、
前記複数の第3の顔表面位置のそれぞれを第2の参照位置に設定した上で、所定の時間周期で、前記第2の参照位置のそれぞれで構成される位置群での凝集の程度に基づいて第2の特徴量を算出し、
前記第1の特徴量および前記第2の特徴量に基づいて前記感情解析値を算出する、
請求項11に記載の笑い解析方法。 - 前記凝集の程度は、前記位置群において一対の組が複数設定され、前記一対の組の間での変位のそれぞれが算出され、これら算出された当該変位のそれぞれが所定の時間周期ごとに総和されることによって算出される、
請求項12に記載の笑い解析方法。 - 所定の時間周期で、少なくとも前記第1の特徴量および前記第2の特徴量のそれぞれに対しそれぞれで個別に設定される所定の重み付け係数を乗じた上で互いに加算して総合特徴量を算出し、
所定の時間周期の前記総合特徴量と、当該所定の時間周期よりも1周期前の前記総合特徴量と、の差分に基づく所定の力学モデルに従って当該所定の時間周期での単位時間周期当たりの笑いに係るエネルギー量を示す単位笑エネルギーを算出し、
所定の時間周期ごとに前記単位笑エネルギーを累積的に加算して、当該所定の時間周期までの総和笑エネルギーを算出し、
前記総和笑エネルギーに基づいて前記感情解析値を算出する、
請求項12または13に記載の笑い解析方法。 - 所定の時間周期ごとに算出される、前記総合特徴量と第1の閾値との大小関係を所定の時間周期ごとに判定するとともに、従前の所定の時間周期から当該所定の時間周期に至るまで大きいまたは小さいとの同じ判定になり続ける連続回数を計数し、
前記連続回数に対応して前記単位笑エネルギーを減衰して算出する、
請求項14に記載の笑い解析方法。 - 所定の時間周期ごとに算出される、前記単位笑エネルギーが第2の閾値より大きいか否かを所定の時間周期ごとに判定し、
前記単位笑エネルギーが前記第2の閾値よりも大きいと判定する場合、当該所定の時間周期よりも1周期前に算出された前記総和笑エネルギーに対し当該所定の時間周期の前記単位笑エネルギーを加算して当該所定の時間周期での前記総和笑エネルギーを算出し、
前記単位笑エネルギーが前記第2の閾値よりも大きくないと判定する場合、当該所定の時間周期よりも1周期前に算出された前記総和笑エネルギーを減衰して算出して当該所定の時間周期までの前記総和笑エネルギーに設定する、
請求項14または15に記載の笑い解析方法。 - コンピュータに、
対象者の顔表面において前記対象者の大頬骨筋の前記対象者の目元側の付け根部分に対応する第1の顔表面位置、および前記大頬骨筋の前記付け根部分以外に対応する複数の第2の顔表面位置を少なくとも取得し、
前記第1の顔表面位置を基準位置に、前記第2の顔表面位置のそれぞれを第1の参照位置に設定した上で、所定の時間周期で、前記第1の参照位置と前記基準位置との、変位のそれぞれを算出するとともにこれら算出された前記変位を前記所定の時間周期ごとに総和して第1の特徴量を算出し、
前記第1の特徴量に基づいて前記対象者の笑いに関する感情解析値を算出する、
機能を実現させるための、プログラム。 - 前記対象者の顔の少なくとも左右一方において前記対象者の頬骨脂肪に対応する複数の第3の顔表面位置を、さらに取得し、
前記複数の第3の顔表面位置のそれぞれを第2の参照位置に設定した上で、所定の時間周期で、前記第2の参照位置のそれぞれで構成される位置群での凝集の程度に基づいて第2の特徴量を算出し、
前記第1の特徴量および前記第2の特徴量に基づいて前記感情解析値を算出する、
機能をさらに実現させるための、請求項17に記載のプログラム。 - 前記凝集の程度は、前記位置群において一対の組が複数設定され、前記一対の組の間での変位のそれぞれが算出され、これら算出された当該変位のそれぞれが所定の時間周期ごとに総和されることによって算出される、
機能をさらに実現させるための、請求項18に記載のプログラム。 - 所定の時間周期で、少なくとも前記第1の特徴量および前記第2の特徴量のそれぞれに対しそれぞれで個別に設定される所定の重み付け係数を乗じた上で互いに加算して総合特徴量を算出し、
所定の時間周期の前記総合特徴量と、当該所定の時間周期よりも1周期前の前記総合特徴量と、の差分に基づく所定の力学モデルに従って当該所定の時間周期での単位時間周期当たりの笑いに係るエネルギー量を示す単位笑エネルギーを算出し、
所定の時間周期ごとに前記単位笑エネルギーを累積的に加算して、当該所定の時間周期までの総和笑エネルギーを算出し、
前記総和笑エネルギーに基づいて前記感情解析値を算出する、
機能をさらに実現させるための、請求項18または19に記載のプログラム。 - 所定の時間周期ごとに算出される、前記総合特徴量と第1の閾値との大小関係を所定の時間周期ごとに判定するとともに、従前の所定の時間周期から当該所定の時間周期に至るまで大きいまたは小さいとの同じ判定になり続ける連続回数を計数し、
前記連続回数に対応して前記単位笑エネルギーを減衰して算出する、
機能をさらに実現させるための、請求項20に記載のプログラム。 - 所定の時間周期ごとに算出される、前記単位笑エネルギーが第2の閾値より大きいか否かを所定の時間周期ごとに判定し、
前記単位笑エネルギーが前記第2の閾値よりも大きいと判定する場合、当該所定の時間周期よりも1周期前に算出された前記総和笑エネルギーに対し当該所定の時間周期の前記単位笑エネルギーを加算して当該所定の時間周期での前記総和笑エネルギーを算出し、
前記単位笑エネルギーが前記第2の閾値よりも大きくないと判定する場合、当該所定の時間周期よりも1周期前に算出された前記総和笑エネルギーを減衰して算出して当該所定の時間周期までの前記総和笑エネルギーに設定する、
機能をさらに実現させるための、請求項20または21に記載のプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020127869 | 2020-07-29 | ||
JP2020127869 | 2020-07-29 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022027591A JP2022027591A (ja) | 2022-02-10 |
JP2022027591A5 JP2022027591A5 (ja) | 2022-06-13 |
JP7129724B2 true JP7129724B2 (ja) | 2022-09-02 |
Family
ID=80035729
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021123165A Active JP7129724B2 (ja) | 2020-07-29 | 2021-07-28 | オンラインショー演出システムおよびそのプログラム、並びに笑い解析装置、笑い解析方法およびそのプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230199251A1 (ja) |
JP (1) | JP7129724B2 (ja) |
WO (1) | WO2022025113A1 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006115406A (ja) | 2004-10-18 | 2006-04-27 | Omron Corp | 撮像装置 |
JP2008125599A (ja) | 2006-11-17 | 2008-06-05 | Yokohama Rubber Co Ltd:The | 強感受性骨格筋の選択方法、強感受性骨格筋の選択装置、作業中ストレスの評価方法、および作業中ストレスの評価システム |
JP2008242602A (ja) | 2007-03-26 | 2008-10-09 | Denso Corp | 眠気警報装置、及びプログラム |
WO2014192457A1 (ja) | 2013-05-30 | 2014-12-04 | ソニー株式会社 | クライアント装置、制御方法、システム、およびプログラム |
JP2017140198A (ja) | 2016-02-09 | 2017-08-17 | Kddi株式会社 | 筋電信号を用いて顔表情を高い精度で識別する装置、デバイス、プログラム及び方法 |
JP6709868B1 (ja) | 2019-03-06 | 2020-06-17 | 株式会社 ポーラ | 解析方法、解析システム及び解析プログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5361530B2 (ja) * | 2009-05-20 | 2013-12-04 | キヤノン株式会社 | 画像認識装置、撮像装置及び画像認識方法 |
JP2014119879A (ja) * | 2012-12-14 | 2014-06-30 | Nippon Hoso Kyokai <Nhk> | 顔表情評価結果平滑化装置および顔表情評価結果平滑化プログラム |
-
2021
- 2021-07-28 US US18/018,131 patent/US20230199251A1/en active Pending
- 2021-07-28 WO PCT/JP2021/027893 patent/WO2022025113A1/ja active Application Filing
- 2021-07-28 JP JP2021123165A patent/JP7129724B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006115406A (ja) | 2004-10-18 | 2006-04-27 | Omron Corp | 撮像装置 |
JP2008125599A (ja) | 2006-11-17 | 2008-06-05 | Yokohama Rubber Co Ltd:The | 強感受性骨格筋の選択方法、強感受性骨格筋の選択装置、作業中ストレスの評価方法、および作業中ストレスの評価システム |
JP2008242602A (ja) | 2007-03-26 | 2008-10-09 | Denso Corp | 眠気警報装置、及びプログラム |
WO2014192457A1 (ja) | 2013-05-30 | 2014-12-04 | ソニー株式会社 | クライアント装置、制御方法、システム、およびプログラム |
JP2017140198A (ja) | 2016-02-09 | 2017-08-17 | Kddi株式会社 | 筋電信号を用いて顔表情を高い精度で識別する装置、デバイス、プログラム及び方法 |
JP6709868B1 (ja) | 2019-03-06 | 2020-06-17 | 株式会社 ポーラ | 解析方法、解析システム及び解析プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2022027591A (ja) | 2022-02-10 |
US20230199251A1 (en) | 2023-06-22 |
WO2022025113A1 (ja) | 2022-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111936036B (zh) | 使用生物特征传感器数据检测神经状态来指导现场娱乐 | |
US10699482B2 (en) | Real-time immersive mediated reality experiences | |
JP6260979B1 (ja) | 事象評価支援システム、事象評価支援装置、及び事象評価支援プログラム | |
US20200405213A1 (en) | Content generation and control using sensor data for detection of neurological state | |
Le et al. | Live speech driven head-and-eye motion generators | |
KR20190038900A (ko) | 단어 흐름 주석 | |
CN108885690A (zh) | 用于产生头相关传递函数滤波器的布置 | |
JP2013008031A (ja) | 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム | |
JP7210602B2 (ja) | オーディオ信号の処理用の方法及び装置 | |
KR101913811B1 (ko) | 얼굴 표현 및 심리 상태 파악과 보상을 위한 얼굴 정보 분석 방법 및 얼굴 정보 분석 장치 | |
US20190349702A1 (en) | Head-related transfer function personalization using simulation | |
JP6715410B2 (ja) | 評価方法、評価装置、評価プログラム、および、評価システム | |
Wallace et al. | Learning embodied sound-motion mappings: Evaluating AI-generated dance improvisation | |
Kimura et al. | TieLent: A Casual Neck-Mounted Mouth Capturing Device for Silent Speech Interaction | |
JP7285244B2 (ja) | コンピュータプログラム、方法及びサーバ装置 | |
JP7129724B2 (ja) | オンラインショー演出システムおよびそのプログラム、並びに笑い解析装置、笑い解析方法およびそのプログラム | |
Berghi et al. | Tragic Talkers: A Shakespearean sound-and light-field dataset for audio-visual machine learning research | |
JP2008186075A (ja) | インタラクティブ画像表示装置 | |
JP7161200B2 (ja) | カラオケ演出システム | |
Chugh et al. | envolve: Are you listening? inertial sensing to monitor the involvement of silent listeners during an online interaction | |
JP7442107B2 (ja) | 動画再生装置、動画再生方法、及び動画配信システム | |
Ozawa et al. | Kansei estimation models for the sense of presence in audio-visual content with different audio reproduction methods | |
JP6945693B2 (ja) | 動画再生装置、動画再生方法、及び動画配信システム | |
JP2022027591A5 (ja) | オンラインショー演出システムおよびそのプログラム、並びに笑い解析装置、笑い解析方法およびそのプログラム | |
GB2621868A (en) | An image processing method, device and computer program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
AA64 | Notification of invalidation of claim of internal priority (with term) |
Free format text: JAPANESE INTERMEDIATE CODE: A241764 Effective date: 20210831 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211019 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220603 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220603 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220603 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220613 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220711 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220721 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220816 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7129724 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |