JP7416903B2 - Video distribution system, video distribution method, and video distribution program - Google Patents
Video distribution system, video distribution method, and video distribution program Download PDFInfo
- Publication number
- JP7416903B2 JP7416903B2 JP2022200761A JP2022200761A JP7416903B2 JP 7416903 B2 JP7416903 B2 JP 7416903B2 JP 2022200761 A JP2022200761 A JP 2022200761A JP 2022200761 A JP2022200761 A JP 2022200761A JP 7416903 B2 JP7416903 B2 JP 7416903B2
- Authority
- JP
- Japan
- Prior art keywords
- actor
- video
- information
- viewing user
- viewing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009826 distribution Methods 0.000 title claims description 92
- 238000000034 method Methods 0.000 title claims description 45
- 238000011156 evaluation Methods 0.000 claims description 52
- 230000008451 emotion Effects 0.000 claims description 50
- 230000001133 acceleration Effects 0.000 claims description 49
- 230000001755 vocal effect Effects 0.000 claims description 44
- 230000002996 emotional effect Effects 0.000 claims description 21
- 238000003860 storage Methods 0.000 description 45
- 230000009471 action Effects 0.000 description 35
- 230000008859 change Effects 0.000 description 24
- 230000008569 process Effects 0.000 description 23
- 238000003384 imaging method Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 20
- 230000008921 facial expression Effects 0.000 description 17
- 230000001815 facial effect Effects 0.000 description 16
- 238000006243 chemical reaction Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 14
- 230000014509 gene expression Effects 0.000 description 13
- 230000006399 behavior Effects 0.000 description 11
- 230000004044 response Effects 0.000 description 10
- 210000003128 head Anatomy 0.000 description 9
- 208000003443 Unconsciousness Diseases 0.000 description 7
- 238000005070 sampling Methods 0.000 description 7
- 230000003993 interaction Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 210000001508 eye Anatomy 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000010365 information processing Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012854 evaluation process Methods 0.000 description 3
- 230000004424 eye movement Effects 0.000 description 3
- 230000001953 sensory effect Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000012661 Dyskinesia Diseases 0.000 description 1
- 241000590419 Polygonia interrogationis Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 210000003050 axon Anatomy 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000017311 musculoskeletal movement, spinal reflex action Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035900 sweating Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000021542 voluntary musculoskeletal movement Effects 0.000 description 1
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
Description
本明細書における開示は、アクターの行動に基づいて生成されたキャラクタオブジェクトのアニメーションが含まれる動画を配信する動画配信システム、動画配信方法、及び動画配信プログラムに関する。本明細書における開示は、より具体的には、アクターなどの動画制作者に対して有用なフィードバックを提供できる動画配信システム、動画配信方法、及び動画配信プログラムに関する。 The disclosure herein relates to a video distribution system, a video distribution method, and a video distribution program that distribute videos including animations of character objects generated based on the actions of actors. More specifically, the disclosure herein relates to a video distribution system, a video distribution method, and a video distribution program that can provide useful feedback to video producers such as actors.
アクターの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを生成し、当該アニメーションが含まれる動画を配信する動画配信システムが知られている。例えば、以下の非特許文献1には、アクターの動きを表すモーションキャプチャデータに基づいてヴァーチャルアイドルのアニメーションを生成し、当該アニメーションを含む動画をライブ配信する動画配信システムが開示されている。 2. Description of the Related Art A video distribution system is known that generates an animation of a character object based on the actions of an actor and distributes a video containing the animation. For example, Non-Patent Document 1 below discloses a video distribution system that generates an animation of a virtual idol based on motion capture data representing the movement of an actor and live-distributes a video including the animation.
従来の動画配信システムにおいては、双方向性を高めるために、視聴ユーザから配信動画に対するコメントが受け付けられる。上記非特許文献1の動画配信システムにおいては、視聴ユーザからテキスト形式のコメントが受け付けられ、その受け付けられたコメントが配信中の動画に重畳して表示される。 In conventional video distribution systems, comments on distributed videos are accepted from viewing users in order to increase interactivity. In the video distribution system of Non-Patent Document 1, comments in text format are accepted from viewing users, and the accepted comments are displayed superimposed on the video being distributed.
従来の動画配信システムにおける視聴ユーザからのコメントは、配信動画に重畳表示されることにより、視聴ユーザにおける盛り上がりを示すことができる。例えば、視聴ユーザが盛り上がっているときには、動画に重畳させて多数のコメントが表示される。コメントが重畳された動画を記録しておくことにより、動画作成者は、配信時間ごとのコメントの多寡により、視聴ユーザにおける盛り上がりをある程度理解することができる。 Comments from viewing users in conventional video distribution systems can indicate the excitement among viewing users by being superimposed and displayed on the distributed video. For example, when viewing users are excited, a large number of comments are displayed superimposed on the video. By recording a video with comments superimposed on it, the video creator can understand to some extent the excitement among viewing users based on the number of comments for each distribution time.
従来の動画システムにおいては、コメントがテキスト入力されており、かかるテキスト入力には入力動作を要するため、配信動画において視聴ユーザがコメントを付すことを意図している時刻と、投稿されたコメントが表示される時刻との間にはギャップが生じてしまう。このため、動画制作者は、視聴ユーザの盛り上がりが、アクターのどの行動に起因して生じたものかを容易に把握できないことがある。 In conventional video systems, comments are entered as text, and such text input requires an input action, so the time when the viewing user intends to add a comment and the posted comment are displayed in the distributed video. There will be a gap between the time and the time. For this reason, the video producer may not be able to easily grasp which action of the actor caused the excitement among the viewing users.
また、従来の動画配信システムにおいては、テキスト入力により視聴ユーザからのコメントが入力される。コメントの内容と視聴者の情動や感情は必ずしも対応しないため、視聴ユーザからテキスト入力されたフィードバック情報に基づいて視聴ユーザの情動または感情を推測することが難しいという課題がある。また、従来の動画配信システムにおいては、連続的に配信される動画フレームに対する視聴ユーザからのフィードバックが時系列に記録されていても、視聴ユーザにとって有意な(つまり、視聴ユーザに情動の変化を生じさせた)動画フレームの範囲を抽出することは難しいという問題がある。 Furthermore, in conventional video distribution systems, comments from viewing users are input by text input. Since the contents of the comments and the emotions and feelings of the viewer do not necessarily correspond, there is a problem in that it is difficult to infer the emotions and feelings of the viewing user based on the feedback information input as text from the viewing user. In addition, in conventional video distribution systems, even if feedback from viewing users for continuously distributed video frames is recorded in chronological order, it is important to note that even if feedback from viewing users is recorded in chronological order, There is a problem in that it is difficult to extract the range of video frames.
このように、これまでのアクターの行動に基づいて生成されたキャラクタオブジェクトのアニメーションが含まれる動画を配信する動画配信システムにおいては、視聴ユーザからアクターのパフォーマンスに関する有用なフィードバックが得られにくいという課題がある。 As described above, in video distribution systems that distribute videos that include character object animations generated based on the actions of actors, there is a problem in that it is difficult to obtain useful feedback from viewing users regarding the actor's performance. be.
本発明の目的の一つは、上述した従来技術の問題の少なくとも一部を解決又は緩和する技術的な改善を提供することである。本発明のより具体的な目的の一つは、アクターの行動に関する視聴ユーザからの有用なフィードバックが得られやすい動画配信システムを提供することである。 One of the objects of the present invention is to provide technical improvements that solve or alleviate at least some of the problems of the prior art mentioned above. One of the more specific objectives of the present invention is to provide a video distribution system that makes it easy to obtain useful feedback from viewing users regarding the actions of actors.
本明細書の開示の上記以外の目的は、本明細書全体を参照することにより明らかになる。本明細書に開示される発明は、上記の課題に代えて又は上記の課題に加えて、本明細書の発明を実施するための形態の記載から把握される課題を解決するものであってもよい。 Other objects of the disclosure herein will become apparent upon reference to the specification as a whole. The invention disclosed in this specification may solve the problems understood from the description of the mode for carrying out the invention in this specification, instead of or in addition to the above problems. good.
一態様による動画配信システムは、一又は複数のコンピュータプロセッサを備え、前記一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、アクターの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を視聴ユーザに配信し、前記アクターの行動を示すアクター情報、及び、一又は複数のユーザデバイスにより検出され、前記視聴ユーザから前記動画に対する非言語フィードバックを示す非言語フィードバック情報を前記動画のタイムコードに対応付けて記憶する。 A video distribution system according to one aspect includes one or more computer processors, and the one or more computer processors execute an animation of a character object based on the actions of an actor by executing computer-readable instructions. to the viewing user, actor information indicating the behavior of the actor, and nonverbal feedback information detected by one or more user devices and indicating nonverbal feedback from the viewing user regarding the video to the video. It is stored in association with the time code.
一態様において、前記非言語フィードバック情報には、前記視聴ユーザによって保持される前記一又は複数のユーザデバイスの加速度が含まれる。 In one aspect, the non-verbal feedback information includes acceleration of the one or more user devices held by the viewing user.
一態様において、前記非言語フィードバック情報には、前記視聴ユーザの生体情報が含まれる。 In one aspect, the nonverbal feedback information includes biometric information of the viewing user.
一態様において、前記非言語フィードバック情報には、前記視聴ユーザの情動を示す情動情報が含まれる。 In one aspect, the nonverbal feedback information includes emotional information indicating the emotion of the viewing user.
一態様において、前記一又は複数のコンピュータプロセッサは、前記視聴ユーザからの言語フィードバックを示す言語フィードバック情報をさらに前記動画のタイムコードに対応付けて記憶する。 In one embodiment, the one or more computer processors further store linguistic feedback information indicating linguistic feedback from the viewing user in association with a time code of the video.
一態様において、前記言語フィードバックは、テキスト入力又は発話入力に基づいて決定される。 In one aspect, the linguistic feedback is determined based on textual or spoken input.
一態様において、前記一又は複数のコンピュータプロセッサは、前記視聴ユーザによる評価を示す評価情報をさらに前記動画のタイムコードに対応付けて記憶する。 In one aspect, the one or more computer processors further store evaluation information indicating an evaluation by the viewing user in association with a time code of the video.
一態様において、前記一又は複数のコンピュータプロセッサは、前記視聴ユーザによって購入されたギフトの購入数又は購入金額を示すギフト購入情報及び前記視聴ユーザから前記アクターへ提供されるギフトに関連するギフティング情報の少なくとも一方をさらに前記動画のタイムコードに対応付けて記憶する。 In one aspect, the one or more computer processors may include gift purchase information indicating the number or purchase amount of gifts purchased by the viewing user and gifting information related to gifts provided from the viewing user to the actor. At least one of the above is further stored in association with the time code of the moving image.
一態様において、前記一又は複数のコンピュータプロセッサは、前記タイムコードに基づいて、前記アクター情報及び前記非言語フィードバック情報を時系列に表示する。 In one aspect, the one or more computer processors display the actor information and the nonverbal feedback information in chronological order based on the time code.
一態様において、前記アクター情報及び前記非言語フィードバック情報は、前記アクターによって視認可能な位置に配置されたディスプレイに表示される。 In one embodiment, the actor information and the non-verbal feedback information are displayed on a display placed at a position visible to the actor.
一態様において、前記一又は複数のコンピュータプロセッサは、前記非言語フィードバック情報に基づいて、前記動画のダイジェスト動画を作成する。 In one aspect, the one or more computer processors create a digest video of the video based on the non-verbal feedback information.
一態様において、前記一又は複数のコンピュータプロセッサは、前記アクター情報及び前記非言語フィードバック情報に基づいて、前記視聴ユーザに前記アクター以外の他のアクターを推薦する。 In one aspect, the one or more computer processors recommend actors other than the actor to the viewing user based on the actor information and the non-verbal feedback information.
一態様による動画配信システムは、一又は複数のコンピュータプロセッサを備え、前記一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、アクターの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信し、前記動画を視聴する視聴ユーザからのフィードバック情報に基づいて、前記キャラクタオブジェクトの外観を変化させる。 A video distribution system according to one aspect includes one or more computer processors, and the one or more computer processors execute an animation of a character object based on the actions of an actor by executing computer-readable instructions. A video including the video is distributed, and the appearance of the character object is changed based on feedback information from viewing users who view the video.
一態様による動画配信システムは、一又は複数のコンピュータプロセッサを備え、前記一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、アクターの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信し、前記動画を視聴する視聴ユーザからのフィードバック情報に基づいて、前記アクターが使用するアクターデバイスに備えられるアクチュエータを駆動するための駆動信号を生成する。 A video distribution system according to one aspect includes one or more computer processors, and the one or more computer processors execute an animation of a character object based on the actions of an actor by executing computer-readable instructions. A driving signal for driving an actuator provided in an actor device used by the actor is generated based on feedback information from viewing users who view the video.
一態様において、前記アクチュエータは、前記駆動信号を受信したことに応じて振動するように構成されている。 In one aspect, the actuator is configured to vibrate in response to receiving the drive signal.
一態様による動画配信方法は、一又は複数のコンピュータプロセッサがコンピュータ読み取り可能な命令を実行することにより実行される。当該動画配信方法は、アクターの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を視聴ユーザに配信する工程と、前記アクターの行動を示すアクター情報、及び、一又は複数のユーザデバイスにより検出され、前記視聴ユーザから前記動画に対する非言語フィードバックを示す非言語フィードバック情報を前記動画のタイムコードに対応付けて記憶する工程と、を備える。 A video distribution method according to one aspect is performed by one or more computer processors executing computer-readable instructions. The video distribution method includes the steps of delivering a video including animation of a character object generated based on an actor's behavior to a viewing user, actor information indicating the actor's behavior, and detection using one or more user devices. and storing nonverbal feedback information indicating nonverbal feedback from the viewing user regarding the video in association with the time code of the video.
一態様による動画配信プログラムは、一又は複数のコンピュータプロセッサに実行されるプログラムであって、前記一又は複数のコンピュータプロセッサに、アクターの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を視聴ユーザに配信する工程と、前記アクターの行動を示すアクター情報、及び、一又は複数のユーザデバイスにより検出され、前記視聴ユーザから前記動画に対する非言語フィードバックを示す非言語フィードバック情報を前記動画のタイムコードに対応付けて記憶する工程と、を実行させる。 A video distribution program according to one aspect is a program executed by one or more computer processors, and allows the one or more computer processors to watch a video including an animation of a character object generated based on the actions of an actor. a step of delivering actor information indicating the behavior of the actor, and non-verbal feedback information detected by one or more user devices and indicating non-verbal feedback regarding the video from the viewing user to the time code of the video; A step of storing the information in association with the information is executed.
実施形態によれば、アクターの行動に関する視聴ユーザからの有用なフィードバックが得られる動画配信システムが提供される。 According to the embodiment, a video distribution system is provided in which useful feedback from viewing users regarding the actions of actors can be obtained.
以下、図面を適宜参照し、本発明の様々な実施形態を説明する。複数の図面において同一の又は類似する構成要素には同じ参照符号が付される。 Hereinafter, various embodiments of the present invention will be described with appropriate reference to the drawings. Identical or similar components in multiple drawings are provided with the same reference numerals.
図1から図7を参照して、一実施形態による動画配信システムについて説明する。図1は、一実施形態による動画配信システム1を示すブロック図であり、図2は、動画配信システム1で配信される動画の制作が行われるスタジオの設備を模式的に示す模式図であり、図3~図7はそれぞれ、動画配信システム1において記憶される非言語フィードバック情報、言語フィードバック情報、評価情報、ギフト情報、及びアクター情報を説明するための図である。 A video distribution system according to an embodiment will be described with reference to FIGS. 1 to 7. FIG. 1 is a block diagram showing a video distribution system 1 according to an embodiment, and FIG. 2 is a schematic diagram schematically showing equipment of a studio where videos distributed by the video distribution system 1 are produced. 3 to 7 are diagrams for explaining nonverbal feedback information, verbal feedback information, evaluation information, gift information, and actor information stored in the video distribution system 1, respectively.
動画配信システム1は、クライアント装置10a~10cと、外部デバイス11a~11cと、サーバ装置20と、スタジオユニット30と、ストレージ60と、を備える。クライアント装置10a~10cと、サーバ装置20と、ストレージ60と、は、ネットワーク50を介して相互に通信可能に接続されている。サーバ装置20は、後述するように、キャラクタのアニメーションを含む動画ストリームを配信するように構成される。この動画に含まれるキャラクタは、仮想空間内でモーション制御されてもよい。この動画ストリームには、受信側で再生同期を取るためのタイムコードが付されている。このタイムコードは、例えば、クロックのカウント値で示される。タイムコードは、同期を維持するために所定の時間間隔(例えば、100ms間隔)で動画ストリーム中に埋め込まれる。再生同期のために用いられるタイムコードは、MPEG2ではタイムスタンプと呼ばれる。本明細書では、サーバ装置20から配信される動画ストリームを単に動画と呼ぶことがある。 The video distribution system 1 includes client devices 10a to 10c, external devices 11a to 11c, a server device 20, a studio unit 30, and a storage 60. The client devices 10a to 10c, the server device 20, and the storage 60 are connected to each other via a network 50 so that they can communicate with each other. The server device 20 is configured to distribute a video stream including character animation, as will be described later. The motion of the characters included in this video may be controlled within the virtual space. This video stream has a time code attached to it for playback synchronization on the receiving side. This time code is indicated by, for example, a clock count value. Timecodes are embedded into the video stream at predetermined time intervals (eg, every 100ms) to maintain synchronization. The time code used for playback synchronization is called a timestamp in MPEG2. In this specification, the video stream distributed from the server device 20 may be simply referred to as a video.
まず、クライアント装置10a~10cについて説明する。クライアント装置10a~10cは、サーバ装置20から配信される動画を受信し、受信した動画を再生することができるように構成される。クライアント装置10aのユーザである第1視聴ユーザ、クライアント装置10bのユーザである第2視聴ユーザ、及びクライアント装置10cのユーザである第3視聴ユーザは、配信された動画を、各クライアント装置により視聴することができる。動画配信システム1は、3台よりも少ない数のクライアント装置を備えていてもよく、3台よりも多い数のクライアント装置を備えていてもよい。本明細書においては、第1視聴ユーザ、第2視聴ユーザ、及び第3視聴ユーザを視聴ユーザと総称することがある。 First, the client devices 10a to 10c will be explained. The client devices 10a to 10c are configured to be able to receive moving images distributed from the server device 20 and play back the received moving images. A first viewing user who is the user of the client device 10a, a second viewing user who is the user of the client device 10b, and a third viewing user who is the user of the client device 10c view the distributed video using each client device. be able to. The video distribution system 1 may include fewer than three client devices, or may include more than three client devices. In this specification, the first viewing user, the second viewing user, and the third viewing user may be collectively referred to as viewing users.
クライアント装置10a~10cは、スマートフォンなどの情報処理装置である。クライアント装置10a~10cは、スマートフォン以外に、携帯電話機、タブレット端末、パーソナルコンピュータ、電子書籍リーダー、ウェアラブルコンピュータ、ゲーム用コンソール、ヘッドマウントディスプレイ及びこれら以外の動画を再生可能な各種情報処理装置であってもよい。クライアント装置10a~10cの各々は、コンピュータプロセッサ、メモリ、通信I/F、ディスプレイ、ジャイロセンサ等の各種センサを備えるセンサユニット、マイク等の集音装置、及び各種情報を記憶するストレージを備えていてもよい。 The client devices 10a to 10c are information processing devices such as smartphones. The client devices 10a to 10c are, in addition to smartphones, mobile phones, tablet terminals, personal computers, e-book readers, wearable computers, game consoles, head-mounted displays, and various other information processing devices capable of playing videos. Good too. Each of the client devices 10a to 10c includes a computer processor, a memory, a communication I/F, a display, a sensor unit including various sensors such as a gyro sensor, a sound collection device such as a microphone, and a storage for storing various information. Good too.
クライアント装置10a~10cのディスプレイは、表示パネルと、タッチパネルと、を有する。タッチパネルは、プレイヤのタッチ操作(接触操作)を検出することができるように構成されている。タッチパネルは、プレイヤのタップ、ダブルタップ、ドラッグ等の各種タッチ操作を検出することができる。タッチパネルは、静電容量式の近接センサを備え、プレイヤの非接触操作を検出可能に構成されてもよい。 The displays of the client devices 10a to 10c include a display panel and a touch panel. The touch panel is configured to be able to detect a touch operation (contact operation) by a player. The touch panel can detect various touch operations such as tap, double tap, and drag by the player. The touch panel may include a capacitive proximity sensor and be configured to be able to detect a non-contact operation by the player.
クライアント装置10a~10cの各々は、一又は複数のセンサユニットを備えてもよい。このセンサユニットは、加速度センサ、ジャイロセンサ、および地磁気センサのうち少なくとも1つのセンサを含む。このセンサユニットは、クライアント装置10a~10cのユーザの眼球の動きを直接的に検出するアイトラッキングセンサを備えてもよい。アイトラッキングセンサは、例えば、虹彩内に近赤外光を入射しその反射光を検出する視線検出センサである。 Each of the client devices 10a-10c may include one or more sensor units. This sensor unit includes at least one of an acceleration sensor, a gyro sensor, and a geomagnetic sensor. This sensor unit may include an eye tracking sensor that directly detects eye movements of the users of the client devices 10a-10c. The eye tracking sensor is, for example, a line of sight detection sensor that enters near-infrared light into the iris and detects the reflected light.
クライアント装置10a~10cの各々は、視聴ユーザから視聴中の動画に対する様々なフィードバック情報の入力を受け付けることができる。視聴ユーザからのフィードバック情報には、言語フィードバック情報と、非言語フィードバック情報と、が含まれる。 Each of the client devices 10a to 10c can receive input of various feedback information regarding the video being viewed from the viewing user. Feedback information from viewing users includes verbal feedback information and nonverbal feedback information.
言語フィードバック情報は、視聴ユーザからの言語によるフィードバック情報である。クライアント装置10a~10cは、視聴ユーザの言語入力により、言語フィードバック情報を取得することができる。言語入力は、例えば、テキスト入力又は発話入力である。テキスト入力は、クライアント装置10a~10cに備えられているキーボード、タッチスクリーン、又はこれら以外のテキストを入力可能な入力インタフェースが操作されることにより、クライアント装置10a~10cによって受け付けられる。発話入力は、音声として発せられた言語がクライアント装置10a~10cに備えられたマイクなどの集音装置を介して検出されることにより受け付けられる。クライアント装置10a~10cは、言語入力の内容に応じたテキスト情報を言語フィードバック情報として記憶することができる。例えば、視聴ユーザは、動画の視聴中にクライアント装置10a~10cを操作することにより、当該動画やアクターのパフォーマンスに関するコメントをテキスト入力する。このテキスト入力されたコメントは、テキスト情報としてクライアント装置10a~10cに記憶される。 The linguistic feedback information is feedback information in language from the viewing user. The client devices 10a to 10c can obtain language feedback information based on the language input of the viewing user. The language input is, for example, text input or speech input. The text input is accepted by the client devices 10a to 10c by operating a keyboard, touch screen, or other input interface capable of inputting text provided in the client devices 10a to 10c. The speech input is accepted by detecting the language uttered as voice through a sound collecting device such as a microphone provided in the client devices 10a to 10c. The client devices 10a to 10c can store text information corresponding to the content of language input as language feedback information. For example, while viewing a video, the viewing user operates the client devices 10a to 10c to input comments regarding the video or the actor's performance in text. This text input comment is stored in the client devices 10a to 10c as text information.
言語入力により受け付けられた言語フィードバック情報は、当該言語入力がクライアント装置10a~10cによって受け付けられた時点における動画のタイムコードと対応付けてクライアント装置10a~10cに記憶されてもよい。例えば、WebRTC(Web Real-Time Communication)におけるReal-time Transport Protocol(RTP)拡張におけるabs-send-time(1535950231958_0参照)を利用することにより、クライアント装置10a~10cの各々において遅延時間を考慮した絶対時間を取得することで、言語入力により受け付けられた言語フィードバック情報を動画のタイムコードと対応付けて記憶することができる。 The linguistic feedback information accepted by the linguistic input may be stored in the client devices 10a to 10c in association with the time code of the video at the time when the linguistic input was accepted by the client devices 10a to 10c. For example, by using abs-send-time (refer to 1535950231958_0) in the Real-time Transport Protocol (RTP) extension in Web Real-Time Communication (WebRTC), the delay can be reduced in each of the client devices 10a to 10c. Absolute considering time By acquiring the time, the linguistic feedback information received through linguistic input can be stored in association with the time code of the video.
言語入力は、上記のように、テキスト入力又は発話入力のいずれかによってなされる。したがって、視聴ユーザがフィードバックを行うことを意図してから言語入力が完了するまでには相応の時間がかかる。これにより、視聴ユーザがフィードバックを行うことを意図した時刻と言語入力が受け付けられる時刻との間にはギャップが生じる。 Linguistic input is done either by text input or spoken input, as described above. Therefore, it takes a considerable amount of time from when the viewing user intends to provide feedback until the language input is completed. This creates a gap between the time when the viewing user intends to provide feedback and the time when language input is accepted.
非言語フィードバック情報は、視聴ユーザからの言語以外の入力によるフィードバック情報である。クライアント装置10a~10cは、加速度センサ、カメラ、生体情報センサ、又はこれら以外の検出装置により検出される視聴ユーザからの非言語入力によって、非言語フィードバック情報を取得することができる。非言語フィードバック情報には、例えば、加速度センサにより検出される加速度、カメラにより撮像される視聴ユーザの映像情報に基づいて判定される視聴ユーザが視聴を行っているか否かを示す視聴有無情報、生体情報センサにより検出される視聴ユーザの生体情報、及びこれら以外の視聴ユーザに関する非言語情報が含まれ得る。非言語フィードバック情報には、加速度センサ、カメラ、生体情報センサ、及びこれら以外の検出装置によって検出された非言語入力に基づいて推定される当該視聴ユーザの情動を示す情動情報が含まれてもよい。 Non-verbal feedback information is feedback information based on non-verbal input from the viewing user. The client devices 10a to 10c can obtain nonverbal feedback information by nonverbal input from a viewing user detected by an acceleration sensor, a camera, a biological information sensor, or a detection device other than these. Nonverbal feedback information includes, for example, acceleration detected by an acceleration sensor, viewing information indicating whether or not a viewing user is watching, which is determined based on video information of the viewing user captured by a camera, and biological information. Biometric information of the viewing user detected by the information sensor and non-verbal information regarding other viewing users may be included. The nonverbal feedback information may include emotional information indicating the emotion of the viewing user estimated based on nonverbal input detected by an acceleration sensor, a camera, a biological information sensor, and a detection device other than these. .
非言語フィードバック情報として、加速度センサにより検出された加速度を用いてもよいし、この加速度から推定される視聴ユーザの情動を示す情動情報を用いてもよい。動画視聴中に視聴ユーザが保持しているデバイスの加速度の高周波成分に基づいて、当該視聴ユーザの情動を推定できることが報告されている。例えば、「WebSocketを用いたスマートフォン上でのエンタテイメントコンテンツ閲覧時のリアルタイム行動分析」(エンターテインメントコンピューティングシンポジウム(EC2013),2013年10月)では、視聴ユーザが保持しているスマートフォンに内蔵されている加速度センサにより検出された3軸の加速度の二乗和平方根を算出し、この算出された二乗和平方根が所定値(例えば、0.2[G]や0.1[G])以上であるときに当該視聴ユーザが笑っていると推定できることが説明されている。このように、加速度センサにより検出された加速度の高周波成分に基づいて、視聴ユーザが笑っているか否かを示す情動情報を生成することができる。 As the non-verbal feedback information, acceleration detected by an acceleration sensor may be used, or emotional information indicating the viewing user's emotion estimated from this acceleration may be used. It has been reported that the emotion of a viewing user can be estimated based on the high-frequency component of the acceleration of a device held by the viewing user while viewing a video. For example, in "Real-time behavioral analysis when viewing entertainment content on a smartphone using WebSockets" (Entertainment Computing Symposium (EC2013), October 2013), it was reported that the acceleration The square root of the sum of squares of the acceleration of the three axes detected by the sensor is calculated, and when the calculated square root of the sum of squares is greater than or equal to a predetermined value (for example, 0.2 [G] or 0.1 [G]), the corresponding It is explained that it can be assumed that the viewing user is smiling. In this way, emotional information indicating whether the viewing user is smiling can be generated based on the high frequency component of the acceleration detected by the acceleration sensor.
視聴ユーザが視聴を行っているか否かは、視聴ユーザの顔の向きに基づいて判定することができる。例えば、特開2013-109537号公報に記載されているように、カメラによって撮像された視聴ユーザの顔画像に基づいて視聴ユーザの顔方向を求め、この視聴ユーザの顔が動画の再生装置(例えば、クライアント装置10a~10c)の方向を向いているか否かによって、当該視聴ユーザが再生中の動画を視聴しているか否かを判定することができる。クライアント装置10a~10cは、この判定結果に応じて視聴有無情報を生成することができる。 Whether or not the viewing user is viewing can be determined based on the orientation of the viewing user's face. For example, as described in Japanese Unexamined Patent Application Publication No. 2013-109537, the direction of the viewing user's face is determined based on the facial image of the viewing user captured by a camera. , client devices 10a to 10c), it can be determined whether the viewing user is viewing the video being played back. The client devices 10a to 10c can generate viewing/displaying information according to this determination result.
カメラによって撮像された顔画像から、視聴ユーザの情動を推定することもできる。例えば、特開平3-252775号公報には、情動(喜び、怒り、哀しみ、楽しさ)と関連付けて記憶されている表情パターンの中から、カメラで撮影した視聴ユーザの顔画像と類似する画像を有する表情パターンを検索することにより、当該人物の情動を推定する技術が開示されている。クライアント装置10a~10cは、この推定に基づいて、視聴ユーザの情動を示す情動情報を生成することができる。 It is also possible to estimate the emotion of the viewing user from the facial image captured by the camera. For example, Japanese Patent Application Laid-Open No. 3-252775 discloses that images similar to the facial image of the viewing user taken with a camera are selected from facial expression patterns stored in association with emotions (joy, anger, sadness, fun). A technique has been disclosed for estimating the emotion of a person by searching for facial expression patterns. Based on this estimation, the client devices 10a to 10c can generate emotion information indicating the emotion of the viewing user.
視聴ユーザの生体情報に基づいて当該ユーザの情動を表す情動情報を生成する技術は、「人間の感情を考慮したバイオメトリクス 情報学ワークショップ2004、平成16年9月」に記載されているように公知である。クライアント装置10a~10cは、この技術を利用して、視聴ユーザの情動を示す情動情報を生成することができる。 The technology for generating emotional information representing the user's emotions based on the user's biological information is described in "Biometrics Considering Human Emotions: Informatics Workshop 2004, September 2004". It is publicly known. The client devices 10a to 10c can use this technology to generate emotion information indicating the emotion of the viewing user.
情動情報は、楽しさ、悲しみ、怒り、驚き、恐怖などの人間の情動を示す情報である。情動は、ユーザの意思による制御が難しいため、視聴ユーザの情動情報は、言語フィードバック情報よりも当該視聴ユーザの動画に対する自然な(無意識の又は不随意の)反応を示しやすいと考えられる。情動情報は、言語フィードバック情報及び非言語フィードバック情報のいずれの形式でも取得することが可能である。例えば、情報の一部、例えば「楽しさ」は、言語によって表現可能である。しかし、視聴ユーザは、多様な言語を使用し、また、多様な文化的背景を持っていることが想定されるので、情動情報を言語により表すと、視聴ユーザからの有意なフィードバックを得られないおそれがある。このため、情動情報については、言語フィードバック情報ではなく、非言語フィードバック情報として取得することが望ましい。 Emotional information is information indicating human emotions such as happiness, sadness, anger, surprise, and fear. Since emotions are difficult to control by the user's will, it is thought that the viewing user's emotional information is more likely to indicate the viewing user's natural (unconscious or involuntary) reaction to the video than the verbal feedback information. Emotional information can be obtained in either form of verbal feedback information or non-verbal feedback information. For example, some information, such as "fun", can be expressed in language. However, since it is assumed that viewing users use a variety of languages and have diverse cultural backgrounds, it is difficult to obtain meaningful feedback from viewing users if emotional information is expressed verbally. There is a risk. For this reason, it is desirable to obtain emotional information as non-verbal feedback information rather than verbal feedback information.
クライアント装置10a~10cは、内蔵のセンサによって非言語入力を検出してもよく、外部デバイス(例えば、後述する外部デバイス11a~11c)により検出された非言語入力を当該外部デバイスから取得してもよい。 The client devices 10a to 10c may detect nonverbal input using built-in sensors, or may obtain nonverbal input detected by an external device (for example, external devices 11a to 11c described below) from the external device. good.
非言語フィードバック情報は、所定のサンプリングレートごとに生成されてもよい。例えば、加速度、生体情報は所定のサンプリングレートごとに生成される。 Nonverbal feedback information may be generated at each predetermined sampling rate. For example, acceleration and biological information are generated at each predetermined sampling rate.
生体情報センサにより検出される視聴ユーザの生体情報には、体温、呼吸数、脈拍、眼球運動、血中の酸素濃度、筋電(筋肉で発生する電位)及びこれら以外の生体に関して検出可能な情報が含まれ得る。生体情報センサは、これらの生体情報を検出することができる公知の任意のセンサである。 The biological information of the viewing user detected by the biological information sensor includes body temperature, breathing rate, pulse, eye movement, blood oxygen concentration, myoelectricity (electrical potential generated in muscles), and other detectable information regarding the living body. may be included. The biological information sensor is any known sensor that can detect such biological information.
非言語入力により受け付けられた非言語フィードバック情報は、当該非言語入力がクライアント装置10a~10cによって受け付けられた時点における動画のタイムコードと対応付けてクライアント装置10a~10c記憶されてもよい。非言語入力は、センサなどの検出装置によって検出されるため、非言語入力の元になる生体反応(例えば、視聴ユーザの随意運動、不随意運動、生体情報の変動)が起きてから即時に非言語入力が検出され得る。つまり、非言語入力の元になる生体反応が起きた時刻と非言語入力が完了する時刻とは近接している。 The nonverbal feedback information received by the nonverbal input may be stored in the client devices 10a to 10c in association with the time code of the video at the time when the nonverbal input was received by the client devices 10a to 10c. Non-verbal input is detected by a detection device such as a sensor, so non-verbal input is detected immediately after the biological reaction that causes the non-verbal input (for example, voluntary movement, involuntary movement, or fluctuation in biological information of the viewing user) occurs. Linguistic input may be detected. In other words, the time when the biological reaction that is the source of nonverbal input occurs and the time when nonverbal input is completed are close to each other.
クライアント装置10a~10cは、視聴ユーザの操作入力を受け付けることができる。操作入力は、クライアント装置10a~10cの特定の処理と対応付けられている。操作入力は、クライアント装置10a~10cの物理的な又は仮想的な操作要素に対する操作が行われることにより受け付けられる。より具体的には、操作入力は、クライアント装置10a~10cが備える物理ボタンを視聴ユーザが押下する操作又はクライアント装置10a~10cの表示画面に表示される操作アイコンをタップする操作により受け付けられ得る。操作入力は、視聴ユーザにより事前定義されたジェスチャが行われることにより入力されてもよい。ジェスチャによる入力は、例えば、視聴ユーザの特定の姿勢や動きがクライアント装置10a~10cの特定のアクションと事前に対応付けられている場合に、視聴ユーザが当該特定の姿勢を取ることまたは特定の動きを行うことによりクライアント装置10a~10cによって受け付けられる。 The client devices 10a to 10c can accept operation inputs from viewing users. The operation input is associated with a specific process of the client devices 10a to 10c. The operation input is accepted by performing an operation on a physical or virtual operation element of the client devices 10a to 10c. More specifically, the operation input can be received by the viewing user pressing a physical button provided on the client devices 10a to 10c or tapping an operation icon displayed on the display screen of the client devices 10a to 10c. The operation input may be input by performing a predefined gesture by the viewing user. For example, when a specific posture or movement of the viewing user is associated in advance with a specific action of the client devices 10a to 10c, the gesture input may be input by the viewing user taking the specific posture or making a specific movement. By doing this, it is accepted by the client devices 10a to 10c.
クライアント装置10a~10cは、操作入力を受け付けると、その受け付けた操作に対応する処理を行う。このクライアント装置10a~10cにより行われる処理には、様々な処理が含まれる。例えば、クライアント装置10a~10cは、受け付けた操作入力に応じて、動画の選択、再生開始、再生停止を行うことができる。前記の処理に加えて、クライアント装置10a~10cは、受け付けた操作入力に応じて、視聴中の動画においてギフトを購入するためのギフト購入処理、視聴中の動画のためにパフォーマンスを行っているアクターにギフトを提供するギフティング処理、視聴中の動画に対する評価を決定する評価処理、及びこれら以外の様々な処理を行うことができる。 Upon receiving an operation input, the client devices 10a to 10c perform processing corresponding to the received operation. The processes performed by the client devices 10a to 10c include various processes. For example, the client devices 10a to 10c can select, start playing, and stop playing a video according to the received operation input. In addition to the above-mentioned processing, the client devices 10a to 10c perform gift purchase processing for purchasing a gift in the video being viewed, and processing by an actor performing for the video being viewed, in accordance with the received operation input. A gifting process that provides a gift to a user, an evaluation process that determines an evaluation of the video being viewed, and various other processes can be performed.
ギフト購入処理に関連するギフト購入情報及びギフティング処理に関連するギフティング情報は、当該ギフト購入処理を行うためになされた操作入力がクライアント装置10a~10cによって受け付けられた時点における動画のタイムコードと対応付けてクライアント装置10a~10cに記憶されてもよい。ギフト購入情報は、例えば、ギフト購入処理により購入されたギフトの数量や購入額を示す情報である。ギフティング情報は、例えば、視聴ユーザがアクターに提供したギフトの数量やアクターに提供されたギフトの購入金額を示す情報である。本明細書においては、ギフト購入情報及びギフティング情報をギフト情報と総称することがある。 The gift purchase information related to the gift purchase process and the gifting information related to the gifting process include the time code of the video at the time when the operation input performed to perform the gift purchase process is accepted by the client devices 10a to 10c. They may be stored in the client devices 10a to 10c in association with each other. The gift purchase information is, for example, information indicating the quantity and purchase price of gifts purchased through gift purchase processing. The gifting information is, for example, information indicating the quantity of gifts provided to the actor by the viewing user and the purchase price of the gifts provided to the actor. In this specification, gift purchase information and gifting information may be collectively referred to as gift information.
評価処理に関連する評価情報は、当該評価処理を行うためになされた操作入力がクライアント装置10a~10cによって受け付けられた時点における動画のタイムコードと対応付けてクライアント装置10a~10cに記憶されてもよい。評価情報は、視聴ユーザによって決定された視聴中の動画に対する評価を示す情報である。視聴ユーザは、例えば、動画の視聴中に当該動画を含む表示画面中に表示される評価ボタンをタップして選択することにより、当該動画に対する肯定的な評価(「好き」)又は否定的な評価(「嫌い」)を選択することができる。評価ボタンには、例えば、当該評価ボタンの選択により肯定的な評価が決定されることを視聴ユーザに知らしめるために、「Like」や「いいね」といった文字、ハートマークなどの記号、又は笑顔を示すグラフィックスが表示されていてもよい。評価情報は、例えば、視聴ユーザにより肯定的な評価又は否定的な評価がなされた回数を表す情報であってもよい。評価情報は、レーティング情報であってもよい。評価情報は、視聴中の動画に対する視聴ユーザの評価を感情と関連付けて示す情報であってもよい。例えば、動画を含む表示画面中に、視聴ユーザに感情を選択させるための感情選択ボタンを表示することができる。視聴ユーザは、この感情選択ボタンを選択することにより、当該動画に感動したこと、当該動画に共感できなかったこと、及びこれら以外の視聴ユーザの感情を選択することができる。例えば、感情選択ボタンには、動画に感動したという感情を選択するための拍手ボタン、動画に共感できなかったことを示すための疑問符ボタン、動画に驚いたことを示すための驚きボタン、及びこれら以外のボタンを含むことができる。感情選択ボタンの各々には、当該感情選択ボタンによって選択される感情を表現する記号又はグラフィックスの表示が含まれていてもよい。例えば、拍手ボタンには拍手している手を表すグラフィックスの表示が含まれていてもよく、疑問符ボタンにはクエスチョンマークの表示が含まれていてもよく、驚きボタンにはエクスクラメーションマークの表示が含まれていてもよい。 The evaluation information related to the evaluation process may be stored in the client devices 10a to 10c in association with the time code of the video at the time when the operation input made to perform the evaluation process was accepted by the client devices 10a to 10c. good. The evaluation information is information indicating the evaluation of the video being viewed, determined by the viewing user. For example, while viewing a video, the viewing user can give a positive rating (“like”) or negative rating to the video by tapping and selecting a rating button displayed on the display screen that includes the video. (“dislike”) can be selected. For example, the evaluation button may include characters such as "Like" or "Good", symbols such as a heart mark, or a smiley face, in order to inform the viewing user that a positive evaluation is determined by selecting the evaluation button. Graphics indicating this may be displayed. The evaluation information may be, for example, information representing the number of times positive evaluations or negative evaluations have been made by viewing users. The evaluation information may be rating information. The evaluation information may be information indicating the viewing user's evaluation of the video being viewed in association with emotion. For example, an emotion selection button for allowing the viewing user to select an emotion can be displayed on the display screen including the video. By selecting this emotion selection button, the viewing user can select that he or she was moved by the video, that he or she could not empathize with the video, and other emotions of the viewing user. For example, the emotion selection buttons include a clap button to select the emotion of being moved by the video, a question mark button to indicate that the video did not resonate with you, a surprise button to indicate that you were surprised by the video, and Can contain buttons other than . Each emotion selection button may include a display of symbols or graphics representing the emotion selected by the emotion selection button. For example, a clap button may include a graphic display representing clapping hands, a question mark button may include a question mark display, and a surprise button may include an exclamation mark display. May include display.
次に、外部デバイス11a~11cについて説明する。外部デバイス11a~11cは、上記の非言語フィードバック情報を取得できるように構成される。外部デバイス11a~11cは、加速度センサ、モーションセンサ、視聴ユーザを撮像して撮像データを生成するカメラ、生体情報を検出する生体情報センサ、及びこれら以外の視聴ユーザに関する非言語情報を検出することができる検出装置であってもよい。 Next, the external devices 11a to 11c will be explained. The external devices 11a to 11c are configured to be able to obtain the above nonverbal feedback information. The external devices 11a to 11c are capable of detecting an acceleration sensor, a motion sensor, a camera that images the viewing user and generates captured data, a biological information sensor that detects biological information, and other nonverbal information regarding the viewing user. It may be a detection device that can.
外部デバイス11a~11cとして、例えば、Microsoft Corporationが提供するkinect(商標)、任天堂株式会社が提供するwii(商標)、Oculus VR, Inc.が提供するOculus Touch、HTC CORPORATIONが提供するHTC Viveのコントローラ、やまと興業株式会社がチアライトエアーという商品名で提供しているサイリウム、Apple Incが提供するApple Watch及びこれら以外の加速度センサを備えた様々なデバイスが用いられ得る。 Examples of the external devices 11a to 11c include Kinect (trademark) provided by Microsoft Corporation, Wii (trademark) provided by Nintendo Co., Ltd., and Oculus VR, Inc. Oculus Touch provided by HTC Corporation, HTC Vive controller provided by HTC CORPORATION, Cyllium provided by Yamato Kogyo Co., Ltd. under the product name Chialight Air, Apple Watch provided by Apple Inc., and various other devices equipped with acceleration sensors. Any device can be used.
外部デバイス11a~11cは、視聴ユーザの瞬きの長さ、瞬きの頻度、眼球運動、及びこれら以外の使用者の生体情報を取得可能なアイウェアであってもよい。この種のアイウェアとして、株式会社ジェイアイエヌによって提供されているJINS MEME(商標)が用いられ得る。 The external devices 11a to 11c may be eyewear capable of acquiring the viewing user's blink length, blink frequency, eye movement, and other biometric information of the user. As this type of eyewear, JINS MEME (trademark) provided by JNI Corporation may be used.
外部デバイス11a~11cは、クライアント装置10a~10cと通信可能に構成されてもよい。外部デバイス11a~11cとクライアント装置10a~10cとは、Bluetooth(商標)、無線LAN、又はこれら以外の無線リンクにより接続されてもよい。外部デバイス11a~11cは、取得した非言語フィードバック情報を対応するクライアント装置10a~10cに送信してもよい。外部デバイス11a~11cによって取得された非言語フィードバック情報も、クライアント装置10a~10cによって取得された非言語フィードバック情報と同様に、非言語入力が外部デバイス11a~11cによって受け付けられた時点における動画のタイムコードと対応付けて記憶されてもよい。 The external devices 11a to 11c may be configured to be able to communicate with the client devices 10a to 10c. The external devices 11a to 11c and the client devices 10a to 10c may be connected by Bluetooth (trademark), wireless LAN, or other wireless links. The external devices 11a-11c may transmit the acquired non-verbal feedback information to the corresponding client devices 10a-10c. Similarly to the nonverbal feedback information obtained by the client devices 10a to 10c, the nonverbal feedback information obtained by the external devices 11a to 11c is based on the time of the video at the time when the nonverbal input was accepted by the external devices 11a to 11c. It may be stored in association with the code.
クライアント装置10a~10cは、言語フィードバック情報、非言語フィードバック情報、評価情報、及びギフト情報のうちの少なくとも一つの情報を、各情報が対応付けられているタイムコード及び視聴ユーザのユーザIDとともに、サーバ装置20に送信してもよい。例えば、これらの情報は、クライアント装置10aからサーバ装置20に送信される場合には、クライアント装置10aを使用している第1視聴ユーザのユーザIDと対応付けて送信される。外部デバイス11a~11cは、非言語フィードバック情報をタイムコードとともに対応するクライアント装置10a~10cに送信してもよいし、サーバ装置20に送信してもよい。 The client devices 10a to 10c send at least one of verbal feedback information, nonverbal feedback information, evaluation information, and gift information to the server along with the time code and user ID of the viewing user with which each piece of information is associated. It may also be transmitted to the device 20. For example, when these pieces of information are sent from the client device 10a to the server device 20, they are sent in association with the user ID of the first viewing user using the client device 10a. The external devices 11a to 11c may transmit the nonverbal feedback information together with the time code to the corresponding client devices 10a to 10c, or may transmit it to the server device 20.
クライアント装置10a~10c及び外部デバイス11a~11cはいずれも、動画に対する視聴ユーザの非言語フィードバック情報をサーバ装置20に提供するユーザデバイスの例である。 The client devices 10a to 10c and the external devices 11a to 11c are all examples of user devices that provide the server device 20 with nonverbal feedback information from viewing users regarding videos.
次に、サーバ装置20について説明する。図示の実施形態において、サーバ装置20は、コンピュータプロセッサ21と、通信I/F22と、ストレージ23と、を備えている。 Next, the server device 20 will be explained. In the illustrated embodiment, the server device 20 includes a computer processor 21, a communication I/F 22, and a storage 23.
コンピュータプロセッサ21は、ストレージ23又はそれ以外のストレージからオペレーティングシステムや様々な機能を実現する様々なプログラムをメモリにロードし、ロードしたプログラムに含まれる命令を実行する演算装置である。コンピュータプロセッサ21は、例えば、CPU、MPU、DSP、GPU、これら以外の各種演算装置、又はこれらの組み合わせである。コンピュータプロセッサ21は、ASIC、PLD、FPGA、MCU等の集積回路により実現されてもよい。図1においては、コンピュータプロセッサ21が単一の構成要素として図示されているが、コンピュータプロセッサ21は複数の物理的に別体のコンピュータプロセッサの集合であってもよい。本明細書において、コンピュータプロセッサ21によって実行されるとして説明されるプログラム又は当該プログラムに含まれる命令は、単一のコンピュータプロセッサで実行されてもよいし、複数のコンピュータプロセッサにより分散して実行されてもよい。また、コンピュータプロセッサ21によって実行されるプログラム又は当該プログラムに含まれる命令は、複数の仮想コンピュータプロセッサにより実行されてもよい。 The computer processor 21 is an arithmetic device that loads an operating system and various programs that implement various functions into memory from the storage 23 or other storage, and executes instructions included in the loaded programs. The computer processor 21 is, for example, a CPU, MPU, DSP, GPU, various other arithmetic devices, or a combination thereof. The computer processor 21 may be realized by an integrated circuit such as an ASIC, PLD, FPGA, or MCU. Although computer processor 21 is illustrated as a single component in FIG. 1, computer processor 21 may be a collection of multiple physically separate computer processors. In this specification, a program described as being executed by the computer processor 21 or instructions included in the program may be executed by a single computer processor, or may be executed in a distributed manner by a plurality of computer processors. Good too. Further, the program executed by the computer processor 21 or the instructions included in the program may be executed by a plurality of virtual computer processors.
通信I/F22は、ハードウェア、ファームウェア、又はTCP/IPドライバやPPPドライバ等の通信用ソフトウェア又はこれらの組み合わせとして実装される。サーバ装置20は、通信I/F22を介して、他の装置とデータを送受信することができる。 The communication I/F 22 is implemented as hardware, firmware, communication software such as a TCP/IP driver or a PPP driver, or a combination thereof. The server device 20 can send and receive data to and from other devices via the communication I/F 22.
ストレージ23は、コンピュータプロセッサ21によりアクセスされる記憶装置である。ストレージ23は、例えば、磁気ディスク、光ディスク、半導体メモリ、又はデータを記憶可能な前記以外の各種記憶装置である。ストレージ23には、様々なプログラムが記憶され得る。ストレージ23に記憶され得るプログラム及び各種データの少なくとも一部は、サーバ装置20とは物理的に別体のストレージ(例えば、クライアント装置10a~10c及び外部デバイス11a~11cのいずれかに備えられるストレージ、及び/又は、ストレージ60)に格納されてもよい。 Storage 23 is a storage device accessed by computer processor 21 . The storage 23 is, for example, a magnetic disk, an optical disk, a semiconductor memory, or various other storage devices capable of storing data. Various programs can be stored in the storage 23. At least some of the programs and various data that can be stored in the storage 23 are stored in a storage that is physically separate from the server device 20 (for example, storage provided in any of the client devices 10a to 10c and the external devices 11a to 11c, and/or storage 60).
次に、スタジオユニット30について説明する。スタジオユニット30の構成要素の多くは、例えば、図2に示されているスタジオルームRに配されている。図示のように、スタジオルームRにおいては、アクターA1及びアクターA2がパフォーマンスを行っている。スタジオユニット30は、アクターA1及びアクターA2の動き及び表情を検出し、検出した情報をサーバ装置20に出力するように構成されている。 Next, the studio unit 30 will be explained. Many of the components of the studio unit 30 are arranged in the studio room R shown in FIG. 2, for example. As shown in the figure, in studio room R, actor A1 and actor A2 are performing. The studio unit 30 is configured to detect the movements and facial expressions of the actors A1 and A2, and output the detected information to the server device 20.
アクターA1及びアクターA2はいずれも、スタジオユニット30に備えられる後述のセンサ群によって動きや表情がキャプチャされる対象である。図示の実施形態において、アクターA1及びアクターA2は、パフォーマンスを行う人間である。アクターA1及びアクターA2は、人間以外に、動物またはこれ以外の運動する任意の物体(非生物)であってもよい。アクターA1及びアクターA2は、例えば、自律運動可能なロボットであってもよい。スタジオルームR内のアクターの数は、1であってもよいし、3以上であってもよい。 Both the actor A1 and the actor A2 are targets whose movements and facial expressions are captured by a group of sensors, which will be described later, provided in the studio unit 30. In the illustrated embodiment, actor A1 and actor A2 are humans performing. In addition to humans, the actors A1 and A2 may be animals or any other moving objects (nonliving objects). Actor A1 and actor A2 may be robots capable of autonomous movement, for example. The number of actors in studio room R may be one, or may be three or more.
スタジオユニット30は、アクターA1に装着される6つのモーションセンサ31a~31fと、アクターA1の左手に把持されているコントローラ33aと、アクターA1の右手に把持されているコントローラ33bと、装着具37bを介してアクターA1の頭部に取り付けられるカメラ37aと、アクターA1の左腕に装着されている腕時計型のアクターデバイス91と、を有する。スタジオユニット30はまた、アクターA2に装着される6つのモーションセンサ32a~32fと、アクターA2の左手に把持されているコントローラ34aと、アクターA2の右手に把持されているコントローラ34bと、装着具38bを介してアクターA2の頭部に取り付けられるカメラ38aと、アクターA2の左腕に装着されている腕時計型のアクターデバイス92と、を有する。装着具37b及び装着具38bの各々には、音声データを取得するためのマイクが取り付けられてもよい。このマイクは、アクターA1及びアクターA2の発話を音声データとして取得することができる。マイクは、装着具37b及び装着具38bを介してアクターA1及びアクターA2に装着される装着型のマイクであってもよく、スタジオルームRの床、壁、又は天井に設置される設置型のものであってもよい。スタジオユニット30は、上記の構成要素に加えて、ベースステーション35aと、ベースステーション35bと、デジタルカメラ36aと、デジタルカメラ36bと、ディスプレイ39と、を有する。スタジオルームRとガラス窓を隔てた隣室には、サポーターコンピュータ40が設置されている。サーバ装置20は、サポーターコンピュータ40が設置されている部屋と同じ部屋に設置されてもよい。 The studio unit 30 includes six motion sensors 31a to 31f attached to the actor A1, a controller 33a held in the left hand of the actor A1, a controller 33b held in the right hand of the actor A1, and a mounting tool 37b. It has a camera 37a attached to the head of actor A1 via a camera 37a, and a wristwatch-shaped actor device 91 attached to the left arm of actor A1. The studio unit 30 also includes six motion sensors 32a to 32f attached to the actor A2, a controller 34a held in the left hand of the actor A2, a controller 34b held in the right hand of the actor A2, and a mounting tool 38b. The camera 38a is attached to the head of the actor A2 via the camera 38a, and the wristwatch-shaped actor device 92 is attached to the left arm of the actor A2. A microphone for acquiring audio data may be attached to each of the mounting tool 37b and the mounting tool 38b. This microphone can acquire the utterances of actor A1 and actor A2 as audio data. The microphone may be a wearable type microphone that is attached to the actor A1 and the actor A2 via the attachment device 37b and the attachment device 38b, or an installation type microphone that is installed on the floor, wall, or ceiling of the studio room R. It may be. The studio unit 30 includes a base station 35a, a base station 35b, a digital camera 36a, a digital camera 36b, and a display 39 in addition to the above components. A supporter computer 40 is installed in an adjacent room separated from the studio room R by a glass window. The server device 20 may be installed in the same room where the supporter computer 40 is installed.
モーションセンサ31a~31f及びモーションセンサ32a~32fは、ベースステーション35a及びベースステーション35bと協働して、自らの位置及び向きを検出する。一実施形態において、ベースステーション35a及びベースステーション35bは、多軸レーザーエミッターである。ベースステーション35aは、同期用の点滅光を発した後に、例えば鉛直軸の周りでレーザー光を走査する。ベースステーション35bは、例えば水平軸の周りでレーザー光を走査する。モーションセンサ31a~31f及びモーションセンサ32a~32fはそれぞれ、ベースステーション35a及びベースステーション35bからの点滅光及びレーザー光の入射を検知する光センサを複数備えてもよい。モーションセンサ31a~31f及びモーションセンサ32a~32fはそれぞれ、点滅光の入射タイミングとレーザー光の入射タイミングとの時間差、各光センサでの受光時間、各光センサが検知したレーザー光の入射角度、及び必要に応じてこれら以外の情報に基づいて、自らの位置及び向きを検出してもよい。モーションセンサ31a~31f及びモーションセンサ32a~32fは、例えば、HTC CORPORATIONから提供されているVive Trackerであってもよい。ベースステーション35a及びベースステーション35bは、例えば、HTC CORPORATIONから提供されているベースステーションであってもよい。 Motion sensors 31a to 31f and motion sensors 32a to 32f cooperate with base station 35a and base station 35b to detect their own positions and orientations. In one embodiment, base station 35a and base station 35b are multi-axis laser emitters. After emitting flashing light for synchronization, the base station 35a scans the laser light around the vertical axis, for example. The base station 35b scans a laser beam around a horizontal axis, for example. The motion sensors 31a to 31f and the motion sensors 32a to 32f may each include a plurality of optical sensors that detect the incidence of blinking light and laser light from the base station 35a and the base station 35b. The motion sensors 31a to 31f and the motion sensors 32a to 32f each measure the time difference between the incident timing of the blinking light and the incident timing of the laser beam, the light reception time at each optical sensor, the incident angle of the laser beam detected by each optical sensor, and If necessary, the device may detect its own position and orientation based on information other than these. The motion sensors 31a to 31f and the motion sensors 32a to 32f may be, for example, Vive Tracker provided by HTC CORPORATION. The base station 35a and the base station 35b may be, for example, base stations provided by HTC CORPORATION.
モーションセンサ31a~31f及びモーションセンサ32a~32fの各々において算出された各モーションセンサの位置及び向きを示す検出情報は、サーバ装置20に送信される。この検出情報は、モーションセンサ31a~31f及びモーションセンサ32a~32fの各々からサーバ装置20に無線送信されてもよい。ベースステーション35a及びベースステーション35bは、一定のインターバルで点滅光の発光及びレーザー光の走査を行うので、各モーションセンサの検出情報は、当該インターバルごとに更新される。 Detection information indicating the position and orientation of each of the motion sensors 31a to 31f and the motion sensors 32a to 32f calculated is transmitted to the server device 20. This detection information may be wirelessly transmitted to the server device 20 from each of the motion sensors 31a to 31f and the motion sensors 32a to 32f. Since the base stations 35a and 35b emit flashing light and scan laser light at regular intervals, the detection information of each motion sensor is updated at each interval.
図示の実施形態において、アクターA1は、6つのモーションセンサ31a~31fを装着している。モーションセンサ31a,31b,31c,31d,31e,及び31fはそれぞれ、アクターA1の左手甲、右手甲、左足甲、右足甲、腰、及び頭頂に装着されている。モーションセンサ31a~31fは、装着具を介してアクターA1に装着されてもよい。アクターA2は、6つのモーションセンサ32a~32fを装着している。モーションセンサ32a~32fは、アクターA2に対してモーションセンサ31a~31fと同様の位置に装着され得る。図2に示されているモーションセンサ31a~31f及びモーションセンサ32a~32fは例示である。モーションセンサ31a~31fは、アクターA1の様々な部位に装着され得るし、モーションセンサ32a~32fは、アクターA2の様々な部位に装着され得る。アクターA1及びアクターA2に装着されるモーションセンサの数は5以下であってもよいし7以上であってもよい。このように、アクターA1及びアクターA2の体の各部に装着されたモーションセンサ31a~31f及びモーションセンサ32a~32fの位置及び向きを検出することにより、アクターA1及びアクターA2の体の動きを検出することができる。アクターA1及びアクターA2の体の動きは、光学モーションキャプチャシステムにより検出されてもよい。 In the illustrated embodiment, actor A1 is equipped with six motion sensors 31a-31f. The motion sensors 31a, 31b, 31c, 31d, 31e, and 31f are respectively attached to the back of the left hand, the back of the right hand, the top of the left foot, the top of the right foot, the waist, and the top of the head of the actor A1. The motion sensors 31a to 31f may be attached to the actor A1 via attachment tools. Actor A2 is equipped with six motion sensors 32a to 32f. The motion sensors 32a to 32f may be attached to the actor A2 at the same positions as the motion sensors 31a to 31f. The motion sensors 31a-31f and motion sensors 32a-32f shown in FIG. 2 are examples. Motion sensors 31a to 31f can be attached to various parts of actor A1, and motion sensors 32a to 32f can be attached to various parts of actor A2. The number of motion sensors attached to actor A1 and actor A2 may be 5 or less, or may be 7 or more. In this way, the movements of the bodies of actors A1 and A2 are detected by detecting the positions and orientations of the motion sensors 31a to 31f and motion sensors 32a to 32f attached to each part of the bodies of actors A1 and A2. be able to. Actor A1 and actor A2's body movements may be detected by an optical motion capture system.
コントローラ33a及びコントローラ33bは、アクターA1の操作に応じたコントロール信号をサーバ装置20に出力する。同様に、コントローラ34a及びコントローラ34bは、アクターA2の操作に応じたコントロール信号をサーバ装置20に出力する。 The controller 33a and the controller 33b output control signals to the server device 20 according to the operation of the actor A1. Similarly, the controller 34a and the controller 34b output a control signal to the server device 20 according to the operation of the actor A2.
デジタルカメラ36a及びデジタルカメラ36bは、アクターA1及びアクターA2を撮像して撮像データを生成する。デジタルカメラ36aの位置、撮像方向、及び画角は、操作者の操作に応じて設定される。デジタルカメラ36aは、その位置、撮像方向、及び画角を示す撮像設定情報をサーバ装置20に送信する。同様に、デジタルカメラ36bの位置、撮像方向、及び画角は、操作者の操作に応じて設定される。デジタルカメラ36bは、その位置、撮像方向、及び画角を示す撮像設定情報をサーバ装置20に送信する。デジタルカメラ36a及びデジタルカメラ36bは、撮像した撮像データ(動画データ)をサーバ装置20に送信してもよいし送信しなくともよい。図示の実施形態において、デジタルカメラ36aは、アクターA1の左前方に設けられている。デジタルカメラ36bは、アクターA1及びアクターA2の前方であってアクターA1とアクターA2とのほぼ中間の位置に設けられている。 The digital camera 36a and the digital camera 36b image the actor A1 and the actor A2 to generate image data. The position, imaging direction, and angle of view of the digital camera 36a are set according to the operator's operations. The digital camera 36a transmits imaging setting information indicating its position, imaging direction, and angle of view to the server device 20. Similarly, the position, imaging direction, and angle of view of the digital camera 36b are set according to the operator's operations. The digital camera 36b transmits imaging setting information indicating its position, imaging direction, and angle of view to the server device 20. The digital camera 36a and the digital camera 36b may or may not transmit captured image data (video data) to the server device 20. In the illustrated embodiment, the digital camera 36a is provided to the left front of the actor A1. The digital camera 36b is provided in front of the actors A1 and A2 and at a position approximately midway between the actors A1 and A2.
カメラ37aは、上記のように、アクターA1の頭部に取り付けられている。例えば、カメラ37aは、アクターA1の顔を撮像できるように配置されている。カメラ37aは、アクターA1の顔を連続的に撮像し、アクターA1の顔の撮像データを取得する。カメラ37aは、アクターA1の眼球の動きを検出するアイトラッキングセンサを備えてもよい。同様に、カメラ38aは、アクターA2の頭部に取り付けられている。カメラ38aは、アクターA2の顔を撮像できるように配置されており、アクターA2の顔を連続的に撮像し、アクターA2の顔の撮像データを取得する。カメラ38aは、アクターA2の眼球の動きを検出するアイトラッキングセンサを備えてもよい。これらのアイトラッキングセンサは、例えば、虹彩内に近赤外光を入射しその反射光を検出する視線検出センサである。カメラ37aは、アクターA1の顔の撮像データをサーバ装置20に送信し、カメラ38aは、アクターA1の顔の撮像データをサーバ装置20に送信する。カメラ37a及びカメラ38aは、人物の顔の奥行きを検出可能な3Dカメラであってもよい。カメラ37a及びカメラ38aは、例えば、Apple Incが提供するiPhone Xに備えられたLIDARデバイスであってもよい。iPhone Xは、例えば、アクターA1の頭部に装着されたヘッドギアに取り付けられる。カメラ37a及びカメラ38aは、アクターA1及びA2に装着されるのではなく、スタジオルームR内に設置されたカメラスタンドに設置される固定型のものであってもよい。 The camera 37a is attached to the head of the actor A1, as described above. For example, the camera 37a is arranged so that it can image the face of actor A1. The camera 37a continuously images the face of the actor A1 and obtains image data of the face of the actor A1. The camera 37a may include an eye tracking sensor that detects the movement of the actor A1's eyeballs. Similarly, camera 38a is attached to the head of actor A2. The camera 38a is arranged so as to be able to image the face of the actor A2, and continuously images the face of the actor A2 to obtain image data of the face of the actor A2. The camera 38a may include an eye tracking sensor that detects the movement of the actor A2's eyeballs. These eye tracking sensors are, for example, line-of-sight detection sensors that enter near-infrared light into the iris and detect the reflected light. The camera 37a transmits the image data of the face of actor A1 to the server device 20, and the camera 38a transmits the image data of the face of actor A1 to the server device 20. The camera 37a and the camera 38a may be 3D cameras capable of detecting the depth of a person's face. The camera 37a and the camera 38a may be, for example, LIDAR devices included in iPhone X provided by Apple Inc. For example, iPhone X is attached to headgear attached to the head of actor A1. The camera 37a and the camera 38a may be fixed types installed on a camera stand installed in the studio room R instead of being attached to the actors A1 and A2.
ディスプレイ39は、サポーターコンピュータ40から受信した情報を表示するように構成される。サポーターコンピュータ40からディスプレイ39に送信される情報は、例えば、テキスト情報、画像情報、及びこれら以外の各種情報を含み得る。ディスプレイ39は、アクターA1及びアクターA2によって視認可能な位置に配置される。 Display 39 is configured to display information received from supporter computer 40 . The information transmitted from the supporter computer 40 to the display 39 may include, for example, text information, image information, and various other information. The display 39 is arranged at a position where it can be viewed by the actors A1 and A2.
アクターデバイス91は、サーバ装置20からの駆動信号に応じて、アクターA1が知覚可能な音以外の刺激を発生させるように構成される。アクターデバイス91が音を発生させると、配信コンテンツに当該音が合成されてしまうおそれがあるため、アクターデバイス91は、音以外の刺激を発生させるように構成される。アクターデバイス91は、聴覚刺激(典型的には、音)以外の刺激、例えば、触覚刺激、視覚刺激、又はこれら以外の聴覚刺激とは異なるアクターA1によって知覚可能な刺激を発生させることができる。アクターデバイス91は、アクチュエータ91aを備えてもよい。アクチュエータ91aは、サーバ装置20からの駆動信号により作動するように構成される。アクチュエータ91aは、駆動信号が入力されると振動するように構成されてもよい。アクターデバイス91として、例えば、Apple Incから提供されているApple Watchが用いられ得る。アクターデバイス91は、腕時計型以外の様々な形状をとり得る。アクターA1は、互いに同じ種類の又は互いと異なる種類の複数のアクターデバイス91を装着することができる。アクターデバイス91は、サーバ装置20以外からの駆動信号に応じて作動するように構成されてもよい。複数のアクターデバイス91は、アクターA1を識別するアクターIDと対応付けられていてもよい。アクターデバイス91は、アクチュエータ91aを介して触覚刺激をアクターA1に伝達することができる。アクターデバイス91は、LED(Light Emitting Diode)や知覚ディスプレイデバイスであってもよい。LEDや知覚ディスプレイデバイスは、視覚刺激を発生することができる。知覚ディスプレイデバイスは、電極から流れる電流によって皮膚下の神経軸索を駆動する電気触覚ディスプレイであってもよい。アクターデバイス92は、サーバ装置20からの駆動信号に応じて、アクターA2が知覚可能な音以外の刺激を発生させるように構成される。アクターデバイス91に関する説明は、アクターデバイス92にも同様に当てはまる。 The actor device 91 is configured to generate a stimulus other than sound that can be perceived by the actor A1 in response to a drive signal from the server device 20. If the actor device 91 generates a sound, there is a risk that the sound will be synthesized into the distributed content, so the actor device 91 is configured to generate a stimulus other than the sound. The actor device 91 may generate a stimulus other than an auditory stimulus (typically a sound), such as a tactile stimulus, a visual stimulus, or a stimulus perceivable by the actor A1 that is different from these other auditory stimuli. Actor device 91 may include an actuator 91a. The actuator 91a is configured to be actuated by a drive signal from the server device 20. The actuator 91a may be configured to vibrate when a drive signal is input. As the actor device 91, for example, Apple Watch provided by Apple Inc. can be used. Actor device 91 can take various shapes other than a wristwatch. Actor A1 can be equipped with a plurality of actor devices 91 of the same type or different types. The actor device 91 may be configured to operate in response to a drive signal from a source other than the server device 20. The plurality of actor devices 91 may be associated with an actor ID that identifies actor A1. Actor device 91 can transmit tactile stimulation to actor A1 via actuator 91a. The actor device 91 may be an LED (Light Emitting Diode) or a sensory display device. LEDs and sensory display devices can generate visual stimulation. The sensory display device may be an electrotactile display that drives nerve axons under the skin by electrical current flowing from electrodes. The actor device 92 is configured to generate a stimulus other than sound that can be perceived by the actor A2 in response to a drive signal from the server device 20. The description regarding actor device 91 applies equally to actor device 92.
図示の実施形態において、サポーターコンピュータ40は、スタジオルームRの隣室に設置されている。サポーターコンピュータ40が設置されている部屋とスタジオルームRとはガラス窓によって隔てられているため、サポーターコンピュータ40のオペレータ(本明細書では「サポーター」ということがある。)は、アクターA1及びアクターA2を視認できる。図示の実施形態においては、サポーターコンピュータ40のオペレータとして、サポーターB1及びサポーターB2が在室している。 In the illustrated embodiment, the supporter computer 40 is installed in a room next to the studio room R. Since the room in which the supporter computer 40 is installed and the studio room R are separated by a glass window, the operator of the supporter computer 40 (sometimes referred to as a "supporter" in this specification) can operate the actor A1 and the actor A2. can be visually recognized. In the illustrated embodiment, a supporter B1 and a supporter B2 are present as operators of the supporter computer 40.
サポーターコンピュータ40は、サポーターB1及びサポーターB2の操作に応じて、スタジオユニット30の構成要素の設定を変更することができるように構成されてもよい。サポーターコンピュータ40は、例えば、ベースステーション35a及びベースステーション35bによる走査インターバルの設定、デジタルカメラ36a及びデジタルカメラ36bの撮像方向や画角の設定、及びこれら以外の各種機器の各種設定の変更を行うことができる。後述するアクティブカメラの切り替えは、サポーターB1及びサポーターB2によるサポーターコンピュータ40の操作に基づいて実行され得る。サポーターB1及びサポーターB2の少なくとも一方は、サポーターコンピュータ40にメッセージを入力し、当該入力されたメッセージをディスプレイ39に表示することができる。 The supporter computer 40 may be configured to be able to change the settings of the components of the studio unit 30 in accordance with the operations of the supporter B1 and the supporter B2. The supporter computer 40 can, for example, set the scanning interval of the base station 35a and the base station 35b, set the imaging direction and angle of view of the digital camera 36a and the digital camera 36b, and change various settings of various devices other than these. I can do it. Switching of the active cameras, which will be described later, may be performed based on operations of the supporter computer 40 by the supporters B1 and B2. At least one of supporter B1 and supporter B2 can input a message into supporter computer 40 and display the input message on display 39.
図2に示されているスタジオユニット30の構成要素及び機能は例示である。本発明に適用可能なスタジオユニット30は、図示されていない様々な構成要素を備え得る。配信される動画を生成するための撮影は、より簡易な設備によって実行されてもよい。例えば、スマートフォンなどの情報処理端末によりアクターの顔の動きのデジタル表現であるフェイスモーションデータを生成し、当該フェイスモーションデータに基づいて、アクターの表情の動きに同期してその表情が動くがボディは動かないキャラクタオブジェクトのアニメーションを生成してもよい。このフェイスモーションデータは、アクターの頭部の姿勢のトラッキングデータ、当該アクターの顔の特徴点のデジタル表現であるフィーチャーポイント、及びその変形率を表現したブレンドフェイスデータを含むことができる。スマートフォンなどの情報処理端末は、フェイスモーションデータに基づいて、アクターの表情を誇張して示す画像を作成し、当該画像をキャラクタオブジェクトの顔に重畳表示してもよい。フェイスモーションデータに基づいてキャラクタオブジェクトのアニメーションを生成する場合、アクターの体の動きを検出するためのモーションセンサ31a,31b,31c,31d,31e,及び31f、ベースステーション35a,35b、及びデジタルカメラ36a,36bが不要となるため、より簡易な設備でキャラクタオブジェクトのアニメーションを生成することができる。モーションセンサ31a,31b,31c,31d,31e,及び31f、ベースステーション35a,35b、及びデジタルカメラ36a,36bが不要であれば、スタジオルームR以外の場所、例えばアクターの自宅でもキャラクタオブジェクトの生成を行うことができるので利便性が高まる。 The components and functions of studio unit 30 shown in FIG. 2 are exemplary. The studio unit 30 applicable to the present invention may include various components not shown. Shooting for generating a video to be distributed may be performed using simpler equipment. For example, face motion data, which is a digital representation of an actor's facial movements, is generated using an information processing terminal such as a smartphone, and based on the face motion data, the facial expressions move in synchronization with the actor's facial movements, but the body does not move. Animation may be generated for a character object that does not move. This face motion data can include tracking data of the posture of the actor's head, feature points that are digital representations of feature points of the actor's face, and blend face data that represents the deformation rate thereof. An information processing terminal such as a smartphone may create an image showing an exaggerated expression of the actor based on the face motion data, and display the image superimposed on the face of the character object. When generating animation of a character object based on face motion data, motion sensors 31a, 31b, 31c, 31d, 31e, and 31f, base stations 35a, 35b, and digital camera 36a are used to detect the movement of the actor's body. , 36b are no longer required, it is possible to generate animation of the character object with simpler equipment. If the motion sensors 31a, 31b, 31c, 31d, 31e, and 31f, base stations 35a, 35b, and digital cameras 36a, 36b are not required, character objects can be generated at a location other than the studio room R, for example, at the actor's home. It is more convenient because it can be done.
スタジオユニット30は、プロジェクタを備えていてもよい。当該プロジェクタは、クライアント装置10aまたはそれ以外のクライアント装置に配信される動画をスクリーンSに投影することができる。 Studio unit 30 may include a projector. The projector can project a moving image distributed to the client device 10a or other client devices onto the screen S.
次に、ストレージ23に記憶される情報について説明する。図示の実施形態においては、ストレージ23には、モデルデータ23a、オブジェクトデータ23b、言語フィードバック情報23c1、非言語フィードバック情報23c2、評価情報23c3、ギフト情報23c4、アクター情報23c5、及び必要に応じて前記以外の情報が記憶される。 Next, information stored in the storage 23 will be explained. In the illustrated embodiment, the storage 23 includes model data 23a, object data 23b, verbal feedback information 23c1, nonverbal feedback information 23c2, evaluation information 23c3, gift information 23c4, actor information 23c5, and other than the above as necessary. information is stored.
モデルデータ23aは、キャラクタのアニメーションを生成するためのモデルデータである。モデルデータ23aは、3次元のアニメーションを生成するための3次元モデルデータであってもよいし、2次元のモデルデータを生成するための2次元モデルデータであってもよい。モデルデータ23aは、例えば、キャラクタの骨格を示すリグデータ(「スケルトンデータ」と呼ばれることもある。)と、キャラクタの表面の形状や質感を示すスキンデータと、を含む。モデルデータ23aには、互いに異なる複数のモデルデータを含むことができる。この複数のモデルデータは、互いに異なるリグデータを有していてもよいし、同じリグデータを有していてもよい。この複数のモデルデータは、互いと異なるスキンデータを有していてもよいし、同じスキンデータを有していてもよい。図示の実施形態においては、アクターA1に対応するキャラクタオブジェクト及びアクターA2に対応するキャラクタオブジェクトを生成するために、モデルデータ23aは、互いに異なる少なくとも2種類のモデルデータを有する。このアクターA1に対応するキャラクタオブジェクト用のモデルデータとアクターA2に対応するキャラクタオブジェクト用のモデルデータとは、例えば、同じリグデータを有するが、異なるスキンデータを有していてもよい。 The model data 23a is model data for generating character animation. The model data 23a may be three-dimensional model data for generating three-dimensional animation, or two-dimensional model data for generating two-dimensional model data. The model data 23a includes, for example, rig data (sometimes referred to as "skeleton data") indicating the skeleton of the character, and skin data indicating the shape and texture of the character's surface. The model data 23a can include a plurality of different model data. This plurality of model data may have mutually different rig data, or may have the same rig data. This plurality of model data may have different skin data from each other, or may have the same skin data. In the illustrated embodiment, the model data 23a includes at least two different types of model data in order to generate a character object corresponding to actor A1 and a character object corresponding to actor A2. The model data for the character object corresponding to the actor A1 and the model data for the character object corresponding to the actor A2 have, for example, the same rig data, but may have different skin data.
オブジェクトデータ23bは、動画を構成する仮想空間を構築するためのアセットデータを含む。オブジェクトデータ23bは、動画を構成する仮想空間の背景を描画するためのデータ、動画に表示される各種物体を描画するためのデータ、及びこれら以外の動画に表示される各種オブジェクトを描画するためのデータが含まれる。オブジェクトデータ23bには、仮想空間におけるオブジェクトの位置を示すオブジェクト位置情報を含んでもよい。 The object data 23b includes asset data for constructing a virtual space that constitutes a moving image. The object data 23b includes data for drawing the background of the virtual space constituting the video, data for drawing various objects displayed in the video, and data for drawing various objects displayed in the video other than these. Contains data. The object data 23b may include object position information indicating the position of the object in the virtual space.
オブジェクトデータ23bには、上記以外にも、クライアント装置10a~10cの視聴ユーザからの表示要求に基づいて動画に表示されるギフトを表すギフトオブジェクトが含まれ得る。ギフトオブジェクトには、例えば、ぬいぐるみ、花束、アクセサリー(カチューシャ、ネックレス、イヤリングなど)、衣服(Tシャツなど)、コスチューム、紙吹雪、花火及びこれら以外の物体を模したオブジェクトである。ギフトオブジェクトの各々には、その種類に応じた表示時間が設定されていてもよい。 In addition to the above, the object data 23b may include gift objects representing gifts displayed in the video based on display requests from viewing users of the client devices 10a to 10c. Gift objects include, for example, stuffed animals, bouquets, accessories (headbands, necklaces, earrings, etc.), clothes (T-shirts, etc.), costumes, confetti, fireworks, and objects imitating objects other than these. Each gift object may have a display time set according to its type.
クライアント装置10a~10cからの言語フィードバック情報は、言語フィードバック情報23c1としてストレージ23に記憶される。図3に示されているように、言語フィードバック情報は、視聴ユーザによってテキスト入力又は発話入力されたコメントを表すテキストデータであり、このテキストデータが、当該入力を行った視聴ユーザのアカウント情報及び当該入力が行われた時点での動画のタイムコードと対応付けて記憶される。 The language feedback information from the client devices 10a to 10c is stored in the storage 23 as language feedback information 23c1. As shown in FIG. 3, the linguistic feedback information is text data representing a comment input in text or speech by the viewing user, and this text data includes the account information of the viewing user who made the input and the corresponding comment. It is stored in association with the time code of the video at the time of input.
クライアント装置10a~10c及び/又は外部デバイス11a~11cからの非言語フィードバック情報は、非言語フィードバック情報23c2としてストレージ23に記憶される。図4に示されているように、非言語フィードバック情報は、非言語入力を行った視聴ユーザのアカウント情報及び当該入力が行われた時点での動画のタイムコードと対応付けて記憶される。既述のように、非言語フィードバック情報には、加速度センサにより検出される視聴ユーザの加速度、生体情報センサにより検出される視聴ユーザの生体情報、カメラの撮像データから判定される視聴ユーザによる動画の視聴有無を示す視聴有無情報、及び視聴ユーザの情動を示す情動情報が含まれ得る。非言語フィードバック情報23c2として、視聴ユーザの加速度、生体情報センサにより検出される視聴ユーザの生体情報、視聴ユーザによる動画の視聴有無を示す視聴有無情報、及び視聴ユーザの情動を示す情動情報のうちの一つ以上の情報が記憶され得る。 Nonverbal feedback information from the client devices 10a to 10c and/or external devices 11a to 11c is stored in the storage 23 as nonverbal feedback information 23c2. As shown in FIG. 4, the nonverbal feedback information is stored in association with the account information of the viewing user who made the nonverbal input and the time code of the video at the time the input was made. As mentioned above, non-verbal feedback information includes the viewing user's acceleration detected by an acceleration sensor, the viewing user's biological information detected by a biometric information sensor, and the viewing user's video performance determined from camera imaging data. Viewing/non-viewing information indicating whether the content is viewed or not, and emotional information indicating the emotion of the viewing user may be included. The non-verbal feedback information 23c2 includes the acceleration of the viewing user, biological information of the viewing user detected by a biological information sensor, viewing information indicating whether or not the viewing user views the video, and emotional information indicating the emotion of the viewing user. One or more pieces of information may be stored.
クライアント装置10a~10cからの評価情報は、評価情報23c3としてストレージ23に記憶される。図5に示されているように、評価情報は、評価を決定した視聴ユーザのアカウント情報及び当該評価の入力が行われた時点での動画のタイムコードと対応付けて記憶される。評価情報23c3として、肯定的な評価がなされた回数(例えば、Like数)を示す情報、否定的な評価がなされた回数を表す情報(例えば、Dislike数)、レーティング情報、視聴ユーザの動画に対する感情をを表現するエモーション情報(例えば、拍手数、疑問符数)のうちの一つ以上の情報が記憶され得る。 Evaluation information from the client devices 10a to 10c is stored in the storage 23 as evaluation information 23c3. As shown in FIG. 5, the evaluation information is stored in association with the account information of the viewing user who determined the evaluation and the time code of the video at the time the evaluation was input. The evaluation information 23c3 includes information indicating the number of positive evaluations (for example, number of likes), information indicating the number of times negative evaluations were made (for example, number of dislikes), rating information, and the viewing user's feelings toward the video. One or more of emotional information (eg, number of applause, number of question marks) expressing the emotion may be stored.
クライアント装置10a~10cからのギフト情報は、ギフト情報23c4としてストレージ23に記憶される。図6に示されているように、ギフト情報は、ギフト購入処理またはギフィティグ処理を行った視聴ユーザのアカウント情報及び当該ギフト購入処理またはギフィティグ処理が行われた時点での動画のタイムコードと対応付けて記憶される。ギフト情報23c4として、購入されたギフトの種類、数量及び購入額を示すギフト購入情報及びアクターに提供されたギフトの種類、数量、及び購入金額を示すギフティング情報のうちの一つ以上の情報が記憶され得る。 Gift information from the client devices 10a to 10c is stored in the storage 23 as gift information 23c4. As shown in Figure 6, the gift information is associated with the account information of the viewing user who performed the gift purchase process or gifting process and the time code of the video at the time the gift purchase process or gifting process was performed. is memorized. The gift information 23c4 includes one or more of gift purchase information indicating the type, quantity, and purchase price of the purchased gift, and gifting information indicating the type, quantity, and purchase price of the gift provided to the actor. Can be remembered.
アクター情報23c5は、アクターA1及びアクターA2の動きを示す情報である。一実施形態においては、アクターA1及びアクターA2のボディモーションデータ、アクターA1及びアクターA2のフェイスモーションデータ、及び、マイクにより取得されたアクターA1及びアクターA2の声量を含む音声データが、所定のサンプリングレートで取得され、この取得された加速度及び音声データが、動画のタイムコードと対応付け可能なタイムコードとともにアクター情報23c5として記憶される。後述するように、アクターA1及びアクターA2のフェイスモーションデータに基づいて、アクターA1及びアクターA2の表情の動きに同期して表情が動くキャラクタオブジェクトのアニメーションが生成される。キャラクタオブジェクトの顔の画像として、アクターのフェイスモーションデータに基づいて生成されるアニメーションの代わりに、予め準備された嵌め込み画像を用いることができる。嵌め込み画像は、アクターA1、アクターA2、サポーターB1、及びサポーターB2のうちのいずれかからの指示によりキャラクタオブジェクトの顔の画像として用いられる。アクター情報23c5には、この嵌め込み画像を用いた顔画像の生成が行われたか否かを示す顔入力データが含まれてもよい。 Actor information 23c5 is information indicating the movements of actor A1 and actor A2. In one embodiment, the body motion data of actors A1 and A2, the face motion data of actors A1 and A2, and the audio data including the voice volumes of actors A1 and A2 acquired by microphones are collected at a predetermined sampling rate. The acquired acceleration and audio data are stored as actor information 23c5 together with a time code that can be associated with the time code of the moving image. As will be described later, based on the face motion data of actors A1 and A2, animations of character objects whose facial expressions move in synchronization with the facial movements of actors A1 and A2 are generated. As the face image of the character object, a previously prepared embedded image can be used instead of an animation generated based on the actor's face motion data. The embedded image is used as an image of the face of the character object according to an instruction from any one of the actor A1, the actor A2, the supporter B1, and the supporter B2. The actor information 23c5 may include face input data indicating whether or not a face image has been generated using this embedded image.
次に、コンピュータプロセッサ21により実現される機能についてより具体的に説明する。コンピュータプロセッサ21は、動画配信プログラムに含まれるコンピュータ読み取り可能な命令を実行することにより、ボディモーションデータ生成部21a、フェイスモーションデータ生成部21b、アニメーション生成部21c、動画生成部21d、動画配信部21e、表示要求処理部21f、アクター情報管理部21g、受信情報管理部21h、及びタイムライン情報生成部21iとして機能する。コンピュータプロセッサ21により実現される機能の少なくとも一部は、動画配信システム1のコンピュータプロセッサ21以外のコンピュータプロセッサにより実現されてもよい。コンピュータプロセッサ21により実現される機能の少なくとも一部は、例えば、サポーターコンピュータ40に搭載されているコンピュータプロセッサにより実現されてもよい。 Next, the functions realized by the computer processor 21 will be explained in more detail. The computer processor 21 executes computer-readable instructions included in the video distribution program to generate a body motion data generation section 21a, a face motion data generation section 21b, an animation generation section 21c, a video generation section 21d, and a video distribution section 21e. , a display request processing section 21f, an actor information management section 21g, a reception information management section 21h, and a timeline information generation section 21i. At least some of the functions realized by the computer processor 21 may be realized by a computer processor other than the computer processor 21 of the video distribution system 1. At least some of the functions realized by the computer processor 21 may be realized by a computer processor installed in the supporter computer 40, for example.
ボディモーションデータ生成部21aは、モーションセンサ31a~31fの各々の検出情報に基づいて、アクターA1の体の各部位の第1ボディモーションデータを生成し、また、モーションセンサ32a~32fの各々の検出情報に基づいて、アクターA2の体の各部位の位置及び向きのデジタル表現である第2ボディモーションデータを生成する。本明細書では、第1ボディモーションデータ及び第2ボディモーションデータを総称して単に「ボディモーションデータ」と呼ぶことがある。ボディモーションデータは、時間の経過に伴って随時生成される。例えば、ボディモーションデータは、所定のサンプリングレートごとに生成されてもよい。このように、ボディモーションデータは、アクターA1及びアクターA2の体の動きを時系列的にデジタルデータとして表現することができる。図示の実施形態においては、モーションセンサ31a~31f及びモーションセンサ32a~32fは、アクターA1及びアクターA2の各々の左右の手足、腰、及び頭部に装着されているため、モーションセンサ31a~31f及びモーションセンサ32a~32fの検出情報に基づいて、アクターA1及びアクターA2の概ね全身の位置及び向きを経時的にデジタル表現することが可能である。ボディモーションデータは、例えば、モデルデータ23aに含まれるリグデータを構成する骨(ボーン)の位置及び回転角度を規定することができる。 The body motion data generation unit 21a generates first body motion data for each part of the body of the actor A1 based on the detection information of each of the motion sensors 31a to 31f, and also generates first body motion data of each part of the body of the actor A1 based on the detection information of each of the motion sensors 32a to 32f. Based on the information, second body motion data is generated that is a digital representation of the position and orientation of each body part of actor A2. In this specification, the first body motion data and the second body motion data may be collectively referred to simply as "body motion data." Body motion data is generated as needed over time. For example, body motion data may be generated at each predetermined sampling rate. In this way, the body motion data can represent the body movements of the actors A1 and A2 in time series as digital data. In the illustrated embodiment, the motion sensors 31a to 31f and the motion sensors 32a to 32f are attached to the left and right limbs, waist, and head of each of the actors A1 and A2. Based on the detection information of the motion sensors 32a to 32f, it is possible to digitally represent the positions and orientations of the entire bodies of the actors A1 and A2 over time. The body motion data can define, for example, the positions and rotation angles of bones that constitute the rig data included in the model data 23a.
フェイスモーションデータ生成部21bは、カメラ37aの撮像データに基づいて、アクターA1の顔の動きのデジタル表現である第1フェイスモーションデータを生成し、また、カメラ38aの各々の撮像データに基づいて、アクターA2の顔の動きのデジタル表現である第2フェイスモーションデータを生成する。本明細書では、第1フェイスモーションデータ及び第2フェイスモーションデータを総称して単に「フェイスモーションデータ」と呼ぶことがある。フェイスモーションデータは、時間の経過に伴って随時生成される。例えば、フェイスモーションデータは、所定のサンプリングレートごとに生成されてもよい。このように、フェイスモーションデータは、アクターA2及びアクターA2の顔の動き(表情の変化)及びキャラクタオブジェクトの表情に反映される変形寄与率を時系列的にデジタル表現することができる。 The face motion data generation unit 21b generates first face motion data, which is a digital representation of the facial movement of the actor A1, based on the imaging data of the camera 37a, and also based on the imaging data of each camera 38a, Second face motion data is generated which is a digital representation of the facial motion of actor A2. In this specification, the first face motion data and the second face motion data may be collectively referred to simply as "face motion data." Face motion data is generated as time passes. For example, face motion data may be generated at each predetermined sampling rate. In this manner, the face motion data can digitally express the actor A2 and the deformation contribution rate reflected in the facial movements (changes in facial expression) of the actor A2 and the facial expressions of the character object in a time-series manner.
アニメーション生成部21cは、ボディモーションデータ生成部21aによって生成されたボディモーションデータ及びフェイスモーションデータ生成部21bによって生成されたフェイスモーションデータを、モデルデータ23aに含まれる所定のモデルデータに適用することにより、仮想空間内で動き、また、表情が変化するキャラクタオブジェクトのアニメーションを生成するように構成される。具体的には、アニメーション生成部21cは、アクターA1に関する第1ボディモーションデータ及び第1フェイスモーションデータに基づいて、アクターA1の体及び表情の動きに同期して動くキャラクタオブジェクトのアニメーションを生成し、アクターA2に関する第2ボディモーションデータ及び第2フェイスモーションデータに基づいて、アクターA2の体及び表情の動きに同期して動くキャラクタオブジェクトのアニメーションを生成することができる。本明細書においては、アクターA1の動き及び表情に基づいて生成されたキャラクタオブジェクトを「第1キャラクタオブジェクト」といい、アクターA2の動き及び表情に基づいて生成されたキャラクタオブジェクトを「第2キャラクタオブジェクト」ということがある。キャラクタオブジェクトのアニメーションを生成する際には、オクルージョンやノイズを抑制するために、当該キャラクタオブジェクトのキネマティクスがインバースキネマティクス又はこれ以外のアルゴリズムで補完されてもよい。 The animation generation unit 21c applies the body motion data generated by the body motion data generation unit 21a and the face motion data generated by the face motion data generation unit 21b to predetermined model data included in the model data 23a. , is configured to generate an animation of a character object that moves in a virtual space and changes its expression. Specifically, the animation generation unit 21c generates an animation of a character object that moves in synchronization with the body and facial movements of the actor A1, based on the first body motion data and first face motion data regarding the actor A1, Based on the second body motion data and second face motion data regarding actor A2, an animation of a character object that moves in synchronization with the body and facial movements of actor A2 can be generated. In this specification, a character object generated based on the movement and facial expression of actor A1 is referred to as a "first character object," and a character object generated based on the movement and facial expression of actor A2 is referred to as a "second character object." ” sometimes happens. When generating animation of a character object, the kinematics of the character object may be supplemented with inverse kinematics or other algorithms in order to suppress occlusion and noise.
フェイスモーションデータをモデルデータに適用してキャラクタオブジェクトの表情を変化させる処理は、プロセッサにとって処理負荷が高い。このため、キャラクタオブジェクトの表情がアクターの表情にタイムリーに追従できないことがある。アニメーション生成部21cは、予め準備されている嵌め込み画像を顔の画像として組み込んだキャラクタオブジェクトを生成し、この嵌め込み画像が顔画像として嵌め込まれたキャラクタオブジェクトを含む動画を配信することにより、キャラクタオブジェクトの表情がアクターの表情に追従できないことによる動画の品質の低下を防ぐことができる。 The process of applying face motion data to model data to change the facial expression of a character object places a high processing load on the processor. For this reason, the facial expression of the character object may not be able to follow the facial expression of the actor in a timely manner. The animation generation unit 21c generates a character object that incorporates a previously prepared embedded image as a face image, and distributes a video containing the character object in which this embedded image is embedded as a face image, thereby creating a character object. It is possible to prevent the quality of the video from deteriorating due to the inability of facial expressions to follow the facial expressions of the actor.
動画生成部21dは、オブジェクトデータ23bを用いて仮想空間を構築し、この仮想空間と、アクターA1に対応する第1キャラクタオブジェクトのアニメーションと、アクターA2に対応する第2キャラクタオブジェクトのアニメーションと、を含む動画を生成する。第1キャラクタオブジェクトは、デジタルカメラ36aにより撮像されるアクターA1の位置及び向きに合致するように仮想空間内に配置され、第2キャラクタオブジェクトは、デジタルカメラ36aにより撮像されるアクターA1の位置及び向きに合致するように仮想空間内に配置される。したがって、デジタルカメラ36aの撮像設定情報(カメラの位置、撮像方向、及び画角の少なくとも一つ)を変更することにより、仮想空間内における第1キャラクタオブジェクト及び第2キャラクタオブジェクトの位置及び向きを変化させることができる。 The video generation unit 21d constructs a virtual space using the object data 23b, and creates this virtual space, an animation of a first character object corresponding to actor A1, and an animation of a second character object corresponding to actor A2. Generate a video containing. The first character object is arranged in the virtual space to match the position and orientation of the actor A1 imaged by the digital camera 36a, and the second character object is arranged in the virtual space to match the position and orientation of the actor A1 imaged by the digital camera 36a. are arranged in virtual space to match the . Therefore, by changing the imaging setting information (at least one of the camera position, imaging direction, and angle of view) of the digital camera 36a, the positions and orientations of the first character object and the second character object in the virtual space are changed. can be done.
一態様において、動画生成部21dは、デジタルカメラ36aの撮像設定情報に基づいて仮想空間を構築する。例えば、動画生成部21dは、デジタルカメラ36aの撮像設定情報に基づいて仮想カメラの設定情報(注視位置、注視方向、及び画角)を定め、この仮想カメラの設定情報に基づいて仮想空間全体のうちの描画領域を定め、この仮想空間の描画領域を表示するための動画情報を生成する。 In one aspect, the video generation unit 21d constructs a virtual space based on imaging setting information of the digital camera 36a. For example, the video generation unit 21d determines virtual camera setting information (gazing position, gaze direction, and angle of view) based on the imaging setting information of the digital camera 36a, and determines the setting information of the entire virtual space based on the virtual camera setting information. Determine your drawing area and generate video information for displaying the drawing area in this virtual space.
動画生成部21dは、デジタルカメラ36aの撮像設定情報に代えて、または、デジタルカメラ36aの撮像設定情報に加えて、デジタルカメラ36bの撮像設定情報に基づいて、仮想空間内における第1キャラクタオブジェクト及び第2キャラクタオブジェクトの位置及び向き、及び、仮想カメラの設定情報を定めるように構成されてもよい。動画生成部21dは、デジタルカメラ36a及びデジタルカメラ36bのうちから選択されたカメラ(本明細書において、「アクティブカメラ」と呼ぶことがある。)の撮像設定情報に基づいて仮想カメラの設定情報を定めるように構成されてもよい。 The moving image generation unit 21d generates a first character object and a first character object in the virtual space based on the imaging setting information of the digital camera 36b instead of or in addition to the imaging setting information of the digital camera 36a. The position and orientation of the second character object and the setting information of the virtual camera may be determined. The video generation unit 21d generates virtual camera setting information based on imaging setting information of a camera selected from the digital camera 36a and the digital camera 36b (herein sometimes referred to as an "active camera"). It may be configured to determine.
動画生成部21dは、生成した動画に、スタジオユニット30のマイクから取得したアクターA1及びアクターA2の音声を合成することができる。 The video generation unit 21d can synthesize the voices of the actor A1 and the actor A2 acquired from the microphones of the studio unit 30 into the generated video.
以上のようにして、動画生成部21dは、アクターA1の体及び表情の動きに同期して動く第1キャラクタオブジェクトのアニメーション、並びに、アクターA2の体及び表情の動きに同期して動く第2キャラクタオブジェクトのアニメーションを生成し、このアニメーションにアクターA1及びアクターA2の音声が合成された配信用の動画を生成することができる。 As described above, the video generation unit 21d generates an animation of the first character object that moves in synchronization with the body and facial movements of actor A1, and a second character object that moves in synchronization with the body and facial movements of actor A2. It is possible to generate an animation of the object, and generate a video for distribution by synthesizing the animation with the voices of the actors A1 and A2.
動画配信部21eは、動画生成部21dにおいて生成された動画を所定のフレームレート(例えば、60fps)で符号化し、この符号化された動画を配信する。この符号化により作成された各フレームにはタイムコードが挿入される。この動画は、ネットワーク50を介してクライアント装置10a~クライアント装置10c及びこれら以外のクライアント装置に配信される。受信された動画は、クライアント装置10a~クライアント装置10cにおいて再生される。 The video distribution unit 21e encodes the video generated by the video generation unit 21d at a predetermined frame rate (for example, 60 fps), and distributes the encoded video. A time code is inserted into each frame created by this encoding. This moving image is distributed via the network 50 to the client devices 10a to 10c and other client devices. The received video is played back on the client devices 10a to 10c.
この動画は、スタジオルームR内に設置されているクライアント装置(不図示)に配信され、このクライアント装置から短焦点プロジェクタを介してスクリーンSに投影されてもよい。また、この動画は、サポーターコンピュータ40に配信されてもよい。これにより、サポーターB1及びサポーターB2は、配信されている動画の視聴画面を確認することができる。 This moving image may be distributed to a client device (not shown) installed in the studio room R, and projected onto the screen S from this client device via a short throw projector. Further, this video may be distributed to the supporter computer 40. Thereby, supporter B1 and supporter B2 can check the viewing screen of the video being distributed.
サーバ装置20からクライアント装置10aに配信され、このクライアント装置10aにおいて再生されている動画の表示例が図8に示されている。図示のように、サーバ装置20から配信された動画の表示画像70は、クライアント装置10aのディスプレイに表示される。このクライアント装置10aに表示されている表示画像70は、仮想空間内に、アクターA1に対応するキャラクタオブジェクト71Aと、アクターA2に対応するキャラクタオブジェクト71Bと、このフロア上に置かれたテーブルを示すテーブルオブジェクト72と、が含まれている。 FIG. 8 shows a display example of a moving image that is distributed from the server device 20 to the client device 10a and is being played back on the client device 10a. As illustrated, a display image 70 of a moving image distributed from the server device 20 is displayed on the display of the client device 10a. The display image 70 displayed on this client device 10a includes, in the virtual space, a character object 71A corresponding to actor A1, a character object 71B corresponding to actor A2, and a table indicating a table placed on this floor. Object 72 is included.
キャラクタオブジェクト71Aは、アクターA1の第1ボディモーションデータ及び第1フェイスモーションデータをモデルデータ23aに含まれているアクターA1用のモデルデータに適用することにより生成される。キャラクタオブジェクト71Aは、第1ボディモーションデータ及び第1フェイスモーションデータに基づいてモーション制御される。キャラクタオブジェクト71Bは、アクターA2の第2ボディモーションデータ及び第2フェイスモーションデータを、モデルデータ23aに含まれているアクターA2用のモデルデータに適用することにより生成される。キャラクタオブジェクト71Bは、第2ボディモーションデータ及び第2フェイスモーションデータに基づいてモーション制御される。したがって、キャラクタオブジェクト71Aは、アクターA1の体及び表情の動きに同期して画面内で動くように制御され、キャラクタオブジェクト71Bは、アクターA2の体及び表情の動きに同期して画面内で動くように制御される。 The character object 71A is generated by applying the first body motion data and first face motion data of the actor A1 to the model data for the actor A1 included in the model data 23a. The motion of the character object 71A is controlled based on the first body motion data and the first face motion data. The character object 71B is generated by applying the second body motion data and second face motion data of the actor A2 to the model data for the actor A2 included in the model data 23a. The motion of the character object 71B is controlled based on the second body motion data and the second face motion data. Therefore, the character object 71A is controlled to move within the screen in synchronization with the movement of the body and facial expression of actor A1, and the character object 71B is controlled to move within the screen in synchronization with the movement of the body and facial expression of actor A2. controlled by.
一態様において、動画生成部21dは、視聴ユーザから特定のギフトオブジェクトの表示要求を受け付けると、当該表示要求に基づいて、表示が要求されたギフトオブジェクトを動画の表示画像70に表示させるための処理を行う。例えば、紙吹雪に対応するギフトオブジェクト及び熊のぬいぐるみを示す通常オブジェクトの表示要求がなされた場合には、動画生成部21dは、図9に示すように、当該表示要求に基づいて紙吹雪を示すオブジェクト73及び熊のぬいぐるみを示すオブジェクト74を表示画像70に表示させる。 In one aspect, upon receiving a request to display a specific gift object from a viewing user, the video generation unit 21d performs processing for displaying the requested gift object in the display image 70 of the video based on the display request. I do. For example, when a request is made to display a gift object corresponding to confetti and a normal object representing a stuffed bear, the video generation unit 21d displays confetti based on the display request, as shown in FIG. An object 73 and an object 74 representing a stuffed bear are displayed on the display image 70.
上記のように、サーバ装置20からの配信動画は、サポーターコンピュータ40に配信されてもよい。サポーターコンピュータ40に配信された動画は、サポーターコンピュータ40において図4と同様に表示される。サポーターB1及びサポーターB2は、サポーターコンピュータ40において再生されている動画を見て、スタジオユニット30の構成要素の設定を変更することができる。一態様において、サポーターB1及びサポーターB2は、配信中の動画においてキャラクタオブジェクト71A及びキャラクタオブジェクト71Bのアングルを変更したい場合には、デジタルカメラ36aの撮像方向の変更を指示する指示信号をサポーターコンピュータ40からデジタルカメラ36aに送信することができる。デジタルカメラ36aは、当該指示信号に応じて、撮像方向を変更することができる。例えば、デジタルカメラ36aは、スタンドにその軸周りにアクチュエータを内蔵した回動機構を介して回動可能に取り付けられており、デジタルカメラ36aが撮像方向の変更を指示する指示信号を受信すると、当該指示信号に基づいて当該回動機構のアクチュエータが駆動され、当該指示信号に応じた角度だけデジタルカメラ36aが回動されてもよい。一態様において、サポーターB1及びサポーターB2は、画角の変更を指示する指示信号をサポーターコンピュータ40からデジタルカメラ36aに送信してもよい。一態様において、サポーターB1及びサポーターB2は、デジタルカメラ36aからの撮像設定情報に代えて、デジタルカメラ36bからの撮像設定情報を用いるための指示をサポーターコンピュータ40からデジタルカメラ36a及びデジタルカメラ36bに送信してもよい。 As described above, the distributed video from the server device 20 may be distributed to the supporter computer 40. The video distributed to the supporter computer 40 is displayed on the supporter computer 40 in the same manner as in FIG. 4 . Supporter B1 and supporter B2 can watch the video being played on the supporter computer 40 and change the settings of the components of the studio unit 30. In one aspect, when the supporters B1 and B2 want to change the angles of the character objects 71A and 71B in the video being distributed, the supporters B1 and B2 receive an instruction signal from the supporter computer 40 that instructs them to change the imaging direction of the digital camera 36a. It can be transmitted to the digital camera 36a. The digital camera 36a can change the imaging direction according to the instruction signal. For example, the digital camera 36a is rotatably attached to a stand via a rotation mechanism that includes an actuator around its axis, and when the digital camera 36a receives an instruction signal instructing to change the imaging direction, the corresponding The actuator of the rotation mechanism may be driven based on the instruction signal, and the digital camera 36a may be rotated by an angle corresponding to the instruction signal. In one aspect, the supporter B1 and the supporter B2 may transmit an instruction signal from the supporter computer 40 to the digital camera 36a instructing to change the angle of view. In one embodiment, the supporter B1 and the supporter B2 transmit an instruction from the supporter computer 40 to the digital camera 36a and the digital camera 36b to use the imaging setting information from the digital camera 36b instead of the imaging setting information from the digital camera 36a. You may.
一態様において、サポーターB1及びサポーターB2は、サポーターコンピュータ40にて再生されている動画を見てアクターA1またはアクターA2に対する指示が必要と判断した場合には、その指示を示すメッセージをサポーターコンピュータ40に入力し、このメッセージをディスプレイ39に出力することができる。例えば、サポーターB1及びサポーターB2は、このディスプレイ39に表示されるメッセージを通じて、アクターA1またはアクターA2に対して立ち位置の変更を指示することができる。 In one aspect, when the supporters B1 and B2 determine that an instruction to the actor A1 or the actor A2 is necessary after watching the video being played on the supporter computer 40, the supporter B1 and the supporter B2 send a message indicating the instruction to the supporter computer 40. This message can be input and output on the display 39. For example, supporter B1 and supporter B2 can instruct actor A1 or actor A2 to change their standing position through a message displayed on the display 39.
表示要求処理部21fは、視聴ユーザのクライアント装置からギフトの表示要求を受け付け、当該表示要求に応じた処理を行う。各視聴ユーザは、自らのクライアント装置を操作することにより、ギフトの表示要求をサーバ装置20に送信することができる。例えば、第1視聴ユーザは、クライアント装置10aを操作することにより、ギフトの表示要求をサーバ装置20に送信することができる。ギフトの表示要求には、視聴ユーザのユーザIDと、表示を要求するギフトを特定する識別情報(オブジェクトID)が含まれてもよい。例えば、視聴ユーザから紙吹雪を模したギフトの表示要求がなされた場合には、表示要求処理部21fは、図9に示すように、当該表示要求に基づいて紙吹雪を示すオブジェクト73を表示画像70に表示させる。視聴ユーザから熊のぬいぐるみを模したギフトの表示要求がなされた場合には、表示要求処理部21fは、当該表示要求に基づいて表示が要求された熊のぬいぐるみを示すオブジェクト74を表示画像70に表示させる。 The display request processing unit 21f receives a gift display request from a viewing user's client device, and performs processing according to the display request. Each viewing user can transmit a gift display request to the server device 20 by operating his/her own client device. For example, the first viewing user can transmit a gift display request to the server device 20 by operating the client device 10a. The gift display request may include the user ID of the viewing user and identification information (object ID) that specifies the gift that is requested to be displayed. For example, when a viewing user makes a request to display a gift imitating confetti, the display request processing unit 21f displays an object 73 representing confetti in the display image based on the display request, as shown in FIG. 70. When the viewing user makes a request to display a gift imitating a stuffed bear, the display request processing unit 21f displays an object 74 representing the stuffed bear requested to be displayed in the display image 70 based on the display request. Display.
アクター情報管理部21gは、アクターA1及びアクターA2の動きを示すアクター情報を所定のサンプリングレートで取得し、取得したアクター情報をストレージ23に格納する。具体的には、アクター情報管理部21gは、モーションセンサ31a~31f及びモーションセンサ32a~32fの検出信号に基づいて、アクターA1及びアクターA2の所定の部位(例えば、頭部、腕、掌)の動きの加速度を算出し、算出した加速度にサンプリングレートに応じたタイムコードを付して、アクター情報23c5としてストレージ23に格納することができる。アクター情報管理部21gは、モーションセンサ31a~31f及びモーションセンサ32a~32fにより検出された3軸の加速度の二乗和平方根をアクター情報23c5としてストレージ23に記憶してもよい。アクター情報管理部21gは、スタジオRに備えられたマイクによって取得されたアクターA1及びアクターA2の音声データを取得し、取得した音声データをアクター情報23c5としてストレージ23に格納することができる。アクター情報23c5としては、音声データのうち声量を用いてもよい。アクター情報管理部21gは、アクターA1又はアクターA2のキャラクタオブジェクトの顔の画像として嵌め込み画像が用いられる場合には、嵌め込み画像を用いた顔画像の生成が行われたことを示す顔入力データをタイムコードと対応付けてストレージ23に格納することができる。 The actor information management unit 21g acquires actor information indicating the movements of the actors A1 and A2 at a predetermined sampling rate, and stores the acquired actor information in the storage 23. Specifically, the actor information management unit 21g detects predetermined parts (for example, the head, arm, palm) of the actors A1 and A2 based on the detection signals of the motion sensors 31a to 31f and the motion sensors 32a to 32f. It is possible to calculate the acceleration of the movement, add a time code according to the sampling rate to the calculated acceleration, and store it in the storage 23 as actor information 23c5. The actor information management unit 21g may store the square root of the sum of squares of the three-axis accelerations detected by the motion sensors 31a to 31f and the motion sensors 32a to 32f in the storage 23 as the actor information 23c5. The actor information management unit 21g can acquire the voice data of the actors A1 and A2 acquired by the microphones provided in the studio R, and store the acquired voice data in the storage 23 as the actor information 23c5. The voice volume of the audio data may be used as the actor information 23c5. When an embedded image is used as a face image of a character object of actor A1 or actor A2, the actor information management unit 21g stores face input data indicating that a face image has been generated using the embedded image in a timely manner. It can be stored in the storage 23 in association with the code.
受信情報管理部21hは、クライアント装置10a~クライアント装置10cから取得された言語フィードバック情報、評価情報、及びギフト情報を、これらの情報がクライアント装置10a~クライアント装置10cにおいて取得されたときの動画のタイムコードと対応付けてストレージ23に格納する。言語フィードバック情報、評価情報、及びギフト情報はそれぞれ、言語フィードバック情報23c1、評価情報23c3、ギフト情報23c4としてストレージ23に格納される。また、受信情報管理部21hは、クライアント装置10a~クライアント装置10c及び外部デバイス11a~11cから取得された非言語フィードバック情報を動画のタイムコードと対応付けて非言語フィードバック情報23c2としてストレージ23に格納する。受信情報管理部21hは、クライアント装置10a~クライアント装置10c以外にもサーバ装置20から配信されている動画の視聴に用いられている多数のクライアント装置、及び、外部デバイス11a~11c以外の多数の外部デバイスから、言語フィードバック情報、非言語フィードバック情報、評価情報、及びギフト情報を受信し、この受信した情報に基づいて、言語フィードバック情報23c1、非言語フィードバック情報23c2、評価情報23c3、及びギフト情報23c4を随時更新する。 The reception information management unit 21h stores the language feedback information, evaluation information, and gift information acquired from the client devices 10a to 10c based on the time of the video when these pieces of information were acquired by the client devices 10a to 10c. It is stored in the storage 23 in association with the code. The language feedback information, evaluation information, and gift information are stored in the storage 23 as language feedback information 23c1, evaluation information 23c3, and gift information 23c4, respectively. Further, the reception information management unit 21h associates the nonverbal feedback information acquired from the client devices 10a to 10c and the external devices 11a to 11c with the time code of the video and stores it in the storage 23 as nonverbal feedback information 23c2. . The reception information management unit 21h manages a large number of client devices other than the client devices 10a to 10c that are used for viewing videos distributed from the server device 20, and a large number of external devices other than the external devices 11a to 11c. Verbal feedback information, non-verbal feedback information, evaluation information, and gift information are received from the device, and based on the received information, verbal feedback information 23c1, non-verbal feedback information 23c2, evaluation information 23c3, and gift information 23c4 are Updated from time to time.
タイムライン情報作成部21iは、ストレージ23に格納されている非言語フィードバック情報23c2及びアクター情報23c5を時系列に表すタイムライン情報を作成する。タイムライン情報には、言語フィードバック情報23c1、評価情報23c3、及びギフト情報23c4の少なくとも一部が含まれてもよい。タイムライン情報は、非言語フィードバック情報23c2及びアクター情報23c5を時系列に表す情報である。タイムライン情報作成部21iは、作成したタイムライン情報をディスプレイに表示することができる。タイムライン情報は、ディスプレイ39、サポーターコンピュータ40が備えるディスプレイ、及びこれら以外のディスプレイにリアルタイムで表示され得る。作成されたタイムライン情報は、ストレージ23に記憶されてもよい。動画作成者は、動画やアクターのパフォーマンスに対する視聴ユーザの反応を分析する際に、ストレージ23からタイムライン情報を読み出して利用することができる。 The timeline information creation unit 21i creates timeline information that represents the nonverbal feedback information 23c2 and actor information 23c5 stored in the storage 23 in chronological order. The timeline information may include at least a portion of the language feedback information 23c1, the evaluation information 23c3, and the gift information 23c4. The timeline information is information that represents the nonverbal feedback information 23c2 and the actor information 23c5 in chronological order. The timeline information creation unit 21i can display the created timeline information on the display. The timeline information can be displayed in real time on the display 39, the display included in the supporter computer 40, and other displays. The created timeline information may be stored in the storage 23. The video creator can read and use the timeline information from the storage 23 when analyzing the reaction of viewing users to the video or actor's performance.
図10に、タイムライン情報の表示例を示す。図示のように、一実施形態におけるタイムライン情報80は、アクター情報23c5に基づいて生成されたグラフ82~グラフ84、非言語フィードバック情報23c2に基づいて生成されたグラフ85、及びその他のグラフ86~88を含む。グラフ82~88は、アクター情報に付与されたタイムコードと、配信される動画ストリームに付与されたタイムコードとを、所定の基準時刻を基準として整合させることにより、アクター情報に付与されたタイムコードに従って作成されるグラフ82~84と動画ストリームに付与されたタイムコードに従って作成されるグラフ85~88とを同期させることができる。つまり、グラフ82~88は、統一されたタイムライン上に表示される。 FIG. 10 shows a display example of timeline information. As illustrated, the timeline information 80 in one embodiment includes graphs 82 to 84 generated based on the actor information 23c5, a graph 85 generated based on the nonverbal feedback information 23c2, and other graphs 86 to 84. Contains 88. Graphs 82 to 88 show the time codes assigned to actor information by matching the time codes assigned to actor information and the time codes assigned to distributed video streams based on a predetermined reference time. It is possible to synchronize graphs 82 to 84 created according to the above and graphs 85 to 88 created according to the time code given to the video stream. In other words, the graphs 82 to 88 are displayed on a unified timeline.
グラフ82は、アクターA1の動きの加速度を時系列に示すグラフである。グラフ83は、アクターA1の声量を時系列に示すグラフである。グラフ84は、アクターA1のキャラクタについて嵌め込み画像を用いた顔画像の生成が行われたか否かを示す顔入力データを時系列に示すグラフである。グラフ84におけるパルス84a及びパルス84bは、パルス84a及びパルス84bが発生した時刻において嵌め込み画像を用いた顔画像の生成が行われたこと意味する。グラフ82~グラフ84はいずれも、ストレージ23に格納されているアクター情報23c5に基づいて作成され得る。タイムライン情報80は、アクターA2についてもグラフ82~グラフ84と同様のグラフを含んでも良い。 The graph 82 is a graph showing the acceleration of the movement of the actor A1 in time series. A graph 83 is a graph showing the voice volume of actor A1 in time series. A graph 84 is a graph chronologically showing face input data indicating whether or not a face image has been generated using an embedded image for the character of actor A1. Pulse 84a and pulse 84b in graph 84 mean that the face image was generated using the embedded image at the time when pulse 84a and pulse 84b were generated. Any of the graphs 82 to 84 can be created based on the actor information 23c5 stored in the storage 23. The timeline information 80 may also include graphs similar to the graphs 82 to 84 for the actor A2.
グラフ85は、動画視聴中における第1視聴ユーザの動きの加速度を時系列に示すグラフである。グラフ85は、ストレージ23に格納されている非言語フィードバック情報23c2に基づいて作成され得る。グラフ85は、単一の視聴ユーザ(例えば、クライアント装置10aを使用する第1視聴ユーザ)の加速度を表すグラフでもよいし、複数の視聴ユーザの加速度を加算して得られる加速度の和又は複数の視聴ユーザの加速度の平均値を表すグラフであってもよい。単一の視聴ユーザの個別の視聴状態の把握のためには、単一の視聴ユーザの加速度を示すグラフが用いられ、視聴ユーザの視聴状態の平均的傾向を把握するためには複数の視聴ユーザの加速度の和または平均値が用いられ得る。図示の例においては、グラフ85は、複数の視聴ユーザの加速度の単位時間あたりの平均値が示されている。 A graph 85 is a graph showing the acceleration of the first viewing user's movement in time series while viewing a video. Graph 85 may be created based on nonverbal feedback information 23c2 stored in storage 23. The graph 85 may be a graph representing the acceleration of a single viewing user (for example, the first viewing user using the client device 10a), or may be a graph representing the acceleration of a single viewing user (for example, the first viewing user using the client device 10a), a sum of accelerations obtained by adding the accelerations of multiple viewing users, or a graph representing the acceleration of a plurality of viewing users. It may also be a graph representing the average value of acceleration of viewing users. In order to understand the individual viewing status of a single viewing user, a graph showing the acceleration of a single viewing user is used, and in order to understand the average tendency of the viewing status of multiple viewing users, a graph showing the acceleration of a single viewing user is used. The sum or average value of the accelerations may be used. In the illustrated example, the graph 85 shows the average value of the accelerations of a plurality of viewing users per unit time.
グラフ86は、視聴ユーザから投稿された単位時間(例えば1秒又は1分)あたりのコメント数を時系列に示すグラフである。グラフ86は、ストレージ23に格納されている言語フィードバック情報23c1に基づいて作成され得る。グラフ86は、単一の視聴ユーザから投稿された単位時間ごとのコメント数を表すグラフでもよいし、複数の視聴ユーザから投稿された単位時間ごとのコメント数の合計又は平均値を表すグラフであってもよい。グラフ86は、言語フィードバック情報23c1に基づいて所定時間間隔ごとに投稿されたコメント数を単位時間ごとにカウントし、このカウント値を縦軸にプロットすることで作成され得る。 A graph 86 is a graph showing the number of comments posted by viewing users per unit time (for example, 1 second or 1 minute) in chronological order. The graph 86 may be created based on the linguistic feedback information 23c1 stored in the storage 23. The graph 86 may be a graph representing the number of comments posted by a single viewing user per unit time, or a graph representing the total or average number of comments posted by multiple viewing users per unit time. You can. The graph 86 can be created by counting the number of comments posted at each predetermined time interval based on the language feedback information 23c1 for each unit time, and plotting this count value on the vertical axis.
グラフ87は、視聴ユーザから投稿された単位時間(例えば1秒又は1分)あたりの評価情報を時系列に示すグラフである。図示の例では、グラフ87は、評価情報23c3に基づいて所定時間間隔ごとに視聴ユーザから投稿された動画に対する肯定的な評価の数(Like数)をカウントし、このカウント値を縦軸にプロットすることで作成され得る。つまり、グラフ87の縦軸は、単位時間ごとに動画に対する肯定的な評価がなされた回数(Like数)を示す。グラフ87に代えて、または、グラフ87に加えて、視聴ユーザから投稿された動画に対する否定的な評価がなされた回数(Dislike数)、レーティング情報、及び視聴ユーザの動画に対する感情を表現するエモーション情報の少なくとも一つを時系列に示すグラフが表示されてもよい。グラフ87は、ストレージ23に格納されている評価情報23c3に基づいて作成され得る。グラフ87は、単一の視聴ユーザからの評価情報(例えばLike数)を表すグラフでもよいし、複数の視聴ユーザからの評価情報の合計又はその平均値を表すグラフであってもよい。 A graph 87 is a graph showing evaluation information per unit time (for example, 1 second or 1 minute) posted by viewing users in chronological order. In the illustrated example, the graph 87 counts the number of positive evaluations (number of likes) for videos posted by viewing users at predetermined time intervals based on the evaluation information 23c3, and plots this count value on the vertical axis. It can be created by In other words, the vertical axis of the graph 87 indicates the number of times the video is positively evaluated (number of likes) per unit time. Instead of or in addition to the graph 87, the number of negative evaluations (number of Dislikes) of videos posted by viewing users, rating information, and emotion information expressing the viewing users' feelings toward the video. A graph showing at least one of the above in chronological order may be displayed. The graph 87 may be created based on the evaluation information 23c3 stored in the storage 23. The graph 87 may be a graph representing evaluation information (for example, the number of likes) from a single viewing user, or may be a graph representing the total or average value of evaluation information from a plurality of viewing users.
グラフ88は、視聴ユーザが購入したギフト又は視聴ユーザによってアクターに提供されたギフトに関するギフト情報を時系列に示すグラフである。図示の例では、グラフ88は、視聴ユーザからアクターA1に提供(ギフティング)された単位時間(例えば1秒又は1分)あたりのギフトの数量を示す。グラフ88は、視聴ユーザからアクターA1に提供されたギフトの数量の所定時間ごとの平均を示してもよい。グラフ88に代えて、または、グラフ88に加えて、視聴ユーザによってアクターA1に提供(ギフティング)されたギフトの購入額を示すグラフ、視聴ユーザによって購入された(又は購入が検討された)ギフトの数量や購入額(アクターに実際に提供されたか否かは問わない)を示すグラフ、及び視聴ユーザによってギフト購入のために取得されたポイントの数量を表すグラフの少なくとも一つが表示されてもよい。グラフ88は、ギフトの種類ごとに表示されてもよい。例えば、ギフトが3種類存在する場合には、グラフ88は、当該3種類のギフトの各々に対応するグラフの集合であってもよい。例えば、ギフトには、アクターA1のキャラクタオブジェクトの背後に表示される第1ギフト、アクターA1のキャラクタオブジェクトの前に表示される第2ギフト、アクターA1のキャラクタオブジェクトに装着される第3ギフトを含んでもよい。グラフ88がギフトの各種類に対応するグラフを含む場合には、ギフトの種類ごとに、ギフティング数、購入数量、及び購入金額を管理することができる。グラフ88は、ストレージ23に格納されているギフト情報23c4に基づいて作成され得る。グラフ88は、単一の視聴ユーザによって購入またはギフティングされたギフトの数量や購入額を示すグラフでもよいし、複数の視聴ユーザによって購入またはギフティングされたギフトの数量や購入額の合計値を表すグラフであってもよい。 A graph 88 is a graph showing gift information regarding gifts purchased by viewing users or gifts provided to actors by viewing users in chronological order. In the illustrated example, the graph 88 indicates the number of gifts provided (gifted) from the viewing user to the actor A1 per unit time (for example, 1 second or 1 minute). The graph 88 may indicate the average number of gifts provided to actor A1 from viewing users for each predetermined time period. In place of or in addition to the graph 88, a graph showing the purchase amount of a gift provided (gifted) to actor A1 by a viewing user, a gift purchased (or considered to be purchased) by a viewing user. At least one of a graph showing the quantity and purchase amount (regardless of whether or not it was actually provided to the actor) of the gift, and a graph showing the quantity of points acquired by the viewing user for purchasing the gift may be displayed. . Graph 88 may be displayed for each type of gift. For example, if there are three types of gifts, the graph 88 may be a collection of graphs corresponding to each of the three types of gifts. For example, the gifts include a first gift displayed behind the character object of actor A1, a second gift displayed in front of the character object of actor A1, and a third gift attached to the character object of actor A1. But that's fine. When the graph 88 includes graphs corresponding to each type of gift, the number of gifts, the amount of purchases, and the amount of purchase can be managed for each type of gift. The graph 88 may be created based on the gift information 23c4 stored in the storage 23. The graph 88 may be a graph showing the quantity and purchase amount of gifts purchased or gifted by a single viewing user, or may be a graph showing the total value of the quantity and purchase amount of gifts purchased or gifted by multiple viewing users. It may also be a graph that represents.
以上のように、タイムライン情報80は、アクターの行動を示すアクター情報と視聴ユーザからの非言語フィードバック情報とを同期させて時系列に表すことができるので、動画制作者または動画配信者(例えば、アクターA1、アクターA2、サポーターB1、及びサポーターB2)は、タイムライン情報80に基づいて、アクターのパフォーマンスについての有用なフィードバックを得ることができる。特に、視聴ユーザの非言語フィードバックを表すグラフ85をアクターの動きを示すグラフ82~84と比較することにより、アクターのパフォーマンスに関する有用な情報が得られる。例えば、グラフ85には、表示されている配信期間中に3つのピーク85a,85b,85cを有する。この3つのピーク85a,85b,85cは、動画を視聴中に各ピークの発生時刻において視聴ユーザが笑ったと推定されることを示している。そして、図示の実施形態においては、グラフ84を参照することにより、ピーク85a及びピーク85bの少し前の時間に嵌め込み画像を用いた顔画像の生成が行われたことが分かるので、顔画像に嵌め込み画像が嵌め込まれたタイミングで笑った視聴ユーザが多いと推定することができる。 As described above, the timeline information 80 can be expressed in chronological order by synchronizing the actor information indicating the actor's actions and the nonverbal feedback information from the viewing user. , Actor A1, Actor A2, Supporter B1, and Supporter B2) can obtain useful feedback about the actors' performance based on the timeline information 80. In particular, useful information regarding the actor's performance can be obtained by comparing the graph 85 representing the viewing user's non-verbal feedback with the graphs 82-84 representing the actor's movements. For example, graph 85 has three peaks 85a, 85b, and 85c during the displayed distribution period. These three peaks 85a, 85b, and 85c indicate that it is estimated that the viewing user laughed at the time when each peak occurred while viewing the video. In the illustrated embodiment, by referring to the graph 84, it can be seen that the face image was generated using the embedded image at a time slightly before the peak 85a and the peak 85b. It can be estimated that many viewing users laughed at the timing when the image was inserted.
グラフ86にはピーク86aが発生しており、グラフ87にはピーク87aが発生している。これらのピーク86a及びピーク87aが発生した時刻の前におけるアクター情報を分析することにより、アクターのパフォーマンスについてさらに有用なフィードバックが得られる可能性がある。ただし、グラフ86及びグラフ87は、コメントのテキスト入力や評価情報の入力と言った視聴ユーザの意図的な行動を検出しているため、視聴ユーザが入力を意図した時刻よりもピーク86a及びピーク87aが発生している時刻が遅延していることを考慮することが必要である。 A peak 86a occurs in the graph 86, and a peak 87a occurs in the graph 87. By analyzing actor information prior to the times when these peaks 86a and 87a occur, more useful feedback about the actor's performance may be obtained. However, since the graphs 86 and 87 detect the viewing user's intentional actions such as comment text input and evaluation information input, the peaks 86a and 87a are higher than the time when the viewing user intended to input. It is necessary to take into account that the time of occurrence is delayed.
グラフ87からは、視聴ユーザがアクターのどのようなパフォーマンスに対して肯定的な評価を行ったのかを把握することができる。上記のように、グラフ87は、視聴ユーザの動画に対する感情を表現するエモーション情報を時系列に表すグラフであってもよい。つまり、グラフ87は、視聴者ユーザのエモーション情報の合計又はエモーション情報の単位時間当たりの平均の時間推移を示すグラフであってもよい。このように、エモーション情報の時間推移を示すグラフ87と、アクター情報に基づいて生成されたグラフ82~84と、を統一されたタイムライン上に表示することができる。よって、グラフ82~84及びグラフ87に基づいて、アクターのどのようなパフォーマンス、動き、又は演出表現が、視聴ユーザによるエモーション情報を通じたフィードバックを生じさせたのかを把握することができる。動画の制作者は、このようにして把握されるアクターのパフォーマンス、動き、又は演出表現と視聴ユーザのエモーション表現を通じたフィードバックとの関係に基づいて、動画制作時の演出の改善を行うことができる。また、上記のようにして把握されるアクターのパフォーマンス、動き、又は演出表現と視聴ユーザのエモーション表現を通じたフィードバックとの関係に基づいて、視聴ユーザへの動画のリコメンドを行うことができる。 From the graph 87, it is possible to understand which performances of the actors the viewing users positively evaluated. As described above, the graph 87 may be a graph that represents emotion information expressing the viewing user's emotions toward the video in chronological order. In other words, the graph 87 may be a graph showing the total of the viewer user's emotion information or the average time change of the emotion information per unit time. In this way, the graph 87 showing the time transition of emotion information and the graphs 82 to 84 generated based on the actor information can be displayed on a unified timeline. Therefore, based on the graphs 82 to 84 and the graph 87, it is possible to understand what kind of performance, movement, or production expression of the actor caused feedback from the viewing user through emotional information. The video creator can improve the performance during video production based on the relationship between the actor's performance, movement, or stage expression and the feedback through the emotional expression of the viewing user, which is understood in this way. . Further, it is possible to recommend a video to the viewing user based on the relationship between the performance, movement, or production expression of the actor and the feedback through the emotional expression of the viewing user, which is ascertained as described above.
グラフ87は、個別の視聴ユーザについて、当該視聴ユーザから提供されたエモーション情報を時系列で示すグラフであってもよい。この場合、個別の視聴ユーザからのエモーション情報の時間推移を示すグラフ87と、アクター情報に基づいて生成されたグラフ82~84と、を統一されたタイムライン上に表示することができる。これにより、個別の視聴ユーザから提供されたエモーション情報に基づいて、動画制作時の演出の改善や、当該視聴ユーザへの動画のリコメンドを行うことができる。 The graph 87 may be a graph showing emotion information provided by each viewing user in chronological order. In this case, the graph 87 showing the time course of emotion information from individual viewing users and the graphs 82 to 84 generated based on the actor information can be displayed on a unified timeline. Thereby, based on the emotion information provided by individual viewing users, it is possible to improve the performance during video production and to recommend videos to the viewing users.
動画制作時の演出の改善の非限定的な例は以下のとおりである。例えば、あるエモーション(例えば、驚き)のフィードバックを増加させることを意図する場合、ある配信動画に関して統一されたタイムライン上に表示されたグラフ87及びグラフ82~84に基づいて、所定のエモーションの表出に寄与したアクターのパフォーマンス、動き、又は演出表現(以下、「アクター表現」と総称することがある。)を把握し、別の動画の作成時には、当該所定のエモーションの表出に寄与したアクター表現の回数や頻度を増やすことにより、当該別の動画において、当該所定のエモーションのフィードバックの増加を図ることができる。エモーションの増加に関する上記の手法と同様の手法によって、動画に対するLike数及びギフティング数の増加を図ることもできる。 Non-limiting examples of improvements in presentation during video production include: For example, when the intention is to increase the feedback of a certain emotion (for example, surprise), a table of a predetermined emotion is created based on the graph 87 and graphs 82 to 84 displayed on a unified timeline regarding a certain distributed video. The performance, movement, or production expression (hereinafter sometimes referred to collectively as "actor expression") of the actor who contributed to the expression of the emotion is grasped, and when creating another video, the actor who contributed to the expression of the specified emotion is identified. By increasing the number of expressions or the frequency, it is possible to increase the feedback of the predetermined emotion in the other video. It is also possible to increase the number of likes and gifts for a video using a method similar to the above-described method regarding increasing emotion.
タイムライン情報80に基づいて、動画配信システム1のスループットを評価するためにサーバ装置20のパフォーマンスを最適化するための有用なフィードバックが得られる。 Based on the timeline information 80, useful feedback can be obtained for optimizing the performance of the server device 20 in order to evaluate the throughput of the video distribution system 1.
タイムライン情報80に基づいて、表示要求処理部21fにおけるギフトの表示要求の処理、コメントのリクエスト処理、及び動画生成部21dにおける動画生成処理の負荷分析のために有用なフィードバックが得られる。 Based on the timeline information 80, useful feedback can be obtained for load analysis of the gift display request processing in the display request processing section 21f, the comment request processing, and the video generation processing in the video generation section 21d.
タイムライン情報80に基づいて、望ましい視聴ユーザの反応を再現するために有用なフィードバックが得られる。これにより、制作される動画コンテンツの品質向上を図ることができる。 Based on the timeline information 80, useful feedback can be obtained to reproduce desired viewing user reactions. Thereby, it is possible to improve the quality of the video content produced.
次に、図11を参照して、一態様による動画配信処理について説明する。図11は、一実施形態における動画配信処理の流れを示すフロー図であり、動画配信処理においては、スタジオルームRにおいてアクターA1及びアクターA2がパフォーマンスを行っていることが想定されている。 Next, with reference to FIG. 11, video distribution processing according to one embodiment will be described. FIG. 11 is a flowchart showing the flow of video distribution processing in one embodiment. In the video distribution processing, it is assumed that actor A1 and actor A2 are performing in studio room R.
まず、ステップS11では、アクターA1及びアクターA2の体の動きのデジタル表現であるボディモーションデータと、アクターA1及びアクターA2の顔の動き(表情)のデジタル表現であるフェイスモーションデータと、が生成される。ボディモーションデータの生成は、例えば、上記のボディモーションデータ生成部21aで行われ、フェイスモーションデータの生成は、例えば、上記のフェイスモーションデータ生成部21bで行われる。 First, in step S11, body motion data that is a digital representation of the body movements of actors A1 and A2, and face motion data that is a digital representation of facial movements (expressions) of actors A1 and A2 are generated. Ru. Body motion data is generated, for example, by the body motion data generation section 21a, and face motion data is generated, for example, by the face motion data generation section 21b.
次に、ステップS12において、アクターA1のボディモーションデータ及びフェイスモーションデータを、アクターA1用のモデルデータに適用することにより、アクターA1の体及び表情の動きに同期して動く第1キャラクタオブジェクトのアニメーションが生成される。同様に、アクターA2のボディモーションデータ及びフェイスモーションデータを、アクターA2用のモデルデータに適用することにより、アクターA2の体及び表情の動きに同期して動く第2キャラクタオブジェクトのアニメーションが生成される。このアニメーションの生成は、例えば、上記のアニメーション生成部21cで行われる。 Next, in step S12, the body motion data and face motion data of actor A1 are applied to the model data for actor A1 to create an animation of the first character object that moves in synchronization with the body and facial movements of actor A1. is generated. Similarly, by applying the body motion data and face motion data of actor A2 to the model data for actor A2, an animation of a second character object that moves in synchronization with the body and facial movements of actor A2 is generated. . This animation is generated, for example, by the animation generation unit 21c described above.
次に、ステップS13において、アクターA1に対応する第1キャラクタオブジェクトのアニメーションと、アクターA2に対応する第2キャラクタオブジェクトのアニメーションと、を含む動画を生成する。この動画には、アクターA1及びアクターA2の音声が合成されてもよい。第1キャラクタオブジェクトのアニメーション及び第2キャラクタオブジェクトのアニメーションは、仮想空間内に配置されてもよい。この動画の生成は、例えば、上記の動画生成部21dで行われる。 Next, in step S13, a moving image including an animation of a first character object corresponding to actor A1 and an animation of a second character object corresponding to actor A2 is generated. The voices of actor A1 and actor A2 may be synthesized into this video. The animation of the first character object and the animation of the second character object may be placed in virtual space. The generation of this moving image is performed, for example, by the above-mentioned moving image generation section 21d.
次に、ステップS14に移行し、ステップS13にて生成された動画が配信される。この動画は、ネットワーク50を介してクライアント装置10a~クライアント装置10c及びこれら以外のクライアント装置に配信される。この動画は、サポーターコンピュータ40に配信され、また、スタジオルームR内のスクリーンSに投影されてもよい。動画は、所定の配信期間にわたって継続して配信される。動画の配信期間は、例えば、30秒間、1分間、5分間、10分、30分間、60分間、120分間、及びこれら以外の任意の時間に定め得る。 Next, the process moves to step S14, and the video generated in step S13 is distributed. This moving image is distributed via the network 50 to the client devices 10a to 10c and other client devices. This moving image is distributed to the supporter computer 40 and may also be projected on the screen S in the studio room R. The video is continuously distributed over a predetermined distribution period. The video distribution period can be set to, for example, 30 seconds, 1 minute, 5 minutes, 10 minutes, 30 minutes, 60 minutes, 120 minutes, or any other time.
次に、ステップS15に移行し、ステップS14で配信された動画に対する視聴ユーザからのフィードバック情報を受信する。受信されたフィードバック情報は、配信された動画のタイムコードと対応付けてストレージ23に記憶される。ステップS15の処理は、例えば、上記の受信情報管理部21hによって行われる。 Next, the process moves to step S15, and feedback information from the viewing user regarding the video distributed in step S14 is received. The received feedback information is stored in the storage 23 in association with the time code of the distributed video. The process of step S15 is performed by, for example, the above-mentioned received information management section 21h.
次に、ステップS16に進み、動画の配信を終了させるための終了条件が成就したか否かが判定される。終了条件は、例えば、配信の終了時刻に達したこと、サポーターコンピュータ40により配信を終了するための指示がなされたこと、またはこれら以外の条件である。終了条件が成就していなければステップS11~S15の処理が繰り返し実行され、アクターA1及びアクターA2の動きに同期したアニメーションを含む動画の配信が継続される。動画について終了条件が成就していると判定された場合には、当該動画の配信処理を終了する。 Next, the process advances to step S16, and it is determined whether the termination condition for terminating the distribution of the moving image is fulfilled. The termination condition is, for example, that the distribution end time has been reached, that the supporter computer 40 has given an instruction to terminate the distribution, or other conditions. If the termination condition is not met, the processes of steps S11 to S15 are repeatedly executed, and the distribution of the moving image including the animation synchronized with the movements of the actors A1 and A2 is continued. If it is determined that the termination condition is fulfilled for the video, the distribution process for the video is ended.
図11に示されているフローにおいて、各工程の順序を入れ替えることが可能である。例えば、フィードバック情報を受信する工程はステップS15として説明されているが、動画の配信期間中において、フィードバック情報は視聴ユーザからの入力に応じて随時受信される。また、ステップS11~ステップS16の各工程と並行して、クライアント装置10a~10cからサーバ装置20へ送信される情報に基づいて、評価情報及びギフト情報をストレージ23に記憶する処理が行われてもよい。評価情報及びギフト情報をストレージ23に記憶する処理は、上記の受信情報管理部21hによって行われてもよい。また、ステップS11~ステップS16の各工程と並行して、アクター情報をストレージ23に記憶する処理が行われてもよい。アクター情報をストレージ23に記憶する処理は、例えば、上記のアクター情報管理部21gによって行われてもよい。 In the flow shown in FIG. 11, the order of each step can be changed. For example, although the step of receiving feedback information is described as step S15, feedback information is received at any time during the video distribution period in response to input from the viewing user. Further, in parallel with each process from step S11 to step S16, processing for storing evaluation information and gift information in the storage 23 based on information transmitted from the client devices 10a to 10c to the server device 20 may be performed. good. The process of storing the evaluation information and gift information in the storage 23 may be performed by the above-mentioned received information management section 21h. Furthermore, processing for storing actor information in the storage 23 may be performed in parallel with each process from step S11 to step S16. The process of storing actor information in the storage 23 may be performed, for example, by the actor information management section 21g described above.
続いて、図12を参照して、本発明の別の実施形態について説明する。図12は、本発明の別の実施形態において、コンピュータプロセッサ21で実現される追加的な機能を説明する模式図である。図12に示されている実施形態は、コンピュータプロセッサ21が、動画配信プログラムに含まれるコンピュータ読み取り可能な命令を実行することにより、図1に示されている各機能に加えてダイジェスト動画作成部21j及びレコメンド部21kとしても機能する点で図1に示されている実施形態と異なる。よって、説明の簡潔性のために、以下では、図12の実施形態において追加的に実現されるダイジェスト動画作成部21j及びレコメンド部21kによって実現される機能について説明し、それ以外の機能については説明を省略する。 Next, another embodiment of the present invention will be described with reference to FIG. FIG. 12 is a schematic diagram illustrating additional functions implemented by computer processor 21 in another embodiment of the invention. In the embodiment shown in FIG. 12, the computer processor 21 executes computer-readable instructions included in the video distribution program, so that in addition to each function shown in FIG. It differs from the embodiment shown in FIG. 1 in that it also functions as a recommendation section 21k. Therefore, for the sake of brevity, the functions realized by the digest video creation section 21j and the recommendation section 21k that are additionally realized in the embodiment of FIG. 12 will be explained below, and the other functions will not be explained. omitted.
ダイジェスト動画作成部21jは、配信された動画に関する非言語フィードバック情報23c2及び必要に応じてこれ以外の情報に基づいて、当該動画のダイジェスト動画を作成する。ダイジェスト動画作成部21jは、例えば、非言語フィードバック情報23c2に基づいて視聴ユーザの反応が大きいと推測される高インパクト区間を特定し、この高インパクト区間を含むようにダイジェスト動画を作成することができる。非言語フィードバック情報として視聴ユーザの加速度が用いられる場合には、配信動画のうち視聴ユーザの加速度が所定値以上である区間を高インパクト区間として特定することができる。例えば、配信された動画全体のうち、視聴ユーザの加速度を示すグラフ85において加速度の値が閾値a1以上である区間D1、区間D2、区間D3に対応する動画がダイジェスト動画として特定される。特定されたダイジェスト動画は、視聴ユーザからの要求に応じて配信され得る。一実施形態において、クライアント装置10a~10cは、高インパクト区間のボディモーションデータ、フェイスモーションデータ、及び音声データの少なくとも一部を記憶することができる。クライアント装置10a~10cにおいては、記憶されているボディモーションデータ、フェイスモーションデータ、及び音声データを用いてダイジェスト動画をレンダリングすることにより、サーバ装置20からリアルタイムで配信されるボディモーションデータ、フェイスモーションデータ、及び音声データを用いてレンダリングを行う場合よりもレンダリング品質を向上させることができる。 The digest video creation unit 21j creates a digest video of the distributed video based on the nonverbal feedback information 23c2 regarding the video and other information as necessary. The digest video creation unit 21j can, for example, identify a high-impact section that is estimated to have a large reaction from the viewing user based on the non-verbal feedback information 23c2, and create a digest video so as to include this high-impact section. . When the viewing user's acceleration is used as the nonverbal feedback information, a section in the distributed video in which the viewing user's acceleration is equal to or greater than a predetermined value can be specified as a high-impact section. For example, among all distributed videos, videos corresponding to sections D1, D2, and D3 in which the acceleration value is greater than or equal to the threshold a1 in the graph 85 showing the acceleration of the viewing user are specified as digest videos. The identified digest video can be distributed in response to a request from a viewing user. In one embodiment, client devices 10a-10c may store at least a portion of the body motion data, face motion data, and audio data of high impact sections. The client devices 10a to 10c render the digest video using the stored body motion data, face motion data, and audio data, thereby receiving the body motion data and face motion data distributed in real time from the server device 20. The rendering quality can be improved compared to when rendering is performed using , and audio data.
サーバ装置は、アクターA1及びアクターA2の行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画以外にも、複数の動画を配信することができる。この複数の動画の各々は、アクターA1及びアクターA2以外のアクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含むように生成される。サーバ装置20は、この複数の動画の各々について、各動画の作成のためにパフォーマンスを行ったアクターに関してアクター情報23c5と同様にアクター情報を取得し、この取得したアクター情報をストレージ23に記憶する。また、サーバ装置20は、当該複数の動画の各々を視聴した視聴ユーザから非言語フィードバック情報23c2情報と同様に非言語フィードバック情報を取得し、この取得した非言語フィードバック情報をストレージ23に記憶する。一実施形態において、レコメンド部21kは、複数の動画の各々についてストレージに記憶されているアクター情報23c5、非言語フィードバック情報23c2、及び必要に応じてこれら以外の情報に基づいて、ある動画を視聴した視聴ユーザに対して他の動画又は他の動画を作成するためにパフォーマンスを行ったアクターを推薦する。例えば、レコメンド部21kは、動画Aを視聴した視聴ユーザに対して、その動画Aに対する当該視聴ユーザの非言語フィードバック情報と類似する非言語フィードバック情報が記憶されている他の動画を抽出し、当該抽出された動画を当該視聴ユーザに対して推薦する。2つの動画の各々についての非言語フィードバック情報が互いに類似しているということは、その2つの動画に対して視聴ユーザが同様の非言語入力を行ったことを意味する。このため、当該2つの動画のうちの一方に関心を持って視聴したユーザは、その他方にも関心を持つ可能性が高いと考えられる。よって、動画Aを視聴した視聴ユーザに対して、その動画Aに対する当該視聴ユーザの非言語フィードバック情報と類似する非言語フィードバック情報が記憶されている他の動画を推薦することで、視聴ユーザが関心を持つと推定される動画を推薦することができる。他の実施形態において、レコメンド部21kは、動画Aを視聴した視聴ユーザに対して、当該動画Aの作成のためにパフォーマンスを行ったアクターに関するアクター情報と類似するアクター情報が記憶されている他の動画を抽出し、当該抽出された動画を当該視聴ユーザに対して推薦する。 The server device can distribute a plurality of videos in addition to videos including animations of character objects generated based on the actions of actors A1 and A2. Each of the plurality of moving images is generated to include animation of a character object generated based on the movements of actors other than actor A1 and actor A2. For each of the plurality of videos, the server device 20 acquires actor information in the same way as the actor information 23c5 regarding the actor who performed for the creation of each video, and stores this acquired actor information in the storage 23. Further, the server device 20 acquires nonverbal feedback information from the viewing user who viewed each of the plurality of videos in the same manner as the nonverbal feedback information 23c2 information, and stores the acquired nonverbal feedback information in the storage 23. In one embodiment, the recommendation unit 21k determines whether a certain video has been viewed based on actor information 23c5, nonverbal feedback information 23c2, and information other than these as necessary, which are stored in the storage for each of a plurality of videos. To recommend other videos or actors who have performed to create other videos to viewing users. For example, the recommendation unit 21k may extract other videos in which nonverbal feedback information similar to the nonverbal feedback information of the viewing user regarding video A is stored for the viewing user who viewed video A, and The extracted video is recommended to the viewing user. The fact that the nonverbal feedback information for each of the two videos is similar to each other means that the viewing user has provided similar nonverbal input to the two videos. Therefore, it is considered that a user who is interested in and views one of the two videos is likely to be interested in the other video as well. Therefore, by recommending other videos that store nonverbal feedback information similar to the viewing user's nonverbal feedback information for video A to the viewing user who viewed video A, the viewing user is interested. It is possible to recommend videos that are estimated to have In another embodiment, the recommendation unit 21k recommends to the viewing user who viewed the video A, other actors that have stored actor information similar to the actor information regarding the actor who performed to create the video A. A video is extracted, and the extracted video is recommended to the viewing user.
一実施形態において、レコメンド部21kは、動画を複数のカテゴリーに分類することができる。動画の分類は、当該動画に対する視聴ユーザからのフィードバック情報に基づいて行われてもよい。例えば、動画に対して視聴ユーザから提供されたギフトの種類及び当該ギフトを提供したタイミングによって、当該動画の分類を定めることができる。具体的には、動画の終了1分前に花火を表示するためのギフトのギフティング数(又は購入数)が所定数(第1閾値)を超える動画はタイプAに分類され、動画の途中の任意の区間で花束を表示するためのギフトのギフティングが所定数(第2閾値)を超える動画はタイプBに分類される。レコメンド部21kは、タイプAの動画を視聴した視聴ユーザからのフィードバック情報に基づいて、当該視聴ユーザがタイプAの動画を好むか否かを判定し、この判定結果に応じて他の動画をレコメンドすることができる。レコメンド部21kは、例えば、視聴ユーザから肯定的な評価情報(Like)が提供されたとき、視聴ユーザからの非言語フィードバックに基づいて動画の途中で笑っていることが検出されたとき、またはこれら以外の条件を成就したときに、当該視聴ユーザがタイプAの動画を好むと判定することができる。このようなタイプAの動画を好むと判定された視聴ユーザに対しては、同じタイプAに属する動画がレコメンドされてもよい。これに対し、タイプAの動画を好まないと判定された視聴ユーザに対しては、タイプA以外のタイプに分類される動画がレコメンドされる。タイプAの動画を好まないと判定された視聴ユーザに対しては、タイプAの動画に対するネガティブな評価を設定し、リコメンドする動画を決定するためのリコメンドフィルタを生成するために当該ネガティブな評価を利用することができる。このようにして、多様なリコメンドフィルタを生成することができる。 In one embodiment, the recommendation unit 21k can classify videos into multiple categories. Video classification may be performed based on feedback information from viewing users regarding the video. For example, the classification of the video can be determined based on the type of gift provided by the viewing user for the video and the timing at which the gift was provided. Specifically, videos in which the number of gifts (or purchases) for displaying fireworks one minute before the end of the video exceeds a predetermined number (first threshold) are classified as type A, and A video in which the number of gifts for displaying a bouquet in an arbitrary section exceeds a predetermined number (second threshold) is classified as type B. The recommendation unit 21k determines whether or not the viewing user likes the type A video based on feedback information from the viewing user who viewed the type A video, and recommends other videos based on the determination result. can do. For example, the recommendation unit 21k is configured to respond when a viewing user provides positive evaluation information (Like), when it is detected that someone is laughing in the middle of a video based on non-verbal feedback from a viewing user, or When the other conditions are fulfilled, it can be determined that the viewing user prefers type A videos. For viewing users who are determined to prefer videos of type A, videos belonging to the same type A may be recommended. On the other hand, for viewing users who are determined not to like type A videos, videos classified as types other than type A are recommended. For viewing users who are determined not to like type A videos, a negative evaluation is set for the type A video, and the negative evaluation is used to generate a recommendation filter for determining videos to recommend. can be used. In this way, various recommendation filters can be generated.
続いて、本発明の別の実施形態について説明する。本発明の別の実施形態は、ライブ配信される動画に表示されているキャラクタと視聴ユーザとのインタラクションの向上に関する。 Next, another embodiment of the present invention will be described. Another embodiment of the present invention relates to improving interaction between a viewing user and a character displayed in a live-streamed video.
従来、特開2013-021466号公報に記載されているように、ライブ会場の映像を視聴する視聴ユーザの動作を検出し、この検出された動作に応じた表示を当該ライブ会場に設置されたディスプレイに表示するシステムが知られている。当該システムによれば、ライブ会場外の視聴ユーザの動作に基づいて生成された視聴ユーザの画像がライブ会場内のディスプレイに表示されることから、ライブ会場外にいる視聴ユーザに対してもライブに参加しているかのような体験を提供できるとされている。 Conventionally, as described in Japanese Unexamined Patent Application Publication No. 2013-021466, a display installed at the live venue detects the motion of a viewing user who is viewing video at a live venue, and displays a display according to the detected motion. A system for displaying images is known. According to this system, an image of the viewing user outside the live venue is displayed on a display inside the live venue, which is generated based on the actions of the viewing user outside the live venue. It is said to be able to provide an experience that makes you feel as if you are actually participating.
配信動画に対するコメントの投稿を受け付け、この投稿されたコメントを投稿者のアバタとともに表示する技術も知られている。特開2012-120098号公報には、配信動画の表示領域の周囲にコメントを投稿した視聴ユーザのアバタや当該コメントを表示する動画配信システムが開示されている。 There is also known technology that accepts comments posted on distributed videos and displays the posted comments along with the poster's avatar. Japanese Unexamined Patent Publication No. 2012-120098 discloses a video distribution system that displays the avatar of a viewing user who has posted a comment and the comment around a display area of a distributed video.
このように、従来の動画配信システムでは、視聴ユーザからのフィードバックに応じた演出は、アクターのキャラクタを表示するための表示領域とは別の表示領域に表示されている。つまり、従来の動画配信システムでは、視聴ユーザからのフィードバックに基づく演出は、アクターの行動に基づいて生成されるキャラクタオブジェクトのアニメーションやその周囲の当該キャラクタオブジェクトの表示領域を変更しないように行われている。 In this manner, in conventional video distribution systems, effects based on feedback from viewing users are displayed in a display area that is separate from the display area for displaying the actor's character. In other words, in conventional video distribution systems, performances based on feedback from viewing users are performed without changing the animation of the character object that is generated based on the actions of the actor or the display area of the character object around it. There is.
アクターの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を視聴ユーザに配信する動画配信システムにおいては、視聴ユーザからのコメントを伝達されたアクターがそのコメントに応答するという演出も考えられる。しかしながら、コメント数が増加すると、アクターが多数のコメントの各々に応答することは困難である。このように、アクターの行動によって視聴ユーザとのインタラクションを活性化する試みには限界がある。 In a video distribution system that distributes a video including animation of a character object generated based on the actions of an actor to a viewing user, an effect may be considered in which an actor who receives a comment from the viewing user responds to the comment. However, as the number of comments increases, it becomes difficult for actors to respond to each of the large number of comments. In this way, there are limits to attempts to activate interaction with viewing users through the actions of actors.
以上のように、従来は、視聴ユーザのフィードバックに基づく演出は、アクターのキャラクタオブジェクトに影響がないように行われている。また、アクターのキャラクタオブジェクトに変化が生じる場合であっても、その変化は、アクターの意識的な行動を介して生じている。上記のようにアクターの意識的な行動による視聴ユーザとのインタラクションの活性化には限界がある。 As described above, conventionally, performances based on feedback from viewing users are performed so as not to affect the actor's character object. Furthermore, even when a change occurs in the actor's character object, the change occurs through the actor's conscious actions. As mentioned above, there are limits to the activation of interaction with viewing users through the conscious actions of actors.
現実世界でのライブパフォーマンスにおいては、オーディエンスからのフィードバック(例えば、ライブコンサートでの拍手、声援、ブーイング)に応じてアクター(パフォーマー)に喜びなどの無意識的な反応が起こる。このようなアクターによる無意識的な反応は、アクターと視聴ユーザとのインタラクションの重要な要素と考えられる。従来の動画配信システムでは、アクターが意識的に行動を起こさない限り当該アクターのキャラクタオブジェクトの表示には変化が発生しないので、現実世界においてアクターに無意識的な反応が生じる可能性が高い場面であっても、キャラクタオブジェクトにはこのような無意識的な反応を反映するような表示は行われていない。 In live performances in the real world, unconscious reactions such as joy occur in actors (performers) in response to feedback from the audience (for example, applause, cheering, booing at live concerts). Such unconscious reactions by actors are considered to be an important element of interaction between actors and viewing users. In conventional video distribution systems, the display of the actor's character object does not change unless the actor takes a conscious action. However, character objects are not displayed in a way that reflects such unconscious reactions.
以下で図13を用いて説明する実施形態では、アクターが意識的な行動を取らなくとも、当該アクターの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを変化させることができる動画配信システムが提供される。図12は、本発明の別の実施形態において、コンピュータプロセッサ21で実現される追加的な機能を説明する模式図である。図13に示されている実施形態は、コンピュータプロセッサ21が、動画配信プログラムに含まれるコンピュータ読み取り可能な命令を実行することにより図1に示されている各機能に加えて外観変更部21lとしても機能する点で図1に示されている実施形態と異なる。よって、説明の簡潔性のために、以下では、図13の実施形態において追加的に実現される外観変更部21lによって実現される機能について説明し、それ以外の機能については説明を省略する。 In the embodiment described below using FIG. 13, a video distribution system is provided that can change the animation of a character object generated based on the actions of the actor without the actor taking any conscious action. Ru. FIG. 12 is a schematic diagram illustrating additional functions implemented by computer processor 21 in another embodiment of the invention. In the embodiment shown in FIG. 13, the computer processor 21 executes computer-readable instructions included in the video distribution program, thereby performing the functions shown in FIG. It differs from the embodiment shown in FIG. 1 in its functionality. Therefore, for the sake of brevity, the functions realized by the appearance changing unit 21l additionally realized in the embodiment of FIG. 13 will be described below, and the description of other functions will be omitted.
図13の実施形態においても、サーバ装置20は、アクターの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信し、その動画に対する視聴ユーザからのフィードバック情報を取得する。この視聴ユーザからのフィードバック情報には、既述のように、言語フィードバック情報と、非言語フィードバック情報と、が含まれる。 In the embodiment of FIG. 13 as well, the server device 20 distributes a video including animation of a character object generated based on the actions of an actor, and obtains feedback information from viewing users regarding the video. As described above, this feedback information from the viewing user includes verbal feedback information and non-verbal feedback information.
外観変更部21lは、動画を視聴する視聴ユーザからの当該動画に対するフィードバック情報に基づいて、当該動画に含まれるキャラクタオブジェクトの外観を変更する。フィードバック情報として視聴ユーザの加速度(非言語フィードバック情報)が用いられる場合には、外観変更部21lは、当該視聴ユーザの加速度の大きさに基づいてキャラクタオブジェクトの外観を変更することができる。例えば、外観変更部21lは、視聴ユーザの加速度に応じて、キャラクタオブジェクトの顔の赤みが強くなるように当該キャラクタオブジェクトの外観を変更することができる。これにより、非言語フィードバック情報に基づいて視聴ユーザから大きな反応があると推測される場合に、その視聴ユーザからの反応に応じてキャラクタオブジェクトの外観に自然な変更を生じさせることができる。キャラクタオブジェクトの外観に変更が加えられると、この外観に変更が生じたキャラクタオブジェクトを含む動画フレームが視聴ユーザに配信される。これにより、視聴ユーザは、キャラクタオブジェクトの外観の変化を認識することができる。視聴ユーザは、例えば、例えばキャラクタオブジェクトの顔の赤みが強まったことを見て、視聴ユーザの盛り上がりに反応してキャラクタオブジェクトに変化が起こったと認識することができる。外観変更部21lは、顔の赤みの変化以外にも様々な態様でキャラクタオブジェクトの外観を変化させることができる。 The appearance changing unit 21l changes the appearance of a character object included in the video based on feedback information regarding the video from a viewing user who views the video. When the viewing user's acceleration (nonverbal feedback information) is used as feedback information, the appearance changing unit 21l can change the appearance of the character object based on the magnitude of the viewing user's acceleration. For example, the appearance changing unit 21l can change the appearance of the character object so that the face of the character object becomes more red, depending on the acceleration of the viewing user. With this, when it is estimated that there will be a large reaction from the viewing user based on the non-verbal feedback information, the appearance of the character object can be naturally changed in accordance with the reaction from the viewing user. When a change is made to the appearance of a character object, a video frame including the character object whose appearance has been changed is distributed to viewing users. This allows the viewing user to recognize changes in the appearance of the character object. For example, the viewing user can recognize that a change has occurred in the character object in response to the viewing user's excitement by seeing that the face of the character object has become more red. The appearance changing unit 21l can change the appearance of the character object in various ways other than changing the redness of the face.
外観変更部21lは、非言語フィードバック情報以外の情報に基づいて、キャラクタオブジェクトの外観を変化させてもよい。例えば、外観変更部21lは、非言語フィードバック情報に代えて、または、非言語フィードバック情報に加えて、アクター情報に基づいてキャラクタオブジェクトの外観を変化させてもよい。具体的には、外観変更部21lは、アクター情報に基づいて、配信開始からのアクターの動きの累計が所定量以上となった場合に、当該アクターの動きに基づいて生成されるキャラクタオブジェクトの外観を変化させることができる。例えば、配信開始からのアクターの動きが所定量以上となった場合に、当該アクターの動きに基づいて生成されるキャラクタオブジェクトは、汗をかいているようにその外観が変更されてもよい。 The appearance changing unit 21l may change the appearance of the character object based on information other than non-verbal feedback information. For example, the appearance changing unit 21l may change the appearance of the character object based on actor information instead of or in addition to the nonverbal feedback information. Specifically, the appearance changing unit 21l changes the appearance of a character object that is generated based on the actor's movements when the cumulative total of the actor's movements since the start of distribution exceeds a predetermined amount based on the actor information. can be changed. For example, when the movement of an actor since the start of distribution exceeds a predetermined amount, the appearance of a character object generated based on the movement of the actor may be changed to look like it is sweating.
このように、アクターの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信し、当該動画を視聴する視聴ユーザからのフィードバックに基づいて、当該キャラクタオブジェクトの外観を変化させることにより、アクターの意識的な行動がなくても、視聴ユーザからのフィードバックに基づいてアクターのキャラクタオブジェクトの外観を変更することができる。これにより、アクターのキャラクタオブジェクトのアニメーションを含む動画において、アクターの負担を増やすことなく、アクターと視聴ユーザとのインタラクションを活性化することができる。 In this way, by distributing a video containing the animation of a character object that is generated based on the actions of the actor, and changing the appearance of the character object based on the feedback from the viewing user who views the video, the actor The appearance of the actor's character object can be changed based on feedback from the viewing user without any conscious action by the user. Thereby, in a video including animation of the actor's character object, interaction between the actor and the viewing user can be activated without increasing the burden on the actor.
続いて、本発明の別の実施形態について説明する。本発明の別の実施形態は、視聴ユーザからのフィードバックのアクターへの伝達に関する。 Next, another embodiment of the present invention will be described. Another embodiment of the invention relates to communicating feedback from viewing users to actors.
既述のように、従来の動画配信システムでは、視聴ユーザからのテキスト形式のコメントを受け付け、その受け付けたコメントを配信中の動画に重畳して表示している。アクターの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信する動画配信システムにおいては、アクターがテキスト形式で投稿されたコメントを読むことで視聴ユーザの反応を理解することができる。 As described above, conventional video distribution systems accept comments in text format from viewing users, and display the received comments superimposed on the video being distributed. In a video distribution system that distributes videos including animations of character objects generated based on the actions of actors, the actors can understand the reactions of viewing users by reading comments posted in text format.
しかしながら、視聴ユーザが投稿したコメントを動画に重畳して表示すると、元の動画が見づらくなり、視聴体験の劣化につながるおそれがある。また、ライブ配信の場合には、アクターがパフォーマンスを行いながら投稿されたコメントを読むことは困難な場合もある。そこで、コメント投稿以外の方法で視聴ユーザからのフィードバックをパフォーマンス中のアクターに伝える手法が望まれる。 However, when comments posted by viewing users are superimposed and displayed on a video, the original video becomes difficult to view, which may lead to deterioration of the viewing experience. Furthermore, in the case of live streaming, it may be difficult to read comments posted while the actors are performing. Therefore, there is a need for a method other than posting comments to convey feedback from viewing users to the actors during the performance.
以下で図14を用いて説明する実施形態では、視聴ユーザからのフィードバック情報に基づいてアクターA1に装着されているアクターデバイス91のアクチュエータ91a及び/又はアクターA2に装着されているアクターデバイス92のアクチュエータ92aを駆動することで、アクターA1及び/又はアクターA2に対して視聴ユーザからのフィードバックを伝達することができる動画配信システムが提供される。図14は、本発明の別の実施形態において、コンピュータプロセッサ21で実現される追加的な機能を説明する模式図である。図14に示されている実施形態は、コンピュータプロセッサ21が、動画配信プログラムに含まれるコンピュータ読み取り可能な命令を実行することにより図1に示されている各機能に加えてアクターデバイス駆動部21mとしても機能する点で図1に示されている実施形態と異なる。よって、説明の簡潔性のために、以下では、図14の実施形態において追加的に実現されるアクターデバイス駆動部21mによって実現される機能について説明し、それ以外の機能については説明を省略する。 In the embodiment described below using FIG. 14, the actuator 91a of the actor device 91 attached to the actor A1 and/or the actuator of the actor device 92 attached to the actor A2 is determined based on feedback information from the viewing user. By driving 92a, a video distribution system is provided that can transmit feedback from viewing users to actor A1 and/or actor A2. FIG. 14 is a schematic diagram illustrating additional functions implemented by computer processor 21 in another embodiment of the invention. In the embodiment shown in FIG. 14, the computer processor 21 performs the functions shown in FIG. The embodiment differs from the embodiment shown in FIG. 1 in that it also functions. Therefore, for the sake of brevity, the functions realized by the actor device driving section 21m that are additionally realized in the embodiment of FIG. 14 will be described below, and the description of other functions will be omitted.
アクターデバイス駆動部21mは、動画を視聴する視聴ユーザからの当該動画に対するフィードバック情報に基づいて、アクターデバイス91のアクチュエータ91a及びアクターデバイス92のアクチュエータ92aの少なくとも一方を駆動する駆動信号を生成する。フィードバック情報として視聴ユーザの加速度(非言語フィードバック情報)が用いられる場合には、アクターデバイス駆動部21mは、当該視聴ユーザの加速度の大きさに基づいて駆動信号を生成することができる。例えば、アクターデバイス駆動部21mは、非言語フィードバック情報23c2を参照し、視聴ユーザの加速度が所定の値(例えば、閾値a1)以上となったときに、駆動信号を生成することができる。アクターデバイス駆動部21mは、駆動信号の電圧を視聴ユーザの加速度に応じて変化させることができる。これにより、アクチュエータ91a及びアクチュエータ92aは、駆動信号の電圧に応じて異なる振幅で振動することができる。 The actor device drive unit 21m generates a drive signal for driving at least one of the actuator 91a of the actor device 91 and the actuator 92a of the actor device 92 based on feedback information regarding the video from the viewing user who views the video. When the viewing user's acceleration (non-verbal feedback information) is used as feedback information, the actor device driving section 21m can generate a drive signal based on the magnitude of the viewing user's acceleration. For example, the actor device drive unit 21m can refer to the nonverbal feedback information 23c2 and generate a drive signal when the viewing user's acceleration exceeds a predetermined value (for example, threshold a1). The actor device drive section 21m can change the voltage of the drive signal according to the acceleration of the viewing user. Thereby, the actuator 91a and the actuator 92a can vibrate with different amplitudes depending on the voltage of the drive signal.
生成された駆動信号は、アクターデバイス91及び/又はアクターデバイス92に送信される。アクチュエータ91aは、アクターデバイス91において受信された駆動信号に基づいて駆動される。アクチュエータ92aは、アクターデバイス92において受信された駆動信号に基づいて駆動される。アクチュエータ91a,92aは、駆動信号に基づいて振動するように構成されてもよい。 The generated drive signal is transmitted to actor device 91 and/or actor device 92. Actuator 91a is driven based on a drive signal received by actor device 91. Actuator 92a is driven based on a drive signal received at actor device 92. Actuators 91a and 92a may be configured to vibrate based on the drive signal.
上記の実施形態によれば、視聴ユーザからのフィードバック情報をアクターデバイス91のアクチュエータ91a及びアクターデバイス92のアクチュエータ92aを作動させることによりアクターA1及びアクターA2に伝達することができる。これにより、アクターA1及びアクターA2は、アクチュエータ91a及びアクチュエータ92aの作動によって視聴ユーザからのフィードバックを知覚することができる。アクチュエータ91a及びアクチュエータ92aは、例えば、駆動信号に基づいて振動するように構成される。この場合、アクチュエータ91a及びアクチュエータ92aの振動によって、アクターA1及びアクターA2に直感的にフィードバックを伝達することができる。 According to the embodiment described above, feedback information from the viewing user can be transmitted to the actors A1 and A2 by operating the actuator 91a of the actor device 91 and the actuator 92a of the actor device 92. Thereby, the actor A1 and the actor A2 can perceive feedback from the viewing user through the actuation of the actuator 91a and the actuator 92a. The actuator 91a and the actuator 92a are configured to vibrate based on a drive signal, for example. In this case, feedback can be intuitively transmitted to the actors A1 and A2 by the vibrations of the actuators 91a and 92a.
以上の実施形態によって奏される作用効果について説明する。上記の一実施形態においては、動画のためにパフォーマンスを行うアクター(例えば、アクターA1及びアクターA2)の行動を示すアクター情報、及び、ユーザデバイス(例えば、クライアント装置10a~10c及び外部デバイス11a~11c)により検出された視聴ユーザからの非言語フィードバックを示す非言語フィードバック情報を、配信された動画のタイムコードに対応付けて記憶している。ユーザデバイスにより検出された視聴ユーザからの非言語フィードバックは、視聴ユーザのテキスト入力による遅延が発生するテキスト形式の入力よりも、視聴ユーザが入力を意図した時刻と近い時刻に記録され得る。これにより、所定の時刻においてアクター情報と非言語フィードバック情報とを対比することにより、視聴ユーザの非言語フィードバックがアクターのどの行動に向けられたものかを正しく把握することができる。このように、上記実施形態によれば、アクターなどの動画制作者に対して有用なフィードバックが提供される。 The effects achieved by the above embodiment will be explained. In the above embodiment, actor information indicating the actions of actors (for example, actors A1 and A2) who perform for a video, and user devices (for example, client devices 10a to 10c and external devices 11a to 11c) ) is stored in association with the time code of the distributed video. Nonverbal feedback from the viewing user detected by the user device may be recorded closer to the time the viewing user intended the input than text-based input, which is subject to delays due to the viewing user's text input. Thereby, by comparing the actor information and the non-verbal feedback information at a predetermined time, it is possible to correctly grasp which action of the actor the viewing user's non-verbal feedback is directed towards. In this way, according to the above embodiment, useful feedback is provided to video producers such as actors.
上記の一実施形態において、非言語フィードバック情報には、前記視聴ユーザによって保持されるユーザデバイスの加速度が含まれるので、動画の視聴中に視聴ユーザがユーザデバイスを保持しているだけで、視聴ユーザの非言語フィードバックを示す非言語フィードバック情報が検出可能となる。 In one of the above embodiments, the non-verbal feedback information includes the acceleration of the user device held by the viewing user, so that the viewing user only needs to hold the user device while watching the video. Non-verbal feedback information indicating non-verbal feedback can be detected.
上記の一実施形態において、非言語フィードバック情報には、前記視聴ユーザの情動を示す情動情報が含まれる。情動は、ユーザの意思による制御が難しいため、視聴ユーザの情動情報は、言語フィードバック情報よりも当該視聴ユーザの動画に対する自然な(無意識の)反応が得られる。視聴ユーザからの意識的なフィードバックは、作為的なものとなり得る。例えば、意図的なフィードバックにおいては、動画やアクターに対して実際に感じている以上にポジティブな又はネガティブな反応が示されることがある。このように、意図的なフィードバックは、視聴ユーザの感じ方を正しく反映していないことがある。情動情報には、視聴ユーザのより無意識的なフィードバックが含まれるので、情動情報を得ることにより、動画制作者によってより有用なフィードバックが得られる。 In the above embodiment, the nonverbal feedback information includes emotional information indicating the emotion of the viewing user. Since emotions are difficult to control based on the user's will, the viewing user's emotional information provides a more natural (unconscious) response to the video than the verbal feedback information. Conscious feedback from viewing users can be artificial. For example, intentional feedback may result in a more positive or negative reaction to a video or actor than is actually perceived. In this way, intentional feedback may not accurately reflect the viewing user's feelings. Since the emotional information includes more unconscious feedback from the viewing user, by obtaining the emotional information, more useful feedback can be obtained by the video producer.
上記の一実施形態において、視聴ユーザからの言語フィードバックを示す言語フィードバック情報も、動画のタイムコードに対応付けて記憶される。これにより、アクター情報と対応付けて視聴者ユーザからの意識的な言語フィードバック情報も記録することができる。これにより、アクターなどの動画制作者に対してより有用なフィードバックが提供される。 In the above embodiment, linguistic feedback information indicating linguistic feedback from the viewing user is also stored in association with the time code of the video. Thereby, intentional language feedback information from the viewer user can also be recorded in association with the actor information. This provides more useful feedback to actors and other video creators.
上記の一実施形態において、視聴ユーザによる評価を示す評価情報も、動画のタイムコードに対応付けて記憶される。これにより、アクター情報と対応付けて視聴ユーザからの評価フィードバックも記録することができるので、動画制作者は、アクターのどのような動作が視聴ユーザに高く評価されたかを把握することができる。 In the above embodiment, evaluation information indicating the evaluation by the viewing user is also stored in association with the time code of the video. This allows evaluation feedback from viewing users to be recorded in association with actor information, so the video producer can grasp what actions of the actor were highly evaluated by viewing users.
上記の一実施形態において、視聴ユーザから前記アクターへ提供されるギフトを示すギフト情報も、動画のタイムコードに対応付けて記憶される。これにより、視聴ユーザによるギフトの購入または視聴ユーザからのギフトの提供(ギフティング)に結びつくアクターの行動を把握することが可能となる。 In the above embodiment, gift information indicating a gift provided from a viewing user to the actor is also stored in association with the time code of the video. This makes it possible to understand the behavior of the actor that is connected to the purchase of a gift by the viewing user or the provision of a gift (gifting) by the viewing user.
上記の一実施形態において、タイムコードに基づいて、アクター情報及び非言語フィードバック情報を含むタイムライン情報80がディスプレイに表示される。これにより、アクターの行動に対する視聴ユーザからの非言語フィードバックの視覚的な理解が可能となる。 In one embodiment described above, timeline information 80 including actor information and non-verbal feedback information is displayed on the display based on the time code. This makes it possible to visually understand nonverbal feedback from viewing users regarding the actor's actions.
上記の一実施形態において、タイムライン情報80は、前記アクターによって視認可能な位置に配置されたディスプレイに表示される。これにより、アクターに対して、自らのパフォーマンスに対する視聴ユーザからのフィードバックをリアルタイムで視覚的に理解させることができる。 In one embodiment described above, the timeline information 80 is displayed on a display placed at a position visible to the actor. This allows actors to visually understand feedback from viewing users regarding their own performance in real time.
上記の一実施形態においては、アクター情報及び非言語フィードバック情報に基づいて、配信された動画のダイジェスト動画が作成される。これにより、視聴ユーザからの非言語フィードバックに基づいたダイジェスト動画を作成することができる。従来のダイジェスト動画は、動画全体のうち動画作成者の観点からハイライトすべきと考えられる部分が選択され、その選択されたシーンを含むようにダイジェスト動画が作成されていた。このようにして作成されるダイジェスト動画は、配信者や作成者の主観的な評価によってハイライトシーンが選択されているため、必ずしも視聴ユーザに望まれるシーンが含まれているとは限らない。上記実施形態によれば、動画作成者の主観ではなく視聴ユーザからのより無意識的な反応が反映される非言語フィードバック情報に基づいてダイジェスト動画が作成される。よって、視聴ユーザに望まれる又は視聴ユーザの注目を受けるシーンを含むダイジェスト動画の作成が可能となる。 In the above embodiment, a digest video of the distributed video is created based on the actor information and nonverbal feedback information. This makes it possible to create a digest video based on nonverbal feedback from viewing users. In conventional digest videos, parts of the entire video that are considered to be highlighted from the video creator's perspective are selected, and the digest video is created to include the selected scenes. In the digest video created in this way, the highlight scenes are selected based on the subjective evaluation of the distributor or the creator, and therefore do not necessarily include scenes desired by the viewing user. According to the embodiment described above, a digest video is created based on nonverbal feedback information that reflects a more unconscious reaction from a viewing user rather than the subjectivity of a video creator. Therefore, it is possible to create a digest video that includes scenes that are desired by or attract the attention of the viewing users.
上記の一実施形態においては、アクター情報及び非言語フィードバック情報に基づいて、配信された動画の視聴ユーザに、当該動画のキャラクタオブジェクトのアニメーションを作成するためにパフォーマンスを行ったアクター以外のアクターが推薦される。これにより、アクター情報及び非言語フィードバック情報に基づいて、視聴ユーザに対してアクターを推薦することが可能となる。 In the above embodiment, based on the actor information and nonverbal feedback information, an actor other than the actor who performed to create the animation of the character object of the video is recommended to the viewer of the distributed video. be done. This makes it possible to recommend actors to viewing users based on actor information and nonverbal feedback information.
上記の一実施形態においては、アクターの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信し、その動画を視聴する視聴ユーザからのフィードバック情報に基づいて、当該キャラクタオブジェクトの外観を変化させることができる。これにより、アクターの意識的な行動がなくても、視聴ユーザからのフィードバック情報に基づいてアクターのキャラクタオブジェクトの外観を変更することができる。よって、アクターのキャラクタオブジェクトのアニメーションを含む動画において、アクターの負担を増やすことなく、アクターと視聴ユーザとのインタラクションを活性化することができる。 In the above embodiment, a video including an animation of a character object generated based on the actions of an actor is distributed, and the appearance of the character object is changed based on feedback information from viewing users who view the video. can be done. Thereby, the appearance of the actor's character object can be changed based on feedback information from the viewing user without any conscious action by the actor. Therefore, in a video including animation of the actor's character object, interaction between the actor and the viewing user can be activated without increasing the burden on the actor.
上記の一実施形態においては、アクターの行動に基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信し、当該動画を視聴する視聴ユーザからのフィードバック情報に基づいて、当該アクターが使用するアクターデバイスに備えられるアクチュエータを駆動するための駆動信号が生成される。これにより、視聴ユーザからのフィードバックをアクターに対して直感的に伝達することができる。 In the above embodiment, a video including animation of a character object generated based on the actions of an actor is distributed, and based on feedback information from viewing users who view the video, the actor device used by the actor is distributed. A drive signal is generated to drive an actuator provided in the. Thereby, feedback from the viewing user can be intuitively conveyed to the actor.
クライアント装置10a~10c、サーバ装置20、及びこれら以外の動画配信システム1に備えられる装置は、本明細書において明示的に説明されている機能以外の機能を実行することもできる。 The client devices 10a to 10c, the server device 20, and other devices included in the video distribution system 1 can also perform functions other than those explicitly described in this specification.
本明細書において説明された処理手順、特にフロー図を用いて説明された処理手順においては、その処理手順を構成する工程(ステップ)の一部を省略すること、その処理手順を構成する工程として明示されていない工程を追加すること、及び/又は当該工程の順序を入れ替えることが可能であり、このような省略、追加、順序の変更がなされた処理手順も本発明の趣旨を逸脱しない限り本発明の範囲に含まれる。 In the processing procedures described in this specification, particularly those explained using flowcharts, some of the steps constituting the processing procedure may be omitted, and some of the steps constituting the processing procedure may be omitted. It is possible to add steps that are not specified and/or change the order of the steps, and such omissions, additions, or changes in the order of processing procedures are also included in the present invention as long as they do not depart from the spirit of the present invention. within the scope of the invention.
以下に、本願の原出願の出願当初の特許請求の範囲に記載された発明を付記する。
[1]
一又は複数のコンピュータプロセッサを備え、
前記一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、
アクターの行動を示すアクター情報に基づいてキャラクタオブジェクトのアニメーションを含む動画を生成し、
前記動画を配信し、
前記動画を視聴する視聴ユーザからのフィードバック情報に基づいて、前記キャラクタオブジェクトの外観を変化させる、
動画配信システム。
[2]
一又は複数のコンピュータプロセッサを備え、
前記一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、
アクターの行動を示すアクター情報に基づいてキャラクタオブジェクトのアニメーションを含む動画を生成し、
前記動画を配信し、
前記動画を視聴する視聴ユーザからのフィードバック情報に基づいて、前記アクターが使用するアクターデバイスを駆動するための駆動信号を生成する、
動画配信システム。
[3]
前記アクターデバイスは、アクチュエータを備え、
前記アクチュエータは、前記駆動信号を受信したことに応じて振動するように構成されている、
[2]に記載の動画配信システム。
[4]
一又は複数のコンピュータプロセッサがコンピュータ読み取り可能な命令を実行することにより実行される動画配信方法であって、
アクターの行動を示すアクター情報に基づいてキャラクタオブジェクトのアニメーションを含む動画を生成する工程と、
前記動画を配信する工程と、
前記動画を視聴する視聴ユーザからのフィードバック情報に基づいて、前記キャラクタオブジェクトの外観を変化させる工程と、
を備える動画配信方法。
[5]
一又は複数のコンピュータプロセッサに実行されるプログラムであって、
前記一又は複数のコンピュータプロセッサに、
アクターの行動を示すアクター情報に基づいてキャラクタオブジェクトのアニメーションを含む動画を生成する工程と、
前記動画を配信する工程と、
前記動画を視聴する視聴ユーザからのフィードバック情報に基づいて、前記キャラクタオブジェクトの外観を変化させる工程と、
を実行させるプログラム。
[6]
一又は複数のコンピュータプロセッサがコンピュータ読み取り可能な命令を実行することにより実行される動画配信方法であって、
アクターの行動を示すアクター情報に基づいてキャラクタオブジェクトのアニメーションを含む動画を生成する工程と、
前記動画を配信する工程と、
前記動画を視聴する視聴ユーザからのフィードバック情報に基づいて、前記アクターが使用するアクターデバイスを駆動するための駆動信号を生成する工程と、
を備える動画配信方法。
[7]
一又は複数のコンピュータプロセッサに実行されるプログラムであって、
前記一又は複数のコンピュータプロセッサに、
アクターの行動を示すアクター情報に基づいてキャラクタオブジェクトのアニメーションを含む動画を生成する工程と、
前記動画を配信する工程と、
前記動画を視聴する視聴ユーザからのフィードバック情報に基づいて、前記アクターが使用するアクターデバイスを駆動するための駆動信号を生成する工程と、
を実行させるプログラム。
Below, the invention described in the claims of the original application of this application at the time of filing will be added.
[1]
comprising one or more computer processors;
The one or more computer processors may execute computer readable instructions to:
Generates a video containing animation of a character object based on actor information indicating the actor's behavior,
Distribute the said video,
changing the appearance of the character object based on feedback information from viewing users viewing the video;
Video distribution system.
[2]
comprising one or more computer processors;
The one or more computer processors may execute computer readable instructions to:
Generates a video containing animation of a character object based on actor information indicating the actor's behavior,
Distribute the said video,
generating a drive signal for driving an actor device used by the actor based on feedback information from a viewing user who views the video;
Video distribution system.
[3]
The actor device includes an actuator,
The actuator is configured to vibrate in response to receiving the drive signal.
The video distribution system described in [2].
[4]
A video distribution method performed by one or more computer processors executing computer-readable instructions, the method comprising:
generating a video including animation of a character object based on actor information indicating the behavior of the actor;
a step of distributing the video;
changing the appearance of the character object based on feedback information from viewing users viewing the video;
A video distribution method that includes
[5]
A program executed by one or more computer processors,
the one or more computer processors;
generating a video including animation of a character object based on actor information indicating the behavior of the actor;
a step of distributing the video;
changing the appearance of the character object based on feedback information from viewing users viewing the video;
A program to run.
[6]
A video distribution method performed by one or more computer processors executing computer-readable instructions, the method comprising:
generating a video including animation of a character object based on actor information indicating the behavior of the actor;
a step of distributing the video;
generating a drive signal for driving an actor device used by the actor based on feedback information from a viewing user who views the video;
A video distribution method that includes
[7]
A program executed by one or more computer processors,
the one or more computer processors;
generating a video including animation of a character object based on actor information indicating the behavior of the actor;
a step of distributing the video;
generating a drive signal for driving an actor device used by the actor based on feedback information from a viewing user who views the video;
A program to run.
1 動画配信システム 1 Video distribution system
Claims (16)
前記一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、
アクターの行動を示すアクター情報に基づいてキャラクタオブジェクトのアニメーションを含む動画を生成し、
前記動画を視聴ユーザに配信し、
前記視聴ユーザからの前記動画に対する非言語フィードバックを示す非言語フィードバック情報を表す第1グラフ及び前記アクター情報を時系列に表す第2グラフを含むタイムライン情報を表示する、
動画配信システム。 comprising one or more computer processors;
The one or more computer processors may execute computer readable instructions to:
Generates a video containing animation of a character object based on actor information indicating the actor's behavior,
Deliver the video to viewing users,
Displaying timeline information including a first graph representing nonverbal feedback information indicating nonverbal feedback from the viewing user regarding the video and a second graph representing the actor information in chronological order.
Video distribution system.
請求項1に記載の動画配信システム。 The timeline information includes language feedback information indicating language feedback from the viewing user.
The video distribution system according to claim 1.
請求項1又は2に記載の動画配信システム。 The timeline information includes a third graph showing the number of comments per unit time from the viewing users in chronological order.
The video distribution system according to claim 1 or 2.
請求項1から3のいずれか1項に記載の動画配信システム。 The timeline information includes a fourth graph showing evaluation information indicating evaluations by the viewing users in chronological order.
The video distribution system according to any one of claims 1 to 3.
請求項1から4のいずれか1項に記載の動画配信システム。 The timeline information includes a fifth graph showing the number of comments from the viewing users in chronological order.
The video distribution system according to any one of claims 1 to 4.
請求項1から5のいずれか1項に記載の動画配信システム。 The timeline information includes a sixth graph chronologically showing emotion information expressing the viewing user's emotions regarding the video.
The video distribution system according to any one of claims 1 to 5.
請求項1から6のいずれか1項に記載の動画配信システム。 The timeline information includes a seventh graph showing gift purchase information related to gifts purchased by the viewing user in chronological order.
The video distribution system according to any one of claims 1 to 6.
請求項1から7のいずれか1項に記載の動画配信システム。 The timeline information includes an eighth graph chronologically showing gifting information related to gifts provided from the viewing user to the actor.
The video distribution system according to any one of claims 1 to 7.
請求項1から8のいずれか1項に記載の動画配信システム。 The timeline information is displayed on a display placed at a position visible to the actor.
The video distribution system according to any one of claims 1 to 8.
請求項9に記載の動画配信システム。 The timeline information is displayed on the display in real time.
The video distribution system according to claim 9.
請求項1から10のいずれか1項に記載の動画配信システム。 The non-verbal feedback information includes acceleration of one or more user devices held by the viewing user.
The video distribution system according to any one of claims 1 to 10.
請求項1から11のいずれか1項に記載の動画配信システム。 The non-verbal feedback information includes biometric information of the viewing user.
The video distribution system according to any one of claims 1 to 11.
請求項1から12のいずれか1項に記載の動画配信システム。 The non-verbal feedback information includes emotional information indicating the emotion of the viewing user.
The video distribution system according to any one of claims 1 to 12.
請求項2に記載の動画配信システム。 the linguistic feedback is determined based on text input or speech input;
The video distribution system according to claim 2.
アクターの行動を示すアクター情報に基づいてキャラクタオブジェクトのアニメーションを含む動画を生成する工程と、
前記動画を視聴ユーザに配信する工程と、
前記視聴ユーザからの前記動画に対する非言語フィードバックを示す非言語フィードバック情報を表す第1グラフ及び前記アクター情報を時系列に表す第2グラフを含むタイムライン情報を表示する工程と、
を備える動画配信方法。 A video distribution method performed by one or more computer processors executing computer-readable instructions, the method comprising:
generating a video including animation of a character object based on actor information indicating the behavior of the actor;
a step of distributing the video to viewing users;
Displaying timeline information including a first graph representing nonverbal feedback information indicating nonverbal feedback from the viewing user regarding the video and a second graph representing the actor information in chronological order;
A video distribution method that includes
前記一又は複数のコンピュータプロセッサに、
アクターの行動を示すアクター情報に基づいてキャラクタオブジェクトのアニメーションを含む動画を生成する工程と、
前記動画を視聴ユーザに配信する工程と、
前記視聴ユーザからの前記動画に対する非言語フィードバックを示す非言語フィードバック情報を表す第1グラフ及び前記アクター情報を時系列に表す第2グラフを含むタイムライン情報を表示する工程と、
を実行させるプログラム。 A program executed by one or more computer processors,
the one or more computer processors;
generating a video including animation of a character object based on actor information indicating the behavior of the actor;
a step of distributing the video to viewing users;
Displaying timeline information including a first graph representing nonverbal feedback information indicating nonverbal feedback from the viewing user regarding the video and a second graph representing the actor information in chronological order;
A program to run.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022200761A JP7416903B2 (en) | 2020-08-18 | 2022-12-16 | Video distribution system, video distribution method, and video distribution program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020138230A JP7198244B2 (en) | 2020-08-18 | 2020-08-18 | Video distribution system, video distribution method, and video distribution program |
JP2022200761A JP7416903B2 (en) | 2020-08-18 | 2022-12-16 | Video distribution system, video distribution method, and video distribution program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020138230A Division JP7198244B2 (en) | 2020-08-18 | 2020-08-18 | Video distribution system, video distribution method, and video distribution program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023036740A JP2023036740A (en) | 2023-03-14 |
JP7416903B2 true JP7416903B2 (en) | 2024-01-17 |
Family
ID=73743547
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020138230A Active JP7198244B2 (en) | 2020-08-18 | 2020-08-18 | Video distribution system, video distribution method, and video distribution program |
JP2022200761A Active JP7416903B2 (en) | 2020-08-18 | 2022-12-16 | Video distribution system, video distribution method, and video distribution program |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020138230A Active JP7198244B2 (en) | 2020-08-18 | 2020-08-18 | Video distribution system, video distribution method, and video distribution program |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7198244B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7376034B1 (en) * | 2023-05-11 | 2023-11-08 | 17Live株式会社 | Servers, methods and computer programs |
JP7398854B1 (en) * | 2023-06-30 | 2023-12-15 | ヴィアゲート株式会社 | Web page viewing analysis system, web page viewing analysis method, and web page viewing analysis program |
JP7398853B1 (en) * | 2023-06-30 | 2023-12-15 | ヴィアゲート株式会社 | Video viewing analysis system, video viewing analysis method, and video viewing analysis program |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010066790A (en) | 2008-09-08 | 2010-03-25 | Taito Corp | Content editing server and content editing program |
JP2012120098A (en) | 2010-12-03 | 2012-06-21 | Linkt Co Ltd | Information provision system |
JP2013021466A (en) | 2011-07-08 | 2013-01-31 | Dowango:Kk | Video display system, video display method, video display control program and action information transmission program |
WO2014189146A1 (en) | 2013-05-23 | 2014-11-27 | チームラボ株式会社 | Audience participation television program broadcasting method and system |
JP2015031996A (en) | 2013-07-31 | 2015-02-16 | Kddi株式会社 | Portable movement detection device, emotion information tabulation device, emotion information acquisition and notification system, emotion information acquisition and notification method, and computer program |
JP2015090526A (en) | 2013-11-05 | 2015-05-11 | 株式会社 ディー・エヌ・エー | Distribution system for content, distribution program, and distribution method |
JP2015125647A (en) | 2013-12-26 | 2015-07-06 | ミライアプリ株式会社 | Information communication program, information communication device, and delivery server |
JP2017151978A (en) | 2016-02-23 | 2017-08-31 | 株式会社ユークス | Event rendition system, operation method and program therefor |
JP6382468B1 (en) | 2018-05-08 | 2018-08-29 | グリー株式会社 | Movie distribution system, movie distribution method, and movie distribution program for distributing movie including animation of character object generated based on movement of actor |
JP6481057B1 (en) | 2018-02-02 | 2019-03-13 | 株式会社エクシヴィ | Character control method in virtual space |
-
2020
- 2020-08-18 JP JP2020138230A patent/JP7198244B2/en active Active
-
2022
- 2022-12-16 JP JP2022200761A patent/JP7416903B2/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010066790A (en) | 2008-09-08 | 2010-03-25 | Taito Corp | Content editing server and content editing program |
JP2012120098A (en) | 2010-12-03 | 2012-06-21 | Linkt Co Ltd | Information provision system |
JP2013021466A (en) | 2011-07-08 | 2013-01-31 | Dowango:Kk | Video display system, video display method, video display control program and action information transmission program |
WO2014189146A1 (en) | 2013-05-23 | 2014-11-27 | チームラボ株式会社 | Audience participation television program broadcasting method and system |
JP2015031996A (en) | 2013-07-31 | 2015-02-16 | Kddi株式会社 | Portable movement detection device, emotion information tabulation device, emotion information acquisition and notification system, emotion information acquisition and notification method, and computer program |
JP2015090526A (en) | 2013-11-05 | 2015-05-11 | 株式会社 ディー・エヌ・エー | Distribution system for content, distribution program, and distribution method |
JP2015125647A (en) | 2013-12-26 | 2015-07-06 | ミライアプリ株式会社 | Information communication program, information communication device, and delivery server |
JP2017151978A (en) | 2016-02-23 | 2017-08-31 | 株式会社ユークス | Event rendition system, operation method and program therefor |
JP6481057B1 (en) | 2018-02-02 | 2019-03-13 | 株式会社エクシヴィ | Character control method in virtual space |
JP6382468B1 (en) | 2018-05-08 | 2018-08-29 | グリー株式会社 | Movie distribution system, movie distribution method, and movie distribution program for distributing movie including animation of character object generated based on movement of actor |
Also Published As
Publication number | Publication date |
---|---|
JP2020202575A (en) | 2020-12-17 |
JP7198244B2 (en) | 2022-12-28 |
JP2023036740A (en) | 2023-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6775557B2 (en) | Video distribution system, video distribution method, and video distribution program | |
US11450073B1 (en) | Multi-user virtual and augmented reality tracking systems | |
US10636217B2 (en) | Integration of tracked facial features for VR users in virtual reality environments | |
US10593167B2 (en) | Crowd-based haptics | |
CN111936036B (en) | Using biometric sensor data to detect neurological status to guide in-situ entertainment | |
JP7416903B2 (en) | Video distribution system, video distribution method, and video distribution program | |
CN109496331B (en) | Context awareness for user interface menus | |
KR102196380B1 (en) | Technology for controlling a virtual image generation system using user's emotional states | |
WO2020138107A1 (en) | Video streaming system, video streaming method, and video streaming program for live streaming of video including animation of character object generated on basis of motion of streaming user | |
JP5859456B2 (en) | Camera navigation for presentations | |
US11941177B2 (en) | Information processing device and information processing terminal | |
US20230009322A1 (en) | Information processing device, information processing terminal, and program | |
US20230033892A1 (en) | Information processing device and information processing terminal | |
US11983324B2 (en) | Information processing device, information processing terminal, and program | |
JP7379427B2 (en) | Video distribution system, video distribution method, and video distribution program for live distribution of videos including character object animations generated based on the movements of distribution users | |
JP4905651B2 (en) | Information analysis apparatus, information analysis method, and information analysis program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221216 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240104 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7416903 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |