JP7264941B2 - プログラム、情報処理装置及び情報処理方法 - Google Patents
プログラム、情報処理装置及び情報処理方法 Download PDFInfo
- Publication number
- JP7264941B2 JP7264941B2 JP2021100774A JP2021100774A JP7264941B2 JP 7264941 B2 JP7264941 B2 JP 7264941B2 JP 2021100774 A JP2021100774 A JP 2021100774A JP 2021100774 A JP2021100774 A JP 2021100774A JP 7264941 B2 JP7264941 B2 JP 7264941B2
- Authority
- JP
- Japan
- Prior art keywords
- avatar
- moving image
- data
- camera
- distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/35—Details of game servers
- A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an MPEG-stream for transmitting to a mobile phone or a thin client
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
- A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
- A63F13/525—Changing parameters of virtual cameras
- A63F13/5252—Changing parameters of virtual cameras using two or more virtual cameras concurrently or sequentially, e.g. automatically switching between fixed virtual cameras when a character changes room or displaying a rear-mirror view in a car-driving game
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/85—Providing additional services to players
- A63F13/86—Watching games played by other players
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Description
<管理システム>
図1に示すように、管理システム10は、サーバ11、及びユーザ装置12を備える。管理システム10は、サーバ11及び複数のユーザ装置12の間で、クラウドサーバ群を含むネットワーク14を介してデータを相互に送受信することにより、一方のユーザが配信した動画を他方のユーザが用いるユーザ装置12に表示するシステムである。
動画の配信方式として、第1配信方式、第2配信方式、及び第3配信方式のいずれかを用いることができる。ユーザ装置12は、視聴モード及び配信モードの両方のモードで動作可能である。ユーザが、ユーザ装置12を用いて動画を配信する場合には当該ユーザを「配信ユーザ」といい、ユーザ装置12を用いて動画を視聴する場合には当該ユーザを「視聴ユーザ」という。つまり、ユーザは、配信ユーザにも視聴ユーザにもなり得る。
ユーザ装置12について説明する。本実施形態では、ユーザ装置12として、ユーザの頭部に装着可能なヘッドマウントディスプレイを含むシステム又は装置の他、ヘッドマウントディスプレイを含まないシステム又は装置が存在し得る。ヘッドマウントディスプレイを含むユーザ装置12を、それ以外のシステム又は装置と区別する場合には、ユーザ装置120として説明し、区別しない場合には単にユーザ装置12として説明する。
センサユニット24は、ユーザの動きを検出するトラッキングを行うものである。センサユニット24は、ヘッドマウントディスプレイに備えられるもの、又はヘッドマウントディスプレイ以外に備えられるものである。ヘッドマウントディスプレイ以外に備えられるものとしては、ユーザの腕、脚等の各部位や、バッドやラケット等の道具に装着されるものがある。この種のセンサユニット24としては、例えばVive Tracker(登録商標)が挙げられる。ヘッドマウントディスプレイに設けられるセンサユニット24はそれらの端末の方向及び位置の少なくとも一方を検出するものであって、3DoF(Degrees of Freedom)や6DoFのセンサユニットである。センサユニット24は、例えば慣性計測装置(IMU:Inertial Measurement Unit)である。慣性計測装置は、現実世界の三次元座標であるX軸、Y軸、及びZ軸を中心とした回転角度、角速度、加速度等の少なくとも一つを検出する。慣性計測装置としては、ジャイロセンサ、加速度センサ等が挙げられる。さらにセンサユニット24は、GPS等の絶対位置を検出するセンサを備えていてもよい。
ディスプレイ28は、ヘッドマウントディスプレイに設けられるものである。ディスプレイ28は、制御部20の出力指示に応じて、各種画像を出力する。
次にサーバ11について説明する。サーバ11は、動画を配信するためのサービスを提供するサービス提供者等が用いるものである。サーバ11は、制御部30と、通信I/F34と、ストレージ35とを備えている。制御部30は、上述したユーザ装置12の制御部20と同様な構成であるため説明を省略する。また、通信I/F34及びストレージ35は、ユーザ装置12の通信I/F23及びストレージ22と同様な構成であるため説明を省略する。サーバ11は1つの装置から構成されていてもよく、複数の装置から構成されていてもよい。つまり、サーバ11の機能は、複数のサーバからなるサーバ群によって実現されるものであってもよい。また、複数の拠点にそれぞれ設けられた同等の機能を有するサーバが同期をとることによりサーバ11を構成してもよい。
配信管理部301は、視聴ユーザが用いるユーザ装置12からの要求に応じて、配信中の動画のリストを送信する。配信管理部301は、リストの中から選択された動画の識別情報を、配信ユーザが用いるユーザ装置12から受信する。また、配信管理部301は、選択された動画を配信するユーザが用いるユーザ装置12から動画を表示するための動画作成用データを取得しユーザ装置12に送信する。
オブジェクトデータ352は、ユーザ装置12でギフトオブジェクトの描画を行うためのマスターとなるデータであって、ユーザ装置12の要求に応じて、ユーザ装置12に送信される。オブジェクトデータ352には、ポリゴンデータ等のギフトを描画するためのデータの他、ギフトオブジェクトの属性情報が含まれる。ギフトオブジェクトの属性情報には、ギフトオブジェクトの種類、ギフトオブジェクトが表示される位置等が含まれる。
図3を参照して、ヘッドマウントディスプレイを含まないユーザ装置121について説明する。以下、ヘッドマウントディスプレイを含まないユーザ装置12を区別して説明する場合にはユーザ装置121として説明し、区別しない場合には単にユーザ装置12として説明する。ユーザ装置121は、スマートフォン(多機能電話端末)、タブレット端末、パーソナルコンピュータ、いわゆる据え置き型のコンソールゲーム機、又はこれらの装置以外の動画を再生可能な情報処理装置である。
(アバター及びカメラ)
図4及び図5を参照して、アバター100が配置される仮想空間内で座標系について説明する。図4に示すように、仮想空間にはワールド座標系105が設定されている。ワールド座標系105は、仮想空間全体における位置を定義するための座標系である。例えばアバター100等のオブジェクトの位置は、ワールド座標系105上で特定することが可能である。仮想空間の特定のオブジェクトには、ローカル座標系106が設定されている。ローカル座標系106は、オブジェクトの位置を原点とするものであり、ローカル座標系106を用いてオブジェクトの向き等を制御することが可能である。アバター100は、配信ユーザの動作に基づいて、ローカル座標系のY軸方向を中心とする回転方向に向きを変更可能である。また、配信ユーザの動作に基づいて、腕、脚、頭部等の可動部位を動かすことが可能である。さらに、直立した状態から屈んだ状態になる等、Y軸方向に姿勢を変位可能である。また、配信ユーザのコントローラ27等の操作、又は配信ユーザの動作に基づいて、仮想空間内をワールド座標系105のX軸方向及びZ軸方向に移動可能である。また、ヘッドマウントディスプレイに拡張現実の画像を表示する場合には、ユーザ装置12に設けられたカメラによって撮影された現実画像に、拡張現実画像を表示するが、この場合にはユーザ装置12のカメラの位置を操作する視聴ユーザの歩行等に基づいて、アバター100の向きを変更可能である。なお、アバター100の動作は上記のものに限られない。
動画の演出方法の一つであるコラボレーション配信について説明する。配信ユーザのユーザ装置12は、単数のアバター100が出演する動画のほか、同じ仮想空間内に存在する複数のアバター100を含む動画を配信することができる。複数のアバター100が共演する動画の配信をここでは「コラボレーション配信」という。
図7を参照して、コラボレーション配信におけるカメラ位置について説明する。画像処理部202は、コラボレーション配信においてもカメラ範囲109を設定し、カメラ範囲109上にカメラ101を設定する。
図8を参照して、カメラ101の視野角について説明する。カメラ101の視野角FVは、光軸Axを中心とする水平方向の角度である。本実施形態では、画像処理部202は、共演する全てのアバター100が含まれるようにアバター100の位置に応じて視野角FVを拡大又は縮小する。具体的には、画像処理部202は、アバター100の相対距離が大きい場合には、カメラ範囲109(図7参照)の距離Rを大きくするとともに視野角FVを拡大する。また、画像処理部202は、アバター100の相対距離が小さい場合には、カメラ範囲109(図7参照)の距離Rを小さくするとともに視野角FVを縮小する。
図9を参照して、プレビュー画面の表示について説明する。プレビュー画面は、ヘッドマウントディスプレイを装着した配信ユーザ110が、自身が配信する動画の視聴画面を確認するための画像である。つまり、ヘッドマウントディスプレイに設けられたディスプレイ28には、配信ユーザ110の頭部の位置や向きに応じた画面が表示される。このとき表示される画面は、視聴ユーザ装置12Bに表示される視聴画面とは異なる。つまりヘッドマウントディスプレイを装着した配信ユーザ110が動画を配信する際、これまでの動画配信用アプリケーションでは、配信ユーザ110は視聴画面を確認することはできない。しかし、コラボレーション配信を行う場合、配信ユーザ110自身に対応するアバター100が、背後に存在する他のアバター100を隠してしまう可能性もある。また、アバター100がカメラ101に背を向ける場合には、配信ユーザ110が、アバター100が視聴画面内でどのような配置で表示されるのかを把握することは困難である。よって配信ユーザ110が意図する動画を配信するためには、配信ユーザ110は視聴画面を確認しつつ演技することが好ましい。このため、本実施形態では、配信ユーザの頭部の位置に応じた仮想空間画像とともに視聴画面をプレビュー画面122として表示する。
次に、コラボレーション配信で選択される第1モード、第2モード及び第3モードについて詳述する。なお、本実施形態では、第1モード、第2モード及び第3モードのいずれかのモードが適用された動画を配信する配信ユーザ装置12Aを、ヘッドマウントディスプレイを含むユーザ装置120として説明する。また、視聴ユーザ装置12Bを、ヘッドマウントディスプレイを含むユーザ装置120又はヘッドマウントディスプレイを含まないユーザ装置121として説明する。
図10及び図11を参照して、第1モードについて詳述する。図10に示すように、第1モードにおいて、画像処理部202は、アバター100Aの視野範囲123にアバター100Aに対応するカメラ101が含まれるか否かを判定する。アバター100Aの視野範囲123は、アバター100の正面における所定の角度範囲である。アバター100Aの左眼及び右眼には視線の方向を示す方向ベクトル124が設定されており、これらの方向ベクトルは視野範囲123に含まれる。アバター100Aの視野範囲123にカメラ101が含まれる場合には、方向ベクトル124に示すように、アバター100Aの瞳102の位置をアバター100Aに対応するカメラ101Aに向ける。具体的には、瞳102のボーンの中心軸をカメラ101Aに向ける。一方、アバター100Aの視野範囲123にカメラ101が含まれない場合には、瞳102をカメラ101へ向けることができないため、瞳102の位置を所定位置又はカメラ101の方向に近い端に移動させる。或いは、若しくは瞳102の移動を一時停止する。同様に、画像処理部202は、アバター100Bの瞳102を、アバター100Bに対応するカメラ101Bに向ける。なお、カメラ101A,101Bは、カメラ範囲109の中心点109Aを向く。つまり、カメラ101A,101Bの光軸Ax上に、カメラ範囲109の中心点109Aが位置する。
次に図12及び図13を参照して、第2モードについて詳述する。図12では、二体のアバター100A,100Bがコラボレーション配信をする場合を示している。第2モードにおいて、画像処理部202は、一方のアバター100Aについて、アバター100Aの瞳102の位置を他方のアバター100Bに向ける。また、アバター100Bについて、アバター100Bの瞳102の位置をアバター100Aに向ける。また、アバター100Aに対応するカメラ101A、及びアバター100Bに対応する101Bの位置は、一定の位置に固定されていてもよい。また、カメラ101A,101Bは、アバター100A,100Bに対応する配信ユーザ110のコントローラ27の操作によって移動してもよい。
次に図14を参照して、第3モードについて説明する。図14に示すように、第3モードにおいて、画像処理部202は、アバター100C~100Eの瞳102の位置を、一つのカメラ101に向ける。一例として、カメラ101は、アバター100C~100Eの目の位置よりも上方に設定される。なお、カメラ101は、ホストユーザ等のコントローラ27の操作により移動してもよい。
図15を参照して、視聴ユーザ装置12Bに表示される配信リスト画面135の一例について説明する。視聴ユーザ装置12Bのアプリケーション管理部401は、視聴ユーザ112の操作に基づいて配信リストをサーバ11から取得する。表示制御部402は、配信リスト画面135をディスプレイ48に表示する。配信リスト画面135には、配信中の動画のサムネイル画像136が表示されている。
次にコラボレーション配信におけるギフトオブジェクトについて説明する。ギフトオブジェクトとしては、視聴ユーザ112から配信ユーザに提供されるオブジェクトがある。サーバ11は、ギフトオブジェクトの表示要求を視聴ユーザ装置12Bから受信する。ギフトオブジェクトには、アバター100に付して表示される装着ギフトオブジェクトと、アバター100に付されない通常ギフトオブジェクトとがある。
次にコラボレーション配信におけるメッセージの表示方法について説明する。視聴ユーザ112は、動画の配信中に配信ユーザ110に対してメッセージを送信することができる。
図18を参照して、本実施形態の処理手順について説明する。ホストユーザの配信ユーザ装置12Aは、ホストユーザの操作を受け付けてモードを決定する(ステップS1)。なお、コラボレーション配信への参加を希望する配信ユーザ110の配信ユーザ装置12Aは、参加要求を、サーバ11を介してホストユーザの配信ユーザ装置12Aに送信する。そして、ゲストユーザとなる配信ユーザ装置12Aは、ホストユーザの配信ユーザ装置12Aにより参加を許諾される。
一方、サーバ11は、ゲストユーザの配信ユーザ装置12Aから送信された動画作成用データを、ホストユーザの配信ユーザ装置12Aに送信する(ステップS4-1)。また、サーバ11は、ホストユーザの配信ユーザ装置12Aから送信された動画作成用データを、ゲストユーザの配信ユーザ装置12Aに送信する(ステップS4-2)。配信ユーザ装置12Aの各々は、動画作成用データを受信すると、動画作成用データに基づき動画を生成してディスプレイ28及びスピーカ25に出力する。ステップS2~ステップS4-1及びステップS4-2は、動画配信中に繰り返し行われる。
(1)アバター100の視線が向けられる対象が異なる3つのモードのうち、配信ユーザ110であるホストユーザは一つを指定することが可能である。このため、ホストユーザは、自身が配信する動画のテーマやストーリーに沿ったモードを指定して動画を配信することができる。したがって、アバター100を通じた配信ユーザ110の多様な表現をさらに行うことが可能となるため、配信ユーザ110及び視聴ユーザ112の満足度をさらに高めることができる。
(7)配信ユーザ110のコントローラ27の操作によってカメラ101を移動させることができる場合には、配信ユーザ110の表現の幅をより拡大することができる。
上記各実施形態は、以下のように変更して実施することができる。上記実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・上記実施形態では、視聴ユーザ装置12Bは、ストレージ42にインストールされたネイティブアプリケーションプログラムである動画プログラム420によって動画を視聴するようにした。これに代えて若しくは加えて、視聴ユーザ装置12Bがレンダリングを行う必要が無い場合又はそのような場面では、HTML(Hyper Text Markup Language)等のマークアップ言語を用いて記述されたウェブページを、ブラウザで表示するウェブアプリケーションを用いて動画を表示してもよい。又は、ネイティブアプリケーションの機能及びウェブアプリケーションの機能を有するハイブリッドアプリケーションを用いて動画を表示してもよい。また、配信ユーザ装置12Aに格納された動画プログラム220は、視聴ユーザ装置12Bに格納された動画プログラム420と同じプログラムであってもよく、異なるプログラムであってもよい。
・上記実施形態におけるコラボレーション配信では、ホストユーザの配信ユーザ装置12Aに、他の配信ユーザの配信ユーザ装置12Aがコラボレーション配信の要求を送信しするようにした。そして、その要求が配信ユーザにより承認されることで共演を実現するようにした。これに代えて若しくは加えて、コラボレーション配信はこれ以外の手順で成立させてもよい。例えば、配信用のスタジオにコラボレーション配信を行う複数の配信ユーザ110が存在する場合、予め通知された所定のウェブサイトにログインをしている場合等には、ホストユーザ及びゲストユーザを設定せず、コラボレーション配信を行ってもよい。ホストユーザが設定されない場合、配信ユーザ110又は配信用のスタジオに存在するオペレータ等がモードを設定してもよい。
・上記実施形態では、第2モードは、アバター100が共演相手のアバター100に視線を向けるモードであるとしたが、アバター100の近傍に、複数の他のアバター100が存在する場合には、以下の(A)~(C)のいずれか1つの手法で瞳102の挙動を制御してもよい。
(B)他のアバター100の特定部位にアバター100の瞳102を所定時間追従させた後、別の他のアバター100の特定部位に瞳102を追従させ、順番に他のアバター100に視線を向ける。
または(A)■(C)のうち複数の手法を組み合わせてもよい。複数の手法を組み合わせ変化させることで、アバター100の表現が現実的なものとなる。また、(A)~(C)もちろん、特定のユーザやカメラに対して好意を示すような事前パラメータや制御上の重み付けを加えても良い。また、第1モード~第3モードに加えて、上記の(A)~(C)のいずれか1つを含むモードを選択可能としてもよい。
・上記実施形態では、視聴ユーザ112がコラボレーション配信に参加するアバター100を視聴ユーザ装置12Bの画面で選択することにより、選択したアバター100に対応するカメラ101で撮影した動画を視聴ユーザ装置12Bに表示するようにした。これに代えて、視聴ユーザ112がコラボレーション配信で設定された複数のカメラ101のうち一つを視聴ユーザ装置12Bの画面で選択することにより、選択したカメラ101で撮影した動画を視聴ユーザ装置12Bに表示してもよい。カメラ101を選択する画面では、アバター100に対して「上方」、「下方」、「左側」、「右側」等のカメラ101の位置から選択可能としてもよいし、「俯瞰」、「仰視」等のカメラ101のアングルで選択可能としてもよい。
・上記実施形態では、カメラ101を球面状のカメラ範囲109内に設定した。これに代えて若しくは加えて、仮想空間又は現実空間に、仮想的な三脚に据付けたモデルとして、回転中心座標を固定した上で仰角と方位角のみを制御できるカメラを設定してもよい。そして、このカメラに、回転中心座標を固定したまま光軸を左右に振る「パン」を実行させてもよい。そして配信ユーザ110のコントローラ27の操作又は所定のイベントの発生を契機としてカメラのパンを実行し、光軸を水平移動させながらターゲットとなるオブジェクトを注視つつ画角を滑らかに変化させてもよい。また、カメラに光軸を上下に振る「チルト」を実行させてもよい。
・上記実施形態では、ホストユーザにより選択されたアバターに装着オブジェクトを適用した。これに代えて若しくは加えて、視聴中の動画に対応付けられたアバターに装着オブジェクトを適用してもよい。この方法は、第1モード及び第2モードであって、アバター100とカメラ101とが対応付けられている場合に適用されうる。「アバターA」に対応付するカメラ101によって撮影された動画を表示している視聴ユーザ装置12Bから、装着ギフトオブジェクト141Aの表示要求を実行するための操作を受け付けたとする。この場合、サーバ11は、装着ギフトオブジェクト141Aを「アバターA」に適用すると判定する。サーバ11は、「アバターA」のレンダリングを行う配信ユーザ装置12Aに、装着ギフトオブジェクト141Aの表示要求を送信する。本実施形態では、ホストユーザの配信ユーザ装置12Aに装着ギフトオブジェクト141Aの表示要求を送信する。配信ユーザ装置12Aは「アバターA」に装着ギフトオブジェクト141Aを付した動画を作成する。
・上記実施形態では、視聴ユーザ112から送信されたメッセージを、コラボレーション配信に参加する全ての配信ユーザ装置12A、及びコラボレーション配信を視聴する全ての視聴ユーザ装置12Bに送信するようにした。これに代えて若しくは加えて、視聴ユーザ装置12Bが送信したメッセージを、その視聴ユーザ装置12Bに配信している動画にのみ表示するようにしてもよい。この方法は、視聴ユーザ装置12Bが「アバターA」に対応付けられたカメラ101で撮影された動画を表示しているとき、その視聴ユーザ装置12Bが送信したメッセージは、同じ「アバターA」に対応付けられたカメラ101で撮影された動画を表示している視聴ユーザ装置12Bのみに表示し、「アバターB」に対応付けられたカメラ101で撮影された動画を表示している視聴ユーザ装置12Bには表示しない。この態様では、一画面に表示されるメッセージの数を低減することができる。
・上記実施形態では、コラボレーション配信において、アバター100の視線が向けられる対象が異なる複数のモードを設定した。これに代えて、配信ユーザ110が単独で動画を配信するときに、それらのモードを選択できるようにしてもよい。この場合、例えば、アバター100がカメラ101に視線を向けるモード、アバター100がカメラ101以外のオブジェクト又は所定位置に視線を向けるモード、アバター100が常に正面に視線を向け、瞳102を動かさないモード等のうち複数のモードを設定することができる。
・1乃至複数のコンピュータを、
非透過型又は透過型のヘッドマウントディスプレイを装着した配信ユーザの動きに対応するアバターの視線に関するモードであって前記視線が向けられる対象が異なる複数のモードのうち、一つのモードを取得するモード取得部と、
動画を作成するための動画作成用データを取得するデータ取得部と、
指定された前記モードに従って、前記動画作成用データを用いて前記アバターが配置された仮想空間を仮想カメラによって撮影した動画データを作成する動画作成部と、
作成した前記動画データをディスプレイに出力する出力制御部と、して機能させるプログラム。
11…サーバ
12A…配信ユーザ装置
12B…視聴ユーザ装置
Claims (15)
- 1乃至複数のコンピュータを、
非透過型又は透過型のヘッドマウントディスプレイを装着した配信ユーザの動きに対応するアバターの視線に関するモードであって前記視線が向けられる対象が異なる複数のモードのうち、一つのモードを取得するモード取得部と、
指定された前記モードに従って、前記アバターが配置された仮想空間を仮想カメラから見た動画を表示するための動画表示用データを作成する作成部と、
前記動画表示用データを、動画を視聴する視聴ユーザが用いる視聴ユーザ装置に送信する動画データ送信部として機能させる
プログラム。 - 前記モードの一つは、前記アバターの視線を前記仮想カメラに向ける第1モードであって、
前記作成部は、前記第1モードが指定された場合に、前記アバターの視線を、前記アバター毎に異なる位置に設定された前記仮想カメラに向けるための視線データを含む前記動画表示用データを作成する
請求項1に記載のプログラム。 - 前記モードの一つは、前記ヘッドマウントディスプレイを装着した複数の前記配信ユーザが動画を配信する場合に前記アバターの視線を他のアバターに向ける第2モードであって、
前記作成部は、複数の前記アバターのアニメーションであって、前記アバターの各々の視線を、当該アバターとは異なる他のアバターに向けるための視線データを含む前記動画表示用データを作成する
請求項1又は2に記載のプログラム。 - 前記モードの一つは、前記ヘッドマウントディスプレイを装着した複数の前記配信ユーザが動画を配信する場合に前記アバターの視線を共通の前記仮想カメラに向ける第3モードであって、
前記作成部は、複数の前記アバターのアニメーションであって、複数の前記アバターが視線を共通の前記仮想カメラに向けるための視線データを含む前記動画表示用データを作成する
請求項1~3のいずれか1項に記載のプログラム。 - 前記作成部は、複数の前記配信ユーザの各々に対応するアバターのアニメーションを作成する場合に、複数の前記アバターの位置に基づいて設定された中心点を中心としたカメラ範囲を設定し、前記仮想カメラを前記カメラ範囲のいずれかの位置に設定する
請求項1~4のいずれか1項に記載のプログラム。 - 前記作成部は、複数の前記仮想カメラを前記カメラ範囲に設定する
請求項5に記載のプログラム。 - 前記作成部は、前記配信ユーザの操作部に対する操作に従って前記仮想カメラを前記カメラ範囲内で移動させる
請求項5又は6に記載のプログラム。 - 前記作成部は、
複数の前記配信ユーザに対応するアバターのアニメーションを作成する場合に、前記仮想カメラから前記アバターの各々に向かうベクトルと前記仮想カメラの光軸とがなす角度の絶対値が最も大きいアバターを判定し、当該アバターが含まれるように前記仮想カメラの視野角を特定する
請求項1~7のいずれか1項に記載のプログラム。 - 前記ヘッドマウントディスプレイは透過型のヘッドマウントディスプレイであって、
前記配信ユーザによって現実空間を移動可能な撮像カメラの位置を、前記仮想カメラの位置とし、
前記作成部は、前記撮像カメラによって撮像された前記現実空間の画像に、前記仮想カメラから見た前記仮想空間の画像を重畳した動画を表示するための動画表示用データを生成する
請求項1~4のいずれか1項に記載のプログラム。 - 1乃至複数のコンピュータが、
非透過型又は透過型のヘッドマウントディスプレイを装着した配信ユーザの動きに対応するアバターの視線に関するモードであって前記視線が向けられる対象が異なる複数のモードのうち、一つのモードを取得するモード取得ステップと、
指定された前記モードに従って、前記アバターが配置された仮想空間を仮想カメラから見た動画を表示するための動画表示用データを作成する作成ステップと、
前記動画表示用データを、動画を視聴する視聴ユーザが用いる視聴ユーザ装置に送信する動画データ送信ステップと、を実行する
情報処理方法。 - 1乃至複数のコンピュータを、
非透過型又は透過型のヘッドマウントディスプレイを装着した配信ユーザの動きに対応するアバターの視線に関するモードであって前記視線が向けられる対象が異なる複数のモードのうち、指定された一つのモードに応じた視線データと、前記配信ユーザの動きを示すトラッキングデータとをサーバから受信する視線データ受信部と、
前記トラッキングデータ及び前記視線データを用いて、前記アバターが配置された仮想空間を仮想カメラから見た動画データを作成し、前記動画データを視聴ユーザが視認するディスプレイに出力する表示制御部として機能させる
プログラム。 - 1乃至複数のコンピュータが、
非透過型又は透過型のヘッドマウントディスプレイを装着した配信ユーザの動きに対応するアバターの視線に関するモードであって前記視線が向けられる対象が異なる複数のモードのうち、指定された一つのモードに応じた視線データと、前記配信ユーザの動きを示すトラッキングデータとをサーバから受信する視線データ受信ステップと、
前記トラッキングデータ及び前記視線データを用いて、前記アバターが配置された仮想空間を仮想カメラから見た動画データを作成し、前記動画データを視聴ユーザが視認するディスプレイに出力する表示制御ステップと、を実行する
情報処理方法。 - 1乃至複数のコンピュータを、
非透過型又は透過型のヘッドマウントディスプレイを装着した配信ユーザの動きに対応するアバターの視線に関するモードであって前記視線が向けられる対象が異なる複数のモードのうち、一つのモードを取得するモード取得部と、
指定された前記モードに従って、前記アバターが配置された仮想空間を仮想カメラから見た動画を表示するための動画データを作成する作成部と、
エンコードした前記動画データを、動画を視聴する視聴ユーザが用いる視聴ユーザ装置に送信する動画データ送信部と、して機能させる
プログラム。 - 1乃至複数のコンピュータを、
非透過型又は透過型のヘッドマウントディスプレイを装着した配信ユーザの動きに対応するアバターの視線に関するモードであって前記視線が向けられる対象が異なる複数のモードのうち、一つのモードを取得するモード取得部と、
指定された前記モードに従って、前記アバターが配置された仮想空間を仮想カメラから見た動画を表示するための動画データを作成する作成部と、
エンコードした前記動画データを、動画を視聴する視聴ユーザが用いる視聴ユーザ装置に送信する動画データ送信部と、を備える
情報処理装置。 - 1乃至複数のコンピュータが、
非透過型又は透過型のヘッドマウントディスプレイを装着した配信ユーザの動きに対応するアバターの視線に関するモードであって前記視線が向けられる対象が異なる複数のモードのうち、一つのモードを取得するモード取得ステップと、
指定された前記モードに従って、前記アバターが配置された仮想空間を仮想カメラから見た動画を表示するための動画データを作成する作成ステップと、
エンコードした前記動画データを、動画を視聴する視聴ユーザが用いる視聴ユーザ装置に送信する動画データ送信ステップと、を実行する
情報処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021100774A JP7264941B2 (ja) | 2021-06-17 | 2021-06-17 | プログラム、情報処理装置及び情報処理方法 |
US17/839,498 US20220405996A1 (en) | 2021-06-17 | 2022-06-14 | Program, information processing apparatus, and information processing method |
JP2023064806A JP2023095862A (ja) | 2021-06-17 | 2023-04-12 | プログラム及び情報処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021100774A JP7264941B2 (ja) | 2021-06-17 | 2021-06-17 | プログラム、情報処理装置及び情報処理方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023064806A Division JP2023095862A (ja) | 2021-06-17 | 2023-04-12 | プログラム及び情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023000136A JP2023000136A (ja) | 2023-01-04 |
JP7264941B2 true JP7264941B2 (ja) | 2023-04-25 |
Family
ID=84489668
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021100774A Active JP7264941B2 (ja) | 2021-06-17 | 2021-06-17 | プログラム、情報処理装置及び情報処理方法 |
JP2023064806A Pending JP2023095862A (ja) | 2021-06-17 | 2023-04-12 | プログラム及び情報処理方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023064806A Pending JP2023095862A (ja) | 2021-06-17 | 2023-04-12 | プログラム及び情報処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20220405996A1 (ja) |
JP (2) | JP7264941B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116489299A (zh) * | 2022-01-13 | 2023-07-25 | 祖玛视频通讯公司 | 视频通信平台中的化身生成 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6225242B1 (ja) | 2016-12-28 | 2017-11-01 | 株式会社コロプラ | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム |
JP6330072B1 (ja) | 2017-03-08 | 2018-05-23 | 株式会社コロプラ | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
US20190088016A1 (en) | 2017-09-15 | 2019-03-21 | Trimble Inc. | Collaboration methods to improve use of 3d models in mixed reality environments |
JP6695482B1 (ja) | 2019-06-27 | 2020-05-20 | 株式会社ドワンゴ | 制御サーバ、配信システム、制御方法及びプログラム |
JP2020170519A (ja) | 2020-06-08 | 2020-10-15 | 株式会社バーチャルキャスト | コンテンツ配信システム、コンテンツ配信方法、コンピュータプログラム |
WO2021059359A1 (ja) | 2019-09-24 | 2021-04-01 | 株式会社エクシヴィ | アニメーション制作システム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3203615B2 (ja) * | 1995-06-16 | 2001-08-27 | 日本電信電話株式会社 | 仮想空間共有システム |
JP3488994B2 (ja) * | 1997-02-13 | 2004-01-19 | 日本電信電話株式会社 | 三次元仮想空間における参加者対面方法 |
JP6298558B1 (ja) * | 2017-05-11 | 2018-03-20 | 株式会社コロプラ | 仮想空間を提供するための方法、および当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 |
-
2021
- 2021-06-17 JP JP2021100774A patent/JP7264941B2/ja active Active
-
2022
- 2022-06-14 US US17/839,498 patent/US20220405996A1/en active Pending
-
2023
- 2023-04-12 JP JP2023064806A patent/JP2023095862A/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6225242B1 (ja) | 2016-12-28 | 2017-11-01 | 株式会社コロプラ | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム |
JP6330072B1 (ja) | 2017-03-08 | 2018-05-23 | 株式会社コロプラ | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
US20190088016A1 (en) | 2017-09-15 | 2019-03-21 | Trimble Inc. | Collaboration methods to improve use of 3d models in mixed reality environments |
JP6695482B1 (ja) | 2019-06-27 | 2020-05-20 | 株式会社ドワンゴ | 制御サーバ、配信システム、制御方法及びプログラム |
WO2021059359A1 (ja) | 2019-09-24 | 2021-04-01 | 株式会社エクシヴィ | アニメーション制作システム |
JP2020170519A (ja) | 2020-06-08 | 2020-10-15 | 株式会社バーチャルキャスト | コンテンツ配信システム、コンテンツ配信方法、コンピュータプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2023000136A (ja) | 2023-01-04 |
US20220405996A1 (en) | 2022-12-22 |
JP2023095862A (ja) | 2023-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11348300B2 (en) | Avatar customization for optimal gaze discrimination | |
JP7389855B2 (ja) | 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム | |
JP6244593B1 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP6462059B1 (ja) | 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置 | |
CN114766038A (zh) | 共享空间中的个体视图 | |
US11074737B2 (en) | Information processing apparatus and method | |
US20210350604A1 (en) | Audiovisual presence transitions in a collaborative reality environment | |
US11645823B2 (en) | Neutral avatars | |
US20190005732A1 (en) | Program for providing virtual space with head mount display, and method and information processing apparatus for executing the program | |
JP7160669B2 (ja) | プログラム、情報処理装置、および方法 | |
JP2022089817A (ja) | 動画用アプリケーションプログラム、動画のオブジェクト描画方法、動画配信システム、動画配信サーバ及び動画配信方法 | |
JP7394158B2 (ja) | ヘッドマウントデバイスを介して仮想空間を提供するためにコンピュータで実行されるプログラムおよび方法ならびに情報処理装置 | |
JP2023095862A (ja) | プログラム及び情報処理方法 | |
JP2019128721A (ja) | ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法 | |
JP2018124981A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP6999538B2 (ja) | 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置 | |
JP6718933B2 (ja) | プログラム、情報処理装置、および方法 | |
JP2020039012A (ja) | プログラム、情報処理装置、および方法 | |
JP7111848B2 (ja) | プログラム、情報処理装置、および方法 | |
JP7379427B2 (ja) | 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム | |
JP7438786B2 (ja) | プログラム、情報処理方法、及び情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221213 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20221213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230314 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230413 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7264941 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |