JP7044149B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents
情報処理装置、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- JP7044149B2 JP7044149B2 JP2020209641A JP2020209641A JP7044149B2 JP 7044149 B2 JP7044149 B2 JP 7044149B2 JP 2020209641 A JP2020209641 A JP 2020209641A JP 2020209641 A JP2020209641 A JP 2020209641A JP 7044149 B2 JP7044149 B2 JP 7044149B2
- Authority
- JP
- Japan
- Prior art keywords
- avatar
- video
- user
- arrangement
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
1.情報処理システムの構成
2.実施形態の詳細な説明
3.ハードウェア構成
4.変形例
まず、本開示の実施形態による情報処理システムの構成例について、図1を参照して説明する。図1に示すように、本実施形態による情報処理システムは、情報処理装置10、映像制作装置20、再生装置30、および、通信網32を有する。
映像制作装置20は、実空間の映像(動画など)を記録するための装置である。映像制作装置20は、据え置き型の装置であってもよいし、携帯型の装置であってもよいし、または、自律移動型の装置であってもよい。
制御部200は、映像制作装置20に内蔵される例えばCPU(Central Processing Unit)やRAM(Random Access Memory)などを用いて、映像制作装置20の動作を統括的に制御する。また、図3に示すように、制御部200は、メタ情報生成部202を有する。
メタ情報生成部202は、後述する撮影部222により撮影される映像に関連付けてメタ情報を生成する。例えば、メタ情報生成部202は、撮影部222により撮影された映像に関して、ユーザ(制作者など)により指定された関連情報を含むようにメタ情報を生成する。なお、当該関連情報は、後述する入力部224を介してユーザにより入力されてもよいし、または、他の装置(図示省略)から通信網32を介して受信されてもよい。
通信部220は、他の装置との間で情報の送受信を行う。例えば、通信部220は、制御部200の制御に従って、複数の撮影部222により撮影された映像、および、当該映像に関連付けられるメタ情報などを情報処理装置10へ送信する。なお、複数の撮影部222により撮影される映像、および、メタ情報のフォーマットに関しては特に限定されず、任意のフォーマットが採用され得る。
撮影部222は、カメラ(RGBカメラ)を含んで構成され得る。撮影部222は、動画などの映像を撮影する。例えば、撮影部222は、当該カメラに含まれるレンズを介して、当該カメラに含まれる撮像素子に集光することにより、映像を撮影する。
入力部224は、タッチパネル、ボタン、レバー、スイッチなどを含み得る。入力部224は、ユーザの各種の入力を受け付ける。例えば、入力部224は、ユーザによる、前述した関連情報の入力を受け付ける。
情報処理装置10は、映像制作装置20から受信される映像やメタ情報などを管理するための装置である。この情報処理装置10は、例えばサーバである。但し、かかる例に限定されず、情報処理装置10は、汎用PC(Personal Computer)、タブレット型端末、ゲーム機、スマートフォンなどの携帯電話、携帯型音楽プレーヤ、例えばHMDなどのウェアラブルデバイス、または、ロボットなどであってもよい。なお、図1では、情報処理装置10が一台だけ図示されているが、かかる例に限定されず、複数台のコンピュータが協同して動作することにより、本実施形態による情報処理装置10の機能が実現されてもよい。
再生装置30は、例えば、情報処理装置10から受信される映像などを表示するための装置である。例えば、再生装置30は、再生装置30に対するユーザの入力に基づいて、映像の再生要求を情報処理装置10へ送信する。そして、再生装置30は、情報処理装置10から受信される映像を表示する。
制御部300は、再生装置30に内蔵される例えばCPU、GPU(Graphics Processing Unit)、および、RAMなどを用いて、再生装置30の動作を統括的に制御する。例えば、制御部300は、情報処理装置10から受信される映像を表示部324に表示させる。一例として、情報処理装置10から全天球映像が受信される場合には、制御部300は、当該全天球映像のうち、後述するセンサ部322によりセンシングされた、再生装置30(またはユーザなど)の位置および姿勢の情報に対応する部分の映像を表示部324に表示させる。
通信部320は、他の装置との間で情報の送受信を行う。例えば、通信部320は、制御部300の制御に従って、映像の再生要求を情報処理装置10へ送信する。また、通信部320は、再生対象の映像を情報処理装置10から受信する。
センサ部322は、例えば、カメラ(イメージセンサ)、デプスセンサ、マイクロフォン、加速度センサ、ジャイロスコープ、地磁気センサ、および/または、GPS(Global Positioning System)受信機などを含み得る。例えば、センサ部322は、実空間における再生装置30の位置(または、再生装置30を使用するユーザの位置)、再生装置30の姿勢、または、加速度などをセンシングする。また、センサ部322は、再生装置30の周囲のデプス情報をセンシングすることも可能である。
表示部324は、制御部300の制御に従って、映像を表示する。例えば、表示部324は、右目用表示部324aおよび左目用表示部324bを有し得る。この場合、右目用表示部324aは、再生装置30に含まれる右目用レンズの少なくとも一部の領域を投影面として映像を投影し、かつ、左目用表示部324bは、再生装置30に含まれる左目用レンズの少なくとも一部の領域を投影面として映像を投影する。または、再生装置30がゴーグル型レンズを有する場合には、表示部324は、当該ゴーグル型レンズの少なくとも一部の領域を投影面として映像を投影し得る。なお、左目用レンズおよび右目用レンズ(またはゴーグル型レンズ)は、例えば樹脂やガラスなどの透明材料により形成され得る。
入力部326は、タッチパネル、ボタン、レバー、スイッチなどを含み得る。入力部326は、ユーザの各種の入力を受け付ける。詳細については後述するが、再生対象の映像に対応する仮想空間内に、再生装置30を装着するユーザに対応するアバターが配置され得る。この場合、入力部326は、当該アバターの配置位置を変更させるためのユーザの入力を受け付け得る。
通信網32は、通信網32に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、通信網32は、電話回線網、インターネット、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、通信網32は、IP-VPN(Internet Protocol-Virtual Private Network)などの専用回線網を含んでもよい。
以上、本実施形態による情報処理システムの構成について説明した。ところで、従来、カメラの全方向(360度)を撮影した映像(例えば全天球映像など)を表示するための技術が各種開発されている。この技術によれば、ユーザは、全天球映像を視聴することにより、当該映像の撮影時のカメラの全周囲を見ることができる。
<2-1.構成>
次に、本実施形態による構成について詳細に説明する。図5は、本実施形態による情報処理装置10の構成例を示した機能ブロック図である。図5に示すように、情報処理装置10は、制御部100、通信部120、および、記憶部122を有する。
制御部100は、例えば、後述するCPU150やGPUなどの処理回路を含んで構成され得る。制御部100は、情報処理装置10の動作を統括的に制御する。また、図5に示すように、制御部100は、登録部102、特定部104、変更部106、および、表示制御部108を有する。
登録部102は、映像制作装置20から受信される映像およびメタ情報などを映像DB124に登録する。例えば、登録部102は、映像が映像制作装置20から取得される度に、当該映像、および、当該映像に関連付けられるデプス情報を映像DB124に追加登録する。なお、映像DB124は、例えば映像、デプス情報、および、メタ情報が関連付けて格納されるデータベースである。
(2-1-3-1.空き空間の情報の特定)
‐特定例1
特定部104は、例えば再生対象の映像の再生時に、当該映像の再生タイミングごとの、当該映像の記録時の視点の周囲の空き空間の情報(空き空間の広さや範囲など)を特定する。例えば、特定部104は、再生対象の映像の再生タイミングごとの当該空き空間の情報を、当該映像に関連付けられているデプス情報に基づいて特定する。
または、再生対象の映像に関連付けられているメタ情報内に、例えば再生タイミングごとの、当該映像の記録時の視点の周囲の空き空間の情報が(例えば制作者により)予め登録されている場合には、特定部104は、当該映像の再生タイミングごとの当該空き空間の情報を当該メタ情報に基づいて特定することも可能である。
‐特定例1
また、特定部104は、例えば映像の再生時に、再生対象の映像の再生タイミングごとに特定した空き空間の情報に基づいて、当該映像に関するシーン変化のタイミングを特定することが可能である。例えば、特定部104は、再生対象の映像を視聴している複数のユーザの各々に対応するアバターのサイズと、当該複数のアバターの現在の配置(例えば隊列など)と、再生タイミングごとの空き空間の情報とに基づいて、当該映像に関するシーン変化のタイミングを特定する。
または、再生対象の映像に関連付けられているメタ情報内にシーン変化のタイミングの情報が(例えば制作者などにより)予め登録されている場合には、特定部104は、当該メタ情報が示すシーン変化のタイミングを、当該映像におけるシーン変化のタイミングとしてそのまま特定することも可能である。
(2-1-4-1.アバターの配置)
変更部106は、再生対象の映像に対応する仮想空間内に、当該映像を視聴している複数のユーザの各々に対応するアバターを配置する。例えば、変更部106は、特定部104により特定される空き空間内に、当該複数のユーザの各々に対応するアバターを配置する。
なお、変形例として、変更部106は、特定部104により特定される空き空間内の所定の空間にはアバターを配置しないことも可能である。ここで、所定の空間は、例えば床や地面における穴など、人間が位置するのが不自然な場所であり得る。
また、変更部106は、再生対象の映像に対応する仮想空間内の、複数のユーザの各々に対応するアバターの表示に関する設定を、当該映像の再生に応じて動的に変更する。例えば、変更部106は、当該再生対象の映像の再生タイミングごとに、(当該再生タイミングにおける)空き空間の情報と、当該複数のユーザの各々に対応するアバターとに応じて、当該複数のユーザの各々に対応するアバターの現在の配置(隊列など)を別の配置(隊列など)に変更する。ここで、「現在の配置」は、本開示における第1の配置の一例である。また、「別の配置」は、本開示における第2の配置の一例である。
なお、変形例として、現在の再生タイミングがシーン変化のタイミングであると特定部104により特定された際には、変更部106は、(図8に示したような、複数のアバター54の隊列を水平面内で変更する代わりに)仮想空間42における垂直方向(高さ方向)に各アバター54が並ぶように現在の隊列を変更してもよい。または、変更部106は、例えば複数のアバター54の並び方を変えずに、複数のアバター54が互いに一部(または全部)重なるように現在の隊列を変更(圧縮)してもよい。
また、変更部106は、再生対象の映像を視聴している複数のユーザの各々に対応するアバターのうち、当該映像に対応する仮想空間内に配置されるアバターの数を、当該映像の再生タイミングごとの空き空間の情報に応じて変更することも可能である。例えば、映像の再生時において、現在の再生タイミングがシーン変化のタイミングであると特定部104により特定された際には、変更部106は、当該仮想空間内に配置されるアバターの数を、当該タイミングにおける空き空間の情報に応じて変更する。
または、当該シーン変化のタイミングと関連付けて制作者により設定された条件がメタ情報内に登録されている場合には、当該所定の条件は、当該メタ情報内に登録されている条件であってもよい。例えば、当該映像を視聴しているユーザが孤立している感覚を制作者が演出したい場合などには、ユーザ本人に対応するアバターのみを配置させることが当該メタ情報内に登録され得る。
‐アバターの変更例1
また、変更部106は、再生対象の映像に対応する仮想空間内に配置される一以上のアバターの表示態様を動的に変更することも可能である。例えば、変更部106は、当該仮想空間内に配置される複数のアバターの表示態様を、当該映像を視聴しているユーザの数に応じて変更してもよい。一例として、映像の再生時において、当該映像を視聴している各ユーザに対応するアバターの現在の配列が空き空間に収まらない場合などには、変更部106は、当該空き空間から例えば一時的にはみ出るアバターの表示態様を変更してもよい。例えば、変更部106は、当該空き空間からはみ出るアバターを半透過で表示させたり、ワイヤフレームで表示させるように設定を変更してもよい。これにより、例えばアバターの現在の隊列を変更しなくても、映像が大きく破たんすることを回避することができる。
また、例えば、再生対象の映像を視聴している各ユーザに対応する全てのアバターのうちの一部が空き空間内に収まらない場合には、変更部106は、配置対象のアバターが当該空き空間内に収まるように当該配置対象のアバターの数を減らすとともに、当該配置対象のアバターの各々が、複数のユーザに対応していることをそれぞれ示すように、個々のアバターの表示態様を変更してもよい。例えば、この場合、変更部106は、まず、当該配置対象のアバターの各々と複数のユーザとをそれぞれ関連付ける。そして、変更部106は、個々のアバターに対応する複数のユーザのうち代表のユーザに対応するアバターを通常の表示サイズで表示させるとともに、当該代表のユーザ以外の他のユーザに対応するアバターが当該アバターの後ろに位置しているような表示態様(例えば、影など)で当該アバターを表示させる。なお、この場合、再生対象の映像の再生時の視点位置は、当該映像を視聴するユーザごとに、当該ユーザを含むグループの代表のユーザに対応するアバターの配置位置に設定されてもよい。
また、例えば、映像の再生時において、現在の再生タイミングがシーン変化のタイミングであると特定部104により特定される度に、変更部106は、当該タイミングにおけるシーンに応じて、個々のアバターの表示態様を逐次変更してもよい。例えば、変更部106は、当該タイミングにおけるシーンに応じて、個々のアバターの衣装を変更したり、個々のアバターをデコレーションしたり、また、個々のアバターの表示サイズを変更してもよい。例えば、当該タイミングにおけるシーンが「海」の映像を含む場合には、変更部106は、個々のアバターの衣装を水着に変更してもよい。また、当該タイミングにおけるシーンが「人物がダンスをしている映像」を含む場合には、変更部106は、個々のアバターの衣装をダンス衣装に変更してもよい。また、当該タイミングにおけるシーンが「城の内部」の映像を含む場合には、変更部106は、個々のアバターの衣装をスーツやドレスに変更してもよい。
また、変更部106は、各ユーザに対応するアバターに関連するオブジェクトの表示態様を、再生対象の映像の再生に応じて変更してもよい。例えば、図11に示したように、各アバター54が座っている椅子56が当該アバター54とともに表示される場合には、変更部106は、再生対象の映像の再生に応じて、椅子56の表示態様を変更してもよい。例えば、映像の再生時において、現在の再生タイミングがシーン変化のタイミングであり、かつ、当該タイミングにおけるシーンが「森」の映像を含む場合には、変更部106は、椅子56を切り株に変更してもよい。また、当該タイミングにおけるシーンが「洞窟」の映像を含む場合には、変更部106は、椅子56を石に変更してもよい。
(2-1-5-1.映像の表示制御)
表示制御部108は、再生装置30に対して再生対象の映像の表示を制御する。例えば、表示制御部108は、変更部106により決定された、当該映像に対応する仮想空間内のアバターの配置(位置や姿勢など)に応じて、再生対象の映像に当該アバターを重畳させて表示させる。一例として、表示制御部108は、再生対象の映像を視聴する各ユーザに関して、再生タイミングごとに、所定の視点位置からの、当該映像に対応する仮想空間の映像を、当該ユーザが装着する再生装置30に表示させる。ここで、所定の視点位置は、前述したように、当該ユーザに対応するアバターの、当該仮想空間における配置位置であってもよい。
なお、変形例として、表示制御部108は、各ユーザの指定に基づいて、各ユーザが装着する再生装置30に対する表示を制御することも可能である。例えば、他のユーザ2bに対応するアバター(例えば隣に位置するアバターなど)を非表示にするようにユーザ2aが指定した場合には、表示制御部108は、ユーザ2bに対応するアバターを、当該ユーザ2aが装着する再生装置30には表示させないように制御してもよい。
‐空き空間の範囲の表示
また、表示制御部108は、再生対象の映像の表示時に、さらに、当該映像に関連する関連情報を、当該映像を視聴している複数のユーザの各々が装着している再生装置30に表示させることも可能である。例えば、映像の再生時において、表示制御部108は、図13に示したように、現在の再生タイミングにおける空き空間の範囲を示す表示70を当該映像50に重畳させて表示させる。また、図13に示したように、表示制御部108は、当該空き空間の範囲内で映像を視聴することをユーザに促すメッセージ72を当該映像50にさらに重畳させて表示させてもよい。
また、表示制御部108は、再生対象の映像の表示時に、当該映像を視聴している複数のユーザ間のコミュニケーションの内容に応じて、少なくとも一人のユーザが装着する再生装置30に表示されている映像を変更してもよい。例えば、当該映像を視聴しているユーザ2aに対して、当該映像を視聴している他のユーザ2bが「こっちを見て」のように話しかけたことが検出された場合には、表示制御部108は、ユーザ2bの画角へのガイド表示やワイプ画像を、ユーザ2aが装着する再生装置30aにさらに表示させてもよい。ここで、ガイド表示は、例えばユーザ2bの画角の方向を示す矢印であってもよいし、ユーザ2bが注視している物体を示す表示(当該物体を囲む線など)であってもよい。また、ワイプ画像は、再生装置30aに現在表示されている映像から、ユーザ2bが装着している再生装置30bに現在表示されている映像へと徐々に切り替えるようなアニメーションであってもよい。
または、この場合、表示制御部108は、図14に示したような、当該映像に対応する仮想空間内での、個々のユーザの視界を示す俯瞰表示を、ユーザ2aが装着する再生装置30a(および、ユーザ2bが装着する再生装置30b)にさらに表示させてもよい。ここで、図14を参照して俯瞰表示の表示例(俯瞰表示80)について説明する。図14では、二人のユーザ(ユーザ2aおよびユーザ2b)が再生対象の映像を同時に視聴している例を示している。また、図14では、ユーザ2aに対応するアバター54aと、ユーザ2bに対応するアバター54bとが、(図14に示した)横方向に並んで当該仮想空間内に配置されている例を示している。図14に示したように、俯瞰表示80は、当該仮想空間におけるユーザ2aの視界の範囲を示す表示82aと、当該仮想空間におけるユーザ2bの視界の範囲を示す表示82bとを含む。従って、俯瞰表示80が再生装置30aに表示されることにより、ユーザ2aは、自分(ユーザ2a)が現在見ている範囲と、ユーザ2bが現在見ている範囲との関係性を知ることができる。
また、表示制御部108は、再生対象の映像の表示時に、当該映像を視聴しているユーザが位置する実空間におけるセンシング結果を示す表示を、当該映像に重畳して表示させてもよい。例えば、表示制御部108は、当該ユーザが位置する実空間における危険を示す情報を当該映像に重畳して表示させてもよい。ここで、危険を示す情報は、例えば「あなたの右側には椅子があります」や「右側へ行くと危険です」など、当該ユーザの近くに物体が存在することなどを示し得る。
通信部120は、例えば、後述する通信装置162を含んで構成され得る。通信部120は、他の装置との間で情報の送受信を行う。例えば、通信部120は、映像、および、メタ情報を映像制作装置20から受信する。また、通信部120は、映像の再生要求を再生装置30から受信する。また、通信部120は、表示制御部108の制御に従って、(アバターの映像が重畳された)再生対象の映像を再生装置30へ送信する。
記憶部122は、例えば、後述するストレージ装置160を含んで構成され得る。記憶部122は、各種のデータ、および、各種のソフトウェアを記憶する。例えば、図5に示したように、記憶部122は、映像DB124を記憶する。
以上、本実施形態の構成について説明した。次に、本実施形態による処理の流れの一例について、図15および図16を参照して説明する。なお、ここでは、情報処理装置10(映像DB124)に登録されている所定の全天球映像を視聴することを複数のユーザが希望する場面における処理の流れの例について説明する。
図15に示したように、まず、複数のユーザの各々は、所定の映像を再生させるための指示を、当該ユーザが装着する再生装置30に対して入力する。そして、個々の再生装置30は、入力された情報に基づいて、映像の再生要求を情報処理装置10へ送信する(S101)。
ここで、図16を参照して、S107における「シーン変化判定処理」の流れについて説明する。図16に示したように、まず、特定部104は、当該映像に関連付けられている、再生タイミングTにおけるメタ情報を映像DB124から抽出する(S201)。
以上説明したように、本実施形態によれば、情報処理装置10は、デプス情報を有する映像に対応する仮想空間における、複数のユーザの各々に対応するアバターの配置を、当該映像の再生に応じて変更する。このため、映像を視聴する各ユーザに対応するアバターの配置を、映像の再生に応じて適切に変更することが可能である。
前述した実施形態では、映像制作装置20により予め撮影された映像を情報処理装置10が再生装置30に表示させる例を中心として説明した。次に、本実施形態の応用例について説明する。後述するように、本応用例によれば、情報処理装置10は、映像制作装置20により撮影される映像を再生装置30にリアルタイムに表示させることが可能である。
図17は、本応用例による情報処理システムの構成例を示した説明図である。図17に示すように、本応用例では、撮影者6が、頭部装着型の映像制作装置90を装着している場面を想定する。また、図17に示したように、撮影者6は、再生装置30cをさらに装着し得る。ここで、映像制作装置90は、図17に示したように複数の撮影部222を有し得る。例えば、映像制作装置90は、撮影者6の頭部の全周囲の映像を撮影することが可能である。また、映像制作装置90は、例えば複数の撮影部222またはデプスセンサ(図示省略)などにより、映像の撮影とともにデプス情報を取得し得る。なお、撮影者6は、映像制作装置90による撮影中の映像と関連付けてシーン変化のタイミングをリアルタイムに指定することが可能である。
以上、本応用例による情報処理システムの構成について説明した。次に、本応用例による情報処理装置10の構成について詳細に説明する。なお、以下では、前述した実施形態と同様の内容については説明を省略する。
本応用例による特定部104は、映像制作装置90により撮影された映像に対応するデプス情報に基づいて、撮影者6の周囲の空き空間の情報をリアルタイムに特定することが可能である。なお、デプス情報は、前述したように、(映像制作装置90が有する)複数の撮影部222の各々により撮影された映像に対する所定の画像処理に基づいて特定されてもよいし、または、映像制作装置90が有する例えばデプスセンサなどのセンサによりセンシングされた情報であってもよい。
‐映像の表示
本応用例による表示制御部108は、映像制作装置90によりリアルタイムに撮影された映像に応じた配信用映像を、当該映像を視聴する複数のユーザの各々に対応する再生装置30に表示させる。ここで、配信用映像は、全天球映像であり得る。または、例えば映像制作装置90の周囲に複数の他のカメラが設置されている場合などには、配信用映像は、映像制作装置90および当該複数の他のカメラにより撮影された映像に基づいた自由視点映像であってもよい。
また、表示制御部108は、当該映像を視聴している一以上のユーザの各々に対応するアバターを、撮影者6が装着する再生装置30cに表示させることが可能である。例えば、撮影者6の周囲の空き空間内に当該一以上のアバターが収まると特定部104により判定されている間において、表示制御部108は、当該空き空間に対応する、表示部324の領域内に当該一以上のアバターを表示させる。これにより、配信用映像を視聴しているユーザを、撮影者6は知ることができる。その結果、当該ユーザと撮影者6との間で例えば通話などを行う際に、撮影者6は、当該ユーザとより円滑にコミュニケーションすることができる。
以上説明したように、本応用例によれば、情報処理装置10は、映像制作装置90により撮影される映像に応じた配信用映像を、ユーザ2が装着する再生装置30にリアルタイムに表示させることが可能である。また、情報処理装置10は、当該配信用映像を視聴している一以上のユーザの各々に対応するアバターを、撮影者6が装着する再生装置30cにリアルタイムに表示させることが可能である。このため、配信用映像を視聴しているユーザおよび撮影者6があたかも一緒に移動しているかのような体験を、当該ユーザおよび撮影者6に提供することができる。
次に、本実施形態による情報処理装置10のハードウェア構成について、図18を参照して説明する。図18に示すように、情報処理装置10は、CPU150、ROM(Read Only Memory)152、RAM154、バス156、インターフェース158、ストレージ装置160、および通信装置162を備える。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、前述した実施形態では、再生対象の映像を複数のユーザが同時に視聴する場面の例について説明したが、本開示はかかる例に限定されない。例えば、あるユーザ2aが再生対象の映像を視聴する場面において、情報処理装置10は、当該映像を過去に視聴していた他のユーザ2bのアバターを当該映像に重畳させて、ユーザ2aが装着する再生装置30に表示させてもよい。また、この場合、情報処理装置10は、他のユーザ2bの視聴時におけるユーザ2bの行動認識の結果に応じて、ユーザ2bに対応するアバターの表示位置などを変更してもよい。この変形例によれば、再生対象の映像を過去に視聴していた他のユーザと、あたかも一緒に視聴しているかのような体験をユーザに提供することができる。
また、別の変形例として、情報処理装置10は、再生対象の映像を再生装置30に表示させる前に、当該映像に関する各シーンを予め解析しておくことも可能である。これにより、映像の再生に係る処理を効率化させることができる。
また、別の変形例として、例えばシーン変化のタイミングなどにおいて、少なくとも一つのアバターが配置対象外であると新たに判定される場合には、表示制御部108は、当該少なくとも一つのアバターをフェードアウト(例えば透過度を徐々に上げるなど)させた後に、当該少なくとも一つのアバターが非表示になるように表示を制御してもよい。また、例えばシーン変化のタイミングなどにおいて、再生対象の映像に対応する仮想空間内に少なくとも一つのアバターが新たに配置される場合には、表示制御部108は、当該少なくとも一つのアバターが配置される数フレーム前から、当該少なくとも一つのアバターをフェードイン(例えば透過度を徐々に下げるなど)させた後に、当該少なくとも一つのアバターを表示させてもよい。また、アバターの表示態様(例えばアバターの衣装など)が別の表示態様に切り替えられる場合には、表示制御部108は、当該切り替えのタイミングの数フレーム前から当該アバターの表示態様を徐々に変更してもよい。
また、別の変形例として、映像の早送りが行われる場合には、表示制御部108は、シーン変化のタイミングに関わらず他のアバターが非表示になるように表示を制御してもよい。これにより、映像の早送りに伴うアバターの再配置処理の負荷の増大を抑制できる。また、映像の早送りが行われる場合には、表示部324に表示される映像の立体視表示が禁止されてもよい。具体的には、右目用画像及び左眼用画像の一方が、右目用表示部324aと左目用表示部324bとに表示されるとよい。これにより、急速な立体視表示の切り替わりに伴う処理負荷を低減するとともに、ユーザの眼球に対する負担の増大を抑制することができる。また、映像の早送りが行われる場合には、仮想空間に配置された平面ウィンドウ(2次元ウィンドウ)に立体視映像全体を表示するように、モーフィング処理を伴って映像表示の切り替えが行われても良い。これにより、映像の早送りに伴うアバターの再配置処理の負荷の増大を抑制できるとともに、映像の早送り中もユーザ間のコミュニケーションを維持することが出来る。
また、別の変形例として、再生対象の映像に対応する仮想空間内に少なくとも一つのアバターが新たに配置される場合には、情報処理装置10は、当該少なくとも一つのアバターが配置されるよりも所定の時間前に、当該少なくとも一つのアバターの各々に対応するユーザが装着する再生装置30に対して、当該ユーザに対応するアバターが表示されることを通知してもよい。
また、別の変形例として、情報処理装置10は、再生対象の映像を視聴する全てのユーザのうちの一部のユーザ(または全員)の各々に対応するアバターを再生装置30に表示させる代わりに、これらのアバターの配置位置の方向を示す表示(例えば矢印など)のみを表示させてもよい。なお、この場合、当該一部のユーザのうちの少なくとも一人が発話したことが検出された場合には、情報処理装置10は、当該発話を再生装置30に(通常通りに)出力させてもよい。この変形例によれば、アバターの方向を示す表示と、発話の音声のみで、当該映像を視聴している他のユーザ2bの存在をユーザ2aに知らせることができる。
また、別の変形例として、前述した特定部104、変更部106、および、表示制御部108は、情報処理装置10に含まれる代わりに、再生装置30に含まれてもよい。この場合、本開示における情報処理装置は、再生装置30であり得る。
また、前述した実施形態の処理の流れにおける各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。また、記載されたステップのうちの一部が省略されたり、または、別のステップがさらに追加されてもよい。
(1)
デプス情報を有する映像に対応する仮想空間における、第1のユーザに対応する第1のオブジェクトと第2のユーザに対応する第2のオブジェクトとの配置を、前記映像の再生に応じて第1の配置から第2の配置に変更する変更部、
を備える、情報処理装置。
(2)
前記変更部は、前記第1のオブジェクトと前記第2のオブジェクトとの配置を、前記映像の再生に応じた前記デプス情報の変化に応じて前記第1の配置から前記第2の配置に変更する、前記(1)に記載の情報処理装置。
(3)
前記デプス情報は、前記映像の再生タイミングごとの、前記映像の記録時の視点の周囲のデプス値を示す、前記(2)に記載の情報処理装置。
(4)
前記情報処理装置は、前記映像の再生タイミングごとの、前記映像の記録時の視点の周囲の空き空間の情報を前記デプス情報に基づいて特定する特定部をさらに備え、
前記変更部は、前記第1のオブジェクトと前記第2のオブジェクトとの配置を、前記映像の再生に応じた前記空き空間の情報の変化に応じて前記第1の配置から前記第2の配置に変更する、前記(3)に記載の情報処理装置。
(5)
前記第1のオブジェクトおよび前記第2のオブジェクトは三次元の仮想オブジェクトであり、
前記変更部は、さらに、前記第1のオブジェクトのサイズおよび前記第2のオブジェクトのサイズに応じて、前記第1のオブジェクトと前記第2のオブジェクトとの配置を前記第1の配置から前記第2の配置に変更する、前記(4)に記載の情報処理装置。
(6)
前記第1の配置は、前記第1のオブジェクトと前記第2のオブジェクトとの第1の隊列に対応し、
前記第2の配置は、前記第1のオブジェクトと前記第2のオブジェクトとの第2の隊列に対応し、
前記特定部は、前記映像の再生タイミングごとに、当該再生タイミングに対応する前記空き空間の情報が示す空間内に前記第1の隊列が収まるか否かをさらに判定し、
前記空間内に前記第1の隊列が収まらないと判定された際には、前記変更部は、前記第1のオブジェクトと前記第2のオブジェクトとの配置を前記第1の配置から前記第2の配置に変更する、前記(5)に記載の情報処理装置。
(7)
前記第2の配置に対応する前記第1のオブジェクトと前記第2のオブジェクトとの配置方向と、前記第1の配置に対応する前記第1のオブジェクトと前記第2のオブジェクトとの配置方向とは異なる、前記(6)に記載の情報処理装置。
(8)
前記第2の配置に対応する前記第1のオブジェクトの向きと、前記第1の配置に対応する前記第1のオブジェクトの向きとは異なる、前記(6)または(7)に記載の情報処理装置。
(9)
現在の再生タイミングに対応する前記空き空間の情報が示す空間内に、現在の前記第1のオブジェクトと前記第2のオブジェクトとの隊列が収まらないと判定される度に、前記変更部は、前記第1のオブジェクトと前記第2のオブジェクトとの隊列が前記空間内に収まるように、前記第1のオブジェクトと前記第2のオブジェクトとの隊列を逐次変更する、前記(6)~(8)のいずれか一項に記載の情報処理装置。
(10)
前記第1のユーザおよび前記第2のユーザを含む複数のユーザは、前記映像を視聴するユーザであり、
前記変更部は、さらに、前記複数のユーザの各々に対応するオブジェクトのうち前記仮想空間内に配置されるオブジェクトの数を、前記映像の再生に応じた前記デプス情報の変化に応じて変更する、前記(3)~(9)のいずれか一項に記載の情報処理装置。
(11)
前記複数のユーザの各々に対応するオブジェクトは、三次元の仮想オブジェクトであり、
前記情報処理装置は、前記映像の再生タイミングごとの、前記映像の記録時の視点の周囲の空き空間の情報を前記デプス情報に基づいて特定する特定部をさらに備え、
前記変更部は、前記複数のユーザの各々に対応するオブジェクトのサイズと、前記映像の再生に応じた前記空き空間の情報の変化とに応じて、前記仮想空間内に配置されるオブジェクトの数を変更する、前記(10)に記載の情報処理装置。
(12)
前記変更部は、さらに、前記仮想空間内に配置される複数のオブジェクトの表示態様を前記複数のユーザの数に応じて変更する、前記(10)または(11)に記載の情報処理装置。
(13)
前記変更部は、さらに、前記第1のオブジェクトまたは前記第2のオブジェクトの表示態様を、前記映像の再生に応じた前記デプス情報の変化に応じて変更する、前記(3)~(12)のいずれか一項に記載の情報処理装置。
(14)
前記変更部は、さらに、前記仮想空間における前記第1のオブジェクトの配置を、前記第1のユーザが位置する第1の実空間における前記第1のユーザの移動の認識結果に基づいて変更するとともに、前記仮想空間における前記第2のオブジェクトの配置を、前記第2のユーザが位置する第2の実空間における前記第2のユーザの移動の認識結果に基づいて変更する、前記(3)~(13)のいずれか一項に記載の情報処理装置。
(15)
前記映像と、シーン変化のタイミングを示す情報とが関連付けられており、
前記情報処理装置は、前記シーン変化のタイミングを前記映像の再生に応じて特定する特定部をさらに備え、
前記シーン変化のタイミングが特定された場合には、前記変更部は、前記仮想空間における前記第1のオブジェクトと前記第2のオブジェクトとの配置を前記第1の配置から前記第2の配置に変更する、前記(1)に記載の情報処理装置。
(16)
前記第2の配置は、前記シーン変化のタイミングに関連付けられている設定情報が示す、前記第1のオブジェクトと前記第2のオブジェクトとの配置である、前記(15)に記載の情報処理装置。
(17)
前記映像は、第1の映像であり、
前記情報処理装置は、前記仮想空間における前記第1のオブジェクトおよび前記第2のオブジェクトの配置と前記第1の映像とに応じた第2の映像を第1の表示部および第2の表示部に表示させる表示制御部をさらに備える、前記(3)~(16)のいずれか一項に記載の情報処理装置。
(18)
前記第1のオブジェクトおよび前記第2のオブジェクトの配置が前記変更部により変更される度に、前記表示制御部は、変更後の前記第1のオブジェクトおよび前記第2のオブジェクトの配置に応じた前記第2の映像を前記第1の表示部および前記第2の表示部に表示させる、前記(17)に記載の情報処理装置。
(19)
デプス情報を有する映像に対応する仮想空間における、第1のユーザに対応する第1のオブジェクトと第2のユーザに対応する第2のオブジェクトとの配置を、前記映像の再生に応じて第1の配置から第2の配置にプロセッサが変更すること、
を含む、情報処理方法。
(20)
コンピュータを、
デプス情報を有する映像に対応する仮想空間における、第1のユーザに対応する第1のオブジェクトと第2のユーザに対応する第2のオブジェクトとの配置を、前記映像の再生に応じて第1の配置から第2の配置に変更する変更部、
として機能させるための、プログラム。
20、90 映像制作装置
30 再生装置
32 通信網
100、200、300 制御部
102 登録部
104 特定部
106 変更部
108 表示制御部
120、220、320 通信部
122 記憶部
124 映像DB
202 メタ情報生成部
222 撮影部
224、326 入力部
322 センサ部
324 表示部
Claims (14)
- 撮影された実空間の映像を取得し、
第1のユーザの第1のアバターと第2のユーザの第2のアバターとを、前記映像の第1の再生タイミングに対応する前記映像の第1の空き空間情報に応じて配置する第1の配置を行い、
前記第1のアバターと前記第2のアバターとを、前記第1の再生タイミングの後の前記映像の第2の再生タイミングに対応する前記映像の第2の空き空間情報に応じて配置する第2の配置を行い、
前記第1の配置または前記第2の配置に従って、前記第1のアバター及び前記第2のアバターの少なくとも一方を含む前記映像を表示部上に再生させる制御部、
を備える情報処理装置。 - 前記制御部は、前記第2の再生タイミングにおいて前記第1の配置が前記第2の空き空間内に収まらない場合に、前記第1のアバター及び前記第2のアバターの現在の配置を前記第1の配置から前記第2の配置に変更する、
請求項1に記載の情報処理装置。 - 前記制御部は、前記第2の再生タイミングに応じて、前記第2の空き空間内に前記第1の配置が収まるか否かを判定する、
請求項2に記載の情報処理装置。 - モーションセンサを有する携帯ディスプレイであって、前記第1のアバターに対応する一人称視点で前記映像を表示する前記携帯ディスプレイを前記表示部として備え、
前記制御部は、前記第2の再生タイミングにおいて前記第1の配置が前記第2の空き空間内に収まらない場合に、前記第2の配置に従って、前記携帯ディスプレイを制御して前記映像における前記一人称視点の位置を変更する、
請求項2に記載の情報処理装置。 - 前記第1のアバターと前記第2のアバターは三次元の仮想オブジェクトであり、
前記制御部は、前記第1のアバターの大きさと前記第2のアバターの大きさに応じて、前記携帯ディスプレイを制御して前記第1のアバター及び前記第2のアバターの前記現在の配置を前記第1の配置から前記第2の配置に変更する、
請求項4に記載の情報処理装置。 - 前記第1の配置は、前記映像での第1の方向に沿った第1の隊列を示し、
前記第2の配置は、前記映像における、前記第1の方向と異なる前記第2の方向に沿った第2の隊列を示し、
前記制御部は、前記第2の再生タイミングにおいて前記第1の隊列が前記第2の空き空間内に収まらない場合に、前記第2の隊列に基づいて、前記携帯ディスプレイを制御して前記映像における人物の視点の位置を変更する、
請求項4に記載の情報処理装置。 - 前記第2の配置に対応する前記第1のアバターの配置方向と、前記第1の配置に対応する前記第1のアバターの配置方向とは異なる、
請求項4に記載の情報処理装置。 - 前記制御部は、前記第2の再生タイミングにおいて前記第1の配置が前記第2の空き空間内に収まらない場合に、前記携帯ディスプレイを制御して、前記第2のアバターを代表アバターとして表示する一方で前記第1のアバターを表示せず、前記第1のアバターの前記一人称視点の位置を前記代表アバターの位置に設定する、
請求項4に記載の情報処理装置。 - 前記制御部は、前記第2の再生タイミングにおいて前記第1の配置が前記第2の空き空間内に収まらない場合に、前記携帯ディスプレイを制御して、前記第1のアバターを代表アバターとして表示するとともに、前記第2のアバターの代わりに代替仮想オブジェクトを前記第1のアバターの後ろに表示する、
請求項4に記載の情報処理装置。 - 前記制御部は、前記携帯ディスプレイを制御して、前記映像における前記第1のアバターの位置を、前記第1のユーザが位置する第1の実空間における前記第1のユーザの移動の認識結果に基づいて変更するとともに、仮想空間における前記第2のアバターの位置を、前記第2のユーザが位置する第2の実空間における前記第2のユーザの移動の認識結果に基づいて変更し、前記映像において前記第1の空き空間及び前記第2の空き空間の少なくとも一方を視覚化する
請求項4に記載の情報処理装置。 - 前記実空間の映像は、カメラとデプスセンサとを備える映像制作装置によって撮影され、
前記制御部は、前記デプスセンサによって検出された第1のデプス情報及び第2のデプス情報に基づいて前記映像を取得する、
請求項1に記載の情報処理装置。 - 前記第1のユーザの第1の携帯ディスプレイ、及び、前記第2のユーザの第2の携帯ディスプレイと通信して、前記映像を前記第1の携帯ディスプレイ及び前記第2の携帯ディスプレイに配信する通信部、をさらに備える、
請求項1に記載の情報処理装置。 - 撮影された実空間の映像を取得することと、
第1のユーザの第1のアバターと第2のユーザの第2のアバターとを、前記映像の第1の再生タイミングに対応する前記映像の第1の空き空間情報に応じて配置する第1の配置を行うことと、
前記第1のアバターと前記第2のアバターとを、前記第1の再生タイミングの後の前記映像の第2の再生タイミングに対応する前記映像の第2の空き空間情報に応じて配置する第2の配置を行うことと、
前記第1の配置または前記第2の配置に従って、前記第1のアバター及び前記第2のアバターの少なくとも一方を含む前記映像を表示部上に再生させることと、
を含む情報処理方法。 - コンピュータに、
撮影された実空間の映像を取得する機能と、
第1のユーザの第1のアバターと第2のユーザの第2のアバターとを、前記映像の第1の再生タイミングに対応する前記映像の第1の空き空間情報に応じて配置する第1の配置を行う機能と、
前記第1のアバターと前記第2のアバターとを、前記第1の再生タイミングの後の前記映像の第2の再生タイミングに対応する前記映像の第2の空き空間情報に応じて配置する第2の配置を行う機能と、
前記第1の配置または前記第2の配置に従って、前記第1のアバター及び前記第2のアバターの少なくとも一方を含む前記映像を表示部上に再生させる機能と、
を実現させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020209641A JP7044149B2 (ja) | 2020-12-17 | 2020-12-17 | 情報処理装置、情報処理方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020209641A JP7044149B2 (ja) | 2020-12-17 | 2020-12-17 | 情報処理装置、情報処理方法、およびプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017003423A Division JP6812803B2 (ja) | 2017-01-12 | 2017-01-12 | 情報処理装置、情報処理方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021048644A JP2021048644A (ja) | 2021-03-25 |
JP7044149B2 true JP7044149B2 (ja) | 2022-03-30 |
Family
ID=74876709
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020209641A Active JP7044149B2 (ja) | 2020-12-17 | 2020-12-17 | 情報処理装置、情報処理方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7044149B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005152509A (ja) | 2003-11-28 | 2005-06-16 | Nintendo Co Ltd | ゲーム装置およびゲームプログラム |
WO2014115393A1 (ja) | 2013-01-24 | 2014-07-31 | ソニー株式会社 | 画像表示装置及び画像表示方法、並びに画像表示システム |
JP2015054190A (ja) | 2013-09-13 | 2015-03-23 | 任天堂株式会社 | ゲームプログラム、ゲーム装置、ゲームシステム、及びゲーム処理方法 |
JP2015116336A (ja) | 2013-12-18 | 2015-06-25 | マイクロソフト コーポレーション | 複合現実感アリーナ |
-
2020
- 2020-12-17 JP JP2020209641A patent/JP7044149B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005152509A (ja) | 2003-11-28 | 2005-06-16 | Nintendo Co Ltd | ゲーム装置およびゲームプログラム |
WO2014115393A1 (ja) | 2013-01-24 | 2014-07-31 | ソニー株式会社 | 画像表示装置及び画像表示方法、並びに画像表示システム |
JP2015054190A (ja) | 2013-09-13 | 2015-03-23 | 任天堂株式会社 | ゲームプログラム、ゲーム装置、ゲームシステム、及びゲーム処理方法 |
JP2015116336A (ja) | 2013-12-18 | 2015-06-25 | マイクロソフト コーポレーション | 複合現実感アリーナ |
Also Published As
Publication number | Publication date |
---|---|
JP2021048644A (ja) | 2021-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6812803B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US10078917B1 (en) | Augmented reality simulation | |
JP7523615B2 (ja) | 拡張現実表示装置及び拡張現実表示方法 | |
US10896322B2 (en) | Information processing device, information processing system, facial image output method, and program | |
JP6298563B1 (ja) | ヘッドマウントデバイスによって仮想空間を提供するためのプログラム、方法、および当該プログラムを実行するための情報処理装置 | |
WO2021246183A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP7319172B2 (ja) | 画像処理装置、画像処理方法及び画像処理システム | |
US20240048677A1 (en) | Information processing system, information processing method, and computer program | |
KR102009400B1 (ko) | 실감형 영상 콘텐츠 제공 방법 및 이를 이용한 서버 | |
JP2022032483A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2022183213A (ja) | ヘッドマウントディスプレイ | |
US20230260235A1 (en) | Information processing apparatus, information processing method, and information processing system | |
WO2020017435A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP6454883B1 (ja) | コンテンツ配信システム、コンテンツ配信方法およびコンテンツ配信プログラム | |
CN116964544A (zh) | 信息处理装置、信息处理终端、信息处理方法和程序 | |
JP6775669B2 (ja) | 情報処理装置 | |
JP7296735B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2019197340A (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP7044149B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
KR102287939B1 (ko) | 동영상을 이용하여 3차원 이미지를 렌더링하는 장치 및 방법 | |
WO2022075152A1 (ja) | 情報処理装置、情報処理方法及び情報配信システム | |
JP5894505B2 (ja) | 画像コミュニケーションシステム、画像生成装置及びプログラム | |
JP2019012509A (ja) | ヘッドマウントデバイスによって仮想空間を提供するためのプログラム、方法、および当該プログラムを実行するための情報処理装置 | |
JP2022093262A (ja) | 画像処理装置、画像処理装置の制御方法およびプログラム | |
CN113485547A (zh) | 一种应用于全息沙盘的交互方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210112 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210112 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210928 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211012 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220215 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220228 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7044149 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |