JP6648061B2 - クライアント状態に応じた映像を配信する映像配信装置、システム、プログラム及び方法 - Google Patents
クライアント状態に応じた映像を配信する映像配信装置、システム、プログラム及び方法 Download PDFInfo
- Publication number
- JP6648061B2 JP6648061B2 JP2017063096A JP2017063096A JP6648061B2 JP 6648061 B2 JP6648061 B2 JP 6648061B2 JP 2017063096 A JP2017063096 A JP 2017063096A JP 2017063096 A JP2017063096 A JP 2017063096A JP 6648061 B2 JP6648061 B2 JP 6648061B2
- Authority
- JP
- Japan
- Prior art keywords
- state
- video
- client
- time
- viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
当該クライアントの1つの時点又は時間区間での状態に係る情報を取得し、他の時点又は時間区間での当該クライアントの状態を予測する状態予測手段と、
予測された当該他の時点又は時間区間での状態に対応する当該仮想空間内での仮想状態を決定する仮想状態決定手段と、
決定された仮想状態に基づいて、当該仮想空間内での視点に係る情報である視点情報を決定し、決定した視点情報に基づいて、配信すべき視点映像を生成する映像生成手段と、
生成された視点映像を、当該他の時点又は時間区間での再生に合わせて当該クライアントに配信する映像配信制御手段と
を有する映像配信装置が提供される。
仮想状態決定手段は、予測された当該他の時点又は時間区間での状態情報に対応する当該仮想空間内での位置、速度、加速度及び向きのうちの少なくとも1つに係る仮想状態情報を決定し、
映像生成手段は、決定された仮想状態情報に基づいて当該仮想空間内での視点の位置、速度、加速度及び向きのうちの少なくとも1つに係る視点情報を決定し、決定した視点情報に基づいて視点映像を生成することも好ましい。
1つの時点又は時間区間において検出、測定又は決定された自らの状態に係る情報を生成する状態情報生成手段と、
生成された自らの状態に係る情報を、当該1つの時点又は時間区間と紐づけて映像配信装置に送信するクライアント通信制御手段と
を有し、上記の映像配信装置は、
当該クライアントの1つの時点又は時間区間での状態に係る情報を取得し、他の時点又は時間区間での当該クライアントの状態を予測する状態予測手段と、
予測された当該他の時点又は時間区間での状態に対応する当該仮想空間内での仮想状態を決定する仮想状態決定手段と、
決定された仮想状態に基づいて、当該仮想空間内での視点に係る情報である視点情報を決定し、決定した視点情報に基づいて、配信すべき視点映像を生成する映像生成手段と、
生成された視点映像を、当該他の時点又は時間区間での再生に合わせて当該クライアントに配信する映像配信制御手段と
を有する映像配信システムが提供される。
当該クライアントは、受信した当該他の時点又は時間区間での状態と、検出、測定又は決定された当該他の時点又は時間区間での自らの状態との間の相違の度合いに基づき、再生される視点映像に表れる仮想状態を当該クライアントの状態に合わせるように、当該他の時点又は時間区間に係る視点映像の再生速度を調整する再生制御手段を更に有することも好ましい。
当該クライアントの1つの時点又は時間区間での状態に係る情報を取得し、他の時点又は時間区間での当該クライアントの状態を予測する状態予測手段と、
予測された当該他の時点又は時間区間での状態に対応する当該仮想空間内での仮想状態を決定する仮想状態決定手段と、
決定された仮想状態に基づいて、当該仮想空間内での視点に係る情報である視点情報を決定し、決定した視点情報に基づいて、配信すべき視点映像を生成する映像生成手段と、
生成された視点映像を、当該他の時点又は時間区間での再生に合わせて当該クライアントに配信する映像配信制御手段と
してコンピュータを機能させる映像配信プログラムが提供される。
当該クライアントの1つの時点又は時間区間での状態に係る情報を取得し、他の時点又は時間区間での当該クライアントの状態を予測するステップと、
予測された当該他の時点又は時間区間での状態に対応する当該仮想空間内での仮想状態を決定するステップと、
決定された仮想状態に基づいて、当該仮想空間内での視点に係る情報である視点情報を決定し、決定した視点情報に基づいて、配信すべき視点映像を生成する映像生成手段と、
生成された視点映像を、当該他の時点又は時間区間での再生に合わせて当該クライアントに配信するステップと
を有する映像配信方法が提供される。
図1は、本発明による映像配信装置の一実施形態における機能構成を示す機能ブロック図である。
(A)HMD2の1つの時点又は時間区間での状態に係る情報を取得し、HMD2の「他の時点又は時間区間での状態」を予測する状態予測部111と、
(B)予測された「他の時点又は時間区間での状態」に対応する仮想空間内での「仮想状態」を決定する仮想状態決定部113と、
(C)決定された「仮想状態」に基づいて、配信すべき映像を生成する映像生成部114と、
(D)生成された映像を、この他の時点又は時間区間での再生に合わせてHMD2に配信する映像配信制御部115と
を有している。
(a)通信路遅延、すなわち、RTT(Round-Trip Time)+(サーバ1での配信に要する時間と、
(b)HMD2側での受信後のバッファリング時間と
が介在し、遅延が発生する。その結果、従来の映像配信技術では、再生時における現実世界系での位置から異なった(ズレた)位置に対応したVR映像が提供されてしまうことになる。
同じく、図1に示した機能ブロック図によれば、本発明の映像配信装置である配信サーバ1は、通信インタフェース部101と、VR(Virtual Reality)コンテンツ蓄積部102と、パノラマ画像蓄積部103と、パノラマ映像蓄積部104と、プロセッサ・メモリとを有する。ここで、プロセッサ・メモリは、配信サーバ1のコンピュータを機能させるプログラムを実行することによって、本発明に係る状態予測・映像生成・映像配信制御機能を実現させる。
(S102)HMD2は、測定した位置、速度及び加速度の値を測定時刻に対応付けた状態情報を生成する。
(S103)HMD2は、生成した状態情報を配信サーバ1へ送信する。
(S105)配信サーバ1は、予測した(現実空間での)位置、速度及び加速度の値に基づき、仮想状態として、仮想空間における予測時刻での位置、速度及び加速度の値を決定する。
(S107)配信サーバ1は、切り出したパノラマ画像をまとめてエンコード処理しパノラマ映像を生成する。
(S108)配信サーバ1は、生成したパノラマ映像と、予測した予測時刻での位置、速度及び加速度の値とを、HMD2へ送信する。
(S110)HMD2は、(これから行う再生処理の)再生開始時刻における自らの位置、速度、加速度を測定する。
(S111)HMD2は、受信した予測時刻での位置、速度、加速度と、ステップS110で測定した位置、速度、加速度の値との比較に基づいて、再生速度を制御しつつVR映像を再生する。
(1) x(τ)=x(0)+∫v(t)dt
v(τ)=v(0)+∫a(t)dt
a(τ)=a(0)
によって算出される。ここで、∫はt=0〜τの定積分である。上式(1)によって予測時間区間t=τ〜τ+sにおける位置及び速度も算出することができるのである。本実施例では、t=τ〜τ+sでの位置として、位置4、位置5及び位置6を算出する。
(a)受信した予測時刻(t=τ)又は予測時間区間(t=τ〜τ+s)での状態と、
(b)検出、測定又は決定された予測時刻(t=τ)又は予測時間区間(t=τ〜τ+s)での自らの状態と
の間の相違の度合い(例えば位置間の距離や、速度値の差又は比)に基づき、再生される映像に表れる仮想状態をHMD2(バス)の状態に合わせるように、予測時刻(t=τ)又は予測時間区間(t=τ〜τ+s)に係る映像の再生速度を調整する。
(a1)予測時間区間(t=τ〜τ+s)での位置4〜6の情報、又は
(a2)予測時点(t=τ)での位置4の情報及び予測時間区間(t=τ〜τ+s)での速度v'(τ〜τ+s)の情報と、
自らのセンサによるセンサ出力情報に基づいて生成した、
(b)再生開始時刻(t=τ)での位置4の情報及び速度値v(τ)の情報と
を比較し、予測時間区間での予測速度v'(τ〜τ+s)とv(τ)とが(所定の判定条件下で)相違していることから、受信したパノラマ映像を再生したVR映像においては、現実世界での状態の推移とは異なった仮想状態の推移が行われることを認識する。そこで、HMD2は、(実際に位置4から位置5へ至るとされる)時間範囲t=τ〜τ+sにおいて再生されるVR映像の動画位置範囲を、位置4及び5の範囲に限定する。
101 通信インタフェース部
102 VRコンテンツ蓄積部
103 パノラマ画像蓄積部
104 パノラマ映像蓄積部
111 状態予測部
111a 位置予測部
111b 速度・加速度予測部
111c 向き予測部
112 予測時間決定部
113 仮想状態決定部
114 映像生成部
114a パノラマ画像生成部
114b パノラマ映像生成部
115 映像配信制御部
116 通信制御部
2 HMD(クライアント)
201 通信インタフェース部
202 測位部
203 加速度センサ
204 ジャイロセンサ
205 地磁気センサ
206 ディスプレイ
211 通信制御部
212 再生制御部
213 状態情報生成部
3 GPS衛星
Claims (9)
- 仮想空間の視点映像をクライアントに配信する映像配信装置であって、
当該クライアントの1つの時点又は時間区間での状態に係る情報を取得し、他の時点又は時間区間での当該クライアントの状態を予測する状態予測手段と、
予測された当該他の時点又は時間区間での状態に対応する当該仮想空間内での仮想状態を決定する仮想状態決定手段と、
決定された仮想状態に基づいて、当該仮想空間内での視点に係る情報である視点情報を決定し、決定した視点情報に基づいて、配信すべき視点映像を生成する映像生成手段と、
生成された視点映像を、当該他の時点又は時間区間での再生に合わせて当該クライアントに配信する映像配信制御手段と
を有することを特徴とする映像配信装置。 - 前記状態予測手段は、当該クライアントの状態として、1つの時点又は時間区間での位置、速度、加速度及び向きのうちの少なくとも1つに係る状態情報を取得して、他の時点又は時間区間での位置、速度、加速度及び向きのうちの少なくとも1つに係る状態情報を予測し、
前記仮想状態決定手段は、予測された当該他の時点又は時間区間での状態情報に対応する当該仮想空間内での位置、速度、加速度及び向きのうちの少なくとも1つに係る仮想状態情報を決定し、
前記映像生成手段は、決定された仮想状態情報に基づいて当該仮想空間内での視点の位置、速度、加速度及び向きのうちの少なくとも1つに係る視点情報を決定し、決定した視点情報に基づいて視点映像を生成する
ことを特徴とする請求項1に記載の映像配信装置。 - 前記状態予測手段は、当該クライアントの所在位置を含む経路地図情報に基づいて、当該他の時点又は時間区間での向きに係る状態情報を予測することを特徴とする請求項2に記載の映像配信装置。
- 前記状態予測手段は、当該1つの時点又は時間区間での向きに係る情報である角加速度の情報を取得して、当該他の時点又は時間区間での向きに係る状態情報を予測することを特徴とする請求項2又は3に記載の映像配信装置。
- 取得された配信遅延時間に係る情報に基づいて、当該他の時点又は時間区間を決定する予測時間決定手段を更に有することを特徴とする請求項1から4のいずれか1項に記載の映像配信装置。
- クライアントと、仮想空間の視点映像を当該クライアントに配信する映像配信装置とを有する映像配信システムであって、当該クライアントは、
1つの時点又は時間区間において検出、測定又は決定された自らの状態に係る情報を生成する状態情報生成手段と、
生成された自らの状態に係る情報を、当該1つの時点又は時間区間と紐づけて前記映像配信装置に送信するクライアント通信制御手段と
を有し、前記映像配信装置は、
当該クライアントの1つの時点又は時間区間での状態に係る情報を取得し、他の時点又は時間区間での当該クライアントの状態を予測する状態予測手段と、
予測された当該他の時点又は時間区間での状態に対応する当該仮想空間内での仮想状態を決定する仮想状態決定手段と、
決定された仮想状態に基づいて、当該仮想空間内での視点に係る情報である視点情報を決定し、決定した視点情報に基づいて、配信すべき視点映像を生成する映像生成手段と、
生成された視点映像を、当該他の時点又は時間区間での再生に合わせて当該クライアントに配信する映像配信制御手段と
を有することを特徴とする映像配信システム。 - 前記映像配信装置は、予測した当該他の時点又は時間区間での状態を当該クライアントに送信する装置通信制御手段を更に有し、
当該クライアントは、受信した当該他の時点又は時間区間での状態と、検出、測定又は決定された当該他の時点又は時間区間での自らの状態との間の相違の度合いに基づき、再生される視点映像に表れる仮想状態を当該クライアントの状態に合わせるように、当該他の時点又は時間区間に係る視点映像の再生速度を調整する再生制御手段を更に有する
ことを特徴とする請求項6に記載の映像配信システム。 - 仮想空間の視点映像をクライアントに配信する映像配信装置に搭載されたコンピュータを機能させる映像配信プログラムであって、
当該クライアントの1つの時点又は時間区間での状態に係る情報を取得し、他の時点又は時間区間での当該クライアントの状態を予測する状態予測手段と、
予測された当該他の時点又は時間区間での状態に対応する当該仮想空間内での仮想状態を決定する仮想状態決定手段と、
決定された仮想状態に基づいて、当該仮想空間内での視点に係る情報である視点情報を決定し、決定した視点情報に基づいて、配信すべき視点映像を生成する映像生成手段と、
生成された視点映像を、当該他の時点又は時間区間での再生に合わせて当該クライアントに配信する映像配信制御手段と
してコンピュータを機能させることを特徴とする映像配信プログラム。 - 仮想空間の視点映像をクライアントに配信する映像配信装置に搭載されたコンピュータにおける映像配信方法であって、
当該クライアントの1つの時点又は時間区間での状態に係る情報を取得し、他の時点又は時間区間での当該クライアントの状態を予測するステップと、
予測された当該他の時点又は時間区間での状態に対応する当該仮想空間内での仮想状態を決定するステップと、
決定された仮想状態に基づいて、当該仮想空間内での視点に係る情報である視点情報を決定し、決定した視点情報に基づいて、配信すべき視点映像を生成する映像生成手段と、
生成された視点映像を、当該他の時点又は時間区間での再生に合わせて当該クライアントに配信するステップと
を有することを特徴とする映像配信方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017063096A JP6648061B2 (ja) | 2017-03-28 | 2017-03-28 | クライアント状態に応じた映像を配信する映像配信装置、システム、プログラム及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017063096A JP6648061B2 (ja) | 2017-03-28 | 2017-03-28 | クライアント状態に応じた映像を配信する映像配信装置、システム、プログラム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018166279A JP2018166279A (ja) | 2018-10-25 |
JP6648061B2 true JP6648061B2 (ja) | 2020-02-14 |
Family
ID=63923018
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017063096A Active JP6648061B2 (ja) | 2017-03-28 | 2017-03-28 | クライアント状態に応じた映像を配信する映像配信装置、システム、プログラム及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6648061B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7237538B2 (ja) | 2018-11-14 | 2023-03-13 | キヤノン株式会社 | 情報処理装置、それを含むシステム、情報処理方法、およびプログラム |
WO2021199184A1 (ja) * | 2020-03-30 | 2021-10-07 | 株式会社ソニー・インタラクティブエンタテインメント | 画像表示システム、画像処理装置、画像表示方法、およびコンピュータプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010206391A (ja) * | 2009-03-02 | 2010-09-16 | Nippon Telegr & Teleph Corp <Ntt> | 表示装置、表示方法、表示プログラム及び記録媒体 |
US9625720B2 (en) * | 2012-01-24 | 2017-04-18 | Accipiter Radar Technologies Inc. | Personal electronic target vision system, device and method |
WO2015164373A1 (en) * | 2014-04-23 | 2015-10-29 | Raytheon Company | Systems and methods for context based information delivery using augmented reality |
JP6593786B2 (ja) * | 2015-02-23 | 2019-10-23 | 株式会社グッドワークコミュニケーションズ | 道案内サーバ、道案内プログラム |
US10684485B2 (en) * | 2015-03-06 | 2020-06-16 | Sony Interactive Entertainment Inc. | Tracking system for head mounted display |
US9811734B2 (en) * | 2015-05-11 | 2017-11-07 | Google Inc. | Crowd-sourced creation and updating of area description file for mobile device localization |
JP6819036B2 (ja) * | 2015-12-04 | 2021-01-27 | 株式会社豊田中央研究所 | バーチャルリアリティシステム |
-
2017
- 2017-03-28 JP JP2017063096A patent/JP6648061B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018166279A (ja) | 2018-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10469820B2 (en) | Streaming volumetric video for six degrees of freedom virtual reality | |
CN109644256B (zh) | 车载视频系统 | |
US10617963B2 (en) | Method and system for controlling virtual reality attraction | |
EP3614176A1 (en) | A hardware centralized time synchronization hub for an autonomous driving vehicle | |
US20200223454A1 (en) | Enhanced social media experience for autonomous vehicle users | |
EP3423914B1 (en) | Vehicle trajectory determination to stabilize vehicle-captured video | |
WO2017110524A1 (ja) | 映像コンテンツ配信システム及びコンテンツ管理サーバ | |
EP3614687A1 (en) | A gps based high precision timestamp generation circuit for an autonomous driving vehicle | |
KR20190008193A (ko) | 생성 장치 및 생성 방법, 그리고, 재생 장치 및 재생 방법 | |
JP6851278B2 (ja) | ユーザ状態及び複雑度によってビットレートを決定するコンテンツ配信装置、システム、プログラム及び方法 | |
US20170264907A1 (en) | Method of encoding and decoding a video of a drone, and associated devices | |
US11282265B2 (en) | Image processing apparatus and image processing method for transmitting data of a 3D model | |
US20180182261A1 (en) | Real Time Car Driving Simulator | |
KR101807601B1 (ko) | 테마파크 탑승기기에 적용한 가상현실 콘텐츠 서비스 제공 시스템 | |
JP6648061B2 (ja) | クライアント状態に応じた映像を配信する映像配信装置、システム、プログラム及び方法 | |
US11245909B2 (en) | Timestamp and metadata processing for video compression in autonomous driving vehicles | |
KR101813018B1 (ko) | 차량과 연계된 3d 콘텐츠 제공 장치 및 그 방법 | |
US11397322B2 (en) | Image providing system for vehicle, server system, and image providing method for vehicle | |
CN111373760A (zh) | 发送设备、发送方法、接收设备和接收方法 | |
US20210188310A1 (en) | Multiple sensor data storage with compressed video stream in autonomous driving vehicles | |
US10306289B1 (en) | Vehicle video viewing systems | |
EP3702864B1 (en) | Accounting for latency in teleoperated remote driving | |
GB2592397A (en) | Method and system for mitigating motion sickness of users in a moving vehicle | |
JP6246077B2 (ja) | 表示制御システムおよび表示制御方法 | |
JP2011226972A (ja) | 交通手段の眺望予想表示システムおよびこれに用いられる表示手段 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190304 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190820 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190822 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190927 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200115 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6648061 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |