JP6334644B2 - 没入コンテンツの優れたストリーミングのための方法および装置 - Google Patents
没入コンテンツの優れたストリーミングのための方法および装置 Download PDFInfo
- Publication number
- JP6334644B2 JP6334644B2 JP2016208356A JP2016208356A JP6334644B2 JP 6334644 B2 JP6334644 B2 JP 6334644B2 JP 2016208356 A JP2016208356 A JP 2016208356A JP 2016208356 A JP2016208356 A JP 2016208356A JP 6334644 B2 JP6334644 B2 JP 6334644B2
- Authority
- JP
- Japan
- Prior art keywords
- cvb
- immersive content
- camera
- immersive
- pfbs
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 51
- 239000000872 buffer Substances 0.000 claims description 134
- 230000011664 signaling Effects 0.000 claims description 83
- 230000015654 memory Effects 0.000 claims description 72
- 230000005540 biological transmission Effects 0.000 claims description 57
- 230000006978 adaptation Effects 0.000 claims description 45
- 238000004590 computer program Methods 0.000 claims description 39
- 230000003993 interaction Effects 0.000 claims description 31
- 230000001419 dependent effect Effects 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 18
- 230000004044 response Effects 0.000 claims description 15
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 230000008054 signal transmission Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 36
- 230000006870 function Effects 0.000 description 18
- 230000004886 head movement Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 12
- 238000007726 management method Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000009795 derivation Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000002085 persistent effect Effects 0.000 description 4
- 238000003339 best practice Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010052804 Drug tolerance Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 230000026781 habituation Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
- H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
- H04N21/26216—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the channel capacity, e.g. network bandwidth
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2385—Channel allocation; Bandwidth allocation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2401—Monitoring of the client buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47208—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting near-video-on-demand content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Optics & Photonics (AREA)
- Data Mining & Analysis (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Studio Devices (AREA)
Description
現在、没入コンテンツは、ローカルの再生により消費されている。これを行うために、(たとえば、複数台の異なるカメラから捕捉されたコンテンツなどの)没入コンテンツを送信する没入コンテンツ供給システムが配備され得る。図2Aに示されて提供された例において、没入コンテンツ捕捉モジュールは、(たとえば、図2Aに示された如き(1〜8とラベル表示された)8台のカメラなどの)一連のカメラを利用し得る。任意の所定の時点において、(たとえば、カメラ1および2などの)部分集合のカメラからのコンテンツは、没入コンテンツ視認システムを用いてユーザに対してレンダリングされる。コンテンツが引出される特定の部分集合のカメラは、ユーザのヘッド位置に依存することを理解すべきである。もし、(上記没入コンテンツ視認システムの一部であるか、それに対して付加的であり得るヘッド・トラッキング技術の助けにより検出される如く)ユーザのヘッドが動いたなら、ユーザに対してレンダリングされるコンテンツは、変化すると共に、(たとえば、カメラ2および3を含む、隣接する部分集合のカメラなどの)異なる部分集合のカメラから取り込まれる。図2Aに示されたカメラの台数、および、それらの位相幾何は、一例として提供されると共に、異なる形態の要素、および/または、カメラの台数を用いて、同一の処置が適用され得る。この点に関し、本明細書において企図された幾つかの実施形態においては、全方向性コンテンツが企図される。たとえば、一群のN台のカメラが与えられたなら、該N台のカメラは、単一の平面上に円形様式で配置される必要はなく、且つ、球状の配置、または、他の3Dの多平面配置における如く、3D空間内におけるK個の平面間に分散され得る。
端末間システム300、および、その使用を促進すべく送信される信号通知メッセージの概要を提供してきたが、次に、幾つかの代表的な手順が記述される。図6Aおよび図6Bに移ると、没入コンテンツ供給システム302により実施されて没入コンテンツの帯域幅効率的なストリーミングを促進する一連の動作を含むフローチャートが示される。図6Aおよび図6Bに示された動作は、たとえば、没入コンテンツ供給システム302を具現する装置100の支援により、および/または、その制御下で、更に詳細には、プロセッサ102、メモリ104、通信インタフェース106、および、没入コンテンツ供給モジュール110および/または没入コンテンツ捕捉モジュール112の内の一つ以上の使用により、実施され得る。
次に図7および図8に移ると、没入コンテンツ視認システム304により実施されて没入コンテンツの帯域幅効率的なストリーミングを促進する一連の動作を含むフローチャートが示される。図7および図8に示された動作は、たとえば、この場合において没入コンテンツ視認システム304を具現し得る装置100の支援により、および/または、その制御下で、更に詳細には、プロセッサ102、メモリ104、通信インタフェース106、または、没入コンテンツ消費モジュール108の内の一つ以上の使用により、実施され得る。
102 プロセッサ
104 メモリ
106 通信インタフェース
108 没入コンテンツ消費モジュール
110 没入コンテンツ供給モジュール
112 没入コンテンツ捕捉モジュール
300 端末間システム
302 没入コンテンツ供給システム
304 没入コンテンツ視認システム
306 没入コンテンツ消費デバイス
308 ストリーミング・サーバ
310 バッファ管理モジュール
312 没入コンテンツ捕捉デバイス
312A 没入コンテンツ捕捉デバイス
312B 没入コンテンツ捕捉デバイス
316 没入適合化モジュール
318 コンテンツ適合化モジュール
320 矢印
322 ヘッド・トラッキング・モジュール
324 没入相互作用依存適合化モジュール
326 コンテンツ再生モジュール
602〜614、712〜714、802〜808 動作
Claims (18)
- 没入コンテンツの帯域幅効率的なストリーミングのための方法であって、
プロセッサにより没入コンテンツの生成を引き起こす段階と、
現在光景バッファ(CVB)、一個以上の先読みバッファ(PFB)、および、自由視点バッファ(FVB)に関するバッファ情報をメモリから読出す段階であって、該CVBは、該没入コンテンツの現在光景を具備し、該一個以上のPFBは、該没入コンテンツの該現在光景に隣接する一つ以上の光景を具備し、該FVBは、所定スレッショルド値を満たす速度での視認者のヘッドの移動時における提供のための、該現在光景の外側の一つ以上の光景と、該現在光景に隣接する該一つ以上の光景と、を具備し、該CVBおよびPFBは、該FVBと異なる品質レベルで該没入コンテンツの異なる部分を記憶する、段階と、
該CVB、該一個以上のPFB、および、該FVBに関して読出されたバッファ情報に基づき、没入コンテンツ視認システムに対するストリーミング・サーバによる没入コンテンツの部分の送信を引き起こす段階と、
を備えて成り、
該CVB、該一個以上のPFB、および該FVBに関する該バッファ情報は、少なくとも、該CVB、PFB、およびFVBの各々に記憶されるコンテンツとカメラ・インデックスとの間の関係、についての情報である、
方法。 - 該プロセッサにより、且つ、没入コンテンツ視認システムから、該CVB、該一個以上のPFB、または、該FVBの各バッファの内の一つ以上に関する信号通知メッセージを受信する段階と、
受信された信号通知メッセージに基づき、該CVB、該各PFBまたは該FVBに関する該バッファ情報を該プロセッサにより更新する段階と、
を更に備えて成る、請求項1に記載の方法。 - 該方法は、利用可能なカメラ光景と、利用可能なカメラ光景の各々に対応するカメラ・インデックスと、利用可能なカメラ光景の各々に対応する視野と、を特定する信号通知メッセージの送信を、該ストリーミング・サーバにより引き起こす段階、を更に備えて成り、
該CVB、該一個以上のPFB、または、該FVBの各バッファの内の一つ以上に関する該信号通知メッセージは、該利用可能なカメラ光景と、利用可能なカメラ光景の各々に対応するカメラ・インデックスと、利用可能なカメラ光景の各々に対応する視野と、を特定する該信号通知メッセージの送信に応じて受信される、
請求項2に記載の方法。 - 該信号通知メッセージは、該CVBに対して関連付けられた一つ以上のカメラ・インデックス、該一個以上のPFBに対して関連付けられる一つ以上のカメラ・インデックス、または、両方を特定する、請求項2に記載の方法。
- 該信号通知メッセージは、コンテンツ品質レベルを更に特定し、且つ、没入コンテンツ視認システムに対する没入コンテンツの部分の送信を引き起こす該段階は更に、該コンテンツ品質レベルに基づく、請求項2に記載の方法。
- 該信号通知メッセージは、該FVBの利用を表し、且つ、該ストリーミング・サーバに対し、該CVBまたは該一個以上のPFBに対応する没入コンテンツの部分の送信を一時停止することを指示する、請求項2に記載の方法。
- 該信号通知メッセージは、該ストリーミング・サーバに対し、該CVBまたは該一個以上のPFBに対応する没入コンテンツの部分の送信を再開することを指示する、請求項2に記載の方法。
- 没入コンテンツの帯域幅効率的なストリーミングのための装置であって、該装置は、少なくとも一つのプロセッサと、コンピュータ・プログラム・コードを含む少なくとも一つのメモリと、を備えて成り、
該少なくとも一つのメモリおよび該コンピュータ・プログラム・コードは、該少なくとも一つのプロセッサとともに、該装置に、
没入コンテンツの生成を引き起こさせ、
現在光景バッファ(CVB)、一個以上の先読みバッファ(PFB)、および、自由視点バッファ(FVB)に関するバッファ情報を読出させ、該CVBは、該没入コンテンツの現在光景を具備し、該一個以上のPFBは、該没入コンテンツの該現在光景に隣接する一つ以上の光景を具備し、該FVBは、所定スレッショルド値を満たす速度での視認者のヘッドの移動時における提供のための、該現在光景の外側の一つ以上の光景と、該現在光景に隣接する該一つ以上の光景と、を具備し、該CVBおよびPFBは、該FVBと異なる品質レベルで該没入コンテンツの異なる部分を記憶しており、
該CVB、該一個以上のPFB、および、該FVBに関して読出されたバッファ情報に基づき、没入コンテンツ視認システムに対する没入コンテンツの部分の送信を引き起こさせる、
ように構成され、
該CVB、該一個以上のPFB、および該FVBに関する該バッファ情報は、少なくとも、該CVB、PFB、およびFVBの各々に記憶されるコンテンツとカメラ・インデックスとの間の関係、についての情報である、
装置。 - 該少なくとも一つのメモリおよび該コンピュータ・プログラム・コードは更に、該少なくとも一つのプロセッサとともに、該装置に、
没入コンテンツ視認システムから、該CVB、一個以上のPFB、または、FVBの各バッファの内の一つ以上に関する信号通知メッセージを受信させ、
受信された信号通知メッセージに基づき、該CVB、該各PFBまたは該FVBに関する該バッファ情報を更新させる、
ように構成されている、請求項8に記載の装置。 - 該少なくとも一つのメモリおよび該コンピュータ・プログラム・コードは更に、該少なくとも一つのプロセッサとともに、該装置に、
利用可能なカメラ光景と、利用可能なカメラ光景の各々に対応するカメラ・インデックスと、利用可能なカメラ光景の各々に対応する視野とを特定する信号通知メッセージの送信を引き起こさせるように構成され、
該CVB、該一個以上のPFB、または、該FVBの各バッファの内の一つ以上に関する該信号通知メッセージは、該利用可能なカメラ光景と、利用可能なカメラ光景の各々に対応するカメラ・インデックスと、利用可能なカメラ光景の各々に対応する視野と、を特定する該信号通知メッセージの送信に応じて受信される、
請求項9に記載の装置。 - 没入コンテンツの帯域幅効率的なストリーミングのための方法であって、
没入コンテンツ供給システムから没入コンテンツの部分を受信する段階と、
受信された没入コンテンツの部分を、現在光景バッファ(CVB)、一個以上の先読みバッファ(PFB)、または、自由視点バッファ(FVB)の内の一つ以上に記憶する段階と、
ユーザのヘッドの配向に基づき、該CVB、該一個以上のPFB、または、該FVBの内の一つからの表示可能メディアの生成を引き起こす段階と、
没入コンテンツ消費デバイスにより、該表示可能メディアの表示を引き起こす段階と、
を備えて成り、
該方法は、
該没入コンテンツ供給システムから、利用可能なカメラ光景と、利用可能なカメラ光景の各々に対応するカメラ・インデックスと、利用可能なカメラ光景の各々に対応する視野と、を特定する信号通知メッセージを受信する段階と、
ヘッド・トラッキング・モジュールにより、ユーザのヘッドの配向の決定を引き起こす段階と、
没入相互作用依存適合化モジュールにより、且つ、ユーザのヘッドの配向に基づき、該CVB、該一個以上のPFB、または、両方に対して関連付けられた一つ以上のカメラ・インデックスの決定を引き起こす段階と、
該没入相互作用依存適合化モジュールにより、該CVB、該一個以上のPFB、または、両方に対して関連付けられた該一つ以上のカメラ・インデックスを特定する信号通知メッセージの送信を引き起こす段階と、
を更に備えて成り、
該没入コンテンツ供給システムから該没入コンテンツの部分を受信する該段階は、該CVB、該一個以上のPFB、または、両方に対して関連付けられた該一つ以上のカメラ・インデックスを特定する該信号通知メッセージの該送信に応じて行われる、
方法。 - 該CVB、該一個以上のPFB、または、両方に対して関連付けられた該一つ以上のカメラ・インデックスを特定する該信号通知メッセージは、コンテンツ品質レベルを更に特定し、且つ、没入コンテンツ視認システムに対して受信された該没入コンテンツの部分は、該コンテンツ品質レベルに基づく、請求項11に記載の方法。
- 該方法は、
該ヘッド・トラッキング・モジュールから、ユーザのヘッドの変更済み配向を表す光景変化信号を受信する段階と、
ユーザのヘッドの該変更済み配向が、該CVBに対して関連付けられた該一つ以上のカメラ・インデックスに対応する視野と整列するか否かの決定を引き起こす段階と、
を更に備えて成り、
ユーザのヘッドの該変更済み配向が、該CVBに対して関連付けられた該一つ以上のカメラ・インデックスに対応する視野と整列する場合、該表示可能メディアの生成を引き起こす該段階は、該CVBからの表示可能メディアの生成を引き起こす段階を備えて成る、
請求項11に記載の方法。 - ユーザのヘッドの該変更済み配向が、該CVBに対して関連付けられた該一つ以上のカメラ・インデックスに対応する視野と整列しない場合、該表示可能メディアの生成を引き起こす該段階は、
ユーザのヘッドの該変更済み配向が、該各PFBの内の一つに対して関連付けられた該一つ以上のカメラ・インデックスに対応する視野と整列するか否かの決定を引き起こす段階と、
ユーザのヘッドの該変更済み配向が、該各PFBの内の一つに対して関連付けられた該一つ以上のカメラ・インデックスに対応する視野と整列する場合には、該各PFBの内の一つからの表示可能メディアの生成を引き起こす段階と、
ユーザのヘッドの該変更済み配向が、該各PFBの内の一つに対して関連付けられた該一つ以上のカメラ・インデックスに対応する視野と整列しない場合には、該FVBからの表示可能メディアの生成を引き起こす段階と、
を備えて成る、請求項13に記載の方法。 - 該各PFBの内の一つからの該表示可能メディアの生成を引き起こす段階に応じて、該方法は、
該表示可能メディアがそれから生成された該各PFBの内の一つに対して関連付けられた該一つ以上のカメラ・インデックスを該CVBに対して関連付けることを該没入コンテンツ供給システムに対して指示するCVB変更信号通知メッセージの送信を、該没入相互作用依存適合化モジュールにより引き起こす段階、
を更に備えて成る、請求項14に記載の方法。 - 該FVBからの該表示可能メディアの生成を引き起こす段階に応じて、該方法は、
該CVBまたは該一個以上のPFBに対して関連付けられた没入コンテンツの部分の送信を一時停止することを該没入コンテンツ供給システムに対して指示する一時停止信号通知メッセージの送信を、該没入相互作用依存適合化モジュールにより引き起こす段階、
を更に備えて成る、請求項14に記載の方法。 - 没入コンテンツの帯域幅効率的なストリーミングのための装置であって、該装置は、少なくとも一つのプロセッサと、コンピュータ・プログラム・コードを含む少なくとも一つのメモリと、を備えて成り、
該少なくとも一つのメモリおよび該コンピュータ・プログラム・コードは、該少なくとも一つのプロセッサとともに、該装置に、
没入コンテンツ供給システムから没入コンテンツの部分を受信させ、
受信された没入コンテンツの部分を、現在光景バッファ(CVB)、一個以上の先読みバッファ(PFB)、または、自由視点バッファ(FVB)の各バッファの内の一つ以上に記憶させ、
ユーザのヘッドの配向に基づき、該CVB、該一個以上のPFB、または、該FVBの各バッファの内の一つ以上からの表示可能メディアの生成を引き起こさせ、
ユーザに対する該表示可能メディアの表示を引き起こさせる、
ように構成され、
該少なくとも一つのメモリおよび該コンピュータ・プログラム・コードは更に、該少なくとも一つのプロセッサとともに、該装置に、
利用可能なカメラ光景と、利用可能なカメラ光景の各々に対応するカメラ・インデックスと、利用可能なカメラ光景の各々に対応する視野とを特定する信号通知メッセージを、該没入コンテンツ供給システムから受信させ、
ユーザのヘッドの配向の決定を引き起こさせ、
ユーザのヘッドの該配向に基づき、該CVBに対して関連付けられた一つ以上のカメラ・インデックスの決定を引き起こさせ、
該CVBに対して関連付けられた該一つ以上のカメラ・インデックスを特定する信号通知メッセージの送信を引き起こさせる、
ように構成され、
該少なくとも一つのメモリおよび該コンピュータ・プログラム・コードは更に、該少なくとも一つのプロセッサとともに、該装置に、該CVBに対して関連付けられた該一つ以上のカメラ・インデックスを特定する該信号通知メッセージの送信に応じて、該没入コンテンツ供給システムからの没入コンテンツの部分を受信させるように構成されている、
装置。 - 該少なくとも一つのメモリおよび該コンピュータ・プログラム・コードは更に、該少なくとも一つのプロセッサとともに、該装置に、
ユーザのヘッドの配向に基づき、該一個以上のPFBに対して関連付けられた一つ以上のカメラ・インデックスの決定を引き起こさせるように構成され、
該CVBに対して関連付けられた該一つ以上のカメラ・インデックスを特定する該信号通知メッセージは、一個以上のPFBに対して関連付けられた該一つ以上のカメラ・インデックスを更に特定する、
請求項17に記載の装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/922,450 | 2015-10-26 | ||
US14/922,450 US9888284B2 (en) | 2015-10-26 | 2015-10-26 | Method and apparatus for improved streaming of immersive content |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017085566A JP2017085566A (ja) | 2017-05-18 |
JP6334644B2 true JP6334644B2 (ja) | 2018-05-30 |
Family
ID=57153322
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016208356A Expired - Fee Related JP6334644B2 (ja) | 2015-10-26 | 2016-10-25 | 没入コンテンツの優れたストリーミングのための方法および装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9888284B2 (ja) |
EP (1) | EP3163408A1 (ja) |
JP (1) | JP6334644B2 (ja) |
KR (1) | KR101892022B1 (ja) |
CN (1) | CN107037875A (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102332525B1 (ko) * | 2017-06-01 | 2021-11-29 | 삼성전자주식회사 | 전자 장치 및 그 동작방법 |
WO2019182703A1 (en) * | 2018-03-22 | 2019-09-26 | Futurewei Technologies, Inc. | Immersive media metrics for rendered viewports |
US10440416B1 (en) * | 2018-10-01 | 2019-10-08 | Telefonaktiebolaget Lm Ericsson (Publ) | System and method for providing quality control in 360° immersive video during pause |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6043837A (en) * | 1997-05-08 | 2000-03-28 | Be Here Corporation | Method and apparatus for electronically distributing images from a panoptic camera system |
US6633317B2 (en) * | 2001-01-02 | 2003-10-14 | Microsoft Corporation | Image-based walkthrough system and process employing spatial video streaming |
JP4148671B2 (ja) * | 2001-11-06 | 2008-09-10 | ソニー株式会社 | 表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラム |
US7742504B2 (en) * | 2002-01-24 | 2010-06-22 | University Of Southern California | Continuous media system |
US6914705B2 (en) * | 2002-06-28 | 2005-07-05 | Fujinon Corporation | Optical scanning device |
JP2004072694A (ja) | 2002-08-09 | 2004-03-04 | Sony Corp | 情報提供システムおよび方法、情報提供装置および方法、記録媒体、並びにプログラム |
US20070002131A1 (en) | 2005-02-15 | 2007-01-04 | Ritchey Kurtis J | Dynamic interactive region-of-interest panoramic/three-dimensional immersive communication system and method |
EP1905244A4 (en) * | 2005-07-18 | 2010-12-01 | Korea Electronics Telecomm | PREDICTIVE ENCODING / DECODING DEVICE THROUGH SPATIO-TEMPORAL DIMENSIONAL REFERENCE IMAGE PADS AND METHOD OF USE |
JP5920708B2 (ja) * | 2012-02-29 | 2016-05-18 | 国立大学法人名古屋大学 | 多視点映像ストリーム視聴システムおよび方法 |
CN103179423B (zh) * | 2013-03-19 | 2015-01-21 | 宁波大学 | 一种交互式三维视频系统中的信号处理方法 |
US20150139601A1 (en) | 2013-11-15 | 2015-05-21 | Nokia Corporation | Method, apparatus, and computer program product for automatic remix and summary creation using crowd-sourced intelligence |
US20150334299A1 (en) * | 2014-05-14 | 2015-11-19 | Panasonic Intellectual Property Management Co., Ltd. | Monitoring system |
US10204658B2 (en) * | 2014-07-14 | 2019-02-12 | Sony Interactive Entertainment Inc. | System and method for use in playing back panorama video content |
-
2015
- 2015-10-26 US US14/922,450 patent/US9888284B2/en not_active Expired - Fee Related
-
2016
- 2016-10-13 EP EP16193609.1A patent/EP3163408A1/en not_active Withdrawn
- 2016-10-25 JP JP2016208356A patent/JP6334644B2/ja not_active Expired - Fee Related
- 2016-10-25 KR KR1020160139344A patent/KR101892022B1/ko active IP Right Grant
- 2016-10-26 CN CN201610943589.8A patent/CN107037875A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
KR20170048217A (ko) | 2017-05-08 |
US9888284B2 (en) | 2018-02-06 |
JP2017085566A (ja) | 2017-05-18 |
US20170118508A1 (en) | 2017-04-27 |
EP3163408A1 (en) | 2017-05-03 |
CN107037875A (zh) | 2017-08-11 |
KR101892022B1 (ko) | 2018-08-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11303881B2 (en) | Method and client for playing back panoramic video | |
US10819645B2 (en) | Combined method for data rate and field of view size adaptation for virtual reality and 360 degree video streaming | |
JP7295851B2 (ja) | 仮想現実アプリケーションのためのオーディオ配信の最適化 | |
US10712555B2 (en) | Streaming virtual reality video | |
US20200322403A1 (en) | Scalable fov+ for vr 360 video delivery to remote end users | |
KR102530419B1 (ko) | 화상 회의를 위한 보충 콘텐츠를 이용한 비디오 스트림들의 수정 | |
EP3065406B1 (en) | Video streaming method | |
US20190362151A1 (en) | Streaming virtual reality video | |
US9197682B2 (en) | Method, apparatus, and computer program product for generating a video stream of a mapped route | |
JP5481606B1 (ja) | 画像生成システムおよび画像生成用プログラム | |
CN108076364A (zh) | 自适应媒体流传输设备和媒体服务设备 | |
US11523144B2 (en) | Communication apparatus, communication method, and computer-readable storage medium | |
JP6334644B2 (ja) | 没入コンテンツの優れたストリーミングのための方法および装置 | |
US20180302630A1 (en) | Method And Apparatus For Improving Efficiency Of Content Delivery Based On Consumption Data | |
TWI824016B (zh) | 用於產生及演現視訊串流之設備及方法 | |
EP3384670A1 (en) | Method and apparatus live virtual reality streaming | |
US20240114176A1 (en) | Method, Apparatus and Computer Program Product Providing for Extended Margins Around a Viewport for Immersive Content | |
CN111903135A (zh) | 信息处理装置、信息处理方法以及程序 | |
JP2010093346A (ja) | 情報送信装置、情報送信装置の制御方法及びコンピュータプログラム | |
JP2018088605A (ja) | 情報処理装置、表示制御装置、制御方法、及びプログラム | |
US11134236B2 (en) | Image processing device and system | |
GB2560923A (en) | Video streaming | |
WO2018178510A2 (en) | Video streaming | |
JP2019029849A (ja) | 映像配信システム、その制御方法、映像データ受信装置及びプログラム | |
TWM548794U (zh) | 頭戴式顯示器及顯示系統 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180327 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180426 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6334644 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |