JP6945632B2 - 視線追跡を用いたvr、低遅延、無線hmdビデオストリーミングのためのフォービエイテッドビデオリンク - Google Patents
視線追跡を用いたvr、低遅延、無線hmdビデオストリーミングのためのフォービエイテッドビデオリンク Download PDFInfo
- Publication number
- JP6945632B2 JP6945632B2 JP2019535812A JP2019535812A JP6945632B2 JP 6945632 B2 JP6945632 B2 JP 6945632B2 JP 2019535812 A JP2019535812 A JP 2019535812A JP 2019535812 A JP2019535812 A JP 2019535812A JP 6945632 B2 JP6945632 B2 JP 6945632B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- video
- video frame
- interest
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007906 compression Methods 0.000 claims description 47
- 238000000034 method Methods 0.000 claims description 43
- 230000006835 compression Effects 0.000 claims description 38
- 206010025482 malaise Diseases 0.000 claims description 38
- 230000033001 locomotion Effects 0.000 claims description 26
- 230000004044 response Effects 0.000 claims description 21
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 230000009467 reduction Effects 0.000 claims description 10
- 230000004438 eyesight Effects 0.000 claims description 6
- 230000001934 delay Effects 0.000 claims description 4
- 201000003152 motion sickness Diseases 0.000 claims description 4
- 210000001508 eye Anatomy 0.000 description 84
- 210000003128 head Anatomy 0.000 description 56
- 210000001747 pupil Anatomy 0.000 description 41
- 238000010586 diagram Methods 0.000 description 18
- 230000000007 visual effect Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 14
- 230000008859 change Effects 0.000 description 11
- 230000001815 facial effect Effects 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 10
- 241000023320 Luma <angiosperm> Species 0.000 description 8
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 8
- 241000995051 Brenda Species 0.000 description 7
- 210000003205 muscle Anatomy 0.000 description 7
- 210000001217 buttock Anatomy 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000007704 transition Effects 0.000 description 6
- 210000005252 bulbus oculi Anatomy 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000011514 reflex Effects 0.000 description 5
- 210000004087 cornea Anatomy 0.000 description 4
- 210000000744 eyelid Anatomy 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 210000001525 retina Anatomy 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004424 eye movement Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 210000005036 nerve Anatomy 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000002565 electrocardiography Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000004434 saccadic eye movement Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 208000007101 Muscle Cramp Diseases 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 1
- 208000005392 Spasm Diseases 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000012884 algebraic function Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000000537 electroencephalography Methods 0.000 description 1
- 238000002567 electromyography Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 201000005111 ocular hyperemia Diseases 0.000 description 1
- 210000001328 optic nerve Anatomy 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000005043 peripheral vision Effects 0.000 description 1
- 230000006461 physiological response Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/403—Edge-driven scaling; Edge-based scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
本出願は、2016年12月29日に出願された米国仮特許出願番号第62/440,198号の優先権を主張し、参照により、その内容全体を本明細書に組み込む。
視線追跡は、医学研究、自動車技術、コンピュータエンターテイメント、及び、ビデオゲームプログラム、制御入力デバイス、拡張現実眼鏡等を含む、広範な適用例で使用されてきた。視線追跡としても知られるアイトラッキングには多くの技術がある。視線追跡と選択的レンダリング圧縮の技術は、同時係属出願第2015/087,471号に記載されており、その内容は、参照により本明細書に組み込まれる。これらの技術の一部は、ユーザの視線の方向をユーザの目の瞳孔の向きから決定する。既知の視線追跡の一部は、1つまたは複数の光源から光を発して目を照らすことと、発せられた光の角膜からの反射をセンサで検出することとを伴う。典型的に、これは、赤外領域の不可視光源を用いて、照らされた眼の画像データ(例えば、画像またはビデオ)を赤外線カメラを用いて捕捉することによって達成される。次に、画像処理アルゴリズムを使用して画像データを分析して、視線方向を決定する。
本開示の態様として、フォービエイテッドビデオは、ディスプレイが提示する画像の関心領域の必須の詳細を保持しながら、送信帯域要件と、高解像度ビデオ処理の計算負荷とを低減できる。フォービエイテッドビデオは、中心窩が焦点を当てている表示された画像の関心領域(ROI)にある高解像度ビデオフレームのサブセクションに低損失圧縮を行う、もしくは、圧縮を行わず、この領域の外側のビデオフレームにダウンスケーリングと高圧縮とを行うことによって、計算を低減する。フォービエイテッドビデオを利用するために、ヘッドマウントディスプレイ(HMD)等の画像ディスプレイデバイスは、視線追跡技術を使用して、ユーザが焦点を当てている画面上の場所を決定する。
ビデオ符号化に関する本開示のある態様は、以下の記載を考慮するとより良く理解されよう。制限ではなく例示として、図2Cに示すように、1つのデジタルピクチャ220(例えば、デジタルビデオフレーム)は、1つまたは複数のセクションに分割されてよい。本明細書で使用される場合、「セクション」という用語は、ピクチャ220内の1つまたは複数のルマまたはクロマサンプルのグループを指してよい。セクションは、ピクチャ内の1つのルマまたはクロマサンプルから、ピクチャ全体までの範囲を取り得る。セクションの非制限的な例は、スライス(例えば、マクロブロック行)222、マクロブロック224、サブマクロブロック226、ブロック228、及び、個々のピクセル230を含む。図2Cに示すように、各スライス222は、マクロブロック224の1つまたは複数の行、または、1つまたは複数のこのような行の一部を含む。一行のマクロブロックの数は、マクロブロックのサイズと、ピクチャ220のサイズと解像度とによって決まる。例えば、各マクロブロックが、16x16のクロマまたはルマのサンプルを含む場合、各行のマクロブロックの数は、(クロマまたはルマのサンプルで表された)ピクチャ220の幅を16で割ることによって決定されてよい。各マクロブロック224は、幾つかのサブマクロブロック226に分割されてよい。各サブマクロブロック226は、幾つかのブロック228に分割されてよく、各ブロックは、幾つかのクロマまたはルマのサンプル230を含んでよい。発明の制限ではなく例示として、一般的なビデオ符号化スキームにおいて、各マクロブロック224は、4つのサブマクロブロック226に分割されてよい。各サブマクロブロックは、4つのブロック228に分割されてよく、各ブロックは、16のクロマまたはルマのサンプル230の4x4配置を含んでよい。H.265等、幾つかのコーデックは、符号化に対して、所与のピクチャを異なるサイズの複数のセクションに分割するのを可能にする。詳細には、H.265規格は、ピクチャを分割する「タイル」の概念を導入する。タイルは、何らかの共有ヘッダ情報を用いて符号化されるピクチャの個々に復号可能な領域である。タイルは、さらに、ビデオピクチャの局所的な領域への空間的ランダムアクセスに使用できる。ピクチャの典型的なタイル構成は、各タイルにほぼ等しい数の符号化ユニット(CU)を有する長方形の領域にピクチャをセグメント化することからなる。符号化ユニットは、H.264規格におけるマクロブロック(MB)に類似している。しかしながら、CUのサイズは、エンコーダによって設定でき、マクロブロックより大きくてよい。CUのサイズは、柔軟であってよく、ピクチャの最適分割のためにビデオコンテンツに適応可能であってよい。各ピクチャは、フレームでもフィールドでもよいことに注意されたい。フレームは、完全な画像を指す。フィールドは、ある種のディスプレイデバイスへの画像の表示を容易にするための画像の一部である。一般的に、画像内のクロマまたはルマのサンプルは、行で配置される。表示を容易にするために、画像は、2つの異なるフィールドに、交互にピクセル行を配置することによって分割される場合がある。2つのフィールドのクロマまたはルマのサンプルの行は、インタレースされて完全な画像を形成できる。ブラウン管(CRT)ディスプレイ等の一部のディスプレイデバイスにとっては、2つのフィールドは、単に、素早く続けて交互に表示されてよい。ディスプレイのピクセルを照らすのに使用される蛍光体または他の発光素子の残光は、残像性と組み合わさって、2つのフィールドが連続した画像として認識される。液晶ディスプレイ等の、一定のディスプレイデバイスにとっては、表示する前に、2つのフィールドをインタレースして、1つのピクチャにすることが必要な場合がある。符号化された画像を表すストリーミングデータは、典型的に、画像がフィールドかフレームかを示す情報を含む。このような情報は、画像のヘッダに含まれてよい。
本開示の態様によると、システムは、高解像度ROIのサイズの低減によって、映像酔いが視聴者に生じる可能性を低減し得る。システムは、心拍、体温、電気皮膚反応、または、心電図(ECG)を含むが、これらに限らない当技術分野で既知の手段によって、視聴者が映像酔いをしていることを検出し得る。映像酔いの検出に関するより多くの情報は、http://scitecin.isr.uc.pt/Proceedings/Papers/EPCGI/17.pdfで入手できるPatroa,Bruno et al.による「How to Deal with Motion Sickness in Virtual reality」に記載されており、参照により、その内容を本明細書に組み込む。本開示の他の実施形態において、システムは、ビデオストリームのデータレートの監視を通して映像酔いが生じる可能性を検出する。ビデオストリームのデータレートは、画面に表示されるデータ量に関連し、よって、高いデータレートは、新しく表示される情報量が多くなるので、映像酔いの可能性が高くなることを示す。
ROIから画像の残りの部分への画像解像度の急な低下は、視聴者にとって不快となる場合がある。従って、本開示の態様によると、高解像度エリアの縁部は、低解像度エリアと融合されて、両エリア間で品質低下勾配を作成してよい。このような低下勾配は、高解像度から低解像度に線形に移行してもよく、非線形に移行してもよい。例を挙げると、非線形の移行は、関心領域からの距離に対して、高解像度と低解像の間でシグモイド(「S」形状の)関数の移行であってよい。一般に、任意の滑らかで、正の、「こぶのような形」の関数の積分が、シグモイドである。シグモイド関数の例は、ロジスティック関数、汎用ロジスティック関数を含むが、これらに限らず、シグモイド関数は、通常の逆正接、双曲正接、グーデルマン関数、及び、誤差関数
ロジスティック関数は、
ここで、
x0=シグモイドの中点のxの値、
L=曲線の最大値、
k=曲線の傾き
である。
図4は、本開示の態様による、システム400を示す。図示のシステム400は、符号化群402と復号群401との2つのコンピューティング群からなる。符号化群402は、ネットワーク403を経由して復号群401に結合される。ネットワーク403は、例えば、無線ネットワーク、有線ローカルエリアネットワーク接続(LAN)、USB接続、シリアル接続、または、当技術分野で既知の他のデバイス接続配線であってよい。符号化群401は、色空間補正(CSC)404、ダウンスケーラ405、関心領域(ROI)Iフレームエンコーダ406、及び、スケールされた画像のAVC/HECエンコーダ407を含む。デコーダ群は、ROI Iフレームデコーダ409、AVC/HEVデコーダ410、アップスケーラ411、及び、ビデオストリームブレンダ/CSC412を含む。さらに、デコーダ群は、ディスプレイデバイスに結合される。視線追跡ユニットは、ディスプレイデバイス413に結合されてよく、符号化群402のROI Iフレームエンコーダ406に視線追跡情報414を送信するように構成される。
ヘッドマウントディスプレイ(HMD)への適用について本明細書に例を記載したが、本開示の態様は、このような実施態様に限られない。HMDの実施態様は、ユーザの眼とディスプレイ画面との相対的位置が、おおよそ固定しているので、比較的簡単な実施態様を表す。しかしながら、原理上、開示されたシステム及び方法は視線追跡と協働し得る任意の画像表示システムに適応されてよい。視線追跡システムは、ディスプレイ画面に対するユーザの頭部及び眼(複数可)の位置及び向きを、位置及び向きが固定されていない実施態様で追跡するように変更されてよい。
本開示の態様は、コンピュータ実行可能命令が埋め込まれた非一時的コンピュータ可読媒体も含み、コンピュータ実行可能命令は、実行されると、例えば、図1A、図3、図4、図5A〜図5B、図6A〜図6C、及び、図8に関して上述したように、上記態様によるビデオ処理を実施する。適切なコンピュータ可読媒体の例は、RAM、ROM、ハードディスク、フラッシュドライブ、SDRAM、CD−ROM、Blu−Ray(登録商標)、磁気テープ、及び、フロッピー(登録商標)ディスクを含むが、これらに限らない。
本開示の態様は、赤外光源を使用するアイトラッキングデバイスに関して記載したことに注意されたい。しかしながら、他の実施態様も可能なことを理解されよう。例えば、本開示の実施態様において、紫外光等、他の不可視光源も可能である。さらに例を挙げると、本開示の実施態様において、ユーザの注意をそらさないために、不可視光源の使用が望ましいが、眼を照らすために可視光源も使用されてよい。
Claims (36)
- a)ビデオフレームの1つまたは複数の関心領域を表す視線追跡情報を取得することと、
b)前記1つまたは複数の関心領域に対応する前記ビデオフレームの1つまたは複数のサブセクションを低圧縮エンコーダを用いて圧縮して、低圧縮サブセクションデータを生成することであって、前記低圧縮エンコーダは、待ち時間とフレームレベルの遅れを低減するためにモーションサーチまたは予測モード決定を必要としない方法で前記1つまたは複数の関心領域に対応する前記ビデオフレームの前記1つまたは複数のサブセクションを符号化し、前記1つまたは複数の関心領域に対応する前記ビデオフレームの1つまたは複数のサブセクションを圧縮することは、映像酔いに関連する情報に応答して、前記1つまたは複数の関心領域のサイズを小さくすることによって表示する高解像度情報の量を減らすことを含む、前記低圧縮サブセクションデータを生成することと、
c)前記ビデオフレームをダウンスケーリングし、結果として生じるダウンスケーリングされたビデオフレームを高圧縮エンコーダを用いて圧縮して、高圧縮フレームデータを生成することであって、前記高圧縮エンコーダを用いて圧縮することは、予測モード決定を含む、前記高圧縮フレームデータを生成することと、
d)前記高圧縮フレームデータと前記低圧縮サブセクションデータとを送信することと、
を含む、方法。 - b)は、前記1つまたは複数の関心領域に前記対応する前記1つまたは複数のサブセクションの縁部にマスクを適用して、解像度低下の勾配を生成することをさらに含む、請求項1に記載の方法。
- 前記マスクを適用することは、解像度低下の線形勾配を生成する、請求項2に記載の方法。
- 前記マスクを適用することは、解像度低下の非線形勾配を生成する、請求項2に記載の方法。
- 前記映像酔いに関連する反応は、運動視閾値である、請求項1に記載の方法。
- 前記映像酔いに関連する反応は、1つまたは複数のセンサによって検出される、請求項
1に記載の方法。 - 前記高圧縮フレームデータと前記低圧縮サブセクションデータとを送信することは、前記1つまたは複数のサブセクションのビデオストリーム内の位置を送信することをさらに含む、請求項1に記載の方法。
- 前記1つまたは複数のサブセクションの前記ビデオストリーム内の前記位置は、前記サブセクションのフレームヘッダに置かれる、請求項7に記載の方法。
- プロセッサと、
プロセッサ実行可能命令を含む前記プロセッサに結合されたメモリと、
を含む、システムであって、前記プロセッサ実行可能命令は、実行されると、前記プロセッサに方法を実施させ、前記方法は、
a)ビデオフレームの1つまたは複数の関心領域を表す視線追跡情報を取得することと、
b)前記1つまたは複数の関心領域に対応する前記ビデオフレームの1つまたは複数のサブセクションを低圧縮エンコーダを用いて圧縮して、低圧縮サブセクションデータを生成することであって、前記低圧縮エンコーダは、待ち時間とフレームレベルの遅れを低減するためにモーションサーチまたは予測モード決定を必要としない方法で前記1つまたは複数の関心領域に対応する前記ビデオフレームの前記1つまたは複数のサブセクションを符号化し、前記1つまたは複数の関心領域に対応する前記ビデオフレームの1つまたは複数のサブセクションを圧縮することは、映像酔いに関連する情報に応答して、前記1つまたは複数の関心領域のサイズを小さくすることによって表示する高解像度情報の量を減らすことを含む、前記低圧縮サブセクションデータを生成することと、
c)前記ビデオフレームをダウンスケーリングし、結果として生じるダウンスケーリングされたビデオフレームを高圧縮エンコーダを用いて圧縮して、高圧縮フレームデータを生成することであって、前記高圧縮エンコーダを用いて圧縮することは、予測モード決定を含む、前記高圧縮フレームデータを生成することと、
d)前記高圧縮フレームデータと前記低圧縮サブセクションデータとを送信することと、
を含む、システム。 - b)は、前記1つまたは複数の関心領域に前記対応する前記1つまたは複数のサブセクションの縁部にマスクを適用して、解像度低下の勾配を生成することをさらに含む、請求項9に記載のシステム。
- 前記マスクを適用することは、解像度低下の線形勾配を生成する、請求項10に記載のシステム。
- 前記マスクを適用することは、解像度低下の非線形勾配を生成する、請求項10に記載のシステム。
- 前記映像酔いに関連する反応は、運動視閾値である、請求項9に記載のシステム。
- 前記映像酔いに関連する反応は、1つまたは複数のセンサによって検出される、請求項9に記載のシステム。
- 前記高圧縮フレームデータと前記低圧縮サブセクションデータとを送信することは、前記1つまたは複数のサブセクションのビデオストリーム内の位置を送信することをさらに含む、請求項9に記載のシステム。
- 前記1つまたは複数のサブセクションの前記ビデオストリーム内の前記位置は、前記サブセクションのフレームヘッダに置かれる、請求項15に記載のシステム。
- コンピュータ実行可能命令を有する非一時的コンピュータ可読媒体であって、前記コンピュータ実行可能命令は、実行されると、コンピュータに方法を実施させ、前記方法は、
a)ビデオフレームの1つまたは複数の関心領域を表す視線追跡情報を取得することと、
b)前記1つまたは複数の関心領域に対応する前記ビデオフレームの1つまたは複数のサブセクションを低圧縮エンコーダを用いて圧縮して、低圧縮サブセクションデータを生成することであって、前記低圧縮エンコーダは、待ち時間とフレームレベルの遅れを低減するためにモーションサーチまたは予測モード決定を必要としない方法で前記1つまたは複数の関心領域に対応する前記ビデオフレームの前記1つまたは複数のサブセクションを符号化し、前記1つまたは複数の関心領域に対応する前記ビデオフレームの1つまたは複数のサブセクションを圧縮することは、映像酔いに関連する情報に応答して、前記1つまたは複数の関心領域のサイズを小さくすることによって表示する高解像度情報の量を減らすことを含む、前記低圧縮サブセクションデータを生成することと、
c)前記ビデオフレームをダウンスケーリングし、結果として生じるダウンスケーリングされたビデオフレームを高圧縮エンコーダを用いて圧縮して、高圧縮フレームデータを生成することであって、前記高圧縮エンコーダを用いて圧縮することは、予測モード決定を含む、前記高圧縮フレームデータを生成することと、
d)前記高圧縮フレームデータと前記低圧縮サブセクションデータとを送信することと、
を含む、前記非一時的コンピュータ可読媒体。 - a)ダウンスケーリングされたビデオフレームに対応する高圧縮フレームデータを解凍してダウンスケーリングされたビデオフレームデータを生成することであって、前記高圧縮フレームデータは、予測フレームを含む、前記ダウンスケーリングされたビデオフレームデータを生成することと、
b)前記ダウンスケーリングされたビデオフレームデータをアップスケーリングして、アップスケーリングされたビデオフレームデータを生成することと、
c)1つまたは複数の関心領域に対応する前記ビデオフレームの1つまたは複数のサブセクションの低圧縮データを解凍して、関心領域データを生成することであって、前記ビデオフレームの前記1つまたは複数のサブセクションは、モーションサーチまたは予測モード決定を必要としない方法で符号化される、前記関心領域データを生成することと、
d)映像酔いに関連する情報に応答して、前記1つまたは複数の関心領域のサイズを小さくすることによって表示する高解像度情報の量を減らすことと、
e)前記アップスケーリングされたビデオフレームデータと前記関心領域データとを組み合わせて、組み合わされたフレームを生成することと、
f)前記組み合わされたフレームをディスプレイに表示することと、
を含む、方法。 - e)は、前記組み合わされたフレームの前記1つまたは複数の関心領域に対応する前記ビデオフレームの前記1つまたは複数のサブセクションを配置する位置を決定することを含む、請求項18に記載の方法。
- f)は、視線追跡情報を使用して、前記組み合わされたフレームの前記1つまたは複数の関心領域に対応する前記ビデオフレームの前記1つまたは複数のサブセクションを配置する位置を決定することを含む、請求項18に記載の方法。
- f)は、前記1つまたは複数の関心領域に対応する前記ビデオフレームの前記1つまたは複数のサブセクションにマスクを適用して、前記1つまたは複数の関心領域の縁部に、前記アップスケーリングされたビデオフレームに対応する前記組み合わされたフレームの部分と前記1つまたは複数の関心領域に対応する前記ビデオフレームの前記1つまたは複数のサブセクションとの間の解像度低下勾配を生成することを含む、請求項18に記載の方法。
- 前記アップスケーリングされたビデオフレームデータに第2のマスクを適用して、前記アップスケーリングされたビデオフレームをディミングすることをさらに含む、請求項21に記載の方法。
- 前記マスクは、線形の低下勾配を生成する、請求項21に記載の方法。
- 前記マスクは、非線形の低下勾配を生成する、請求項21に記載の方法。
- 前記映像酔いに関連する反応は、電気皮膚反応である、請求項18に記載の方法。
- 前記映像酔いに関連する反応は、前記ビデオフレーム内の動きベクトルに関するユーザが決定した閾値である、請求項18に記載の方法。
- プロセッサと、
プロセッサ実行可能命令を含む前記プロセッサに結合されたメモリと、
を含むシステムであって、前記プロセッサ実行可能命令は、実行されると、前記プロセッサに方法を実施させ、前記方法は、
a)ダウンスケーリングされたビデオフレームに対応する高圧縮フレームデータを解凍して、ダウンスケーリングされたビデオフレームデータを生成することであって、前記高圧縮フレームデータは、予測フレームを含む、前記ダウンスケーリングされたビデオフレームデータを生成することと、
b)前記ダウンスケーリングされたビデオフレームデータをアップスケーリングして、アップスケーリングされたビデオフレームデータを生成することと、
c)1つまたは複数の関心領域に対応する前記ビデオフレームの1つまたは複数のサブセクションの低圧縮データを解凍して、関心領域データを生成することであって、前記ビデオフレームの前記1つまたは複数のサブセクションは、モーションサーチまたは予測モード決定を必要としない方法で符号化される、前記関心領域データを生成することと、
d)映像酔いに関連する情報に応答して、前記1つまたは複数の関心領域のサイズを小さくすることによって表示する高解像度情報の量を減らすことと、
e)前記アップスケーリングされたビデオフレームデータと前記関心領域データとを組み合わせて、組み合わされたフレームを生成することと、
f)前記組み合わされたフレームをディスプレイに表示することと、
を含む、システム。 - e)は、前記組み合わされたフレームの前記1つまたは複数の関心領域に対応する前記ビデオフレームの前記1つまたは複数のサブセクションを配置する位置を決定することを含む、請求項27に記載のシステム。
- f)は、視線追跡情報を使用して、前記組み合わされたフレームの前記1つまたは複数の関心領域に対応する前記ビデオフレームの前記1つまたは複数のサブセクションを配置する位置を決定する、請求項27に記載のシステム。
- f)は、前記1つまたは複数の関心領域に対応する前記ビデオフレームの前記1つまたは複数のサブセクションにマスクを適用して、前記1つまたは複数の関心領域の縁部に、前記アップスケーリングされたビデオフレームに対応する前記組み合わされたフレームの部分と前記1つまたは複数の関心領域に対応する前記ビデオフレームの前記1つまたは複数のサブセクションとの間の解像度低下勾配を生成することを含む、請求項27に記載のシステム。
- 前記アップスケーリングされたビデオフレームデータに第2のマスクを適用して、前記アップスケーリングされたビデオフレームをディミングすることをさらに含む、請求項30に記載のシステム。
- 前記マスクは、線形の低下勾配を生成する、請求項30に記載のシステム。
- 前記マスクは、非線形の低下勾配を生成する、請求項30に記載のシステム。
- 前記映像酔いに関連する反応は、電気皮膚反応である、請求項27に記載のシステム。
- 前記映像酔いに関連する反応は、前記ビデオフレーム内の動きベクトルに関するユーザが決定した閾値である、請求項27に記載のシステム。
- コンピュータ実行可能命令を有する非一時的コンピュータ可読媒体であって、前記コンピュータ実行可能命令は、実行されると、コンピュータに方法を実施させ、前記方法は、
a)ダウンスケーリングされたビデオフレームに対応する高圧縮フレームデータを解凍して、ダウンスケーリングされたビデオフレームデータを生成することであって、前記高圧縮フレームデータは、予測フレームを含む、前記ダウンスケーリングされたビデオフレームデータを生成することと、
b)前記ダウンスケーリングされたビデオフレームデータをアップスケーリングして、アップスケーリングされたビデオフレームデータを生成することと、
c)1つまたは複数の関心領域に対応する前記ビデオフレームの1つまたは複数のサブセクションの低圧縮データを解凍して、関心領域データを生成することであって、前記ビデオフレームの前記1つまたは複数のサブセクションは、モーションサーチまたは予測モード決定を必要としない方法で符号化される、前記関心領域データを生成することと、
d)映像酔いに関連する情報に応答して、表示する高解像度情報の量を減らすことと、
e)前記アップスケーリングされたビデオフレームデータと前記関心領域データとを組み合わせて、組み合わされたフレームを生成することと、
f)前記組み合わされたフレームをディスプレイに表示することと、
を含む、非一時的コンピュータ可読媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021119756A JP7244584B2 (ja) | 2016-12-29 | 2021-07-20 | 視線追跡を用いたvrのためのフォービエイテッドビデオリンク |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662440198P | 2016-12-29 | 2016-12-29 | |
US62/440,198 | 2016-12-29 | ||
PCT/US2017/066205 WO2018125579A1 (en) | 2016-12-29 | 2017-12-13 | Foveated video link for vr, low latency wireless hmd video streaming with gaze tracking |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021119756A Division JP7244584B2 (ja) | 2016-12-29 | 2021-07-20 | 視線追跡を用いたvrのためのフォービエイテッドビデオリンク |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020504959A JP2020504959A (ja) | 2020-02-13 |
JP6945632B2 true JP6945632B2 (ja) | 2021-10-13 |
Family
ID=62710148
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019535812A Active JP6945632B2 (ja) | 2016-12-29 | 2017-12-13 | 視線追跡を用いたvr、低遅延、無線hmdビデオストリーミングのためのフォービエイテッドビデオリンク |
JP2021119756A Active JP7244584B2 (ja) | 2016-12-29 | 2021-07-20 | 視線追跡を用いたvrのためのフォービエイテッドビデオリンク |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021119756A Active JP7244584B2 (ja) | 2016-12-29 | 2021-07-20 | 視線追跡を用いたvrのためのフォービエイテッドビデオリンク |
Country Status (5)
Country | Link |
---|---|
US (2) | US11025918B2 (ja) |
EP (1) | EP3563570B1 (ja) |
JP (2) | JP6945632B2 (ja) |
CN (1) | CN110121885B (ja) |
WO (1) | WO2018125579A1 (ja) |
Families Citing this family (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10962780B2 (en) * | 2015-10-26 | 2021-03-30 | Microsoft Technology Licensing, Llc | Remote rendering for virtual images |
US11284109B2 (en) * | 2016-01-29 | 2022-03-22 | Cable Television Laboratories, Inc. | Visual coding for sensitivities to light, color and spatial resolution in human visual system |
US10979721B2 (en) * | 2016-11-17 | 2021-04-13 | Dolby Laboratories Licensing Corporation | Predicting and verifying regions of interest selections |
WO2018125579A1 (en) * | 2016-12-29 | 2018-07-05 | Sony Interactive Entertainment Inc. | Foveated video link for vr, low latency wireless hmd video streaming with gaze tracking |
KR102623391B1 (ko) * | 2017-01-10 | 2024-01-11 | 삼성전자주식회사 | 영상 출력 방법 및 이를 지원하는 전자 장치 |
US10565964B2 (en) * | 2017-04-24 | 2020-02-18 | Intel Corporation | Display bandwidth reduction with multiple resolutions |
US10621698B2 (en) * | 2017-06-14 | 2020-04-14 | Hadal, Inc. | Systems and methods for virtual reality motion sickness prevention |
US10742704B2 (en) * | 2017-07-05 | 2020-08-11 | Cinova Media | Method and apparatus for an adaptive video-aware streaming architecture with cloud-based prediction and elastic rate control |
US11212536B2 (en) | 2017-07-14 | 2021-12-28 | Sony Interactive Entertainment Inc. | Negative region-of-interest video coding |
US10699663B2 (en) * | 2018-02-27 | 2020-06-30 | Tobii Ab | Providing an image with a scaler chip in direct communication with an eye tracking device |
CN108391133A (zh) * | 2018-03-01 | 2018-08-10 | 京东方科技集团股份有限公司 | 显示数据的处理方法、处理设备和显示设备 |
US10636340B2 (en) * | 2018-04-16 | 2020-04-28 | Facebook Technologies, Llc | Display with gaze-adaptive resolution enhancement |
CN116980967A (zh) * | 2018-09-28 | 2023-10-31 | 苹果公司 | 基于无线通信信道带宽条件的电子设备内容提供调节 |
CN110972202B (zh) | 2018-09-28 | 2023-09-01 | 苹果公司 | 基于无线通信信道带宽条件的移动设备内容提供调节 |
WO2020095728A1 (ja) * | 2018-11-06 | 2020-05-14 | ソニー株式会社 | 情報処理装置及び情報処理方法 |
CN111163306B (zh) * | 2018-11-08 | 2022-04-05 | 华为技术有限公司 | 一种vr视频处理的方法及相关装置 |
US11212537B2 (en) * | 2019-03-28 | 2021-12-28 | Advanced Micro Devices, Inc. | Side information for video data transmission |
US20220224918A1 (en) * | 2019-05-29 | 2022-07-14 | Sumitomo Electric Industries, Ltd. | Video transport system, video transmission device, video reception device, video distribution method, video transmission method, video reception method, and non-transitory computer readable recording medium |
US20200387217A1 (en) * | 2019-06-07 | 2020-12-10 | Eyetech Digital Systems, Inc. | Devices and Methods For Reducing Computational and Transmission Latencies In Cloud Based Eye Tracking Systems |
JP6655751B1 (ja) * | 2019-07-25 | 2020-02-26 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 映像表示制御装置、方法およびプログラム |
US11106039B2 (en) * | 2019-08-26 | 2021-08-31 | Ati Technologies Ulc | Single-stream foveal display transport |
CN112433599A (zh) * | 2019-08-26 | 2021-03-02 | 株式会社理光 | 显示方法、装置和计算机可读存储介质 |
US11106929B2 (en) * | 2019-08-29 | 2021-08-31 | Sony Interactive Entertainment Inc. | Foveated optimization of TV streaming and rendering content assisted by personal devices |
CN110650357B (zh) | 2019-09-27 | 2023-02-10 | 腾讯科技(深圳)有限公司 | 视频解码方法及装置 |
CN110636294B (zh) * | 2019-09-27 | 2024-04-09 | 腾讯科技(深圳)有限公司 | 视频解码方法及装置,视频编码方法及装置 |
JP7496677B2 (ja) * | 2019-09-30 | 2024-06-07 | 株式会社ソニー・インタラクティブエンタテインメント | 画像データ転送装置、画像表示システム、および画像圧縮方法 |
JP7440237B2 (ja) | 2019-10-16 | 2024-02-28 | トヨタ自動車株式会社 | 表示装置 |
US11164339B2 (en) | 2019-11-12 | 2021-11-02 | Sony Interactive Entertainment Inc. | Fast region of interest coding using multi-segment temporal resampling |
CN110855972B (zh) * | 2019-11-21 | 2021-07-27 | Oppo广东移动通信有限公司 | 图像处理方法以及电子设备和存储介质 |
KR20210103867A (ko) * | 2020-02-14 | 2021-08-24 | 삼성전자주식회사 | Vr 영상을 스트리밍하는 방법 및 장치 |
EP4121813A4 (en) * | 2020-03-20 | 2024-01-17 | Magic Leap, Inc. | SYSTEMS AND METHODS FOR RETINA IMAGING AND TRACKING |
WO2021199205A1 (ja) * | 2020-03-30 | 2021-10-07 | 株式会社ソニー・インタラクティブエンタテインメント | 画像データ転送装置、画像表示システム、および画像データ転送方法 |
WO2021200212A1 (ja) * | 2020-03-30 | 2021-10-07 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及びプログラム |
CN113766272B (zh) * | 2020-06-04 | 2023-02-10 | 腾讯科技(深圳)有限公司 | 一种沉浸媒体的数据处理方法 |
CN111729283B (zh) * | 2020-06-19 | 2021-07-06 | 杭州赛鲁班网络科技有限公司 | 一种基于混合现实技术的训练系统及其方法 |
CN111711811B (zh) * | 2020-06-29 | 2022-09-13 | 京东方科技集团股份有限公司 | Vr图像处理方法、装置、系统、vr设备及存储介质 |
KR102481528B1 (ko) * | 2020-10-14 | 2022-12-26 | 주식회사 엔씨소프트 | 가상 현실 게임 방송 서비스 방법과 이를 수행하기 위한 장치 및 시스템 |
US11297332B1 (en) * | 2020-10-30 | 2022-04-05 | Capital One Services, Llc | Gaze-tracking-based image downscaling for multi-party video communication |
JP7533759B2 (ja) | 2021-02-24 | 2024-08-14 | 日本電気株式会社 | 画像処理装置、画像処理方法およびプログラム |
CN113012501B (zh) * | 2021-03-18 | 2023-05-16 | 深圳市天天学农网络科技有限公司 | 一种远程教学方法 |
CN113208766B (zh) * | 2021-05-10 | 2022-08-05 | 江南大学 | 一种晕动症小鼠造模装置及造模方法 |
US20220383512A1 (en) * | 2021-05-27 | 2022-12-01 | Varjo Technologies Oy | Tracking method for image generation, a computer program product and a computer system |
GB2609013A (en) | 2021-07-16 | 2023-01-25 | Sony Interactive Entertainment Inc | Video recording and playback systems and methods |
CN115793841A (zh) * | 2021-09-09 | 2023-03-14 | 华为技术有限公司 | 一种显示方法与电子设备 |
TW202316179A (zh) * | 2021-10-08 | 2023-04-16 | 日商半導體能源研究所股份有限公司 | 電子裝置 |
JPWO2023084950A1 (ja) * | 2021-11-10 | 2023-05-19 | ||
CN114339232B (zh) * | 2021-12-16 | 2024-04-16 | 杭州当虹科技股份有限公司 | 自适应分辨率的编码方法及其对应的解码方法 |
US12002290B2 (en) | 2022-02-25 | 2024-06-04 | Eyetech Digital Systems, Inc. | Systems and methods for hybrid edge/cloud processing of eye-tracking image data |
CN114630182B (zh) * | 2022-02-28 | 2024-07-23 | 海信视像科技股份有限公司 | 一种虚拟现实视频的播放方法及设备 |
WO2024009653A1 (ja) * | 2022-07-04 | 2024-01-11 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及び情報処理システム |
US11898332B1 (en) | 2022-08-22 | 2024-02-13 | Caterpillar Inc. | Adjusting camera bandwidth based on machine operation |
US20240107086A1 (en) * | 2022-09-23 | 2024-03-28 | Apple Inc. | Multi-layer Foveated Streaming |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6252989B1 (en) * | 1997-01-07 | 2001-06-26 | Board Of The Regents, The University Of Texas System | Foveated image coding system and method for image bandwidth reduction |
JP2001036901A (ja) * | 1999-07-15 | 2001-02-09 | Canon Inc | 画像処理装置及び画像処理方法並びにメモリ媒体 |
US6623428B2 (en) * | 2001-10-11 | 2003-09-23 | Eastman Kodak Company | Digital image sequence display system and method |
DE10300048B4 (de) * | 2002-01-05 | 2005-05-12 | Samsung Electronics Co., Ltd., Suwon | Verfahren und Vorrichtung zur Bildcodierung und -decodierung |
US20030189579A1 (en) * | 2002-04-05 | 2003-10-09 | Pope David R. | Adaptive enlarging and/or sharpening of a digital image |
US7809145B2 (en) | 2006-05-04 | 2010-10-05 | Sony Computer Entertainment Inc. | Ultra small microphone array |
US8947347B2 (en) | 2003-08-27 | 2015-02-03 | Sony Computer Entertainment Inc. | Controlling actions in a video game unit |
US7783061B2 (en) | 2003-08-27 | 2010-08-24 | Sony Computer Entertainment Inc. | Methods and apparatus for the targeted sound detection |
GB2404105A (en) | 2003-07-03 | 2005-01-19 | Braddahead Ltd | Compressing digital images |
US20060062478A1 (en) * | 2004-08-16 | 2006-03-23 | Grandeye, Ltd., | Region-sensitive compression of digital video |
JP2006332882A (ja) * | 2005-05-24 | 2006-12-07 | Mitsubishi Electric Corp | 動画像符号化装置 |
JP2009027535A (ja) * | 2007-07-20 | 2009-02-05 | Sanyo Electric Co Ltd | 画像処理装置およびそれを用いた撮像装置 |
KR20100042645A (ko) * | 2007-08-15 | 2010-04-26 | 톰슨 라이센싱 | 관심 구역 정보를 사용하는 개선된 비디오 인코딩을 위한 방법 및 장치 |
JPWO2010137104A1 (ja) | 2009-05-25 | 2012-11-12 | パイオニア株式会社 | 映像処理装置、映像処理方法、及び映像処理プログラム |
EP2497272A1 (en) * | 2009-11-04 | 2012-09-12 | Koninklijke Philips Electronics N.V. | Methods and systems for providing a combination of media data and metadata |
KR20110065986A (ko) * | 2009-12-10 | 2011-06-16 | 삼성전자주식회사 | 연관된 마스크들을 이용하여 디더링된 비디오 디스플레이 방법 및 이를 적용한 비디오 디스플레이 장치 |
JP5355449B2 (ja) * | 2010-02-24 | 2013-11-27 | 日本電信電話株式会社 | マルチ解像度映像復号方法、マルチ解像度映像復号装置、及びプログラム |
US20120249797A1 (en) | 2010-02-28 | 2012-10-04 | Osterhout Group, Inc. | Head-worn adaptive display |
US9094681B1 (en) * | 2012-02-28 | 2015-07-28 | Google Inc. | Adaptive segmentation |
US20150312575A1 (en) * | 2012-04-16 | 2015-10-29 | New Cinema, LLC | Advanced video coding method, system, apparatus, and storage medium |
JP5958219B2 (ja) | 2012-09-14 | 2016-07-27 | 富士通株式会社 | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号化装置、動画像復号化方法、動画像復号化プログラム、及び動画像処理装置 |
KR101987820B1 (ko) * | 2012-10-05 | 2019-06-11 | 삼성전자주식회사 | 고 해상도 컨텐츠를 처리하는 컨텐츠 처리 장치 및 그 방법 |
US20140119456A1 (en) * | 2012-11-01 | 2014-05-01 | Microsoft Corporation | Encoding video into lower resolution streams |
US9158114B2 (en) * | 2012-11-05 | 2015-10-13 | Exelis Inc. | Image display utilizing a variable mask to selectively block image data |
CN103002283A (zh) * | 2012-11-20 | 2013-03-27 | 南京邮电大学 | 多视角分布式视频压缩的边信息生成方法 |
GB2509954B (en) * | 2013-01-18 | 2016-03-23 | Canon Kk | Method of displaying a region of interest in a video stream |
CN103974071A (zh) * | 2013-01-29 | 2014-08-06 | 富士通株式会社 | 基于感兴趣区域的视频编码方法和设备 |
US9324161B2 (en) * | 2013-03-13 | 2016-04-26 | Disney Enterprises, Inc. | Content-aware image compression method |
CN104427337B (zh) * | 2013-08-21 | 2018-03-27 | 杭州海康威视数字技术股份有限公司 | 基于目标检测的感兴趣区域视频编码方法及其装置 |
WO2018125579A1 (en) * | 2016-12-29 | 2018-07-05 | Sony Interactive Entertainment Inc. | Foveated video link for vr, low latency wireless hmd video streaming with gaze tracking |
-
2017
- 2017-12-13 WO PCT/US2017/066205 patent/WO2018125579A1/en unknown
- 2017-12-13 JP JP2019535812A patent/JP6945632B2/ja active Active
- 2017-12-13 EP EP17888317.9A patent/EP3563570B1/en active Active
- 2017-12-13 CN CN201780081557.4A patent/CN110121885B/zh active Active
- 2017-12-13 US US15/840,893 patent/US11025918B2/en active Active
-
2021
- 2021-05-06 US US17/313,882 patent/US11546610B2/en active Active
- 2021-07-20 JP JP2021119756A patent/JP7244584B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
WO2018125579A1 (en) | 2018-07-05 |
CN110121885A (zh) | 2019-08-13 |
EP3563570A1 (en) | 2019-11-06 |
EP3563570A4 (en) | 2020-09-23 |
US20180192058A1 (en) | 2018-07-05 |
US20210266571A1 (en) | 2021-08-26 |
JP7244584B2 (ja) | 2023-03-22 |
US11546610B2 (en) | 2023-01-03 |
JP2020504959A (ja) | 2020-02-13 |
CN110121885B (zh) | 2023-07-25 |
EP3563570B1 (en) | 2024-09-25 |
JP2021192508A (ja) | 2021-12-16 |
US11025918B2 (en) | 2021-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6945632B2 (ja) | 視線追跡を用いたvr、低遅延、無線hmdビデオストリーミングのためのフォービエイテッドビデオリンク | |
EP3804307B1 (en) | Fast region of interest coding using multi-segment resampling | |
US11727619B2 (en) | Video pipeline | |
EP3535644B1 (en) | Streaming virtual reality video | |
US20220222790A1 (en) | Gaze Direction-Based Adaptive Pre-Filtering of Video Data | |
US11164339B2 (en) | Fast region of interest coding using multi-segment temporal resampling | |
JP6870080B2 (ja) | 画像生成装置、画像表示システム、および画像生成方法 | |
JP6909286B2 (ja) | 画像生成装置、画像表示システム、および画像生成方法 | |
JP2006113534A (ja) | 画像表示装置、画像表示制御方法、プログラム及び情報記録媒体 | |
TWI746184B (zh) | 利用視線方向調整顯示模式的顯示裝置及其操作方法 | |
Kumar et al. | Black pearl: an alternative for mouse and keyboard | |
CN114047822A (zh) | 近眼显示方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190628 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190628 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200601 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200616 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200817 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201015 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201124 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210323 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210420 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210720 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210720 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210802 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210803 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210817 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210914 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6945632 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |