JP7441924B2 - 動画符号化システム - Google Patents

動画符号化システム Download PDF

Info

Publication number
JP7441924B2
JP7441924B2 JP2022176236A JP2022176236A JP7441924B2 JP 7441924 B2 JP7441924 B2 JP 7441924B2 JP 2022176236 A JP2022176236 A JP 2022176236A JP 2022176236 A JP2022176236 A JP 2022176236A JP 7441924 B2 JP7441924 B2 JP 7441924B2
Authority
JP
Japan
Prior art keywords
frequency
blocks
block
pixel
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022176236A
Other languages
English (en)
Other versions
JP2023017896A (ja
Inventor
ジム シー チョウ
ソリン シー シスマス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2023017896A publication Critical patent/JP2023017896A/ja
Priority to JP2024022596A priority Critical patent/JP2024056936A/ja
Application granted granted Critical
Publication of JP7441924B2 publication Critical patent/JP7441924B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、動画符号化システムに関する。
仮想現実（Virtual reality、ＶＲ）は、ユーザが没入型人工環境を体験及び／又はそれと相互作用して、それにより、ユーザが物理的にその環境内にいるかのように感じることを可能にする。例えば、仮想現実システムは、奥行きの錯覚を作り出すために、立体的シーンをユーザに表示してもよく、コンピュータは、シーンコンテンツをリアルタイムで調整して、ユーザがシーン内で移動する錯覚を提供することができる。ユーザが仮想現実システムを介して画像を見る場合、ユーザは、このように一人称の視点からシーン内で移動しているかのように感じることができる。同様に、複合現実（mixed reality、ＭＲ）は、コンピュータ生成情報（仮想コンテンツと呼ばれる）を実世界画像又は実世界視野と組み合わせてユーザの世界に対する視野を増強又はそのコンテンツを追加する。あるいは、複合現実は実世界のオブジェクトの仮想表現を３次元（３Ｄ）仮想世界のビューに組み合わせる。したがって、仮想現実のシミュレートされた環境及び／又は複合現実の複合環境を利用して、複数のアプリケーションの相互作用型ユーザエクスペリエンスを提供することができる。
高解像度動画ソースを、通信リンク（例えば、無線リンク）を介してデバイスに送信して、復号し、表示するために、低レイテンシで符号化することができる動画符号化システムの各種実施形態が記載される。動画符号化システムの実施形態はまた、デバイスに送信される符号化動画のグレースフルデグラデーションを提供し、通信リンクのチャネル容量の変化などの変動する条件下で、所望のフレームレートを維持することができる。動画符号化システムの例示的な適用は、仮想コンテンツを含む動画フレームがレンダリングされ、符号化され、基地局によってデバイス（例えば、ノートブック若しくはラップトップコンピュータ、パッド若しくはタブレットデバイス、スマートフォン、又はユーザによって装着され得るヘッドセット、ヘルメット、ゴーグル、若しくは眼鏡などのヘッドマウントディスプレイ（head-mounted display、ＨＭＤ）に送信されて復号され表示される、仮想又は複合現実システムにおける。
様々な方法及び装置が、無線リンクを介して目標フレームレートを維持し、フレームのレンダリング、伝送、及び表示におけるレイテンシを最小化するために、動画符号化システムによって実施され得る。加えて、方法及び装置は、通信リンクのチャネル容量の変化などの変動する条件下で所望のフレームレートを維持するために、デバイスに送信された符号化動画のグレースフルデグラデーションを提供することができる。
いくつかの実施形態では、動画符号化システムは、符号化する前の画素データに対してウェーブレット変換を実行し、画素データを周波数帯域に分解することができる。次いで、周波数帯域は、ブロックベースの符号化器に提供されるブロックに編成され、符号化／圧縮される。符号化された周波数データは、次いで、無線インタフェースに送られ、符号化された周波数データはパケット化され、パケットは受信デバイスに送信される。受信デバイス上で、符号化されたデータは、パケット復号され、ブロックベースの復号器を通過して、周波数帯域を復元する。次いで、復元された周波数帯域でウェーブレット合成を実行して、表示する画素データを再構成する。
いくつかの実施形態では、動画符号化システムは、スライスベースのレンダリング、符号化、及び伝達を実行することができる。フレーム全体を基地局内でレンダリングして符号化し、レンダリングされたフレームをデバイスに送信するのではなく、基地局は、フレームの一部又は部分（スライスと呼ばれる）をレンダリングして符号化し、符号化されたスライスを用意できた都度デバイスに送信してもよい。スライスベースのレンダリング及び符号化は、レイテンシを低減するのに役立ち得、バッファに必要とされるメモリの量もまた低減することができ、これにより、チップ（単数又は複数）又はプロセッサ（単数又は複数）上のメモリの接地面積、並びに必要電力を低減する。
いくつかの実施形態では、動画符号化システムは、タイルベースのレンダリング、符号化、及び伝達を実行することができる。タイルベースのレンダリング、符号化、及び伝達において、各スライスは、複数のタイル（例えば、４つのタイル）に分割されてもよく、基地局は、タイルをレンダリングして符号化し、符号化されたタイルを準備でき次第デバイスに送信してもよい。
いくつかの実施形態では、動画符号化システムは、単一の符号化器を使用してタイルベースの符号化を実行して、各スライスからのタイルを処理することができる。しかしながら、いくつかの実施形態では、動画符号化システムは、複数の符号化器を使用してタイルベースの符号化を実行して、各スライスからのタイルをそれぞれ処理することができる。例えば、いくつかの実施形態では、各スライスは４つのタイルに分割されてもよく、２つの符号化器は、各スライスからの２つのタイル上で動作してもよい。各符号化器は、異なる周波数帯域からのブロックの処理をタイルの間で多重化して、同じ周波数帯域からのブロックの処理の間に複数の時間単位を可能としてもよい。ブロックの処理をタイル間で多重化することにより、周波数帯域内のブロック間の依存関係に適切に対処することができる。
いくつかの実施形態では、動画符号化システムは、ウェーブレット変換の前にフレーム内で画素データのプレフィルタリングを実行することができる。いくつかの実施形態では、プレフィルタリングは、ウェーブレット変換の前に、基地局上のフレームに対してレンズワープ機能を実行することを含んでもよい。レンズワープは、画像が閲覧されるデバイス（例えばＨＭＤ）のレンズによって導入される画像の歪みを補正するために実行され、それによって画像の品質が改善される。プレフィルタステージにおいて基地局上でレンズワープを実行することによって、ウェーブレット変換及び符号化を実行する前にフレームの解像度を低減することができる。これにより、圧縮の改善に役立ち得、無線リンク上でのレイテンシ及び帯域幅の使用を低減することができる。加えて、レンズワープを、復号後にデバイスで行うのではなく、プレフィルタステージにおいて基地局で実行することにより、画像データのフィルタリングは一度実行するのみでよい。これは、符号化の前に解像度を低減するために基地局でフィルタリングを実行し、次いで、デバイス上でレンズワープフィルタリングを実行することと対照的である。
いくつかの実施形態では、プレフィルタリングは、中心窩領域内ではより高い解像度を維持しつつ、周辺領域での解像度を低減したフィルタリングを含んでもよい。この方法では、デバイスから取得された視線追跡情報を使用して、ユーザが現在見ている方向を識別することができる。中心窩（中心窩領域と呼ばれる）に対応するフレームの領域は、決定された視線方向に少なくとも部分的に基づいて特定されてもよい。いくつかの実施形態では、周辺領域（すなわち、中心窩領域の外側のフレームの部分）は、周辺領域における解像度を低減するためにプレフィルタリングされてもよい。
少なくともいくつかの実施形態に係る、符号化前にウェーブレット変換を使用して画素データを周波数帯域に分解する動画符号化システムを示すブロック図である。 少なくともいくつかの実施形態に係る、フレームからのタイルを並行して処理する複数の符号化器を含む動画符号化システムを示す。 少なくともいくつかの実施形態に係る、スライス及びタイルに分割された例示的なフレームを示す。 少なくともいくつかの実施形態に係る、ブロックに分割されたタイルの例を示す。 少なくともいくつかの実施形態に係る、符号化前に、画素データを記憶して周波数帯域データを生成する画素ブロックのウェーブレット変換を実行することを示す。 少なくともいくつかの実施形態に係る、図１及び図２に示すような動画符号化システムを含むＶＲ／ＭＲシステムの動作方法の高レベルフローチャートである。 少なくともいくつかの実施形態に係る、図１に示すような動画符号化システムの動作方法のフローチャートである。 少なくともいくつかの実施形態に係る、図２に示すような動画符号化システムの動作方法のフローチャートである。 少なくともいくつかの実施形態に係る、動画符号化システムを実装することができる例示的なＶＲ／ＭＲシステムを示す。 少なくともいくつかの実施形態に係る、図７に示すようなＶＲ／ＭＲシステムの構成要素を示すブロック図である。
本明細書は、「ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ（一実施形態）」又は「ａｎ ｅｍｂｏｄｉｍｅｎｔ（実施形態）」に対する参照を含む。「ｉｎ ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ（一実施形態において）」又は「ｉｎ ａｎ ｅｍｂｏｄｉｍｅｎｔ（ある実施形態において）」という語句表現は、必ずしも同一の実施形態を指すわけではない。特定の特徴、構造、又は特性は、本開示と一貫性を有するいずれかの好適な方式で組み合わされてもよい。
「ｃｏｍｐｒｉｓｉｎｇ（備える、含む）」。この用語はオープンエンドである。特許請求の範囲で使用されるとき、この用語は、追加の構造又はステップを除外しない。「１つ以上のプロセッサユニット・・・を備えた装置」と記載される請求項を検討する。このような請求項は、装置が追加の構成要素（例えば、ネットワークインタフェースユニット、グラフィック回路など）を含むことを除外しない。
「ｃｏｎｆｉｇｕｒｅｄ ｔｏ（ように構成されている）」。様々なユニット、回路、又は他の構成要素は、タスク又はタスク（複数）を実行する「ように構成されている」と説明又は請求されてもよい。このような文脈では、「構成されている」は、ユニット／回路／構成要素が、動作の間にそれらのタスク又はタスク（複数）を実行する構造（例えば、回路）を含むことを示すことによって構造を暗示するときに使用される。そのように、ユニット／回路／構成要素は、指定されたユニット／回路／構成要素が現在動作可能でない（例えば、オンの状態でない）ときでさえ、タスクを実行するように構成されていると言うことができる。「構成されている」という言葉と共に使用されるユニット／回路／構成要素は、ハードウェア、例えば、演算を実施するように実行可能なプログラム命令を記憶した回路、メモリなどを含む。ユニット／回路／構成要素が１つ以上のタスクを実行するように「構成されている」と記述することは、そのユニット／回路／構成要素に対して米国特許法第１１２条、段落（ｆ）が適用されないことが明示的に意図されている。加えて、「構成されている」は、ソフトウェア及び／又はファームウェア（例えば、ＦＰＧＡ又はソフトウェアを実行する汎用プロセッサ）によって操作され、対象のタスク（単数又は複数）を実行可能な方式で動作する一般的な構造体（例えば、一般的な回路）を含むことができる。「構成されている」はまた、１つ以上のタスクを実施又は実行するように適合されたデバイス（例えば、集積回路）を組み立てるように製造工程（例えば、半導体組み立て設備）を適合させることを含んでもよい。
「第１」、「第２」など。本明細書で使用されるように、これらの用語は、続く名詞の標識として使用され、いかなるタイプの順序付け（例えば、空間的、時間的、論理的など）も意味しない。例えば、バッファ回路は、「第１」及び「第２」の値に対する書き込み演算を実行するものとして本明細書で説明されてもよい。用語「第１」及び「第２」は、必ずしも第１の値が第２の値の前に書き込まれなければならないことを含意していない。
「基づいて」又は「従って」。本明細書で使用されるように、それらの用語は、判定に影響を及ぼす１つ以上の要因を説明するために使用される。それらの用語は、判定に影響を及ぼすことがある追加の要因を排除しない。すなわち、判定はそれらの要因のみに基づいているか、又は少なくとも部分的にそれらの要因に基づいていることがある。「Ｂに基づいてＡを判定する」というフレーズを検討する。このケースでは、ＢはＡの判定に影響を及ぼす要因であるが、このようなフレーズはＡの判定がＣにも基づいていることを除外しない。他の例では、ＡはＢのみに基づいて判定されてもよい。
「又は」。特許請求の範囲で使用されるとき、用語「又は」は、包括的論理和として使用され、排他的論理和として使用されない。例えば、語句「ｘ、ｙ、又はｚのうちの少なくとも１つ」は、ｘ、ｙ、及びｚのいずれか１つ、並びにこれらの任意の組み合わせを意味する。
動画符号化システムの各種実施形態を説明する。動画符号化システムの実施形態は、高解像度動画ソースを、通信リンク（例えば、無線リンク）を介してデバイスに送信して、復号し、表示するために、低レイテンシで符号化することができる。動画符号化システムの実施形態はまた、デバイスに送信される符号化動画のグレースフルデグラデーションを提供し、通信リンクのチャネル容量の変化などの変動する条件下で、所望のフレームレートを維持することができる。
動画符号化システムの例示的な適用は、仮想コンテンツを含む動画フレームがレンダリングされ、符号化され、デバイスに送信されて復号され表示される、仮想又は複合現実システムにおける。仮想又は複合現実システム（本明細書ではＶＲ／ＭＲシステムと呼ばれる）の実施形態が記載され、動画符号化システムの実施形態が実装され得る。いくつかの実施形態では、ＶＲ／ＭＲシステムは、デバイス（例えば、パッド若しくはタブレットデバイス、スマートフォン、又はユーザにより着用され、本明細書ではヘッドマウントディスプレイ（ＨＭＤ）と称される、ヘッドセット、ヘルメット、ゴーグル、若しくは眼鏡）と、本明細書では基地局と称する別個のコンピューティングデバイスとを含んでもよい。いくつかの実施形態では、デバイス及び基地局は、無線接続を介してデバイス及び基地局がデータを通信し交換することを可能にする無線通信技術をそれぞれ含み得る。いくつかの実施形態では、デバイスは、ユーザの環境に関する情報（例えば、動画、深度情報、照明情報など）、及びユーザに関する情報（例えば、ユーザの表情、眼の動き、手のジェスチャなど）を収集するセンサを含んでもよい。センサによって収集された情報は、無線接続を介して基地局に送信されてもよい。基地局は、無線接続を介してデバイスから受信したセンサ情報に少なくとも部分的に基づいて仮想コンテンツを含むフレームを生成しレンダリングするように構成されたソフトウェア及びハードウェア（例えば、プロセッサ（システムオンチップ（system on a chip、ＳＯＣ）、ＣＰＵ、画像信号プロセッサ（image signal processor、ＩＳＰ）、グラフィック処理ユニット（graphics processing unit、ＧＰＵ）、符号化器／復号器（コーデック）など）、メモリなど）を含み得る。基地局はまた、レンダリングされたフレームを予めフィルタリングし、圧縮し、無線接続を介してデバイスに送信して、表示することができる、本明細書に記載されるような動画符号化システムの実施形態を含んでもよい。
いくつかの実施形態では、ＶＲ／ＭＲシステムは、デバイスと基地局との間に高指向性の無線リンクを提供する独自の無線通信技術を実装することができる。いくつかの実施形態では、無線通信技術の指向性及び帯域幅は、複数のデバイスが同時に基地局と通信することをサポートすることができ、それにより、複数のユーザが共同設置環境において同時にシステムを使用することを可能にし得る。しかしながら、いくつかの実施形態では、他の商用（例えば、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈなど）又は独自の無線通信技術がサポートされてもよい。
無線リンクに関して考慮される主要な制約は、帯域幅及びレイテンシを含む。ＶＲ／ＭＲシステムの目標は、高解像度の広視野（field of view、ＦＯＶ）な仮想表示を、高品質のＶＲ／ＭＲ視野をユーザに提供するフレームレートで提供することである。別の目標は、フレームが基地局によってレンダリングされる時間と、フレームがデバイスによって表示される時間との間のレイテンシを最小化することである。しかしながら、無線リンクのチャネル容量は時間と共に変化することがあり、したがって、無線リンクは、任意の所与の時間に送信される情報のうち一定量のみをサポートする場合がある。
無線リンクを介して目標フレームレートを維持し、フレームのレンダリング、伝達、及び表示におけるレイテンシを最小化するために、動画符号化システムによって実施され得る様々な方法及び装置が本明細書に記載される。加えて、方法及び装置は、通信リンクのチャネル容量の変化などの変動する条件下で所望のフレームレートを維持するために、デバイスに送信された符号化動画のグレースフルデグラデーションを提供することができる。
いくつかの実施形態では、動画符号化システムは、符号化する前の符号画素データに対してウェーブレット変換を実行し、画素データを周波数帯域に分解することができる。次いで、周波数帯域は、ブロックベースの符号化器に提供されるブロックに編成され、符号化／圧縮される。一例として、フレームは１２８ｘ１２８のブロックに分割され、２レベルのウェーブレット分解を１２８ｘ１２８のブロックのそれぞれに適用して、３２ｘ３２の周波数データのブロックを１６個生成することができる。１６個の３２ｘ３２の周波数データブロックは、７つの周波数帯域を表しており、次いで、符号化器（例えば、高効率動画符号化（High Efficiency Video Coding、ＨＥＶＣ）符号化器）に送信され、符号化されてもよい。符号化された周波数データは、次いで、無線インタフェースに送られ、符号化された周波数データはパケット化され、パケットは受信デバイス（例えば、ＨＭＤ）に送信される。受信デバイス上で、符号化されたデータは、パケット復号され、ブロックベースの復号器を通過して、周波数帯域を復元する。次いで、復元された周波数帯域でウェーブレット合成を実行して、表示する画素データを再構成する。
ウェーブレット変換は、動画フレームからの画素ブロックそれぞれに適用される２レベルのウェーブレット分解である実施形態が一般に記載されるが、様々な実施形態では、ウェーブレット分解は、任意の数Ｎのレベル（例えば、１つのレベル、２つのレベル、３つのレベル、４つのレベルなど）であってよく、レベルの数Ｎは、符号化された画像の品質と符号化されるブロックの複雑度とをトレードオフするように調整されてもよい。
いくつかの実施形態では、ウェーブレット分解内のウェーブレット係数のそれぞれにコアリング（coring）関数を適用することができる。「Ｃｏｒｉｎｇ」は、係数のソフト閾値処理（soft-thresholding）を指し、ノイズを除去するのに有効である。これは、重要性の高い領域と、利用可能帯域幅との対比において、適応的に行うことができる。
いくつかの実施形態では、動画符号化システムは、スライスベースのレンダリング、符号化、及び伝達を実行することができる。フレーム全体をレンダリング、符号化、及び送信することは、各フレームが完了し、記憶され、次いでＶＲ／ＭＲシステムの次のステージに送信される必要があるため、レイテンシ及びメモリへの影響を有し得る。スライスベースのレンダリングでは、フレーム全体を基地局内でレンダリングして符号化し、レンダリングされたフレームをデバイスに送信するのではなく、基地局は、フレームの一部（スライスと呼ばれる）をレンダリングして符号化し、符号化されたスライスを準備でき次第デバイスに送信してもよい。スライスは、例えば、１２８ｘ１２８ブロック行、又は２つ以上のブロック行であってもよい。スライスベースのレンダリング及び符号化は、レイテンシを低減するのに役立ち得、バッファに必要とされるメモリの量もまた低減することができ、これにより、チップ（単数又は複数）又はプロセッサ（単数又は複数）上のメモリの接地面積、並びに必要電力を低減することができる。
いくつかの実施形態では、動画符号化システムは、タイルベースのレンダリング、符号化、及び伝達を実行することができる。タイルベースのレンダリング、符号化、及び伝達において、各スライスは、複数のタイル（例えば、４つのタイル）に分割されてもよく、基地局は、タイルをレンダリングして符号化し、符号化されたタイルを準備でき次第デバイスに送信してもよい。
いくつかの実施形態では、動画符号化システムは、単一の符号化器を使用してタイルベースの符号化を実行して、各スライスからのタイルを処理することができる。しかしながら、いくつかの実施形態では、動画符号化システムは、複数の符号化器を使用してタイルベースの符号化を実行して、各スライスからのタイルをそれぞれ処理することができる。例えば、いくつかの実施形態では、各スライスは４つのタイルに分割されてもよく、各タイルは複数の１２８ｘ１２８ブロックを含み、２つの符号化器（ｅ０及びｅ１）は、各スライスからの２つのタイルで動作してもよい（例えば、ｅ０はｔ０及びｔ１で動作し、ｅ１は、ｔ２及びｔ３で動作する）。各符号化器は、１６の時間単位を同じ周波数帯域からのブロックの処理の間で可能とするように、異なる周波数帯域からのブロックの処理を２つのタイルの間で多重化してもよい。ブロックの処理を２つのタイル間で多重化することにより、周波数帯域のブロック間の依存関係に適切に対処することができる。各スライスが４つのタイルに分割され、２つの符号化器が各スライスからのそれぞれのタイル上で動作する実施形態が記載されているが、いくつかの実施形態では、スライスをより多くのタイル（例えば、６つ又は８つのタイル）に分割することができ、いくつかの実施形態では、より多くの符号化器（例えば、３つ又は４つの符号化器）が使用されてもよい。
いくつかの実施形態では、動画符号化システムは、ウェーブレット変換の前にフレーム内で画素データのプレフィルタリングを実行することができる。プレフィルタリングは、例えば、フレームのウェーブレット変換、符号化、及び無線リンクを介してデバイスへの送信を実行する前に、基地局によってレンダリングされるフレームの解像度を低減することができる。これにより、圧縮の改善に役立ち得、無線リンク上でのレイテンシ及び帯域幅の使用を低減することができる。
デバイスがＨＭＤであるいくつかの実施形態では、プレフィルタリングは、ウェーブレット変換の前に、基地局上のフレームに対してレンズワープ（lens warp）を実行することを含んでもよい。レンズワープは、画像が閲覧されるＨＭＤ上のレンズによって導入される画像の歪みを補正するために実施され、それによって画像の品質を改善する。いくつかの実施形態では、ＨＭＤは、例えば較正プロセスによって生成されたレンズのレンズワープデータを記憶することができ、無線接続を介してレンズワープデータを基地局に提供することができる。次いで、基地局は、そのＨＭＤに関するレンズワープデータに基づいて、フレーム上でレンズワープを実行することができる。従来のＶＲ／ＭＲシステムでは、レンズワープは、復号後表示前にＨＭＤで実行される。プレフィルタステージにおいて基地局上でレンズワープを実行することによって、ウェーブレット変換及び符号化を実行する前にフレームの解像度を低減することができる。これにより、圧縮の改善に役立ち得、無線リンク上でのレイテンシ及び帯域幅の使用を低減することができる。加えて、レンズワープを、復号後にＨＭＤで行うのではなく、プレフィルタステージにおいて基地局で実行することにより、画像データのフィルタリングは一度実行するのみでよい。これは、符号化の前に解像度を低減するために基地局でフィルタリングを実行し、次いで、ＨＭＤ上でレンズワープフィルタリングを実行することと対照的である。
いくつかの実施形態では、プレフィルタリングは、中心窩領域内ではより高い解像度を維持しつつ、周辺領域での解像度を低減したフィルタリングを含んでもよい。この方法では、デバイスから取得された視線追跡情報を使用して、ユーザが現在見ている方向を識別することができる。人間の眼は、周辺領域よりも中心窩領域においてより高い解像度を知覚することができる。したがって、中心窩（中心窩領域と呼ばれる）に対応するフレームの領域は、決定された視線方向に少なくとも部分的に基づいて特定されてもよい。いくつかの実施形態では、周辺領域（すなわち、フレームの中心窩領域の外側の部分）は、人間の視覚システムの知識に基づいて情報を減らすように、例えば、高周波数情報をフィルタリングし、かつ／又は、色圧縮を増加させることによって、プレフィルタリングされていてもよい。いくつかの実施形態では、周辺領域に適用されるフィルタリングの量は、フレームの周辺に向かって伸びつつ増加してもよい。周辺領域のプレフィルタリングは、フレームの圧縮の改善を助けることができる。
図１は、少なくともいくつかの実施形態に係る、符号化前のウェーブレット変換を使用して画素データを周波数帯域に分解する動画符号化システム１２０を示すブロック図である。ＶＲ／ＭＲシステム１０は、少なくとも１つのデバイス１５０（例えば、パッド若しくはタブレットデバイス、スマートフォン、又は、ユーザによって装着され得るヘッドセット、ヘルメット、ゴーグル、若しくは眼鏡などのＨＭＤ）及びコンピューティングデバイス１００（本明細書では基地局と呼ばれる）を含んでもよい。基地局１００は、仮想コンテンツを含むＶＲ又はＭＲフレームをレンダリングし、フレームを符号化し、デバイス１５０によって復号され表示されるように、符号化されたフレームを無線接続１８０を介してデバイス１５０に送信する。
いくつかの実施形態では、ＨＭＤ１５０は、ユーザ１９０の環境に関する情報（例えば、動画、深度情報、照明情報など）、及びユーザ１９０に関する情報（例えば、ユーザの表情、眼の動き、視線の方向、手のジェスチャなど）を収集するセンサ１６０を含んでもよい。デバイス１５０は、センサ１６０によって収集された情報の少なくとも一部を、無線接続１８０を介して基地局１００に送信してもよい。基地局１００は、センサ１６０から取得された様々な情報に少なくとも部分的に基づいて、仮想コンテンツを含むデバイス１５０によって表示するためのフレームをレンダリングし、フレームを符号化し、符号化されたフレームを、復号しユーザに対し表示するために、無線接続１８０を介してデバイス１５０に送信することができる。
基地局１００及びデバイス１５０は、基地局１００及びデバイス１５０が無線接続１８０を介してデータを通信し交換することを可能にする無線通信技術を実装してもよい。いくつかの実施形態では、無線接続１８０は、デバイス１５０と基地局１００との間に高指向性無線リンクを提供する独自の無線通信技術に従って実装されてもよい。しかしながら、いくつかの実施形態では、他の商用の（例えば、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈなど）又は独自の無線通信技術が使用されてもよい。
ＶＲ／ＭＲシステム１０内のデバイス１５０と基地局１００との間の無線接続１８０に関して考慮される主要な制約は、帯域幅及びレイテンシを含む。例えば、いくつかの実施形態では、目標は、高解像度の広角視野（ＦＯＶ）仮想表示を、高品質のＶＲ／ＭＲ視野をユーザに提供するフレームレートでユーザに提供することである。別の目標は、動画フレームがデバイスによってキャプチャされた時間と、動画フレームに基づいてレンダリングされたＶＲ／ＭＲフレームがデバイスにより表示される時間との間のレイテンシを最小化することである。
基地局１００は、本明細書に記載されるような動画及び／又は画像をレンダリング、フィルタリング、符号化、並びに送信するための様々なハードウェア構成要素、例えば、様々なタイプのプロセッサ、集積回路（ＩＣ）、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、画像信号プロセッサ（ＩＳＰ）、符号化器／復号器（コーデック）などを含んでもよい。基地局１００は、ＧＰＵレンダリング１１０構成要素、無線インタフェース１３０構成要素、並びに無線接続１８０を介して目標フレームレートを維持し、フレームレンダリング、符号化、伝達、及び表示におけるレイテンシを最小化するのに役立ち得る様々な方法を実装する１つ以上のハードウェア構成要素を含み得る、動画符号化システム１２０を含み得るが、これらに限定されない。動画符号化システム１２０は、プレフィルタ１２２構成要素（例えば、Ｎチャネルのフィルタバンク）、ウェーブレット変換１２４構成要素、及び符号化器１２６構成要素を含み得るが、これらに限定されない。
ＧＰＵレンダリング１１０は、センサ１６０から取得された様々な情報に少なくとも部分的に基づいて、仮想コンテンツを含むデバイス１５０によって表示するためのフレームをレンダリングすることができる１つ以上のハードウェア構成要素を含み得る。
いくつかの実施形態では、動画符号化システム１２０は、ウェーブレット変換１２４を実行する前にレンダリングされたフレーム内の画素データをプレフィルタリング１２２する１つ以上のハードウェア構成要素を含んでもよい。プレフィルタ１２２は、例えば、フレームのウェーブレット変換１２４、符号化１２６、無線接続１８０を介してデバイス１５０への送信を実行する前に、基地局１００上でレンダリングされたフレームの解像度を低減することができる。これにより、圧縮の改善に役立ち得、無線接続１８０上でのレイテンシ及び帯域幅の使用を低減することができる。
いくつかの実施形態では、プレフィルタ１２２は、ウェーブレット変換１２４の前に、基地局１００上のフレームに対してレンズワープを実行してもよい。レンズワープは、画像が閲覧されるデバイス上のレンズによって導入される画像の歪みを補正するために実行され、それによって画像の品質が改善される。いくつかの実施形態では、デバイス１５０は、例えば較正プロセスによって生成されたレンズのレンズワープデータを記憶することができ、無線接続１８０を介してレンズワープデータを基地局１００に提供することができる。次いで、動画符号化システム１２０のプレフィルタ１２２構成要素は、そのデバイス１５０のレンズワープデータに基づいてフレーム上でレンズワープを実行することができる。従来のＶＲ／ＭＲシステムでは、レンズワープは、復号後表示前にデバイス１５０上で実行される。プレフィルタ１２２ステージにおいて基地局１００上でレンズワープを実行することによって、ウェーブレット変換１２４及び符号化１２６を実行する前にフレームの解像度を低減することができる。これにより圧縮の改善に役立ち得、無線接続１８０上でのレイテンシ及び帯域幅の使用を低減することができる。加えて、レンズワープを、復号後にデバイス１５０で行うのではなく、プレフィルタ１２２ステージにおいて基地局１００で実行することにより、画像データのフィルタリングは一度実行するのみでよい。これは、符号化１２６の前に解像度を低減するために基地局１００でフィルタリングを実行し、次いで、デバイス１５０上でレンズワープフィルタリングを実行することと対照的である。
いくつかの実施形態では、プレフィルタ１２２はまた、中心窩領域内ではより高い解像度を維持しつつ、周辺領域内の解像度を低減する、１つ以上のフィルタを適用してもよい。この方法では、デバイス１５０から取得された視線追跡情報を使用して、ユーザが現在見ている方向を識別することができる。人間の眼は、周辺領域よりも中心窩領域においてより高い解像度を知覚することができる。したがって、中心窩（中心窩領域と呼ばれる）に対応するフレームの領域は、決定された視線方向に少なくとも部分的に基づいて特定されてもよい。いくつかの実施形態では、周辺領域（すなわち、フレームの中心窩領域の外側の部分）は、人間の視覚システムの知識に基づいて情報を減らすように、例えば、高周波数情報をフィルタリングし、かつ／又は、色圧縮を増加させることによって、プレフィルタリングされていてもよい。いくつかの実施形態では、周辺領域に適用されるフィルタリングの量は、フレームの周辺に向かって伸びつつ増加してもよい。周辺領域のプレフィルタリングは、フレームの圧縮の改善を助けることができる。
いくつかの実施形態では、動画符号化システム１２０のウェーブレット変換１２４構成要素は、符号化する前の画素データに対してウェーブレット変換を実行し、画素データを周波数帯域に分解する、１つ以上のハードウェア構成要素（例えば、Ｎチャネルのフィルタバンク）を含んでもよい。次いで、周波数帯域は、ブロックベースの符号化器１２６に提供されるブロックに編成され、符号化／圧縮される。一例として、図３Ａ～３Ｃに示されるように、フレームは１２８ｘ１２８のブロックに分割され、２レベルのウェーブレット分解を１２８ｘ１２８のブロックのそれぞれに適用して、３２ｘ３２のブロックを１６個生成することができる。１６個の３２ｘ３２の周波数データブロックは、７つの周波数帯域を表しており、次いで、ブロックベースの符号化器（例えば、高効率動画符号化（ＨＥＶＣ）符号化器）１２６に送信され、符号化されてもよい。符号化された周波数データは、次いで、１つ以上のハードウェア構成要素を実装した無線インタフェース１３０に送信される。これにより、データはパケット化され、パケットは無線接続１８０を介してデバイス１５０に送信される。
デバイス１５０は、本明細書に記載されるような動画及び／又は画像を復号し表示するための様々なハードウェア構成要素、例えば、様々なタイプのプロセッサ、集積回路（ＩＣ）、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、画像信号プロセッサ（ＩＳＰ）、符号化器／復号器（コーデック）などを含んでもよい。デバイス１５０は、無線インタフェース１５２、復号器１５４構成要素（例えば、高効率動画符号化（ＨＥＶＣ）復号器）、ウェーブレット合成１５６構成要素、及びディスプレイ１５８構成要素を含み得るが、これらに限定されない。デバイス１５０上で、無線インタフェース１５２は、基地局１００によって無線接続１８０を介して送信されたパケットを受信する。符号化されたデータは、パケット復号され、ブロックベースの復号器１５４（例えば、高効率動画符号化（ＨＥＶＣ）復号器）を通過して、周波数帯域を復元する。次いで、ウェーブレット合成１５６が復元された周波数データ上で実行されて、ディスプレイ１５８のための画素データを再構成する。
いくつかの実施形態では、動画符号化システム１２０は、スライスベースのレンダリング、符号化、及び伝達を実行することができる。フレーム全体をレンダリング、符号化、及び送信することは、各フレームが完了し、記憶され、次いでＶＲ／ＭＲシステム１０の次のステージに送信される必要があるため、レイテンシ及びメモリへの影響を有し得る。スライスベースのレンダリングでは、フレーム全体を基地局１００内でレンダリングして符号化し、レンダリングされたフレームをデバイス１５０に送信するのではなく、基地局１００は、フレームの一部（スライスと呼ばれる）をレンダリングして符号化し、符号化されたスライスを準備でき次第デバイス１５０に送信してもよい。スライスは、例えば、１２８ｘ１２８のブロック行であってもよい。スライスベースのレンダリング及び符号化は、レイテンシを低減するのに役立ち得、バッファに必要とされるメモリの量もまた低減することができ、これにより、チップ（単数又は複数）又はプロセッサ（単数又は複数）上のメモリの接地面積、並びに必要電力を低減する。
いくつかの実施形態では、動画符号化システム１２０は、タイルベースのレンダリング、符号化、及び伝達を実行することができる。タイルベースのレンダリング、符号化、及び伝達において、各スライスは、複数のタイル（例えば、４つのタイル）に分割されてもよく、基地局１００は、タイルをレンダリングして符号化し、符号化されたタイルを準備でき次第デバイス１５０に送信してもよい。
いくつかの実施形態では、動画符号化システム１２０は、単一の符号器１２６を使用して、タイルベースのレンダリング、符号化、及び伝達を実行し、各スライスからのタイルを処理することができる。しかしながら、いくつかの実施形態では、動画符号化システム１２０は、複数の符号化器１２６を使用してタイルベースの符号化を実行して、各スライスからのタイルをそれぞれ処理することができる。図２は、少なくともいくつかの実施形態に係る、レンダリングされたフレームからのタイルを並行して処理する複数の符号化器（この例では２つの符号化器２２６Ａ及び２２６Ｂ）を含む動画符号化システム２２０を示す。
基地局２００のＧＰＵレンダリング２１０構成要素は、ディスプレイのためのフレーム（又はフレームのスライス）をレンダリングする１つ以上のＧＰＵ及び／又は他の構成要素を含み得る。フレームは、例えば図３Ａに示すように、スライスに分割されてもよい。図３Ａに示すように、各スライスは、複数のタイル（この例では４つ）に分割されてもよく、各タイルは複数のブロックを含む。図３Ｂは、４個の１２８ｘ１２８のブロックを含む例示的なタイルを示す。しかしながら、いくつかの実施形態では、他のサイズ（例えば、６４ｘ６４、３２ｘ３２など）のブロックが使用されてもよく、タイルは、より多い又は、より少ないブロックを含んでもよい。
動画符号化システム２２０のプレフィルタ２２２及びウェーブレット変換２２４構成要素は、次いで、符号化２２６の前に各タイルを処理することができる。いくつかの実施形態では、動画符号化システム２２０は、各タイルを処理するための別個のプレフィルタ２２２構成要素及びウェーブレット変換２２４構成要素を含むことができる。この例では、プレフィルタ２２２Ａ構成要素及びウェーブレット変換２２４Ａ構成要素がタイル０を処理し、プレフィルタ２２２Ｂ構成要素及びウェーブレット変換２２４Ｂ構成要素がタイル１を処理し、プレフィルタ２２２Ｃ構成要素及びウェーブレット変換２２４Ｃ構成要素がタイル２を処理し、プレフィルタ２２２Ｄ構成要素及びウェーブレット変換２２４Ｄ構成要素がタイル３を処理する。プレフィルタ２２２構成要素は、本明細書に記載されるようなタイルのプレフィルタリングを実行し、ウェーブレット変換２２４構成要素は、本明細書に記載されるように、タイルを周波数帯域に分解する。しかしながら、いくつかの実施形態では、動画符号化システム２２０は、タイルを処理する単一のプレフィルタ２２２構成要素及び単一のウェーブレット変換２２４構成要素を含むことができる。いくつかの実施形態では、動画符号化システム２２０は、複数の（例えば、２つの）プレフィルタ２２２構成要素及び複数の（例えば、２つの）ウェーブレット変換２２４構成要素を含むことができ、それぞれが複数の（例えば、２つの）タイルを処理する。
２つの符号化器２２６Ａ及び２２６Ｂは、各スライスからの２つのタイル上で動作してもよい（例えば、符号化器２２６Ａはタイル０及びタイル１で動作し、符号化器２２６Ｂはタイル２及びタイル３上で動作する）。各符号化器２２６は、１６の時間単位を同じ周波数帯域からのブロックの処理の間で可能とするように、異なる周波数帯域（すなわち、図３Ｃに例示される３２ｘ３２のブロック１６個）からのブロックの処理を２つのタイルの間で多重化してもよい。ブロックの処理を２つのタイル間で多重化することにより、同じ周波数帯域におけるブロック間の依存関係に適切に対処することができる。
各スライスが４つのタイルに分割され、２つの符号化器が各スライスからそれぞれのタイル上で動作する実施形態が記載されているが、いくつかの実施形態では、スライスをより多くのタイル（例えば、６つ又は８つのタイル）に分割することができ、いくつかの実施形態では、より多くの符号化器（例えば、３つ、４つ、又はそれ以上の符号化器）を使用することができる。
図３Ｃは、少なくともいくつかの実施形態に係る、符号化前に、画素データを記憶して周波数帯域データを生成する画素ブロックのウェーブレット変換を実行することを示す。この実施例では、ウェーブレット変換３２４構成要素によって２レベルウェーブレット分解が１２８ｘ１２８の画素ブロック３００に適用されて、７つの周波数帯域を表す周波数データである１６個の３２ｘ３２のブロック３０２を生成する。次いで、周波数ブロック３０２は、符号化のために符号化器３２６に提供される。例えば、周波数ブロック３０２は、ウェーブレット変換３２４構成要素によってバッファに書き込まれ、符号化器３２６構成要素によってバッファから読み出されてもよい。
周波数ブロック３０２のラベルにおいて、文字Ｌはローパスフィルタを表し、文字Ｈはハイパスフィルタを表す。ラベルが２文字のブロック３０２は、１レベル（２Ｄ）のウェーブレット変換又は分解を表す。ラベルが２文字のブロック３０２（７つの周波数帯域のうちの３つであるＬＨ、ＨＬ、及びＨＨを表す）において、第１の文字は、１番目に実行される垂直フィルタ（高又は低のいずれか）を表し、第２の文字は、２番目に実行される水平フィルタ（高又は低のいずれか）を表す。ラベルが４文字のブロック３０２は、２レベルのウェーブレット変換又は分解を表す。ラベルが４文字のブロック３０２において、第１の２文字（ＬＬ）は、最初に垂直ローパスフィルタが存在し、水平ローパスフィルタが続くことを示す。第２の２文字は、その結果生じたＬＬブロックがＬＬ、ＬＨ、ＨＬ、及びＨＨの４通りにフィルタリングされた（したがって、７つの周波数帯域のうちの４つ（ＬＬＬＬ、ＬＬＬＨ、ＬＬＨＬ、及びＬＬＨＨ）が生成されている）ことを示す。
図３Ｃに示すように画素データを周波数帯域に分解することにより、周波数帯域は、符号化器３２６によって別個のストリームとしてバッファリングされ、処理されることが可能となる。周波数帯域を別個のストリームとして処理することにより、符号化器３２６の構成要素は、独立したストリームの処理を多重化することが可能となる。ＨＥＶＣ符号化などのブロックベースの符号化方法では、ブロック（符号化ツリーユニット（ＣＴＵ）と呼ばれる）は、ブロック処理パイプラインにおいて複数のステージで処理される。２つ以上のブロックは、所与のクロックサイクルにおいてパイプラインの異なるステージにあってもよく、ブロックは、クロックのサイクルが進むにつれてパイプラインを通って移動する。所与のブロックの処理は、以前に処理された１つ以上の近隣ブロック、例えば、所与のブロックの上の行の１つ以上のブロック、及び／又は、所与のブロックの左側のブロックへの依存関係を有し得る。周波数帯域データのストリームの処理を多重化することによって、符号化器３２６は、所与のストリーム内のブロックの処理を間をあけて配置し、それにより、所与のブロックが依存関係を有する近隣ブロックを処理するために追加のクロックサイクルを提供する。例えば、所与のブロックが以前に処理された近隣ブロックに依存するステージに到達したときに、所与のブロックの左側のブロックは、パイプライン内で所与のブロックに数ステージ先行するブロックであってもよい。これにより、符号化器３２６は、以前に処理されたブロックに対する依存関係により適切に対処可能となり、隣接ブロックに依存するステージにおける所与のブロックの処理を行前に、パイプライン内の近隣ブロックの処理の完了を待つ必要性を低減又は排除することができる。
加えて、図３Ｃに示すように画素データを周波数帯域に分解することにより、符号化器３２６及び無線インタフェースによって周波数帯域の優先が可能となる。典型的に、画像及び動画送信では、より低い周波数がより重要である一方、より高い周波数の重要性は薄い。より高い周波数は、通常、画像の詳細に対応し、したがって、優先度は、より低いと見なすことができる。より高い周波数帯域には、画像内のエネルギーのより小さい割合が含まれる。エネルギーの大部分は、より低い周波数帯域に含まれる。このように、画素データを周波数帯域に分解することにより、データストリームを符号化及び送信するときに符号化器３２６及び無線インタフェースによって活用され得るデータストリームへの優先順位付けを提供する。例えば、いくつかの実施形態では、異なる圧縮技術を異なる周波数帯域に使用することができ、より低い優先度の帯域により積極的な圧縮を適用し、より高い優先度の帯域にはより控えめな圧縮を適用してもよい。別の例として、周波数帯域の優先順位付けは、ＶＲ／ＭＲシステムのグレースフルデグラデーションを提供するのに役立ち得る。無線接続の性能を監視することができ、デバイスからのフィードバックを考慮して、システム全体のパフォーマンスを追跡することができる。何らかの理由でシステムの性能が低下した場合、例えば、無線接続の質が低下し、無線接続の帯域幅容量が閾値を下回る場合、符号化器３２６及び無線インタフェースは、より低い周波数帯域の１つ以上の符号化及び送信を優先することができ、より低い優先度レベルを割り当てられた１つ以上の周波数レベル、例えば、１つ以上のより高い周波数帯域の符号化及び／若しくは送信を低減又は低下させることができる。
上述のように、ウェーブレット変換は、画像を周波数帯域に分解する。いくつかの実施形態では、これは、異なる解像度のディスプレイに同じ信号を送信するために活用されてもよい。一例として、２レベルウェーブレット分解を適用して、７つの周波数帯域に信号を分解することができる。４つの帯域（ＬＬＬＬ、ＬＬＬＨ、ＬＬＨＬ、及びＬＬＨＨ）が表示パネルに送信される場合、帯域は、より低い視覚品質で元の意図された解像度に再構成されてもよい。代替として、より低い表示解像度を有する表示パネルに好適であり得る１／４の解像度（各寸法において１／２）で再構成されてもよい。
図４は、少なくともいくつかの実施形態に係る、図１及び図２に示すような動画符号化システムを含むＶＲ／ＭＲシステムの動作方法の高レベルフローチャートである。４００で示されるように、デバイスは、無線接続を介して基地局にデータを送信する。４１０で示されるように、基地局は、デバイスから受信したデータに少なくとも部分的に基づいて、仮想コンテンツを含むフレームをレンダリングする。４２０で示されるように、基地局は、レンダリングされたデータを圧縮し、圧縮されたデータを無線接続を介してデバイスに送信する。４３０で示されるように、デバイスは、仮想コンテンツを展開して表示して、ユーザによる閲覧のための３Ｄ仮想ビューを生成する。４３０から４００に戻る矢印によって示されるように、この方法は、ユーザがＶＲ／ＭＲシステムを使用している限り継続する。
いくつかの実施形態では、フレーム全体を基地局内でレンダリングして符号化し、レンダリングされたフレームをデバイスに送信するのではなく、基地局は、フレームの一部（スライスと呼ばれる）をレンダリングして符号化し、符号化されたスライスを準備でき次第デバイスに送信してもよい。スライスは、例えば、１２８ｘ１２８のブロック行であってもよい。いくつかの実施形態では、動画符号化システムは、タイルベースのレンダリング、符号化、及び伝達を実行することができる。タイルベースのレンダリング、符号化、及び伝達において、各スライスはそれぞれ１つ以上のブロックを含む複数のタイル（例えば、それぞれ４個のブロックを含む４つのタイル）に分割されてもよく、基地局は、タイルをレンダリングして符号化し、符号化されたタイルを準備でき次第デバイスに送信してもよい。
図５は、少なくともいくつかの実施形態に係る、図１に示すような動画符号化システムの動作方法のフローチャートである。図５の方法は、例えば、図４の４２０において実行されてもよい。図５の方法は、スライスベースの符号化及び送信が実行されていると仮定する。しかしながら、いくつかの実施形態では、タイルベースの符号化及び送信が実行されてもよい。
５１０で示されるように、プレフィルタ構成要素は、フレームのスライス内の画素ブロックにレンズワープ及び／又は中心窩フィルタを適用する。いくつかの実施形態では、プレフィルタリングは、ウェーブレット変換の前に、基地局上のフレームに対してレンズワープを実行することを含んでもよい。レンズワープは、画像が閲覧されるデバイス上のレンズによって導入される画像の歪みを補正するために実行され、それによって画像の品質が改善される。いくつかの実施形態では、デバイスは、例えば較正プロセスによって生成されたレンズのレンズワープデータを記憶することができ、無線接続を介してレンズワープデータを基地局に提供することができる。次いで、基地局は、そのデバイスのレンズワープデータに基づいて、フレーム上でレンズワープを実行することができる。プレフィルタステージにおいて基地局上でレンズワープを実行することによって、ウェーブレット変換及び符号化を実行する前にフレームの解像度を低減することができる。これにより、圧縮の改善に役立ち得、無線リンク上でのレイテンシ及び帯域幅の使用を低減することができる。加えて、レンズワープを、復号後にデバイスで行うのではなく、プレフィルタステージにおいて基地局で実行することにより、画像データのフィルタリングは一度実行するのみでよい。これは、符号化の前に解像度を低減するために基地局でフィルタリングを実行し、次いで、デバイス上でレンズワープフィルタリングを実行することと対照的である。
いくつかの実施形態では、５１０でのプレフィルタリングは、中心窩領域内ではより高い解像度を維持しつつ、周辺領域での解像度を低減したフィルタリングもまた含んでもよい。いくつかの実施形態では、デバイスから取得された視線追跡情報を使用して、ユーザが現在見ている方向を識別することができる。中心窩（中心窩領域と呼ばれる）に対応するフレームの領域は、決定された視線方向に少なくとも部分的に基づいて特定されてもよい。周辺領域（すなわち、フレームの中心窩領域の外側の部分）は、人間の視覚システムの知識に基づいて情報を減らすように、例えば、高周波数情報をフィルタリングし、かつ／又は、色圧縮を増加させることによって、プレフィルタリングされていてもよい。周辺領域のプレフィルタリングは、フレームの圧縮の改善を助けることができる。
５２０で示されるように、ウェーブレット変換構成要素は、画素ブロックにウェーブレット変換技術を適用して、画素データをＮ個の（例えば、７つの）周波数帯域に分解する。次いで、周波数帯域は、ブロックベースの符号化器に提供されるブロックに編成され、符号化／圧縮される。一例として、フレームを１２８ｘ１２８のブロックに分割することができ、２レベルのウェーブレット分解を各１２８ｘ１２８のブロックに適用して、例えば図３Ｃに示すように、７つの周波数帯域を表す周波数データの３２ｘ３２ブロックを１６個生成することができる。
５３０で示されるように、符号化器は、符号化技術をブロック内の周波数帯域に適用して、データを圧縮する。符号化器は、例えば、高効率動画符号化（ＨＥＶＣ）符号化器であってもよい。しかしながら、いくつかの実施形態では、他の符号化技術が使用されてもよい。要素５２０で示されるように画素データを周波数帯域に分解することにより、周波数帯域は、符号化器によって別個のストリームとしてバッファリングされ、処理されることが可能となる。別個のストリームとして周波数帯域を処理することにより、符号化器の構成要素は、独立したストリームの処理を多重化することが可となる。ＨＥＶＣ符号化などのブロックベースの符号化方法では、ブロック（符号化ツリーユニット（ＣＴＵ）と呼ばれる）は、パイプラインにおいて複数のステージで処理される。２つ以上のブロックは、所与のクロックサイクルにおいてパイプラインの異なるステージにあってもよく、ブロックは、クロックのサイクルが進むにつれてパイプラインを通って移動する。所与のブロックの処理は、以前に処理された１つ以上の近隣ブロック、例えば、所与のブロックの上の行の１つ以上のブロック、及び／又は、所与のブロックの左側のブロックへの依存関係を有し得る。ストリームの処理を多重化することによって、符号化器は、所与のストリーム内のブロックの処理を間をあけて配置し、それにより、所与のブロックが依存関係を有する近隣ブロックを処理するために追加のクロックサイクルを提供する。例えば、所与のブロックが以前に処理された近隣ブロックに依存するステージに到達したときに、所与のブロックの左側のブロックは、パイプライン内で所与のブロックに数ステージ先行するブロックであってもよい。これにより、符号化器は、以前に処理されたブロックに対する依存関係により適切に対処可能となり、隣接ブロックに依存するステージにおける所与のブロックの処理を行う前に、パイプライン内の近隣ブロックの処理の完了を待つ必要性を低減又は排除することができる。
５４０で示されるように、無線インタフェースは、圧縮されたデータをパケット化し、無線接続を介してパケットをデバイスに送信する。
要素５２０で示されるように画素データを周波数帯域に分解することにより、要素５３０での符号化器及び要素５４０での無線インタフェースによって周波数帯域の優先が可能となる。典型的に、画像及び動画送信では、より低い周波数がより重要である一方、より高い周波数の重要性は薄い。より高い周波数は、通常、画像の詳細に対応し、したがって、優先度は、より低いと見なすことができる。より高い周波数帯域には、画像内のエネルギーのより小さい割合が含まれる。エネルギーの大部分は、より低い周波数帯域に含まれる。このように、画素データを周波数帯域に分解することにより、データストリームを符号化及び送信するときに符号化器及び無線インタフェースによって活用され得るデータストリームへの優先順位付けを提供する。例えば、いくつかの実施形態では、異なる圧縮技術を異なる周波数帯域に使用することができ、より低い優先度の帯域により積極的な圧縮を適用し、より高い優先度の帯域にはより控えめな圧縮を適用してもよい。別の例として、周波数帯域の優先順位付けは、ＶＲ／ＭＲシステムのグレースフルデグラデーションを提供するのに役立ち得る。無線接続の性能を監視することができ、デバイスからのフィードバックを考慮して、システム全体のパフォーマンスを追跡することができる。何らかの理由でシステムの性能が低下した場合、例えば、無線接続の質が低下し、無線接続の帯域幅容量が閾値を下回る場合、符号化器及び無線インタフェースは、より低い周波数帯域の１つ以上の符号化及び送信を優先することができ、より低い優先度レベルを割り当てられた１つ以上の周波数レベル、例えば、１つ以上のより高い周波数帯域の符号化及び／若しくは送信を低減又は低下させることができる。
５５０において、符号化及び送信されるスライスが更に存在する場合、方法は、要素５１０に戻り、次のスライスを処理する。さもなければ、５６０において、符号化及び送信されるフレームが更に存在する場合、方法は要素５１０に戻り、次のフレームの処理を開始する。
図６は、少なくともいくつかの実施形態に係る、図２に示すような動画符号化システムの動作方法のフローチャートである。図６の方法は、例えば、図４の４２０において実行されてもよい。図６の方法では、動画符号化システムは、複数の符号化器を使用してタイルベースの符号化を実行して、各スライスからのタイルをそれぞれ処理することができる。
６００で示されるように、レンダリングエンジンは、複数のタイル（この例では４つのタイル）を含むスライスをレンダリングし、各タイルは、複数の画素ブロック（この例では、４個の１２８ｘ１２８の画素ブロック）を含む。
６１０で示されるように、プレフィルタ構成要素は、レンズワープ及び／又は中心窩フィルタをスライスに適用する。いくつかの実施形態では、プレフィルタリングは、ウェーブレット変換の前に、基地局上のフレームに対してレンズワープを実行することを含んでもよい。レンズワープは、画像が閲覧されるデバイス上のレンズによって導入される画像の歪みを補正するために実行され、それによって画像の品質が改善される。いくつかの実施形態では、デバイスは、例えば較正プロセスによって生成されたレンズのレンズワープデータを記憶することができ、無線接続を介してレンズワープデータを基地局に提供することができる。次いで、基地局は、そのデバイスのレンズワープデータに基づいて、フレーム上でレンズワープを実行することができる。プレフィルタステージにおいて基地局上でレンズワープを実行することによって、ウェーブレット変換及び符号化を実行する前にフレームの解像度を低減することができる。これにより、圧縮の改善に役立ち得、無線リンク上でのレイテンシ及び帯域幅の使用を低減することができる。加えて、レンズワープを、復号後にデバイスで行うのではなく、プレフィルタステージにおいて基地局で実行することにより、画像データのフィルタリングは一度実行するのみでよい。これは、符号化の前に解像度を低減するために基地局でフィルタリングを実行し、次いで、デバイス上でレンズワープフィルタリングを実行することと対照的である。
いくつかの実施形態では、６１０でのプレフィルタリングは、中心窩領域内ではより高い解像度を維持しつつ、周辺領域での解像度を低減したフィルタリングもまた含んでもよい。いくつかの実施形態では、デバイスによって取得された視線追跡情報を使用して、ユーザが現在見ている方向を識別することができる。中心窩（中心窩領域と呼ばれる）に対応するフレームの領域は、決定された視線方向に少なくとも部分的に基づいて特定されてもよい。周辺領域（すなわち、フレームの中心窩領域の外側の部分）は、人間の視覚システムの知識に基づいて情報を減らすように、例えば、高周波数情報をフィルタリングし、かつ／又は、色圧縮を増加させることによって、プレフィルタリングされていてもよい。周辺領域のプレフィルタリングは、フレームの圧縮の改善を助けることができる。
いくつかの実施形態では、動画符号化システムは、タイルを処理する単一のプレフィルタ構成要素を含み得る。いくつかの実施形態では、動画符号化システムは、各タイルを処理するための別個のプレフィルタ構成要素を含み得る。いくつかの実施形態では、動画符号化システムは、それぞれが複数の（例えば、２つの）タイルを処理する、複数の（例えば、２つの）プレフィルタ構成要素を含み得る。
６２０で示されるように、ウェーブレット変換構成要素は、スライス内の画素ブロックにウェーブレット変換技術を適用して、画素データをＮ個の（例えば、７つの）周波数帯域に分解する。次いで、周波数帯域は、ブロックベースの符号化器に提供され得るブロック（例えば、ＣＴＵ）に編成される、符号化／圧縮される。一例として、フレームを１２８ｘ１２８のブロックに分割することができ、２レベルのウェーブレット分解を各１２８ｘ１２８のブロックに適用して、例えば図３Ｃに示すように、７つの周波数帯域を表す周波数データの３２ｘ３２ブロックを１６個生成することができる。
いくつかの実施形態では、動画符号化システムは、タイルを処理する単一のウェーブレット変換構成要素を含み得る。いくつかの実施形態では、動画符号化システムは、各タイルを処理するための別個のウェーブレット変換構成要素を含み得る。いくつかの実施形態では、動画符号化システムは、それぞれが複数の（例えば、２つの）タイルを処理する、複数の（例えば、２つの）ウェーブレット変換構成要素を含み得る。
図６の方法では、例示的な動画符号化システムは、要素６２０において並行して生成されるスライスのうちの異なるものから周波数データのブロックを符号化するように構成された２つの符号化器を含む。例えば、第１の符号化器は、スライス０及び１からブロックを符号化するように構成されてもよく、第２の符号化器は、スライス２及び３からブロックを符号化するように構成されてもよい。６３０Ａで示されるように、第１の符号化器は、符号化技術をタイル０及び１のブロック内の周波数帯域に適用し、２つの異なるタイル間で異なる周波数帯域からブロックの処理を多重化する。６３０Ｂで示されるように、第２の符号化器は、符号化技術をタイル２及び３のブロック内の周波数帯域に適用し、２つの異なるタイル間で異なる周波数帯域からブロックの処理を多重化する。
符号化器は、例えば、高効率動画符号化（ＨＥＶＣ）符号化器であってもよい。しかしながら、いくつかの実施形態では、他の符号化技術が使用されてもよい。要素６２０で示されるように画素データを周波数帯域に分解することにより、周波数帯域は、要素６３０Ａ及び６３０Ｂでの符号化器によって別個のストリームとしてバッファリングされ、処理されることが可能となる。別個のストリームとして周波数帯域を処理することにより、符号化器は、独立したストリームの処理を多重化することが可能となる。ＨＥＶＣ符号化などのブロックベースの符号化方法では、ブロック（符号化ツリーユニット（ＣＴＵ）と呼ばれる）は、パイプラインにおいて複数のステージで処理される。２つ以上のブロックは、所与のクロックサイクルにおいてパイプラインの異なるステージにあってもよく、ブロックは、クロックのサイクルが進むにつれてパイプラインを通って移動する。所与のブロックの処理は、以前に処理された１つ以上の近隣ブロック、例えば、所与のブロックの上の行の１つ以上のブロック、及び／又は、所与のブロックの左側のブロックへの依存関係を有し得る。ストリームの処理を多重化することによって、符号化器は、所与のストリーム内のブロックの処理を間をあけて配置し、それにより、所与のブロックが依存関係を有する近隣ブロックを処理するために追加のクロックサイクルを提供する。例えば、所与のブロックが以前に処理された近隣ブロックに依存するステージに到達したときに、所与のブロックの左側のブロックは、パイプライン内で所与のブロックに数ステージ先行するブロックであってもよい。これにより、符号化器は、以前に処理されたブロックに対する依存関係により適切に対処可能となり、隣接ブロックに依存するステージにおける所与のブロックの処理を行う前に、パイプライン内の近隣ブロックの処理の完了を待つ必要性を低減又は排除することができる。
６４０で示されるように、無線インタフェースは、要素５３０で符号化器によって生成された圧縮データをパケット化し、無線接続を介してパケットをデバイスに送信する。６５０から６００に戻る矢印によって示されるように、この方法は、ユーザがＶＲ／ＭＲシステムを使用している限り継続する。
要素６２０で示されるように画素データを周波数帯域に分解することにより、要素６３０Ａ及び６３０Ｂでの符号化器並びに要素６４０での無線インタフェースによって周波数帯域の優先が可能となる。典型的に、画像及び動画送信では、より低い周波数がより重要である一方、より高い周波数の重要性は薄い。より高い周波数は、通常、画像の詳細に対応し、したがって、優先度は、より低いと見なすことができる。より高い周波数帯域には、画像内のエネルギーのより小さい割合が含まれる。エネルギーの大部分は、より低い周波数帯域に含まれる。このように、画素データを周波数帯域に分解することにより、データストリームを符号化及び送信するときに符号化器及び無線インタフェースによって活用され得るデータストリームへの優先順位付けを提供する。例えば、いくつかの実施形態では、異なる圧縮技術を異なる周波数帯域に使用することができ、より低い優先度の帯域により積極的な圧縮を適用し、より高い優先度の帯域にはより控えめな圧縮を適用してもよい。別の例として、周波数帯域の優先順位付けは、ＶＲ／ＭＲシステムのグレースフルデグラデーションを提供するのに役立ち得る。無線接続の性能を監視することができ、デバイスからのフィードバックを考慮して、システム全体のパフォーマンスを追跡することができる。何らかの理由でシステムの性能が低下した場合、例えば、無線接続の質が低下し、無線接続の帯域幅容量が閾値を下回る場合、符号化器及び無線インタフェースは、より低い周波数帯域の１つ以上の符号化及び送信を優先することができ、より低い優先度レベルを割り当てられた１つ以上の周波数レベル、例えば、１つ以上のより高い周波数帯域の符号化及び／若しくは送信を低減又は低下させることができる。
各スライスが４つのタイルに分割され、２つの符号化器が各スライスからのそれぞれのタイル上で動作する実施形態が記載されているが、いくつかの実施形態では、スライスをより多くのタイル（例えば、６つ又は８つのタイル）に分割することができ、いくつかの実施形態では、より多くの符号化器（例えば、３つ又は４つの符号化器）が使用されてもよい。
（例示的なＶＲ／ＭＲシステム）
図７は、少なくともいくつかの実施形態に係る、動画符号化システムを実装することができる例示的なＶＲ／ＭＲシステム２０００を示す。ＶＲ／ＭＲシステム２０００は、少なくとも１つのデバイス２１５０（例えば、ノートブック若しくはラップトップコンピュータ、パッド若しくはタブレットデバイス、スマートフォン、ハンドヘルドコンピューティングデバイス、又はユーザによって装着され得るヘッドセット、ヘルメット、ゴーグル、若しくは眼鏡などのＨＭＤ）及びコンピューティングデバイス２１００（本明細書では基地局と呼ばれる）を含んでもよい。基地局２１００は、仮想コンテンツを含むＶＲ又はＭＲフレームをレンダリングし、フレームを符号化し、デバイス２１５０によって復号され表示されるように、符号化されたフレームを無線接続２１８０を介してデバイス２１５０に送信する。
基地局２１００及びデバイス２１５０はそれぞれ、基地局２１００及びデバイス２１５０が無線接続２１８０を介してデータを通信し交換することを可能にする無線通信技術を含み得る。いくつかの実施形態では、無線接続２１８０は、デバイス２１５０と基地局２１００との間に高指向性無線リンクを提供する独自の無線通信技術に従って実装されてもよい。しかしながら、いくつかの実施形態では、他の商用（例えば、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈなど）又は独自の無線通信技術が使用されてもよい。
いくつかの実施形態では、ＨＭＤ２１５０は、ユーザの環境に関する情報（例えば、動画、深度情報、照明情報など）、及び／又はユーザに関する情報（例えば、ユーザの表情、眼の動き、視線の方向、手のジェスチャなど）を収集するセンサを含んでもよい。デバイス２１５０は、センサによって収集された情報の少なくとも一部を、無線接続２１８０を介して基地局２１００に送信してもよい。基地局２１００は、センサから取得された様々な情報に少なくとも部分的に基づいて、仮想コンテンツを含むデバイス２１５０によって表示するためのフレームをレンダリングし、フレームを符号化し、符号化されたフレームを、復号しユーザに対し表示するために、無線接続２１８０を介してデバイス２１５０に送信することができる。フレームを符号化し送信するために、基地局２１００は、図１～図６に示すような動画符号化システムを実装してもよい。
図８は、いくつかの実施形態に係る、図７に示すような例示的なＶＲ／ＭＲシステムの機能部品及び処理を示すブロック図である。デバイス２１５０は、ノートブック若しくはラップトップコンピュータ、パッド若しくはタブレットデバイス、スマートフォン、ハンドヘルドコンピューティングデバイス、又はユーザによって着用され得るヘッドセット、ヘルメット、ゴーグル、若しくは眼鏡などのＨＭＤであってもよいが、これらに限定されない。デバイス２１５０は、様々なタイプの仮想又は拡張現実表示技術のいずれかを実装し得るディスプレイ２１５６構成要素又はサブシステムを含み得る。例えば、ＨＭＤデバイス２１５０は、ＤＬＰ（digital light processing、デジタル光処理）、ＬＣＤ（liquid crystal display、液晶表示）、及びＬＣｏＳ（liquid crystal on silicon、反射型液晶素子）技術によるＶＲシステムなどの、ユーザの眼の前のスクリーン上にユーザが見る左右の画像を表示する、ニアアイシステムであってもよい。別の実施例として、ＨＭＤデバイス２１５０は、左右の画像を画素ごとにユーザの眼に走査する直接網膜投射システムであってもよい。画像を走査するために、左右のプロジェクタは、ユーザの眼の前に位置する左右の反射性構成要素（例えば、楕円面鏡）に向けられたビームを生成し、反射性構成要素は、ビームをユーザの眼に反射させる。３次元（３Ｄ）効果を生み出すために、３Ｄ仮想ビュー内で異なる奥行き又は距離にある仮想コンテンツは、三角測量による距離に応じて、より近いオブジェクトはより遠くのオブジェクト以上にシフトされるように、２つの画像内で左又は右にシフトされる。
デバイス２１５０はまた、本明細書に記載されるようなＶＲ／ＭＲシステム２０００のデバイス側機能を実装するように構成されたコントローラ２１５４を含んでもよい。いくつかの実施形態では、ＨＭＤ２１５０はメモリ２１７０をまた含んでもよく、メモリ２１７０は、コントローラ２１５４によって実行可能なＶＲ／ＭＲシステム２０００のデバイス構成要素のソフトウェア（コード２１７２）、並びにコントローラ２１５４上での実行時にソフトウェアによって使用され得るデータ２１７４を記憶するように構成されている。各種実施形態では、コントローラ２１５４は、１つのプロセッサを含むユニプロセッサシステム、又はいくつかのプロセッサ（例えば、２つ、４つ、８つ、若しくは他の好適な数）を含むマルチプロセッサシステムであってもよい。コントローラ２１５４は、任意の好適な命令セットアーキテクチャを実装するように構成された中央処理装置（ＣＰＵ）を含んでもよく、その命令セットアーキテクチャで定義された命令を実行するように構成されてもよい。例えば、各種実施形態では、コントローラ２１５４は、ｘ８６、ＰｏｗｅｒＰＣ、ＳＰＡＲＣ、ＲＩＳＣ、若しくはＭＩＰＳ命令セットアーキテクチャ（instruction set architecture、ＩＳＡ）、又は任意の他の好適なＩＳＡなどの、様々なＩＳＡのいずれかを実装する汎用プロセッサ又は組み込みプロセッサを含んでもよい。マルチプロセッサシステムでは、プロセッサの各々は、必ずしもではないが、同一のＩＳＡを共通して実装してもよい。コントローラ２１５４は、スカラ方式、スーパースカラ方式、パイプライン方式、スーパーパイプライン方式、アウトオブオーダ方式、インオーダ方式、スペキュレーティブ方式、非スペキュレーティブ方式など、又はそれらの組み合わせを含む、任意のマイクロアーキテクチャを採用してもよい。コントローラ２１５４は、マイクロコーディング技術を実装するための回路を含んでもよい。コントローラ２１５４は、各々が命令を実行するように構成された１つ以上の処理コアを含んでもよい。コントローラ２１５４は、任意のサイズ及び任意の構成（セットアソシエイティブ方式、ダイレクトマップ方式など）を用いることができる、１つ以上のレベルのキャッシュを含んでもよい。いくつかの実施形態では、コントローラ２１５４は、任意の好適なグラフィック処理回路を含むことができる、少なくとも１つのグラフィック処理ユニット（ＧＰＵ）を含むことができる。概して、ＧＰＵは、フレームバッファに表示されることになるオブジェクト（例えば、フレーム全体に対するピクセルデータを含むもの）をレンダリングするように構成されてもよい。ＧＰＵは、グラフィック演算の一部若しくは全て、又は特定のグラフィック演算のハードウェア高速化を実行するグラフィックソフトウェアを実行することができる、１つ以上のグラフィックプロセッサを含んでもよい。いくつかの実施形態では、コントローラ２１５４は、動画及び／又は画像を処理してレンダリングするための１つ以上の他の構成要素、例えば、画像信号プロセッサ（ＩＳＰ）、符号化器／復号器（コーデック）などを含んでもよい。いくつかの実施形態では、コントローラ２１５４は、少なくとも１つのシステムオンチップ（ＳＯＣ）を含んでもよい。
メモリ２１７０は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレート（ＤＤＲ、ＤＤＲ２、ＤＤＲ３など）ＳＤＲＡＭ（ｍＤＤＲ３などのモバイルバージョンのＳＤＲＡＭ又はＬＰＤＤＲ２などの低電力バージョンのＳＤＲＡＭを含む）、ＲＡＭＢＵＳ ＤＲＡＭ（ＲＤＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）などの、任意のタイプのメモリを含んでもよい。いくつかの実施形態では、１つ以上のメモリデバイスは、シングルインラインメモリモジュール（ＳＩＭＭ）、デュアルインラインメモリモジュール（ＤＩＭＭ）などのメモリモジュールを形成するために回路基板に結合されてもよい。代替的に、デバイスは、システムをチップオンチップ構成、パッケージオンパッケージ構成、又はマルチチップモジュール構成で実装する集積回路を搭載してもよい。
いくつかの実施形態では、センサ２１６０は、ユーザの眼の位置及び動きを追跡するために使用され得る１つ以上の視線追跡センサ（例えば、赤外線照明光源を有する赤外線カメラ）を含んでもよいが、これらに限定されない。いくつかの実施形態では、各視線追跡センサがそれぞれの眼を追跡する、２つの視線追跡センサが存在してもよい。いくつかの実施形態では、視線追跡センサによって収集された情報は、基地局２１００による画像のレンダリングを調整するため、かつ／又はユーザの眼が見ている方向及び角度に基づいて、デバイス２１５０の投影システムによる画像の投影を調節するために使用されてもよい。例えば、いくつかの実施形態では、ユーザの眼が現在見ている場所の周囲の領域内の画像のコンテンツは、ユーザが見ていない領域内のコンテンツよりも詳細かつより高い解像度でレンダリングされてもよい。これにより、画像データのための利用可能な処理時間が、眼の周辺領域によって見るコンテンツにではなく、眼の中心窩領域によって見るコンテンツに費やされることを可能にする。同様に、ユーザが見ていない領域内の画像のコンテンツは、ユーザが現在見ている地点の周囲の領域のコンテンツよりも多く圧縮されてもよい。いくつかの実施形態では、センサがユーザの眼のそれぞれの眼の眺めを有するような位置に、デバイス２１５０の内側表面上に位置する２つの視線追跡センサが存在してもよい。しかしながら、各種実施形態では、より多くの又はより少ない視線追跡センサが使用されてもよく、視線追跡センサは他の位置に位置してもよい。例示的な非限定的な実施形態では、各視線追跡センサは、赤外線光源及び赤外線カメラ、例えば、１２０ＦＰＳ以上のフレームレート、７０度の水平視野（ＨＦＯＶ）、及び１０～８０ミリメートル（ｍｍ）の作動距離を有する４００ｘ４００画素数のカメラを含んでもよい。
いくつかの実施形態では、デバイス２１５０は、デバイス２１５０の位置、向き、及び／又は動きを検出し、検出された位置、向き、及び／又は運動データをＨＭＤ２１５０のコントローラ２１５４及び／又は基地局２１００に提供するように構成された、少なくとも１つの慣性測定ユニット（inertial-measurement unit、ＩＭＵ）２１６２を含んでもよい。
デバイス２１５０はまた、無線接続２１８０を介して外部基地局２１００と通信して、基地局２１００にセンサ入力を送信し、レンダリングされ圧縮されたフレーム、スライス、又はタイルを基地局２１００から受信するように構成された無線インタフェース２１５２を含んでもよい。いくつかの実施形態では、無線インタフェース２１５２は、デバイス２１５０と基地局２１００との間に高指向性無線リンクを提供する独自の無線通信技術を実装することができる。しかしながら、いくつかの実施形態では、他の商用（例えば、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈなど）又は独自の無線通信技術が使用されてもよい。
基地局２１００は、無線インタフェース２１８０を介してデバイス２１５０に通信可能に結合された外部デバイス（例えば、コンピューティングシステム、ゲームコンソールなど）であってもよい。基地局２１００は、動画及び／又は画像をレンダリングし、フィルタリングし、符号化し、送信するための様々なタイプのプロセッサ（例えば、ＳＯＣ、ＣＰＵ、ＩＳＰ、ＧＰＵ、コーデック、及び／又は他の構成要素）のうちの１つ以上を含んでもよい。基地局２１００は、無線接続２１８０を介してセンサ２１６０から取得した様々な入力に少なくとも部分的に基づく仮想コンテンツを含むフレーム（各フレームは左右画像を含む）をレンダリングし、レンダリングしたフレーム（又はフレームのスライス）を本明細書に記載されるような動画符号化システムを使用してフィルタリングかつ圧縮し、圧縮されたフレーム又はスライスをデバイス２１５０に送信して表示することができる。
基地局２１００は、デスクトップコンピュータ、ノートブック若しくはラップトップコンピュータ、パッド若しくはタブレットデバイス、スマートフォン、ハンドヘルドコンピュータデバイス、ゲームコントローラ、ゲームシステムなどの任意のタイプのコンピューティングシステム若しくはコンピューティングデバイスであってもよく、又はそれを含んでもよい。基地局２１００は、本明細書に記載されるような動画符号化システムを含むＶＲ／ＭＲシステム２０００の基地局側機能を実装する１つ以上のプロセッサを備えるコントローラ２１１０を含んでもよい。基地局２１００はまた、基地局コントローラ２１１０によって実行可能なＶＲ／ＭＲシステム２０００の基地局構成要素のソフトウェア（コード２１２２）を記憶するように構成されたメモリ２１２０、並びに、コントローラ２１１０上で実行するときにソフトウェアによって使用され得るデータ２１２４を含んでもよい。
各種実施形態では、基地局コントローラ２１１０は、１つのプロセッサを含むユニプロセッサシステム、又はいくつかのプロセッサ（例えば、２つ、４つ、８つ、若しくは他の好適な数）を含むマルチプロセッサシステムであってもよい。コントローラ２１１０は、任意の好適な命令セットアーキテクチャを実装するように構成された中央処理装置（ＣＰＵ）を含んでもよく、その命令セットアーキテクチャで定義された命令を実行するように構成されてもよい。例えば、各種実施形態では、コントローラ２１１０は、ｘ８６、ＰｏｗｅｒＰＣ、ＳＰＡＲＣ、ＲＩＳＣ、若しくはＭＩＰＳ命令セットアーキテクチャ（ＩＳＡ）、又は任意の他の好適なＩＳＡなどの、様々なＩＳＡのいずれかを実装する汎用プロセッサ又は組み込みプロセッサを含んでもよい。マルチプロセッサシステムでは、プロセッサの各々は、必ずしもではないが、同一のＩＳＡを共通して実装してもよい。コントローラ２１１０は、スカラ方式、スーパースカラ方式、パイプライン方式、スーパーパイプライン方式、アウトオブオーダ方式、インオーダ方式、スペキュレーティブ方式、非スペキュレーティブ方式など、又はそれらの組み合わせを含む、任意のマイクロアーキテクチャを採用してもよい。コントローラ２１１０は、マイクロコーディング技術を実装するための回路を含んでもよい。コントローラ２１１０は、各々が命令を実行するように構成された１つ以上の処理コアを含んでもよい。コントローラ２１１０は、任意のサイズ及び任意の構成（セットアソシエイティブ方式、ダイレクトマップ方式など）を用いることができる、１つ以上のレベルのキャッシュを含んでもよい。いくつかの実施形態では、コントローラ２１１０は、任意の好適なグラフィック処理回路を含むことができる、少なくとも１つのグラフィック処理ユニット（ＧＰＵ）を含むことができる。概して、ＧＰＵは、フレームバッファに表示されることになるオブジェクト（例えば、フレーム全体に対するピクセルデータを含むもの）をレンダリングするように構成されてもよい。ＧＰＵは、グラフィック演算の一部若しくは全て、又は特定のグラフィック演算のハードウェア高速化を実行するグラフィックソフトウェアを実行することができる、１つ以上のグラフィックプロセッサを含んでもよい。いくつかの実施形態では、コントローラ２１１０は、本明細書に記載されるような動画及び／又は画像を処理し、レンダリングし、フィルタリングし、符号化するための１つ以上の他の構成要素、例えば、様々なタイプの集積回路（ＩＣ）、画像信号プロセッサ（ＩＳＰ）、符号化器／復号器（コーデック）などのうちの１つ以上を含んでもよい。いくつかの実施形態では、コントローラ２１１０は、少なくとも１つのシステムオンチップ（ＳＯＣ）を含んでもよい。
基地局メモリ２１２０は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレート（ＤＤＲ、ＤＤＲ２、ＤＤＲ３など）ＳＤＲＡＭ（ｍＤＤＲ３などのモバイルバージョンのＳＤＲＡＭ又はＬＰＤＤＲ２などの低電力バージョンのＳＤＲＡＭを含む）、ＲＡＭＢＵＳ ＤＲＡＭ（ＲＤＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）などの、任意のタイプのメモリを含んでもよい。いくつかの実施形態では、１つ以上のメモリデバイスは、シングルインラインメモリモジュール（ＳＩＭＭ）、デュアルインラインメモリモジュール（ＤＩＭＭ）などのメモリモジュールを形成するために回路基板に結合されてもよい。代替的に、デバイスは、システムをチップオンチップ構成、パッケージオンパッケージ構成、又はマルチチップモジュール構成で実装する集積回路を搭載してもよい。
基地局２１００は、無線接続２１８０を介してデバイス２１５０と通信して、デバイス２１５０からセンサ入力を受信し、基地局２１００からデバイス２１５０に圧縮フレーム、スライス、又はタイルを送信するように構成された１つ以上の無線技術インタフェース２１３０をまた含み得る。いくつかの実施形態では、無線技術インタフェース２１３０は、デバイス２１５０と基地局２１００との間に高指向性無線リンクを提供する独自の無線通信技術を実装することができる。いくつかの実施形態では、無線通信技術の指向性及び帯域幅は、複数のデバイス２１５０が同時に基地局２１００と通信することをサポートすることができ、それにより、複数のユーザが共同設置環境において同時にシステム２０００を使用することを可能にし得る。しかしながら、いくつかの実施形態では、他の商用（例えば、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈなど）又は独自の無線通信技術が使用されてもよい。
いくつかの実施形態では、基地局２１００は、フレームをレンダリングしてデバイス２１５０に送信し、デバイス２１５０から受信したセンサ２１６０の入力に少なくとも部分的に基づいて、３Ｄ仮想ビューをユーザのために提供するように構成されていてもよい。いくつかの実施形態では、仮想ビューは、ユーザの環境の高画質、高解像度の動画をリアルタイムでキャプチャし表示する、１つ以上のシーンカメラ（例えば、ＲＧＢ（可視光）動画カメラ）によってキャプチャされた動画に基づいて、ユーザの環境内の実際のオブジェクトのレンダリングを含む、ユーザの環境のレンダリングを含むことができる。いくつかの実施形態では、仮想ビューはまた、基地局２１００によってレンダリングされ、ユーザの現実環境の投影された３Ｄビューと合成された仮想コンテンツ（例えば、仮想オブジェクト、現実オブジェクトの仮想タグ、ユーザのアバターなど）を含んでもよい。
図７及び８には示されていないが、いくつかの実施形態では、ＶＲ／ＭＲシステム２０００は、１つ以上の他の構成要素を含んでもよい。例えば、システムは、仮想コンテンツと対話するために３Ｄ仮想ビュー内の仮想カーソルを移動させるためのカーソル制御デバイス（例えば、マウス）を含んでもよい。図７及び図８は、単一のデバイス２１５０を示すが、いくつかの実施形態では、ＶＲ／ＭＲシステム２０００は、複数のデバイス２１５０が同時に基地局２１００と通信することをサポートすることができ、それにより、複数のユーザが共同設置環境において同時にシステムを使用することを可能にし得る。
本明細書で説明される方法は、異なる実施形態では、ソフトウェア、ハードウェア、又はそれらの組み合わせの形態で実行されてもよい。加えて、方法のブロックの順序は変更されてもよく、様々な要素の追加、再順序付け、組み合わせ、省略、修正などが行われてもよい。本開示の利益を得る当業者にとって明白であるような、様々な修正及び変更が行われてもよい。本明細書に記載される各種実施形態は、例示的なものであり、限定的なものではない。多くの変形、修正、追加、及び改善が可能である。したがって、単一の事例として本明細書に記載される構成要素について、複数の事例を提供することができる。種々の構成要素、動作及びデータストアの間の境界は、ある程度任意のものであり、特定の動作は、特定の例示的な構成の文脈において示される。機能性の他の割り当てが想定され、以下に続く請求項の範囲内に含まれてもよい。最後に、例示的な構成における別個の構成要素として提示された構造及び機能性は、組み合わされた構造又は構成要素として実施されてもよい。それらの及び他の変形、修正、追加、及び改善は、以下に続く請求項で定義されるように、実施形態の範囲内に含まれてもよい。

Claims (20)

  1. １つ以上のプロセッサと、プログラム命令が保存されたメモリとを備える動画符号化システムであって、
    前記１つ以上のプロセッサによって前記プログラム命令が実行されたときに、前記１つ以上のプロセッサが、
    プレフィルタ構成要素であって、
    レンダリングされた動画フレームからの画素ブロックをプレフィルタリングするように構成され、前記画素ブロックをプレフィルタリングする際、前記プレフィルタ構成要素は、前記レンダリングされた動画フレームにフィルタを適用して、受信デバイスによって導入された歪みを補正するように、さらに構成されている、プレフィルタ構成要素と、
    ウェーブレット変換構成要素であって、
    プレフィルタリングされた前記画素ブロックにウェーブレット変換を適用して、プレフィルタリングされた前記画素ブロックを複数の周波数帯域に分解し、
    前記複数の周波数帯域を、前記周波数帯域のうちの１つの帯域の周波数データをそれぞれ含む複数の周波数ブロックに編成し、
    前記周波数ブロックうちの１つのブロックを、個別のストリームとして提供し、各ストリームは、前記周波数帯域のうちの１つの帯域に対応している、ように構成されるウェーブレット変換構成要素と、
    少なくとも１つのブロックベースの符号化器であって、
    周波数ブロックの前記個別のストリームを処理し、１つのストリーム内の前記周波数ブロックを処理する際、前記少なくとも１つのブロックベースの符号化器は、符号化技術を前記周波数ブロックに適用して前記周波数ブロック内の前記周波数データを圧縮するように構成され、
    前記個別のストリームからの圧縮された前記周波数データを無線インタフェースに提供して無線接続を介して前記受信デバイスに送信する、ように構成される、少なくとも１つのブロックベースの符号化器と、を構成する、動画符号化システム。
  2. 前記１つ以上のプロセッサは、前記受信デバイスのレンズのために、前記無線接続を介して、レンズワープデータを受信し、前記プレフィルタ構成要素によって使用されて、前記受信デバイスの前記レンズによって導入される歪みを補正するように、さらに構成される、請求項１に記載の動画符号化システム。
  3. 前記画素ブロックをプレフィルタリングする際、
    前記プレフィルタ構成要素は、前記レンダリングされた動画フレームの周辺領域に少なくとも１つのフィルタを適用して、前記レンダリングされた動画フレームの中心窩領域内でより高い解像度を維持しつつ、前記周辺領域の解像度を低減させる、ようにさらに構成される、請求項１に記載の動画符号化システム。
  4. 前記レンダリングされた動画フレームは、複数のスライスに分割されて、各スライスは少なくとも１行の画素ブロックを含み、
    前記動画符号化システムは、反復的に、
    前記レンダリングされた動画フレームの１つのスライスを取得し、
    前記１つのスライス内の前記画素ブロックをプレフィルタリングし、前記１つのスライスの前記画素ブロックをプレフィルタリングする際、前記プレフィルタ構成要素は、前記フィルタを適用して、前記受信デバイスに導入される歪みを補正するように、さらに構成され、
    前記ウェーブレット変換を、前記１つのスライス内のプレフィルタリングされた前記画素ブロックに適用して、プレフィルタリングされた前記画素ブロックを、複数の周波数帯域に分解し、前記周波数帯域のうちの１つの帯域の周波数データをそれぞれ含む複数の周波数ブロックに編成し、
    前記周波数ブロックうちの１つのブロックを、個別のストリームとして提供し、各ストリームは、前記周波数帯域のうちの１つの帯域に対応し、
    周波数ブロックの前記個別のストリームを処理し、１つのストリーム内の前記周波数ブロックを処理する際、前記少なくとも１つのブロックベースの符号化器は、符号化技術を前記１つのストリーム内の前記周波数ブロックに適用して前記周波数ブロック内の前記周波数データを圧縮するように構成され、
    前記個別のストリームからの圧縮された前記周波数データを前記無線インタフェースに提供して前記無線接続を介して前記受信デバイスに送信する、ように構成される、請求項１に記載の動画符号化システム。
  5. 前記レンダリングされた動画フレームは、複数のスライスに分割され、各スライスは２つ以上のタイルを含み、各タイルは２つ以上の画素ブロックを含み、前記動画符号化システムは、少なくとも２つのブロックベースの符号化器を含み、各符号化器は、各スライスからの前記タイルのサブセットからの前記周波数ブロックの前記個別のストリームを処理し、前記タイルの前記それぞれのサブセットからの前記周波数ブロック内の前記周波数データを圧縮するように構成されている、請求項１に記載の動画符号化システム。
  6. 各符号化器は、そのそれぞれのサブセット内の前記タイル間に前記周波数帯域の前記周波数ブロックの処理を多重化して、各周波数帯域の周波数ブロックの前記処理間に複数の時間単位を可能にするように構成されている、請求項５に記載の動画符号化システム。
  7. 前記ウェーブレット変換は、前記レンダリングされた動画フレームからの各画素ブロックに適用される２レベルのウェーブレット分解である、請求項１に記載の動画符号化システム。
  8. 前記ウェーブレット変換は、前記レンダリングされた動画フレームからの各画素ブロックに適用されるＮレベルのウェーブレット分解であり、Ｎは調整可能である、請求項１に記載の動画符号化システム。
  9. 前記ウェーブレット変換を適用することは、ウェーブレット分解の１つ以上のウェーブレット係数にコアリング関数を適用することを含む、請求項１に記載の動画符号化システム。
  10. 前記画素ブロックが１２８ｘ１２８の画素ブロックであり、前記ウェーブレット変換が、それぞれの画素ブロックを、７つの異なる周波数帯域を表す１６個の３２ｘ３２の周波数データブロックに分解する、請求項１に記載の動画符号化システム。
  11. １つ以上のプロセッサにより、
    レンダリングされた動画フレームからの画素ブロックをプレフィルタリングすることであって、前記プレフィルタリングすることは、前記レンダリングされた動画フレームにフィルタを適用して、受信デバイスで導入される歪みを補正することを含む、プレフィルタリングすることと、
    前記レンダリングされた動画フレームからのプレフィルタリングされた前記画素ブロックにウェーブレット変換を適用して、プレフィルタリングされた前記画素ブロックを複数の周波数帯域に分解することと、
    前記複数の周波数帯域を、前記周波数帯域のうちの１つの帯域の周波数データをそれぞれ含む複数の周波数ブロックに編成することと、
    前記周波数ブロックうちの１つのブロックを、個別のストリームとして提供することであって、各ストリームは、前記周波数帯域のうちの１つの帯域に対応している、提供することと、
    周波数ブロックの前記個別のストリームを処理することであって、１つのストリーム内の前記周波数ブロックを処理することは、符号化技術を前記周波数ブロックに適用して前記周波数ブロック内の前記周波数データを圧縮することを含む、処理することと、
    前記個別のストリームからの圧縮された前記周波数データを、無線接続を介して前記受信デバイスに送信することと、を含む方法。
  12. 前記画素ブロックをプレフィルタリングすることは、前記レンダリングされた動画フレームの周辺領域に少なくとも１つのフィルタを適用して、前記レンダリングされた動画フレームの中心窩領域内でより高い解像度を維持しつつ、前記周辺領域の解像度を低減させることを、さらに含む請求項１１に記載の方法。
  13. 前記動画フレームは、複数のスライスに分割されて、各スライスは少なくとも１行の画素ブロックを含み、
    前記１つ以上のプロセッサは、前記画素ブロックをプレフィルタリングすること、前記ウェーブレット変換を適用すること、前記編成すること、前記提供すること、前記周波数ブロックの前記個別のストリームを処理すること、及び前記レンダリングされた動画フレームの各スライスを送信することを実行する、請求項１１に記載の方法。
  14. 前記レンダリングされた動画フレームは、複数のスライスに分割され、各スライスは２つ以上のタイルを含み、各タイルは２つ以上の画素ブロックを含み、
    前記１つ以上のプロセッサは、前記画素ブロックをプレフィルタリングすること、前記ウェーブレット変換を適用すること、前記編成すること、前記提供すること、前記周波数ブロックの前記個別のストリームを処理すること、及び前記レンダリングされた動画フレームの各スライスを送信することを実行する、請求項１１に記載の方法。
  15. 前記周波数ブロックの前記個別のストリームを処理することは、少なくとも２つのブロックベースの符号化器によって実行され、各符号化器は、各スライスからの前記タイルのサブセットからの前記周波数ブロックの前記個別のストリームを処理して、前記タイルの前記それぞれのサブセットからの前記周波数ブロック内の前記周波数データを圧縮し、
    前記方法は、各符号化器が、そのそれぞれのサブセット内の前記タイル間に前記周波数帯域の前記周波数ブロックの処理を多重化して、各周波数帯域の周波数ブロックの前記処理間に複数の時間単位を可能にすることを、さらに含む、請求項１４に記載の方法。
  16. 前記ウェーブレット変換は、前記レンダリングされた動画フレームからの各画素ブロックに適用される２レベルのウェーブレット分解である、請求項１１に記載の方法。
  17. １つ以上のプロセッサ、及びディスプレイサブシステムを含むデバイスと、１つ以上のプロセッサ、少なくとも１つのブロックベースの符号化器、及び無線インタフェースを含む基地局とを備えるシステムであって、
    前記基地局の前記１つ以上のプロセッサは、
    レンダリングされた動画フレームからの画素データを含む画素ブロックをプレフィルタリングし、プレフィルタリングすることは、前記レンダリングされた動画フレームにフィルタを適用して、受信デバイスで導入される歪みを補正することを含み、
    画素データを含むプレフィルタリングされた前記画素ブロックにウェーブレット変換を適用して、前記画素データを複数の周波数帯域に分解し、
    前記複数の周波数帯域を、前記周波数帯域のうちの１つの帯域の周波数データをそれぞれ含む複数の周波数ブロックに編成し、
    前記周波数ブロックうちの１つのブロックを、個別のストリームとして提供し、各ストリームは、前記周波数帯域のうちの１つの帯域に対応している、ように構成され、
    前記少なくとも１つのブロックベースの符号化器は、周波数ブロックの前記個別のストリームを処理し、１つのストリーム内の前記周波数ブロックを処理する際、前記少なくとも１つのブロックベースの符号化器は、符号化技術を前記周波数ブロックに適用して前記周波数ブロック内の前記周波数帯域を圧縮するように構成され、
    前記無線インタフェースは、圧縮された前記周波数帯域を、無線接続を介して前記デバイスに送信するように構成され、
    前記デバイスの前記１つ以上のプロセッサは、
    前記基地局から受信した前記圧縮された周波数帯域を展開し、
    前記展開した周波数帯域上でウェーブレット合成を実行して前記動画フレームの前記画素データを再構成し、
    前記再構成された画素データを、前記ディスプレイサブシステムに提供して表示するように構成されている、システム。
  18. 前記画素ブロックをプレフィルタリングすることは、前記レンダリングされた動画フレームの周辺領域に少なくとも１つのフィルタを適用して、前記レンダリングされた動画フレームの中心窩領域内でより高い解像度を維持しつつ、前記周辺領域の解像度を低減させることを、さらに含む、請求項１７に記載のシステム。
  19. 前記デバイスは、ヘッドマウントディスプレイ（ＨＭＤ）である、請求項１７に記載のシステム。
  20. 前記基地局の前記１つ以上のプロセッサは、前記ディスプレイサブシステムのレンズのために、前記無線接続を介して、レンズワープデータを受信し、前記画素ブロックをプレフィルタするのに使用されて、前記ディスプレイサブシステムの前記レンズによって導入される歪みを補正するように、さらに構成される、請求項１７に記載のシステム。
JP2022176236A 2018-06-28 2022-11-02 動画符号化システム Active JP7441924B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024022596A JP2024056936A (ja) 2018-06-28 2024-02-19 動画符号化システム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862691423P 2018-06-28 2018-06-28
US62/691,423 2018-06-28
PCT/US2019/039595 WO2020006293A1 (en) 2018-06-28 2019-06-27 Video encoding system
JP2020568504A JP7171768B2 (ja) 2018-06-28 2019-06-27 動画符号化システム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020568504A Division JP7171768B2 (ja) 2018-06-28 2019-06-27 動画符号化システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024022596A Division JP2024056936A (ja) 2018-06-28 2024-02-19 動画符号化システム

Publications (2)

Publication Number Publication Date
JP2023017896A JP2023017896A (ja) 2023-02-07
JP7441924B2 true JP7441924B2 (ja) 2024-03-01

Family

ID=67439355

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2020568504A Active JP7171768B2 (ja) 2018-06-28 2019-06-27 動画符号化システム
JP2022176236A Active JP7441924B2 (ja) 2018-06-28 2022-11-02 動画符号化システム
JP2024022596A Pending JP2024056936A (ja) 2018-06-28 2024-02-19 動画符号化システム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020568504A Active JP7171768B2 (ja) 2018-06-28 2019-06-27 動画符号化システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024022596A Pending JP2024056936A (ja) 2018-06-28 2024-02-19 動画符号化システム

Country Status (6)

Country Link
US (2) US11653026B2 (ja)
EP (1) EP3815368A1 (ja)
JP (3) JP7171768B2 (ja)
KR (3) KR102645652B1 (ja)
CN (1) CN112313954A (ja)
WO (1) WO2020006293A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102541392B1 (ko) 2018-06-28 2023-06-13 애플 인크. 저 레이턴시 비디오 인코딩 및 송신을 위한 레이트 제어
KR102582407B1 (ko) * 2019-07-28 2023-09-26 구글 엘엘씨 포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 방법들, 시스템들, 및 매체들
CN117354545B (zh) * 2023-12-06 2024-02-23 成都索贝数码科技股份有限公司 视频图像小波变换高频系数按限定尺寸分块编码方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003202850A (ja) 2001-10-04 2003-07-18 Eastman Kodak Co 画像表示方法及びシステム
WO2005032137A1 (en) 2003-09-26 2005-04-07 The Regents Of The University Of California Video encoding methods and devices
JP2007318711A (ja) 2006-04-28 2007-12-06 Ricoh Co Ltd 符号変換装置、符号変換方法、プログラム及び記録媒体
US20170287112A1 (en) 2016-03-31 2017-10-05 Sony Computer Entertainment Inc. Selective peripheral vision filtering in a foveated rendering system
US20170301065A1 (en) 2016-04-15 2017-10-19 Gopro, Inc. Systems and methods for combined pipeline processing of panoramic images
WO2020006287A1 (en) 2018-06-28 2020-01-02 Apple Inc. Rate control for low latency video encoding and transmission

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03181232A (ja) 1989-12-11 1991-08-07 Toshiba Corp 可変レート符号化方式
GB2267194B (en) * 1992-05-13 1995-10-04 Sony Broadcast & Communication Apparatus and method for processing image data
JPH09212623A (ja) * 1996-01-30 1997-08-15 Fuji Photo Film Co Ltd 画像処理方法
US6937659B1 (en) 1997-11-14 2005-08-30 Ac Capital Management, Inc. Apparatus and method for compressing video information
JP4686516B2 (ja) 1997-12-05 2011-05-25 株式会社ユニバーサルエンターテインメント 遊技機
CN100481946C (zh) * 1998-03-20 2009-04-22 三菱电机株式会社 编码和解码及压缩图像的方法和装置
JP3597780B2 (ja) 1998-03-20 2004-12-08 ユニヴァーシティ オブ メリーランド 注目領域に対する有損失／無損失の画像符号化
AU762996B2 (en) 1999-02-09 2003-07-10 Motorola Australia Pty Ltd An image compression system and method of determining quantisation parameters therefor
KR100580158B1 (ko) 1999-06-12 2006-05-15 삼성전자주식회사 화상 패킷 전송을 위한 무선통신 시스템
JP4254017B2 (ja) 2000-03-10 2009-04-15 ソニー株式会社 画像符号化装置及び方法
US6937988B1 (en) 2001-08-10 2005-08-30 Cirrus Logic, Inc. Methods and systems for prefilling a buffer in streaming data applications
JP2003152544A (ja) 2001-11-12 2003-05-23 Sony Corp データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
US6757434B2 (en) 2002-11-12 2004-06-29 Nokia Corporation Region-of-interest tracking method and device for wavelet-based video coding
JP3948619B2 (ja) 2003-03-31 2007-07-25 株式会社リコー 画像圧縮装置、画像圧縮方法、プログラム及び記録媒体
JP2004350263A (ja) * 2003-04-28 2004-12-09 Canon Inc 画像処理装置及び画像処理方法
JP4151963B2 (ja) 2003-09-19 2008-09-17 株式会社リコー 画像サーバ装置、クライアント装置、動画像配信方法、プログラム、及び、情報記録媒体
US9325998B2 (en) 2003-09-30 2016-04-26 Sharp Laboratories Of America, Inc. Wireless video transmission system
JP2006222555A (ja) 2005-02-08 2006-08-24 Matsushita Electric Ind Co Ltd 符号化装置及び符号化方法
US8768084B2 (en) 2005-03-01 2014-07-01 Qualcomm Incorporated Region-of-interest coding in video telephony using RHO domain bit allocation
KR100677446B1 (ko) 2005-03-31 2007-02-02 엘지전자 주식회사 휴대단말기의 영상신호 압축 코딩장치 및 방법
US20080019398A1 (en) 2006-07-20 2008-01-24 Adimos Systems Ltd. Clock recovery in wireless media streaming
US20080062322A1 (en) 2006-08-28 2008-03-13 Ortiva Wireless Digital video content customization
JP4254867B2 (ja) 2007-01-31 2009-04-15 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体
US8331444B2 (en) * 2007-06-26 2012-12-11 Qualcomm Incorporated Sub-band scanning techniques for entropy coding of sub-bands
JP2009044483A (ja) 2007-08-09 2009-02-26 Panasonic Corp 画像符号化装置
WO2009094591A2 (en) * 2008-01-24 2009-07-30 Micropower Appliance Video delivery systems using wireless cameras
US8406297B2 (en) 2008-10-17 2013-03-26 Futurewei Technologies, Inc. System and method for bit-allocation in video coding
JP2010239288A (ja) 2009-03-30 2010-10-21 Sony Corp 情報処理装置および方法
US20110250948A1 (en) 2010-04-08 2011-10-13 Wms Gaming, Inc. Video compression in gaming machines
US11541233B2 (en) 2013-06-30 2023-01-03 Greatbatch Ltd. ECA oxide-resistant connection to a hermetic seal ferrule for an active implantable medical device
US9215472B2 (en) 2013-09-27 2015-12-15 Apple Inc. Parallel hardware and software block processing pipelines
CN111526350B (zh) * 2014-02-25 2022-04-05 苹果公司 自适应视频处理
US10264269B2 (en) 2014-10-13 2019-04-16 Apple Inc. Metadata hints to support best effort decoding for green MPEG applications
US9872201B2 (en) 2015-02-02 2018-01-16 Accelerated Media Technologies, Inc. Systems and methods for electronic news gathering
JP6616592B2 (ja) 2015-05-20 2019-12-04 日本放送協会 符号化装置及びそのプログラム
US10255021B2 (en) 2015-05-28 2019-04-09 Qualcomm Incorporated Low latency screen mirroring
KR20170017573A (ko) 2015-08-07 2017-02-15 삼성전자주식회사 영상 데이터 처리 방법 및 이를 지원하는 전자 장치
JP6722995B2 (ja) 2015-10-23 2020-07-15 キヤノン株式会社 符号化方法及び符号化装置、撮像装置及びプログラム
US20170155905A1 (en) * 2015-11-30 2017-06-01 Intel Corporation Efficient intra video/image coding using wavelets and variable size transform coding
US9955176B2 (en) 2015-11-30 2018-04-24 Intel Corporation Efficient and scalable intra video/image coding using wavelets and AVC, modified AVC, VPx, modified VPx, or modified HEVC coding
US20180040164A1 (en) 2016-08-05 2018-02-08 Gopro, Inc. Apparatus and methods for selective coding of images
US10123040B2 (en) 2016-08-30 2018-11-06 Qualcomm Incorporated Intra-coded video frame caching for video telephony sessions
JP2018061141A (ja) 2016-10-05 2018-04-12 富士通株式会社 通信装置および通信方法
KR102543444B1 (ko) 2017-08-29 2023-06-13 삼성전자주식회사 영상 부호화 장치
CN116016955A (zh) 2018-06-28 2023-04-25 苹果公司 基于优先级的视频编码和传输

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003202850A (ja) 2001-10-04 2003-07-18 Eastman Kodak Co 画像表示方法及びシステム
WO2005032137A1 (en) 2003-09-26 2005-04-07 The Regents Of The University Of California Video encoding methods and devices
JP2007318711A (ja) 2006-04-28 2007-12-06 Ricoh Co Ltd 符号変換装置、符号変換方法、プログラム及び記録媒体
US20170287112A1 (en) 2016-03-31 2017-10-05 Sony Computer Entertainment Inc. Selective peripheral vision filtering in a foveated rendering system
US20170301065A1 (en) 2016-04-15 2017-10-19 Gopro, Inc. Systems and methods for combined pipeline processing of panoramic images
WO2020006287A1 (en) 2018-06-28 2020-01-02 Apple Inc. Rate control for low latency video encoding and transmission

Also Published As

Publication number Publication date
JP7171768B2 (ja) 2022-11-15
KR20240033186A (ko) 2024-03-12
KR20220150412A (ko) 2022-11-10
JP2021527977A (ja) 2021-10-14
CN112313954A (zh) 2021-02-02
US20210250616A1 (en) 2021-08-12
US12052440B2 (en) 2024-07-30
KR20210011407A (ko) 2021-02-01
EP3815368A1 (en) 2021-05-05
US20230254510A1 (en) 2023-08-10
WO2020006293A1 (en) 2020-01-02
KR102645652B1 (ko) 2024-03-11
JP2024056936A (ja) 2024-04-23
JP2023017896A (ja) 2023-02-07
US11653026B2 (en) 2023-05-16

Similar Documents

Publication Publication Date Title
JP7490726B2 (ja) 低レイテンシ動画符号化及び送信のレート制御
US12086919B2 (en) Video pipeline
US20230092305A1 (en) Priority-based video encoding and transmission
US11914152B2 (en) Video compression methods and apparatus
JP7441924B2 (ja) 動画符号化システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221202

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240219

R150 Certificate of patent or registration of utility model

Ref document number: 7441924

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150