JP7311600B2 - フォービエイテッドコーディングのスライスサイズマップ制御 - Google Patents

Description

（関連技術の説明）
コンピュータ（又は、他のデバイス）から仮想現実（ＶＲ）ヘッドセット（又は、ヘッドマウントディスプレイ（ＨＭＤ））にビデオストリームを送信するために、無線通信リンクが使用されることがある。ＶＲビデオストリームを無線送信することにより、コンピュータとＨＭＤを装着しているユーザとの間のケーブル接続が不要になり、ユーザによる自由な移動が可能になる。コンピュータとＨＭＤとの間の従来のケーブル接続は、通常、１つ以上のデータケーブルと、１つ以上の電力ケーブルと、を含む。ケーブルテザーを使わずに、ケーブルを避けることを意識せずにユーザが移動可能になることによって、より没入的なＶＲシステムが実現する。また、ＶＲビデオストリームを無線送信することにより、従来よりも広い範囲のアプリケーションでＶＲシステムを利用することが可能になる。

無線ＶＲビデオストリーミングアプリケーションは、通常、高解像度と、高データレートに相当する高フレームレートと、を有する。しかしながら、ＶＲ映像がストリーミングされる無線リンクのリンク品質は、システム毎に異なる容量特性（capacity characteristics）を有し、環境（例えば、障害物、他の送信機、無線周波数（ＲＦ）ノイズ）の変化により変動することがある。ＶＲビデオコンテンツは、通常、レンズを通して見られ、高い視野を容易にし、ユーザに対して没入型環境を生じさせる。低帯域幅無線リンクを介して送信するためにＶＲビデオを圧縮しながら、エンドユーザが知覚するビデオ品質の低下を最小限に抑えることは、困難である可能性がある。

添付図面と共に以下の説明を参照することによって、本明細書で説明する方法及びメカニズムの利点をより良好に理解することができる。

システムの一実施形態のブロック図である。 無線仮想現実（ＶＲ）システムの一実施形態のブロック図である。 符号化されるフレームのブロックにどの程度の圧縮を適用するかを決定する制御ロジックの一実施形態のブロック図である。 ハーフフレームの焦点領域の外側の、異なる圧縮レベルに対応する同心円領域の一実施形態を示す図である。 スケーリングされたターゲットスライスサイズのクリッピングの一実施形態を示す図である。 スケーリングされたターゲットスライスサイズのクリッピングの別の実施形態の図である。 焦点領域からの距離に基づいて圧縮レベルを調整する方法の一実施形態を示す一般化されたフローチャートである。 焦点領域からの距離に基づいて、ブロックに適用する圧縮量を選択する方法の一実施形態を示す一般化されたフローチャートである。 リンク状態の変化に基づいて焦点領域のサイズを調整する方法の一実施形態を示す一般化されたフローチャートである。

以下の説明では、本明細書で提示される方法及びメカニズムの十分な理解を提供するために、多数の具体的な詳細が示されている。しかしながら、当業者は、様々な実施形態がこれらの具体的な詳細無しに実施され得ることを認識すべきである。いくつかの例では、本明細書で説明するアプローチを曖昧にすることを回避するために、周知の構造、コンポーネント、信号、コンピュータプログラム命令及び技術が詳細に示されていない。説明を簡単且つ明確にするために、図示された要素は、必ずしも縮尺通りに描かれていないことが理解されよう。例えば、いくつかの要素の寸法は、他の要素に対して誇張される場合がある。

焦点領域までの各ブロックの距離に基づいて、フレームのブロックを圧縮するのに使用される圧縮レベルを調整する様々なシステム、装置、方法及びコンピュータ可読記憶媒体が本明細書に開示される。一実施形態では、システムは、無線リンクを介してビデオストリームを受信機に送信する送信機を含む。送信機は、フレームを受信機に送信する前に、ビデオストリームのフレームを圧縮する。送信機は、所定のフレームの画素のブロック毎に、ブロックから焦点領域までの所定のフレーム内の距離に基づいて、ブロックに適用する圧縮レベルを選択し、圧縮レベルは、焦点領域からの距離が増加するにつれて増加する。本明細書で使用される場合、「焦点領域」という用語は、ユーザがフレームを見ているときに各々の目が焦点を合わせていると予期されるハーフフレームの部分として定義される。いくつかの場合、「焦点領域」は、目が指し示しているハーフフレーム内の位置を検出するアイトラッキングセンサに少なくとも部分的に基づいて決定される。一実施形態では、焦点領域のサイズは、１つ以上の要因（例えば、リンク品質）に従って変化する。送信機は、選択された圧縮レベルで各ブロックを符号化し、符号化されたブロックを受信機に伝送して表示させる。

図１を参照すると、システム１００の一実施形態のブロック図が示されている。システム１００は、相互に無線通信するように動作可能な第１の通信デバイス（例えば、送信機１０５）及び第２の通信デバイス（例えば、受信機１１０）を少なくとも含む。送信機１０５及び受信機１１０は、送受信機と呼ばれ得ることに留意されたい。一実施形態では、送信機１０５及び受信機１１０は、ライセンス不要の６０ギガヘルツ（ＧＨｚ）周波数帯域を介して無線で通信する。例えば、この実施形態では、送信機１０５及び受信機１１０は、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）８０２．１１ａｄ規格（すなわち、ＷｉＧｉｇ）に従って通信する。他の実施形態では、送信機１０５及び受信機１１０は、他の周波数帯域を介して、及び／又は、標準規格若しくはその他に従っているかどうかに関わらず、他の無線通信プロトコルに準拠することによって無線通信する。例えば、使用可能な他の無線通信プロトコルは、限定されないが、Ｂｌｕｅｔｏｏｔｈ（登録商標）、様々な無線ローカルエリアネットワーク（ＷＬＡＮ）で利用されるプロトコル、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）８０２．１１標準規格（すなわち、ＷｉＦｉ（登録商標））に基づくＷＬＡＮ、移動通信規格（例えば、ＣＤＭＡ、ＬＴＥ、ＧＳＭ、ＷｉＭＡＸ）等を含む。

６０ＧＨｚ周波数帯域等の超高周波（ＥＨＦ）帯域で動作する無線通信デバイスは、比較的小さいアンテナを使用して信号を送受信することが可能である。しかしながら、このような信号は、より低い周波数帯域を介した送信と比較した場合に、高い大気減衰の影響を受ける。このような減衰の影響を減少させ、通信範囲をブーストさせるために、ＥＨＦデバイスは、通常、ビームフォーミング技術を組み込む。例えば、ＩＥＥＥ８０２．１１ａｄ仕様では、セクタレベルスイープ（ＳＬＳ）とも呼ばれるビームフォーミングトレーニング手順が詳述されている。この手順では、無線局がリモート局との最適な送信アンテナ及び／又は受信アンテナの組み合わせをテストし、ネゴシエートする。様々な実施形態では、送信機１０５及び受信機１１０は、無線データ送信のための最適な送信アンテナ及び受信アンテナの組み合わせを決定するために、周期的なビームフォーミングトレーニング手順を実行する。

一実施形態では、送信機１０５及び受信機１１０は、指向性送受信能力を有し、リンクを介した通信の交換は、指向性送受信を利用する。各指向性送信は、アンテナ１４０の選択された送信セクタに向けられるようにビームフォーミングされた送信である。同様に、指向性受信は、アンテナ１６０の選択された受信セクタからの着信送信を受信するために最適化されたアンテナ設定を使用して実行される。リンク品質は、送信のために選択された送信セクタ及び受信のために選択された受信セクタに応じて変化し得る。選択された送信セクタ及び受信セクタは、ビームフォーミングトレーニング手順を実行するシステム１００によって決定される。

送信機１０５及び受信機１１０は、任意のタイプの通信デバイス及び／又はコンピューティングデバイスを表す。例えば、様々な実施形態では、送信機１０５及び／又は受信機１１０は、携帯電話、タブレット、コンピュータ、サーバ、ヘッドマウントディスプレイ（ＨＭＤ）、テレビ、別のタイプのディスプレイ、ルータ、又は、他のタイプのコンピューティングデバイス若しくは通信デバイスであってもよい。一実施形態では、システム１００は、レンダリングされた仮想環境のフレームを送信機１０５から受信機１１０に無線送信するための仮想現実（ＶＲ）アプリケーションを実行する。他の実施形態では、本明細書で説明する方法及びメカニズムを利用するシステム１００によって、他のタイプのアプリケーションが実行されてもよい。

一実施形態では、送信機１０５は、無線周波数（ＲＦ）送受信機モジュール１２５と、プロセッサ１３０と、メモリ１３５と、アンテナ１４０と、を少なくとも含む。ＲＦ送受信機モジュール１２５は、ＲＦ信号を送受信する。一実施形態では、ＲＦ送受信機モジュール１２５は、６０ギガヘルツ帯域の１つ以上のチャネルを介して信号を無線で送受信するように動作可能なミリ波送受信機モジュールである。ＲＦ送受信機モジュール１２５は、ベースバンド信号を無線送信用のＲＦ信号に変換し、ＲＦ送受信機モジュール１２５は、ＲＦ信号を、送信機１０５によるデータの抽出のためにベースバンド信号に変換する。説明のために、ＲＦ送受信機モジュール１２５は、単一のユニットとして示されていることに留意されたい。実施形態に応じて、ＲＦ送受信機モジュール１２５が任意の数の異なるユニット（例えば、チップ）で実装されてもよいことを理解されたい。同様に、プロセッサ１３０及びメモリ１３５の各々は、送信機１０５の一部として実装される任意の数及びタイプのプロセッサ及びメモリデバイスを表す。一実施形態では、プロセッサ１３０は、ビデオストリームを受信機１１０に送信する前にビデオストリームを符号化する（すなわち、圧縮する）エンコーダ１３２を含む。他の実施形態では、エンコーダ１３２は、プロセッサ１３０とは別に実装される。様々な実施形態では、エンコーダ１３２は、ハードウェア及び／又はソフトウェアの任意の適切な組み合わせを使用して実装される。

送信機１０５は、ＲＦ信号を送受信するためのアンテナ１４０を含む。アンテナ１４０は、無線信号の送受信の指向性を変更するように構成され得る、フェーズドアレイ、単一要素アンテナ、スイッチドビームアンテナのセット等の１つ以上のアンテナを表す。一例として、アンテナ１４０は、１つ以上のアンテナアレイを含み、アンテナアレイ内の各アンテナの振幅又は位相は、アレイ内の他のアンテナから独立して構成されてもよい。アンテナ１４０が、送信機１０５の外部にあるものとして示されているが、様々な実施形態では、アンテナ１４０は、送信機１０５の内部に含まれてもよいことを理解されたい。さらに、送信機１０５は、図を曖昧にすることを回避するために示されていない任意の数の他のコンポーネントを含んでもよいことを理解されたい。送信機１０５と同様に、受信機１１０内に実装されるコンポーネントは、送信機１０５について上述したコンポーネントと同様に、ＲＦ送受信機モジュール１４５と、プロセッサ１５０と、デコーダ１５２と、メモリ１５５と、アンテナ１６０と、を少なくとも含む。受信機１１０は、他のコンポーネント（例えば、ディスプレイ）を含んでもよいし、他のコンポーネントに結合されてもよいことを理解されたい。

図２を参照すると、無線仮想現実（ＶＲ）システム２００の一実施形態のブロック図が示されている。システム２００は、コンピュータ２１０と、ヘッドマウントディスプレイ（ＨＭＤ）２２０と、を少なくとも含む。コンピュータ２１０は、１つ以上のプロセッサと、メモリデバイスと、入力／出力（Ｉ／Ｏ）デバイスと、ＲＦコンポーネントと、アンテナと、パーソナルコンピュータ又は他のコンピューティングデバイスを示す他のコンポーネントと、を含む任意のタイプのコンピューティングデバイスを表す。他の実施形態では、パーソナルコンピュータ以外の他のコンピューティングデバイスは、ビデオデータをヘッドマウントディスプレイ（ＨＭＤ）２２０に無線で送信するために利用される。例えば、コンピュータ２１０は、ゲームコンソール、スマートフォン、セットトップボックス、テレビセット、ビデオストリーミングデバイス、ウェアラブルデバイス、テーマパークのアミューズメントアトラクションのコンポーネント等であってもよい。また、他の実施形態では、ＨＭＤ２２０は、コンピュータ、デスクトップ、テレビ、又は、ＨＭＤ若しくは他のタイプのディスプレイに接続された受信機として使用される他のデバイスであってもよい。

コンピュータ２１０及びＨＭＤ２２０の各々は、無線通信する回路及び／又はコンポーネントを含む。なお、コンピュータ２１０が、外部アンテナを有するものとして示されているが、これは、ビデオデータが無線送信されていることを示すに過ぎないことに留意されたい。コンピュータ２１０は、コンピュータ２１０の外部ケースの内部にあるアンテナを有してもよいことを理解されたい。さらに、コンピュータ２１０は、有線電力接続を使用して電力供給され得るが、ＨＭＤ２２０は、通常、バッテリによって電力供給される。或いは、コンピュータ２１０は、バッテリによって電力供給されるラップトップコンピュータ（又は、別のタイプのデバイス）であってもよい。

一実施形態では、コンピュータ２１０は、ＨＭＤ２２０を装着したユーザに提示されるＶＲ環境の表現を動的にレンダリングする回路を含む。例えば、一実施形態では、コンピュータ２１０は、ＶＲ環境をレンダリングするようにプログラム命令を実行する１つ以上のグラフィックスプロセッシングユニット（ＧＰＵ）を含む。他の実施形態では、コンピュータ２１０は、中央処理装置（ＣＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタルシグナルプロセッサ（ＤＳＰ）又は他のプロセッサタイプを含む、他のタイプのプロセッサを含む。ＨＭＤ２２０は、レンダリングされたＶＲ環境のフレームを生成するために、コンピュータ２１０によって送信された圧縮ビットストリームを受信して復号する回路を含む。次に、ＨＭＤ２２０は、生成されたフレームを、ＨＭＤ２２０内に統合されたティスプレイに送る。

ＨＭＤ２２０に表示される各画像のうち、ＨＭＤ２２０の右側２２５Ｒに表示されるシーン２２５Ｒは焦点領域２３０Ｒを含み、ＨＭＤ２２０の左側２２５Ｌに表示されるシーン２２５Ｌは焦点領域２３０Ｌを含む。これらの焦点領域２３０Ｒ，２３０Ｌは、ＨＭＤ２２０の拡張された右側２２５Ｒ及び左側２２５Ｌの各々の内部の円によって示されている。一実施形態では、右ハーフフレーム及び左ハーフフレームの各々の内部の焦点領域２３０Ｒ，２３０Ｌの位置は、ＨＭＤ２２０内のアイトラッキングセンサに基づいて決定される。この実施形態では、アイトラッキングデータは、エンコーダへのフィードバックとして、及び、オプションでＶＲビデオのレンダリングソースへのフィードバックとして提供される。いくつかのケースでは、アイトラッキングデータフィードバックは、ＶＲビデオフレームレートよりも高い周波数で生成され、エンコーダは、フィードバックにアクセスし、フレーム毎に符号化されたビデオストリームを更新することが可能である。いくつかのケースでは、アイトラッキングは、ＨＭＤ２２０上で実行されず、むしろ、目の位置及び移動を決定するための更なる処理のために、顔のビデオがレンダリングソースに送り返される。別の実施形態では、焦点領域２３０Ｒ，２３０Ｌの位置は、ユーザが見ていると予期される位置に基づいて、ＶＲアプリケーションによって特定される。焦点領域２３０Ｒ，２３０Ｌのサイズは、実施形態に応じて変化し得ることに留意されたい。また、焦点領域２３０Ｒ，２３０Ｌの形状は、実施形態に応じて変化してもよく、別の実施形態では、焦点領域２３０Ｒ，２３０Ｌは、楕円として定義される。他の実施形態では、他のタイプの形状を焦点領域２３０Ｒ，２３０Ｌに利用することができる。

一実施形態では、ＨＭＤ２２０が、ユーザの目が指し示す位置に基づいて合焦領域（in-focus region）を追跡するアイトラッキングセンサを含む場合、焦点領域２３０Ｒ，２３０Ｌを比較的小さくすることができる。或いは、ＨＭＤ２２０がアイトラッキングセンサを含まず、ユーザが見ていると予期される位置に基づいて焦点領域２３０Ｒ，２３０Ｌが決定される場合、焦点領域２３０Ｒ，２３０Ｌを比較的大きくすることができる。他の実施形態では、他の要因によって、焦点領域２３０Ｒ，２３０Ｌのサイズを調整することができる。例えば、一実施形態では、コンピュータ２１０とＨＭＤ２２０との間のリンク品質が低下するにつれて、焦点領域２３０Ｒ，２３０Ｌのサイズが低減する。

一実施形態では、エンコーダは、焦点領域２３０Ｒ，２３０Ｌ内のブロックについての最小量の圧縮を使用して、これらの領域内の画素についてのディテールの最高品質及び最高レベルを維持する。ここで、「ブロック」は、本明細書では「スライス」とも呼ばれ得ることに留意されたい。本明細書で使用される場合、「ブロック」は、隣接する画素のグループとして定義される。例えば、一実施形態では、ブロックは、表示される画像内で正方形を形成する８×８の隣接する画素のグループである。他の実施形態では、他の形状及び／又は他のサイズのブロックが使用される。焦点領域２３０Ｒ，２３０Ｌの外側では、エンコーダは、より高い量の圧縮を使用し、その結果、ハーフフレームのこれらのエリア内で提示される画素の品質が低下する。このアプローチは、各々の目が大きな視野を有するが、大きな視野内の小さいエリアのみに目が焦点を合わせるという、人間の視覚システムを利用する。目及び脳が視覚データを認識する方法に基づいて、人間は、通常、焦点領域の外側のエリア内における品質の低下に気付かない。

一実施形態では、エンコーダは、ブロックが焦点領域から遠いほど、画像内のブロックを符号化するのに使用される圧縮の量を増加させる。例えば、第１のブロックが焦点領域から第１の距離であり、第２のブロックが焦点領域から第２の距離であり、第２の距離が第１の距離よりも長い場合には、エンコーダは、第１のブロックよりも高い圧縮率を使用して第２のブロックを符号化する。これにより、第２のブロックが復元されてユーザに表示される場合、第２のブロックは、第１のブロックと比較してディテールが低くなる。一実施形態では、エンコーダは、所定のブロックを符号化する際に使用される量子化強度レベルを増加させることによって、使用される圧縮の量を増加させる。例えば、一実施形態では、量子化強度レベルは、量子化パラメータ（ＱＰ）設定を使用して指定される。他の実施形態では、エンコーダは、他の符号化設定の値を変化させることによって、ブロックを符号化するのに使用される圧縮の量を増加させる。

図３を参照すると、フレームのブロックにどの程度の圧縮を適用するかを決定する制御ロジック３００の一実施形態のブロック図が示されている。一実施形態では、制御ロジック３００は、目距離ユニット３０５と、半径比較ユニット３１０と、半径テーブル３１５と、ルックアップテーブル３２０と、先入先出（ＦＩＦＯ）キュー３２５と、を含む。他の実施形態では、制御ロジック３００は、他のコンポーネントを含んでもよく、及び／又は、他の適切な方法で構成されてもよい。

目距離ユニット３０５は、特定のハーフスクリーン画像（右目又は左目）の焦点領域から所定のブロックまでの距離を計算する。一実施形態では、目距離ユニット３０５は、所定のブロックの座標（Ｂｌｏｃｋ＿Ｘ，Ｂｌｏｃｋ＿Ｙ）及び焦点領域の中心の座標（Ｅｙｅ＿Ｘ，Ｅｙｅ＿Ｙ）を使用して、距離を計算する。ブロックから焦点領域までの距離を計算するのに使用される式４３５の例を図４に示す。他の実施形態では、ブロックから焦点領域までの距離を計算する他の技術が利用されてもよい。

半径比較ユニット３１０は、焦点領域の中心から所定のブロックまでの距離に基づいて（又は、所定のブロックまでの距離の２乗に基づいて）、半径テーブル３１５によって提供される半径Ｒ［０：Ｎ］に基づいて、所定のブロックがどの圧縮領域に属するかを決定する。半径テーブル３１５には、半径の任意の数「Ｎ」が記憶されており、「Ｎ」は、実施形態に応じて変化する正の整数である。一実施形態では、ハードウェアの乗算器の必要性を排除するために、半径の２乗の値がルックアップテーブルに記憶される。一実施形態では、半径の２乗の値は、エントリ０が最大の円を規定し、エントリ１が２番目に大きい円を指定する等のように、単調に減少する順序で半径テーブル３１５にプログラムされる。一実施形態では、半径テーブル３１５内の未使用のエントリが０にプログラムされる。一実施形態では、ブロックが属する領域が識別されると、この領域の領域識別子（ＩＤ）を使用してルックアップテーブル３２０にインデックス付けし、領域ＩＤに対応する完全なターゲットブロックサイズ（full target block size）を抽出する。他の実施形態では、焦点領域は、円以外の他のタイプの形状（例えば、楕円）で表されてもよいことを理解されたい。焦点領域の外側の領域も、焦点領域と同様に形成されてもよい。これらの実施形態では、ブロックが属する領域を決定する技術は、焦点領域及び外部領域の特定の形状を考慮するように調整されてもよい。

ルックアップテーブル３２０からの出力は、ブロックの完全なターゲット圧縮済みブロックサイズ（full target compressed block size）である。一実施形態では、ターゲットブロックサイズは、ウェーブレットブロックが処理されるときに後で使用するためにＦＩＦＯ３２５に書き込まれる前に、圧縮比（又は、ｃ＿ｒａｔｉｏ）値でスケーリングされる。ｃ＿ｒａｔｉｏ関数によるスケーリングは、低減された無線周波数（ＲＦ）リンク容量に適した、より小さいターゲットブロックサイズを生成する。ブロックがエンコーダによって処理される後の時点において、エンコーダは、スケーリングされたターゲットブロックサイズをＦＩＦＯ３２５から取り出す。一実施形態では、エンコーダは、処理されるブロック毎に、スケーリングされたターゲットブロックサイズを満たすようにブロックを圧縮するための圧縮レベルを選択する。

図４を参照すると、ハーフフレームの焦点領域の外側の、異なる圧縮レベルに対応する同心円領域の一実施形態の図４００が示されている。図４００内の各ボックスは、ハーフフレームのスライスを表しており、スライスは、実施形態に応じて変化する数を有する任意の数の画素を含む。スクリーンの各半分において、凝視点（eye fixation point）からの各スライスの距離（予測され又は決定される）は、図４の下部にある式４３５を使用して決定される。式４３５において、Ｓ_ｂはスライスサイズである。一実施形態では、Ｓ_ｂは８又は１６の何れかである。他の実施形態では、Ｓ_ｂは他のサイズであってもよい。変数Ｘ_{ｏｆｆｓｅｔ}及びＹ_{ｏｆｆｓｅｔ}は、スライス（ｘ，ｙ）が画像の左上を基準としており、ｘ_ｅｙｅ及びｙ_ｅｙｅがスクリーンの各半分の中心を基準にしているという事実に対して調整される。また、２により除算されたｓｌｉｃｅ＿ｓｉｚｅも、（Ｓ_ｂ×Ｘ_ｉ，Ｓ_ｂ×Ｙ_ｉ）が各スライスの左上であり、各スライスの中心が各半径の内側にあるか外側にあるかを決定することが目的であるという事実を説明するために、ｓｌｉｃｅ＿ｓｉｚｅを２で除算した値がＸ_{ｏｆｆｓｅｔ}及びＹ_{ｏｆｆｓｅｔ}の各々に追加される。

次に、式４３５等の式を使用してｄ_ｉ ^２を計算した後に、ｄ_ｉ ^２を、「Ｎ」半径の各々（ｒ_０，ｒ_１，ｒ_２，…ｒ_Ｎ）の２乗と比較して、スライスがどの圧縮領域に属するかを決定する。ここで、Ｎは、正の整数である。図４に示す実施形態では、Ｎは５に等しいが、これは、例示を目的として示されているに過ぎないことを理解されたい。例えば、この実施形態では、領域４０５は、矢印ｒ５によって示される半径を有する焦点領域であり、領域４１０は、矢印ｒ４によって示される半径を有する焦点領域に隣接する領域であり、領域４１５は、矢印ｒ３によって示される半径を有する次に大きい領域であり、領域４２０は、矢印ｒ２によって示される半径を有する次に大きい領域であり、領域４２５は、矢印ｒ１によって示される半径を有する次に大きい領域であり、領域４３０は、矢印ｒ０によって示される半径を有する、図４００に示す最大領域である。別の実施形態では、Ｎは６４に等しいが、他の実施形態では、Ｎは、様々な他の適切な整数値であってもよい。

エンコーダは、焦点領域４０５の中心から所定のスライスまでの距離に基づいて（又は、所定のスライスまでの距離の２乗に基づいて）、所定のスライスがどの圧縮領域に属するかを決定する。一実施形態では、スライスが属する領域が識別されると、領域識別子（ＩＤ）を使用してルックアップテーブルにインデックス付けし、ターゲットスライス長を取り出す。ルックアップテーブルのマッピングは、スライスサイズへの領域ＩＤの任意のマッピングを可能にする。

一実施形態では、ルックアップテーブルからの出力は、スライスの完全なターゲット圧縮済みサイズである。「領域ＩＤ」は、本明細書で「ゾーンＩＤ」とも呼ばれる。ターゲットサイズは、ウェーブレットスライスが処理されるときに後で使用するためにＦＩＦＯに書き込まれる前に、圧縮比（又は、ｃ＿ｒａｔｉｏ）値でスケーリングされる。ｃ＿ｒａｔｉｏのいくつかの関数によるスケーリングは、低減された無線周波数（ＲＦ）リンク容量に適切なより小さいターゲットスライスサイズを生成する。

図５を参照すると、スケーリングされたターゲットスライスサイズのクリッピングの一実施形態の図５００が示されている。様々な実施形態では、圧縮比（又は、ｃ＿ｒａｔｉｏ）が変化するにつれて、エンコーダは、中心スクリーン領域を高品質に維持することを試みる。図５００は、ある特定の圧縮比設定についてスケーリングされたターゲットスライスサイズのクリッピングの一例を示す。図５００内の破線は、圧縮比を乗じたプログラムされたスライス長に等しいターゲットスライス長を表す。図５００内の実線は、クリッピングされたスライス長を表す。

図６を参照すると、スケーリングされたターゲットスライスサイズのクリッピングの別の実施形態の図６００が示されている。図６００は、（図５の）図５００と比較して異なる圧縮比を示すことを意図している。したがって、図６００は、図５００に関連する実施形態において使用される圧縮比よりも高い圧縮比についてスケーリングされたターゲットスライスサイズのクリッピングを示す。図５００と同様に、図６００内の破線は、ターゲットスライス長を表し、実線は、クリッピングされたスライス長を表す。

図５及び図６の図５００及び図６００の各々は、圧縮比が増加しても、各目の中心領域が比較的高品質を維持するように、ターゲットスライスサイズがどのようにプログラムされるかを示す。図５００から図６００への変更は、スケーリングされたターゲットスライスサイズのクリッピングの結果、中央のエリアが高品質になり、周辺エリアがより圧縮されるにつれ残ることを示している。ターゲットスライス値は、最大スライス長（又は、ｓｌｉｃｅ＿ｌｅｎ＿ｍａｘ）より大きくてもよく（一実施形態では、最大で１６３８３）、クリッピングによって適切な範囲に戻るため負の値であってもよいことに留意されたい。また、図５００及び図６００は、説明のために示されており、図５００及び図６００は、直線である必要がないことを理解されたい。典型的な実施形態では、図５００及び図６００は、Ｎ個の半径及びＮ個の関連するターゲットスライス長のみを有するため、階段状である。図５００及び図６００の全体的な形状は、図示するようなピラミッド、釣鐘形状、又は、他の形状であってもよい。

図７を参照すると、焦点領域からの距離に基づいて圧縮レベルを調整する方法７００の一実施形態が示されている。説明のために、この実施形態におけるステップ及び図８～図９のステップは、順番に示されている。しかしながら、説明する方法の様々な実施形態では、説明する要素のうちの１つ以上は、同時に実行されてもよいし、図示した順序と異なる順序で実行されてもよいし、完全に省略されてもよいことに留意されたい。他の追加の要素も必要に応じて実行される。本明細書で説明する様々なシステム又は装置の何れも、方法７００を実施するように構成されている。

エンコーダは、符号化するフレームの画素の複数のブロックを受信する（ブロック７０５）。一実施形態では、エンコーダは、送信機の一部であるか、送信機に結合される。送信機は、任意のタイプのコンピューティングデバイスであってもよく、コンピューティングデバイスのタイプは、実施形態に応じて変化する。一実施形態では、送信機は、仮想現実（ＶＲ）環境の一部として、ビデオストリームのフレームをレンダリングする。他の実施形態では、ビデオストリームは、他の環境に対して生成される。一実施形態では、エンコーダ及び送信機は、無線ＶＲシステムの一部である。他の実施形態では、エンコーダ及び送信機は、他のタイプのシステムに含まれる。一実施形態では、エンコーダ及び送信機は、単一のデバイスに一体化される。他の実施形態では、エンコーダ及び送信機は、別々のデバイスに配置される。

エンコーダは、各ブロックからフレームの焦点領域までの距離を決定する（ブロック７１０）。別の実施形態では、ブロック７１０において、各ブロックから焦点領域までの距離の２乗が計算される。一実施形態では、フレームの焦点領域は、ユーザの目の移動を追跡することによって決定される（アイトラッキングに基づく）。このような実施形態では、目が凝視する位置は、ビデオシーケンスに（例えば、視認不可エリア又は非焦点エリアに）組み込まれてもよい。別の実施形態では、焦点領域は、ユーザが見ていると予期される位置に基づいて（アイトラッキングに基づかないで）、ソフトウェアアプリケーションによって指定される。いくつかの実施形態では、アイトラッキングに基づくアプローチ及びアイトラッキングに基づかないアプローチの両方が、動作モードとして利用可能である。一実施形態では、所定のモードがプログラム可能である。いくつかの実施形態では、モードは、様々な検出された条件（例えば、利用可能な帯域幅、知覚される画像品質の測定値（measure）、利用可能なハードウェアリソース、電力管理スキーム等）に基づいて、動的に変化してもよい。他の実施形態では、焦点領域は、他の方法で決定される。一実施形態では、焦点領域のサイズは、１つ以上の要因に基づいて調整可能である。例えば、一実施形態では、焦点領域のサイズは、リンク状態が悪化するにつれて減少する。

次に、エンコーダは、各ブロックに適用する圧縮レベルを選択し、圧縮レベルは、ブロックから焦点領域までの距離に基づいて調整される（ブロック７１５）。例えば、一実施形態では、圧縮レベルは、ブロックが焦点領域から離れるほど増加する。次に、エンコーダは、選択された圧縮レベルで各ブロックを符号化する（ブロック７２０）。次に、送信機は、符号化されたブロックを、表示のために受信機に伝達する（ブロック７２５）。受信機は、任意のタイプのコンピューティングデバイスであってもよい。一実施形態では、受信機は、ヘッドマウントディスプレイ（ＨＭＤ）を含むか、ＨＭＤに結合されている。他の実施形態では、受信機は、他のタイプのコンピューティングデバイスであってもよい。ブロック７２５の後に、方法７００は終了する。

図８を参照すると、焦点領域からの距離に基づいて、ブロックに適用する圧縮量を選択する方法８００の一実施形態が示されている。エンコーダは、所定のフレームの焦点領域から第１の距離である第１のブロックを受信する（ブロック８０５）。次に、エンコーダは、第１の距離に基づいて、第１のブロックに適用する第１の圧縮量を選択する（ブロック８１０）。「圧縮量」は、本明細書において「圧縮レベル」とも呼ばれることに留意されたい。また、エンコーダは、焦点領域から第２の距離である第２のブロックを受信し、この説明のために、第２の距離は、第１の距離よりも長いと仮定される（ブロック８１５）。第１のブロック及び第２のブロックを指すために使用される「第１の」及び「第２の」という用語は、２つのブロック間の特定の順序を指すのではなく、２つのブロックを単に区別するためのラベルとして使用されるに過ぎないことを理解されたい。ハーフフレームには、次のブロックが前のブロックよりも焦点領域に近い位置と、その逆の位置とが存在する。２つの連続するブロックが焦点領域から等距離になることも可能である。次に、エンコーダは、第２の距離に基づいて、第２のブロックに適用する第２の圧縮量を選択し、第２の圧縮量は、第１の圧縮量よりも大きい（ブロック８２０）。ブロック８２０の後に、方法８００は終了する。

エンコーダは、任意の数のブロックを受信し、焦点領域までの各ブロックの距離に基づいて、ブロックに適用する任意の数の異なる量の圧縮を使用することに留意されたい。例えば、一実施形態では、エンコーダは、画像を６４個の異なる同心円領域に分割し、各領域は、領域内のブロックに異なる圧縮量を適用する。他の実施形態では、エンコーダは、適用する圧縮量を決定する目的で、画像を他の数の異なる領域に分割する。

図９を参照すると、リンク状態の変化に基づいて焦点領域のサイズを調整する方法９００の一実施形態が示されている。エンコーダは、符号化されるフレーム内の焦点領域の第１のサイズを使用する（ブロック９０５）。次に、エンコーダは、第１のサイズの焦点領域を最低の圧縮レベルで符号化し、フレームの他の領域を、焦点領域からの距離が増加するにつれて増加する圧縮レベルで符号化する（ブロック９１０）。後の時点において、送信機は、符号化されたフレームが送信されるリンクのリンク状態の劣化を検出する（ブロック９１５）。一実施形態では、送信機及び／又は受信機は、１つ以上のビームフォーミングトレーニング手順の実施中に、無線リンクのリンク状態の測定値（すなわち、リンク品質）を生成する。この実施形態では、リンク状態の劣化は、ビームフォーミングトレーニング手順中に検出される。他の実施形態では、リンク状態の劣化は、他の適切な技術を使用して（すなわち、ドロップされたパケットの数に基づいて）決定される。

リンク状態の劣化を検出したことに応じて、エンコーダは、符号化されるフレーム内の焦点領域について第２のサイズを使用し、第２のサイズは、第１のサイズ未満である（ブロック９２０）。次に、エンコーダは、第２のサイズの焦点領域を最低の圧縮レベルで符号化し、フレームの他の領域を、焦点領域からの距離が増加するにつれて増加する圧縮レベルで符号化する（ブロック９２５）。ブロック９２５の後に、方法９００は終了する。方法９００は、リンク状態の変化に基づいて焦点領域のサイズが変化する場合のシナリオを示すことを意図していることに留意されたい。方法９００又は方法９００の適切な変形例は、リンク状態の変化に基づいて焦点領域のサイズを変化させるために、周期的に実行されてもよいことを理解されたい。一般的に、方法９００の一実施形態によれば、リンク状態が改善されると焦点領域のサイズが増加し、リンク状態が劣化すると焦点領域のサイズが減少する。

様々な実施形態では、ソフトウェアアプリケーションのプログラム命令を使用して、本明細書に記載された方法及び／又はメカニズムを実施する。例えば、汎用プロセッサ又は専用プロセッサによって実行可能なプログラム命令が考えられる。様々な実施形態において、そのようなプログラム命令は、高水準プログラミング言語によって表すことができる。他の実施形態では、プログラム命令は、高水準プログラミング言語からバイナリ、中間又は他の形式にコンパイルされてもよい。或いは、ハードウェアの動作又は設計を記述するプログラム命令を書き込むことができる。このようなプログラム命令を、Ｃ等の高水準のプログラミング言語によって表すことができる。或いは、Ｖｅｒｉｌｏｇ等のハードウェア設計言語（ＨＤＬ）を使用することができる。

様々な実施形態では、プログラム命令は、様々な非一時的なコンピュータ可読記憶媒体の何れかに記憶される。記憶媒体は、プログラム実行のためにプログラム命令をコンピューティングシステムに提供するために、使用中にコンピューティングシステムによってアクセス可能である。一般的に、このようなコンピューティングシステムは、少なくとも１つのメモリと、プログラム命令を実行することができる１つ以上のプロセッサと、を含む。

上記の実施形態は、実施形態の非限定的な例に過ぎないことを強調しておきたい。上記の開示が十分に認識されると、当業者には多数の変形及び修正が明らかになるであろう。以下の特許請求の範囲は、このような変形及び修正の全てを包含すると解釈されることが意図されている。

Claims (15)

1. 領域識別子をターゲットブロックサイズにマッピングする１つ以上のマッピングを記憶するように構成されたルックアップテーブルであって、前記領域識別子は、フレームの焦点領域からフレームの所定の領域までの距離に少なくとも部分的に基づいて、前記所定の領域を識別する、ルックアップテーブルと、
   エンコーダと、
   送信機と、を備えるシステムであって、
   前記エンコーダは、
   フレームの画素の複数のブロックを、符号化するために受信することと、
   前記複数のブロック毎のターゲットブロックサイズを識別するための前記ルックアップテーブルにおけるルックアップの結果に少なくとも部分的に基づいて、前記複数のブロックの各ブロックを選択された圧縮レベルで符号化することであって、前記フレームの焦点領域内のブロックは、前記フレームの前記焦点領域外のブロックとは異なる圧縮レベルで圧縮される、ことと、
   を行うように構成されており、
   前記送信機は、
   符号化されたブロックを、表示するために受信機に伝達するように構成されている、
   システム。
2. 前記焦点領域に近い前記フレームの領域は、前記焦点領域から遠い前記フレームの領域よりも低い圧縮率で圧縮され、
   前記焦点領域のサイズは、調整可能である、
   請求項１のシステム。
3. 前記フレームの半分毎に別々に焦点領域が指定され、
   別々の焦点領域の各々は、ユーザが前記フレームを見ている場合に各目が焦点を合わせていると予期されるハーフフレームの一部である、
   請求項１に記載のシステム。
4. 前記エンコーダは、
   前記フレームの各ブロックに適用する圧縮レベルを、ブロックから前記焦点領域までの距離に部分的に基づいて選択するように構成されている、
   請求項１のシステム。
5. 前記システムは、前記ルックアップを実行するために、
   半径テーブルから取得した領域識別子を前記ルックアップテーブルにインデックス付けして、対応するマッピングを識別することであって、前記半径テーブルは、距離を領域識別子にマッピングする１つ以上のマッピングを記憶するように構成されている、ことと、
   前記対応するマッピングから、ターゲット圧縮済みブロックサイズを取得することと、
   を行うように構成されている、
   請求項１のシステム。
6. 前記エンコーダは、
   圧縮済みフレームのサイズを縮小させる要求を受信することと、
   前記要求を受信したことに応じて、前記焦点領域を圧縮するのに使用される圧縮レベルを維持しながら、前記焦点領域の外側の領域を圧縮するのに使用される１つ以上の圧縮レベルを増加させることと、
   を行うように構成されている、
   請求項１のシステム。
7. 前記システムは、
   送信リンクの品質が低下すると、前記焦点領域のサイズを低減するように構成されている、
   請求項１のシステム。
8. エンコーダが、フレームの画素の複数のブロックを、符号化するために受信することと、
   領域識別子をターゲットブロックサイズにマッピングする１つ以上のマッピングを記憶するように構成されたルックアップテーブルにアクセスすることであって、前記領域識別子は、前記フレームの焦点領域から前記フレームの所定の領域までの距離に少なくとも部分的に基づいて、前記所定の領域を識別する、ことと、
   前記複数のブロック毎のターゲットブロックサイズを識別するための前記ルックアップテーブルにおけるルックアップの結果に少なくとも部分的に基づいて、前記複数のブロックの各ブロックを選択された圧縮レベルで符号化することであって、前記フレームの焦点領域内のブロックは、前記フレームの前記焦点領域外のブロックとは異なる圧縮レベルで圧縮される、ことと、
   符号化されたブロックを受信機に伝達することと、を含む、
   方法。
9. 前記焦点領域に近い前記フレームの領域は、前記焦点領域から遠い前記フレームの領域よりも低い圧縮率で圧縮され、
   前記焦点領域のサイズは、調整可能である、
   請求項８の方法。
10. 前記フレームの半分毎に別々に焦点領域が指定され、
    別々の焦点領域の各々は、ユーザが前記フレームを見ている場合に各目が焦点を合わせていると予期されるハーフフレームの一部である、
    請求項８の方法。
11. 前記フレームの各ブロックに適用する圧縮レベルを、ブロックから前記焦点領域までの距離に部分的に基づいて選択することをさらに含む、
    請求項８に記載の方法。
12. 前記ルックアップを実行することは、
    半径テーブルから取得した領域識別子を前記ルックアップテーブルにインデックス付けして、対応するマッピングを識別することであって、前記半径テーブルは、距離を領域識別子にマッピングする１つ以上のマッピングを記憶するように構成されている、ことと、
    前記対応するマッピングから、ターゲット圧縮済みブロックサイズを取得することと、を含む、
    請求項８の方法。
13. 前記エンコーダによって、圧縮済みフレームのサイズを縮小させる要求を受信することと、
    前記要求を受信したことに応じて、前記焦点領域を圧縮するのに使用される圧縮レベルを維持しながら、前記焦点領域の外側の領域を圧縮するのに使用される１つ以上の圧縮レベルを増加させることと、をさらに含む、
    請求項８の方法。
14. ヘッドマウントディスプレイ（ＨＭＤ）を有する受信機によって、前記フレームの符号化されたブロックを復号し、前記フレームの復元されたバージョンを前記ＨＭＤ上に表示させることをさらに含む、
    請求項８の方法。
15. プロセッサと、
    無線周波数（ＲＦ）送受信機モジュールと、をさらに備える、
    請求項１のシステム。

Images