JP7025327B2 - コンテンツ適応型光照射野圧縮 - Google Patents

Description

関連出願の相互参照

本出願は、２０１５年１１月１６日出願の米国仮特許出願第６２／２５５，７４４号の利益を主張するものである。

本発明は、ホログラフィ、インテグラルイメージング、立体映像、マルチビューイメージング、ビデオ等といった技術を利用した超高解像度３Ｄ画像の表示のための光照射野（ｌｉｇｈｔ ｆｉｅｌｄ）電子ディスプレイによって使用される、光照射野イメージング情報のデータ圧縮に関する。本発明は、イメージング情報の光照射野ディスプレイへのデータ転送帯域幅が課題となっていることが公知である、ＨＤＭＩ（登録商標）、Ｄｉｓｐｌａｙｐｏｒｔ、ＭＩＰＩ等といった一般的な業界標準インタフェースを有する光照射野ディスプレイに対して、固有の用途を有する。

従来技術の光照射野では、隣接するホーゲル（ｈｏｇｅｌ）は同様のアングレット（ａｎｇｌｅｔ）データを呈する。ホーゲルは視認者には単一点源に見え、これは、光照射野表示画素の上方のマイクロレンズアレイの単一のレンズとして実装できる（参考文献［２９］）。光照射野フレームとしても公知である再生３Ｄ画像は、光照射野ディスプレイによって生成されたホーゲルの完全なセットからなる。光照射野ビデオは、複数の光照射野フレームの時系列からなる。典型的には、アプリケーションプロセッサは、カメラによって取得された実像及び／又はレンダリングされたコンピュータ生成画像といった入力光照射野データを前処理し、そのデータを光照射野ディスプレイに転送する。アプリケーションプロセッサと、ＨＤＭＩ、Ｄｉｓｐｌａｙｐｏｒｔ、ＭＩＰＩ等といった現在利用可能な一般的なインタフェースを有する光照射野ディスプレイとの間に、必要な帯域幅を提供するために、入力信号は複数のインタフェースの間で分割されるが、これは、データサイズの制限により、実行不可能とはならないとしても厄介である。

伝送の前にデータ圧縮を採用して、光照射野ディスプレイによって使用される多量の光照射野画像データに対処する。非特許文献１、非特許文献２におけるもの等の、最近発表された光照射野圧縮のための方法は、従来技術の３Ｄ映像符号化規格（非特許文献３）によって採用される方法と同様の、予測、変換及び残差量子化の通常のアプローチに従う。これらの圧縮アプローチの欠点は、これらが入ってくるデータをフレームバッファで処理するため、フレームバッファは高解像度（従って大容量）データを圧縮する場合に過度に大きくなり、またリアルタイム表示用途のために望ましくない映像レイテンシが必然的にもたらされることである。

光照射野データ圧縮のための別の従来技術の解決策は、画像生成手順においてビューを「サブサンプリング（ｓｕｂ－ｓａｍｐｌｅ）」し、抑制されたビューを直接、光照射野ディスプレイにおいて再構成するものである。例えば非特許文献４、非特許文献５では、光照射野は、ディスプレイシステムの光学的特性に基づいてサブサンプリングされる。光照射野サンプリングへの形式的アプローチは、非特許文献６、非特許文献７に記載されている。これらの従来技術の方法は、ビットレートの大幅な削減を提供するが、望ましくないことに、圧縮率は高いコンテンツ依存性を有する。更に、これらの方法は通常、極めて大きなフレームバッファ、浮動小数点論理装置、及び複数のメモリ転送を必要とする複雑なビュー合成アルゴリズム（例えば２０１５年７月１６日公開の特許文献１（Ｇｒａｚｉｏｓｉ ｅｔ ａｌ， “Ｍｅｔｈｏｄｓ Ｆｏｒ Ｆｕｌｌ Ｐａｒａｌｌａｘ Ｃｏｍｐｒｅｓｓｅｄ Ｌｉｇｈｔ Ｆｉｅｌｄ ３Ｄ Ｉｍａｇｉｎｇ Ｓｙｓｔｅｍｓ”）、非特許文献８、非特許文献９、非特許文献１０、非特許文献１１における研究を参照）に依存する。よって、サブサンプリングによる解決策は、多量のディスプレイデバイス計算リソースを必要とする（非特許文献１２）。

いくつかの圧縮方法が、立体映像ディスプレイ専用に開発されている。例えば、左眼用ビュー及び右眼用ビューのためのフレームコンパチブル符号化方法が非特許文献１３に記載されている。これらの方法は、２つの連続したフレームを１つの新しいフレームに時間的に又は空間的に（水平に若しくは垂直に）まとめることにより、映像をダウンサンプリングすることによって、３Ｄ立体映像を符号化する。フレームパッキングの例としては、２つのフレームを水平方向にダウンサンプリングして隣り合わせに配置するサイドバイサイド、及び２つのフレームを垂直方向にダウンサンプリングして上下に配置するトップアンドボトムフレームパッキングが挙げられる。２つのフレームを１つにまとめることにより、レートが半減する。このアプローチの別の利点は、復号方法が、立体ディスプレイにおいて直接実行できる極めて単純なビュー再構成であることである。しかしながら、これらの符号化方法は、画像コンテンツにかかわらず常に同じデータサブサンプリングを実施し、これは最適でない画像品質をもたらす。

非特許文献１４、非特許文献１５、特許文献１では、光照射野圧縮のより洗練された方法が記載されている。これらに記載されている従来技術の圧縮方法は、光照射野シーン全体の成分を解析し、光照射野に関連する全てのホーゲルの中から、光照射野ディスプレイへの伝送のためにホーゲルのサブセットを選択し、受信したホーゲルから抑制されたホーゲルが生成される。更に高い圧縮比を達成するために、従来技術の圧縮方法は変換及びエントロピ符号化を採用している。非特許文献１４、非特許文献１５、特許文献１は、シーンの区分的解析を行うこと、そして変換及びエントロピ符号化ステップを省略することによって必要な復号処理を削減する、改善された圧縮方法を利用している。復号時間及び処理の削減は有益なことに、より小さいメモリフットプリント及びレイテンシの低減をもたらし、これは一般に入手可能なメモリ及びプロセッサを用いるディスプレイインタフェースにとって理想的である。

従来技術において公知であるように、ソース画像データを受信するために複数のインタフェースを使用する必要がある、極めて高い解像度のディスプレイが存在する。非特許文献１６では、複数の小画素ピッチデバイス（特許文献２、特許文献３、特許文献４、特許文献５、特許文献６、特許文献７）をタイリングすることによって形成される高解像度光照射野ディスプレイが記載されている。非特許文献１６に記載されている光照射野ディスプレイは、一般に使用される個々のディスプレイインタフェースの帯域幅の制限を補償するために、複数の入力インタフェースを組み込んでいる。高帯域幅インタフェースの不在により、その後の圧縮アルゴリズムの開発が推進された。図１の従来技術では、アプリケーションプロセッサ１０１は光照射野（ホーゲル）データ１１１を処理し、光照射野ディスプレイ１０２への転送のためにフォーマットする。画像生成１０３は、１つ又は複数の光照射野カメラによって取得された光照射野（ホーゲル）データ１１１をデジタル化し、また所要のいずれのコンピュータ生成シーンをレンダリングする。エンコーダ１０４は、入力画像を、有線又は無線伝送のためのデータ伝送（ＴＸ）ＴＸインタフェース１０５の帯域幅制限に適合するサイズに圧縮する。アプリケーションプロセッサ１０１と光照射野ディスプレイ１０２との間のリンク１０６は、所要のリンク帯域幅を特定する数字Ｂを示す。光照射野ディスプレイ１０２において、ＲＸインタフェース１０７によって受信された圧縮データ（ＲＸ）は、圧縮されたアングレットの再構成のためのデコーダ１０８に転送される。再構成された光照射野画像は続いて、ディスプレイフォトニクス１０９によって変調される。

ビデオエレクトロニクススタンダーズアソシエーション（ＶＥＳＡ）ディスプレイストリーム圧縮（ＤＳＣ）アルゴリズムは、高解像度ディスプレイに送信されることになる生ビデオデータの圧縮のために提案された規格である。ＶＥＳＡ ＤＳＣエンコーダは視覚的に信頼できるものである。即ち圧縮により導入されるアーティファクトは、視認者にほとんど知覚されない。ＶＥＳＡ ＤＳＣアルゴリズムは、洗練された予測技術を、極めて単純なエントロピ符号化方法と組み合わせて利用するものであり、またディスプレイインタフェースを念頭に置いて設計されたものである。従って、ＶＥＳＡ ＤＳＣアルゴリズムは、その全ての処理をラインバイライン方式で実行し、一般的なディスプレイインタフェースの制限された帯域幅より低いビットレートを維持するための、極めて正確なレート制御手順を有する。しかしながら、ＶＥＳＡ ＤＳＣアルゴリズムは、一般的なビデオ圧縮方法において使用されるブロックコード化構造アプローチを利用せず、また光照射野中に存在する相関性の高い画像構造を活用せず、これら二点により、相当な圧縮ゲインを提供できる。

光線の伝播に従って光線の強度が目に見えて変化しない応用例では、光照射野は、２つの平行平面、又は同様に４つの変数を用いてパラメータ化できる（非特許文献１７）。非特許文献１７はこのパラメータ化を用いて光照射野をキャプチャし、光線補間法を利用して新規の視点を再構成している。高品質でリアルな結果を有する、再構成されたビューを得るために、変数のオーバーサンプリングが必要であった。これは、後に大量のデータを生成して伝送しなければならないキャプチャ及び伝送手順に高い要求を課す。ＶＥＳＡ ＤＳＣ等の圧縮方法の使用により、伝送インタフェースに関するデータ要件を低減できる。それにもかかわらず、この手順は依然として予測及びエントロピ符号化に基づいており、これはディスプレイドライバにおける計算リソースを増大させる。更に上記手順は、ホーゲル間の高い相関性を有する光照射野画像の構造を活用しない。

米国仮特許出願第２０１５０２０１１７６ Ａ１号 米国特許第７，６２３，５６０号 米国特許第７，７６７，４７９号 米国特許第７，８２９，９０２号 米国特許第８，０４９，２３１号 米国特許第８，２４３，７７０号 米国特許第８，５６７，９６０号

Ｍａｇｎｏｒ， Ｍ． ａｎｄ Ｇｉｒｏｄ， Ｂ． "Ｄａｔａ Ｃｏｍｐｒｅｓｓｉｏｎ ｆｏｒ Ｌｉｇｈｔ－Ｆｉｅｌｄ Ｒｅｎｄｅｒｉｎｇ，" ＩＥＥＥ Ｔｒａｎｓ． ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ， １０（３）， ３３８－３４３ （２０００） Ｃｏｎｔｉ， Ｃ．； Ｌｉｎｏ， Ｊ．； Ｎｕｎｅｓ， Ｐ．； Ｓｏａｒｅｓ， Ｌ．Ｄ．； Ｌｏｂａｔｏ Ｃｏｒｒｅｉａ， Ｐ．， "Ｓｐａｔｉａｌ ｐｒｅｄｉｃｔｉｏｎ ｂａｓｅｄ ｏｎ ｓｅｌｆ－ｓｉｍｉｌａｒｉｔｙ ｃｏｍｐｅｎｓａｔｉｏｎ ｆｏｒ ３Ｄ ｈｏｌｏｓｃｏｐｉｃ ｉｍａｇｅ ａｎｄ ｖｉｄｅｏ ｃｏｄｉｎｇ，" ｉｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＩＰ）， ２０１１ １８ｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ， ｖｏｌ．， ｎｏ．， ｐｐ． ９６１－９６４， １１－１４ Ｓｅｐｔ． ２０１１ Ｏｈｍ， Ｊ．－Ｒ．， "Ｏｖｅｒｖｉｅｗ ｏｆ ３Ｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｓｔａｎｄａｒｄｉｚａｔｉｏｎ，" Ｉｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ３Ｄ Ｓｙｓｔｅｍｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ， Ｏｓａｋａ， ２０１３ Ｙａｎ， Ｐ．； Ｘｉａｎｙｕａｎ， Ｙ．， "Ｉｎｔｅｇｒａｌ ｉｍａｇｅ ｃｏｍｐｒｅｓｓｉｏｎ ｂａｓｅｄ ｏｎ ｏｐｔｉｃａｌ ｃｈａｒａｃｔｅｒｉｓｔｉｃ，" Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ＩＥＴ ， ｖｏｌ． ５， ｎｏ． ３， ｐｐ． １６４， １６８， Ｍａｙ ２０１１ Ｙａｎ Ｐｉａｏ； Ｘｉａｏｙｕａｎ Ｙａｎ， "Ｓｕｂ－ｓａｍｐｌｉｎｇ ｅｌｅｍｅｎｔａｌ ｉｍａｇｅｓ ｆｏｒ ｉｎｔｅｇｒａｌ ｉｍａｇｉｎｇ ｃｏｍｐｒｅｓｓｉｏｎ，" Ａｕｄｉｏ Ｌａｎｇｕａｇｅ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＡＬＩＰ）， ２０１０ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ， ｖｏｌ．， ｎｏ．， ｐｐ． １１６４， １１６８， ２３－２５ Ｎｏｖ． ２０１０ Ｊｉｎ－Ｘｉａｎｇ Ｃｈａｉ， Ｘｉｎ Ｔｏｎｇ， Ｓｈｉｎｇ－Ｃｈｏｗ Ｃｈａｎ， ａｎｄ Ｈｅｕｎｇ－Ｙｅｕｎｇ Ｓｈｕｍ． ２０００Ｐｌｅｎｏｐｔｉｃ ｓａｍｐｌｉｎｇ． Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２７ｔｈ ａｎｎｕａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ ａｎｄ ｉｎｔｅｒａｃｔｉｖｅ ｔｅｃｈｎｉｑｕｅｓ （ＳＩＧＧＲＡＰＨ ’００） Ｇｉｌｌｉａｍ， Ｃ．； Ｄｒａｇｏｔｔｉ， Ｐ．Ｌ．； Ｂｒｏｏｋｅｓ， Ｍ．， "Ａｄａｐｔｉｖｅ ｐｌｅｎｏｐｔｉｃ ｓａｍｐｌｉｎｇ，" Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＩＰ）， ２０１１ １８ｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ， ｖｏｌ．， ｎｏ．， ｐｐ． ２５８１， ２５８４， １１－１４ Ｓｅｐｔ． ２０１１ "Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｓ Ｒｅｆｅｒｅｎｃｅ Ｓｏｆｔｗａｒｅ （ＶＳＲＳ） ３．５，" ｗｇ１１．ｓｃ２９．ｏｒｇ， Ｍａｒｃｈ ２０１０ Ｃ． Ｆｅｈｎ， "３Ｄ－ＴＶ Ｕｓｉｎｇ Ｄｅｐｔｈ－Ｉｍａｇｅ－Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ （ＤＩＢＲ），" ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｓｙｍｐｏｓｉｕｍ， Ｓａｎ Ｆｒａｎｃｉｓｃｏ， ＣＡ， ＵＳＡ， Ｄｅｃ． ２００４ Ｍｏｒｉ Ｙ， Ｆｕｋｕｓｈｉｍａ Ｎ， Ｙｅｎｄｏ Ｔ， Ｆｕｊｉｉ Ｔ， Ｔａｎｉｍｏｔｏ Ｍ （２００９） Ｖｉｅｗ ｇｅｎｅｒａｔｉｏｎ ｗｉｔｈ ３Ｄ ｗａｒｐｉｎｇ ｕｓｉｎｇ ｄｅｐｔｈ ｉｎｆｏｒｍａｔｉｏｎ ｆｏｒ ＦＴＶ． Ｓｉｇ Ｐｒｏｃｅｓｓｉｎｇ： Ｉｍａｇｅ Ｃｏｍｍｕｎ ２４（１‐２）：６５‐７２ Ｔｉａｎ Ｄ， Ｌａｉ Ｐ， Ｌｏｐｅｚ Ｐ， Ｇｏｍｉｌａ Ｃ （２００９） Ｖｉｅｗ ｓｙｎｔｈｅｓｉｓ ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ ３Ｄ ｖｉｄｅｏ． Ｉｎ： Ｐｒｏｃｅｅｄｉｎｇｓ ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ ｄｉｇｉｔａｌ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ ＸＸＸＩＩ， Ｖｏｌ． ７４４３， ｐｐ ７４４３０Ｔ‐１‐１１ Ｂｈａｓｋａｒａｎ， Ｖ． "６５．１： ｉｎｖｉｔｅｄ Ｐａｐｅｒ： Ｉｍａｇｅ／Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ ‐ Ａ Ｄｉｓｐｌａｙ Ｃｅｎｔｒｉｃ Ｖｉｅｗｐｏｉｎｔ，" ＳＩＤ Ｓｙｍｐｏｓｉｕｍ Ｄｉｇｅｓｔ ｏｆ Ｔｅｃｈｎｉｃａｌ Ｐａｐｅｒｓ， ｖｏｌ． ３９， ｎｏ． １， ２００８ Ｖｅｔｒｏ， Ａ．； Ｗｉｅｇａｎｄ， Ｔ．； Ｓｕｌｌｉｖａｎ， Ｇ．Ｊ．， "Ｏｖｅｒｖｉｅｗ ｏｆ ｔｈｅ Ｓｔｅｒｅｏ ａｎｄ Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｔｅｎｓｉｏｎｓ ｏｆ ｔｈｅ Ｈ．２６４／ＭＰＥＧ－４ ＡＶＣ Ｓｔａｎｄａｒｄ，" ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ， ｖｏｌ． ９９， ｎｏ． ４， ｐｐ． ６２６－６４２， Ａｐｒｉｌ ２０１１ Ｇｒａｚｉｏｓｉ， Ｄ． Ｂ．， Ａｌｐａｓｌａｎ， Ｚ． Ｙ． Ａｎｄ Ｅｌ－Ｇｈｏｒｏｕｒｙ， Ｈ． Ｓ．， "Ｃｏｍｐｒｅｓｓｉｏｎ ｆｏｒ ｆｕｌｌ－ｐａｒａｌｌａｘ ｌｉｇｈｔ ｆｉｅｌｄ ｄｉｓｐｌａｙｓ"， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＰＩＥ－ＩＳ＆Ｔ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ， ９０１１， （２０１４） Ｇｒａｚｉｏｓｉ， Ｄ． Ｂ．， Ａｌｐａｓｌａｎ， Ｚ． Ｙ． Ａｎｄ Ｅｌ－Ｇｈｏｒｏｕｒｙ， Ｈ． Ｓ．， "Ｄｅｐｔｈ ａｓｓｉｓｔｅｄ ｃｏｍｐｒｅｓｓｉｏｎ ｏｆ ｆｕｌｌ ｐａｒａｌｌａｘ ｌｉｇｈｔ ｆｉｅｌｄｓ"， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＰＩＥ－ＩＳ＆Ｔ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ， ９０１１， （２０１５） Ａｌｐａｓｌａｎ， Ｚ． Ｙ．， Ｅｌ－Ｇｈｏｒｏｕｒｙ， Ｈ． Ｓ．， "Ｓｍａｌｌ ｆｏｒｍ ｆａｃｔｏｒ ｆｕｌｌ ｐａｒａｌｌａｘ ｔｉｌｅｄ ｌｉｇｈｔ ｆｉｅｌｄ ｄｉｓｐｌａｙ，" ｉｎ ＳＰＩＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｔｅｒｅｏｓｃｏｐｉｃ Ｄｉｓｐｌａｙｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ ＸＸＶＩ， ２０１５ Ｌｅｖｏｙ， Ｍ． ａｎｄ Ｈａｎｒａｈａｎ， Ｐ．， "Ｌｉｇｈｔ Ｆｉｅｌｄ Ｒｅｎｄｅｒｉｎｇ，" Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２３ｒｄ ａｎｎｕａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ａｎｄ Ｉｔｅｒａｃｔｉｖｅ Ｔｅｃｈｎｉｑｕｅｓ， ＳＩＧＧＲＡＰＨ ９６

上述の従来技術は、フルパララックス光照射野ディスプレイの実用的な実装に必要とされるような、高品質、低計算負荷、高解像度光照射野伝送方法に対応できない。必要とされるのは、ホーゲル間の相関を活用し、従来技術の圧縮方法に関連する計算負荷及びレイテンシを回避する、圧縮方法である。

以下の説明では、異なる図面においても、同様の要素には同様の図面参照符号を使用する。詳述される構造及び要素等の、説明の中で定義される事物は、例示的実施形態の包括的な理解を助けるために提供される。しかしながら本発明は、これらの具体的に定義された事物を用いることなく実践できる。また、周知の機能又は構造については、これらが不要な詳細により本発明を不明瞭にし得るため、詳述しない。本発明を理解するために、及び本発明をどのように実地で実施できるのかを見るために、本発明の少数の実施形態を、添付の図面を参照して、単なる非限定的な例として以下に説明する。

図１は、高解像度ディスプレイのための光照射野圧縮の、従来技術の全体的なブロック図である。 図２は、本発明の一実施形態のブロック図であり、高解像度光照射野ディスプレイ相互接続のための本開示の圧縮方法についての詳細を提示する。 図３は、本発明のアングレット抑制方法の一実施形態を示す。 図４は、本発明の奇数及び偶数ホーゲル抑制の一実施形態を示す。 図５は、本発明の圧縮選択方法を示す。 図６は、本発明のコンテンツ適応型解凍の一実施形態を示す。 図７は、ホーゲル再構成の一例を示す。 図８は、本発明の圧縮レンダリング方法のブロック図である。 図９は、本発明の視認性試験の結果を示す。 図１０は、本発明の視認性試験から得られたホーゲルの選択の更なる例を示す。

「光照射野（ｌｉｇｈｔ ｆｉｅｌｄ）」は、空間内のあらゆる点を通ってあらゆる方向に流れる光の量を、その方向、振幅、周波数、位相を含んで完全に記述するベクトル関数である。特に、３Ｄオブジェクトを構成するシーンから放出される光線の集合は光照射野と見なされる。色、強度、方向が変調された光を放出することにより、光照射野ディスプレイはシーンの光照射野を再生して、眼鏡を必要としない、輻輳調節矛盾（ＶＡＣ：ｖｅｒｇｅｎｃｅ ａｃｃｏｍｍｏｄａｔｉｏｎ ｃｏｎｆｌｉｃｔ）が低減された３Ｄオブジェクトを表示できる。

３Ｄ画像を再生するために、光照射野ディスプレイは、十分な数の画素を組み込んでおり、各画素は、「アングレット（ａｎｇｌｅｔ）」と呼ばれる固有の方向において光照射野のビューの色及び強度を変調する、コリメート光束を生成する。ホログラフィック素子又は「ホーゲル（ｈｏｇｅｌ）」は、ディスプレイによって再生できる全てのビュー方向を向いた隣接するアングレットの群からなる。ホーゲルにおいて、複数のアングレットが、あるホーゲルに割り当てられた画素の群を変調することにより生成される。３つのタイプの変調は：原色を混ぜることによる色の変調、画素の駆動時間又は駆動電流を調整することによる強度の変調、画素の位置に基づいた方向の変調である。典型的には、ディスプレイは３原色（赤色、緑色、青色）を有するが、一部のディスプレイは３色超又は３色未満の原色を有し得る。色を含む光照射野に関して、各ホーゲルは複数のホーゲルであると見なすことができ、これらはそれぞれが、光照射野において特定の色又は原色のためのものである。

本発明はここで、固定ビットレート符号化に関連した複雑でない圧縮ゲインを達成する、コンテンツアウェア光照射野符号化方法を開示する。具体的には、本発明は、光照射野シーンのコンテンツを利用することにより、固定圧縮比を達成できるような、光照射野情報の区分的デシメーションに関する動的決定を行う。本明細書中のこの固定レート圧縮アプローチは、レイテンシが最小の単純な符号化及び復号化を提供し、これにより一般に入手可能であるインタフェース及びプロセッサの使用が可能となる。本圧縮方法はまた、抑制されたデータがメモリに記憶されないように取得手順に組み込むことができ、また、抑制されたデータがレンダリングされないようにレンダリング手順に組み込むことができる。本圧縮方法は取得及びレンダリングの両方に組み込むことができ、又はこれらのうちの一方に組み込むことができる。両方に組むと、圧縮量を増大させることができる。従って、メモリ要件及びレンダリング処理要件は共に大幅に減少する。

本開示の光照射野圧縮方法は、一般的なインタフェースを用いる様々な光照射野イメージングシステムのために、高解像度のフルパララックス光照射野を伝送できるようにすることにより、従来技術の光照射野デバイス及び方法の性能を拡張する。本発明の更なる目的及び利点は、添付の図面を参照ながら進行する、以下の本発明の好ましい実施形態の詳細な説明から、明らかになるであろう。

本開示の発明は、異なる方法で取得された光照射野に容易に適用できる。例えば光照射野は、カメラが規則的な格子上に配置される２Ｄカメラのアレイを用いて取得できる。この形態のカメラアレイ配置は、参考文献［３２］に記載されているように、画像センサの前にマイクロレンズアレイを置くことによりエミュレートでき、又は市販の光照射野カメラにおいて実装できる。このようなアレイのカメラは、水平及び垂直変位のみを有するビューイング方向に垂直な平面に配置できるか、又はＬｉｇｈｔという名称の企業によって提案されたＬ１６カメラ等の不規則な配置で置くことができる。不規則なカメラ配置を用いることができるものの、これはより複雑なビュー投影をもたらす。規則的な格子の利点は、ホーゲルからのアングレットが、水平又は垂直シフトのみによって互いに関連しており、これによりホーゲル再構成のための関連するプロセッサ負荷が減少することである。

光照射野を表示するために、関連するディスプレイ装置は、光線の方向の変調のために、画素格子の上部においてマイクロレンズを頻繁に用いる。マイクロレンズアレイは優先的に、画素格子を、規則的に配置された同一のホーゲルに対応する規則的な正方形領域に分割する。ディスプレイのマイクロレンズアレイと同じ光学特性を有するカメラアレイによって入力信号が取得されない場合、光照射野データの再フォーマットが必要となる。

本発明はここで、コンテンツ適応型符号化方法と、シーン解析ベースの光照射野サブサンプリング方法とを組み合わせる。シーンのコンテンツにかかわらず、得られるダウンサンプリングされた光照射野は、固定圧縮比を達成する。ここで記載される本発明の実施形態では、光照射野の再配置によって固定２：１圧縮が達成され、これにより隣接するホーゲルのペアは単一のホーゲルのサイズに圧縮される。同様に２×２ホーゲル、４×１ホーゲル又は１×４ホーゲルを単一のホーゲルのサイズに統合することにより、ここで提示される方法の自然な延長によって、固定４：１圧縮が達成される。ホーゲルのより多くの統合は、本発明の範囲内であると考えられ、これに比例した、より高い圧縮比をもたらす。明確にするために、図２～図１０は、例示的な２：１圧縮のみに関する本発明の図示であり、本発明によってサポートされ、可能となる、更に高い圧縮率については、更に高い圧縮比が本発明の範囲内であると明確に考えられると本説明の最後に示したことを除いて、記載していない。

単純なフレームコンパチブル符号化と本発明の方法との差異は、前者は画素サブサンプリングのみを用いるが、本発明の方法は、３つの異なるサブサンプリング方法からの、光照射野のコンテンツに応じたフレームバイフレームベースでの動的決定を含むことである。従って本発明は、固定圧縮比及び単純な復号方法を維持しながら、コンテンツに動的に適応する圧縮を提供する。

図２は、例示的な２：１圧縮に関する本発明のエンコーダ１０４の構造を示す。エンコーダ１０４は３つの異なる圧縮方法：指定アングレット抑制２０１、偶数ホーゲル抑制２０２、奇数ホーゲル抑制２０３を採用する。圧縮セレクタ２０４は、これらの最小の忠実度メトリックを用いて、ＴＸインタフェース１０５に転送するデータを選択する。光照射野ディスプレイ１０２において、ＲＸインタフェース１０７が受信したデータは、抑制されたアングレットの再構成のためにコンテンツ適応型デコーダ２０５によって処理される。再構成されたアングレットは、伝送されるアングレットと共に、ディスプレイフォトニクス１０９のための高解像度光照射野画像を生成する。２：１圧縮の例に関して、この圧縮方法は、所望のリンク１０６の帯域幅Ｂを１／２だけ、即ちＢ／２に低減する。更に高い圧縮比が実装される場合、帯域幅Ｂは比例して減少し、例えばＮ：１圧縮は帯域幅をＢ／Ｎに低減する。

図３は、アングレット抑制２０１を示すブロック図である。画像生成１０３は、入力を隣接するホーゲルのペアへと変換し、これらのホーゲルを２つのデータバッファに保存する。これは本発明の限定ではないが、カメラが画素格子を規則的な正方形領域に分割すると仮定すると、光照射野フレーム内の隣接するホーゲルの全てのペアは、チェッカー盤のレイアウトパターンに類似した１つの奇数ホーゲル３１０及び１つの偶数ホーゲル３２０として特性決定できる。アングレット圧縮方法は好ましくは、光照射野フレームホーゲルを隣接するホーゲルのペアとして処理し、ここで上記ペアは、各ホーゲルが１つのペアのみのメンバーである、即ち１度だけ含まれるという制約を受ける。同様に、全ての光照射野フレームホーゲルにおける隣接するアングレットの全てのペアは、ホーゲルの配置のチェッカー盤のレイアウトパターンに類似した様式で、一方は奇数アングレットであり他方は偶数アングレットであると特性決定してよい。各ホーゲルのペアのアングレットは４つのデータバッファ、即ち奇数ホーゲル３１１の全ての偶数アングレット、奇数ホーゲル３１２の全ての偶数アングレット、偶数ホーゲル３２２の全ての偶数アングレット、偶数ホーゲル３２１の全ての偶数アングレットに分類される３０１。奇数ホーゲル３１１及び偶数ホーゲル３２１の両方の偶数アングレットは、光照射野ディスプレイ１０２に伝送されるよう選択され、データバッファ３３０に共にパックされる３０２。（奇数アングレットの選択は任意であるが、偶数アングレットはユーザによって選択され得る。）忠実度メトリックＳＡＤ_ANGLET３２５は、（１）奇数ホーゲル奇数アングレット３１１と対応する奇数ホーゲル偶数アングレット３１２との強度の絶対差と、（２）偶数ホーゲル偶数アングレット３２２と対応する偶数ホーゲル奇数アングレット３２１との強度の絶対差との合計である。チェッカー盤パターン以外のアングレットのレイアウトパターンを、本発明の文脈内で適用してよいことに留意されたい。例えば、全ての偶数アングレット及び全ての奇数アングレットを、交互の列又は交互の行で並べられてよく、これは、コーダ／デコーダ処理負荷の多少の低減をもたらす。同様に、チェッカー盤パターンではなく六角形パターンを用いてよい。

図４は、偶数ホーゲル抑制２０２及び奇数ホーゲル抑制２０３をそれぞれ示したブロック図である。アングレット抑制２０１と同様に、画像生成１０３は、入力を隣接するホーゲルのペアへと変換し、これらのホーゲルを２つのデータバッファ、奇数ホーゲル３１０及び偶数ホーゲル３２０に保存する。隣接するホーゲルのペアの各ホーゲルに関して、それぞれのアングレットデータを新しい位置に変位させることができ、変位したアングレットを用いて元のホーゲルから形成されたホーゲルは、上記ペアの対向するホーゲルに十分に類似したものとなり、上記対向するホーゲルの代替として機能できる。従って、隣接するホーゲルのペアの各ホーゲルのアングレットは、元のホーゲルのアングレット４１１、４２１及び元のホーゲルの変位したアングレット４１２、４２２のための別個のデータバッファに入れられる。これらの２つの圧縮方法のための忠実度メトリックＳＡＤ_{ODD HOGEL}４１５、ＳＡＤ_{EVEN HOGEL}４２５は、元のホーゲルのアングレットと、上記ペアの反対のホーゲルの対応する変位したアングレットとの強度の絶対差の合計である。視差と呼ばれる変位量は、この圧縮方法のための忠実度メトリックが最小値に達するまで変位量を変化させることにより推定できる４０１。これは、視差推定アルゴリズム（ステレオマッチング等）を適用することによって、又はスライディングウィンドウタイプの動作により上で定義したＳＡＤ忠実度メトリックを最小化することによって行うことができる。その推定視差値と共にフル解像度を有する元のホーゲルを、データバッファ４３０、４４０に共にパックする４０２。本発明の一実施形態では、推定視差値は、ホーゲル全体に有効な固有値である。これはホーゲル再構成手順を簡略化するため、復号手順に有利である。それにもかかわらず、本発明をホーゲル画像のセグメントに適用することもでき、視差値を複数のアングレットのブロックに対して、又は単一のアングレットに対してさえ、決定できる。選択されたホーゲルによって受信した視差値をより多く用いて、受信した視差値を精緻化し、局所的視差推定を実施できる。従って選択されたホーゲルによって受信した視差値が多いほど、良好な再構成品質を得ることができるが、光照射野ディスプレイに転送するために必要なリンク帯域幅１０６より大きくなる。

図５に示すように、圧縮セレクタ制御５０１は、最小の忠実度メトリック３２５、４１５、４２５からの選択を行うことにより、圧縮データバッファ３３０、４３０、４４０からの決定を行い、それに応じて圧縮セレクタスイッチ５０２を調整して、選択された圧縮データバッファをＴＸインタフェース１０５に転送する。ＳＡＤ_ANGLETが最小の忠実度メトリックである場合、圧縮モードはＭｏｄｅ_ANGLETに設定され、奇数及び偶数ホーゲルの奇数アングレット並びに上記圧縮モードが伝送される。ＳＡＤ_{ODD HOGEL}が最小の忠実度メトリックである場合、圧縮モードはＭｏｄｅ_{ODD HOGEL}に設定され、奇数ホーゲルの視差、奇数ホーゲルのアングレット、及び上記圧縮モードが伝送される。ＳＡＤ_{EVEN HOGEL}が最小の忠実度メトリックである場合、圧縮モードはＭｏｄｅ_{EVEN HOGEL}に設定され、偶数ホーゲルの視差、偶数ホーゲルのアングレット、及び上記圧縮モードが伝送される。

図６は、コンテンツ適応型デコーダ２０５の詳細を示す。受信したデータはまずアンパックされ６０１、ここで圧縮モード及び視差値が圧縮データから抽出される。圧縮モードを６０５、６０６でチェックし、抑制されたアングレットの再構成において奇数アングレットを複製する６０２か、又は変位された奇数ホーゲルアングレットを生成する６０３か、又は変位された偶数ホーゲルアングレットを生成する６０４かを指示する。この手順を、入力フレームが完全に再構成されるまで繰り返す６０７。復号が単純であることにより、本発明において開示される方法は、低レイテンシの、計算に制約がある光照射野ディスプレイに特に好適である。バイキュービック補間等のより複雑なアングレット補間スキームや、アングレットごとの視差値を用いるもの等のより複雑なホーゲル再構成スキームも、本発明の範囲内である。圧縮量が２：１超に増大した場合には、補間の方法は複雑になるほど有用である。というのは、これらの方法は復号された光照射野データのより信頼できる再構成を可能とするためである。

図７は、ホーゲル再構成によって生成された画像を示す。図７（ａ）は、元のホーゲルのアングレットによって生成された画像を示す。図７（ｂ）は、元のホーゲルのアングレットによって生成された画像と、新しい位置への視差量だけ変位された元のホーゲルのアングレットによって生成された画像とを示す。変位後、アングレットのうちのいくつかは、変位されたホーゲルの位置の境界線から外れ、他のアングレット位置は埋められない。図７（ｃ）は、ホーゲル境界線から外れたこれらのアングレットを除去するための境界線クロッピング動作後に生成された画像を示す。図７（ｄ）は、埋められなかったアングレットの位置（ホールと呼ばれる）が埋められた後の画像を示す。埋める方法は、ホールの位置に最も近いアングレットの強度値をコピーすることであり、これは、本発明の方法の文脈内で使用できるホールを埋めるために利用可能な複数の異なる方法のうちの１つにすぎない。

特許文献１では、圧縮レンダリングの概念が導入されており、ここで圧縮をレンダリングプロセス中に適用して、ソースにおいて削除でき、簡単に生成又はレンダリングできないデータを抑制する。本発明の一実施形態では、レンダラは光照射野データを抑制し、これにより、総光照射野データのうちの半分のみがレンダリングされ、処理負荷はこれに比例して減少する。光照射野データが完全にレンダリングされない場合、どのホーゲルをレンダリングするべきかをまず選択し、これらのホーゲルがレンダリングされた後、又はホーゲルがレンダリングされるときに（レンダリング動作と圧縮動作とは組み合わせることができる）、これらのホーゲルに圧縮を適用することにより、更なるデータ圧縮、計算及び動力節減を達成できる。

図８は、圧縮レンダリング８０１の手順の詳細を示す。光照射野データ１１１によって示されるシーンのオブジェクトに基づいて、視認性試験８０３は、３つの異なるレンダリングモード、即ちアングレットレンダリング８０４、奇数ホーゲルレンダリング８０５、又は偶数ホーゲルレンダリング８０６からの選択を行う。セレクタスイッチ８０２は、レンダリングモードを使用して、アングレットレンダリング８０４、奇数ホーゲルレンダリング８０５、又は偶数ホーゲルレンダリング８０６の中から選択した光照射野レンダリングを可能とする。アングレットレンダリング８０４の場合、両方のホーゲルがレンダリングされるが奇数アングレットのみが維持され、奇数ホーゲルレンダリング８０５又は偶数ホーゲルレンダリング８０６の場合、ペアのうちの一方のホーゲルのみがレンダリングされる。更に、視認性試験は、存在するオブジェクトの位置から視差値を算出する。レンダリングモード、視差値、レンダリングされた光照射野データのアングレットは１つにパックされ８０８、ＴＸインタフェース１０５に伝送されて、コンテンツ適応型デコーダ２０５によって復号される。

図９は、視認性試験におけるレンダリングモード選択プロセスの一例を示す。図９では、各ホーゲルは、マイクロレンズアレイの単一のレンズとして示され、ホーゲルから放出された複数のアングレットは集合として、ホーゲルの視野（ＦＯＶ）９０４を決定する。ホーゲルのＦＯＶ及びシーン中のオブジェクトの位置に応じて、視認性試験は、レンダリングされることになる数が減少したホーゲルを選択し９０２、残りのホーゲルを抑制する。本発明の一実施形態では、各オブジェクトに関して、視認性試験は、ディスプレイ表面と位置合わせされた境界ボックス９０６を確立する。レンダリングのために選択されたホーゲルは、ペアのうちの一方であり、ほとんどのアングレットが境界ボックスの位置合わせされた表面に当たっている。視差値は、境界ボックスの深さから又はレンダリングされたホーゲルの最も代表的な深さ値から算出される。

図１０もまた、視認性試験におけるレンダリングモード選択プロセスの一例を示す。図１０に示すように、境界ボックス１００２を有するウサギのオブジェクト１００３のように、オブジェクトが光照射野ディスプレイに近づきすぎている場合、ホーゲルのペアのうちの１つのホーゲルの境界ボックスの位置合わせされた表面に当たっているアングレットの強度は、上記ペアの他方のホーゲルとは大きく異なるものであってよい。このような場合、アングレット圧縮はホーゲル圧縮より効率がよい。従って、両方のホーゲルを選択してレンダリングし、その代わりにアングレット圧縮１００１を用いる。

以上の開示は２：１圧縮方法を詳細に説明しており、この方法はハードウェア、ファームウェア又はソフトウェアにおいて実践してよい。また、上述したように、本発明の方法はより高い圧縮比に拡張できる。例として、４：１圧縮に本方法を拡張するためには、記載した方法を隣接するホーゲルの２つのペアに適用するだけでよく（ただし典型的には必ずしも２×２ホーゲルパターンではない）、その後、最も良好な忠実度メトリックを有する２×２ホーゲルパターンのホーゲルを選択する。よってこの実施形態に関する図６では、選択は、示されている３つのうちの１つではなく、５つのうちの１つの選択となる。これら５つのモードは、アングレットモード（４つのアングレットの中から３つが間引かれる）、ホーゲル－１モード、ホーゲル－２モード、ホーゲル－３モード又はホーゲル－４モードである。同様に、本開示の実施形態は図２の圧縮プロセッサ２１０において３つの異なる圧縮方法を採用するが、これより少ない又は多い数の圧縮方法を用いてよい。とはいえ、使用される圧縮方法に関して、得られる忠実度メトリックは同等のスケールのものであるべきであり、従って忠実度メトリックの比較は、ＴＸインタフェースに転送されることになるデータの選択において有意義である。また、所望に応じて、他の又は更に洗練された方法を、４：１圧縮及びそれ以上の圧縮のために用いてよい。

当業者は、添付の請求項において及び請求項によって定義される本発明の範囲から逸脱することなく、本発明の実施形態に様々な修正及び変更を適用できることを容易に理解するであろう。本発明の以上の例は例示にすぎず、本発明は、本発明の精神又は本質的な特徴から逸脱することなく、他の特定の形態で具現化できることを理解されたい。

Claims (1)

1. 高精細光照射野ホーゲルデータを圧縮するための方法であって、
   前記方法は、圧縮された高解像度光照射野ホーゲルデータを、有線又は無線伝送系によって、制限された帯域幅内で伝送するためのものであり、
   前記方法は：
   複数の異なる圧縮方法を確立するステップであって、前記圧縮方法が、隣接するホーゲルのペアが単一のホーゲルのサイズに圧縮され、前記隣接するホーゲル間の相関を活用するように、前記高解像度光照射野ホーゲルデータを前記隣接するホーゲルのペアに圧縮し、各前記圧縮方法は、各前記圧縮方法が提供することになる光照射野再構成品質の指標である、光照射野ホーゲルデータ依存性メトリックを有し、各高解像度光照射野ホーゲルが複数のアングレットを有し、前記複数の異なる圧縮方法が固定圧縮比を有し、各前記圧縮方法は、前記高解像度光照射野ホーゲルの複数の群の、各同一の群の中から、１つ又は複数の異なるアングレットを選択する、ステップ；
   各前記方法に関して、圧縮される前記高精細光照射野ホーゲルデータに関する前記光照射野ホーゲルデータ依存性メトリックの値を決定するステップ；
   最も好ましい光照射野再構成品質の指標である前記光照射野ホーゲルデータ依存性メトリックをもたらす前記圧縮方法を選択するステップ；
   選択された前記圧縮方法に従って、前記高精細光照射野ホーゲルデータを圧縮するステップ；並びに
   圧縮モード及び選択された１つ又は複数の異なるアングレットから推定される視差値を、圧縮された前記高精細光照射野ホーゲルデータと共にパックするステップであって、前記圧縮モードは、前記選択された圧縮方法の指標である、ステップ
   を含む、方法。

Images