JP5592005B2 - フレームパッキングフォーマットでアクティブスペースの知的な使用を行う方法及び装置 - Google Patents

Description

本発明は、立体システムに関するものであり、より詳細には、３次元（３Ｄ）鑑賞にとって有効な眼鏡システムに関する。

人間は、我々が２インチだけ離れた２つの目を有する事実による、両眼視として知られるものを有している。それぞれの目は、僅かに異なる情報をそれぞれ脳に提供する僅かに異なる視点から同じシーンを見る。これらの２つのビューは、我々が奥行きを知覚し、３次元（３Ｄ）における世界を見るように、脳により結合される。

ピクチャ又はビデオのような電子的に記憶又は送信された視覚映像は、テレビスクリーン又は他のタイプのモニタのような２次元媒体で一般的に表示されるか、又はスクリーンに投影される。両方の目は、同じ情報を見る。従って、脳は、奥行きを感知するため、２、３例を挙げると、オブジェクトの相対的なサイズ、影、投影線、又は水平線のような、２次元（２Ｄ）画像からの他の視覚的な手掛かりを使用することが委ねられる。しかし、ピクチャは、なおフラットに見え、我々が現実世界を見るのとは異なる。

立体視法は、２次元画像から奥行きの錯覚を与える様々なプロセス及び装置のいずれかを示す。我々が錯覚といっているのは、真の３Ｄは、むしろ画像の周りを歩き回り、遠近感を変えることができるホログラムに近いためである。しかし、正しく行われるとき、立体視法は、オブジェクトがスクリーンから飛び出すように感じるように脳に錯覚させることができる。

その最も簡単な形式では、２、３インチ離れて配置される２つのカメラ、又は２つのレンズをもつ１つのカメラは、２つの２Ｄ画像を捕捉するために使用される。勿論、それぞれの２Ｄ画像は、左目が一方の画像を見て、右目が他方の画像を見るとき、脳がビューを結合して、結合された画像を３次元（３Ｄ）としてみるように、僅かに異なる視点からのものである。

より一般的に使用される用語である、大型スクリーンの立体映画又は３Ｄ映画は、大変人気となっている。さらに、３次元技術は、いわゆる３Ｄ ＴＶをもつホームビデオ、ビデオゲーム、コンピュータモニタ鑑賞のためのストリーミング及び記録されたビデオコンテンツについて利用可能である。

利用可能な幾つかのタイプの立体又は「３Ｄ」技術が存在する。大部分は、特別なメガネ又はゴーグルをビューアが装着するのを必要とする。なかにはメガネにアクティコンポーネントを必要とするものがあり、必要としないものもある。なかには特別のモニタ又はドライバを必要とするものがある。それぞれは、長所と短所を有しており、状況に依存して、特定のタスクに意味をなす場合、意味をなさない場合がある。

使用される技術に係らず、最終目標は、主に、左目及び右目が見たものを分離することである。初期の技術は、物理的な分離に関するものであり、ビューアは、左のビューと右のビューとを物理的に分離するため、それぞれの目に対応するレンズをもつ双眼鏡のような装置をのぞきこむ。この技術は、最も旧式である場合があり、良好に機能し、この技術のバリエーションは、現代の仮想現実のゴーグル又は頭部に搭載するディスプレイでなお使用されている。しかし、これは、ある人物又は見ている個人にとってのみ良好であり、カップルのビューア達にとって高価であるか又は実用的でない。

大衆向けに良好な最初の左／右（Ｌ／Ｒ）分離技術の１つは、スペクトル分離である。この技術用語は、「カラーアナグリフ」であり、それぞれのビューが、一方の目についての赤フィルタと他方の目についての青フィルタをもつメガネを装着することを含む。左の画像と右の画像は、更に青又は赤でエンコードされ、同時に表示される。この技術は、１９５０年代で３Ｄ映画を製作するために人気があり、標準的なカラーテレビ又はモニタと共にある程度まで機能する。その時代に新しさを提供する一方、美学的に望まれる多くを残していた。結末はモノクロとなる傾向があり、多数のゴーストを有していた（すなわちＬ／Ｒ分離はクリーンではなかった）。生産者側では、製造するのが安価であり、メガネは、パッシブであって、非常に安価であった。

スペクトル分離と同様に、次の一般的な技術は、空間分離であり、それぞれの目のレンズが、判定方向で他の偏向又は円偏光されたものに対して、例えば４５°偏向される偏向メガネをビューアが装着することを含む。これは、映画館において、今日最も使用されている技術である。これは、かなり完全であるＬ／Ｒ分離と良好に機能するが、劇場のセッティングにおいて２つのプロジェクタ又は特別なプロジェクタ、又はモニタにおける幾つかの更なるレイヤを通常は必要とし、更なるコストが加わる。また、それぞれの目は、半分の解像度のみを見るため、鑑賞体験の品質を低下させる。生産者側では、偏向メガネはパッシブであり、従って比較的安価である。

本明細書を通して、「１実施の形態」又は「実施の形態」に対する参照は、本実施の形態と共に記載される特定の特徴、構造又は特性が本発明の少なくとも１つの実施の形態に含まれることを意味する。従って、本明細書を通して様々な位置で記載「１実施の形態では」又は「実施の形態では」が登場することは、必ずしも同じ実施の形態を示すものではない。さらに、１以上の実施の形態で任意の適切なやり方で特定の特徴、構造又は特性が組み合わされる。

先に記載されたように、スペクトル分離及び空間分離技術の両者は、左目の画像及び右目の画像を分離するための様々なフィルタ技術を有するパッシブグラスを使用する。一時的な分離は、アクティブメガネ技術を含む。アクティブメガネは、ディスプレイが左目画像と右目画像を交互に表示するとき、左目と右目を交互にブラックアウトするメガネである。

例えばアクティブメガネは、シャッターメガネ又はシャッターゴーグルと呼ばれ、左の目が右の画像を見ることからブロックするために一つおきのフレームをブラックにし、逆に、次のフレームにおいて、右の目が左の画像を見ることからブロックするために一つおきのフレームをブラックにする、それぞれの目において液晶ディスプレイ（LCD）を有する。これらは、良好に機能するが、一方の目においてフレームの半分を取得し、他方の目においてフレームの半分を取得する。これは、オン／オフの光を目が補償しようとするときの頭痛、ゲーマーの低フレームレート、及びディスプレイとメガネの間の同期の問題に繋がる可能性がある。

上述の内容及び本発明の良好な理解は、添付図面と共に読まれたとき、以下の詳細なアレンジメント及び例示的な実施の形態及び特許請求の範囲から明らかとなるであろう。これら実施の形態、特許請求の範囲及び図面の全ては本発明の開示の一部を形成している。上述及び以下の記載及び図示された開示は、本発明の開示しているアレンジメント及び例示的な実施の形態に焦点を当てているが、これらは本発明を例示することを目的とするものであって、本発明はこれらに限定されるものではないことを、明らかに理解されるであろう。
３Ｄビデオを鑑賞するラップトップ又は他の装置のようなプラットフォームである。 アクティブビデオ表示領域の例示に沿った、それぞれの軸に沿ってプロットされた垂直方向及び水平方向のタイミングパラメータを示すタイミング図である。 同じ時間軸に沿ってプロットされる、図２に類似した、ビデオタイミングパラメータを示すタイミング図である。 ２Ｄフレーム及び３Ｄビデオのフレームスタッキングを例示するＨＤＭＩ（High Definition Multimedia Interface）である。 コンテンツが２Ｄ又は３Ｄであるかを発見し、最良の鑑賞の品質のためにコンテンツをディスプレイフォーマットマッチングに適用するためにグラフィックスドライバに追加される機能を示すブロック図である。

図１は、アクティブメガネを使用した３Ｄ鑑賞の１システムを示す。図示されているように、コンピュータ１００又は他のモニタは、一時的な分離を使用して３Ｄビデオコンテンツを表示するディスプレイスクリーン１０１を有する。ビデオコンテンツソースは、ＣＤ等に記録されるか又はメモリに記憶され、イントラネットのようなネットワークを通して、大気又はケーブルブロードキャストを通して、或いは他の適切なビデオ伝達方法でストリーミングされる場合がある。

アクティブメガネ１０２は、ディスプレイ１０１のフレームレートに同期される送信機１０４を一般に使用する。この送信機１０４は、赤外線（ＩＲ）、無線周波（ＲＦ）、Bluetooth（登録商標）等のような多数の無線技術１０６を使用して、メガネ類又は眼鏡１０２と通信する。送信機１０４は、ＵＳＢ（Universal Serial Bus）又はＵＳＢ２ケーブルのようなケーブル１０８によりコンピュータ１００に接続される。

立体視システムでは、眼鏡のシャッターは、画像がディスプレイ１０１で安定であるときにしっかりと結合されることが望まれる。ＶＥＳＡ（Video Electronics Standard Association）規格のタイミングは、画像がそれぞれのフレームで変化している場合に十分に安定な画像の時間を許容しない場合がある。

従来のソリューションは、拡大された垂直ブランクのタイミングを考慮することで少しは助けになる。これは、約３２％の最大期間に画像の安定性を改善する。さらに、小さなデューティサイクルのため、アクティブシャッター眼鏡を通して見られるディスプレイの平均の知覚される明るさは、極めて低い。ノートブック又はネットブックのような小型のスクリーンサイズの装置について、３Ｄ鑑賞の品質の問題は、深刻になる。

図２及び図３の両者は、ビデオタイミングパラメータを例示する。図２は、例示の容易さのため、アクティブビデオ２００の垂直方向の軸に沿って形成される垂直方向タイミングパラメータ及びアクティブビデオ２００の垂直方向の軸に沿って形成される水平方向タイミングパラメータと共に、境界又はマージン２０２及びアドレス指定可能なビデオ領域（Addr Time）２０４を有するアクティブビデオ２００を示す。図３は、図２と同様であるが、リアルタイムで生じるときと同じ軸に沿って垂直方向及び水平方向のビデオタイミングパラメータを本質的に示す。

図２又は図３のいずれかのビデオタイミングパラメータは、以下のように定義される。

水平方向のアドレス指定可能なビデオは、左の境界の終わりと右の境界の開始との間の時間である。

水平ブランキングは、右の境界の終わりと左の境界の開始との間の時間である。

境界は、水平方向のフロントポーチ時間、水平方向の同期パルス幅の時間及び水平方向のバックポーチ時間を含む。

水平方向のフロントポーチは、右の境界の終わりと水平同期パルスの開始との間の時間である。

水平方向の左の境界は、水平方向のブランキング期間の終わりと水平方向のアドレス指定可能なビデオ領域の開始との間の時間である。

水平方向の右の境界は、水平方向のアドレス指定可能なビデオ領域の終わりと水平方向のブランキング期間の開始との間の時間である。

水平同期パルス幅は、水平方向のフロントポーチの終わりと水平方向のバックポーチの開始との間の時間である。

水平方向のバックポーチは、水平同期パルスの終わりと左の境界の開始との間の時間である。

水平方向のアクティブビデオは、水平方向の左の境界の時間、水平方向のアドレス指定可能なビデオの時間及び水平方向の右の境界の時間の合計である。

垂直方向のアドレス指定可能なビデオは、上の境界の終わりと、下の境界の開始との間の時間である。

垂直方向のブランキングは、下の境界の終わりと上の境界の開始との間の時間であり、垂直方向のフロントポーチの時間、垂直同期パルス幅の時間及び垂直方向のバックポーチの時間を含む。

垂直方向のフロントポーチは、下の境界の終わりと、垂直同期パルスの開始との間の時間である。

垂直方向の上の境界は、垂直方向のブランキング期間の終わりと垂直方向のアドレス指定可能なビデオ領域の開始との間の時間である。

垂直方向の下の境界は、垂直方向のアドレス指定可能なビデオ領域の終わりと垂直方向のブランキング期間の開始との間の時間である。

垂直同期パルス幅は、垂直方向のフロントポーチの終わりと垂直方向のバックポーチの開始との間の時間である。

垂直方向のバックポーチは、垂直同期パルスの終わりと上の境界の開始との間の時間である。

垂直方向のアクティブビデオは、垂直方向の上の境界の時間、垂直方向のアドレス指定可能なビデオの時間及び垂直方向の下の境界の時間の合計である。

ここで図４を参照して、１つのＨＤＭＩ（High Definition Multimedia Interface）規格に係る２Ｄビデオと３Ｄビデオフレームスタッキングとを比較するタイミング図が示される。２Ｄフレームは、左に示されており、３Ｄフレームは、右に示されている。なお、３Ｄ水平方向の全体の画素は、２Ｄ水平方向の全体の画素に等しい。３Ｄ垂直方向の全体のラインは、２Ｄ垂直方向の全体のラインの２倍である。３Ｄ画素のクロック周波数は、２Ｄ画素のクロック周波数の２倍に等しい。この構造は、プログレッシブビデオフォーマットに適用される場合がある。左／右（Ｌ／Ｒ）フレームの配置及びフレームの切り替えに関する正確な情報を取得することは、従来の立体３Ｄシステムについて、これまで技術的な課題であった。そのため、（例えば図１に示されるような）従来のアクティブ液晶シャッターに基づく３Ｄ眼鏡は、眼鏡１０２にスイッチを一般に設けており、このスイッチは、ゴーストを回避するために左フレームと右フレームとの間で手動的にフリップする。このスイッチを取り除いてこの機能を自動的に設けることが望ましい。本発明の実施の形態は、この課題を解決するものであり、この機能を提供するだけでなく、多くの他の目的に有効となる多くの情報を提供する低コストなメカニズムを提供する。

図４に示されるように、定義により、ＨＤＭＩアクティブ空間４００は、右フレームから左フレームを分離する。規格の仕様により、アクティブスペース４００の間に、ＨＤＭＩソース（例えばＰＣ又は他のビューイング装置）は、一定の画素値を送信することが期待される。ＨＤＭＩシンク（例えばアクティブシャッター眼鏡）は、値に係らず、アクティブスペース４００の間に受信された全てのデータを無視することが期待される。本発明の実施の形態は、推薦された固定された画素値の代わりに、アクティブスペースに知的情報をソース装置が埋め込むことを含む。次いで、シンク側で、本発明は、シンク装置に、アクティブスペースから埋め込まれた情報を読取らせ、眼鏡のパネル光学の同期のような、更に有効なアクションを生じさせるように推測する。

典型的にアクティブスペース４００は、フレーム解像度に依存して、水平方向の多数の画素数をもつ１以上の垂直ラインであり、固有のデバイスＩＤ、時間及び空間スタンプ等のような多くの有効な情報は、これらのパケットに埋め込まれ、今日個人の３Ｄを楽しむために可能ではないマルチトランスミッタ−マルチビューアのシナリオにおける多数の応用を開く（例えば個人の眼鏡をもつある部屋における多数の３Ｄラップトップユーザは、それら自身のスクリーン、プロジェクタ及びそれらの近傍のスクリーンを見ている）。

アクティブスペース４００の配置は、（左フレームと右フレームとの間で）ＨＤＭＩ仕様により固定されているため、アクティブスペースに埋め込まれている情報は、（たとえば仕様の本来の位置ではないとしても）左フレーム及び右フレームの位置を確定的に伝達する。従って、本発明は、眼鏡があるか無いかに係らず、高品質な立体３Ｄシステムを形成する非常に強力なインフラストラクチャを提示する。

１実現では、高品質の立体３Ｄ眼鏡が可能であり、フレームタイミングに同期するだけでなく、左／右の配置にも同期する。

別の実施の形態では、左／右フレーム情報又はアクティブスペースに埋め込まれる多数のビューに関する情報と同期するため、（特定の眼鏡を必要とすることなしに）オートステレオスコピックディスプレイの光学素子を支援することができる。

更に別の実施の形態では、眼鏡によりダイレクトにデコードすることができる予め決定されたカスタムピクセルカラーを送信することができる。

本発明によれば、確定的な左／右フレームの配置情報は、新たな帯域内の方法で提供され、この方法は、ＵＳＢ周辺装置を低コストな埋め込み型エミッタで置換え、眼鏡を取り除き、眼鏡によるマルチトランスミッタ−マルチビューアのシナリオを可能にする。本発明は、仕様が指摘したときにさもなければ無視されていた、ＨＤＭＩ仕様により要求されるアクティブスペース４００を有効な目的にする。この情報はガーベージコレクタ等により摘み取られ、有効な目的のためにリサイクルされるため、仕様に対する準拠は壊れない。

更に別の実施の形態では、立体のコンテンツ再生は、２つのビデオストリームを所望の出力３Ｄフォーマットに結合する特別のプレーヤを一般に含む。多くの係るプレーヤは、立体の再生は市場の関心を捉えたので市場において利用可能となっている。しかし、これらのプレーヤは特別であるため、これらは余分のコストを３Ｄ ＰＣに追加し、おそらくより重要なことに、これらは、３Ｄコンテンツを楽しむためにエンドユーザの選択を特定のソフトウェアをもつ特定のハードウェアに制限する。多くの係る商業的なソリューションの妥当性及び準拠は、更に別の費用の係るベクトルである。１実施の形態によれば、本発明は、大部分の従来の２Ｄメディアプレーヤの３Ｄ再生をメインストリームＰＣで可能にする。

図５は、１実施の形態に係るブロック図を示す。実施の形態は、ＣＰＵコア５０２、ＬＬＣ５０４、ＳＡ５０６、及びディスプレイ２０１に接続される２Ｄ ５０８を備えるＰＣを含む。メディアＡｐｐ５１２は、ＤＸＶＡ５１６及びＧＦＸドライバ５１８に供給するDirectShowコーデック５１４に接続される。ＧＦＸドライバは、メディアパイプ５２０に接続しており、メディアパイプは、ＧＴ ＥＵ又はＬＲＢｘコア５２２を含む。ＤＲＡＭ５２４は、ＰＣ５００と通信する。プロセスは、ＤＲＡＭ５２４に記憶されており、ブロック５２６において暗号化／圧縮されたビデオデータを含み、このビデオデータは、ブロック５２８でフレームに解読され、復号化される。その後、フレームは、ブロック５３０において後処理されたフレームに処理され、次いで、ブロック５３２で合成後のＡｐｐバッファが得られる。ブロック５３２及びフレームバッファ（デスクトップ）５３４は、ブロック５３６で、混合されたフレームバッファに結合される。また、フォントフレームバッファ５３８も含まれる。

実施の形態は、（スタンドアロン型のミドルウェアアプリケーションも可能であるが）グラフィックスドライバ５１８への拡張として実現される場合、最も効果的とすることができるミドルウェアとして実現される。ＧＦＸドライバ５１８は、１）２Ｄ／３Ｄコンテンツの自動検出器、２）コンテンツ−ディスプレイフォーマット整合−適合アルゴリズム及び３）立体ビデオストリームのマルチプレクサに変更される。

要するに、実施の形態は、コンテンツが２Ｄで表示されるコンテンツであるか又は３Ｄで表示されるコンテンツであるかを自動的に発見する。検出は簡単であり、例えば一般的なメインストリームＰＣのウィンドウズ（登録商標）メディアプレーヤは、立体コンテンツが再生される場合に２つの独立なウィンドウズ（登録商標）を開く。次いで、ＰＣシステムのコンフィギュレーション及び再生されているコンテンツのフォーマットが発見される。一般的なＧｆｘドライバは、ディスプレイＥＤＩＤ及びメディアプレーヤパラメータからのこの情報を有する。次いで、Ｇｆｘドライバの拡張として実現されるビデオストリームコンバイナを介して、コンテンツ−ディスプレイフォーマットの整合アルゴリズムを適用し、ユーザにおって最良の鑑賞の品質のためにコンテンツを適合する。この方法は、メインストリームＰＣにおける大部分の汎用メディアプレーヤに適用することができる。

定義により、高水準のメディアプレーヤアプリケーションは、ハードウェアにとらわれないように一般的に設計されるので、これらは、特定のハードウェアに最適化されない。対照的に、本発明の実施の形態は、代わりにグラフィックスドライバにあるように設計され、従ってドライバにとって利用可能なハードウェアレベルの情報を利用する。ミドルウェアであるため、本発明は、両サイドのうちの最良のものを利用するために固有であり、コーデックの問題は、高水準のメディアプレーヤにより扱われ、ディスプレイフォーマット及び品質の問題は、ドライバ及びその下部のハードウェアにより扱われる。従って、ミドルウェアは、一般的な２Ｄメディアプレーヤを、３Ｄディスプレイにレンダリングする高品質の立体ビデオプレーヤとして振舞うようにする。

本発明の例示される実施の形態の先の記載は、要約に記載されたものを含めて、排他的となることを意図せず、開示される正確な形式に本発明を制限することを意図していない。本発明の特定の実施の形態及び本発明の例は例示のために記載されたが、当業者が認識するように、本発明の範囲内で様々な等価な変更が可能である。

これらの変更は、先に記載された記載に照らして本発明に行うことができる。以下の特許請求の範囲で使用される用語は、発明の詳細な説明及び特許請求の範囲で開示される特定の実施の形態に本発明を制限するように解釈されるべきではない。むしろ、本発明の範囲は、請求項の解釈の確立された理論に従って解釈される、以下の特許請求の範囲により全体的に決定される。

Claims (15)

1. ３次元画像を鑑賞する方法であって、
   アクティブスペースにより分離される左のアクティブビデオフレームと右のアクティブビデオフレームとを有するビデオストリームを提供するステップと、
   前記アクティブスペースにデータを提供するステップと、
   前記アクティブスペースにおける前記データの検出により、前記ビデオストリームにおける前記左のアクティブビデオフレームの位置と前記右のアクティブビデオフレームの位置を推定するステップと、を含む、
   ことを特徴とする方法。
2. 前記ビデオストリームは、ＨＤＭＩ（High Definition Multimedia Interface）信号を含む、
   請求項１記載の方法。
3. 前記アクティブスペースにおける前記データは、デバイス識別データを含む、
   請求項１記載の方法。
4. 前記アクティブスペースにおける前記データは、時間的なスタンプを含み、
   前記時間的なスタンプは、時間に応じた情報に対応するものである、
   請求項１記載の方法。
5. 前記アクティブスペースにおける前記データは、空間的なスタンプを含み、
   前記空間的なスタンプは、空間に応じた情報に対応するものである、
   請求項１記載の方法。
6. 前記方法は、さらに、
   前記アクティブスペースにおける前記データの検出により、前記ビデオストリームにおける前記左のアクティブビデオフレームの位置と前記右のアクティブビデオフレームの位置を推定するステップにより、ディスプレイに同期するように、アクティブメガネの１以上のペアを提供するステップを含む、
   請求項１記載の方法。
7. ３次元画像を鑑賞するシステムであって、
   アクティブスペースにより分離された左のアクティブビデオフレームと右のアクティブビデオフレームとを有するビデオフレームを提供するソース装置を備え、
   前記ソース装置は、前記アクティブスペースに埋め込まれたデータを提供し、
   シンク装置が、前記アクティブスペースに埋め込まれた前記データに基づいて、前記左のアクティブビデオフレームの位置と前記右のアクティブビデオフレームの位置を推定する、
   ことを特徴とするシステム。
8. 前記シンク装置は、ビデオストリームを受信し、前記アクティブスペースに埋め込まれたデータを読み取るシンク装置を更に備える、
   請求項７記載のシステム。
9. 前記ソース装置は、ＨＤＭＩ（High Definition Multimedia Interface）装置であり、前記シンク装置は、ＨＤＭＩ装置である、
   請求項７記載のシステム。
10. 前記ソース装置は、ディスプレイをもつコンピュータを備える、
    請求項７記載のシステム。
11. 前記シンク装置は、アクティブシャッター眼鏡を有する、
    請求項７記載のシステム。
12. 前記アクティブシャッター眼鏡は、前記アクティブスペースに埋め込まれた前記データに基づく、前記左のアクティブビデオフレームの前記推定された位置及び前記右のアクティブビデオフレームの前記推定された位置を使用して、ディスプレイに同期する、
    請求項１１記載のシステム。
13. 前記アクティブスペースにおいて埋め込まれたデータは、デバイス識別データを含む、
    請求項７記載のシステム。
14. 前記アクティブスペースにおいて埋め込まれたデータは、時間的なスタンプを含み、
    前記時間的なスタンプは、時間に応じた情報に対応するものである、
    請求項７記載のシステム。
15. 前記アクティブスペースにおいて埋め込まれたデータは、空間的なスタンプを含み、
    前記空間的なスタンプは、空間に応じた情報に対応するものである、
    請求項７記載のシステム。

Images