JP2024062935A - 立体視表示コンテンツを生成する方法および装置 - Google Patents

Abstract

【課題】高品質の立体視画像とビデオを生成する方法及び装を提供する。
【解決手段】立体視表示コンテンツを生成する方法は、プロセッサを使用して赤緑青プラス距離（ＲＧＢ－Ｄ）画像から、第１の赤緑青（ＲＧＢ）画像および深度画像を取得することと、深度画像内の深度値に基づいて、ＲＧＢ－Ｄ画像に従って第１の視差マップを決定することと、視差分配比を用いて第１の視差マップを変換することによって第２の視差マップおよび第３の視差マップを決定することと、プロセッサによって、第２のＲＧＢ画像および第３のＲＧＢ画像を含む一対の立体視画像を生成することと、を含む。第２のＲＧＢ画像は、第２の視差マップに基づいて第１のＲＧＢ画像内の第１のピクセルのセットをシフトすることによって生成され、第３のＲＧＢ画像は、第３の視差マップに基づいて第１のＲＧＢ画像内の第２のピクセルのセットをシフトすることによって生成される。
【選択図】図３

Description

本開示は立体視に関し、特に立体視表示コンテンツの生成に関する。

次世代の人間とコンピュータの対話方法としての仮想現実（ＶＲ）、拡張現実（ＡＲ）、および複合現実（ＭＲ）は、非常に没入型で直観的である。最高の没入型のＶＲ、ＡＲ、ＭＲ視聴体験を提供するには、高品質の立体視画像とビデオを生成することが必要である。

現在、３次元深度の知覚は、２台以上のカメラを使用して各目にわずかに異なる２つの画像を生成することによって実現することができる。しかしながら、これは複雑でコンピューティング集約的なプロセスになる可能性がある。さらに、正確な深度情報がなければ、生成されたＶＲ、ＡＲ、およびＭＲ環境は人々に良好な視聴体験を提供できない。

本明細書では、立体視表示コンテンツを生成するための方法、装置、およびシステムの実装形態を開示する。

一態様においては、立体視表示コンテンツを生成する方法が開示されている。この方法は、プロセッサを使用して、赤緑青プラス距離（ＲＧＢ－Ｄ）画像から、第１の赤緑青（ＲＧＢ）画像および深度画像を取得することと、深度画像内の深度値に基づいて、ＲＧＢ－Ｄ画像に従って第１の視差マップを決定することであって、第１の視差マップは、一対の立体視画像に変換される第１のＲＧＢ画像に対する複数の視差値を含むことと、視差分配比を用いて第１の視差マップを変換することによって第２の視差マップおよび第３の視差マップを決定することと、プロセッサによって、第２のＲＧＢ画像および第３のＲＧＢ画像を含む一対の立体視画像を生成することであって、第２のＲＧＢ画像は、第２の視差マップに基づいて第１のＲＧＢ画像内の第１のピクセルのセットをシフトすることによって生成され、第３のＲＧＢ画像は、第３の視差マップに基づいて第１のＲＧＢ画像内の第２のピクセルのセットをシフトすることによって生成されることと、を含む。

他の態様においては、立体視表示コンテンツを生成する装置が開示されている。この装置は、非一時的メモリと、プロセッサと、を備え、非一時的メモリは、赤緑青プラス距離（ＲＧＢ－Ｄ）画像から、第１の赤緑青（ＲＧＢ）画像および深度画像を取得することと、深度画像内の深度値に基づいて、ＲＧＢ－Ｄ画像に従って第１の視差マップを決定することであって、第１の視差マップは、一対の立視体画像に変換される第１のＲＧＢ画像に対する複数の視差値を含むことと、視差分配比を用いて第１の視差マップを変換することによって第２の視差マップおよび第３の視差マップ決定することと、第２のＲＧＢ画像と第３のＲＧＢ画像とを含む一対の立体視画像を生成することであって、第２のＲＧＢ画像は、第２の視差マップに基づいて第１のＲＧＢ画像内の第１のピクセルのセットをシフトすることによって生成され、第３のＲＧＢ画像は、第３の視差マップに基づいて第１のＲＧＢ画像内の第２のピクセルのセットをシフトすることによって生成されることと、をプロセッサによって実行可能な命令を含む。

他の態様においては、立体視表示コンテンツを生成するためのコンピュータプログラムを記憶するように構成された非一時的なコンピュータ可読記憶媒体が開示されている。このコンピュータプログラムは、赤緑青プラス距離（ＲＧＢ－Ｄ）画像から、第１の赤緑青（ＲＧＢ）画像および深度画像を取得することと、深度画像内の深度値に基づいて、ＲＧＢ－Ｄ画像に従って第１の視差マップを決定することであって、第１の視差マップは、一対の立体視画像に変換される第１のＲＧＢ画像に対する複数の視差値を含むことと、視差分配率を用いて第１の視差マップを変換することによって第２の視差マップおよび第３の視差マップ決定することと、プロセッサによって、第２のＲＧＢ画像と第３のＲＧＢ画像とを含む一対の立体視画像を生成することであって、第２のＲＧＢ画像は、第２の視差マップに基づいて第１のＲＧＢ画像内の第１のピクセルのセットをシフトすることによって生成され、第３のＲＧＢ画像は、第３の視差マップに基づいて第１のＲＧＢ画像内の第２のピクセルのセットをシフトすることによって生成されることと、をプロセッサによって実行可能な命令を含む。

本開示は、添付の図面と併せて読めば、以下の詳細な説明から最もよく理解される。一般的な慣例によれば、図面のさまざまな特徴は縮尺どおりではないことを強調しておく。逆に、さまざまな機能の寸法は、明確にするために任意に拡大または縮小されている。

コンピューティングおよび通信のための装置の例示的なブロック図である。

両眼立体視の原理を説明するための例示的な図である。

本開示のいくつかの実装形態による、立体視表示コンテンツを生成するための例示的なプロセスのフローチャートである。

本開示のいくつかの実装形態による、人間の左目と右目の視差値を決定するための例である。

図５は、本開示のいくつかの実装形態による、一対の立体視画像を生成するための例示的なフロー図である。

詳細な説明
仮想現実（ＶＲ）、拡張現実（ＡＲ）、および複合現実（ＭＲ）技術は、例えば、仮想観光および旅行、デジタル仮想エンターテイメント（例えば、ＶＲゲームおよびＶＲ映画など）、仮想トレーニングと教育、ＶＲ露出療法などのいくつかの応用分野で開発されている。一方で、ＶＲヘッドセット、ＶＲヘルメット、ＡＲ／ＭＲアプリやメガネなどのＶＲ／ＡＲ／ＭＲ装置は、人々が参加できる３Ｄ没入型環境をシミュレートするために使用されている。ＶＲ／ＡＲ／ＭＲヘッドセットを装着したユーザーが頭を動かすと、シミュレートされた３Ｄ環境がユーザーの動きに従い、ユーザーの前に表示される。

シミュレータされた３Ｄ没入環境は、両眼視によって実現することができる。人間の左目と右目では、わずかに異なる視点から物体が見える。観察されたさまざまな２次元（２Ｄ）画像は脳によって処理され、３Ｄ深度の知覚が生成される。両眼視に基づいて、ＶＲ／ＡＲ／ＭＲの立体視は、（たとえば、左目に対する１つの画像と右目に対する１つの画像のような）２つの２Ｄ画像をそれぞれ左目と右目の入力として使用することによって生成される。２つの２Ｄ画像は、同じシーンに対して２台のカメラによって異なる視点から取得される。従来、仮想現実（ＶＲ）／拡張現実（ＡＲ）／複合現実（ＭＲ）ヘルメット／メガネに使用される立体視画像ペア（例えば、左目に対する１つの画像と右目に対する１つの画像）は、逆整流プロセスを使用して生成される。２Ｄ画像は距離／深度情報が含まれていないため、このような処理により生成される３ＤのＶＲ／ＡＲ／ＭＲ表示コンテンツは、不正確な距離推定により違和感や３Ｄめまいを引き起こす可能性がある。

本開示の実装形態によれば、方法は、ＲＧＢ－Ｄセンサから記録された正確な距離／深度情報を有する３次元の赤緑青プラス距離（ＲＧＢ－Ｄ）画像を使用して、ＶＲ／ＡＲ／ＭＲの３Ｄ表示コンテンツを生成するために使用される。ＲＧＢ－Ｄセンサは、例えば、ＲＧＢ－Ｄセンサは、構造化された光ベースのＲＧＢ－Ｄセンサ、アクティブ／パッシブの立体視ベースのＲＧＢ－Ｄセンサ、飛行時間型ＲＧＢ－Ｄセンサ、またはそれらの任意の組み合わせなどを含むことができる。従来の赤緑青（ＲＧＢ）画像はｘ座標とｙ座標の関数であり、２Ｄ画像内のＲＧＢカラー値の分布のみを表す。たとえば、（ｘ，ｙ）座標にある表示色が赤＝１、緑＝１、青＝１のピクセルは、Ｐｉｘｅｌ（ｘ，ｙ）＝（１，１，１）と表すことができ、これは画像上のｘおよびｙ座標にある黒いピクセルを表示する。ＲＧＢ－Ｄセンサから記録されたＲＧＢ－Ｄ画像は、ＲＧＢ画像の各ピクセルに追加の深度情報を提供する。たとえば、（ｘ，ｙ，ｚ）座標にある表示色が赤＝１、緑＝１、青＝１のピクセルは、Ｐｉｘｅｌ（ｘ，ｙ）＝（１，１，１，ｚ）と表すことができ、これは画像上のｘおよびｙ座標にありｚ単位距離（たとえばミリメートル）離れたところにある黒いピクセルを表示する。

本開示の実装形態によれば、立体視表示コンテンツを生成するために、ＲＧＢ－Ｄセンサを使用してＲＧＢ－Ｄ画像を生成することができる。ＲＧＢ－Ｄ画像に基づいて、対応するＲＧＢ画像と深度画像を取得できる。深度画像は、ＲＧＢ画像内のピクセルに対応する物体の距離情報を示す。三角測量関係に基づいて、ＲＧＢ画像内の各ピクセルの距離、焦点距離、瞳孔間距離を使用して、ＲＧＢ画像に対する全体視差マップを生成できる。全体視差マップは２Ｄマトリックスであり、各要素はＲＧＢ画像内のピクセルの視差値を示す。左視差マップは、視差分配比ｋと全体視差マップとにより決定することができる。右視差マップは、視差分配比ｋと全体視差マップにより決定することができる。したがって、左視差マップと右視差マップに基づいてＲＧＢ画像から一対の立体視画像を生成することができる。一対の立体視画像は、左目画像と右目画像とを含む。拡張現実（ＡＲ）、仮想現実（ＶＲ）、または複合現実（ＭＲ）のデバイスの表示要件に従って、左目画像と右目画像をズーム、トリミング、またはサイズ変更して、左表示画像と右表示画像を生成できる。

本開示の応用および実装形態は例に限定されず、本開示の実装形態の代替、変形、または修正は、任意の計算環境に対して達成できることに留意されたい。開示された方法、装置、およびシステムの詳細は、システムおよびコーディング構造の概要の後で以下に説明される。開示された方法およびサーバーの詳細は以下に説明される。

図１は、本開示の実装形態によるコンピューティングおよび通信のための装置１００の内部コンポーネントを示す例示的なブロック図である。図１に示すように、コンピューティングおよび通信のための装置１００は、メモリ１０４、プロセッサ１０６、通信ユニット１０８、入出力（Ｉ／Ｏ）コンポーネント１１０、センサ１１２、供給電源１１４、およびバス１０２を含むことができる。バス１０２は、内部信号を分配するために使用することができる。バス１０２は、１つまたは複数のバス（アドレスバス、データバス、またはそれらの組み合わせなど）であるかもしれないことを表している。この装置は、赤緑青プラス距離（ＲＧＢ－Ｄ）カメラ、ブリッジカメラ、フィルムカメラ、スマートフォンカメラ、魚眼カメラ、マイクロコンピュータ、メインフレームコンピュータ、汎用コンピュータ、データベースコンピュータ、特定用途／専用コンピュータ、リモートサーバーコンピュータ、パーソナルコンピュータ、タブレットコンピュータ、ラップトップコンピュータ、携帯電話、組み込みコンピューティング／エッジコンピューティングデバイス、シングルボードコンピュータ、ＡＳＩＣ（特定用途向け集積回路）チップ、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）チップ、ＳｏＣ（システムオンチップ）チップ、クラウドコンピューティングデバイス／サービス、またはウェアラブルコンピューティングデバイスなどの１つまたは複数のコンピューティングデバイスの任意の構成によって実装できる。いくつかの実装形態では、異なる装置は、異なる地理的位置にあり、ネットワークなどを介して互いに通信できる複数のグループのＲＧＢ－Ｄカメラの形態で実装することができる。いくつかの実装形態では、異なる装置は異なる動作で構成される。いくつかの実装形態では、コンピューティングおよび通信のための装置は、本明細書に記載される方法およびシステムの１つまたは複数の態様を実行することができる。例えば、特殊チップを含むＲＧＢ－Ｄカメラ内の特定目的プロセッサを使用して、本明細書に記載の方法およびシステムの１つまたは複数の態様または要素を実装することができる。

図１は、コンピューティングおよび通信のための装置１００が、メモリ１０４、プロセッサ１０６、通信ユニット１０８、入出力（Ｉ／Ｏ）コンポーネント１１０、センサ１１２、供給電源１１４、およびバス１０２を含むことを示す。いくつかの実装形態では、コンピューティングおよび通信のための装置１００は、任意の数のメモリユニット、プロセッサユニット、通信ユニット、入出力（Ｉ／Ｏ）コンポーネント、センサユニット、電源ユニット、およびバスユニットを含むことができる。

メモリ１０４には、二次または永続的な長期記憶など、プログラムコードおよび／またはデータを長期間記憶する非一時的なコンピュータ可読媒体が含まれるが、これに限定されない。メモリ１０４は、データの取得、データの保存、またはその両方を行うことができる。ここでのメモリ１０４は、読み取り専用メモリ（ＲＯＭ）デバイス、ハードドライブ、ランダムアクセスメモリ（ＲＡＭ）、フラッシュドライブ、ＳＳＤ（ソリッドステートドライブ）、ＥＭＭＣ（埋め込み型マルチメディアカード）、光／磁気ディスク、セキュリティデジタル（ＳＤ）カード、または適切なタイプのストレージデバイスの任意の組み合わせであり得る。

プロセッサ１０６は、メモリ１０４、通信ユニット１０８、Ｉ／Ｏコンポーネント１１０、センサ１１２、またはそれらの組み合わせから受信できる情報を操作または処理するために使用することができる。いくつかの実装形態では、プロセッサ１０６は、デジタル信号プロセッサ（ＤＳＰ）、中央プロセッサ（例えば、中央処理装置またはＣＰＵ）、特定用途向け命令セットプロセッサ（ＡＳＩＰ）、組み込みコンピューティング／エッジコンピューティングデバイス、シングルボードコンピュータ、ＡＳＩＣ（特定用途向け集積回路）チップ、ＦＰＧＡチップ（フィールドプログラマブルゲートアレイ）、ＳｏＣ（システムオンチップ）チップ、クラウドコンピューティングサービス、グラフィックスプロセッサ（ＧＰＵのグラフィックス処理装置）を含むことができる。プロセッサ１０６は、バス１０２を介してメモリ１０４に格納されたコンピュータ命令にアクセスすることができる。いくつかの実装形態では、１つまたは複数のプロセッサを使用して、ここで説明する方法およびシステムの１つまたは複数の態様を実行するためのコンピュータ命令を実行または処理することを含むデータ処理を高速化することができる。プロセッサ１０６からの出力データは、バス１０２を介してメモリ１０４、通信ユニット１０８、Ｉ／Ｏコンポーネント１１０、センサ１１２に分配することができる。プロセッサ１０６は、１つまたは複数の構成されたまたは埋め込まれた動作を実行するために、コンピューティングおよび通信のために装置１００を制御するように動作可能な任意のタイプのデバイスまたは複数のデバイスであり得る。

プロセッサ１０６およびメモリ１０４に加えて、装置１００はセンサ１１２を含むことができる。例えば、装置１００の動作環境の１つまたは複数の条件は、センサ１１２によって検出、キャプチャ、または決定することができる。いくつかの実装形態では、センサ１１２は、１つ以上の電荷結合素子（ＣＣＤ）、アクティブピクセルセンサ（ＣＭＯＳセンサ）、または他の可視光もしくは非可視光の検出およびキャプチャユニットを含むことができる。コンピューティングおよび通信のための装置１００の動作環境の感知された側面についてキャプチャされたデータは、センサ１１２からメモリ１０４、プロセッサ１０６、通信ユニット１０８、入出力（Ｉ／Ｏ）コンポーネント１１０、供給電源１１４、およびバス１０２に送信することができる。いくつかの実装形態では、例えば、ライダーユニット、マイクロホン、ＲＧＢ－Ｄ感知デバイス、超音波ユニット、または圧力センサなどの複数のセンサを装置１００に含めることができる。上述のセンサは、コンピューティングおよび通信のための装置１００の動作環境の１つまたは複数の状態をキャプチャ、検出、または決定することができる。

プロセッサ１０６およびメモリ１０４に加えて、装置１００は、Ｉ／Ｏコンポーネント１１０を含むことができる。Ｉ／Ｏコンポーネント１１０は、ユーザー入力を受信することができる。Ｉ／Ｏコンポーネント１１０は、ユーザー入力をバス１０２、供給電源１１４、メモリ１０４、通信ユニット１０８、センサ１１２、プロセッサ１０６、またはそれらの組み合わせに送信することができる。Ｉ／Ｏコンポーネント１１０は、視覚的出力または表示出力を個人に提供することができる。いくつかの実装形態では、Ｉ／Ｏコンポーネント１１０は、信号および／またはデータを送信するための通信デバイスから形成することができる。

プロセッサ１０６およびメモリ１０４に加えて、装置１００は通信ユニット１０８を含むことができる。装置１００は、通信ユニット１０８を使用して、セルラーデータネットワーク、ワイドエリアネットワーク（ＷＡＮ）、仮想プライベートネットワーク（ＶＰＮ）、またはインターネットなどの１つまたは複数の通信ネットワークを介して有線または無線通信プロトコルを使用して別のデバイスと通信することができる。

プロセッサ１０６およびメモリ１０４に加えて、装置１００は供給電源１１４を含むことができる。供給電源１１４は、バス１０２、メモリ１０４、メモリ１０４などの装置１００内の他のコンポーネントに電力を供給することができる。いくつかの実装形態では、供給電源１１４は、充電式電池などの電池であり得る。いくつかの実装形態では、供給電源１１４は、外部電源からエネルギーを受け取ることができる電力入力接続を含むことができる。

プロセッサ１０６およびメモリ１０４に加えて、装置１００はバス１０２を含むことができる。供給電源１１４からの電力信号および内部データ信号は、バス１０２を介してメモリ１０４、通信ユニット１０８、センサ１１２、プロセッサ１０６、Ｉ／Ｏコンポーネント１１０、および供給電源１１４に分配することができる。

立体視表示コンテンツを生成するための装置およびシステムの部分または構成要素は、図１に示されるものに限定されない要素を含むことができることに留意されたい。本開示の範囲から逸脱することなく、立体視表示コンテンツを生成するための装置およびシステムは、立体視表示コンテンツの生成に加えてまたはそれに関連する様々な機能を実行するための、より多くのまたはより少ない部品、構成要素、およびハードウェアまたはソフトウェアモジュールを含むことができる。

図２は、両眼立体視原理を説明するための例示的な図２００を示す。図２００は、左画像２３０、右画像２４０、左光学中心Ｏ’（０，０）、右光学中心Ｏ’’（０，０）、左焦点Ｌ＝（Ｘ_Ｌ，Ｙ_Ｌ，Ｚ_Ｌ）、右焦点Ｒ＝（Ｘ_Ｒ，Ｙ_Ｒ，Ｚ_Ｒ）、目標点Ｐ＝（Ｘ_Ｃ、Ｙ_Ｃ、Ｚ_Ｃ）を含む。左光学中心Ｏ’は、左画像２３０の中心にあるピクセル点である。右光学中心Ｏ’’は、右画像２４０の中心にある別のピクセル点である。左光学中心Ｏ’に対するピクセル座標は、左画像２３０内の（０，０）である。右光学中心Ｏ’’に対するピクセル座標は、右画像２４０内の（０，０）である。世界座標点（例えば、３Ｄ点）としての目標点Ｐは、左焦点Ｌを介して左画像２３０内の２Ｄ座標点Ｐ’＝（Ｘ_ｌｅｆｔ，Ｙ）として変換および投影することができる。右焦点Ｒを介して、目標点Ｐを右画像２４０内の別の２Ｄ座標点Ｐ’’＝（Ｘ_{ｒｉｇｈｔ}，Ｙ）として変換および投影することができる。左焦点Ｌと右焦点Ｒとの間の距離がベースラインｂである。

２Ｄ座標点Ｐ’および２Ｄ座標点Ｐ’’は、同じ目標点Ｐに対して、それぞれ左画像２３０および右画像２４０内に投影された２つの点である。左画像２３０および右画像２４０内のＰ’とＰ’’の水平座標の差（例えば、視差：ｄ＝Ｘ_ｌｅｆｔ－Ｘ_{ｒｉｇｈｔ}）は、目標点Ｐと２つの焦点（例えば、左焦点Ｌと右焦点Ｒ）との間の距離を評価するために使用することができる。いくつかの実装形態では、目標点Ｐは、３Ｄ物体内の３Ｄ世界座標点である。３Ｄ物体内の各３Ｄ世界座標点は、左画像２３０と右画像２４０の内の両方に投影することができる。３Ｄ物体の対応するピクセルを見つけて、左画像２３０と右画像２４０との間で照合することができる。各ピクセルの視差（たとえば、目標点Ｐに対する視差：ｄ＝Ｘ_ｌｅｆｔ－Ｘ_{ｒｉｇｈｔ}）を計算でき、計算された視差に基づいて、３Ｄ物体に対する視差マップを生成できる。視差マップを使用して世界座標系の３Ｄ物体を再構築できる。

いくつかの実装形態では、人間の左目は、左焦点Ｌとすることができる。人間の右目は、右焦点Ｒとすることができる。人間の左目と右目は、周囲の世界のわずかに異なる視野を有する。その場合、ベースラインｂは、左目と右目の間の瞳孔間距離（例えば、５０～７５ｍｍ）である。目標点Ｐは、人間が観察する任意の世界座標点にすることができる。目標点Ｐは、人間の左目画像と右目画像の両方に投影することができる。左目画像と右目画像との間の対応するピクセルの視差を利用して、目標点Ｐと人間との間の距離を計算することができる。その場合、人間の脳によって、一対の立体視画像として左目画像と右目画像が使用されて、周囲の世界に対する立体視を生成することができる。

いくつかの実装形態では、異なる位置にある２つのカメラ（例えば、左カメラと右カメラ）は、同じ３Ｄ物体に対して異なる２Ｄピクセルを含む左画像２３０と右画像２４０を生成することができる。左カメラの焦点は、左焦点Ｌとすることができる。右カメラの焦点は右焦点Ｒとすることができる。左カメラと右カメラの２つの焦点の間の距離をベースラインｂとすることができる。場合によっては、左カメラと右カメラが水平に配置されていない場合、左画像２３０と右画像２４０の両方のすべてのピクセルに対する視差マップを正しく示すように、左画像２３０と右画像２４０を校正することができる。左画像２３０および右画像２４０に対する視差マップを使用して、左カメラおよび右カメラによってキャプチャされた３Ｄ環境を再構成するために各ピクセルの深度情報を生成することができる。

いくつかの実装形態では、２つまたはそれ以上の画像センサを備えたステレオカメラを使用して、同じ３Ｄ物体に対して異なる２Ｄピクセルを含む左画像２３０および右画像２４０を生成することができる。たとえば、ステレオカメラが２つのイメージセンサ（たとえば、左画像センサと右画像センサ）を含む場合、ステレオカメラを使用して、深度情報を持つ３Ｄ物体を再構成できる。左画像センサを使用して、左画像２３０を生成することができる。右画像センサを使用して、右画像２４０を生成することができる。左画像センサと右画像センサとの間の水平距離は、ベースラインｂとすることができる。視差マップは、周囲の世界のわずかに異なる視野を表す左画像２３０と右画像２４０に基づいて計算することができる。

一般に、両眼立体視の実現は、視差（パララックス）（例えば、視差（ディスパリティ））の原理に基づいてなされる。例えば、図２では、２つの画像（例えば、左画像２３０と右画像２４０）が行に整列されており、これは、左画像２３０と右画像２４０が同じ平面内にあることを意味する。目標点Ｐは、左画像２３０と右画像２４０にそれぞれ異なるピクセル座標で投影することができる。ピクセル座標の差（例えば、視差：ｄ＝Ｘ_ｌｅｆｔ－Ｘ_{ｒｉｇｈｔ}）を使用して、目標点Ｐと２つの画像（例えば、左画像２３０と右画像２４０）との間の距離を計算することができる。計算された距離情報は、世界中の３Ｄ物体を再構成するために使用できる。

図３は、本開示のいくつかの実装形態に従って立体視表示コンテンツを生成するための例示的なプロセス３００のフローチャートである。プロセス３００は、図１の装置１００内のソフトウェアおよび／またはハードウェアモジュールとして実装することができる。例えば、プロセス３００は、図１の装置１００などのカメラのプロセッサ１０６によって実行可能な命令および／またはデータとしてメモリ１０４に格納されたソフトウェアモジュールとして実装することができる。別の例では、プロセス３００は、特殊チップにより実行可能な命令を記憶する特殊チップとしてハードウェアで実装することができる。プロセス３００の動作の一部またはすべては、図４に関連して以下に説明するような視差マップを使用して実装することができる。上述のように、本明細書に記載される開示の態様のすべてまたは一部は、ここに記載されている実行されるとそれぞれの技術、アルゴリズム、および／または指示のいずれかを実行するコンピュータプログラムを備えた汎用コンピュータ／プロセッサを使用して実装することができる。追加的にまたは代替的に、例えば、本明細書に記載の技術、アルゴリズム、または命令のいずれかを実行するための特殊なハードウェアを含み得る専用コンピュータ／プロセッサを利用することができる。

動作３０２では、第１の赤緑青（ＲＧＢ）画像および深度画像が、プロセッサを使用して赤緑青プラス距離（ＲＧＢ－Ｄ）画像から取得することができる。例えば、プロセッサは、図１のプロセッサ１０６であってもよい。場合によっては、図１の装置１００のセンサ１１２は、装置１００の動作環境においてＲＧＢ－Ｄ画像を取得するために使用することができる。ＲＧＢ－Ｄ画像は、バス１０２を介してプロセッサ１０６に送信され、ＲＧＢ画像および深度画像を取得することができる。深度画像は、ＲＧＢ画像内の対応する物体（または複数の対応する物体）の距離情報を示す。

一例として図５を用いて、ＲＧＢ－Ｄ画像は、ＲＧＢ－Ｄセンサ５０２によって取得することができる。ＲＧＢ－Ｄ画像は、任意の技術によって処理して、ＲＧＢ画像５１２および深度画像５１４を取得することができる。いくつかの実装形態では、ＲＧＢ－Ｄ画像はＲＧＢ－Ｄセンサによってキャプチャできる。例えば、ＲＧＢ－Ｄセンサは、図１のセンサ１１２とすることができる。ＲＧＢ画像５１２は、例えば、人間、動物、ソファ、机、および他の物体などの様々な物体を含むことができる。深度画像５１４では、図５では異なる距離を示すために異なる影付きが使用されており、より濃い色合いは距離がより近いことを示す。深度画像５１４は、ＲＧＢ画像５１２内の対応する物体の距離を示す。

いくつかの実装形態では、深度画像内のピクセルは、ＲＧＢ－ＤセンサとＲＧＢ－Ｄ画像内のキャプチャされた対応する物体との間の距離を示す。たとえば、ＲＧＢ－Ｄ画像内のピクセルは深度画像内のピクセルに対応することができる。ＲＧＢ－Ｄ画像内のピクセルは、物体に属する点を示している。深度画像内の同じ位置にある対応するピクセルは、対応する物体とＲＧＢ－Ｄセンサとの間の距離を示すことができる。

図５の例において、深度画像５１４内のピクセルは、ＲＧＢ－Ｄセンサ５０２と、ＲＧＢ画像５１２内でキャプチャされた対応する物体との間の距離を示す。対応する物体には、例えば、物体５１６（例えば、おもちゃのクマ）が含まれ得る。ＲＧＢ画像５１２内の各ピクセルは、物体（例えば、物体５１６）に関連付けることができる。ＲＧＢ画像５１２内の各ピクセルに対する深度画像５１４内の対応するピクセルは、ＲＧＢ－Ｄセンサ５０２と対応する物体との間の距離を示す。

図３に戻ると、動作３０４において、ＲＧＢ－Ｄ画像に基づく第１の視差マップは、深度画像内の深度値に基づいて決定することができ、第１の視差マップは、一対の立体視画像に変換される第１のＲＧＢ画像に対する複数の視差値を含む。いくつかの場合では、第１の視差マップは、第１のＲＧＢ画像に対する複数の視差値を含み、第１のＲＧＢ画像の中での視差値は一対の立体視画像を生成するために使用することができる。

各ピクセルの視差値は、例として図４を使用して深度画像内の深度値に基づいて決定することができる。図４は、本開示のいくつかの実装形態による人間の左目と右目の視差値を決定する一例を示す図である。例えば、図４において、目標点Ｏの距離は距離Ｚであり、目標点Ｏに対する視差値はｆ＊ｂ／Ｚであり、ただし、ｆは焦点距離、ｂは左目Ｅ_１と右目Ｅ_２との間の瞳孔間距離であり、Ｚは目標点ＯとＲＧＢ－Ｄセンサ間の距離である。図４の三角測量関係から、第１のＲＧＢ画像内の各ピクセルについて、対応する視差値を決定することができる（例えば、ｆ＊ｂ／Ｚ）。一般に、三角測量関係に基づいて、深度画像内の各ピクセルの深度値、焦点距離、および瞳孔間距離を使用して、第１のＲＧＢ画像（たとえば、ＲＧＢ画像）内の各ピクセルの視差値を決定することができる。図４によれば、第１の視差マップ内の視差値は、例えば、以下に説明する式（５）を使用して決定することができる。

図５の例では、ＲＧＢ－Ｄ画像は、ＲＧＢ－Ｄセンサ５０２によって取得することができる。深度画像５１４内のピクセルは、ＲＧＢ画像５１２内の対応する物体とＲＧＢ－Ｄセンサとの間の距離（すなわち、深度）を示す。例えば、ＲＧＢ画像５１２内の物体５１６に対する距離は、深度画像５１４内に表示される。深度画像５１４内の各ピクセルの深度に基づいて、ＲＧＢ画像５１２に対する全体視差マップ５２２を決定することができる。いくつかの実装形態では、全体視差マップ５２２は、左目と右目の間の瞳孔間距離、各ピクセルの深度値、およびＲＧＢ－Ｄセンサの焦点距離を使用して決定することができる。例えば、全体視差マップ５２２は、以下に説明するように、式（５）を使用して決定することができる。例えば、物体５１６は、グレースケールで表される視差値として図５の全体視差マップ５２２に示されている。そして以下に説明するように、全体視差マップ５２２を使用して、ＲＧＢ画像を一対の立体視画像（例えば、左目画像５４２および右目画像５４４）に変換することができる。

いくつかの実装形態では、第１の視差マップは２次元（２Ｄ）マトリックスであり、各要素が視差値を示す。一例として図５を使用すると、第１の視差マップ（例えば、全体視差マップ５２２）は、深度画像５１４およびＲＧＢ画像５１２に基づいて決定することができる。全体視差マップ５２２は２Ｄマトリックスであってもよく、各要素がＲＧＢ画像５１２内のピクセルの視差値を示す。

いくつかの実装形態では、第１の視差マップは、焦点距離ｆまたは瞳孔間距離ｂのうちの少なくとも１つを使用して決定することができる。一例として図４を使用すれば、焦点距離ｆ、左目Ｅ_１と右目Ｅ_２の間の瞳孔間距離ｂ、および距離Ｚに基づいて、目標点Ｏに対する第１の視差マップ内の視差値（例えば、ｆ＊（ｂ／（ｚ（ｘ，ｙ））））を決定することができる。例えば、視差値は、以下に説明する式（５）を使用して決定することができる。

図５の例では、ＲＧＢ画像５１２内のピクセルは、深度画像５１４内の距離に関連付けられる。焦点距離ｆまたは瞳孔間距離ｂは、公開データから事前に定義することも、手動入力によって設定することもできる。焦点距離ｆおよび距離を備える瞳孔間距離ｂを使用して、ＲＧＢ画像５１２に対する全体視差マップ５２２を決定することができる。

図３に戻ると、動作３０６において、視差分配比を用いて第１の視差マップを変換することにより、第２の視差マップおよび第３の視差マップを決定することができる。言い換えれば、第２の視差マップと第３の視差マップは、視差分配比を用いて同じ元の視差マップに基づいて決定することができる。いくつかの実装形態では、第１の視差マップは、例えば式（１）を使用して第２の視差マップに変換され、視差分配比ｋに基づいて、例えば下記の式（２）を使用して第３の視差マップに変換することができる。

ただし、ｄ_Ｌ（ｘ，ｙ）は第２のパリティマップ内の視差値であり、ｄ_Ｒ（ｘ，ｙ）は第３パリティマップ内の視差値である。ｄ（ｘ，ｙ）は第１のパリティマップの視差値であり、ｚ（ｘ，ｙ）はＲＧＢ－ＤセンサとＲＧＢ画像内のピクセル（ｘ，ｙ）に関連付けられた対応する物体との間の距離を示し、ｋは視差分配比である。ただし、視差分配比は、左目と右目との間の観察点の位置を示す定数値であり得る。いくつかの実装形態では、視差分配比ｋは、事前に設定された一定値であり得る。

いくつかの実装形態では、第２の視差マップおよび第３の視差マップは、式（１）および（２）を使用せずに他の方法で第１の視差マップから決定することができる。例えば、第２の視差マップおよび第３の視差マップは、視差分配比ｋに加えてオフセットを用いて決定することができる。

第１のパリティマップに対する視差値ｄ（ｘ，ｙ）は、例えば、下記の式（５）を使用して決定することができる。この式において、ｆは焦点距離、ｂは左目と右目の間の瞳孔間距離である。

一例として図４を用いて、目標点Ｏに対する第１のパリティマップでの視差値ｄ（ｘ，ｙ）は、焦点距離ｆ（例えば、ｆ＝ｆ_１＝ｆ_２）、瞳孔間距離ｂ、および距離Ｚに基づいて決定することができる。視差分配比ｋに基づいて、目標点Ｏに対して、第２のパリティマップの視差値ｄ_Ｌ（ｘ，ｙ）と第３のパリティマップの視差値ｄ_Ｒ（ｘ，ｙ）とは、式（１）および（２）を用いて、上述したように決定できる。

図５の例では、ＲＧＢ画像５１２および深度画像５１４に基づいて、全体視差マップ５２２を決定することができる。視差分配比ｋに基づいて、左視差マップ５３４および右視差マップ５３６は、それぞれ以下に説明する式（３）および（４）を使用して決定することができる。左視差マップ５３４および右視差マップ５３６を使用して、ＲＧＢ画像を一対の立体視画像に変換することができる。

図３に戻ると、動作３０８で、第２のＲＧＢ画像および第３のＲＧＢ画像を含む一対の立体視画像をプロセッサによって生成することができる。第２のＲＧＢ画像は、第２の視差マップに基づいて、第１のＲＧＢ画像内の第１のピクセルのセットをシフトすることによって生成される。第３のＲＧＢ画像は、第３の視差マップに基づいて第１のＲＧＢ画像内の第２のピクセルのセットをシフトすることによって生成される。

第２の視差マップおよび第３の視差マップ内の視差値を使用して、第１のＲＧＢ画像内のピクセルを左または右に水平にシフトして、第２のＲＧＢ画像および第３のＲＧＢ画像を生成することができる。いくつかの実装形態では、プロセッサ（例えば、プロセッサ１０６）は、式（３）を使用して第２の視差マップ（例えば、図５の左視差マップ５３４）に基づいて、第１のＲＧＢ画像（例えば、図５のＲＧＢ画像５３２）内の第１のピクセルのセットをシフトすることによって、第２のＲＧＢ画像（例えば、図５の右視差マップ５３６）を生成することができる。プロセッサは、式（４）を使用して第３の視差マップ（例えば、図５の右視差マップ５３６）に基づいて、第１のＲＧＢ画像（例えば、図５のＲＧＢ画像５３２）内の第２のピクセルのセットをシフトすることによって、第３のＲＧＢ画像（例えば、図５の右目画像５４４）を生成することができる。

式（３）および（４）において、Ｐｉｘｅｌ_Ｌ（ｘ，ｙ）は第２のＲＧＢ画像内のピクセル（ｘ，ｙ）であり、Ｐｉｘｅｌ_Ｒ（ｘ，ｙ）は第３のＲＧＢ画像内のピクセル（ｘ，ｙ）であり、Ｐｉｘｅｌ（ｘ，ｙ）は第１のＲＧＢ画像内のピクセル（ｘ，ｙ）であり、（Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ））はピクセル（ｘ，ｙ）に対するＲＧＢカラーであり、式（１）のｄ_Ｌ（ｘ，ｙ）を参照するｄ_Ｌは第２の視差マップにおける視差値を示し、ｄ_Ｒ（ｘ，ｙ）を参照するｄ_Ｒは、第３の視差マップにおける視差値を示す。

いくつかの実装形態では、第２の視差マップおよび第３の視差マップ内の視差値は、式（３）および（４）を使用せずに他の方法で決定することができる。いくつかの実装形態では、視差値を決定するために、上述の水平方向のシフトに加えて、例えば、追加の１つのピクセルまたは追加の複数のピクセルを上部または下部に追加できる。いくつかの実装形態では、水平方向のシフトに加えて、追加のピクセル（複数可）を左または右に追加することができる。

一例として図５を用いると、ＲＧＢ画像５３２は、第１のＲＧＢ画像であり得る。左視差マップ５３４は、第２の視差マップであり得る。右視差マップ５３６は、第３の視差マップであり得る。左視差マップ５３４および右視差マップ５３６は、上述のように、視差分配比ｋに基づいて全体視差マップ５２２を変換することによって決定することができる。左視差マップ５３４に基づいて、ＲＧＢ画像５３２内の第１のピクセルのセットを変換することによって、左目画像５４２を生成することができる。例えば、式（３）を左視差マップ５３４とともに使用して、左目画像５４２を生成することができる。式（４）を右視差マップ５３６とともに使用して、右目画像５４４を生成することができる。左目画像５４２および右目画像５４４は、一対の立体視画像であり得る。

いくつかの実装形態では、拡張現実（ＡＲ）、仮想現実（ＶＲ）、または複合現実（ＭＲ）装置の表示要件に合わせてサイズ変更された一対の調整された表示画像が、一対の立体視画像に基づいて、プロセッサ（例えば、プロセッサ１０６）によって生成することができる。一例として図５を用いると、一対の立体視画像は、左目画像５４２と右目画像５４４を含む。拡張現実（ＡＲ）、仮想現実（ＶＲ）、複合現実（ＭＲ）装置の表示要件に合わせてサイズ変更された、調整された一対の調整された表示画像は、例えば、左目画像５４２および右目画像５４４に基づいて生成され得る左表示画像５５２および右表示画像５５４を含むことができる。

図４は、本開示のいくつかの実装形態による人間の左目と右目の視差計算例４００の図である。図４は、左目Ｅ_１、右目Ｅ_２、目標点Ｏ、左目Ｅ_１と右目Ｅ_２の間の瞳孔間距離ｂ、目標点ＯとＲＧＢセンサ間の距離Ｚ、左目Ｅ_１に対する焦点距離ｆ_１、右目Ｅ_２に対する焦点距離ｆ_２、左目Ｅ_１の画像面における目標点Ｏの投影点Ｏ_１’、右目Ｅ_２の画像面における目標点Ｏの投影点Ｏ_２’、左目Ｅ_１の画像面における原点Ｃ_１’、右目Ｅ_２の画像面における原点Ｃ_２’を含むことができる。一般性を失うことなく、左目の焦点距離ｆ_１は右目の焦点距離ｆ_２に等しく、ｆ_１とｆ_２は両方ともｆに等しい。

人間の左目Ｅ_１と右目Ｅ_２は、水平方向に瞳孔間距離ｂだけ離れている。これにより、目標点Ｏを、左目Ｅ_１の画像および右目Ｅ_２の画像のそれぞれにおいて異なる位置（例えば、投影点Ｏ_１’および投影点Ｏ_２’）に投影することができる。投影点Ｏ_１’は、左目Ｅ_１の画像面において原点Ｃ_１’の左側に投影される。左目Ｅ_１の画像面における投影点Ｏ_１’と原点Ｃ_１’との間のピクセル距離はＵ１である。投影点Ｏ_２’は、右目Ｅ_２の画像面において原点Ｃ_２’の右側に投影される。右目Ｅ_２の画像面における投影点Ｏ_２’と原点Ｃ_２’との間のピクセル距離はＵ２である。ピクセル位置の差は、目標点Ｏの視差値である。左目Ｅ_１の画像面におけるすべてのピクセルは、右目Ｅ_２の画像面における同じ位置にあるピクセルと一致させることができる。視差マップは、左目Ｅ_１の画像面と右目Ｅ_２の画像面との間のピクセル位置の差に基づいて生成することができる。

いくつかの実装形態では、深度画像内の各ピクセルは、ＲＧＤセンサと対応する物体との間の距離を示す。例えば、図４において、目標点Ｏに対する距離は距離Ｚである。投影点Ｏ_１’と投影点Ｏ_２’との間のピクセル距離差は｜Ｕ１｜＋｜Ｕ２｜である。図４の三角測量の関係から、｜Ｕ１｜＋｜Ｕ２｜は（ｂ＊ｆ）／Ｚに等しく、ただし、ｂは左目Ｅ_１と右目Ｅ_２の間の瞳孔間距離、ｆは左目Ｅ_１と右目Ｅ_２に対する焦点距離、Ｚは目標点ＯとＲＧＢセンサの間の距離である。したがって、ｂ／Ｚ＊ｆは目標点Ｏに対する視差値である。ＲＧＢ画像内の各ピクセルの視差値は、深度画像内の各ピクセルの深度値、焦点距離、および瞳孔間距離を利用して三角測量関係を使用して決定できる。視差マップは、たとえば次の式を使用して、左目Ｅ_１の画像面と右目Ｅ_２の画像面のすべてのピクセルに対して取得できる。

式（５）において、ｚ（ｘ，ｙ）は、ＲＧＢ－Ｄセンサと、ＲＧＢ画像内のピクセル（ｘ、ｙ）に関連付けられた対応する物体との間の距離を示す。ｚ（ｘ，ｙ）は、ＲＧＢ－Ｄセンサによって生成された深度画像から取得できる。式（５）のｆ（例えば、ｆ＝ｆ_１＝ｆ_２）は、左目Ｅ_１と右目Ｅ_２に対する焦点距離である。ｄ（ｘ，ｙ）は視差マップの各要素を示す。いくつかの実装形態では、図３による視差マップの計算は、動作３０４で実行できる。

図５は、本開示のいくつかの実装形態に従って、一対の立体視画像を生成するための例示的なワークフローである。１つまたは複数のＲＧＢ－Ｄセンサ（例えば、ＲＧＢ－Ｄセンサ５０２）を使用して、ＲＧＢ－Ｄ画像を取得することができる。取得されたＲＧＢ－Ｄ画像からＲＧＢ画像５１２と深度画像５１４を取得することができる。深度画像５１４は、ＲＧＢ画像５１２内の対応する物体の距離を示す。例えば、物体５１６がＲＧＢ画像５１２内に表示され、物体５１６に対する距離が深度画像５１４内に示される。いくつかの実装形態では、例えば、図３によれば、ＲＧＢ－Ｄ画像の取得は動作３０２で実行できる。

全体視差マップ５２２は、例えば、深度画像５１４内の距離に基づいてＲＧＢ画像５１２に対して決定することができる。ＲＧＢ画像５１２に対する全体視差マップ５２２内の視差値は、深度画像５１４内の距離、焦点距離、および瞳孔間距離（例えば、図４の焦点距離ｆ＝ｆ_１＝ｆ_２、瞳孔間距離ｂ）に基づいて計算することができる。ＲＧＢ画像５１２に対する全体視差マップ５２２の視差値は、例えば、深度画像５１４内の距離、焦点距離、および瞳孔間距離に基づく三角測量関係を有する式（５）を用いて計算することができる。例えば、全体視差マップ５２２内の物体５１６に対するいくつかのピクセルは、物体５１６に対する視差値を示す。いくつかの実装形態において、例えば、図３によれば、全体視差マップ５２２の決定は、動作３０４で実行できる。

左視差マップ５３４は、全体視差マップ５２２を変換することによって視差分配ｋに基づいて決定することができる。右視差マップ５３６は、全体視差マップ５２２を変換することによって視差分配ｋに基づいて決定することができる。視差分配ｋに基づいて、全体視差マップ５２２内の視差値を、ある部分の左視差マップ５３４と右視差マップ５３６に割り当てることができる。例えば、視差分配ｋを使用して左視差マップ５３４と右視差マップ５３６を決定できる。前述したように、式（１）および（２）は、視差マップを決定するために使用することができる。いくつかの実装形態では、例えば、図３によれば、左視差マップ５３４および右視差マップ５３６の決定は、動作３０６で実行できる。

一対の立体視画像は、左視差マップ５３４および右視差マップ５３６に基づいて生成することができる。左目画像５４２は、ＲＧＢ画像５３２内のピクセルのセットを変換することによって、左視差マップ５３４に基づいて生成することができる（例えば、ＲＧＢ画像５１２）。右目画像５４４は、ＲＧＢ画像５３２内の別のピクセルのセットを変換することによって、右視差マップ５３６に基づいて生成することができる（例えば、ＲＧＢ画像５１２）。左目画像５４２と右目画像５４４は、一対の立体視画像である。左目画像５４２は、ＲＧＢ画像５３２内のピクセルのセットを水平にシフトする式（３）を用いて生成することができる。右目画像５４４は、ＲＧＢ画像５３２内のピクセルのセットを水平にシフトするために式（４）を用いて生成することができる。いくつかの実装形態では、例えば、図３によれば、一対の立体視画像の生成は、動作３０８で実行できる。

左目画像５４２と右目画像は、拡張現実（ＡＲ）、仮想現実（ＶＲ）、または複合現実（ＭＲ）装置の表示要件を満たす左表示画像５５２および右表示画像５５４を生成するために、ズームおよびトリミングしてサイズを変更できる。

本明細書で説明される本開示の態様は、機能ブロックコンポーネントおよびさまざまな処理動作の観点から説明することができる。開示されたプロセスおよびシーケンスは、単独で実行することも、任意の組み合わせで実行することもできる。機能ブロックは、指定された機能を実行する任意の数のハードウェアおよび／またはソフトウェアコンポーネントによって実現できる。例えば、記載された態様は、１つまたは複数のマイクロプロセッサまたはその他の制御デバイスの制御下でさまざまな機能を実行可能な、例えば、メモリ素子、処理素子、論理素子、ルックアップテーブルなどの様々な集積回路コンポーネントを使用することができる。同様に、説明された態様の要素がソフトウェアプログラミングまたはソフトウェア要素を使用して実装される場合、本開示は、Ｃ、Ｃ＋＋、Ｊａｖａ、アセンブラなどの任意のプログラミングまたはスクリプト言語を使用して、データ構造、オブジェクト、プロセス、ルーチン、またはその他のプログラミング要素を任意に組み合わせて実装されるさまざまなアルゴリズムを使用して実装できる。機能的な側面は、１つ以上のプロセッサ上で実行されるアルゴリズムで実装できる。さらに、本開示の態様は、電子構成、信号処理および／または制御、データ処理などのための任意の数の従来の技術を使用することができる。「メカニズム」と「要素」という言葉は広く使用されており、機械的または物理的な実装や側面に限定されるものではなく、プロセッサなどと連携するソフトウェアルーチンも含まれ得る。

上記開示の実装または実装の一部は、例えばコンピュータ使用可能またはコンピュータ可読媒体からアクセス可能なコンピュータプログラム製品の形態をとることができる。コンピュータ使用可能またはコンピュータ可読媒体は、例えば、任意のプロセッサによってまたは任意のプロセッサに関連して使用するためのプログラムまたはデータ構造を有形的に含み、記憶し、通信し、または移送できる任意のデバイスであり得る。媒体は、例えば、電子、磁気、光学、電磁、または半導体デバイスであり得る。他の適切な媒体も利用可能である。このようなコンピュータ使用可能またはコンピュータ可読媒体は、非一時的メモリまたは媒体と呼ばれることがあり、時間の経過とともに変化する可能性のあるＲＡＭまたは他の揮発性メモリまたは記憶装置を含むことができる。本明細書に記載される装置のメモリは、特に指定がない限り、装置に物理的に含まれる必要はないが、装置によってリモートにアクセスできるメモリであり、装置内に物理的に含まれ得る他のメモリと連続している必要はない。

本開示の例として実行されるものとして本明細書で説明される個別の機能または組み合わせられた機能のいずれも、前述のハードウェアの任意のまたは任意の組み合わせを動作させるためのコードの形式で機械可読命令を使用して実装することができる。計算コードは、個別の機能または組み合わせた機能を計算ツールとして実行できる。１つまたは複数のモジュールの形式で実装でき、各モジュールの入出力データは、本明細書に記載の方法およびシステムの動作中に１つまたは複数のさらなるモジュールとの間で受け渡される。

情報、データ、および信号は、さまざまな異なる技術および技法を使用して表現することができる。例えば、本明細書で参照される任意のデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁場または粒子、光場または粒子、他の項目、または前述のものの組み合わせによって表すことができる。

用語「例」は、本明細書では、例、実例、または図示例を提供することを意味するために使用される。本明細書に「例」として記載されるいかなる態様または設計も、必ずしも他の態様または設計よりも好ましいまたは有利であると解釈されるべきではない。むしろ、「例」という言葉の使用は、概念を具体的に示すことを目的としています。さらに、本開示全体を通じて「ある態様」または「一態様」という用語の使用は、そのように記載されない限り、同じ態様または実装を意味することを意図したものではない。

本開示で使用される「または」という用語は、それが結合する２つ以上の要素についての排他的な「または」ではなく、包括的な「または」を意味することを意図している。つまり、別段の指定がない限り、または文脈上別段の明確な指示がない限り、「ＸにＡまたはＢが含まれる」は、その自然な包含的置換のいずれかを意味することを意図している。言い換えれば、ＸにＡが含まれる場合、ＸにＢが含まれる場合、または、ＸにＡとＢの両方が含まれる場合、この場合、「ＸにＡまたはＢが含まれる」は、前述のいずれかの場合にも満たされる。同様に、「ＸにＡおよびＢのいずれか１つが含まれる」は、「ＸにＡまたはＢが含まれる」と同等の意味で使用されることが意図されている。本開示で使用される「および／または」という用語は、「および」または包括的な「または」を意味することを意図している。つまり、別段の指定がない限り、または文脈上別段の明確な指示がない限り、「ＸにＡ、Ｂ、および／またはＣが含まれる」は、ＸがＡ、Ｂ、およびＣの任意の組み合わせを含み得ることを意味することを意図している。言い換えれば、ＸにＡが含まれる場合、ＸにＢが含まれる場合、ＸにＣが含まれる場合、ＸにＡとＢの両方が含まれる場合、ＸにＢとＣの両方が含まれまる場合、ＸにＡとＣの両方が含まれる場合、または、ＸにＡ、Ｂ、およびＣのすべてが含まれる場合、この場合、「ＸにＡ、Ｂ、および／またはＣが含まれる」は、前述のいずれかの場合にも満たされる。同様に、「ＸにＡ、Ｂ、およびＣの少なくとも１つが含まれる」は、「ＸにＡ、Ｂ、および／またはＣが含まれる」と同等の意味で使用されることが意図されている。

本明細書における用語「含む」または「有する」およびその変形の使用は、その後に列挙される項目およびその等価物、ならびに追加の項目を包含することを意味する。文脈に応じて、本明細書で使用される「場合」という単語は、「時」、「その間」、または「に応じて」と解釈できる。

本開示を説明する文脈（特に特許請求の範囲の文脈）における用語「ａ」および「ａｎ」および「ｔｈｅ」および類似の指示対象の使用は、単数形および複数形の両方を包含すると解釈されるべきである。さらに、本明細書に別段の記載がない限り、本明細書における値の範囲の記載は、その範囲内にあるそれぞれの個別の値を個別に参照する簡単な方法として機能することのみを意図しており、それぞれの個別の値は、あたかも本明細書に個別に記載されているかのように明細書に組み込まれる。最後に、本明細書に記載されているすべての方法の操作は、本明細書に別段の指示があるか、文脈と明らかに矛盾しない限り、任意の適切な順序で実行可能である。本明細書で提供されるあらゆる例、または例が説明されていることを示す文言（例えば、「など」）の使用は、単に本開示をより良く理解することを目的としており、別段の定めがない限り、本開示の範囲に制限を課すものではない。

本明細書では、さまざまな見出しおよび小見出しを付けて説明された。これらは、読みやすさを向上させ、仕様内の資料を検索および参照するプロセスを容易にするために含まれている。これらの見出しおよび小見出しは、特許請求の範囲の解釈に影響を与えたり、その範囲をいかなる形でも制限したりすることを意図したものではなく、使用されるべきではない。本明細書に示され説明される特定の実装は、本開示の例示的な例であり、いかなる形でも本開示の範囲を限定することを意図するものではない。

本明細書に引用される刊行物、特許出願、および特許を含むすべての参考文献は、あたかも各参考文献が個別かつ具体的に参照により組み込まれると示され、その全体が本明細書に記載されるのと同じ程度に、参照により本明細書に組み込まれる。

本開示は、特定の実施形態および実装に関連して説明されているが、本開示は、開示された実装に限定されるものではなく、逆に、含まれる様々な修正および同等の構成を網羅することを意図していることを理解されたい。添付の特許請求の範囲の範囲内で、その範囲には、そのようなすべての修正および同等の配置を包含するように、法律の下で許可される最も広い解釈が与えられるべきである。

Claims (20)

1. 立体視表示コンテンツを生成する方法であって、
   プロセッサを使用して、赤緑青プラス距離（ＲＧＢ－Ｄ）画像から、第１の赤緑青（ＲＧＢ）画像および深度画像を取得することと、
   前記深度画像内の深度値に基づいて、前記ＲＧＢ－Ｄ画像に従って第１の視差マップを決定することであって、前記第１の視差マップは、一対の立体視画像に変換される前記第１のＲＧＢ画像に対する複数の視差値を含むことと、
   視差分配比を用いて前記第１の視差マップを変換することによって第２の視差マップおよび第３の視差マップを決定することと、
   前記プロセッサによって、第２のＲＧＢ画像および第３のＲＧＢ画像を含む前記一対の立体視画像を生成することであって、前記第２のＲＧＢ画像は、前記第２の視差マップに基づいて前記第１のＲＧＢ画像内の第１のピクセルのセットをシフトすることによって生成され、前記第３のＲＧＢ画像は、前記第３の視差マップに基づいて前記第１のＲＧＢ画像内の第２のピクセルのセットをシフトすることによって生成されることと、を含む方法。
2. 前記プロセッサによって、前記一対の立体視画像に基づいて、拡張現実（ＡＲ）、仮想現実（ＶＲ）、または複合現実（ＭＲ）装置の表示要件に合わせてサイズ変更された、一対の調整された表示画像を生成すること、をさらに含む請求項１に記載の方法。
3. 前記第１の視差マップは２次元（２Ｄ）マトリックスであり、各要素は視差値を示す、請求項１に記載の方法。
4. 前記ＲＧＢ－Ｄ画像は、ＲＧＢ－Ｄセンサによってキャプチャされる、請求項１に記載の方法。
5. 前記深度画像内のピクセルは、前記ＲＧＢ－Ｄセンサと前記ＲＧＢ画像内のキャプチャされる対応する物体との間の距離を示す、請求項４に記載の方法。
6. 前記第１の視差マップを決定することは、
   前記第１の視差マップを決定するために、焦点距離ｆまたは瞳孔間距離ｂのうちの少なくとも１つを使用することを含む、請求項５に記載の方法。
7. 前記視差分配比を使用して前記第１の視差マップを変換することによって前記第２の視差マップを決定することは、次式に基づき、
   

   

   
   前記視差分配比を使用して前記第１の視差マップを変換することによって前記第３の視差マップを決定することは、次式に基づき、
   

   

   
   ｄ_Ｌ（ｘ，ｙ）は、前記第２の視差マップの前記視差値であり、ｄ_Ｒ（ｘ，ｙ）は、前記第３のパリティマップの前記視差値であり、ｄ（ｘ，ｙ）は、前記第１のパリティマップの前記視差値であり、ｚ（ｘ，ｙ）は、前記ＲＧＢ－Ｄセンサと前記ＲＧＢ－Ｄ画像内の前記ピクセル（ｘ，ｙ）に対応する物体との間の距離であり、ｋは、前記視差分配比であり、前記視差分配比は、左目と右目の間の観察点の位置を示す一定値である、請求項６に記載の方法。
8. 前記第２の視差マップに基づいて、前記第１のＲＧＢ画像内の前記第１のピクセルのセットをシフトすることは、次式に基づき、
   

   

   
   前記第３の視差マップに基づいて、前記第１のＲＧＢ画像内の前記第２のピクセルのセットをシフトすることは、次式に基づき、
   

   

   
   Ｐｉｘｅｌ_Ｌ（ｘ，ｙ）は、前記第２のＲＧＢ画像内のピクセル（ｘ，ｙ）であり、Ｐｉｘｅｌ_Ｒ（ｘ，ｙ）は、前記第３のＲＧＢ画像内のピクセル（ｘ，ｙ）であり、Ｐｉｘｅｌ（ｘ，ｙ）は、前記第１のＲＧＢ画像内のピクセル（ｘ，ｙ）であり、（Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ））は、前記ピクセル（ｘ，ｙ）に対するＲＧＢカラーである、請求項７に記載の方法。
9. 立体視表示コンテンツを生成する装置であって、
   非一時的メモリと、
   プロセッサと、を備え、前記非一時的メモリは、
   赤緑青プラス距離（ＲＧＢ－Ｄ）画像から、第１の赤緑青（ＲＧＢ）画像および深度画像を取得することと、
   前記深度画像内の深度値に基づいて、前記ＲＧＢ－Ｄ画像に従って第１の視差マップを決定することであって、前記第１の視差マップは、一対の立体視画像に変換される前記第１のＲＧＢ画像に対する複数の視差値を含むことと、
   視差分配比を用いて前記第１の視差マップを変換することによって第２の視差マップおよび第３の視差マップ決定することと、
   第２のＲＧＢ画像と第３のＲＧＢ画像とを含む前記一対の立体視画像を生成することであって、前記第２のＲＧＢ画像は、前記第２の視差マップに基づいて前記第１のＲＧＢ画像内の第１のピクセルのセットをシフトすることによって生成され、第３のＲＧＢ画像は、前記第３の視差マップに基づいて前記第１のＲＧＢ画像内の第２のピクセルのセットをシフトすることによって生成されることと、
   を前記プロセッサによって実行可能な命令を含む、装置。
10. 前記プロセッサによって実行可能な前記命令は、
    前記一対の立体視画像に基づいて、拡張現実（ＡＲ）、仮想現実（ＶＲ）、または複合現実（ＭＲ）装置の表示要件に合わせてサイズ変更された、一対の調整された表示画像を生成する命令をさらに含む、請求項９に記載の装置。
11. 前記第１の視差マップは２次元（２Ｄ）マトリックスであり、各要素は視差値を示す、請求項９に記載の装置。
12. 前記ＲＧＢ－Ｄ画像は、ＲＧＢ－Ｄセンサによってキャプチャされる、請求項９に記載の装置。
13. 前記深度画像内のピクセルは、前記ＲＧＢ－Ｄセンサと前記ＲＧＢ画像内にキャプチャされる対応する物体との間の距離を示す、請求項１２に記載の装置。
14. 前記第１の視差マップを決定することは、
    前記第１の視差マップを決定するために、焦点距離ｆまたは瞳孔間距離ｂのうちの少なくとも１つを使用することを含む、請求項１３に記載の装置。
15. 前記視差分配比を使用して前記第１の視差マップを変換することによって前記第２の視差マップを決定することは、次式に基づき、
    

    

    
    前記視差分配比を使用して前記第１の視差マップを変換することによって前記第３の視差マップを決定することは、次式に基づき、
    

    

    
    ｄ_Ｌ（ｘ，ｙ）は、前記第２の視差マップの前記視差値であり、ｄ_Ｒ（ｘ，ｙ）は、前記第３のパリティマップの前記視差値であり、ｄ（ｘ，ｙ）は、前記第１のパリティマップの前記視差値であり、ｚ（ｘ，ｙ）は、前記ＲＧＢ－Ｄセンサと前記ＲＧＢ－Ｄ画像内の前記ピクセル（ｘ，ｙ）に対応する物体との間の距離であり、ｋは、前記視差分配比であり、前記視差分配比は、左目と右目の間の観察点の位置を示す一定値である、請求項１３に記載の装置。
16. 前記第２の視差マップに基づいて、前記第１のＲＧＢ画像内の前記第１のピクセルのセットをシフトすることは、次式に基づき、
    

    

    
    前記第３の視差マップに基づいて、前記第１のＲＧＢ画像内の前記第２のピクセルのセットをシフトすることは、次式に基づき、
    

    

    
    Ｐｉｘｅｌ_Ｌ（ｘ，ｙ）は、前記第２のＲＧＢ画像内のピクセル（ｘ，ｙ）であり、Ｐｉｘｅｌ_Ｒ（ｘ，ｙ）は、前記第３のＲＧＢ画像内のピクセル（ｘ，ｙ）であり、Ｐｉｘｅｌ（ｘ，ｙ）は、前記第１のＲＧＢ画像内のピクセル（ｘ，ｙ）であり、（Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ））は、前記ピクセル（ｘ，ｙ）に対するＲＧＢカラーである、請求項１５に記載の装置。
17. 立体視表示コンテンツを生成するためのコンピュータプログラムを記憶するように構成された非一時的なコンピュータ可読記憶媒体であって、前記コンピュータプログラムは、
    赤緑青プラス距離（ＲＧＢ－Ｄ）画像から、第１の赤緑青（ＲＧＢ）画像および深度画像を取得することと、
    前記深度画像内の深度値に基づいて、前記ＲＧＢ－Ｄ画像に従って第１の視差マップを決定することであって、前記第１の視差マップは、一対の立体視画像に変換される前記第１のＲＧＢ画像に対する複数の視差値を含むことと、
    視差分配比を用いて前記第１の視差マップを変換することによって第２の視差マップおよび第３の視差マップ決定することと、
    プロセッサによって、第２のＲＧＢ画像と第３のＲＧＢ画像とを含む前記一対の立体視画像を生成することであって、前記第２のＲＧＢ画像は、前記第２の視差マップに基づいて前記第１のＲＧＢ画像内の第１のピクセルのセットをシフトすることによって生成され、前記第３のＲＧＢ画像は、前記第３の視差マップに基づいて前記第１のＲＧＢ画像内の第２のピクセルのセットをシフトすることによって生成されることと、
    を前記プロセッサによって実行可能な命令を含む、非一時的なコンピュータ可読記憶媒体。
18. 前記プロセッサによって実行可能な前記命令は、
    前記プロセッサによって、前記一対の立体視画像に基づいて、拡張現実（ＡＲ）、仮想現実（ＶＲ）、または複合現実（ＭＲ）装置の表示要件に合わせてサイズ変更された、一対の調整された表示画像を生成する命令をさらに含む、請求項１７に記載の非一時的なコンピュータ可読記憶媒体。
19. 前記第１の視差マップは２次元（２Ｄ）マトリックスであり、各要素は視差値を示す、請求項１７に記載の非一時的なコンピュータ可読記憶媒体。
20. 前記ＲＧＢ－Ｄ画像はＲＧＢ－Ｄセンサによってキャプチャされる、請求項１７に記載の非一時的なコンピュータ可読記憶媒体。
    

Images