JP5592006B2 - 三次元画像処理 - Google Patents

Description

本開示は、一般的には３次元（３Ｄ）画像処理に関する。

技術の発展は、より小型で、より高性能な計算装置をもたらした。例えば、現在、様々なポータブルパーソナル計算装置が存在しており、小型で、軽量で、ユーザが持ち運ぶことが簡単な、ポータブル無線電話、携帯情報端末（ＰＤＡ）、そしてページング装置、のような無線計算装置を含む。多くのこのような無線電話は、ここに組込まれる他のタイプの装置を含む。例えば、無線電話はまた、デジタル静止カメラ、デジタルビデオカメラ、デジタルレコーダ、及びオーディオファイルプレイヤーを含むことができる。また、このような無線電話は、ビデオファイルプレイヤーのようなソフトウェアアプリケーションを含む実行可能な命令を処理することができる。

本願は、２０１０年５月２８日に出願され、「ＴＨＲＥＥ−ＤＩＭＥＮＳＩＯＮＡＬ ＩＭＡＧＥ ＰＲＯＣＥＳＳＩＮＧ」と題され、その全体において参照によってここに組み込まれた米国仮特許出願第６１／３４９，７３８号の優先権を主張する。

図１は、メディアファイルの再生中にズーム又はパン命令に応答して適応収束を実行するように構成された３Ｄ再生装置を含むシステムの具体的な実施形態のブロック図である。 図２は、画像又はビデオ撮影の間にズーム命令に応答して適応収束を実行するように構成された３Ｄ撮像装置を含むシステムの具体的な実施形態のブロック図である。 図３は、画像又はビデオ撮影中のシーン内の被写体の視差を検出するように構成された３Ｄ撮像装置の具体的な実施形態の図である。 図４は、図１〜３のシステムのいずれかに含まれることができる３Ｄ画像処理システムの具体的な実施形態のブロック図である。 図５Ａは、認識された被写体の深さと相互に関連づけられた被写体の視差の説明のための実施形態の図である。 図５Ｂは、認識された被写体の深さと相互に関連づけられた被写体の視差の説明のための実施形態の図である。 図６は、図１〜３のシステムのいずれかに含まれることができる３Ｄ画像処理システムの具体的な実施形態のブロック図である。 図７は、シーンのサブサンプルされたルーマ成分と、そのサブサンプルされたルーマ成分に適用された水平変化検出の結果の具体的な実施形態を図示する図である。 図８Ａは、図７のフィルタされた結果におけるローカル水平空間最大値と、図７のシーンのサブサンプルされたルーマ成分における各ローカル水平空間最大値の近傍(neighborhoods)の説明のための実施形態の図である。 図８Ｂは、図７のフィルタされた結果におけるローカル水平空間最大値と、図７のシーンのサブサンプルされたルーマ成分における各ローカル水平空間最大値の近傍(neighborhoods)の説明のための実施形態の図である。 図９は、シーン内のキーポイントの視差を図示する具体的な説明のための実施形態のヒストグラムである。 図１０は、シーンの３Ｄ知覚(3D perception)に関する観察距離の影響を図示する具体的な実施形態の図である。 図１１は、表示観察距離に依存する視差を図示する説明のための実施形態の図である。 図１２は、シーンの３Ｄ知覚に関するズーム動作の影響を図示する具体的な実施形態の図である。 図１３は、シーン視差及び収束点選択を図示する具体的な説明のための実施形態のヒストグラムである。 図１４は、３Ｄ画像処理の方法の第１の実施形態のフロー図である。 図１５は、３Ｄ画像処理の方法の第２の実施形態のフロー図である。 図１６は、３Ｄ画像処理の方法の第３の実施形態のフロー図である。

３次元（３Ｄ）画像処理のシステム及び方法が開示されている。三次元（３Ｄ）メディアプレイヤーはシーンに対応する入力データを受信し、３Ｄ表示装置に出力データを供給することができる。３Ｄメディアプレイヤーは、ズームコマンド及びパンコマンドを含むユーザ入力に応答する。３Ｄメディアプレイヤーは、ユーザ入力に応答するシーンの３Ｄレンダリングの収束点を決定するように構成された収束制御モジュールを含む。収束点は、シーン毎基準で適応的に決定し得て、表示シーンジオメトリ、観察距離、及びズーム／パンのユーザ入力に従って設定し得る。

３Ｄ知覚は、シーンの左画像に現れる被写体を、同じシーンの右画像に現れる対応する被写体と融合(fusing)した結果として、視聴者(viewer)の頭の中で生じることができる。被写体の知覚された深さは、被写体の視差、即ち、左画像と右画像との間の被写体の位置のシフトに基づいている。視差の（左及び右）画像シフトは、３Ｄ効果の役割を果たし、正しく扱われない場合には、不快感／頭痛を引き起こすことがある。表示次元及び観察距離(viewing distance)は、視差に影響を与え、補償されない場合には、望ましくない効果を引き起こすことがある。ズーム機能は、３Ｄ一式（3D suite）の属性となることがあり、また（リアルタイムで）視差に影響を与える。

視差の制約はユーザの好み(user preferences)に基づいて構成されうる。シーン依存の視差制約は、表示サイズ及び距離及びズーム比に基づいてリアルタイムで導出し得る。シーン視差は測定でき、シーン視差が制約内にある場合には、シーンの収束点は調節し得る。シーン視差が制約内にない場合には、処理は、制約内に視差をもたらすために特別なモードに切り替えてもよい。

特別な処理（３Ｄ効果制御）は、表示視角、表示サイズ、視聴者と表示器との間の距離、及びズーム比のうちの１つ以上に依存して使用されてもよい。有効範囲を十分に使用し、ユーザに心地よい３Ｄ効果を生成するように考慮がなされる。

人は、ゴースト（二重画像(double images)）が現れた後で、ある角度視差(angular disparity)に至るまで、解釈する（融合する）しかない。被写体の知覚された深さは、角度視差に依存するだけである。角度の視差は、スクリーンサイズ、スクリーン解像度及び観察距離の組み合わせに依存する。

図１を参照すると、システムの具体的な説明のための実施形態は、計算装置１２０に結合されたカメラ電話１０２のようなポータブル電子装置を含む。具体的な実施形態では、計算装置１２０は表示装置１３０に結合されたパーソナルコンピュータである。カメラ電話１０２は、インタフェースを介して計算装置１２０に３Ｄ画像データ１５８を提供するように結合される。カメラ電話１０２は、画像センサペア１０４、同期特定用途向け集積回路（ＡＳＩＣ）、ビデオフロントエンドコンポーネント１０８及び外部メモリ１１４を含む。同期ＡＳＩＣは、同期及びインタフェース機能１０６を含み、画像センサペア１０４に応答する。同期及びインタフェース機能１０６は、画像センサペア１０４から、第１の画像データと第２の画像データとを含む画像データ１５０を受信する。ビデオフロントエンドコンポーネント１０８は、同期ＡＳＩＣに結合され、１つ以上の画像処理機能１１０及び３Ｄビデオ符号化機能１１２を含む。ビデオフロントエンドコンポーネント１０８は、ビデオ符号化されたデータ１５６を外部メモリ１１４に供給する。ビデオフロントエンドコンポーネント１０８は、カメラ電話１０２で無線接続及びアプリケーション処理機能を可能にもする移動局モデム．ＴＭ（ＭＳＭ．ＴＭ）タイプチップセットのような移動装置チップセットに含まれうる
（移動局モデム及びＭＳＭはクアルコム社の登録商標である）。

計算装置１２０は、ユーザインタフェースを用いるインハウスプレイヤー１２６、リアルタイム再生コンポーネント１２４、及びパーソナルコンピュータ（ＰＣ）ハードドライブ１２２のような記憶装置を含む。リアルタイム再生コンポーネント１２４は、微細画像アラインメント及び適応収束機能を含む。計算装置１２０は、３Ｄ画像データ１５８を処理し、３Ｄ表示装置１３０に出力信号１６６を提供するように構成される。

動作中に、画像は、カメラ電話１０２内のカメラ装置によって撮影される。撮影された画像は、画像センサペア１０４によって検出され、シーンに関連する第１及び第２の画像に対応する第１及び第２の画像データ１５０は、同期ＡＳＩＣに供給される。同期ＡＳＩＣは、自動露光及びホワイトバランスタイプ処理のようなＡＥ機能及びセンサペア１０４の動作の同期を実行する。同期ＡＳＩＣからの同期及び処理データ１５２は、ビデオフロントエンドコンポーネント１０８に提供される。ビデオフロントエンドコンポーネント１０８は、１つ以上の画像処理機能１１０を実行し、３Ｄビデオ符号化モジュール１１２に、処理データ１５４を提供する。３Ｄビデオ符号化モジュール１１２は、３Ｄビデオ符号化を提供し、外部メモリ１１４に格納されることができるビデオ符号化データを含んでいるビデオ符号化された出力ストリーム１５６を提供する。外部メモリ１１４からのデータは、出力の接続を介して提供されることができ、３Ｄ画像データ１５８は、計算装置１２０に対して、送信のために出力されることができる。

計算装置１２０は、３Ｄ画像データ１５８に応答して、ＰＣハードドライブ１２２で３Ｄ画像データを格納する。３Ｄ画像データはＰＣハードドライブ１２２から取り出され、入力データ１６０としてリアルタイム再生コンポーネント１２４に供給されうる。リアルタイム再生コンポーネント１２４は、入力データ１６０に対して微細画像アラインメント及び適応収束処理を実行する。適応収束及び画像アライメント処理は、インハウスプレイヤー１２６に供給されるさらに処理された画像データ１６２を生成する。インハウスプレイヤー１２６は、あるユーザ要求コマンドを実行するためにユーザ入力に応答する。例えば、インハウスプレイヤー１２６は、ユーザからのズーム又はパンのコマンドに応答する。ユーザコマンドに応答して、インハウスプレイヤー１２６は、リアルタイム再生コンポーネント１２４に対して、フィードバックパスを介してズーム／パン制御を示すズーム／パンコマンド１６４を供給する。画像アライメント及び適応収束モジュール１２４は、ズーム／パンコマンド１６４に応答して、ズーム又はパンの動作から生じる認識されたシーンの深さの変化に応答して、適応収束を実行する。

従って、計算装置１２０は、シーンに対応する第１の画像及びシーンに対応する第２の画像を少なくとも含む入力データを受信するように構成される３Ｄメディアプレイヤーを含む。例えば、第１の画像と第２の画像は画像センサペア１０４によって撮影され、３Ｄ画像データを生成するために処理されうる。３Ｄメディアプレイヤーは、３Ｄ表示装置に出力データを供給するように構成される。例えば、インハウスプレイヤー１２６と結合したリアルタイム再生コンポーネント１２４は、出力データ１６６を３Ｄ表示装置１３０に供給しうる。３Ｄメディアプレイヤーは、ズームコマンド及びパンコマンドのうち少なくとも１つを含むユーザ入力に応答する。例えば、リアルタイム再生コンポーネント１２４は、ズーム／パン制御パスを介して受信された、ズームコマンド又はパンコマンド１６４のいずれかに反応する適応収束を実行しうる。３Ｄメディアプレイヤーは、ユーザ入力に応答するシーンの３Ｄレンダリングの収束点を決定するように構成される。

図２は、画像又はビデオ撮影の間にズーム命令に応答して適応収束を実行するように構成された３Ｄ撮像装置２０２を含むシステムの具体的な実施形態の図である。３Ｄ撮像装置２０２は、画像処理モジュール２０８に結合された画像センサペア２０４を含む。ユーザインタフェース装置２８０、外部記憶装置２１４及び３Ｄプレビュー表示装置２８４は、画像処理モジュール２０８に結合される。３Ｄビデオプレイヤー２２０は、撮像装置２０２によって供給された３Ｄ画像データ２５８を表示するために３Ｄ表示装置２３０に結合されるものとして図示される。

画像センサペア２０４は画像データ２５０を画像処理モジュール２０８に供給するように構成される。例えば、画像センサペア２０４は、相補形金属酸化膜半導体（ＣＭＯＳ）型画像センサ又は電荷結合素子（ＣＣＤ）型画像センサを含めうる。画像センサペア２０４の各画像センサは、３Ｄ撮像装置２０２によって撮像されるシーンに対応する画像データを同時に撮像しうる。画像データ２５０は画像センサペア２０４から読み出され、画像処理モジュール２０８に供給されうる。具体的な実施形態では、画像センサペア２０４は、実質的に並列アライメントで設定され、ズーム動作中に回転又は「トゥーイン（toe in）」することが制御可能ではない。

画像処理モジュール２０８は、図１の同期ＡＳＩＣ及びビデオフロントエンド１０８に対応しうる。画像処理モジュール２０８は、同期及びインタフェーシングモジュール２０６、画像処理関数モジュール２１０、収束制御モジュールを用いた３Ｄ処理２４０及び３Ｄビデオ符号化モジュール２１２を含めうる。同期及びインタフェーシングモジュール２０６は、画像センサペア２０４の動作の同期を制御し、画像センサペア２０４の１つ以上の他のオペレーティングパラメータを制御するための回路を含めうる。

画像処理関数モジュール２１０は、入力データ２５２を受信し、かつ色補正、色変換及び雑音低減のような１つ以上の画像処理機能を実行するように構成されうる。例えば、画像処理関数モジュール２１０は、図１の画像処理機能１１０を実行し、処理された画像データ２７０を生成するように構成されうる。

収束制御モジュールを用いた３Ｄ処理２４０は処理された画像データ２７０によって表わされるシーンの３Ｄ特有処理を実行するように構成されうる。収束制御モジュールを用いた３Ｄ処理２４０は、シーン毎基準に収束点処理を実行するように構成されうる。

例えば、収束制御モジュールを用いた３Ｄ処理２４０は、シーンの３Ｄレンダリングの収束点を決定するように構成されうる。収束制御モジュールを用いた３Ｄ処理２４０は、シーン内の被写体に対応する視差値を決定するように、シーン内の被写体の視差値に基づいて収束点を決定するように構成されうる。収束制御モジュールを用いた３Ｄ処理２４０は、視差値が３Ｄレンダリングにおいて融合可能(fusable)でない被写体の少なくとも１つとなるかどうかを決定するように構成され、警告は、シーンの３Ｄビデオ撮像中にシーンが融合可能でないということを装置２０２のユーザに通知するためにユーザインタフェース装置２８０にて生成されうる。

収束制御モジュール２４０を用いた３Ｄ処理は、所定の表示ジオメトリに応答しうる。例えば、収束点処理は、シーン内の被写体に対応する視差値に基づいて、さらに所定の表示ジオメトリに基づいて、シーンベースの収束点を調整することを含めうる。シーン毎基準の収束点処理は、３Ｄビデオ撮像中に画像センサペア２０４の第１の画像センサと第２の画像センサによって実行されたズーム動作中に収束点の動的な調整を可能にする。

例えば、所定の表示装置ジオメトリは、３Ｄビデオプレビュー表示器２８４に対応しうる。代替的に、又は追加的に、所定の装置のジオメトリは、３Ｄビデオ表示装置に一般的に適用可能でありうる「ジェネリック」又はデフォルトの装置ジオメトリに対応しうる。具体的な実施形態では、複数の所定の装置ジオメトリは、撮像装置２０２で格納され、所定の表示装置のジオメトリは、ユーザ入力に従って選択される表示ジオメトリに対応する。例えば、ユーザインタフェース装置２８０は、ユーザが、第１の３Ｄムービーを記録するときには、第１の表示装置に対応する第１の表示ジオメトリ（例えば３Ｄ表示装置２３０）を選択し、別の３Ｄムービーを記録するときには、別の表示装置に対応する異なる表示ジオメトリ（図示されず）を選択することを可能にする選択可能なオプションのメニューを提示しうる。

３Ｄビデオ符号化モジュール２１２は、収束制御モジュールを用いた３Ｄ処理の出力２７２に基づいて３Ｄ出力データ２５６を生成するように構成された３Ｄ符号化モジュールでありうる。例えば、出力２７２が静止画像に対応するとき、３Ｄビデオ符号化モジュール２１２は、３Ｄ画像のジョイントフォトグラフィックエキスパートグループ（ＪＰＥＧ）符号化規格に基づいて出力２７２を符号化するように構成されうる。別の例として、出力２７２がビデオデータに対応するとき、３Ｄビデオ符号化モジュールは、３Ｄ画像のムービングピクチャエキスパートグループ（ＭＰＥＧ）符号化規格に基づいて出力２７２を符号化するように構成されうる。３Ｄビデオ符号化モジュール２１２は、３Ｄプレビュー装置２８４に、外部メモリ２１４に、又は、両方に供給されうる３Ｄデータ２５６を出力しうる。

３Ｄプレビュー表示装置２８４は、画像又はビデオ撮影中に３Ｄシーンをユーザが視ることを可能にするために、画像処理モジュール２０８から、３Ｄデータ２５６を表示しうる。例えば、画像処理モジュール２０８は、３Ｄプレビュー表示装置２８４を介してビデオ撮影中にユーザが視るために、縮小された解像度のビデオデータを生成しうる。

シーン毎基準に適応収束制御を実行することによって、撮像装置２０２は、３Ｄビデオ撮影中にズーム機能を可能にしてもよい。例えば、ユーザ入力２８２は、ズームコマンドを示すユーザインタフェース装置２８０を介して受信されうる。図１０−１４についてさらに詳述されるように、別の方法では、ズーム動作に応答して融合可能でなくなるかもしれないシーンは、適応収束制御を使用して適応させることができる。結果、３Ｄビデオプレイヤー２２０が再生中に収束点を調整するために３Ｄビデオを処理することができない場合には、（例えば、撮影中のズームにより）別の方法で、３Ｄ表示装置２３０で融合可能でないであろう３Ｄ画像データ２５８の部分は、むしろ撮像装置２０２で実行された処理によって融合可能とすることができる。

図３は、画像又はビデオ撮影中にシーン内の被写体の視差を検出するように構成された３Ｄ撮像装置３０２の具体的な実施形態の図である。３Ｄ撮像装置３０２は、画像処理モジュール３０８に結合された画像センサペア３０４を含む。画像処理モジュール３０８は、ユーザインタフェース装置３８０及び外部メモリ３１４に結合される。画像処理モジュール３０８は、同期及びインタフェーシングモジュール３０６、画像処理関数モジュール３１０、視差検出モジュール３４２、及び３Ｄビデオ符号化モジュール３１２を含む。

画像センサペア３０４は画像データ３５０を画像処理モジュール３０８に供給するように構成される。同期及びインタフェーシングモジュール３０６は、画像処理機能モジュール３１０に、データ３５２を供給するように構成される。画像処理関数モジュール３１０は、視差検出モジュール３４２に、処理された画像データ３７０を供給するように構成される。３Ｄビデオ符号化モジュール３１２は、３Ｄビデオデータ３７２を受信し、符号化された３Ｄビデオデータ３５６を生成するように構成される。具体的な実施形態では、画像センサペア３０４、ユーザインタフェース３８０、外部メモリ３１４、同期及びインタフェーシングモジュール３０６、画像処理機能モジュール３１０及び３Ｄビデオ符号化モジュール３１２は、それぞれ、図２の、画像センサペア２０４、ユーザインタフェース２８０、外部メモリ２１４、同期及びインタフェーシングモジュール２０６、画像処理機能モジュール２１０及び３Ｄビデオ符号化モジュール２１２に対応する。

視差検出モジュール３４２は、図７乃至９についてさらに詳述されるような、画像センサペア３０４によって撮像されたシーン内の被写体に対応する視差値を決定するように構成されうる。視差検出モジュール３４２は、視差値がシーンの３Ｄレンダリングにおいて融合可能でない被写体の少なくとも１つとなるかどうかを決定するように構成され、また、この場合には、警告３８２は、シーンの３Ｄビデオ撮像中にシーンが融合可能でないということを装置３０２のユーザに通知するためにユーザインタフェース装置３８０にて生成されうる。具体的な実施形態では、視差検出モジュール３４２は、シーン特有の被写体検出又はキーポイント検出と、図２の収束制御モジュール２４０を伴う３Ｄ処理の視差決定機能と、を組み込むが、ビデオ撮像中にシーンの収束点を調整するように構成されない。

画像センサペア３０４は、右センサ（即ち、視聴者の右目によって認識されたシーンと関連づけられる画像を撮影する第１のセンサ）と左センサ（即ち、視聴者の左目によって認識されたシーンと関連づけられる画像を撮影する第２のセンサ）とを含むセンサのペアとして代表的な視点で説明されている。画像データ３５０は、左センサによって生成された左の画像データ、右センサによって生成された右の画像データを含む。各センサは、水平方向に伸張する感光性コンポーネント(photo-sensitive components)の行と、垂直方向に伸張する感光性コンポーネントの列と、を有するものとして図示されている。左センサ及び右センサは、水平方向に沿って互いに距離ｄで実質的に整列される。ここで使用されるように、３Ｄ画像データ内の「水平」方向は、左画像データ内の同じ被写体の位置と右画像内の被写体の位置との間の移動の方向である。

図４は、図１〜３のシステムのいずれにも含まれる３Ｄ画像処理システム４４０の具体的な実施形態の図である。３Ｄ処理システム４４０は、入力画像データ４０４を受信し、出力画像データ４２８を生成するように構成される。３Ｄ処理システム４４０は、較正入力４５０を介して受信されたカメラ較正パラメータ４０６と、使用モード入力４５２を介して受信された使用モードパラメータ４０８と、に応答しうる。

３Ｄ処理システム４４０は、微細ジオメトリ補償モジュール４１０、キーポイント検出モジュール４１２、キーポイント整合モジュール４１４、３Ｄ収束制御モジュール４１６、３Ｄ画像調整モジュール４１８、そしてスマート３Ｄ収束モジュール４２０、スマート２次元（２Ｄ）モジュール４２２及び別の収束制御モジュール４２４のうちの１つ又は複数を含む。３Ｄ処理システム４４０は又は、画像クロップ及び境界補正モジュール４２６を含めうる。具体的な実施形態では、３Ｄ処理システム４４０は、モジュール４１０〜４２６の１つ以上について説明されている方法でＧＰＵに入力画像データ４０４を処理させるように構成されたプログラム命令を実行するグラフィクス処理装置（ＧＰＵ）によって実装されうる。

ジオメトリ補償モジュール４１０は、データパス４７０を介して入力画像データ４０４を受信し、補償画像データ４５４を生成するように構成される。ジオメトリ補償モジュール４１０は、カメラ較正パラメータ４０６からデータを使用し、そして、３Ｄ画像データ４０４のレンダリングに悪影響を及ぼす、ミスアライメント、収差(aberration)、又は、他の較正の条件を訂正するために、入力画像データ４０４を調整しうる。説明するために、ジオメトリ補償モジュール４１０は、較正パラメータ４０６を調整するために恣意的なグリッドに関して画像データ４０４の再サンプリングを効率的に実行しうる。

図１の計算装置１２０のような３Ｄ処理システム４４０が３Ｄビデオ再生装置で実装される実施形態では、カメラ較正パラメータ４０６は、例えば３Ｄビデオデータファイルのヘッダーにおけるような、入力画像データ４０４と共に受信されうる。３Ｄ処理システム４４０が、例えば図１の撮像装置１０２、図２の撮像装置２０２、又は図３の撮像装置３０２のような撮像装置で実装される実施形態では、カメラ較正パラメータ４０６は、撮像装置の画像センサペアに対応し、微細ジオメトリ補償モジュール４１０にアクセス可能なメモリに格納されうる。

キーポイント検出モジュール４１２は、補償画像データ４５４を受信するように、また、キーポイント位置データ４５６を生成するように、構成される。キーポイント検出モジュール４１２は、補償画像データ４５４において特徴的な点を識別するように構成される。例えば、特徴的な点は、シーン内の被写体の垂直エッジ、又は、水平方向の高周波数コンポーネントを有するシーンの他の点、に対応しうる。画像データ内のこのような特徴的な要素は「キーポイント」又は「被写体」とここでは呼ばれるが、このような識別された要素は、個々の画素、画素のグループ、部分的な画素部分、他の画像コンポーネント、又はそのいずれの組み合わせに対応しうるということは理解されるべきである。例えば、図７Ａ−図７Ｂについてさらに説明されるように、キーポイントは、受信された画像データのサブサンプルされたルーマ成分を伴う画素に対応し、垂直エッジ検出フィルタを使用して検出されうる。

キーポイント整合モジュール４１４は、キーポイント位置データ４５４を受信するように、また、識別されたキーポイントに対応する視差データ４５８を生成するように、構成される。キーポイント整合モジュール４１４は、探索範囲内でキーポイントあたりを探索し、視差ベクトルの信頼性測定を生成するように構成されうる。

３Ｄ収束制御モジュール４１６は、視差データ４５８を受信するように、また、収束点を示すデータ４６０を生成するように、構成される。例えば、３Ｄ収束制御モジュール４１６は、表示ジオメトリ、ズーム動作、パン動作、他の表示要因、又はいずれのその組み合わせに基づいて収束点を抽出しうる。３Ｄ収束制御モジュール４１６はまた収束ループを制御しうる。例えば、３Ｄ収束制御モジュール４１６は、シーンのヒストリに基づいて収束点をゆっくりと変更して、シーン変更をスムーズにし、シーン毎の視差における大きなジャンプを防ぐために、有限インパルス応答（ＩＩＲ）フィルタのようなフィルタを実装しうる。しかしながら、ズーム又はパン動作の表示が使用モード入力４５２を介して受信されるとき、３Ｄ収束制御モジュール４１６は、視差の大きな変化がズーム又はパン動作に適応することができるように、フィルタの状態リセットを開始しうる。

３Ｄ画像調整モジュール４１８は、収束点を示すデータ４６０を受信するように、また、画像処理を３Ｄ収束調整モジュール４２０に、スマート３Ｄモジュール４２２に、又は、他の収束制御モジュール４２４に、選択的に命令するように、構成される。例えば、シーン内のキーポイントの視差の範囲が所定の範囲内にあるとき、シーンのキーポイントは融合可能であり、収束点は、第１の画像及び第２の画像のうちの少なくとも１つを第１の画像及び第２の画像の他方に対してシフトすることによって、収束調整モジュール４２０にて調整されうる。

別の例として、キーポイントの視差の範囲が所定の範囲を超えるとき、処理は、スマート３Ｄモジュール４２２にて実行されうる。スマート３Ｄモジュール４２２は、第１の画像及び第２の画像のうちの一方を、第１の画像及び第２の画像のうちの他方のシフトされたバージョンと置き換えるように構成されうる。シフト量は、識別されたキーポイントの平均視差又は中央視差に基づいて決定されうる。結果として生じるシーンは、全ての被写体がシーン内の少なくとも幾つかの被写体に適切な深さで認識されるフラットなシーンとして現れうる（即ち、シーン内の被写体間で認識された深さを有さない）。

或いは、キーポイントの視差の範囲が所定の範囲を超えるとき、処理は、他の収束モジュール４２４にて実行されうる。例えば、他の収束モジュール４２４は、１つ以上の侵襲的技術(invasive techniques)を使用することによって、例えば、融合可能でないシーン内の被写体を識別し、また、被写体が融合可能であるように再配置するために第１の画像及び第２の画像のうちの少なくとも１つを変更することによって、画像データを調整するように構成されうる。

画像クロップ及び境界補正モジュール４２６は、融合可能３Ｄ画像データ４６４を受信するように、また、出力３Ｄデータ４２８を生成するように、構成されうる。画像クロップ及び境界補正モジュール４２６は、融合可能３Ｄ画像データ４６４の１つ以上の画像クロップ動作を実行するように構成されうる。画像クロップ及び境界補正モジュール４２６はさらに、融合可能３Ｄ画像データ４６４に境界補正を実行するように構成されうる。

動作中に、（例えば、微細ジオメトリ補償モジュール４１０によって）３Ｄ画像データ４０４の微細ジオメトリ補償を含むシーン依存適応収束処理(scene-dependent adaptive convergence process)が実行される。３Ｄ画像データ４０４を撮像した２つのセンサ間の相対的な位置を推定し補償するように設計された較正手順は、（例えば、装置のエンドユーザへの送信の前に）オフラインで実行され、ジオメトリ補償は、３Ｄ画像データ４０４のフレーム毎に実行されうる。

処理は、キーポイント検出（例えばキーポイント検出モジュール４１２における）を継続する。視差を確実に推定するために使用されることができる、画像の被写体又は画素（キーポイント）のセットが選択される。推定された視差における高い信頼が達成され、必ずしも全てのシーン内の領域又は被写体が使用されない。キーポイントのセットの選択は、適切な解像度（１つ又は複数）を生成するために画像サブサンプリングを含めうる。画像ハイパスフィルタが適用され（例えば、垂直特徴に対応する水平周波数を探すのみ）、続いてフィルタを適用することによって生成された結果の二乗又は絶対値を取る。所定の閾値を超える結果は、起こりうるキーポイントとして識別されうる。キーポイント・プルーニング処理(key points pruning process)は、あるローカル近隣内で最良のキーポイント（例えば、所定の領域内の全てのキーポイントの最大フィルタ結果に対応するキーポイント）を選択するために起こりうるキーポイントに対して実行されうる。

キーポイント整合は、（例えば、キーポイント整合モジュール４１４において）検出されたキーポイントを使用して実行されうる。第１の画像（例えば、左画像又は右画像）内のキーポイントと第２の画像（例えば、左画像及び右画像のうちの他方）内の対応するエリアとの間の対応が決定されうる。信頼度推定器が生成され、そしてそれは、キーポイント選択と共に、視差推定精度を著しく改善しうる。左画像及び右画像内のキーポイント間でどれだけ整合が近いかを決定することを可能にするために、正規化された相互共分散を使用して、整合が実行されうる。信頼性速度は、正規化された相互共分散に基づいていることがある。具体的な実施形態では、第１の画像内のキーポイントに対応する第２の画像内のキーポイントを見つけるための探索範囲は、センサ較正のための画像補償がすでに実行されているので、水平のみであり、探索範囲は、収束点のまわりのある範囲のみをカバーするように調整され、そしてそれは、微細ジオメトリ補償モジュール４１０で決定されうる。

３Ｄ収束制御（例えば、３Ｄ収束制御モジュール４１６における）は、第１の画像内のキーポイントのセットが第２の画像内の対応するキーポイントのセットに整合された後で実行されうる。視差ヒストグラムスクリーンジオメトリ及びクロップウィンドウサイズのような、十分な統計に基づいて、シーンが３Ｄでレンダリングされることができるか決定されることができる。シーンが３Ｄでレンダリングされることができる場合、（例えば、３Ｄ収束調整４２０を介して）水平シフトが適用される。シーンが３Ｄでレンダリングされることができない場合には、具体的な例として、スマート２Ｄ処理、２Ｄ−３Ｄ処理、又は侵襲的収束制御処理(invasive convergence control processing)のような、幾つかの起こりうるフォールバックのうち１つ又は複数が使用されうる。

シーンが３Ｄでレンダリングされることができるかを決定するために、キーポイントの選択されたセットの各キーポイントの視差値のヒストグラムが生成されうる。ヒストグラムの一方又は両方のテイルが切り取られてもよい。例えば、視差値の幾つかが誤りであると予期されるとき、シーンが融合可能であるかを決定する信頼度（即ち、視差値の所定の範囲内で調べられる全てのキーポイント視差値）は、考慮されるキーポイント視差値のセットから、最大視差値又は最小視差値のうち１つ以上を取り除くことによって改良されうる。その後、シーンの視差範囲は、ヒストグラムの最小値／最大値によって指定される。

具体的な実施形態では、３Ｄ画像処理システム４４０の少なくとも一部は、図１〜３のシステムの１つ以上で実装されうる。例えば、３Ｄ画像処理システム４４０は、図１の微細画像アライメント及び適応収束モジュール１２４で実装されうる。別の例として、３Ｄ画像処理システム４４０は、図２の収束制御モジュールを用いた３Ｄ処理２４０内で実装されうる。別の例として、３Ｄ画像処理システム４４０のモジュール４１０〜４１６は、図３の視差検出モジュール３４２で実装されうる。

図１〜４は、３Ｄ撮像について使用される画像センサのペアを説明しているが、他の実施形態では、２以上の画像センサが使用されうる。幾つかの実施形態では、図１乃至４で説明されている様々なモジュール及びコンポーネントの１つ又は複数は、専用ハードウェア（即ち回路）として、例えば消去可能プログラマブル読み出し専用メモリ（ＰＲＯＭ）型ストレージ、フラッシュメモリ、読み出し専用メモリ（ＲＯＭ）メモリのような非一時的記憶媒体で格納されるプロセッサ実行可能命令を実行するプロセッサとして、又は、ハードウェアと処理装置（例えば、制御器、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、グラフィクス処理装置（ＧＰＵ）、又はいずれのそれらの組み合わせ）で実行する命令との組み合わせとして実装されうる。

図５Ａ及び図５Ｂは、認識された被写体の深さと相関された被写体の視差の説明のための実施形態の図である。ステレオ３Ｄ表示は、各目５０４、５０６に異なる画像を向けることに依存する。その目的は、被写体の視差（水平シフト）が深さと相関されるので、左及び右（Ｌ／Ｒ）画像から深さの錯覚を再生することである。図５Ａは、表示画面５２４を超えて認識された被写体５３０に対応する正の視差５５０を図示する。視差５５０は、左画像内の被写体の位置５２０と、右画像内の被写体の位置５２２との間の距離を示す。オブザーバは、左目５０４の視野５６０の線と、右目５０６の視野５６２の線と、の交差するところで、被写体５３０を認識するために、左画像内の被写体５３０の画像と、右画像内の被写体５３０の画像と、を融合する。

図５Ｂは、表示画面５２４の前面で認識された被写体５３０に対応する負の視差５５０を図示する。視差５５０は、左画像内の被写体の位置５２０と、右画像内の被写体の位置５２２との間の距離を示す。オブザーバは、左目５０４の視野５６０の線と、右目５０６の視野５６２の線と、の交差するところで、表示画面５３４の前面で、被写体５３０を認識するために、左画像内の被写体５３０の画像と、右画像内の被写体５３０の画像と、を融合する。

２つの目から見た被写体のずれ(displacement)は、深さとして視覚野(visual cortex)によって解釈される。視覚野は、あるずれまで深さとして解釈することができる。画像フュージョンが眼精疲労なく起こることができる範囲［−ｄ１．．．ｄ２］がある。２つの撮像された画像間の視差は、シーンに依存する。シーン深さ（又は視差範囲）を感知することは、融合可能範囲［−ｄ１．．．ｄ２］内にフィットするように視差を調整することを許容する。視差は、収束点を変更することによって、例えば画像のうちの１つを他方に水平にシフトすることによって、調節されることができる。

収束点は、左画像及び右画像内のクロップウィンドを水平にシフトすることによって制御されることができる。収束点は、スクリーン上で有効なｚ範囲（即ち、図１の３Ｄ表示装置１３０の表示画面において有効な深さ範囲）を十分に使用するために、シーン依存でありうる。

適応収束制御のための設計はシーン範囲推定及び収束制御を含むことができる。シーン範囲推定は、収束点制御及び場合によっては侵襲的視差制御(invasive disparity control)のために使用されることができる。収束制御は、画像の視差全てを制御する論理を含めうる。

図６は、図１〜３のシステムのいずれにも含まれることができる３Ｄ画像処理システムの具体的な実施形態のブロック図である。シーン範囲推定モジュール６０２は、適応収束点制御モジュール６０４にシーン範囲データ６２０を供給する。適応収束点制御処理の後で、画像データは、水平シフトクロップモジュール６０６、２Ｄモジュールへの切り替え、２Ｄ−３Ｄモジュール６１０、又は侵襲的視差制御モジュール(invasive disparity control module)６１２によって処理されうる。処理された画像データは、画像データの３Ｄ融合可能ストリーム６１４に含まれうる。

シーン範囲推定モジュール６０２によって実行されるシーン範囲推定は、左画像と右画像との間の僅かな動きベクトル推定として一般化されうる。シーン範囲推定プロセスは、キー（特徴的な）ポイント識別を含むことができる。垂直変化は、水平シフトのみが存在している（また、測定される）ので必要とされない。水平変化（ある垂直コンポーネントを備えたエッジ）が使用される。幾つかの実施形態では、キーポイントは異なる解像度で検出されうる。シーン範囲推定プロセスはまた、キーポイント整合を含むことができる。キーポイント整合は、光源レベル依存であるために、また、ロバストな視差信頼性メトリックを生成するために、正規の相互共分散を使用して実行されうる。結果、異なる解像度を伴う整合キーポイントは不要であることがある。

図７は、サブサンプルされたルーマ成分に適用された水平変化検出フィルタリング７０４の結果７０６とシーン７０２のサブサンプルされたルーマ成分の具体的な実施形態を図示する図である。シーンのルーマ成分は、説明のための例として、４だけサブサンプルされうる。水平エッジ検出フィルタリング７０６は、下記によって与えられた応答ｈを有するフィルタを通してもよい。

結果の絶対値が結果７０６を生成するために得られることがある。

図８Ａ及び８Ｂは、図７のフィルタされた結果７０６におけるローカル水平空間最大値と、図７のシーンのサブサンプルされたルーマ成分における各ローカル水平空間最大値の近傍の説明のための実施形態の図である。図７のフィルタされた結果７０６を使用して、フィルタされた結果７０６（ローカルの水平の空間の最大）の潜在的なキーポイントの個々の水平の近傍にある最も高い値は図８Ａで図示された選択されたキーポイントを生成するために選択されることがある。

選択されたキーポイント毎に、キーポイントのまわりの近隣が左ルーマ画像から選択され（図８Ｂで図示される）、右画像の近隣との相関係数は（探索範囲と共に）計算され、相関値がある閾値より確信がある場合には、動きベクトルを保持する（即ち、キーポイントを、信頼性視差を有するものとして扱う）。

収束制御（例えば、図６の収束制御点モジュール６０４による）は、動きベクトルのヒストグラムを構築することによって実行されうる。図９は、シーン内のキーポイントの視差の具体的な説明のための実施形態のヒストグラムを図示する。（１つ以上の視差値のビンにおける）視差値は、水平軸に沿って図示され、各ビンに対応する視差値を有する選択されたキーポイントの数は、垂直軸に沿って図示される。最大の視差範囲及び所望の収束点はまた、ヒストグラムで図示される。図９は、説明の簡潔さのため、グラフ形式でヒストグラムを図示し、処理の実装は、視差ヒストグラムのグラフ形式を生成することを含まないことがあり、代わりに、表、リスト、配列又は他の構造のようなデータ構造は、視差値に対応するキーポイントのカウントと視差値を関連させるために使用されうる。

ヒストグラムを構築した後、ヒストグラムのテイルはトリムされうる。シーン範囲は、ヒストグラムの最小値と最大値との差異（例えば、ノンゼロサイズを有するヒストグラムの最大視差ビンと、ノンゼロサイズを有するヒストグラム内の最小視差ビンとの間の差異）として推定されうる。最小値と最大値との間の平均、即ち何らかの他の線形結合は、所望のゼロ視差点（収束点）となるであろう。最大の残りの視差は、シーンが融合可能である又は融合可能でないかを決定する。シーンが融合可能でない場合、オプションは、説明のための例として、２Ｄストリームに切り替わること（左フレームと右フレームを同じにする）、２Ｄ−３Ｄ変換を実行すること、又は、侵襲的視差制御処理を含む。

視差（左及び右）画像シフトは、３Ｄ効果の役割を果たし、正しく扱われない場合、不快感／頭痛を生成する可能性がある。表示次元及び観察距離は、視差に影響を与え、補償されない場合には、望ましくない効果を生成する可能性がある。ズーム機能は、３Ｄ一式に対する属性であることができ、また（リアルタイムで）視差に影響を与える。

視差の制約はユーザの優先度に基づいて構成されうる。シーン依存の視差制約は、表示サイズ及び距離及びズーム比に基づいてリアルタイムで導出されることができる。シーン視差は測定されることができ、シーン視差が制約内にある場合には、シーンの収束点は調節されうる。シーン視差が制約内にない場合には、処理は、制約内の視差をもたらすために特別なモードに切り替わることがある。

特別な処理（３Ｄ効果制御）は、視差視角、表示サイズ、視聴者と表示との間の距離、及びズーム比のうちの１つ以上に依存して使用されうる。有効範囲を十分に使用し、ユーザにとって十分な３Ｄ効果を生成するように考慮されうる。

人は、ゴースト（二重画像(double images)）があらわれた後で、ある角度視差に至るまで解釈（融合する）するしかない。被写体の認識された深さは、もっぱら角度の視差に依存しうる。角度の視差は、スクリーンサイズ、スクリーン解像度及び観察距離の組み合わせに依存する。

図１０は、シーンの３Ｄ知覚に関する観察距離の影響の具体的な実施形態の図である。第１の構成１０００は、視聴者１００２、スクリーン１００８からの第１の距離１０１８を有する。第１の被写体１００４は、シーンの前で知覚され（即ち、負の視差を有し）、第２の被写体１００６は、スクリーン１００８で知覚され（即ち、ゼロの視差を有し）、第３の被写体１０１０は、スクリーン１００８を超えて認識され（即ち正の視差を有し）、第４の被写体１０１２は、視差の大きすぎ(too large of a disparity)により融合可能でない。

第２の構成１０２０では、観察距離１０３８が増大され、全ての被写体１００４、１００６、１０１０、及び１０１２が融合される。しかしながら、深さのコントラストが縮小される。第３の構成１０４０では、観察距離１０１８は、第１の構成１０００を整合し、視点スクリーン１００８のサイズが縮小される。全ての被写体１００４、１００６、１０１０及び１０１２は融合されるが、深さのコントラストは縮小される。

図１１は、表示観察距離に依存する、視差の説明のための実施形態の図である。第１の構成１１０２は、スクリーン１１０８の前面からスクリーン１１０８の背面に伸張する許容されたシーン深さ範囲１１１０を図示する。第１の位置１１１６は、最大の許容されたクロス前スクリーン視差(cross-before-screen disparity)を示し、第２の位置１１１４は、最大のクロス後スクリーン視差(cross-after-screen disparity)を示す。第２の構成１１０４は、第１の構成１１０２よりも、スクリーン１１０８とオブザーバとの間のより小さい観察距離を図示する。許容されたシーン深さの範囲１１０は、第１の構成１１０２にあるようにスクリーン１１０８の前面まで伸張しない。

スクリーン１１０８上のクロス後スクリーン視差は、目距離（即ち、観察者の目の間の距離）よりも大きくないことがある。この考慮は、より大きな距離のスクリーンについてその方向におけるより少ない角度シフトを残す。第２の構成１１０４で図示されるように、より近いスクリーンは、眼精疲労に起因する大きなクロス前スクリーン視差を許容しない。このような考慮に基づく具体的な解法は、より近いスクリーンに対するより多くの３Ｄ深さ効果と、より遠いスクリーンに対するより多くの３Ｄ飛び出し効果(3D pop out effect)を可能にすることを含む。

図１２は、シーンの３Ｄ知覚に関するズーム動作の影響の具体的な実施形態の図である。第１の構成１２００は、スクリーン１２０８の前面の第１の被写体１２１４と第２の被写体１２０４、スクリーン１２０８における第３の被写体１２０６、スクリーン１２０８を超えた第４の被写体１２１０及び第５の被写体１２１２を含む１組の被写体を含むシーンを知覚する視聴者１２０２を含む。

第２の構成１２２０は、第１の構成１２００と同じシーンのズームされた画像を含む。第３の被写体１２０６及び第４の被写体１２１０のみが、ズームによりシーンにあらわれる。第４の被写体１２１０は融合可能でない。

第３の構成１２４０は、適切なズーム制御を用いた第１の構成１２００と同じシーンのズームされた画像を含む。第２の構成１２２０とは対照的に、第３の被写体１２０６と第４の被写体１２１０は融合可能である。第４の被写体１２１０の視差は、被写体１２０６と被写体１２１０との間のシーンの収束点をシフトすることによって融合可能範囲内に縮小されるので、第３の被写体１２０６は、スクリーン１２０８の前に現れ、第４の被写体１２１０は、スクリーン１２０８を超えて現れる。

表示及びズーム依存性３Ｄ効果制御の場合、許容される視差は、値α＝０．５°−２°で設定されうる（例えば、設定時間中に指定される）。θ_displayは、視角であり、Ｄはシーン深さ、即ち、最大（Ｄ２）及び最小（Ｄ１）視差ベクトル間の差異であり、多数の画素で表される。Ｗは、画素での画像幅であり、ｘは、スクリーンからの距離である。取り組まれうる２つの質問は、シーン深さ範囲が融合可能であるかどうか、収束点はどこに配置されるべきか、である。

スクリーン上で見られるであろう角度視差（°）は、（Ｄ／Ｗ）＊θ_displayによって与えられる。視差は、テストされ、α＞（Ｄ／Ｗ）＊θ_displayであるとき、融合可能であるよう決定されうる。視差が融合可能である場合、収束点は調節されうる。クロス前スクリーン視差についてはＤ１、クロス後スクリーン視差についてはＤ２を使用して、収束点は、Ｃ＝Ｄ１＋Ｄ＊Ｍ（Ｘ）として選択され、Ｘは、スクリーンからの距離であり、Ｍ（）は、０から１の間の単調増加関数である。

図１３は、シーン視差と収束点の選択の具体的な説明のための実施形態のヒストラグラムである。視聴者と表示器との間の距離（Ｘ）が小さい場合、収束点は、少数の被写体がスクリーンの前面に現れるように設定される。対照的に、距離（Ｘ）が大きい場合、収束点は、被写体のうち多くがスクリーンの前面に現れるように設定される。

図１〜１３で図示されたシステム及び処理に関連して、適応３Ｄ収束は、ビデオ撮像中、再生中、又は双方中に可能にされる。例えば、具体的な実施形態では、図１４で図示される方法１４００は、それぞれ、図１〜３の装置１０２、２０２、及び３０２のような３Ｄ撮像装置にて実行されうる。代替的に、又は、追加的に、方法は、図１の装置１２０のような３Ｄ再生装置にて、又は、図４のコンポーネント４１０〜４２６の１つ以上又は図６のコンポーネント６０２〜６１４のうち１つ以上を含む別の装置にて実行されうる。

方法は、単一のシーンに対応する第１の画像及び第２の画像を使用して実行されうる。第１の画像は、第１のセンサによってシーンの第１の撮影に対応し、第２の画像は、第２のセンサによってシーンの第２の撮影に対応し、第２の撮影は、１４０２にて、例えば図１〜３で図示されたセンサペアの１つによって、第１の撮影と実質的に同時に行われる。

第１の点は、１４０４にて、第１の画像に対応する画像データ内の変化に基づいて、第１の画像内で選択されうる。説明するために、第１の点は、図４のキーポイント検出モジュール４１２について説明されるように選択されるキーポイント又は被写体でありうる。第２の点は１４０６にて第２の画像内で配置されうる。第２の点は第１の点に対応しうる。説明するために、第２の点は、図４のキーポイント整合モジュール４１４について説明されるように配置されうる。

１４０８にて、第１の点と第２の点との間の距離がシーンの３次元（３Ｄ）レンダリングの単一の点として認識されるべき閾値距離を越えるかどうか決定されうる。例えば、第１の点と第２の点との間の距離は、キーポイント又は被写体の視差に対応することができ、視差が閾値を超えるとき（例えば、図１３のＤ１より小さい又はＤ２より大きい）、又は、許容範囲外にあるとき（例えば、図１１の範囲１１１０に従う範囲）、融合可能でないことがある。説明するために、決定は、図４の３Ｄ収束制御モジュール４１６によって実行されうる。閾値距離を超える第１の点と第２の点との間の距離に応答して、第２の画像は、１４１０にて第１の画像のシフトされたバージョンと置き換えられうる。そうでなければ、第１の点と第２の点との間の距離が閾値の距離より大きくない場合、第１の点と第２の点は融合可能である。

例えば、変化は、エッジ検出フィルタを第１の画像に対応する画像データに適用し、第１の画像の水平領域内でエッジ検出フィルタを適用することから生じる最大絶対値を見つけることによって識別され、第１の画像は、左画像に対応し、第２の画像は３Ｄレンダリングの右画像に対応する。例えば、フィルタは、少なくともある垂直コンポーネントを有するエッジを配置するために、図７の水平変化検出フィルタリング７０４のために使用されるフィルタであることができる。画像データは、図７について説明されているように、第１の画像に対応するサブサンプルされたルーマデータを含めうる。水平方向は、図３について説明されているように、第１の画像に対応する第１の撮像装置と、第２の画像に対応する第２の撮像装置と、の間の方向に対応しうる。

当業者は、方法は、１つ以上のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）装置、１つ以上の特定用途向け集積回路（ＡＳＩＣ）、１つ以上の中央処理装置（ＣＰＵ）、１つ以上のデジタル信号プロセッサ（ＤＳＰ）、１つ以上のグラフィックス処理装置（ＧＰＵ）、１つ以上の制御器、１つ以上の他のハードウェア装置、１つ以上のファームウェア装置、又は、それらのいずれの組み合わせによって実装されることができるということを理解するであろう。さらに、コンピュータ可読媒体は、コンピュータ又は処理装置によって読取り可能であり、コンピュータ又は処理装置に方法の少なくとも１部を実行させるために実行可能であるプログラム命令を凝視する(stare)ことがある。例えば、コンピュータ可読媒体は、第１の画像に対応する画像データ内の変化に基づいて第１の画像内で第１の点を選択するためのコードと、第２の画像内で第２の点を配置するためのコードと、第１の点と第２の点との間の距離が閾値距離を越えるかどうかを決定するためのコードと；を含むフラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ、又は、他の非一時的ストレージを含めうる。

別の実施形態では、図１５で図示される方法１５００は、それぞれ、図１〜３の装置１０２、２０２、及び３０２のような３Ｄ撮像装置にて実行されうる。代替的に、又は、追加的に、方法は、図１の装置１２０のような３Ｄ再生装置にて、又は、図４のコンポーネント４１０〜４２６のうち１つ以上又は図６のコンポーネント６０２〜６１４のうち１つ以上を含む別の装置にて実行されうる。

方法は１５０２で第１の画像内で第１の点を選択することを含めうる。方法はまた、１５０４で、信頼度測定値を使用して、第２の画像の内で第２の点を配置することを含めうる。第２の点は第１の点に対応し、第１の画像と第２の画像は単一のシーンに対応しうる。例えば、第１の点を選択することはキーポイント検出モジュール４１２で実行され、第２のポイントを配置することはキーポイント整合モジュール４１４にて実行されうる。信頼測定値は、第１の点を含む第１の画像の第１の領域と第２の点を含む第２の画像の第２の領域との間の正規化された相互共分散に基づいて決定されうる。

例えば、第２の点を配置することは、第１の画像内で第１の点を含む第１の領域を選択することと、第１の領域に対して最も高く決定された相関値を有する第２の画像の第２の領域を選択することと、によって実行されうる。相関決定は、第１の画像と第２の画像のルーマ成分を使用して実行されうる。相関決定は、第１の点の探索範囲内で第２の画像の複数の領域について実行されうる。信頼測定値は、第２の領域に対応し、第２の領域は、信頼測定値が信頼性閾値を超えるかどうかに基づいて第１の領域に対応するものとして識別されうる。

方法はまた、１５０６で、第１の点と第２の点との間の距離がシーンの３次元（３Ｄ）レンダリングの単一の点として認識されるべき閾値距離を越えるかどうかを決定することを含めうる。例えば、決定は、図４の３Ｄ収束制御モジュール４１６によって実行されうる、及び、キーポイント視差が３Ｄレンダリング中に融合可能でないかどうかに対応しうる。

当業者は、方法は、１つ又は複数のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）装置、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ）、１つ又は複数の中央処理装置（ＣＰＵ）、１つ又は複数のデジタル信号プロセッサ（ＤＳＰ）、１つ又は複数のグラフィックス処理装置（ＧＰＵ）、１つ又は複数の制御器、１つまた複数の他のハードウェア装置、１つ又は複数のファームウェア装置、又は、それらのいずれの組み合わせによって実装されることができるということを理解するであろう。さらに、コンピュータ可読媒体は、コンピュータ又は処理装置によって読取り可能であり、コンピュータ又は処理装置に方法の少なくとも１部を実行させるため実行可能なプログラム命令を凝視する(stare)ことがある。例えば、コンピュータ可読媒体は、第１の画像内で第１の点を選択するためのコードと；第２の画像内で第２の点を、信頼測定値を使用して配置するためのコードと、第１の点と第２の点との間の距離がシーンの３次元（３Ｄ）レンダリングの単一の点として認識されるべき閾値距離を越えるかどうかを決定するためのコードと；を含むフラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ、又は、他の非一時的ストレージを含めうる。

別の実施形態では、図１６で図示される方法１６００は、１６０２にて、被写体のセットを含む３次元（３Ｄ）シーン（例えば、図４のキーポイント検出モジュール４１２によって、画像内で配置されるキーポイント）は、被写体のセットの各被写体が３Ｄシーン内で単一の被写体として認識されている状態でシーンの第１の画像とシーンの第２の画像を使用してレンダリングされることができるかどうかを決定すること（例えば、融合可能であると決定される）を含む。方法はまた、１６０４で、３Ｄシーンは被写体のセットの各被写体が単一の被写体として認識されている状態でレンダリングされることができるということを決定することに応答して、１６０６で、被写体のセットの各被写体の視差を視差値の所定の範囲内に存在させるように、シーンの収束点を調整することを含めうる。シーンの収束点を調整することとは、例えば図４の３Ｄ収束調整モジュール４２０によって、被写体のセットの各被写体の視差を変更するために、第１の画像と第２の画像のうち少なくとも１つを、第１の画像と第２の画像の他方に対してシフトすることを含めうる。

方法はまた、例えば、図４のスマート２Ｄモジュール４２０について説明されているように、１６０８で、被写体のセットの各被写体が単一の被写体として認識されている状態で３Ｄシーンがレンダリングされることができないということを決定することに応答して、第２の画像を第１の画像のシフトされたバージョンと置き換えることを含めうる。

３Ｄシーンは被写体のセットの各被写体が単一の被写体として認識されている状態でレンダリングされることができるかどうかを決定することは、被写体のセットの被写体毎に、第１の画像内の被写体の第１の位置と、第２の画像内の被写体の第２の位置との間の距離を示す、対応する視差値を生成することを含めうる。視差値の範囲は、図９で図示された最大の視差範囲のような視差値の所定の範囲と比較されうる。視差値の範囲は、視差値の最大値、又は被写体のセットに対応する視差値の最小値を少なくとも除く。例えば、視差値のヒストグラムは生成され、１つ以上の最大値及び／又は最小値が廃棄されることがある。

当業者は、方法は、１つ以上のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）装置、１つ以上の特定用途向け集積回路（ＡＳＩＣ）、１つ以上の中央処理装置（ＣＰＵ）、１つ以上のデジタル信号プロセッサ（ＤＳＰ）、１つ以上のグラフィックス処理装置（ＧＰＵ）、１つ以上の制御器、１つまた複数の他のハードウェア装置、１つ以上のファームウェア装置、又は、それらのいずれの組み合わせによって実装されることができるということを理解するであろう。さらに、コンピュータ可読媒体は、コンピュータ又は処理装置によって読取り可能であり、コンピュータ又は処理装置に方法の少なくとも１部を実行させるために実行可能なプログラム命令を凝視することがある。例えば、コンピュータ可読媒体は、被写体のセットを含む３次元（３Ｄ）シーンは、被写体のセットの各被写体が３Ｄシーン内で単一の被写体として認識されている状態でシーンの第１の画像とシーンの第２の画像を使用してレンダリングされることができるかどうかを決定するためのコードと；３Ｄシーンは被写体のセットの各被写体が単一の被写体として認識されている状態でレンダリングされることができるということを決定することに応答して、被写体のセットの各被写体の視差を視差値の所定の範囲内に存在させるように、シーンの収束点を調整するためのコードを含むフラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ、又は他の非一時的ストレージを含めうる。

別の実施形態では、装置は、シーンに対応する第１の画像及びシーンに対応する第２の画像を少なくとも含む入力データを受信するように構成され、３Ｄ表示装置に出力データを供給するように構成された、三次元（３Ｄ）メディアプレイヤーを含む。３Ｄメディアプレイヤーは、ズームコマンド及びパンコマンドのうち少なくとも１つを含むユーザ入力に応答しうる。３Ｄメディアプレイヤーは、ユーザ入力に応答するシーンの３Ｄレンダリングの収束点を決定するように構成された収束制御モジュールを含む。例えば、装置は、図４の３Ｄ処理システム４４０を含めうる。装置は、シングルチップとして、移動装置のためのチップセットのようなチップセットとして、又は、スマートフォン、撮影装置、又は他のタイプの装置のような移動装置として、実装されうる。

収束制御モジュールは、再生中に、シーン毎基準に収束点を調節するように構成されうる。収束制御モジュールは、シーン内の被写体の視差値に基づいて収束点を決定するように構成されうる。収束点は、３Ｄ表示装置のサイズ及び解像度、３Ｄ表示装置からの観察距離、１つ以上の他の要因、又は、それらのいずれの組み合わせ、のうちの少なくとも１つにさらに基づいて決定されうる。視差値は、３Ｄ表示装置の画素単位で決定されうる。

別の実施形態では、装置は、第１の画像センサに対応する第１の画像データと、第２の画像センサに対応する第２の画像データとを含む画像データを受信するように構成される画像処理モジュールを含む。例えば、装置は、図２の装置２０２、図３の装置３０２、或いは図４の３Ｄ処理システム４０４のコンポーネントを含めうる別の装置でありうる。画像処理モジュールは、シーンの３Ｄレンダリングの収束点を決定するように構成された収束制御モジュールを含めうる。画像処理モジュールはまた、収束制御モジュールの出力に基づいて３Ｄ出力データを生成するように構成された３Ｄ符号化モジュールを含めうる。

収束制御モジュールは、シーン内の被写体の視差値に基づいて収束点を決定するようにさらに構成されてもよく、構成される。収束制御モジュールはまた、視差値が３Ｄレンダリングにおいて融合可能でない被写体の少なくとも１つとなるかどうかを決定するように構成されうる。例えば、警告は、例えば図３の警告３８２のような、シーンの３Ｄビデオ撮像中にシーンは融合可能でないということを装置のユーザに通知するために生成されることができる。

収束制御モジュールは、シーン毎基準に収束点処理を実行するように構成されることができる。収束点処理は、シーン内の被写体に対応する視差値に基づいて、さらに所定の表示ジオメトリに基づいて、シーンベースの収束点を調整することを含めうる。シーン毎基準の収束点処理は、３Ｄビデオ撮像中に第１の画像センサと第２の画像センサによって実行されたズーム動作中に収束点の動的な調整を可能にすることができる。

装置は、シングルチップとして、移動装置のためのチップセットのようなチップセットとして、又は、スマートフォン、撮影装置、又は他のタイプの装置のような移動装置として、実装されうる。例えば、装置はまた、図２の３Ｄプレビュー表示装置２８４のようなビデオプレビュー表示器を含めうる。所定の表示装置ジオメトリは、ビデオプレビュー表示器に対応しうる。代替的に、又は追加的に、装置のジオメトリは、ユーザ入力に従って選択される表示ジオメトリに対応しうる。

ここに開示された実施形態に関して記述された方法又はアルゴリズムのステップは、直接ハードウェアにおいて、プロセッサによって実行されるソフトウェアモジュールにおいて、又は、それらの２つの組み合わせにおいて、具現化されうる。ソフトウェアモジュールは、ランダムアクセスメモリ（ＲＡＭ）メモリ、フラッシュメモリ、読み取り専用メモリ（ＲＯＭ）、プログラム読取専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読取専用メモリ（ＥＰＲＯＭ）、電子的消去可能プログラマブル読取専用メモリ（ＥＥＰＲＯＭ）、レジスタ、ハードディスク、リムーバブルディスク、コンパクトディスク読取専用メモリ（ＣＤ−ＲＯＭ）、又は、当技術分野で知られているいずれの他の形の非一時的記憶媒体において存在しうる。例示的な記憶媒体は、プロセッサに結合されるので、プロセッサが記憶媒体から情報を読み取ることができ、また記憶媒体に情報を書き込むことができる。或いは、記憶媒体は、プロセッサに一体化されうる。プロセッサと記憶媒体は、特定用途集積回路（ＡＳＩＣ）において存在しうる。ＡＳＩＣは、計算装置又はユーザ端末において存在しうる。或いは、プロセッサと記憶媒体は、計算装置又はユーザ端末において、ディスクリートコンポーネントとして存在しうる。

開示される実施形態の前の説明は、当業者が開示された実施形態を行う又は使用することを可能にするために提供される。これらの実施形態に対する様々な修正は、当業者にとっては容易に明らかであろう、そして、ここにおいて定義された包括的な原理は、本開示の範囲から逸脱することなく、他の実施形態に適用されうる。従って、本開示は、ここにおいて示される実施形態に限定されるように意図されていないが、特許請求の範囲によって規定されるように原理及び新規な特徴に整合する最も広い範囲が与えられるべきである。
以下に本件出願当初の特許請求の範囲を付記する。
［Ｃ１］ 第１の画像内で第１の点を、前記第１の画像に対応する画像データ内の変化に基づいて、選択することと、第２の画像内で前記第１の点に対応する第２の点を配置することと、前記第１の画像と前記第２の画像が単一のシーンに対応していて、前記第１の点と前記第２の点との間の距離が前記シーンの３次元（３Ｄ）レンダリングの単一の点として認識されるべき閾値距離を越えるかどうかを決定することと、を備える方法。
［Ｃ２］ 前記変化は、エッジ検出フィルタを前記第１の画像に対応する画像データに適用し、前記第１の画像の水平領域内で前記エッジ検出フィルタを適用することから生じる最大絶対値を見つけることによって識別され、前記第１の画像は、左画像に対応し、前記第２の画像は前記３Ｄレンダリングの右画像に対応する、［Ｃ１］に記載の方法。
［Ｃ３］ 水平方向は、前記第１の画像に対応する第１の撮像装置と、前記第２の画像に対応する第２の撮像装置と、の間の方向に対応する、［Ｃ２］に記載の方法。
［Ｃ４］ 前記画像データは、前記第１の画像に対応するサブサンプルされたルーマデータを含む、［Ｃ２］に記載の方法。
［Ｃ５］ 前記第１の画像は、第１のセンサによって前記シーンの第１の撮像に対応し、前記第２の画像は、第２のセンサによって前記シーンの第２の撮像に対応し、前記第２の撮像は、前記第１の撮像と実質的に同時に行われる、［Ｃ１］に記載の方法。
［Ｃ６］ 第１の画像内で第１の点を選択することと、第２の画像内で前記第１の点に対応する第２の点を、信頼測定値を使用して、配置することと、前記第１の画像と前記第２の画像は単一のシーンに対応していて、前記第１の点と前記第２の点との間の距離が前記単一のシーンの３次元（３Ｄ）レンダリングの単一の点として認識されるべき閾値距離を越えるかどうかを決定することと、を備える方法。
［Ｃ７］ 前記信頼測定値は、前記第１の点を含む前記第１の画像の第１の領域と前記第２の点を含む前記第２の画像の第２の領域との間の正規化された相互共分散に基づいて決定される、［Ｃ６］に記載の方法。
［Ｃ８］ 前記第２の点を配置することは、前記第１の画像内で前記第１の点を含む第１の領域を選択することと、前記第１の領域に対して最も高く決定された相関値を有する前記第２の画像の第２の領域を選択することと、を含む、［Ｃ６］に記載の方法。
［Ｃ９］ 相関決定は、前記第１の画像と前記第２の画像のルーマ成分を使用して実行される、［Ｃ８］に記載の方法。
［Ｃ１０］ 前記相関決定は、前記第１の点の探索範囲内で前記第２の画像の複数の領域について実行される、［Ｃ９］に記載の方法。
［Ｃ１１］ 前記信頼測定値は、前記第２の領域に対応し、前記第２の領域は、前記信頼測定値が信頼性閾値を超えるかどうかに基づいて前記第１の領域に対応するものとして識別される、［Ｃ８］に記載の方法。
［Ｃ１２］ 被写体のセットを含む３次元（３Ｄ）シーンは、前記被写体のセットの各被写体が前記３Ｄシーン内で単一の被写体として認識されている状態で前記シーンの第１の画像と前記シーンの第２の画像を使用してレンダリングされることができるかどうかを決定することと；
前記３Ｄシーンは前記被写体のセットの各被写体が前記単一の被写体として認識されている状態でレンダリングされることができるということを決定することに応答して、前記被写体のセットの各被写体の視差を視差値の所定の範囲内に存在させるように、前記シーンの収束点を調整することと；
を備える方法。
［Ｃ１３］ 前記３Ｄシーンは前記被写体のセットの各被写体が前記単一の被写体として認識されている状態でレンダリングされることができないということを決定することに応答して、前記第２の画像を前記第１の画像のシフトされたバージョンと置き換えること、をさらに備える［Ｃ１２］に記載の方法。
［Ｃ１４］ 前記３Ｄシーンは前記被写体のセットの各被写体が前記単一の被写体として認識されている状態でレンダリングされることができるかどうかを決定することは、前記被写体のセットの被写体毎に、前記第１の画像内の前記被写体の第１の位置と、前記第２の画像内の前記被写体の第２の位置との間の距離を示す、対応する視差値を生成することを含む、［Ｃ１２］に記載の方法。
［Ｃ１５］ 前記３Ｄシーンは前記被写体のセットの各被写体が前記単一の被写体として認識されている状態でレンダリングされることができるかどうかを決定することは、前記視差値の範囲と、視差値の所定の範囲とを比較することをさらに含む、［Ｃ１４］に記載の方法。
［Ｃ１６］ 前記視差値の前記範囲は、前記視差値の最大値、又は前記被写体のセットに対応する前記視差値の最小値を少なくとも除く、［Ｃ１５］に記載の方法。
［Ｃ１７］ 前記シーンの前記収束点を調整することとは、前記被写体のセットの各被写体の前記視差を変更するために、前記第１の画像と前記第２の画像のうち少なくとも１つを、前記第１の画像と前記第２の画像の他方に対してシフトすることを含む、［Ｃ１２］に記載の方法。
［Ｃ１８］ シーンに対応する第１の画像と、前記シーンに対応する第２の画像と、を少なくとも含む入力データを受信するように構成され、３次元（３Ｄ）表示装置に出力データを提供するように構成された３次元（３Ｄ）メディアプレイヤー、を備え、前記３Ｄメディアプレイヤーは、ズームコマンドとパンコマンドのうち少なくとも１つを含むユーザ入力に応答し、前記３Ｄメディアプレイヤーは、前記ユーザ入力に応答して前記シーンの３Ｄレンダリングの収束点を決定するように構成された収束制御モジュールを含む、装置。
［Ｃ１９］ 前記収束制御モジュールは、メディアファイルの再生中に、シーン毎基準に前記収束点を調節するように構成される、［Ｃ１８］に記載の装置。
［Ｃ２０］ 前記収束制御モジュールは、前記シーン内の被写体の視差値に基づいて前記収束点を決定するように構成される、［Ｃ１８］に記載の装置。
［Ｃ２１］ 前記収束制御モジュールは、さらに前記３Ｄ表示装置の解像度及びサイズのうち少なくとも１つに基づいて、前記収束点を決定するように構成される、［Ｃ２０］に記載の装置。
［Ｃ２２］ 前記収束制御モジュールは、さらに前記３Ｄ表示装置からの観察距離に基づいて、前記収束点を決定するように構成される、［Ｃ２０］に記載の装置。
［Ｃ２３］ 前記視差値は、前記３Ｄ表示装置の画素単位で決定される、［Ｃ２０］に記載の装置。
［Ｃ２４］ 第１の画像センサに対応する第１の画像データと第２の画像センサに対応する第２の画像データとを含む画像データを受信するように構成された画像処理モジュール、を備え、前記画像処理モジュールは、 シーンの３Ｄレンダリングの収束点を決定するように構成された収束制御モジュールと、 前記収束制御モジュールの出力に基づいて３Ｄ出力データを生成するように構成された３Ｄ符号化モジュールと、を含む、装置。
［Ｃ２５］ 前記収束制御モジュールは、所定の表示ジオメトリに応答する、［Ｃ２４］に記載の装置。
［Ｃ２６］ 前記収束制御モジュールは、前記シーン内の被写体の視差値に基づいて前記収束点を決定するようにさらに構成される、［Ｃ２４］に記載の装置。
［Ｃ２７］ 前記収束制御モジュールは、前記視差値が前記３Ｄレンダリングにおいて融合可能でない前記被写体の少なくとも１つとなるかどうかを決定するようにさらに構成され、前記シーンが融合可能でないということを前記シーンの３Ｄビデオ撮像中に前記装置のユーザに通知する警告が生成される、［Ｃ２６］に記載の装置。
［Ｃ２８］ 前記収束制御モジュールは、シーン毎基準で収束点処理を実行するように構成される、［Ｃ２４］に記載の装置。
［Ｃ２９］ 前記収束点処理は、前記シーン内の被写体に対応する視差値に基づいて、さらに所定の表示ジオメトリに基づいて、シーンベースの収束点を調整することを含む、［Ｃ２８］に記載の装置。
［Ｃ３０］ 前記シーン毎基準の収束点処理は、３Ｄビデオ撮像中に前記第１の画像センサと前記第２の画像センサによって実行されたズーム動作中に前記収束点の動的な調整を可能にする、［Ｃ２９］に記載の装置。
［Ｃ３１］ ビデオプレビュー表示装置、をさらに備え、前記所定の表示装置のジオメトリは、前記ビデオプレビュー表示装置に対応する、［Ｃ２９］に記載の装置。
［Ｃ３２］ 前記所定の表示装置のジオメトリは、ユーザ入力に従って選択される表示ジオメトリに対応する、［Ｃ２９］に記載の装置。
［Ｃ３３］ 第１の画像内で第１の点を、前記第１の画像に対応する画像データ内の変化に基づいて、選択することと、第２の画像内で前記第１の点に対応する第２の点を配置することと、前記第１の画像と前記第２の画像が単一のシーンに対応していて、前記第１の点と前記第２の点との間の距離が前記シーンの３次元（３Ｄ）レンダリングの単一の点として認識されるべき閾値距離を越えるかどうかを決定することと、を実行することをプロセッサによって実行可能にする命令を備える、非一時的コンピュータ可読媒体。
［Ｃ３４］ エッジ検出フィルタを前記第１の画像に対応する画像データに適用し、前記第１の画像の水平領域内で前記エッジ検出フィルタを適用することから生じる最大絶対値を見つけることによって前記分散を識別することを実行する前記プロセッサによって実行可能である命令をさらに備え、前記第１の画像は、左画像に対応し、前記第２の画像は前記３Ｄレンダリングの右画像に対応する、［Ｃ３３］に記載のコンピュータ可読媒体。
［Ｃ３５］ 水平方向は、前記第１の画像に対応する第１の撮像装置と、前記第２の画像に対応する第２の撮像装置と、の間の方向に対応する、［Ｃ３４］に記載のコンピュータ可読媒体。
［Ｃ３６］ 前記画像データは、前記第１の画像に対応するサブサンプルされたルーマデータを含む、［Ｃ３４］に記載のコンピュータ可読媒体。
［Ｃ３７］ 前記第１の画像は、第１のセンサによって前記シーンの第１の撮像に対応し、前記第２の画像は、第２のセンサによって前記シーンの第２の撮像に対応し、前記第２の撮像は、前記第１の撮像と実質的には同時に行われる、［Ｃ３３］に記載のコンピュータ可読媒体。
［Ｃ３８］ 第１の画像センサに対応する第１の画像データと、第２の画像センサに対応する第２の画像データとを含む画像データを受信するための手段と、シーンの３次元（３Ｄ）レンダリングの収束点を決定するための手段と、前記収束点を決定するための手段の出力に基づいて３Ｄ出力データを生成するための手段と、を備える装置。
［Ｃ３９］ 前記収束点を決定するための手段は、所定の表示ジオメトリに応答する、［Ｃ３８］に記載の装置。
［Ｃ４０］ 前記収束点を決定するための手段は、前記シーン内の被写体の視差値に基づいて前記収束点を決定するようにさらに構成される、［Ｃ３８］に記載の装置。

Claims (40)

1. 第１の画像内で第１の点を、前記第１の画像に対応する画像データ内の変化に基づいて、選択することと、
   第２の画像内の第２の点を配置することと、前記第２の点は、前記第１の点と対応し、前記第１の画像及び前記第２の画像は１つのシーンに対応する、
   前記第１の点と前記第２の点との距離が閾値距離を超えるかどうかを決定することと、前記閾値距離は、前記第１の点とシフトされた第２の点が前記シーンの三次元（３Ｄ）レンダリングの単一の点として認識されるように前記第２の点が水平方向にシフトし得る閾値である、
   前記距離が前記閾値距離を越えることを決定することに応答して、前記シーン内のキーポイントの中央視差に基づいてシフト量を決定することと、
   前記第２の画像を前記第１の画像のシフトされたバージョンと置き換えることと、前記第１の画像の前記シフトされたバージョンは、前記シフト量だけシフトされた前記第１の画像に対応する、
   を備える方法。
2. 各キーポイントは、前記第１の画像内で選択された点および前記第２の画像内の対応する点に対応する、請求項１に記載の方法。
3. 前記距離が前記閾値距離を越えることを決定することに応じて、前記シーンが融合可能でないという警告を生成すること、をさらに備える請求項１に記載の方法。
4. 前記画像データは、前記第１の画像に対応するサブサンプルされたルーマデータを含む、請求項１に記載の方法。
5. 前記第１の画像は、第１のセンサによって前記シーンの第１の撮像に対応し、前記第２の画像は、第２のセンサによって前記シーンの第２の撮像に対応し、前記第２の撮像は、前記第１の撮像と同時に行われる、請求項１に記載の方法。
6. 前記第２の点は、信頼測定値を使用して配置される、請求項１に記載の方法。
7. 前記信頼測定値は、前記第１の点を含む前記第１の画像の第１の領域と前記第２の点を含む前記第２の画像の第２の領域との間の正規化された相互共分散に基づいて決定される、請求項６に記載の方法。
8. 前記第２の点を配置することは、
   前記第１の画像内で前記第１の点を含む第１の領域を選択することと、
   前記第１の領域に対して最も高く決定された相関値を有する前記第２の画像の第２の領域を選択することと、
   を含む、請求項６に記載の方法。
9. 前記第１の画像内で第３の点を選択することと、
   信頼測定値を使用して前記第３の点に対応する前記第２の画像内に第４の点を配置することと、をさらに備え、前記第１および第２の点は、第１のキーポイントに対応し、前記第３および第４の点は、第２のキーポイントに対応し、前記シフト量は、少なくとも前記第１および第２のキーポイントの中央視差に基づく、請求項１に記載の方法。
10. 前記相関決定は、前記第１の点の探索範囲内で前記第２の画像の複数の領域について実行される、請求項８に記載の方法。
11. 前記信頼測定値は、前記第２の領域に対応し、前記第２の領域は、前記信頼測定値が信頼性閾値を超えるかどうかに基づいて前記第１の領域に対応するものとして識別される、請求項８に記載の方法。
12. 被写体のセットを含む３次元（３Ｄ）シーンが、前記被写体のセットの各被写体が前記３Ｄシーン内の単一の被写体として認識される状態で前記３Ｄシーンの第１の画像及び前記３Ｄシーンの第２の画像を用いてレンダリングされ得るかどうかを決定することと、前記被写体のセットの被写体毎に、
    前記第１の画像内の前記被写体の第１の点と前記第２の画像内の前記被写体の第２の点との間の距離を示す対応する視差値を生成することと、
    前記距離が閾値距離内にあるかどうかを決定することと、を含み、前記閾値距離は、前記被写体の前記第１の点とシフトされた第２の点がレンダリングされた前記３Ｄシーンの単一の点として認識できるように前記被写体の前記第２の点が水平方向にシフトし得る閾値距離であり、前記閾値距離は、視差値の所定範囲に対応する、
    前記３Ｄシーンは前記被写体のセットの各被写体が前記単一の被写体として認識されている状態でレンダリングされ得ないことを決定することに応答して、前記３Ｄシーン内のキーポイントの平均視差に基づいてシフト量を決定することと；
    前記第２の画像を前記第１の画像のシフトされたバージョンと置き換えることと；
    を備え、前記第１の画像の前記シフトされたバージョンは、前記シフト量だけシフトされた前記第１の画像に対応する、方法。
13. 前記３Ｄシーンは前記被写体のセットの各被写体が前記単一の被写体として認識されている状態でレンダリングされることができないということを決定することに応答して、前記３Ｄシーンは融合可能ではないという警告を生成すること、をさらに備える請求項１２に記載の方法。
14. 前記３Ｄシーンは前記被写体のセットの各被写体が対応する前記単一の被写体として認識されている状態でレンダリングし得ることを決定することに応答して、前記被写体のセットの各被写体の視差を視差値の所定範囲内とさせるように前記３Ｄシーンの収束点を調整することをさらに含む、請求項１２に記載の方法。
15. 前記３Ｄシーンは前記被写体のセットの各被写体が対応する前記単一の被写体として認識されている状態でレンダリングされることができるかどうかを決定することは、前記視差値の範囲と、視差値の所定の範囲とを比較することをさらに含む、請求項１２に記載の方法。
16. 前記視差値の前記範囲は、前記視差値の最大値、又は前記被写体のセットに対応する前記視差値の最小値を少なくとも除く、請求項１５に記載の方法。
17. 前記３Ｄシーンの前記収束点を調整することとは、前記被写体のセットの各被写体の前記視差を変更するために、前記第１の画像と前記第２の画像のうち少なくとも１つを、前記第１の画像と前記第２の画像の他方に対してシフトすることを含む、請求項１４に記載の方法。
18. シーンに対応する第１の画像と、前記シーンに対応する第２の画像と、を少なくとも含む入力データを受信するように構成され、３次元（３Ｄ）表示装置に出力データを提供するように構成された３次元（３Ｄ）メディアプレイヤー、
    を備え、
    前記３Ｄメディアプレイヤーは、ズームコマンドとパンコマンドのうち少なくとも１つを含むユーザ入力に応答し、
    前記３Ｄメディアプレイヤーは、前記ユーザ入力に応答して、
    前記第１の画像内の第１の点と前記第２の画像内の第２の点との間の距離が閾値距離を超えるかどうかを決定し、前記閾値距離は、前記第１の点とシフトされた第２の点が前記シーンの３Ｄレンダリングの単一の点として認識されるように前記第２の点が水平方向にシフトし得る閾値であり、前記第２の点が前記第１の点と対応する、
    前記距離が前記閾値距離を越えるということを決定することに応答して、
    前記シーン内のキーポイントの中央視差に基づいてシフト量を決定し、
    前記第２の画像を前記第１の画像のシフトされたバージョンと置き換えるように構成された収束制御モジュールを含み、前記第１の画像の前記シフトされたバージョンが前記シフト量だけシフトされた前記第１の画像に対応する、
    装置。
19. 前記収束制御モジュールは、メディアファイルの再生中に、シーン毎基準に収束点を調節するように構成される、請求項１８に記載の装置。
20. 前記収束制御モジュールは、前記距離が前記閾値を超えることを決定することに応じて、前記シーンは融合可能でない警告を生成するようにさらに構成される、請求項１８に記載の装置。
21. 前記収束制御モジュールは、さらに前記３Ｄ表示装置の解像度及びサイズのうち少なくとも１つに基づいて、前記収束点を決定するようにさらに構成される、請求項２０に記載の装置。
22. 前記収束制御モジュールは、さらに前記３Ｄ表示装置からの観察距離に基づいて、前記収束点を決定するようにさらに構成される、請求項２０に記載の装置。
23. 前記距離は、前記３Ｄ表示装置の画素単位で決定される、請求項１８に記載の装置。
24. 第１の画像センサに対応する第１の画像データと第２の画像センサに対応する第２の画像データとを含む画像データを受信するように構成された画像処理モジュール、
    を備え、前記第１の画像データと前記第２の画像データは、単一のシーンに対応し、前記画像処理モジュールは、
    前記第１の画像データ内の第１の点と前記第２の画像データ内の第２の点との間の距離が、前記第１の点とシフトされた第２の点が前記シーンの３Ｄレンダリングの単一の点として認識されるように前記第２の点が水平方向にシフトされることができる閾値距離を越えるかどうかを決定し、
    前記距離が前記閾値距離を越えるということを決定することに応じて、
    前記シーン内のキーポイントの平均視差に基づいてシフト量を決定し、
    前記第２の画像を前記第１の画像のシフトされたバージョンと置き換えるように構成され、前記第２の点は、前記第１の点に対応し、前記第１の画像の前記シフトされたバージョンは、前記シフト量だけシフトされた前記第１の画像に対応する、収束制御モジュールと、
    前記収束制御モジュールの出力に基づいて３Ｄ出力データを生成するように構成された３Ｄ符号化モジュールと、
    を含む、
    装置。
25. 前記収束制御モジュールは、所定の表示ジオメトリに応答する、請求項２４に記載の装置。
26. 前記収束制御モジュールは、前記シーンが融合可能でない警告を生成するようにさらに構成される、請求項２４に記載の装置。
27. 前記装置は、前記シーンが融合可能でないということを前記シーンの３Ｄビデオ撮像中に前記装置のユーザに通知する警告を生成するようにさらに構成される、請求項２６に記載の装置。
28. 前記収束制御モジュールは、シーン毎基準で収束点処理を実行するように構成される、請求項２４に記載の装置。
29. 前記収束点処理は、さらに所定の表示ジオメトリに基づいて、シーンベースの収束点を調整することを含む、請求項２８に記載の装置。
30. 前記シーン毎基準の収束点処理は、３Ｄビデオ撮像中に前記第１の画像センサと前記第２の画像センサによって実行されたズーム動作中に前記収束点の動的な調整を可能にする、請求項２８に記載の装置。
31. ビデオプレビュー表示装置、をさらに備え、前記所定の表示装置のジオメトリは、前記ビデオプレビュー表示装置に対応する、請求項２９に記載の装置。
32. 前記所定の表示装置のジオメトリは、ユーザ入力に従って選択される表示ジオメトリに対応する、請求項２９に記載の装置。
33. 第１の画像内で第１の点を、前記第１の画像に対応する画像データ内の変化に基づいて、選択することと、
    第２の画像内で前記第１の点に対応する第２の点を配置することと、
    前記第１の画像と前記第２の画像が単一のシーンに対応していて、前記第１の点と前記第２の点との間の距離が、前記第１の点とシフトされた第２の点が前記シーンの３次元（３Ｄ）レンダリングの単一の点として認識されるように前記第２の点が水平方向にシフトされることができる閾値距離を越えるかどうかを決定することと、
    前記距離が前記閾値距離を越えるということを決定することに応じて、
    前記シーン内のキーポイントの中央視差に基づいてシフト量を決定することと、
    前記第２の画像を前記第１の画像のシフトされたバージョンと置き換えることと、
    を実行することをプロセッサによって実行可能にする命令を備え、前記第１の画像の前記シフトされたバージョンは、前記シフト量だけシフトされた前記第１の画像に対応する、
    コンピュータ可読記憶媒体。
34. 前記距離が前記閾値距離を越えることを決定することに応じて、警告を生成することを前記プロセッサによって実行可能にする命令、をさらに備える請求項３３に記載のコンピュータ可読記憶媒体。
35. 前記水平方向は、前記第１の画像に対応する第１の撮像装置と、前記第２の画像に対応する第２の撮像装置と、の間の方向に対応する、請求項３３に記載のコンピュータ可読記憶媒体。
36. 前記画像データは、前記第１の画像に対応するサブサンプルされたルーマデータを含む、請求項３３に記載のコンピュータ可読記憶媒体。
37. 前記第１の画像は、第１のセンサによって前記シーンの第１の撮像に対応し、前記第２の画像は、第２のセンサによって前記シーンの第２の撮像に対応し、前記第２の撮像は、前記第１の撮像と同時に行われる、請求項３３に記載のコンピュータ可読記憶媒体。
38. 第１の画像センサに対応する第１の画像データと、第２の画像センサに対応する第２の画像データとを含む画像データを受信するための手段と、
    前記第１の画像データと前記第２の画像データが単一のシーンに対応して、前記第１の画像データ内の第１の点と前記第２の画像データ内の第２の点との間の距離が、前記第１の点とシフトされた第２の点が前記シーンの３Ｄレンダリングの単一の点として認識されるように前記第２の点が水平方向にシフトされることができる閾値距離を越えるかどうかを決定するための手段と、
    前記距離が前記閾値距離を越えるということを決定することに応じて、前記第２の画像を前記第１の画像のシフトされたバージョンと置き換えるための手段と、
    を備え、前記第２の点は、前記第１の点に対応し、前記置き換えるための手段は、前記シーン内のキーポイントの中央視差に基づいてシフト量を決定するための手段を備え、前記第１の画像の前記シフトされたバージョンは、前記シフト量だけシフトされた前記第１の画像に対応する、装置。
39. 前記シーンの前記３Ｄレンダリングの収束点を決定するための手段、前記決定された収束点に基づいて前記水平方向に前記第２の画像をシフトするための手段、前記距離が前記閾値距離を超えないことを決定することに応じて、前記収束点を決定するための手段の出力に基づいて３Ｄ出力データを生成するための手段、をさらに備える請求項３８に記載の装置。
40. 前記収束点を決定するための手段は、所定の視差ジオメトリに応答する請求項３９に記載の装置。

Images