JP5858254B2 - ２次元コンテンツの３次元コンテンツへのリアルタイム変換の方法及び装置 - Google Patents

Description

〔関連出願への相互参照／引用による組み込み〕
本出願は、これにより本明細書にその全内容が引用により組み込まれる２０１２年３月２８日に出願の米国特許出願番号第１３／４３２，０６５号明細書を参照する。

本出願は、これにより本明細書にその全内容が引用により組み込まれる２０１１年２月２８日に出願の米国特許出願番号第１３／０３６，６５６号明細書を参照する。

本発明の開示の様々な実施形態は、コンテンツ変換に関する。より具体的には、本発明の開示の様々な実施形態は、２次元（２Ｄ）コンテンツの３次元（３Ｄ）コンテンツへのリアルタイム変換の方法及び装置に関する。

消費者電子デバイスの製造業者は、処理能力を犠牲にすることなく利用可能な制限されたメモリスペースを利用しようとする時に効率関連の問題に対処する必要がある。特に、リアルタイムでの２次元コンテンツの３次元コンテンツへの変換中に、消費者電子デバイスは、高処理能力及び大量メモリスペースを要求する。従って、効率的な２Ｄ対３Ｄコンテンツ変換システムに対する必要性が存在する。

米国特許出願番号第１３／４３２，０６５号明細書 米国特許出願番号第１３／０３６，６５６号明細書

従来の慣例的な手法の更に別の制限及び欠点は、図面の参照と共に本出願の残りに示すような本発明の開示の一部の態様とのそのようなシステムの比較を通して当業者に明らかになるであろう。

２次元コンテンツの３次元コンテンツへのリアルタイム変換の方法及び装置は、実質的に図面の少なくとも１つに示され、及び／又はそれに関連して記述され、より完全に特許請求の範囲に示している。

本発明の開示のこれら及び他の特徴及び利点は、同じ参照番号が全体を通して同じ部分を示す添付の図面と共に本発明の開示の以下の詳細説明の精査から認めることができる。

本発明の開示の実施形態によるリアルタイム２Ｄ対３Ｄ変換のためのネットワーク環境を示すブロック図である。 本発明の開示の実施形態によるコンピュータデバイスを示すブロック図である。 本発明の開示の実施形態による画像フレームを示す図である。 本発明の開示の実施形態による画像フレーム内の１列のピクセルを示す例示的な図である。 本発明の開示の実施形態による画像フレーム内の１列のピクセルを示す例示的な図である。 本発明の開示の実施形態による画像フレーム内の１列のピクセルを示す例示的な図である。 本発明の開示の実施形態によるコンピュータデバイスでのリアルタイム２Ｄ対３Ｄ変換を与えるための例示的な段階を示す流れ図である。 本発明の開示の別の実施形態によるコンピュータデバイスでのリアルタイム２Ｄ対３Ｄ変換を与えるための例示的な段階を示す流れ図である。

２次元コンテンツの３次元コンテンツへのリアルタイム変換を与える方法及び／又は装置において様々な実施を見出すことができる。

本発明の開示の例示的な態様は、映像処理のためのコンピュータデバイスを含むことができる。実施形態において、コンピュータデバイスは、画像フレーム内のピクセルの部分集合の平均垂直速度及び／又は平均水平速度を決定することができる。奥行の値は、ピクセルの部分集合の各ピクセルに対して、ピクセルの部分集合のそのピクセルに関連付けられた計算された動きベクトル、平均垂直速度、及び平均水平速度に基づいて決定することができる。

動きベクトルアルゴリズムは、画像フレーム内の均質な(homogenous)エリア内のピクセルに対する動きベクトルを計算することができない。均質なエリア内のこのようなピクセルに対応する動きベクトルは、更に別の計算のために考慮することができる。実施形態において、画像フレームに対応する動きベクトルは、入力として与えることができる。１つ又はそれよりも多くのピクセルに対応する動きベクトルは、未知である場合があり、又は所定の入力では定義できない場合がある。未知の動きベクトル及び／又は定義されていない動きベクトルを有するこのようなピクセルは、動きベクトルを事前に決定することができず、従って、奥行の計算に対するピクセルの部分集合に含まれない。

実施形態において、奥行の値は、ピクセルの部分集合の各ピクセルに対して、ピクセルの部分集合のそのピクセルに関連付けられた計算された動きベクトル、画像フレームの平均垂直ピクセル速度、及び画像フレームの平均水平ピクセル速度に基づいて決定することができる。平均垂直ピクセル速度及び平均水平ピクセル速度は、画像フレーム内の予め決定された動きベクトルを有するピクセルに基づいて計算することができる。コンピュータデバイスは、画像フレームのピクセルに関連付けられた奥行の値に基づいて画像フレームに対する立体画像対を発生させることができる。立体画像対は、画像フレーム内の各ピクセルが特定の値だけ左にシフトされる左画像と、画像フレーム内の各ピクセルが特定の値だけ右にシフトされる右画像とを含むことができる。特定の値は、画像フレーム内の各ピクセルに関連付けられた奥行の値に比例することができる。実施形態において、ピクセルの部分集合は、画像フレーム内のピクセルの１つ又はそれよりも多くの列に属する場合がある。

実施形態において、画像フレームは、２次元（２Ｄ）画像フレームとすることができる。実施形態において、画像フレームは、低減されたピクセル解像度を有する２次元（２Ｄ）画像フレームとすることができる。実施形態において、コンピュータデバイスは、外部デバイス及び／又はローカルメモリの一方又は両方から画像フレームを受信することができる。コンピュータデバイスは、テレビジョン、スマートフォン、タブレット、ラップトップ、及び／又はデスクトップコンピュータのうちの１つ又はそれよりも多くを含むことができる。外部デバイスは、ビデオプレーヤ、セットトップボックス、パーソナルビデオレコーダ、ビデオカメラ、及び／又はクラウドサーバのうちの１つ又はそれよりも多くを含むことができる。

図１は、本発明の開示の実施形態によるリアルタイム２Ｄ対３Ｄ変換のためのネットワーク環境を示すブロック図である。図１に関しては、ネットワーク環境１００が示されている。ネットワーク環境１００は、コンピュータデバイス１０２、ビデオプレーヤ１０４ａ、セットトップボックス１０４ｂ、パーソナルビデオレコーダ１０４ｃ、クラウドサーバ１０４ｄ、ビデオカメラ１０４ｅのような１つ又はそれよりも多くの外部デバイス１０４、及び通信ネットワーク１０６を含むことができる。しかし、本発明の開示はこれに制限されず、本発明の開示の範囲を制限することなく他の外部デバイスを利用することができる。

コンピュータデバイス１０２は、外部デバイス（１０４ａのような）と直接に又は通信ネットワーク１０６を通じて通信することができる適切な論理、回路、インタフェース、及び／又はコードを含むことができる。実施形態において、コンピュータデバイス１０２は、外部デバイス（１０４ａのような）に／から命令及び指令を送信及び／又は受信することができる。コンピュータデバイス１０２はまた、３次元（３Ｄ）コンテンツを再生することができる。コンピュータデバイス１０２の例は、以下に限定されるものではないが、テレビジョン、スマートフォン、タブレット、ラップトップ、及び／又はデスクトップコンピュータを含むことができる。しかし、本発明の開示はこれに制限されず、本発明の開示の範囲を制限することなく他のコンピュータデバイスを利用することができる。

外部デバイス（１０４ａのような）は、コンピュータデバイス１０２と直接に又は通信ネットワーク１０６を通じて通信することができる適切な論理、回路、インタフェース、及び／又はコードを含むことができる。実施形態において、外部デバイス（１０４ａのような）は、コンピュータデバイス１０２に／から命令及び指令を送信及び／又は受信することができる。別の実施形態において、外部デバイス（１０４ａのような）は、コンピュータデバイス１０２が要求する場合があるメディアコンテンツを提供することができる。

通信ネットワーク１０６は、ネットワーク環境１００においてコンピュータデバイス１０２及び外部デバイス（１０４ａのような）がそれを通じて互いに通信することができる媒体を含むことができる。通信ネットワーク１０６は、以下に限定されるものではないが、無線フィデリティ（Ｗｉ−Ｆｉ）、無線ユニバーサルシリアルバス（ＷＵＳＢ）、ローカルエリアネットワーク（ＬＡＮ）、ＺｉｇＢｅｅ、送信制御プロトコル及びインターネットプロトコル（ＴＣＰ／ＩＰ）、イーサネット(登録商標)、ケーブルネットワーク、衛星ネットワーク、デジタルリビングネットワークアライアンス（ＤＬＮＡ）ホームネットワーク、及び／又はＢｌｕｅｔｏｏｔｈ(登録商標)通信プロトコルを含む１つ又はそれよりも多くの通信プロトコルによって有効にすることができる。ネットワーク環境１００における様々な構成要素は、ＴＣＰ／ＩＰ、ユーザデータグラムプロトコル（ＵＤＰ）、ＺｉｇＢｅｅ、赤外線（ＩＲ）、ＩＥＥＥ ８０２．１１ａ、ＩＥＥＥ ８０２．１１ｂ、ＩＥＥＥ ８０２．１１ｇ、及び／又はＩＥＥＥ ８０２．１１ｎ通信プロトコルのような様々な有線及び無線通信プロトコルに従って通信ネットワーク１０６に接続することができる。

作動において、コンピュータデバイス１０２及び外部デバイス（１０４ａのような）は、電源を入れることができ、コンピュータデバイス１０２と外部デバイス（１０４ａのような）の間の接続は、通信ネットワーク１０６を通じて起動することができる。コンピュータデバイス１０２は、コンピュータデバイス１０２によって通信することができる要求に基づいて、外部デバイス（１０４ａのような）からメディアコンテンツを受信することができる。メディアコンテンツは、２Ｄコンテンツを構成することができる１つ又はそれよりも多くの画像フレームを含むことができる。コンピュータデバイス１０２は、受信した１つ又はそれよりも多くの画像フレーム内のピクセルの全てに対して動きベクトルを計算することができる。コンピュータデバイス１０２は、１つ又はそれよりも多くのアルゴリズムに基づいて動きベクトルを計算することができる。コンピュータデバイス１０２は、計算された動きベクトルに基づいて、１つ又はそれよりも多くのピクセルに関連付けられた奥行を決定することができる。

更に、コンピュータデバイス１０２は、計算された奥行マップに基づいて画像フレームに対応する立体画像対を発生させることができる。立体画像対は、左画像及び右画像を含む。立体画像対は、外部デバイス（１０４ａのような）によって通信された２Ｄ画像フレームに対応する３Ｄコンテンツを形成する。

実施形態において、３Ｄコンテンツは、コンピュータデバイス１０２に関連付けられた表示画面に表示することができる。実施形態において、コンピュータデバイス１０２（スマートフォンのような）によって発生された３Ｄコンテンツは、表示のためにいずれかの表示デバイス（モニタのような）に通信することができる。

実施形態において、２Ｄコンテンツは、ビデオプレーヤ１０４ａの取外し可能ディスクに格納された映画、セットトップボックス１０４ｂによって通信された生ＴＶ番組、パーソナルビデオレコーダ１０４ｃによって記録されたメディアコンテンツ、クラウドサーバ１０４ｄに格納されたメディアコンテンツ、及び／又はビデオカメラ１０４ｅによって通信されたビデオ映像などのうちの１つ又はそれよりも多くとすることができる。

図２は、本発明の開示の実施形態によるコンピュータデバイスのブロック図である。図２は、図１からの要素に関連して説明する。図２に関しては、コンピュータデバイス１０２が示されている。コンピュータデバイス１０２は、以下に限定されるものではないが、プロセッサ２０２、送受信機２０４、メモリ２０６、通信インタフェース２０８、及び入力−出力（Ｉ／Ｏ）デバイス２１０を含むことができる。メモリ２０６は、以下に限定されるものではないが、カメラアプリケーション２１２、オペレーティングシステム２１４、動きベクトル推定器２１６、奥行推定器２１８、画像データ２２０、推定データ２２２、立体画像発生器２２４、及び雑多な情報２２６を含むことができる。

プロセッサ２０２は、メモリ２０６、送受信機２０４、及びＩ／Ｏデバイス２１０と通信可能に結合することができる。送受信機２０４は、通信インタフェース２０８を通じて通信ネットワーク１０６と通信可能に結合することができる。

プロセッサ２０２は、メモリ２０６に格納された１組の命令を実行することができる適切な論理、回路、インタフェース、及び／又はコードを含むことができる。プロセッサ２０２は、当業技術で公知の１つ又はそれよりも多くのプロセッサ技術に基づいて実施することができる。プロセッサ２０２の例は、Ｘ８６ベースのプロセッサ、ＲＩＳＣプロセッサ、ＡＳＩＣプロセッサ、ＣＩＳＣプロセッサ、又はいずれかの他のプロセッサとすることができる。

メモリ２０６は、受信した命令の組を格納することができる適切な論理、回路、インタフェース、及び／又はコードを含むことができる。メモリ２０６は、以下に限定されるものではないが、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ストレージサーバ、及び／又はセキュアデジタル（ＳＤ）カードに基づいて実施することができる。

送受信機２０４は、通信インタフェース２０８を通じて外部デバイス（１０４ａのような）と通信することができる適切な論理、回路、インタフェース、及び／又はコードを含むことができる。実施形態において、送受信機２０４は、外部デバイス（１０４ａのような）と直接に通信することができる。送受信機２０４は、通信ネットワーク１０６との有線又は無線通信をサポートするための公知の技術を実装することができる。

Ｉ／Ｏデバイス２１０は、ユーザ入力を受信して３Ｄコンテンツを表示するためにプロセッサ２０２に作動可能に結合することができる適切な論理、回路、インタフェース、及び／又はコードを含むことができる。入力デバイスの例は、以下に限定されるものではないが、タッチパッド、トラックパッド、センサ、カメラ、及び／又はマイクロフォンを含むことができる。出力デバイスの例は、以下に限定されるものではないが、液晶ディスプレイ（ＬＣＤ）及び／又は発光ダイオード（ＬＥＤ）ディスプレイを含むことができる。しかし、本発明の開示はこれに制限されず、本発明の開示の範囲を制限することなく他のＩ／Ｏデバイス２１０を利用することができる。

作動において、外部デバイス（１０４ａのような）は、２Ｄコンテンツをコンピュータデバイス１０２に通信することができる。プロセッサ２０２は、外部デバイス（１０４ａのような）によって通信された２Ｄコンテンツを受信することができる。実施形態において、プロセッサ２０２は、メモリ２０６から２Ｄコンテンツを受信することができる。カメラアプリケーション２１２は、コンピュータデバイス１０２の様々な機能及び作動を実行するためにプロセッサ２０２によって実行されることが好ましいプログラム命令を含むことができる。オペレーティングシステム２１４は、コンピュータデバイス１０２の低レベル機能を制御及び調整することができる。動きベクトル推定器２１６は、動きベクトル推定手順を制御及び調整することができる。これは、画像フレーム内の各ピクセルに対応する動きベクトルを決定する段階又は画像フレームに対応する動きベクトル情報を受信する段階を含むことができる。実施形態において、動きベクトル推定器２１６は、画像フレームに対する平均動きベクトルを決定し、所定数のその後の画像フレームに対して同じ平均動きベクトルを使用することができる。

奥行推定器２１８は、画像フレーム内の各ピクセルに関連付けられた奥行の値を決定するための奥行推定手順を制御及び調整することができる。画像データ２２０は、１つ又はそれよりも多くの画像フレームを含むことができる。推定データ２２２は、奥行推定手順を実行するためのあらゆるタイプの情報又はデータを含むことができる。立体画像発生器２２６は、画像フレームに対応する立体画像対を発生させるための立体画像発生手順を制御及び調整することができる。立体画像発生手順は、立体画像を発生させるために奥行推定手順の結果を利用することができる。雑多な情報２２６は、コンピュータデバイス１０２の作動に対する他の適切な情報を含むことができる。本発明の開示を良く理解するために、図３に例を示している。

図３は、本発明の開示の実施形態による画像フレームを示している。図３は、図２及び図１からの要素に関連して説明する。図３に関しては、画像フレーム３０２が示されている。画像フレーム３０２は、それぞれ対応する矢印Ｄ１、Ｄ２、及び／又はＤ３などによって示された方向に動く物体３０６ａ、物体３０６ｂ、物体３０６ｃなど（以下、まとめて物体３０６と呼ぶ）と、背景３０４とを含むことができる。ピクセルの部分集合（３０８ａ、３０８ｂ、３０８ｃのような）は、画像フレーム３０２において１列のピクセルに対応する。物体３０６ａは、矢印Ｄ１に示すようにＸ方向に沿って動く。物体３０６ａは、Ｘ方向に沿ってのみ速度を有する。物体３０６ｂは、矢印Ｄ２に示すようにＸ−Ｙ平面に沿って対角線上を動く。物体３０６ｂは、Ｘ方向及びＹ方向の両方に沿った速度を有する。物体３０６ｃは、矢印Ｄ３に示すようにＹ方向に沿って動く。物体３０６ｃは、Ｙ方向に沿ってのみ速度を有する。プロセッサ２０２は、画像フレーム３０２における複数のピクセルに対する動きベクトルを計算することができる。更に、プロセッサ２０２は、複数のピクセル内の各ピクセルに関連付けられた奥行の値を決定することができる。

実施形態において、プロセッサ２０２は、画像フレーム３０２からのピクセルの部分集合（３０８ａ、３０８ｂ、及び３０８ｃなどのような）を同時に処理することにより、各段階において識別を実行することができる。ピクセルの部分集合（３０８ａのような）は、画像フレーム３０２の１つ又はそれよりも多くの列に属する場合がある。

実施形態において、プロセッサは、Ｘ方向における画像フレームの平均ピクセル速度（以下、「ａｖｅｒ Ｖ_X」と呼ぶ）及びＹ方向における画像フレームの平均ピクセル速度（以下、「ａｖｅｒ Ｖ_Y」と呼ぶ）を計算する。プロセッサ２０２は、画像フレーム３０２内の各ピクセルの動きベクトル及び平均ピクセル速度に基づいて、画像フレーム３０２内の各ピクセルに対する奥行の値を計算することができる。実施形態において、プロセッサ２０２は、以下に記述する式（１）を使用して、画像フレーム３０２内の各ピクセルに対応する奥行の値を計算することができる。

奥行 = abs (V_X - averV_X) + abs (V_Y - averV_Y) …………（１）

ここで、Ｖ_X及びＶ_Yは、画像フレーム３０２におけるピクセルに対するＸ方向及びＹ方向それぞれの速度であり、ａｖｅｒＶ_X及びａｖｅｒＶ_Yは、Ｘ方向及びＹ方向それぞれにおける平均ピクセル速度である。実施形態において、動きベクトルアルゴリズムは、１つ又はそれよりも多くのピクセルに対応する動きベクトルを計算することができない。このような例では、これらのピクセルの動きベクトルは、平均ピクセル速度の計算に含まれない場合がある。実施形態において、奥行の値計算に使用される平均ピクセル速度は、ピクセルの部分集合（３０８ａのような）に対する平均ピクセル速度とすることができる。ピクセルの部分集合（３０８ａのような）は、奥行の値を計算することができるピクセルを含むことができる。

近似的に同じ速度ベクトルを有するピクセルの大多数は、「背景ピクセル」と呼ばれる。残りのピクセルは、「前景ピクセル」と呼ばれる。背景ピクセルの平均速度が上述の式（１）におけるａｖｅｒＶ_X、ａｖｅｒＶ_Yに対して使用される場合に（平均フレーム速度の代わりに）、奥行マップの視聴者−認識品質は増加する。

実施形態において、画像フレーム３０２における一部のピクセルに対する動きベクトルが未知である場合がある。これは、雲のない空のようにテクスチャがないか又は弱い場合があるエリアで起こることがある。記述されるアルゴリズムは、良好なテクスチャを有するエリアからの奥行を外挿することによって均質なエリアにおける奥行を充足する人間の能力を利用することにより、この欠陥に対処することができる。

実施形態において、以前の画像フレームの平均動きベクトルは、現在の画像フレームに適用することができる。現在の画像フレームに対する奥行の値の計算は、以前の画像フレームに関連付けられた平均速度を使用して推定することができる。これは、画像フレーム３０２に関連付けられた奥行の値の推定に必要とされる計算及び時間を低減することができる。更に、平均動きベクトルは、例えば、映画に対しては、フレームからフレームに殆ど変化しない。平均動きベクトルは、異なるエピソード間で大幅に変わることがあるが、人間の脳は、視差に基づく奥行知覚を形成するのに映画の少なくとも３−４フレームを必要とする場合があるので、このような場合に、不正確な奥行を有する１つ又はそれよりも多くのフレームは、視聴者によって知覚されない場合がある。

画像フレーム３０２に対応する立体画像対を発生させることができる。立体画像フレームは、２つの画像、すなわち、左画像と右画像を含むことができる。左画像は、各ピクセルに関連付けられた奥行に比例した特定の値だけ画像フレーム３０２のピクセルを左にシフトすることによって生成することができる。右画像は、各ピクセルに関連付けられた奥行に比例した特定の値だけ画像フレーム３０２のピクセルを右にシフトすることによって生成することができる。立体画像対は、受信した２Ｄ画像フレームの３Ｄ表示を形成する。

立体画像対は、受信した２Ｄ画像フレームの３Ｄ表示を形成する。立体画像は、外部デバイス（１０４ａのような）によって通信された２Ｄコンテンツから発生された３Ｄコンテンツに対応することができる。更に、３Ｄコンテンツは、コンピュータデバイス１０２に関連付けられた表示画面に表示することができる。本方法は、人間による立体知覚に関する経験的観察を利用している。特に、本方法は、画像フレーム３０２における良好なテクスチャを有するエリアに対してだけ正確な奥行マップを定義することができるという知見を利用する。更に、本方法は、新しい映画エピソードが始まる時に１つのフレームだけの平均奥行でのジャンプが視聴者によって気付かれずに進む場合があるという知見を利用する。

図４Ａ−４Ｃは、本発明の開示の実施形態による画像フレーム３０２における１列のピクセルを示す例示的な図である。図４Ａ−４Ｃは、図３からの要素に関連して説明する。図４Ａは、物体３０６ａの位置に重なった画像フレーム３０２内の１列のピクセルを示している。１群のピクセル４０４内の各ピクセルは、物体３０６ａに対応し、かつＸ方向に沿ってのみ速度を有する。図４Ｂは、物体３０６ｂの位置に重なった画像フレーム３０２内の１列のピクセルを示している。１群のピクセル４０６の各ピクセルは、物体３０６ｂに対応し、かつＸ方向及びＹ方向に沿った速度を有する。図４Ｃは、物体３０６ｃの位置に重なった画像フレーム３０２内の１列のピクセルを示している。１群のピクセル４０８の各ピクセルは、物体３０６ｃに対応し、かつＹ方向に沿ってのみ速度を有する。１群のピクセル４０２内の各ピクセルは、背景に対応する。

実施形態において、画像フレーム３０２内の各ピクセルに対応する動きベクトルは、Ｘ及びＹ方向に対して別々に計算することができる。計算された動きベクトルは、画像フレームのＸ及びＹ方向における各ピクセルの速度に関する情報を提供する。実施形態において、動きベクトルアルゴリズムは、各ピクセルの動きベクトルの信頼性に関する情報を提供することができない。この問題は、ローカルテクスチャを計算し、これを動きベクトル信頼性マップとして使用することによって修正することができる。閾値よりも上の空間的勾配の絶対値を有するピクセルは、信頼できる動きベクトルを有すると考えることができる。プロセッサ２０２は、計算された動きベクトルに基づいて、画像フレーム３０２に対するＸ方向及びＹ方向における平均ピクセル速度を計算することができる。各ピクセルの奥行は、ピクセル（３０８ａのような）の列内の各ピクセルに対応するＸ及びＹ方向における速度、及びＸ方向及びＹ方向それぞれにおける画像フレーム３０２の平均ピクセル速度に基づいて決定することができる。上述の式１は、ピクセル（３０８ａのような）の列内の各ピクセルに関連付けられた奥行の値を決定するのに使用することができる。適切に定義された速度ベクトルを有するピクセルだけが、平均速度及び奥行の値に計算に関わっている。適切に定義されていない速度を有するピクセルの奥行は、ゼロに等しく割り当てられる（これらが背景ピクセルであるように）。３Ｄ映画を見ている間、人間の脳は、テクスチャを有する最も近いエリアから奥行を補間しながらこれらのピクセルに奥行を割り当てる。

実施形態において、プロセッサ２０２は、ピクセルの動きベクトル、背景ピクセルの平均垂直速度及び平均水平速度に基づいて、画像フレーム３０２内の各ピクセルの奥行マップを計算することができる。プロセッサ２０２は、奥行マップに基づいて画像フレーム３０２に対応する立体画像対を発生させることができる。立体画像フレームは、左画像及び右画像を含むことができる。左画像は、前景ピクセルを特定の値だけ左にシフトすることによって生成することができる。右画像は、前景ピクセルを特定の値だけ右にシフトすることによって生成することができる。特定の値は、前景ピクセルの各々に関連付けられた奥行の値に比例することができる。

左画像及び右画像を含む立体画像対は、画像フレーム３０２に対応する３Ｄコンテンツを形成する。３Ｄコンテンツの立体効果は、コンピュータデバイス１０２のＩ／Ｏデバイス２１０に表示することができる。実施形態において、コンピュータデバイス１０２は、３Ｄコンテンツをコンピュータデバイス１０２に関連付けられた別の表示デバイスに通信することができる。例えば、コンピュータデバイス１０２（例えば、スマートフォン）は、３Ｄコンテンツを表示デバイス（例えば、モニタ）に通信することができる。従って、コンピュータデバイス１０２を使用してリアルタイムの２Ｄ対３Ｄコンテンツ変換を実現させることができる。

実施形態において、奥行マージンを調整して画面からの視聴者の距離を適合させるために比例の係数を使用することができる。これは、対応する２Ｄ画像フレームから高品質の３Ｄコンテンツの発生を生じさせることができる。

実施形態において、プロセッサ２０２は、動きベクトル及び／又は奥行マップを計算すると同時に、所定の係数（各方向における２倍のような）によって画像フレーム３０２を縮小することができる。縮小されたフレームに対して計算され、かつオリジナルサイズフレームに再度適用された奥行の知覚は、オリジナルサイズの画像で直接に計算された奥行マップに比べて人間の眼に見分けがつかないことがある。しかし、本発明の開示はこれに制限されず、本発明の開示の範囲を制限することなく他の所定の係数を利用することができる。更に、プロセッサ２０２は、動きベクトルの計算のために画像フレーム３０２又は縮小された画像フレームのピクセルの発光コンポーネントを利用することができる。実施形態において、プロセッサ２０２は、動きベクトルの計算のために、縮小された画像フレーム内の所定の範囲のテクスチャを有するピクセルの発光コンポーネントを利用することができる。

実施形態において、プロセッサ２０２は、各ピクセルに関連付けられた奥行を計算するために、メモリ２０６にピクセルの部分集合（３０８ａのような）を格納することができる。従って、メモリ２０６は、ある時点でピクセルの１つの列を格納することができるので、フルフレームメモリに対する必要性を克服することができる。従って、本明細書で開示する方法によってメモリ使用における大幅な低減を実現させることができる。更に、画像フレームのピクセル解像度を低減し、かつ列内のピクセルの数を低減することで、計算に対するメモリ要件を更に低減することができる。実施形態において、プロセッサ２０２は、所定の範囲のテクスチャを有する縮小された画像フレーム内のピクセルの発光コンポーネントに対して演算することができ、計算及びメモリ要件を更に低減する。

別の実施形態により、１つ又はそれよりも多くの列に対する計算をパラレルに実行することによって計算時間を短縮することができる。しかし、本発明の開示はこれに制限されず、本発明の開示の範囲を制限することなく計算時間を短縮するための他の技術を利用することができる。

上述の方法は、２Ｄ対３Ｄコンテンツ変換を与えるためにコンピュータデバイス１０２に関連付けられたチップに格納することができる。更に、本発明の開示に記述する方法は、２Ｄ対３Ｄコンテンツ変換を与えるために使用することができる独立型デバイスを与えるために、動きベクトル計算チップと組み合わせることができる。

図５は、本発明の開示の実施形態によるコンピュータデバイスでのリアルタイム２Ｄ対３Ｄ変換を与えるための例示的な段階を示す流れ図である。図５に関しては、方法５００が示されている。方法５００は、図１、図２、図３、及び図４の要素に関連して説明する。

例示的な段階は、段階５０２で始まる。段階５０４で、コンピュータデバイス１０２は、外部デバイス（１０４ａのような）によって通信された２Ｄコンテンツを受信することができる。プロセッサ２０２は、外部デバイス（１０４ａのような）によって通信された２Ｄコンテンツに対応する画像フレーム３０２を受信することができる。段階５０６で、プロセッサ２０２は、低ピクセル解像度を有する画像フレームを取得するために所定の係数だけ２Ｄコンテンツに対応する画像フレーム３０２を縮小することができる。段階５０８で、プロセッサ２０２は、低ピクセル解像度を有する画像フレーム内の閾値よりも上のテクスチャを有するピクセルに対する動きベクトルを計算することができる。段階５１０で、プロセッサ２０２は、低ピクセル解像度を有する画像フレーム内のピクセルの第１の列を選択することができる。

段階５１２で、プロセッサ２０２は、ピクセルの選択された列に対する平均ピクセル速度を計算することができる。段階５１４で、プロセッサ２０２は、ピクセルの選択された列に対する平均ピクセル速度に基づいて選択された列内の各ピクセルに対する奥行の値を決定することができる。段階５１６で、プロセッサ２０２は、選択された列が画像フレーム３０２の最後の列か否かを検査する。選択された列が最後の列ではない場合に、処理は、段階５１８に進む。段階５１８で、プロセッサ２０２は、次の列を選択して段階５１２に進む。選択された列が最後の列である場合に、処理は、段階５２０に進む。段階５２０で、プロセッサは、画像フレーム３０２に対応する立体画像対を発生させることができる。立体画像対は、画像フレーム３０２内の各ピクセルに関連付けられた奥行の値に基づいて発生させることができる。方法５００は、段階５２２で終了する。

図６は、本発明の開示の別の実施形態によるコンピュータデバイスでのリアルタイム２Ｄ対３Ｄ変換を与えるための例示的な段階を示す流れ図である。図６に関しては、方法６００が示されている。方法６００は、図１、図２、図３、及び図４の要素に関連して説明する。

例示的な段階は、段階６０２で始まる。段階６０４で、コンピュータデバイス１０２は、外部デバイス（１０４ａのような）によって通信された２Ｄコンテンツを受信することができる。プロセッサ２０２は、外部デバイス（１０４ａのような）によって通信された２Ｄコンテンツに対応する画像フレーム３０２を受信することができる。段階６０６で、プロセッサ２０２は、低ピクセル解像度を有する画像フレームを取得するために所定の係数だけ２Ｄコンテンツに対応する画像フレーム３０２を縮小することができる。段階６０８で、プロセッサ２０２は、低ピクセル解像度を有する画像フレームにおいて、ある一定の閾値よりも上のテクスチャを有するピクセルの動きベクトルを計算することができる。段階６１０で、プロセッサ２０２は、受信した画像フレームに対する平均ピクセル速度を計算することができる。

段階６１２で、プロセッサ２０２は、低ピクセル解像度を有する画像フレームのピクセルの第１の列を選択することができる。段階６１４で、プロセッサ２０２は、選択された列内の各ピクセルに対する奥行の値を決定することができる。段階６１６で、プロセッサ２０２は、選択された列が画像フレーム３０２の最後の列であるか否かを検査する。選択された列が最後の列ではない場合に、処理は、段階６１８に進む。段階６１８で、プロセッサ２０２は、次の列を選択して段階６１４に進む。選択された列が最後の列である場合に、処理は、段階６２０に進む。段階６２０で、プロセッサは、画像フレーム３０２に対応する立体画像対を発生させることができる。立体画像対は、画像フレーム３０２内の各ピクセルに関連付けられた奥行の値に基づいて発生させることができる。方法６００は、段階６２２で終了する。

本発明の開示の実施形態により、映像処理のための装置は、外部デバイス（図１の１０４ａのような）と通信可能に結合することができるコンピュータデバイス１０２（図１）を含むことができる。コンピュータデバイス１０２は、１つ又はそれよりも多くのプロセッサ及び／又は回路を含むことができ、例えば、プロセッサ２０２（図２）は、画像フレーム３０２（図３）のピクセルの部分集合（３０８ａのような）の平均垂直速度及び平均水平速度を決定することができる。１つ又はそれよりも多くのプロセッサ及び／又は回路は、ピクセルの部分集合（３０８ａのような）の各ピクセルの計算された動きベクトル、ピクセルの部分集合の平均垂直速度、及びピクセルの部分集合の平均水平速度に基づいて、ピクセルの部分集合（３０８ａのような）の各ピクセルの奥行の値を決定することができる。実施形態において、１つ又はそれよりも多くのプロセッサ及び／又は回路は、ピクセルの部分集合（３０８ａのような）の各ピクセルの計算された動きベクトル、画像フレーム３０２の平均垂直ピクセル速度、及び画像フレーム３０２の平均水平ピクセル速度に基づいて、ピクセルの部分集合（３０８ａのような）の各ピクセルの奥行の値を決定することができる。平均垂直ピクセル速度及び平均水平ピクセル速度は、画像フレームの予め決定された動きベクトルを有するピクセルに基づいて決定することができる。１つ又はそれよりも多くのプロセッサ及び／又は回路は、画像フレーム３０２内の各ピクセルの決定された奥行の値に基づいて、画像フレーム３０２に対する立体画像対を発生させることができる。

１つ又はそれよりも多くのプロセッサ及び／又は回路、例えば、プロセッサ２０２は、奥行マップに基づいて画像フレーム３０２の立体画像対を発生させることができる。１つ又はそれよりも多くのプロセッサ及び／又は回路、例えば、プロセッサ２０２は、左画像及び右画像を発生させることができる。左画像は、画像フレーム３０２内の各ピクセルを特定の値だけ左にシフトすることによって発生させることができ、右画像は、画像フレーム３０２内の各ピクセルを特定の値だけ右にシフトすることによって発生させることができる。画像フレーム３０２内の各ピクセルに対応する特定の値は、ピクセルに関連付けられた奥行の値に比例することができる。

１つ又はそれよりも多くのプロセッサ及び／又は回路、例えば、プロセッサ２０２は、外部デバイス１０４（図１）及び／又はローカルメモリ（図２の２０４のような）の一方又は両方から画像フレーム３０２を受信することができる。外部デバイス１０４は、ビデオプレーヤ１０４ａ、セットトップボックス１０４ｂ、パーソナルビデオレコーダ１０４ｃ、クラウドサーバ１０４ｄ、及び／又はビデオカメラ１０４ｅのうちの１つ又はそれよりも多くを含むことができる。コンピュータデバイス１０２は、テレビジョン、スマートフォン、タブレット、ラップトップ、及び／又はデスクトップコンピュータのうちの１つ又はそれよりも多くを含むことができる。

本発明の開示の他の実施形態は、持続性コンピュータ可読媒体及び／又はストレージ媒体、及び／又は持続性機械可読媒体及び／又はストレージ媒体を提供することができ、そこには機械及び／又はコンピュータによって実行可能な少なくとも１つのコード部分を有する機械コード及び／又はコンピュータプログラムが格納されており、それによって機械及び／又はコンピュータをして映像処理のための外部デバイスと通信可能に結合されたコンピュータデバイスに含まれる段階を実行させる。これらの段階は、画像フレームのピクセルの部分集合の平均垂直速度及び／又は平均水平速度を決定する段階を含むことができる。これらの段階は、ピクセルの部分集合の各ピクセルの計算された動きベクトル、平均垂直速度、及び平均水平速度に基づいてピクセルの部分集合の各ピクセルの奥行の値を決定する段階を含むことができる。ピクセルの部分集合は、予め決定された動きベクトルを有するピクセルを含む。

従って、本発明の開示は、ハードウエア、又はハードウエアとソフトウエアの組合せで実現させることができる。本発明の開示は、少なくとも１つのコンピュータシステムにおける集中化方式で、又は異なる要素をいくつかの相互接続したコンピュータシステムにわたって分散することができる分散方式で実現させることができる。本明細書に記述した方法を実施するようなったいずれの種類のコンピュータシステム又は他の装置も適切であると考えられる。ハードウエア及びソフトウエアの組合せは、ロードされて実行された時にコンピュータシステムをそれが本明細書に記述する方法を実施するように制御することができるコンピュータプログラムを備えた汎用コンピュータシステムとすることができる。本発明の開示は、他の機能を行う集積回路の一部分を含むハードウエアに実現させることができる。

本発明の開示はまた、本明細書に記述した方法の実施を可能にする特徴の全てを含み、かつコンピュータシステムにロードされた時にこれらの方法を実施することができるコンピュータプログラム製品に具現化することができる。コンピュータプログラムは、本発明の文脈では、情報処理能力を有するシステムをして特定の機能を直接に又はａ）別の言語、コード、又は表記への変換、ｂ）異なる内容形態での複製のいずれか又は両方の後で行わせるように意図された１組の命令のいずれかの言語、コード、又は表記によるあらゆる表現を意味する。

本発明の開示を様々な実施形態に関して記述したが、本発明の開示の範囲から逸脱することなく様々な変更を行うことができ、かつ均等物で置換することができることは当業者によって理解されるであろう。これに加えて、本発明の開示の範囲から逸脱することなく、特定の状況又は内容を本発明の開示の教示に適応させるために多くの修正を行うことができる。従って、本発明の開示は、開示した特定の実施形態に制限されず、むしろ、本発明の開示は、添付の特許請求の範囲に該当する全ての実施形態を含むことになるように意図している。

１００ ネットワーク環境
１０２ コンピュータデバイス
１０４ｄ クラウドサーバ
１０４ｅ ビデオカメラ
１０６ 通信ネットワーク

Claims (19)

1. 映像処理の方法であって、
   コンピュータデバイスにおいて、
   画像フレーム内のピクセルの部分集合の各ピクセルに対して、該ピクセルの部分集合の各ピクセルの計算された動きベクトルと、前記ピクセルの部分集合の平均垂直ピクセル速度及び平均水平ピクセル速度とに基づいて奥行の値を決定する段階、
   を含み、
   前記ピクセルの部分集合は、前記画像フレーム内のピクセルの１つの列である、
   ことを特徴とする方法。
2. 映像処理の方法であって、
   コンピュータデバイスにおいて、
   画像フレーム内のピクセルの部分集合の平均垂直速度及び／又は平均水平速度を決定する段階と、
   前記ピクセルの部分集合の各ピクセルに対して、該ピクセルの部分集合の該各ピクセルの計算された動きベクトル、前記平均垂直速度、及び前記平均水平速度に基づいて奥行の値を決定する段階と、
   を含み、
   前記ピクセルの部分集合は、前記画像フレーム内のピクセルの１つの列である、
   ことを特徴とする方法。
3. 前記画像フレーム内の前記各ピクセルに対して前記決定された奥行の値に基づいて該画像フレームに対する立体画像対を発生させる段階を含むことを特徴とする請求項２に記載の方法。
4. 前記発生された立体画像対は、
   前記画像フレーム内の前記各ピクセルが特定の値だけ左にシフトされた左画像と、
   前記画像フレーム内の前記各ピクセルが前記特定の値だけ右にシフトされた右画像と、
   を含み、
   前記特定の値は、前記画像フレーム内の前記各ピクセルに関連付けられた前記決定された奥行の値に比例する、
   ことを特徴とする請求項３に記載の方法。
5. 前記ピクセルの部分集合の前記各ピクセルの前記計算された動きベクトルは、Ｘ及び／又はＹ方向の該各ピクセルの速度を含むことを特徴とする請求項２に記載の方法。
6. 前記画像フレームは、２次元（２Ｄ）画像フレームであることを特徴とする請求項２に記載の方法。
7. 前記画像フレームは、低減されたピクセル解像度を有する２次元（２Ｄ）画像フレームであることを特徴とする請求項２に記載の方法。
8. 前記画像フレームを外部デバイス及び／又はローカルメモリの一方又は両方から受信する段階を含むことを特徴とする請求項２に記載の方法。
9. 前記コンピュータデバイスは、テレビジョン、スマートフォン、タブレット、ラップトップ、及び／又はデスクトップコンピュータのうちの１つ又はそれよりも多くを含むことを特徴とする請求項２に記載の方法。
10. 前記外部デバイスは、ビデオプレーヤ、セットトップボックス、パーソナルビデオレコーダ、ビデオカメラ、及び／又はクラウドサーバのうちの１つ又はそれよりも多くを含むことを特徴とする請求項８に記載の方法。
11. 映像処理のためのコンピュータデバイスであって、
    画像フレーム内のピクセルの部分集合の平均垂直速度及び／又は平均水平速度を決定し、かつ
    前記ピクセルの部分集合の各ピクセルに対して、該ピクセルの部分集合の該各ピクセルの計算された動きベクトル、前記平均垂直速度、及び前記平均水平速度に基づいて奥行の値を決定する、
    ように作動可能である１つ又はそれよりも多くのプロセッサ及び／又は回路、
    を含み、
    前記ピクセルの部分集合は、前記画像フレーム内のピクセルの１つの列である、
    ことを特徴とするコンピュータデバイス。
12. 前記１つ又はそれよりも多くのプロセッサ及び／又は回路は、前記画像フレーム内の前記各ピクセルに対して前記決定された奥行の値に基づいて該画像フレームに対する立体画像対を発生させるように作動可能であることを特徴とする請求項１１に記載のコンピュータデバイス。
13. 前記１つ又はそれよりも多くのプロセッサ及び／又は回路は、左画像及び右画像を発生させることに基づいて前記立体画像を発生させるように作動可能であり、
    前記左画像は、前記画像フレーム内の前記各ピクセルを特定の値だけ左にシフトすることによって発生され、
    前記右画像は、前記画像フレーム内の前記各ピクセルを前記特定の値だけ右にシフトすることによって発生され、
    前記特定の値は、前記画像フレームの前記各ピクセルの前記決定された奥行の値に比例する、
    ことを特徴とする請求項１２に記載のコンピュータデバイス。
14. 前記１つ又はそれよりも多くのプロセッサ及び／又は回路は、深度マップを計算するように作動可能であり、
    上限奥行の値が、前記ピクセルの部分集合に対する奥行の値の範囲に基づいている、
    ことを特徴とする請求項１１に記載のコンピュータデバイス。
15. 前記ピクセルの部分集合は、前記画像フレーム内の１つ又はそれよりも多くの列のピクセルを含むことを特徴とする請求項１１に記載のコンピュータデバイス。
16. 前記ピクセルの部分集合の前記各ピクセルの前記計算された動きベクトルは、Ｘ及び／又はＹ方向の該各ピクセルの速度を含むことを特徴とする請求項１１に記載のコンピュータデバイス。
17. 前記１つ又はそれよりも多くのプロセッサ及び／又は回路は、前記画像フレームを外部デバイス及び／又はローカルメモリの一方又は両方から受信するように作動可能であることを特徴とする請求項１１に記載のコンピュータデバイス。
18. 前記外部デバイスは、ビデオプレーヤ、セットトップボックス、パーソナルビデオレコーダ、ビデオカメラ、及び／又はクラウドサーバのうちの１つ又はそれよりも多くを含むことを特徴とする請求項１７に記載のコンピュータデバイス。
19. テレビジョン、スマートフォン、タブレット、ラップトップ、及び／又はデスクトップコンピュータのうちの１つ又はそれよりも多くを含むことを特徴とする請求項１１に記載のコンピュータデバイス。