JP5536146B2

JP5536146B2 - 平面視低電力モバイル装置における立体画像およびビデオのリアルタイム取得および生成

Info

Publication number: JP5536146B2
Application number: JP2012140053A
Authority: JP
Inventors: ハオホン・ワン; シアン−ツン・リ; シャラス・マンジュナス
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2006-08-01
Filing date: 2012-06-21
Publication date: 2014-07-02
Anticipated expiration: 2027-07-30
Also published as: BRPI0715065A2; EP2498504B1; US20150002627A1; CN101496413A; JP2009545929A; CA2748558A1; KR101038402B1; CA2657401C; CA2657401A1; WO2008016882A3; JP5350241B2; EP2047689A2; RU2417548C2; WO2008016882A2; US8970680B2; US9509980B2; EP2498503B1; BRPI0715065B1; CN101496413B; EP2498503A1

Description

本発明は、一般的に、ハンドヘルド・カメラ、カムコーダー、単一センサ・カメラ電話あるいはリアルタイム立体画像およびビデオを作成可能な他の単一カメラ・センサ装置のような平面視低電力モバイル装置（monoscopic low-power mobile devices）に関する。本発明はまた、リアルタイムの立体画像を生成するための方法、静止画像取得装置、およびビデオ画像取得装置にも関する。

最近、知覚リアリズムの増強が、次世代マルチメディア開発の革命を推進する大きな力の１つとなっている。急成長しているマルチメディア通信および娯楽市場は、立体画像取得、処理、圧縮、配信、およびデイスプレイをカバーする３Ｄ立体画像およびビデオ技術を要求する。3DTVおよびMPEG 3DAVのような将来の標準に関するいくつかの努力が、そのような要請に応じるために始められている。

立体画像とモノ画像の間の主な差は、前者はシーン（scene）内のオブジェクトに第３の次元と距離の感触を与えることである。生来の人間の視覚は、異なる透視的視点で左右の目によって見られる両眼視界により立体視（stereoscopic）である。人間の脳は、立体的な奥行きを有する画像を合成することができる。一般に、2つのセンサを備えたステレオカメラが、立体画像またはビデオを生成するために必要とされる。しかし、展開された現在のマルチメディア装置の殆どは、平面視（monoscopic）のインフラストラクチャー内に実装される。

過去数十年間で、立体画像生成は活発に研究された。1つの研究では、ビデオシーケンスは分析され、そして、3Dシーン構造は、2D幾何学形状および動き活動から推定される(それらは動きからの構造（Structure from Motion）(SfM)と呼ばれる)。このクラスのアプローチは、記録された2Dビデオ・クリップを3Dへ変換することを可能にする。しかし、計算上の複雑性がかなり高いので、それは、リアルタイムの立体画像生成のためには実行できない。他方、SfMは数学的に不良設定問題（ill-posed problem）であるので、その結果はアーチファクト(artifacts)を含み、視覚的不快感を惹起する可能性がある。他のいくつかのアプローチは、特定のアプリケーションによるヒューリスティック・ルール（heuristic rules）の１つの組に基づいた、単一視界静止画像（single-view still-image）から奥行き情報を最初に推定し、そしてその後で、立体視界（stereoscopic views）を生成する
他の研究では、平面視キュー（monoscopic cues）、例えば、オブジェクトの網膜のサイズから相対的な奥行き情報を抽出する方法が提案されており、それは補助的な奥行きマップ生成のために有用である。さらに他の研究では、2Dの頭および肩画像を3Dに変換するために、パラメートリック奥行きマップ生成スキームに基づいた顔の特徴が提案されている。奥行きマップ生成のための他の提案された方法では、アプローチにおけるいくつかのステップ、例えば、前処理での画像分類は、実装においては些細なことではなく、恐らく非常に複雑であり、それが提案されたアルゴリズムの現実性を害する。他の方法では、動き検出および領域セグメント化を用いたリアルタイムの2D から3D画像への転換アルゴリズムが提案されている。しかし、アーテイファクト（artifacts）は、オブジェクト・セグメント化およびオブジェクト奥行き推定の不正確性のために回避可能ではない。明らかに、上記の方法はすべて、取得されるモノスコピック画像だけを考えている。他のいくつかのアプローチは、立体視界を生成するのを支援するための補助ソースを使用する。例えば、付加的視界を取得し、そしてピクセルの奥行きマップを生成するために低価格の補足視界を捕らえて次に、ピクセルの奥行きマップを生成するために視差推定モデル（disparity estimation model）を使用するために、補助のモノクロームあるいは低解像度カメラが使用される。

他の例では、あるシーンの輝度および色度（luminosity and chromaticity）を取得するために平面視の高解像度カラー・カメラが使用され、また、奥行きを有する輝度および色度を増大するために、低解像度「アウトリガー」（"outrigger"）カメラの安価なフランキング３Ｄ立体視ペア（flanking 3D-stereoscopic pair）が使用される。得られた3つの視界から生成された視差マップは、平面視ペア（stereoscopic pairs）を合成するために用いられる。さらに他の例では、自動および手動の技術の混合した組が、奥行きマップを抽出するために用いられ(ある場合には、自動方法は信頼できない)、そして、次に、結果画像の可視アーテイファクト（visible artifacts）を低減するために、単純なスムージング・フィルタ（smoothing filter）が用いられる。

容易に分かるように、平面視モバイル・カメラ電話あるいは他の低電力モノスコピック装置を使用してリアルタイム立体画像およびビデオを得る低複雑性方法の必要性がある。

SfMまたは奥行き分析を使用することによって、補助の設備や他のアプローチの中で使用される人間の相互作用だけでなく、導入される計算の複雑性も回避する方法で奥行きマップ情報を推定する平面視低電力モバイル装置の必要性がある。

ステレオ・ビデオのリアルタイム取得および生成のための奥行き情報を検知しかつ推定するために低複雑性アプローチを使用する平面視低電力モバイル装置のさらなる必要性がある。

上記を考慮して、本発明の１つの目的は、ステレオ・ビデオのリアルタイム取得および生成のための奥行き情報を検知しかつ推定するために低複雑性アプローチを使用する平面視低電力モバイル装置を提供することである。

本発明の他の目的は、SfMまたは奥行き分析を使用することによって、補助設備や人間の相互作用だけでなく、導入される計算の複雑性をも回避する平面視低電力モバイル装置を提供することである。

本発明の他の目的は、低複雑性立体画像ペア生成プロセスを使用する平面視低電力モバイル装置を提供することである。

本発明のさらに他の目的は、優れた3D効果を有する立体画像およびビデオを取得しかつ生成する平面視低電力モバイル装置を提供することである。

本発明のさらに他の目的は、立体画像およびビデオの取得と生成の両方のために使用できる平面視低電力モバイル装置を提供することである。

記の目的は、画像を取得するために動作可能であり、かつフォーカッシング・プロセス（focusing process）によって全焦点範囲を通じてレンズを移動させることにより最良焦点位置を決定し、かつ画像を取得する場合に最大焦点値を有する焦点位置を選択するように動作可能なオートフォーカッシング・サブモジュール（autofocusing sub-module）を有する単一センサ・カメラ・センサ・モジュールを備えた平面視低電力モバイル装置によって実現される。この装置は、自動焦点サブモジュールからの統計を用いてブロック・レベル奥行きマップを創出するための第１のステージにおいておよび画像奥行きマップを創出するための第２のステージにおいて動作可能である奥行きマップ生成器アセンブリを含む。この装置はまた、3D立体左右視界を作成するために、取得画像から欠けている他の視界を作成するように動作可能な画像ペア生成器モジュールを含む。

平面視低電力モバイル装置は、奥行きマップ情報を推定するために平面視カメラ・センサのオートフォーカッシング機能を使用し、それは、他の提案されたシステムのSfMまたは奥行き分析を使用することによって、他のアプローチで使用される補助設備または人間の相互作用だけでなく導入される計算の複雑性も回避する。

平面視低電力モバイル装置は、ステレオ・ビデオ世代のために奥行きマップ検出の精度を改善するための追加のしかしオプションの動き推定モジュールと一緒に、立体画像およびビデオの取得および生成の両方のために使用することができる。

平面視低電力モバイル装置は、立体画像を生成するための奥行き情報を検知しかつ推定するためにオートフォーカッシング・プロセスからの統計を使用する。オートフォーカッシング・プロセスの使用は、2ステージ奥行きマップ推定設計により低電力装置に対して実現可能である。すなわち、第１のステージでは、オートフォーカッシング・プロセスを使用して、ブロック・レベル奥行きマップが検知される。第2のステージにおいてバイリニア・フィルタリング（bilinear filtering）を使用することにより、近似画像奥行きマップが生成される。

さらに、平面視低電力モバイル装置は、ステレオ・ビデオのリアルタイム取得および生成のための奥行き情報を検知しかつ推定するために低複雑性アプローチを使用する。このアプローチは、奥行きマップを推定するために、動き推定オートフォーカッシング処理、およびヒストリデータ・プラス・いくつかのヒューリスティック・ルール（heuristic rules）からの統計を使用する。

平面視低電力モバイル装置は、Zバッファ法に基づいた3D表面回復を使用することにより低複雑性立体画像ペア生成プロセスを使用する。

本発明の他の態様として、平面視低電力モバイル装置でリアルタイム・立体画像を生成するための方法は、画像を取得する；レンズをオートフォーカッシングしかつ全フォーカッシング範囲を通ってレンズを動かすことによりかつ画像を取得する場合に最大焦点値を有する焦点位置を選択するためにレンズを自動焦点にしかつ最良の焦点位置を決定する；第１のステージにおいて、自動焦点ステップからの統計を用いて自動的にブロック・レベル奥行きマップを生成しかつ第２のステージにおいて画像奥行きマップを生成する；そして3Dステレオ左および右視界を生成するために取得画像から欠けている第２の視界（missing second view）を生成するステップを備える。

本発明の他の態様として、静止画像を処理するための方法は、取得された静止画像をオートフォーカッシング処理しかつブロック・レベル奥行きマップを検知するために画像中の遠隔オブジェクトの奥行き情報を推定するステップと、ブロック・レベル奥行きマップから画像奥行きマップを近似するステップと、を備える。

オートフォーカッシング処理は、粗密奥行き検知プロセス（coarse-to-fine depth detection process）を使用して画像を処理するステップを含んでいる。更に、近似するステップは、近時された画像奥行きマップを得るためにブロック・レベル奥行きマップをバイリニア・フィルタリング(bilinear filtering)するステップを備える。

さらに他の態様では、本発明は、ブロック・レベル奥行きマップのコーナー・ポイント(corner points)(A、B、CおよびD)を含む各焦点ブロックの奥行き値を決定し、かつ下記の式

によりブロック内のすべてのピクセルの奥行き値(dP)を決定するために画像をバイリニア・フィルタするように、プロセッサによる実行で、動作可能なプログラム命令を有するプログラム・コードに関し、ブロックのコーナー・ポイント(A、B、CおよびD)の位置値および奥行き値は(x_A、y_A、d_A)、(x_B、y_B、d_B)、(x_C、y_C、d_C)、(x_D、y_D、d_D)として表示され、また各ピクセルはポイントP(x_P、y_P、d_P)によって表示される。

本発明のさらに他の態様では、静止画像取得装置は、ブロック・レベル奥行きマップを検出するために取得静止画像を処理しかつ画像内の遠隔オブジェクトの奥行き情報を推定するように動作するオートフォーカッシング・モジュール（autofocusing module）と、バイリニア・フィルタリングを使用してブロック・レベル奥行きマップから画像奥行きマップに近似するように動作可能な画像奥行きマップ・モジュールと、三次元(3D)ステレオ左右視界を作成するために取得画像から欠けている第２の視界（missing second view）を作成するように動作かのうな画像ペア生成器モジュールと、を備える。

本発明のさらに他の態様では、ビデオ画像取得装置は、取得ビデオ・クリップを処理しかつ１つのシーンの遠隔オブジェクトの奥行き情報を推定するように動作可能なオートフォーカッシング・モジュールと、取得されたビデオ・クリップを符号化し、統計情報を提供し、動き情報（motion estimation）を決定するように動作可能なビデオ符号化モジュールとを備える。奥行きマップ生成器アセンブリーは、画像奥行きマップが得られる最終のブロック奥行きマップを得るために動き情報からの統計情報、オートフォーカッシング・モジュールのプロセス、および履歴データおよびヒューリステイック・ルール（history data plus heuristic rules）を用いてステレオ・ビデオのリアタイム取得および生成のための奥行き情報を検知しかつ推定するように動作可能である。

上記の概要、ならびに本発明の好ましい実施の形態の下記の詳細な説明は、添付図面と共に読まれる時に、一層よく理解されるであろう。発明を例証する目的で、図面には現在好まし実施の形態が示されている。しかし、本発明は、図示されたプロセスの正確な配置に限定されていないことが理解されなければならない。図面において、
平面視低電力モバイル装置の一般的なブロック図を示す。立体画像およびビデオ・データの両方のリアルタイム取得、処理およびデイスプレイとの両方のための動作の一般的なブロック図を示す。３Ｄ静止画像をリアルタイム取得および生成するための動作の一般的なブロック図を示す。焦点からのレンズ位置とオブジェクト距離との関係のプロットを示す。グｒ−バル探索アルゴリズム（global search algorithm）を用いるレンズ位置とＦＶとの間の関係のグラフを示す。粗密探索アルゴリズム（course-to-fine search algorithm）のためのレンズ位置とＦＶの間の関係のグラフを示す。オリジナル画像を例示する。図6Aの画像の画像奥行きマップを例示する。図6Aの画像のブロック奥行きマップを例示する。図６Ｃのブロック奥行きマップを6C使用した合成３Ｄ立体写真図を例示する。図6Bの画像のフィルタされた奥行きマップを例示する。近隣のブロックを有する中間点の図を例示する。 corner pointsを有する１つのブロックの図を例示する。奥行きマップ生成プロセスのための流れ図を例示する。第１のフレームの画像を示す。それの対応するBDMの画像を示す; ビデオの３０番目のフレームを示す。それの対応するBDMを示す。ビデオの第６０番目のフレームを示す。それの対応するBDMを示す。図９Ｂに示されたＢＤＭから生成された画像奥行きマップ（ＩＤＭ）を例示する。図９Ｄに示されたＢＤＭから生成された画像奥行きマップ（ＩＤＭ）を例示する。図９Ｆに示されたＢＤＭから生成された画像奥行きマップ（ＩＤＭ）を例示する。画像ペア生成プロセスを例示する。両眼視覚の左・右視界を例示する。視差マップを計算するためのパラメータと一緒に両眼視覚の幾何学形状モデルを例示する。図6E示された近似画像奥行きマップを用いて生成された立体写真画像を示す。図6Bの中で示された正確な画像奥行きマップを用いて生成された立体写真画像（anaglyph）を示す。図9Aの合成立体写真ビデオフレームの一例を示す。図９Ｃの合成立体写真ビデオフレームの一例を示す。図９Ｅの合成立体写真ビデオフレームの一例を示す。Ｚバファに基づいた３Ｄ補間プロセスの流れ図を例示する。Ｚバファに基づいた３Ｄ補間プロセスの流れ図を例示する。

詳細な説明

本発明は多くの異なる形式での実施の形態が可能であるが、この明細書と添付の図面は、本発明の使用の例としていくつかの形式のみを開示している。本発明は、記述された実施の形態に限定されたようには意図されておらず、本発明の範囲は、添付された請求項において指摘されるであろう。

本本発明による立体画像およびビデオを取得しかつ生成するための装置の好ましい実施形態は、ハンドヘルド・カメラ、カムコーダーあるいは単一センサ・カメラ電話のような平面視低電力モバイル装置への特定の適用で下記に述べられる。しかし、本発明は、単一センサー・カメラ・モジュールを備えた他のタイプの装置にもよく適合されることが当業者によって認識されるであろう。図面を詳細に参照すると、同様の番号は同様の要素をしめすために用いられており、図1には、本発明による全体として１０で示された平面視低電力モバイル装置が示されている。

平面視低電力モバイル装置 10は、ここに記述される装置10の動作を制御するためのプロセッサ56と、レンズ12と、単一センサ・カメラ装置、ハンドヘルド・デジタルカメラ、またはカムコーダーのようなカメラ・センサ・モジュール14とを一般に含む。プロセッサ56は、ここに記述される動作を行うためにメモリ60に格納されたプログラム命令あるいはプログラム・コードを実行する。記憶装置62は、カメラ、カムコーダーあるいは単一のセンサユニットにおけるファイルシステムであり、用途に応じてフラッシュ、ディスクあるいはるテープを含んでもよい。

カメラ・センサ・モジュール14は、静止画像モード１８で静止画像を取得することができかつビデオ・クリップを形成するためにビデオ・モード２０において１つの記録周期にわたってビデオを取得することができる画像取得サブモジュール１６を含んでいる。カメラ・センサ・モジュール14はまた、デュアル動作モード、すなわち、静止画像モード２４およびビデオ・モード２６を有するオートフォーカッシング・サブモジュール22を含んでいる。

平面視低電力モバイル装置10は、デュアル動作モード、すなわち、静止画像モード３０およびビデオ・モード３２を有する奥行きマップ検出器モジュール28をさらに含んでいる。例示的な実施の形態では、奥行きマップ生成器アセンブリ34は、デュアル動作モードを有する2ステージ奥行きマップ推定プロセスを使用する。図2および3に最も良く示されているように、ツー・ステージ奥行きマップ推定プロセスの第１のステージ（ステージ１)は、オートフォーカッシング・サブモジュール22によって実行される静止モード２４におけるオートフォーカッシング処理124またはビデオ・モード２６における１２６からの統計を用いてブロック・レベル奥行きマップを自動的に生成する。第２のステージでは、奥行きマップ検知器モジュールによって実行される静止モードにおける奥行き検知プロセス１３０またはビデオ・モードにおける１３２によって、画像奥行きマップが作成される。図2では、f_iはi番目のフレームを表示し、f_i-1はi-1フレームを表示し、d_iはi番目のフレームのブロック奥行きマップ(BDM)を表示し、そしてd_i'は、i番目のフレームの画像奥行きマップ(IDM)を表示する。

平面視低電力モバイル装置10は、単一センサ・カメラセンサ・モジュール14を有する。従って、1つの画像だけが取得され、その画像は、立体画像形成および表示のための左（Ｌ）視界を表わすために用いられる。

画像ペア生成器モジュール42は、左視界および画像奥行きマップから立体視界生成器サブモジュール４８において第２のまたは欠けている（missing）右（Ｒ）視界を生成するために装置１０に含まれる。

画像ペア生成器モジュール42はまた、視差マップ・サブモジュール（disparity map sub-module）44およびZバッファ3D表面回復サブモジュール４６を含んでいる。

実施の形態では、3D効果は、3D効果生成器モジュール52を使用して、ディスプレイ58上に表示される。例示的な実施の形態では、3D効果生成器モジュール52は、生じる3D効果を提示する安価な赤・青立体写真である。生成された立体視界は、ホログラフィーおよび立体視装置のような他の機構によってうまく表示される。

随意的に、平面視低電力モバイル装置10は、ビデオの符号化で使用されるビデオ符号化モジュール54を含む。ビデオ符号化モジュール54は、奥行きマップ検知器モジュール28によるビデオ・モード32での奥行き検知プロセス132での使用するための動き(推定)情報36を提供する。

図３をさらに参照すると、動作では、カメラ・センサ・モジュール14は、静止画像モード１８において画像取得サブモジュール１６において１つまたは複数の静止画像を取得する。静画像モード18は、取得プロセス118を行なう。取得プロセス１１８の後にオートフォーカッシング処理124が続く。一般に、静止画像モード２４のオートフォーカッシング処理124は、シーンの遠隔オブジェクトの奥行き情報を推定するために利用される。計算の複雑性を低減するために、ステージ１におけるブロック奥行き検知は、静止画像モード24の徹底なフォーカッシング・サーチ125において粗密（coarse-to-fine）奥行きアルゴリズムを用いる。粗密奥行き検知アルゴリズムは、静止画像モード１８において取得プロセス118によって取得された画像を前のステージ(ステージ1)における関連する奥行きマップを検出するいくつかのブロックに分割する。ステージ2では、静止画像モード30における奥行き検知プロセス130は、ステージ1のブロック奥行きマップから近似された画像奥行きマップを導出すためにバイリニア・フィルタ131Bを使用する。

静止画像モード24におけるオートフォーカッシング・サブモジュール22は、静止画像取得で使用される徹底探索フォーカッシング（exhaustive search focusing）125を使用する。ビデオ画像モード26においてビデオク・リップのリアルタイム取得を達成するために、静止画像取得で用いられる徹底探索フォーカッシング125はクライミング・ヒル・フォーカッシング(climbing-hill focusing)127によって置換され、そしてビデオ・サブモジュール32の奥行き検知プロセス132は、図２に示された、ビデオ符号化モジュール54からの動き情報、オートフォーカッシング・プロセス126からの焦点値38B、およびフレーム履歴統計40に基づいてブロック奥行きマップ34を検知する。

自動奥行きマップ検知
図3をまた参照すると、平面視低電力モバイル装置10は、自動的なブロック奥行きマップ検知のためにオートフォーカッシング・サブモジュール22のオートフォーカッシング・プロセス124を利用する。動作の静止画像モード18およびビデオ・モード20における画像取得のためには、これらのシナリオ(動作のモード)で使用される異なる焦点長さ探索アルゴリズムにより、異なるアプローチが必要とされる。

デジタル・カメラでは、ほとんどのフォーカッシング・アセンブリ(focusing assemblies)は、イメージャ平面（imager plane）上の画像コントラストを評価することにより最良の焦点位置を選ぶ。焦点値(FV)38Bは、興味のある特定の領域にわたって焦点メトリック（focus metric）で測定されたスコアでありまた、オートフォーカッシング・プロセス126は通常最も高い焦点値に対応する位置をレンズ12の最良の焦点位置として選ぶ。いくつかのカメラでは、画像の高周波数内容が、焦点値(FV)38Bとして使用され、例えば、下記のハイパスフィルター(HPF)

が焦点値(FV) 38Bを決定するための高周波数成分を取得するために使用できる。焦点値(FV)は、ビデオ・モードにおいて後で記述されるようにFVマップでもある。

焦点(FV)38Bからのレンズ12のレンズ位置と、カメラを備えたカメラを有する装置10(図4に示されたような)からの目標距離の間に関係があり、その関係は特定のカメラ・センサ・モジュール14に対しては固定している。様々なカメラ・センサはそのような関係の異なる統計を有してもよい。したがって、いったんオートフォーカッシング・サブモジュール22におけるオートフォーカッシング・プロセス124がカメラ・センサ・モジュールの特性についての知識に基づいてレンズ12の最良の焦点位置を見つければ、実際の距離は目標オブジェクトとカメラまたは装置の10の間で推定され、それはまたシーンのオブジェクトの奥行きでもある。したがって、奥行きマップ検知プロセスは、センサ依存のオートフォーカッシング・プロセス124あるいは126に依存する。

静止画像取得モード18では、ほとんどのデジタルカメラ・センサ・モジュール14は、オートフォーカッシング・プロセス124のために徹底探索アルゴリズム125を選択し、それは、フォーカッシング範囲全体を通ってレンズ12を移動させそして最大の焦点値を有する焦点位置を選択することにより、最良の焦点位置を決定する。

徹底探索アルゴリズム125の典型的な例は、図5Aに関して記述されたグローバル探索(global search）であり、それは、均等に離間された矢頭の列によって表示された最も小さいモータ・ステップで全焦点範囲をスキャンする。他方、図5Bは粗密探索(coarse-to-fine search）を示し、これは、矢頭の列によって表示された、より大きなステップを最初に使用する全体の焦点範囲を探索し、次に、隣接した矢頭の間のより小さな距離を有する矢頭によって表示された、より小さなステップを使用して、ピーク位置のまわりで探索する。

明らかに、静止画像に対して生成される奥行きマップの正確さは、画像に対して選択されるスポット焦点ウィンドウのサイズに純粋に依存する。一般に、静止画像モード24に対するオートフォーカッシング・プロセス124では、画像は、スポット焦点ウィンドウとも呼ばれるNxNのサブブロックに分割され、そして、オートフォーカッシング・プロセス124の間に、各焦点ウィンドウに対して焦点値38Bが計算される。

徹底探索125の後で、レンズ12の最良焦点位置が各焦点ウィンドウ用に対して得られ、そしてこのようにして、各ウィンドウに対応するオブジェクトの奥行きが推定されうる。明らかに、焦点ウィンドウ・サイズが小さければ小さいほど、奥行きマップの精度は良くなり、そして計算の複雑性は高くなる。

平面視低電力モバイル装置10では、2つのタイプの奥行きマップ、すなわち、画像奥行きマップ(IDM)およびブロック奥行きマップ(BDM)が、奥行きマップ生成器アセンブリ34で定義される。画像奥行きマップについては、すべてのピクセルのピクセル奥行き値は奥行き検知プロセス130によって格納され、ブロック奥行きマップについては、各焦点ウィンドウの奥行き値が格納される。図6Bでは、図6Aに示される静止画像70に対応する画像奥行きマップ75は、1x1として焦点ウィンドウ・サイズを設定することによって得られ、そしてこのようにして、画像奥行きマップ75はピクセル・レベル確度にとなり、ここでより高い強度を備えたピクセルは視点（viewpoint）により近いオブジェクトに対応する。しかし、この設定は、オートフォーカッシングのための過度の計算の複雑性によりほとんどの適用に対しては通常実行不可能である。ブロック奥行きマップ77の一例が図6Cに示されており、Nは11として設定され、それは通常の計算能力を備えたカメラのためのより実際的な設定である。

一般に、オートフォーカッシング・プロセス124によってステージ1で作成されたブロック奥行きマップ77は、画像奥行きマップ80(図6E)を得るために、さらに処理される必要がり、そうしなければ、いくつかのアーテイファクト（artifacts）が現われる可能性がある。図6Cに示されるブロック奥行きマップ77を使用する合成された3D立体写真視界79の一例は、図6Dの中で示されており、この場合には、エッジにおける近隣焦点ウィンドウ間の鋭い奥行きギャップが画像における実際のオブジェクト形状境界に対応しないという事実により、アーテイファクトが現われる。アーテイファクトは、バイリニア・フィルタ131Bによる処理が後続するアーテイファクト低減プロセス131Aによって低減することができる。フィルタされた画像奥行きマップ8が、図6E示されている。

アーテイファクト低減プロセス131Aは、図7Aおよび7Bに最も良く示されているように、2ステップから成る。第１のステップでは、図6Cにおける各ブロックのコーナー・ポイント A、B、C、およびDの奥行き値は、オートフォーカッシング・プロセス124の間に見つけられ、そして奥行き値は、中間点dの奥行きが式（１）

によって定義されている図7Aに示されているように近隣ブロックの平均値となるであろう。ただし、d₁、d₂、d₃およびd₄が近隣のブロックの奥行き値である。

オートフォーカッシング・プロセス124によって作成されたブロック奥行きマップは、格納される各焦点ウィンドウ/ブロックの奥行き値を含んでいる。図3では、ハードウェア・ブロックである60および/または記憶装置62(図2に示される)は、示されたプロセスに例示されていない。

図7Bに最も良く例示されているように、全コーナー・ポイントA、B、CおよびDの奥行き値が第2のステップに得られた後で、バイリニア・フィルタリングがブロックの内部のピクセルの奥行き値を得る。図7Bに一例として示されているように、ブロックのコーナー・ポイントA、B、CおよびDに対する位置および奥行き値が(x_A、y_A、d_A)、(x_B、y_B、d_B)、(x_C、y_C、d_C)、(x_D、y_D、d_D)として示されており、したがって、そのブロック内のすべてのピクセルの奥行き値は計算することができる。例えば、ポイントP(x_P、y_P、d_P)によって表示されたピクセルについては、ピクセル奥行き値d_Pは下記の式（２）

によって得ることができる。

図2をここで参照すると、ビデオについては、徹底探索アルゴリズム125は、最良の焦点を決定する際に生じる過度の遅れにより実現可能ではない。ヒル・クライミング・フォーカッシング127は、それのより速い探索速度のために、よりポピュラーである。それは、丘に登るように最良の焦点位置を探索する。画像取得サブモジュール16におけるビデオ・モード20でビデオをカメラ・センサ・モジュール14が記録し始める場合に、初期位置として最良の焦点位置を見つけるために徹底探索アルゴリズム125が使用されるが、初期レンズ位置が探知された後では、カメラ・センサ・モジュール14は、丘の頂上へ到着するために焦点レンズ12が移動しなければならない方向、およびどのくらい移動しなければならないかをリアルタイムで決定する必要がある。明らかに、オートフォーカッシング・プロセス126のビデオ・モード26の間に、ビデオのために正確な奥行きマップを得ることは、静止画像のためのそれよりはるかに困難である。理論によって縛られることを望まないが、その理由は、ヒル・クライミング・フォーカッシング(hill climbing focusing)は、焦点領域に対する正しい奥行き（the correct depth for the area in focus）を得るだけであり、他のブロックに対する奥行きの正確さを保証するものでないということである。さらに、すべてのブロックのために奥行きの正確さを保証する徹底探索アルゴリズム125は、録音の出発点で呼ばれるだけであり、したがって、画像取得サブモジュール16におけるビデオ・モード20の記録周期にすべてのブロックの奥行きを修正することはできない。

図8をここで参照すると、奥行きマップ検知器モジュール28によりビデオ・モード32で使用するための奥行きマップ検知プロセス132の流れ図は示されている。現在のフレームイ・ンデックスは、nによって表示され、{Dn(i、j)}および{Fn(i、j)}(i=1、2、...、N)は最終決定ブロック奥行きマップ(BDM)および現在のフレームの焦点値(FV)マップ38Aであり、{Mn(i、j)}および{Vn(i, j)}は、オートフォーカッシング・プロセス126によって得られた内部BDMおよびFVマップであり、そして{Pn(i、j)}および{Tn(i、j)}は、動き予測によって得られた内部BDMおよびFVマップである。

ビデオ・モード32における奥行き検知プロセス132の間において、現在のフレームnの焦点位置は、hill climbing focusing 127によって最初に決定され、そして、対応するブロック奥行きマップ{Mn(i、j)}およびFVマップ38B{Vn(i、j)}がステップS134で得られる。ステップS134にステップS136が続き、そこで動き情報(MV)36がビデオ符号化モジュール54によって行なわれるビデオ符号化プロセス154から利用可能かどうかが決定がなされる。その決定が「YES」である場合には、動き情報(MV)36が分析され、そして、グローバルな動きベクトル(GMV)がステップS138で得られる。ステップS138にステップS139が続き、そこでグローバルな動き(すなわち、GMV)が閾値より大きいかどうかの決定がなされる。その決定が「YES」である場合には、レンズ12が他のシーンに移動しており、次に正確なシーン奥行き履歴を維持しかつオブジェクト移動方向を推定するタスクは異なるプロセスを使用する。

ステップS139における決定が「YES」である場合には、Dn(i、j)=Mn(i、j)およびFn(i、j)=Vn(i、j)と設定し、そしてBDMおよびFVマップの更新処理中のステップS144において先行フレームの格納されたBDMおよびFVマップ履歴をクリーン・アップ（clean up）する。

ステップS136に再び戻ると、いくつかのシステムでは、動き情報36はすべての種類の理由により利用不可能であり、例えば、ビデオは符号化されず、あるいは、符号化アルゴリズムの動き予測モジュールはオフとされている。したがって、ステップS136における決定は「NO」であり、そして、後述されるように、ステップS136はステップS144に進む。ステップS136の決定が「NO」である場合には、プロセスは動きベクトルがすべてのブロック用のゼロであると仮定する。

動き情報36が利用可能な場合には、ステップS139にステップS142が続き、そこで、プロセス132は、式（３）および式（４）

および

によって前のフレームのものから現在のフレームPn(i、j)およびTn(i、j)のBDMおよびFVマップを予測する。ただし、第(n-1)番目のフレームにおけるブロック(a、b)は、第n番目のフレームにおけるブロック(i、j)の予測であり、そして、FV_THは、FV差の閾値である。

ステップS142にステップS144が続き、そこでは、装置10は、よりよい焦点がより正確な奥行き推定を伝えると仮定する。したがって、焦点のレンズ位置は、最大のFVに対応し、最良の選択として扱われる。このような論理に基づいて、最終BDMおよびFVマップは、式（５）および式（６）

および

によって決定される。ただし、{Dn(i、j)}および{Fn(i、j)}(i=1、2、...、N、j=1、2、...N)は、現在のフレームの最終決定ブロック奥行きマップ(BDM)および焦点値(FV)マップ38Aであり、{Mn(i、j)}および{Vn(i、j)}は、オートフォーカッシング・プロセス126によって得られた内部BDMおよびFVマップであり、そして、{Pn(i、j)}および{Tn(i、j)}は、動き予測によって得られた内部BDMおよびFVマップである。

予想されるように、数７および数８はすべての場合には正確ではない。

数７および数８は、閉塞／露出(occlusion/exposure）が生じる場合のようないくつかの困難なシナリオに対しては失敗するであろう。一般に、ビデオ・フレームが毎秒15-30フレームの速度で取得され、そして、フレーム中のオブジェクトは合理的な速度で動いており、したがって、オブジェクトは、近隣フレームの中であまりずっと遠くに移動しないであろうと仮定することは合理的である。

ヒューリスティック・ルール(Heuristic rules)は、上記数５〜数８に対するおよび図8に示される流れ図における仮定および論理を指す。これらのルールは、プログラムの中で実際に符号化され、そして、履歴データは奥行きマップを推定するためにメモリ60に保存される。

BDMが得られた後、画像奥行きマップ(IDM)は、静止画像モードに対する奥行き検知プロセス130に関して記述された同じアプローチに基づいてステップS144のBDM結果からステップS146で計算される。したがって、ステップS144のBDMは、アーテイファクト低減（artifact reduction）131Aおよびバイリニア・フィルタ131B(図3)によるバイリニア・フィルタリングを受ける。

ステップS139に戻って、決定が「NO」である場合には、ステップS139にステップS140が続き、そこで履歴がロ−ル・オーバー（rolled over）される。ステップS140において、ロールオーバー履歴（rollover history）は次のアクションを指す:グローバルな動き(すなわち、GMVは閾値より大きい)が検知される場合（これは、カメラ・レンズが他のシーンに動いていることを意味する）には、正確なシーン奥行き履歴を維持するおよびオブジェクト動き方向を推定するタスクは異なったものとなる。この場合については、Dn(i、j)=Mn(i、j)およびFn(i、j)=Vn(i、j)と設定し、そして、先行フレームの格納されたBDMおよびFVマップ履歴をクリーン・アップ（clean up）する。その後、ステップS140にステップS146が続く。

図8のプロセスを実証するための実例が図9A-9Fで示される。図9Aおよび9Bは、最初のフレーム82の画像および対応するBDM 84を示す。他方、図9Cおよび9Dは、ビデオの30番目のフレーム86およびその対応するBDM 88を示す。図9Eおよび9Fは、ビデオの60番目のフレーム90およびその対応するBDM 92を示す。ビデオでは、プラスチックボトルは遠い距離からカメラまで転がる。プロセス132はシーンにおけるオブジェクトの動きをつかむことができ、そして得られた奥行きマップ中のこれらの活動を反映することがこれらの図から容易に分かる。

図10A、10Bおよび10Cにおいて、画像奥行きマップ(IDM)94、96および98は、プロセス132を使用して、図9B、9Dおよび9F にそれぞれ示されたBDM 84、88および92から生成した。IDM 94、96および98は、奥行き検知プロセス130(図3)を使用することによって得られた。

ステレオの画像ペア生成
図1および11をここで参照すると、これまで、装置10は画像あるいは左視界を取得しかつ対応する画像奥行きマップを得ていた。画像ペア生成モジュール42は、いま記述される画像ペア生成プロセス142を使用する。ステップS144において、左視界が得られ、そして、ステップS146における奥行き検知プロセス130または132からのそれの対応するマップが得られる。

画像ペア生成プロセス142は、得られた画像が交互に立体視システム（stereoscopic system）のステップS144における左視界であると最初に仮定するが、画像は右視界と考えてもよい。その後、ステップS146で得られた画像奥行きマップに基づいて、画像に対する視差マップ(両方の視界中の画像ポイント間のピクセルにおける距離)は、視差マップ・サブモジュール44においてステップS148で計算される。視差マップ・サブモジュール48による視差マップ計算が、図12Aおよび12Bに関して下記に述べられる。しかし、3D視界生成のためには、左視界および奥行きマップの両方が、視差マップの計算のためにも入力され、そして、左視界および奥行きマップは、Zバッファ・ベース表面回復に直接寄与する。ステップS148にステップS150が続き、Zバッファ3D表面回復サブモジュール46によるによるZバッファ・ベース3D補間プロセス146が、右の目からのシーンのための3D可視表面を構成するために要求される。ステップS150にステップS152が続き、図12Bで最も良く見られるように、投影面に3D表面を投影することにより右視界が得られる。ステップS152は立体視界生成器サブモジュール48によって実行される。

図12Aでは、両眼視覚（binocular vision）の幾何学形状モデルが、離れたオブジェクトに対する投影面上における左(L)および右(R)の視界を使用して示されている。図12Bでは、Fは焦点距離であり、L(x_L,y_L,0)は左目であり、R(x_R、y_R、0)は右目であり、T(x_T、y_T、z)はシーンにおける3Dポイントであり、そして、P(x_P、y_P、F)およびQ(x_Q、y_Q、F)は左及び右の投影面に対するTの投影ポイントである。明らかに、投影面上のPおよびQの水平位置は、(x_P-x_L)および(x_Q-x_R)であり、したがって、視差はd=である[((x_Q-x_R)) - (x_P-x_L])。

図12B示されるように、Fとzの比は、式(7)において

として定義され、ただし、zは奥行きであり、したがって、式(8)および式(9)は以下のようになり、

そして、このようにして、視差dは式(１０)によって得ることができる。

したがって、左視界におけるすべてのピクセルについては、右視界のすべてのピクセルは、数１２（式(10)）で得られた視差値の距離にだけ左側または右側へ移される。しかし、左視界から右視界までの写像（mapping）は、起こりうる閉塞のために1対1写像ではない。したがって、右視界画像を得るためには、さらなる処理が必要である。

したがって、右視界生成のために、Zバッファ3D表面回復サブモジュール46によって、Zバッファ・ベース3D補間プロセス146が行われる。目からオブジェクト(図12Aの中で示されたように)まで距離に比較した両目の間の距離は非常に小さいから、オブジェクトから左の目までの距離はそれ自体から右の目までの距離に等しいと概略的に考えると、それは、計算を非常に単純化することになる。したがって、奥行きマップZ(x、y)(ここでZ(x、y)は実際には画像奥行きマップであるであるが、それは検知されるべき未知マップである)は、右(R)視界に対して維持される、ここで、x、y、視界中のピクセル位置である。

図15Aおよび15Bをここで参照して、右視界のための3D可視表面を再構成するプロセス146が次に説明されるだろう。初め(ステップS166)に、奥行きマップは無限として初期化される。ステップS166にステップS168が続き、そこで左視界内のピクセル(x₀、y₀)が得られ。次に、奥行きz₀および視差値d₀を有する左視界内のすべてのピクセル(x₀、y₀)に対しては、奥行きマップは、
Z(x₀ + d₀, y₀) = min[Z( x₀ + d₀, y₀), z₀] 式(11)
として定義される式によって、ステップS170において右視界内の対応するピクセルに対して更新される。

ステップS170には、ステップS172、すなわち、ほかにもピクセルがあるかどうかを判断する決定ステップが続く。その決定が「YES」である場合には、ステップS172は次のピクセルを得るためにステップS168に戻る。他方、左視界における全てのピクセルがこのように処理された後では、ステップS172の決定は「NO」でああり、そして、ステップS172にステップS174が続き、そこで、再構成された奥行きマップがチェックされ、そして無限に等しい値を有するピクセル(左視界上の有効なマップを有しないピクセル)に対して探索される。ステップS174にステップS176が続き、ピクセル値(PV)が無限と等しいかどうかが決定される。

ステップS176の決定が「NO」である場合には、ピクセル値(PV)が有効で、図15BのステップS188にうおける強度値として直接使用することができる。

ステップS176の決定がそのようなピクセルに対して、「YES」である場合には、ステップS180において、利用可能な奥行き値を備えたそれの近隣ピクセルに基づいて2D補間によって対応するピクセル用の奥行きを最初に計算する。その後、ステップS182において、視差値が上記の式10を用いて計算され、そして次に、ステップS184において、は左視界のけるそのピクセルの対応するピクセルを逆に見出す。ステップS184には、ピクセルが見つかったかどうかを決定するためのステップS186が続く。対応するピクセルが利用可能な場合には、ステップS186にステップS188が続き、対応する強度値は右視界のピクセルについて使用できる。そうではなくて、ステップS186の決定が「NO」である場合には、ステップS186には、、利用可能な強度値を有する右視界におけるその近隣ピクセルに基づいた強度値を計算するために補間を使用するステップS190が続く。

それを指摘することは重要である、直接強度補間方法と対比した提案アルゴリズムを使用することの利点、それが立体効果に対するより良好なリアリズムを生ずるオブジェクト形状の3D連続性を考慮することであることを指摘するのが重要である。明らかに、左視界の不可視領域を回復する問題は不良設定問題（ill-posed problem）である。1つの既知の解決法では、欠落ピクセルの奥行きは、シーンには背後に他の可視表面が存在しないと仮定して、他の表面に対応する水平方向におけるそれの近隣ピクセルを使用することにより回復される。いくつかの場合に対しては、その仮定は無効かもしれない。提案された解決法において、より可能な場合を考えると、回復している表面は、あらゆる方向におけるすべての近隣ピクセルの奥行きを考慮し、それは無効の仮定の機会を減らし、回復された表面のより良好な3D連続性を生ずることになる。

実験結果
装置10はMSM8K VFE C-SIMシステムで実装できる。実験結果は、取得されかつ生成された立体画像およびビデオが優れた3D効果を有することを示す。

実験では、得られた3D効果を実証するために、安価な赤青立体写真生成プロセス１５２が使用されたが、生成された立体視界は生成されたステレオ視界は、ホログラフィックおよび立体視装置（holographic and stereoscopic devices）のような他の機構によって表示されることが可能である。最初の実験では、立体画像ペアは異なる種類の画像奥行きマップを使用して計算され、そして、対応する立体写真画像を生成した。図13Aおよび13Bの中で示されたように。図13Aは、図の中で6E示された近似画像奥行きマップの使用により生成され、また、図13Bは、図6Bに示された正確な画像奥行きマップの使用により生成される。明らかに、結果は、近似画像奥行きマップは良好な性能を示す正確な奥行きマップを使用することと同様の画質を生ずることを示す。

要約すると、平面視低電力モバイル装置10は、立体画像およびビデオのリアルタイム取得および生成を提供する。装置10は、立体画像およびビデオを取得しかつ生成するために平面視のカメラ・センサ・モジュール14のオートフォーカッシング・プロセスを使用する。カメラ・センサのオートフォーカッシング・プロセスは、シーンにおける遠隔オブジェクトの奥行き情報を推定するために利用される。ビデオ取得のためには、動き情報、焦点値およびフレーム履歴統計に基づいてブロック奥行きマップを検知するために、低複雑性アルゴリズムが提供される。

装置10は、計算の複雑性が大きな関心事であるように、リアルタイム適用のために構築される。しかし、装置10は、粗から蜜へ戦略（coarse-to-fine strategy）においてオブジェクト奥行きを推定する、すなわち、関連するブロック奥行きマップを速く検知することができるように、画像は複数のブロックに分割される。その後、ブロック奥行きマップを近似画像奥行きマップに変換するために、バイリニア・フィルタが使用される。立体画像生成については、欠けている視界を推定するためには、低複雑性Zバッファに基づく3D表面回復アプローチである。

実験結果は、取得された及び生成された立体画像およびビデオは、満足な3D効果を有することを示す。センサモジュール14の焦点機能性が良好であれば、推定された奥行きマップはより正確となり、したがって、生成される画像及びビデオは、より良好な立体効果を有する。

発明の実施の形態についての上記の記述は、例示及び説明の目的のために提示された。それは、網羅的であることも、あるいは、本発明を開示された徹底なあるいは発明を示された形式そのものに限定することも意図されておらず、また、上記の教示に照らして、修正及び変更が可能であり、あるいは、本発明の実施から取得されうる。実施の形態は、当業者が種々の実施の形態においてかつ意図された特定の用途に適した種々の修正を伴って本発明を利用できるように本発明の原理及びそれｒの実用的な適用を説明するために選択されかつ記述された。

本発明の範囲は、ここに添付された請求項およびそれらの均等物によって定義されることが意図される。
下記に出願時請求項に対応する記載を付記として表記する。
付記１
平面視低電力モバイル装置であって、
画像を取得するように動作可能であり、かつフォーカッシング・プロセスによって全フォーカッシング範囲を通してレンズを移動させることにより最良の焦点位置を決定しかつ画像を取得するときに最大焦点値を有する焦点位置を選択するように動作可能なオートフォーカッシング・サブモジュールを有する単一センサ・カメラセンサ・モジュールと、
第１のステージにおいて、前記オートフォーカッシング・サブモジュールからの統計を用いてブロック・レベル奥行きマップを自動的に生成しかつ第２のステージにおいて、画像奥行きマップを生成するように動作可能な奥行きマップ生成器アセンブリと、
３次元（３Ｄ）立体左及び右視界を生成するために前記取得画像から欠けている第２の視界を生成するように動作可能な画像ペア生成器モジュールと、
を備える、装置。
付記２
前記画像ペア生成器モジュールは、前記取得画像は左視界を表わし、前記取得画像に対する両眼視覚幾何学形状の左及び右視界における画像ポイント間のピクセルにおける距離に基づいて視差マップを計算する視差マップ・サブモジュールと、右視界から前記取得画像に対する３Ｄ可視表面を構成するように動作可能なＺバッファ３Ｄ表面回収サブモジュールと、前記右視界の３Ｄ表面を投影平面上に投影するように動作可能な立体視界生成器サブモジュールと、を備える、付記１の装置。
付記３
静止画像モードにおける前記オートフォーカッシング・サブモジュールのフォーカッシング・プロセスは、静止画像を取得するために徹底探索フォーカッシング・プロセスを実行し、そして、ビデオ・モードにおいて、ビデオ・クリップのリアルタイム取得を達成することが前記徹底探索焦点プロセスと一緒に開始され、かつクライミング・ヒル・フォーカッシング・プロセスが後に続く、付記１の装置。
付記４
前記第２のステージにおける奥行きマップ生成器アセンブリは、バイリニア・フィルタでアーテイファクトを低減するように動作可能である、付記３の装置。
付記５
前記第2のステージでは、奥行きマップ生成器アセンブリは、
前記フォーカッシング・プロセスの間に見出される各ブロックのコーナー・ポイント(A、B、CおよびD)の奥行き値を得るように動作可能であり、前記奥行き値は各ブロックの近隣ブロックの平均値であり、中間点ｄの奥行きは、

によって定義され、
ただし、d ₁ 、d ₂ 、d ₃ およびd ₄ は前記近隣ブロックの奥行き値であり、
全てのコーナー・ポイント(A、B、CおよびD)の奥行き値が得られた後で、前記バイリニア・フィルタは前記ブロックの内側におけるピクセルのピクセル奥行き値を得るように動作可能である、付記４の装置。
付記６
前記バイリニア・フィルタは、式

に従ってピクセルP(x _P 、y _P 、d _P )に対するピクセル奥行き値dPを計算するようにさらに動作可能であり、
前記ブロックの前記コーナー・ポイント(A、B、CおよびD)に対する位置値及び奥行き値は(x _A 、y _A 、d _A )、(x _B 、y _B 、d _B )、(x _C 、y _C 、d _C )、(x _D 、y _D 、d _D )として示される、付記５の装置。
付記７
前記取得されたビデオ・クリップを符号化しかつ前記ブロック・レベル奥行きマップを計算するための統計情報を提供するためのビデオ符号化モジュールをさらに備え、前記ビデオ符号化モジュールは、動き推定を決定するように動作可能であり、前記奥行きマップ生成器アセンブリは、前記第２のステージにおいて、前記画像奥行きが得られる最終のブロック奥行きマップを得るために前記動き推定、前記フォーカッシング・プロセス、及び履歴データ・プラス・ヒューリステイック・ルールからの統計情報を使用して立体ビデオのリアルタイム取得及び生成のための奥行き情報を検知しかつ推定するように動作可能である、付記３の装置。
付記８
デイスプレイと、３Ｄ左及び右視界を前記デイスプレイ上に表示するための３Ｄ効果生成器モジュールとをさらに備える、付記１の装置。
付記９
前記３Ｄ効果生成器モジュールは、前記デイスプレイ上に前記３Ｄ左及び右視界の赤・青立体写真画像を生成するように動作可能である、付記８の装置。
付記１０
前記平面視低電力モバイル装置は、ハンドヘルド・デジタル・カメラ、カムコーダー、及び単一センサ・カメラ電話のうちの１つを備える、付記１の装置。
付記１１
平面視低電力モバイル装置であって、
単一センサで画像を取得するための手段と、
レンズをオートフォーカッシングする及び全フォーカッシング範囲を通してレンズを移動することにより最良の焦点位置を決定するため及び前記画像を取得するときに最大焦点値を有する焦点位置を選択するための手段と、
第１のステージにおいて、前記オートフォーカッシング手段からの統計を使用してブロック・レベル奥行きマップを自動的に生成しかつ第２のステージにおいて、画像奥行きマップを生成するための手段と、
三次元（３Ｄ）立体左及び右視界を生成するために前記取得画像から欠けている第２の視界を生成するための手段と、を備える装置。
付記１２
前記生成する手段は、前記取得された画像が前記左視界を表わし、前記取得された画像に対する両眼視覚幾何学形状の左及び右視界における画像ポイント間のピクセルにおける距離に基づいて視差マップを計算するための手段と、欠けている右視点から前記取得された画像に対する３Ｄ可視表面を構成するためにＺバッファリングで３Ｄ表面回復を行うための手段と、前記構成された３Ｄ表面を投影平面上に投影することによって立体視界を生成するための手段とを備える、付記１１の装置。
付記１３
前記オートフォカッシング手段は、静止画像モードにおいて静止画像を取得するために徹底探索フォーカッシング・プロセスを実行するための手段と、ビデオ・モードにおいて前記徹底探索フォーカッシング・プロセスを開始するための手段と、リアルタイム・ビデオ・クリップを取得するためにビデオ・モードにおいてクライミング・ヒル・フォーカッシングするための手段とを含む、付記１１の装置。
付記１４
前記第２のステージにおける前記生成する手段はアーテイファクトを低減するための手段を含む、付記１３の装置。
付記１５
前記アーテイファクトを低減するための手段は、前記オートフォカッシング手段によって見つけられる各ブロックのコーナー・ポイント(A、B、CおよびD)の奥行き値を得るための手段を含み、前記奥行き値は、各ブロックの近隣ブロックの平均値であり、中間点ｄの奥行きは、

によって定義され、
ただし、d ₁ 、d ₂ 、d ₃ およびd ₄ は近隣ブロックの奥行き値であり、そして、
全てのコーナー・ポイント(A、B、CおよびD)の奥行き値が得られた後で、ブロック内のピクセルのピクセル奥行き値を得るためにバイリニア・フィルタリングするための手段を含む、付記１４の装置。
付記１６
前記バイリニア・フィルタリング手段は、式

に従ってピクセルP(x _P 、y _P 、d _P )のためのピクセル奥行き値d _P を計算するための手段を含み、
ただし、ブロックのコーナー・ポイント(A、B、CおよびD)の位置値および奥行き値は、(x _A 、y _A 、d _A )、(x _B 、y _B 、d _B )、(x _C 、y _C 、d _C )、(x _D 、y _D 、d _D )として示される、付記１５の装置。
付記１７
取得されたビデオ・クリップをビデオ符号化しかつ統計情報を提供するための手段をさらに備え、前記ビデオ符号化する手段は、動き推定のための手段を含み、前記生成する手段は、画像奥行きマップが得られる最終のブロック奥行きマップを得るために、前記動き推定手段、前記オートフォーカッシング手段、および履歴データ・プラス・いくつかのヒューリステイック・ルールからの統計情報を用いて立体ビデオのリアルタイム取得および生成のための奥行き情報を検知しかつ推定するための手段を含む、付記１３の装置。
付記１８
デイスプレイ、および３Ｄ立体左および右視界の３Ｄ効果を前記デイスプレイ上で生成するための手段をさらに備える、付記１１の装置。
付記１９
前記３Ｄ効果生成手段は、３Ｄ立体左および右視界の赤・青立体写真画像を生成する、付記１８の装置。
付記２０
前記平面視低電力モバイル装置は、ハンドヘルド・デジタルカメラ、カムコーダー、および単一センサ・カメラ電話のうちの１つを備える、付記１１の装置。
付記２１
リアルタイム立体画像を生成するための方法であって、
単一のセンサで画像を取得するステップと、
レンズをオートフォーカッシングしかつ前記レンズを全フォーカッシング範囲を通して移動しかつ前記画像を取得するときに最大焦点値を有する焦点位置を選択することによって最良の焦点位置を決定するステップと、
第１のステージにおいて前記オートフォーカッシング・ステップからの統計を用いてブロック・レベル奥行きマップを生成しかつ第２のステージにおいて画像奥行きマップを生成するステップと、
三次元（３Ｄ）立体左および右視界を生成するために、欠けている第２の視界を生成するステップを備える、方法。
付記２２
前記生成ステップは、左視界を表わす取得画像に対する両眼視覚幾何学形状の左および右視界における画像ポイント間のピクセルにおける距離に基づいて視差マップを計算するステップと、欠けている右視点から取得画像に対する３Ｄ可視表面を構成するためにＺバッファリングで３Ｄ表面回復を行うステップと、構成された３Ｄ表面を投影平面上に投影することによって、欠けている右視界を生成するステップを備える、付記２１の方法。
付記２３
前記オートフォーカッシング・ステップは、静止画像モードで静止画像を取得するために徹底探索フォーカッシング・プロセスを実行するステップと、ビデオ・モードで前記徹底探索フォーカッシング・プロセスを開始するステップと、リアルタイム・ビデオ・クリップを取得するためにビデオ・モードでクライミング・ヒル・フォーカッシングを行うステップとを含む、付記２１の方法。
付記２４
前記第２のステージにおいて前記生成ステップは、アーテイファクトを低減するステップを含む、付記２３の方法。
付記２５
前記アーテイファクト低減ステップは、前記オートフォーカッシング手段に見つけられた各ブロックのコーナー・ポイント(A、B、CおよびD)の奥行き値を得るステップを含み、前記奥行き値は各ブロックの近隣ブロックの平均値であり、中間点ｄの奥行きは

によって定義され、
ただし、d ₁ 、d ₂ 、d ₃ およびd ₄ は前記近隣ブロックの奥行き値であり、
また、全ての前記コーナー・ポイント(A、B、CおよびD)の奥行き値が得られた後で、前記ブロック内のピクセルのピクセル奥行き値を得るためにバイリニア・フィルタリングを行うステップを含む、付記２４の方法。
付記２６
前記バイリニア・フィルタリング・ステップは、式

に従ってピクセルP(x _P 、y _P 、d _P ) のためのピクセル奥行き値d _P を計算するステップを備え、
ただし、前記ブロックの前記コーナー・ポイント(A、B、CおよびD)のための位置値および奥行き値は(x _A 、y _A 、d _A )、(x _B 、y _B 、d _B )、(x _C 、y _C 、d _C )、(x _D 、y _D 、d _D )として示される、付記２５の方法。
付記２７
ビデオ・クリップをビデオ符号化および動き推定のステップをさらに備え、前記生成ステップは、画像奥行きマップが得られる最終のブロック奥行きマップを得るために、前記動き推定手段、前記オートフォーカッシング手段、および履歴データ・プラス・いくつかのヒューリステイック・ルールからの統計情報を用いて立体ビデオのリアルタイム取得および生成のための奥行き情報を検知しかつ推定するステップを含む、付記２３の装置。
付記２８
３Ｄ立体左および右視界の３Ｄ効果をデイスプレイ上に生成するステップをさらに備える、付記２１の方法。
付記２９
前記３Ｄ効果を生成するステップは、３Ｄ立体左および右視界の赤・青立体写真画像を前記デイスプレイ上に生成するステップを含む、付記２８の方法。
付記３０
静止画像を処理するための方法であって、
取得された静止画像をオートフォーカッシング処理しかつブロック・レベル奥行きマップを検知するために前記画像内の遠隔オブジェクトの奥行き情報を推定するステップと、前記ブロック・レベル奥行きマップから画像奥行きマップを近似するステップとを備える方法。
付記３１
前記オートフォーカッシング処理ステップは、粗密奥行き検知プロセスを用いて前記画像を処理するステップを含む、付記３０の方法。
付記３２
前記近似するステップは、近似された画像奥行きマップを得るために前記ブロック・レベル奥行きマップをバイリニア・フィルタリングするステップを備える、付記３０の方法。
付記３３
前記オートフォーカッシング処理ステップは、前記ブロック・レベル奥行きマップを検知する場合にコーナー・ポイント(A、B、CおよびD)を含む各焦点ブロックの奥行き値を決定するステップを備え、前記バイリニア・フィルタリング・ステップは、前記ブロック内のプクセルの奥行き値を得る、付記３２の方法。
付記３４
前記ブロック内の全てのピクセルの奥行き値が計算されるように前記ブロックの前記コーナー・ポイント(A、B、CおよびD)のための位置値および奥行き値は(x _A 、y _A 、d _A )、(x _B 、y _B 、d _B )、(x _C 、y _C 、d _C )として示され、ポイントP(x _P 、y _P 、d _P )によって示される各ピクセルに対して、各ピクセルの奥行き値d _P は

として定義される、付記３３の方法。
付記３５
静止画像取得装置であって、
取得静止画像を処理しかつブロック・レベル奥行きマップを検知するために前記画像内の遠隔オブジェクトの奥行き情報を推定するように動作可能なオートフォーカッシング・モジュールと、バイリニア・フィルタリングを使用して画像奥行きマップから前記ブロック・レベル奥行きマップを近似するように動作可能な画像奥行きマップ・モジュールと、三次元（３Ｄ）立体左および右視界を生成するために取得画像から欠けている第２の視界を生成するように動作可能な画像ペア生成器モジュールとを備える装置。
付記３６
３Ｄ立体左及び右視界の３Ｄ効果を表示するように動作可能な３Ｄ効果生成器モジュールをさらに備える、付記３５の装置。
付記３７
前記オートフォーカッシング・モジュールのフォーカッシング・プロセスは、静止画像を取得するために徹底探索フォーカッシング・プロセスを実行するよう、付記３５の装置。
付記３８
前記画像奥行きマップ・モジュールは、前記バイリニア・フィルタリングでアーテイファクトを低減するように動作可能である、付記３５の装置。
付記３９
ビデオ画像取得装置であって、取得されたビデオ・クリップを処理しかつ１つのシーンにおける遠隔オブジェクトの奥行き情報を推定するように動作可能なオートフォーカッシング・モジュールと、取得されたビデオ・クリップを符号化し、統計情報を提供し、かつ動き推定を決定するように動作可能なビデオ符号化モジュールと、、画像奥行きマップが得られる最終のブロック奥行きマップを得るために、前記動き推定からの統計情報、前記オートフォーカッシング・モジュールのプロセス、および履歴データ・プラス・いくつかのヒューリステイック・ルールを用いて立体ビデオのリアルタイム取得および生成のための奥行き情報を検知しかつ推定するように動作可能な画像奥行きマップ・モジュールとを備える装置。
付記４０
ビデオ・クリップのリアルタイム取得を達成するための前記オートフォーカッシング・モジュールのフォーカッシング・プロセスは、前記徹底探索フォーカッシング探索フォーカッシング・プロセスで開始され、その後にクライミング・ヒル・フォーカッシング・プロセスが続く、付記３９の装置。
付記４１
三次元（３Ｄ）立体左および右視界を生成するために取得画像から欠けている第２の視界を生成するように動作可能な画像ペア生成器モジュールをさらに備える、付記３９の装置。
付記４２
前記３Ｄ立体左および右視界の３Ｄ効果を表示するように動作可能な３Ｄ効果生成器モジュールをさらに備える、付記４１の装置。
付記４３
前記奥行きマップ・モジュールは、現在のフレームnの内部ブロック奥行きマップ(Pn(i、j) )および焦点値マップ(Tn(i、j))を先行のフレームのそれらから下記の式

および

によって予測するように動作可能であり、ただし{Pn(i、j)}および{Tn(i、j)}は前記ビデオ符号化モジュールから得られた内部BDMおよびFVマップであり、(a、b)は(n-1)番目のフレーム内のブロックを示しかつn番目のフレームの中にブロック(i、j)の予測であり、FV_THは焦点値(FV)閾値であり、そして、
焦点レンズ位置は最大のFVに対応しかつ最良の選択として扱われ、最終BDMおよびFVマップは下記の式

および

によって決定され、ただし、{Dn(i,j)}および{Fn(i,j)} (i=1,2,...N, j=1,2,...N)はそれぞれ現在のフレームの最終の決定されたブロック奥行きマップ(BDM)および最終の決定された焦点値(FV)マップであり、そして、{Mn(i、j)}および{Vn(i、j)}は前記オートフォーカッシング・モジュールによって得られた内部BDMおよびFVマップである、付記３９の装置。
付記４４
プロセッサによって実行されると、ブロック・レベル奥行きマップのコーナー・ポイント(A、B、CおよびD)を含む各焦点ブロックの奥行き値を決定するために画像をバイリニア・フィルタし、そして下記の式

に従って前記ブロック内の全てのピクセルの奥行き値(d _P )を決定するように動作可能なプログラム命令を有し、
前記ブロックの前記コーナー・ポイント(A、B、CおよびD)のための位置値および奥行き値は、(x _A 、y _A 、d _A )、(x _B 、y _B 、d _B )、(x _C 、y _C 、d _C )、(x _D 、y _D 、d _D )として示され、そして、各ピクセルはポイントP(x _P 、y _P 、d _P )によって示される、プログラム符号。

Claims

画像をバイリニア・フィルタリングする方法であって、コーナー・ポイント（Ａ、Ｂ、Ｃ、およびＤ）を含む少なくとも１つの焦点ブロックのブロック奥行き値を含むブロックレベル奥行きマップを決定することと、
前記ブロックのコーナー・ポイントおよび各ピクセルの位置値と奥行き値との間の関係に基づいて各ブロック内のすべてのピクセルのためのピクセル奥行き値（ｄ_Ｐ）を含む画像奥行きマップを決定することと、
を含み、
前記関係は、下記の式

を備え、
前記ブロックのコーナー・ポイント（Ａ、Ｂ、Ｃ、およびＤ）のための位置値および奥行き値は、（ｘ _Ａ、ｙ _Ａ、ｄ _Ａ）、（ｘ _Ｂ、ｙ _Ｂ、ｄ _Ｂ）、（ｘ _Ｃ、ｙ _Ｃ、ｄ _Ｃ）、（ｘ _Ｄ、ｙ _Ｄ、ｄ _Ｄ）として表され、各ピクセルはポイント（ｘ _Ｐ、ｙ _Ｐ、ｄ _Ｐ）によって示される、方法。
前記ブロックレベル奥行き値は、前記焦点ブロックに関連した焦点位置に一部基づいて決定される、請求項１に記載の方法。
前記焦点位置は、前記画像を取得するセンサの特性に少なくとも一部基づいて識別される、請求項２に記載の方法。
前記コーナー・ポイントのブロックレベル奥行き値は、中間点ｄの奥行きが

によって定義される各コーナー・ポイントの近隣ブロックの平均値に基づいて決定され、上記数２において、ｄ_１、ｄ_２、ｄ_３、およびｄ_４は前記近隣ブロックの中間点奥行き値である、請求項１〜３のうちのいずれか１つに記載の方法。
前記ブロックレベル奥行きマップおよび前記画像レベル奥行きマップのうちの少なくとも１つを格納することをさらに含む、請求項１〜４のうちのいずれか１つに記載の方法。
前記画像は静止画像であり、前記焦点ブロックは徹底探索フォーカッシング・プロセスに基づいて識別される、請求項１〜５のうちのいずれか１つに記載の方法。
前記画像はビデオ・クリップ内に含まれ、前記焦点ブロックは、クライミング・ヒル・フォーカッシング・プロセスが後に続く最初の徹底検索フォーカッシング・プロセスに基づいて識別される、請求項１〜５のうちのいずれか１つに記載の方法。
請求項１〜７のうちのいずれか１つに記載された方法をコンピュータに実行させるためのコードを含むコンピュータ・プログラム・プロダクト。
バイリニア・フィルタリング装置であって、
画像を取得するための手段と、
コーナー・ポイント（Ａ、Ｂ、Ｃ、Ｄ）を含む少なくとも１つの焦点ブロックに対するブロック奥行き値を含むブロックレベル奥行きマップを決定するための手段と、
前記ブロックのコーナー・ポイントおよび各ピクセルの位置値と奥行き値との間の関係に基づいて前記焦点ブロック内のすべてのピクセルのピクセル奥行き値（ｄ_Ｐ）を含む画像奥行きマップを決定するための手段と、
を備え、
前記関係は、下記の式

を備え、
前記ブロックのコーナー・ポイント（Ａ、Ｂ、Ｃ、およびＤ）のための位置値および奥行き値は、（ｘ_Ａ、ｙ_Ａ、ｄ_Ａ）、（ｘ_Ｂ、ｙ_Ｂ、ｄ_Ｂ）、（ｘ_Ｃ、ｙ_Ｃ、ｄ_Ｃ）、（ｘ_Ｄ、ｙ_Ｄ、ｄ_Ｄ）として表され、各ピクセルはポイント（ｘ_Ｐ、ｙ_Ｐ、ｄ_Ｐ）によって示される、装置。
前記画像を取得するための手段は画像センサを含んでおり、前記ブロックレベル奥行きマップを決定するための手段はブロック奥行きマップ・モジュールを含んでおり、前記画像奥行きマップを決定するための手段は画像奥行きマップ・モジュールを含んでいる、請求項９に記載の装置。
前記ブロックレベル奥行きマップおよび前記画像奥行きマップのうちの少なくとも１つを格納するように構成された格納のための手段をさらに備える、請求項９又は１０に記載の装置。
前記コーナー・ポイントのブロックレベル奥行き値は、中間点ｄの奥行きが

によって定義される各コーナー・ポイントの近隣ブロックの平均値に基づいて決定され、上記数２において、ｄ_１、ｄ_２、ｄ_３、およびｄ_４は前記近隣ブロックの中間点奥行き値である、請求項９〜１１のうちのいずれか１つに記載の装置。
前記画像を取得するための手段は、静止画像とビデオ・クリップに含まれる画像のうちの少なくとも１つを取得するように構成される、請求項９〜１２のうちのいずれか１つに記載の装置。