JP5350241B2 - 平面視低電力モバイル装置における立体画像およびビデオのリアルタイム取得および生成 - Google Patents
平面視低電力モバイル装置における立体画像およびビデオのリアルタイム取得および生成 Download PDFInfo
- Publication number
- JP5350241B2 JP5350241B2 JP2009522993A JP2009522993A JP5350241B2 JP 5350241 B2 JP5350241 B2 JP 5350241B2 JP 2009522993 A JP2009522993 A JP 2009522993A JP 2009522993 A JP2009522993 A JP 2009522993A JP 5350241 B2 JP5350241 B2 JP 5350241B2
- Authority
- JP
- Japan
- Prior art keywords
- depth
- image
- depth map
- block
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
- H04N5/2226—Determination of depth image, e.g. for foreground/background separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/571—Depth or shape recovery from multiple images from focus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Focusing (AREA)
Description
他の研究では、平面視キュー(monoscopic cues)、例えば、オブジェクトの網膜のサイズから相対的な奥行き情報を抽出する方法が提案されており、それは補助的な奥行きマップ生成のために有用である。さらに他の研究では、2Dの頭および肩画像を3Dに変換するために、パラメートリック奥行きマップ生成スキームに基づいた顔の特徴が提案されている。奥行きマップ生成のための他の提案された方法では、アプローチにおけるいくつかのステップ、例えば、前処理での画像分類は、実装においては些細なことではなく、恐らく非常に複雑であり、それが提案されたアルゴリズムの現実性を害する。他の方法では、動き検出および領域セグメント化を用いたリアルタイムの2D から3D画像への転換アルゴリズムが提案されている。しかし、アーテイファクト(artifacts)は、オブジェクト・セグメント化およびオブジェクト奥行き推定の不正確性のために回避可能ではない。明らかに、上記の方法はすべて、取得されるモノスコピック画像だけを考えている。他のいくつかのアプローチは、立体視界を生成するのを支援するための補助ソースを使用する。例えば、付加的視界を取得し、そしてピクセルの奥行きマップを生成するために低価格の補足視界を捕らえて次に、ピクセルの奥行きマップを生成するために視差推定モデル(disparity estimation model)を使用するために、補助のモノクロームあるいは低解像度カメラが使用される。
図3をまだ参照すると、平面視低電力モバイル装置10は、自動的なブロック奥行きマップ検知のためにオートフォーカッシング・サブモジュール22のオートフォーカッシング・プロセス124を利用する。動作の静止画像モード18およびビデオ・モード20における画像取得のためには、これらのシナリオ(動作のモード)で使用される異なる焦点長さ探索アルゴリズムにより、異なるアプローチが必要とされる。
図1および11をここで参照すると、これまで、装置10は画像あるいは左視界を取得しかつ対応する画像奥行きマップを得ていた。画像ペア生成モジュール42は、いま記述される画像ペア生成プロセス142を使用する。ステップS144において、左視界が得られ、そして、ステップS146における奥行き検知プロセス130または132からのそれの対応するマップが得られる。
Z(x0 + d0, y0) = min[Z( x0 + d0, y0), z0] 式(11)
として定義される式によって、ステップS170において右視界内の対応するピクセルに対して更新される。
装置10はMSM8K VFE C-SIMシステムで実装できる。実験結果は、取得されかつ生成された立体画像およびビデオが優れた3D効果を有することを示す。
下記に、本願出願時の請求項1−44に対応する記載を付記1−44として表記する。
付記1
平面視低電力モバイル装置であって、
画像を取得するように動作可能であり、かつフォーカッシング・プロセスによって全フォーカッシング範囲を通してレンズを移動させることにより最良の焦点位置を決定しかつ画像を取得するときに最大焦点値を有する焦点位置を選択するように動作可能なオートフォーカッシング・サブモジュールを有する単一センサ・カメラセンサ・モジュールと、
第1のステージにおいて、前記オートフォーカッシング・サブモジュールからの統計を用いてブロック・レベル奥行きマップを自動的に生成しかつ第2のステージにおいて、画像奥行きマップを生成するように動作可能な奥行きマップ生成器アセンブリと、
3次元(3D)立体左及び右視界を生成するために前記取得画像から欠けている第2の視界を生成するように動作可能な画像ペア生成器モジュールと、
を備える、装置。
付記2
前記画像ペア生成器モジュールは、前記取得画像は左視界を表わし、前記取得画像に対する両眼視覚幾何学形状の左及び右視界における画像ポイント間のピクセルにおける距離に基づいて視差マップを計算する視差マップ・サブモジュールと、右視界から前記取得画像に対する3D可視表面を構成するように動作可能なZバッファ3D表面回収サブモジュールと、前記右視界の3D表面を投影平面上に投影するように動作可能な立体視界生成器サブモジュールと、を備える、付記1の装置。
付記3
静止画像モードにおける前記オートフォーカッシング・サブモジュールのフォーカッシング・プロセスは、静止画像を取得するために徹底探索フォーカッシング・プロセスを実行し、そして、ビデオ・モードにおいて、ビデオ・クリップのリアルタイム取得を達成することが前記徹底探索焦点プロセスと一緒に開始され、かつクライミング・ヒル・フォーカッシング・プロセスが後に続く、付記1の装置。
付記4
前記第2のステージにおける奥行きマップ生成器アセンブリは、バイリニア・フィルタでアーテイファクトを低減するように動作可能である、付記3の装置。
付記5
前記第2のステージでは、奥行きマップ生成器アセンブリは、
前記フォーカッシング・プロセスの間に見出される各ブロックのコーナー・ポイント(A、B、CおよびD)の奥行き値を得るように動作可能であり、前記奥行き値は各ブロックの近隣ブロックの平均値であり、中間点dの奥行きは、
ただし、d 1 、d 2 、d 3 およびd 4 は前記近隣ブロックの奥行き値であり、
全てのコーナー・ポイント(A、B、CおよびD)の奥行き値が得られた後で、前記バイリニア・フィルタは前記ブロックの内側におけるピクセルのピクセル奥行き値を得るように動作可能である、付記4の装置。
付記6
前記バイリニア・フィルタは、式
前記ブロックの前記コーナー・ポイント(A、B、CおよびD)に対する位置値及び奥行き値は(x A 、y A 、d A )、(x B 、y B 、d B )、(x C 、y C 、d C )、(x D 、y D 、d D )として示される、付記5の装置。
付記7
前記取得されたビデオ・クリップを符号化しかつ前記ブロック・レベル奥行きマップを計算するための統計情報を提供するためのビデオ符号化モジュールをさらに備え、前記ビデオ符号化モジュールは、動き推定を決定するように動作可能であり、前記奥行きマップ生成器アセンブリは、前記第2のステージにおいて、前記画像奥行きが得られる最終のブロック奥行きマップを得るために前記動き推定、前記フォーカッシング・プロセス、及び履歴データ・プラス・ヒューリステイック・ルールからの統計情報を使用して立体ビデオのリアルタイム取得及び生成のための奥行き情報を検知しかつ推定するように動作可能である、付記3の装置。
付記8
デイスプレイと、3D左及び右視界を前記デイスプレイ上に表示するための3D効果生成器モジュールとをさらに備える、付記1の装置。
付記9
前記3D効果生成器モジュールは、前記デイスプレイ上に前記3D左及び右視界の赤・青立体写真画像を生成するように動作可能である、付記8の装置。
付記10
前記平面視低電力モバイル装置は、ハンドヘルド・デジタル・カメラ、カムコーダー、及び単一センサ・カメラ電話のうちの1つを備える、付記1の装置。
付記11
平面視低電力モバイル装置であって、
単一センサで画像を取得するための手段と、
レンズをオートフォーカッシングする及び全フォーカッシング範囲を通してレンズを移動することにより最良の焦点位置を決定するため及び前記画像を取得するときに最大焦点値を有する焦点位置を選択するための手段と、
第1のステージにおいて、前記オートフォーカッシング手段からの統計を使用してブロック・レベル奥行きマップを自動的に生成しかつ第2のステージにおいて、画像奥行きマップを生成するための手段と、
三次元(3D)立体左及び右視界を生成するために前記取得画像から欠けている第2の視界を生成するための手段と、を備える装置。
付記12
前記生成する手段は、前記取得された画像が前記左視界を表わし、前記取得された画像に対する両眼視覚幾何学形状の左及び右視界における画像ポイント間のピクセルにおける距離に基づいて視差マップを計算するための手段と、欠けている右視点から前記取得された画像に対する3D可視表面を構成するためにZバッファリングで3D表面回復を行うための手段と、前記構成された3D表面を投影平面上に投影することによって立体視界を生成するための手段とを備える、付記11の装置。
付記13
前記オートフォカッシング手段は、静止画像モードにおいて静止画像を取得するために徹底探索フォーカッシング・プロセスを実行するための手段と、ビデオ・モードにおいて前記徹底探索フォーカッシング・プロセスを開始するための手段と、リアルタイム・ビデオ・クリップを取得するためにビデオ・モードにおいてクライミング・ヒル・フォーカッシングするための手段とを含む、付記11の装置。
付記14
前記第2のステージにおける前記生成する手段はアーテイファクトを低減するための手段を含む、付記13の装置。
付記15
前記アーテイファクトを低減するための手段は、前記オートフォカッシング手段によって見つけられる各ブロックのコーナー・ポイント(A、B、CおよびD)の奥行き値を得るための手段を含み、前記奥行き値は、各ブロックの近隣ブロックの平均値であり、中間点dの奥行きは、
ただし、d 1 、d 2 、d 3 およびd 4 は近隣ブロックの奥行き値であり、そして、
全てのコーナー・ポイント(A、B、CおよびD)の奥行き値が得られた後で、ブロック内のピクセルのピクセル奥行き値を得るためにバイリニア・フィルタリングするための手段を含む、付記14の装置。
付記16
前記バイリニア・フィルタリング手段は、式
ただし、ブロックのコーナー・ポイント(A、B、CおよびD)の位置値および奥行き値は、(x A 、y A 、d A )、(x B 、y B 、d B )、(x C 、y C 、d C )、(x D 、y D 、d D )として示される、付記15の装置。
付記17
取得されたビデオ・クリップをビデオ符号化しかつ統計情報を提供するための手段をさらに備え、前記ビデオ符号化する手段は、動き推定のための手段を含み、前記生成する手段は、画像奥行きマップが得られる最終のブロック奥行きマップを得るために、前記動き推定手段、前記オートフォーカッシング手段、および履歴データ・プラス・いくつかのヒューリステイック・ルールからの統計情報を用いて立体ビデオのリアルタイム取得および生成のための奥行き情報を検知しかつ推定するための手段を含む、付記13の装置。
付記18
デイスプレイ、および3D立体左および右視界の3D効果を前記デイスプレイ上で生成するための手段をさらに備える、付記11の装置。
付記19
前記3D効果生成手段は、3D立体左および右視界の赤・青立体写真画像を生成する、付記18の装置。
付記20
前記平面視低電力モバイル装置は、ハンドヘルド・デジタルカメラ、カムコーダー、および単一センサ・カメラ電話のうちの1つを備える、付記11の装置。
付記21
リアルタイム立体画像を生成するための方法であって、
単一のセンサで画像を取得するステップと、
レンズをオートフォーカッシングしかつ前記レンズを全フォーカッシング範囲を通して移動しかつ前記画像を取得するときに最大焦点値を有する焦点位置を選択することによって最良の焦点位置を決定するステップと、
第1のステージにおいて前記オートフォーカッシング・ステップからの統計を用いてブロック・レベル奥行きマップを生成しかつ第2のステージにおいて画像奥行きマップを生成するステップと、
三次元(3D)立体左および右視界を生成するために、欠けている第2の視界を生成するステップを備える、方法。
付記22
前記生成ステップは、左視界を表わす取得画像に対する両眼視覚幾何学形状の左および右視界における画像ポイント間のピクセルにおける距離に基づいて視差マップを計算するステップと、欠けている右視点から取得画像に対する3D可視表面を構成するためにZバッファリングで3D表面回復を行うステップと、構成された3D表面を投影平面上に投影することによって、欠けている右視界を生成するステップを備える、付記21の方法。
付記23
前記オートフォーカッシング・ステップは、静止画像モードで静止画像を取得するために徹底探索フォーカッシング・プロセスを実行するステップと、ビデオ・モードで前記徹底探索フォーカッシング・プロセスを開始するステップと、リアルタイム・ビデオ・クリップを取得するためにビデオ・モードでクライミング・ヒル・フォーカッシングを行うステップとを含む、付記21の方法。
付記24
前記第2のステージにおいて前記生成ステップは、アーテイファクトを低減するステップを含む、付記23の方法。
付記25
前記アーテイファクト低減ステップは、前記オートフォーカッシング手段に見つけられた各ブロックのコーナー・ポイント(A、B、CおよびD)の奥行き値を得るステップを含み、前記奥行き値は各ブロックの近隣ブロックの平均値であり、中間点dの奥行きは
ただし、d 1 、d 2 、d 3 およびd 4 は前記近隣ブロックの奥行き値であり、
また、全ての前記コーナー・ポイント(A、B、CおよびD)の奥行き値が得られた後で、前記ブロック内のピクセルのピクセル奥行き値を得るためにバイリニア・フィルタリングを行うステップを含む、付記24の方法。
付記26
前記バイリニア・フィルタリング・ステップは、式
ただし、前記ブロックの前記コーナー・ポイント(A、B、CおよびD)のための位置値および奥行き値は(x A 、y A 、d A )、(x B 、y B 、d B )、(x C 、y C 、d C )、(x D 、y D 、d D )として示される、付記25の方法。
付記27
ビデオ・クリップをビデオ符号化および動き推定のステップをさらに備え、前記生成ステップは、画像奥行きマップが得られる最終のブロック奥行きマップを得るために、前記動き推定手段、前記オートフォーカッシング手段、および履歴データ・プラス・いくつかのヒューリステイック・ルールからの統計情報を用いて立体ビデオのリアルタイム取得および生成のための奥行き情報を検知しかつ推定するステップを含む、付記23の装置。
付記28
3D立体左および右視界の3D効果をデイスプレイ上に生成するステップをさらに備える、付記21の方法。
付記29
前記3D効果を生成するステップは、3D立体左および右視界の赤・青立体写真画像を前記デイスプレイ上に生成するステップを含む、付記28の方法。
付記30
静止画像を処理するための方法であって、
取得された静止画像をオートフォーカッシング処理しかつブロック・レベル奥行きマップを検知するために前記画像内の遠隔オブジェクトの奥行き情報を推定するステップと、前記ブロック・レベル奥行きマップから画像奥行きマップを近似するステップとを備える方法。
付記31
前記オートフォーカッシング処理ステップは、粗密奥行き検知プロセスを用いて前記画像を処理するステップを含む、付記30の方法。
付記32
前記近似するステップは、近似された画像奥行きマップを得るために前記ブロック・レベル奥行きマップをバイリニア・フィルタリングするステップを備える、付記30の方法。
付記33
前記オートフォーカッシング処理ステップは、前記ブロック・レベル奥行きマップを検知する場合にコーナー・ポイント(A、B、CおよびD)を含む各焦点ブロックの奥行き値を決定するステップを備え、前記バイリニア・フィルタリング・ステップは、前記ブロック内のプクセルの奥行き値を得る、付記32の方法。
付記34
前記ブロック内の全てのピクセルの奥行き値が計算されるように前記ブロックの前記コーナー・ポイント(A、B、CおよびD)のための位置値および奥行き値は(x A 、y A 、d A )、(x B 、y B 、d B )、(x C 、y C 、d C )として示され、ポイントP(x P 、y P 、d P )によって示される各ピクセルに対して、各ピクセルの奥行き値d P は
付記35
静止画像取得装置であって、
取得静止画像を処理しかつブロック・レベル奥行きマップを検知するために前記画像内の遠隔オブジェクトの奥行き情報を推定するように動作可能なオートフォーカッシング・モジュールと、バイリニア・フィルタリングを使用して前記ブロック・レベル奥行きマップから画像奥行きマップを近似するように動作可能な画像奥行きマップ・モジュールと、三次元(3D)立体左および右視界を生成するために取得画像から欠けている第2の視界を生成するように動作可能な画像ペア生成器モジュールとを備える装置。
付記36
3D立体左及び右視界の3D効果を表示するように動作可能な3D効果生成器モジュールをさらに備える、付記35の装置。
付記37
前記オートフォーカッシング・モジュールのフォーカッシング・プロセスは、静止画像を取得するために徹底探索フォーカッシング・プロセスを実行するよう、付記35の装置。
付記38
前記画像奥行きマップ・モジュールは、前記バイリニア・フィルタリングでアーテイファクトを低減するように動作可能である、付記35の装置。
付記39
ビデオ画像取得装置であって、取得されたビデオ・クリップを処理しかつ1つのシーンにおける遠隔オブジェクトの奥行き情報を推定するように動作可能なオートフォーカッシング・モジュールと、取得されたビデオ・クリップを符号化し、統計情報を提供し、かつ動き推定を決定するように動作可能なビデオ符号化モジュールと、画像奥行きマップが得られる最終のブロック奥行きマップを得るために、前記動き推定からの統計情報、前記オートフォーカッシング・モジュールのプロセス、および履歴データ・プラス・いくつかのヒューリステイック・ルールを用いて立体ビデオのリアルタイム取得および生成のための奥行き情報を検知しかつ推定するように動作可能な画像奥行きマップ・モジュールとを備える装置。
付記40
ビデオ・クリップのリアルタイム取得を達成するための前記オートフォーカッシング・モジュールのフォーカッシング・プロセスは、前記徹底探索フォーカッシング探索フォーカッシング・プロセスで開始され、その後にクライミング・ヒル・フォーカッシング・プロセスが続く、付記39の装置。
付記41
三次元(3D)立体左および右視界を生成するために取得画像から欠けている第2の視界を生成するように動作可能な画像ペア生成器モジュールをさらに備える、付記39の装置。
付記42
前記3D立体左および右視界の3D効果を表示するように動作可能な3D効果生成器モジュールをさらに備える、付記41の装置。
付記43
前記奥行きマップ・モジュールは、現在のフレームnの内部ブロック奥行きマップ(Pn(i、j) )および焦点値マップ(Tn(i、j))を先行のフレームのそれらから下記の式
焦点レンズ位置は最大のFVに対応しかつ最良の選択として扱われ、最終BDMおよびFVマップは下記の式
付記44
プロセッサによって実行されると、ブロック・レベル奥行きマップのコーナー・ポイント(A、B、CおよびD)を含む各焦点ブロックの奥行き値を決定するために画像をバイリニア・フィルタし、そして下記の式
前記ブロックの前記コーナー・ポイント(A、B、CおよびD)のための位置値および奥行き値は、(x A 、y A 、d A )、(x B 、y B 、d B )、(x C 、y C 、d C )、(x D 、y D 、d D )として示され、そして、各ピクセルはポイントP(x P 、y P 、d P )によって示される、プログラム符号。
Claims (31)
- モバイル装置であって、
画像を取得するように動作可能であり、かつフォーカッシング・プロセスによって全フォーカッシング範囲を通してレンズを移動させることにより最良の焦点位置を決定しかつ画像を取得するときに最大焦点値を有する焦点位置を選択するように動作可能なオートフォーカッシング・サブモジュールを有する単一センサ・カメラセンサ・モジュールと、ここにおいて、前記オートフォーカッシング・サブモジュールは、静止画像モードにおいて、静止画像を取得するために徹底探索フォーカッシング・プロセスを実行するように構成され、ビデオ・モードにおいて、徹底探索フォーカッシング・プロセスを実行し、前記ビデオ・クリップのリアルタイム取得を達成するためにクライミング・ヒル・フォーカッシング・プロセスが後に続くように構成される、
第1のステージにおいて、前記オートフォーカッシング・サブモジュールからのデータを用いてブロック・レベル奥行きマップを自動的に生成しかつ第2のステージにおいて、画像奥行きマップを生成するように動作可能であり、前記ブロック・レベル奥行きマップは前記取得画像の複数の部分のそれぞれのための奥行き値を含み、前記画像奥行きマップマップは前記複数の部分のうちの1つの部分内の1つのピクセルのためのピクセル奥行き値を含む奥行きマップ生成器アセンブリと、
3次元(3D)立体左及び右視界を生成するために前記取得画像および画像奥行きマップから欠けている第2の視界を生成するように動作可能な画像ペア生成器モジュールと、
を備える、装置。 - 前記画像ペア生成器モジュールは、
前記取得画像は左視界を表わし、前記取得画像に対する両眼視覚幾何学形状の左及び右視界における画像ポイント間のピクセルにおける距離に基づいて視差マップを計算する視差マップ・サブモジュールと、
右視界から前記取得画像に対する3D可視表面を構成するように動作可能なZバッファ3D表面回収サブモジュールと、
前記右視界の3D表面を投影平面上に投影するように動作可能な立体視界生成器サブモジュールと、を備える、請求項1の装置。 - 前記第2のステージにおける奥行きマップ生成器アセンブリは、バイリニア・フィルタでアーテイファクトを低減するように動作可能である、請求項1の装置。
- 前記取得されたビデオ・クリップを符号化しかつ前記ブロック・レベル奥行きマップを計算するためのデータ情報を提供するためのビデオ符号化モジュールをさらに備え、前記ビデオ符号化モジュールは、動き推定を決定するように動作可能であり、前記奥行きマップ生成器アセンブリは、前記第2のステージにおいて、前記画像奥行きが得られる最終のブロック奥行きマップを得るために前記動き推定、前記フォーカッシング・プロセス、及び履歴データ・プラス・ヒューリステイック・ルールからのデータ情報を使用して立体ビデオのリアルタイム取得及び生成のための奥行き情報を検知しかつ推定するように動作可能である、請求項1の装置。
- デイスプレイと、3D左及び右視界を前記デイスプレイ上に表示するための3D効果生成器モジュールとをさらに備える、請求項1の装置。
- 前記3D効果生成器モジュールは、前記デイスプレイ上に前記3D左及び右視界の赤・青立体写真画像を生成するように動作可能である、請求項7の装置。
- 前記モバイル装置は、ハンドヘルド・デジタル・カメラ、カムコーダー、及び単一センサ・カメラ電話のうちの1つを備える、請求項1の装置。
- モバイル装置であって、
単一センサで画像を取得するための手段と、
レンズをオートフォーカッシングする及び全フォーカッシング範囲を通してレンズを移動することにより最良の焦点位置を決定するため及び前記画像を取得するときに最大焦点値を有する焦点位置を選択するための手段と、ここにおいて、前記オートフォーカッシングするための手段は、静止画像モードにおいて、静止画像を取得するために徹底探索フォーカッシング・プロセスを実行するように構成され、ビデオ・モードにおいて、徹底探索フォーカッシング・プロセスを実行し、前記ビデオ・クリップのリアルタイム取得を達成するためにクライミング・ヒル・フォーカッシング・プロセスが後に続くように構成される、
第1のステージにおいて、前記オートフォーカッシング手段からのデータを使用してブロック・レベル奥行きマップを自動的に生成しかつ第2のステージにおいて、画像奥行きマップを生成するための手段であって、前記ブロック・レベル奥行きマップは前記取得画像の複数の部分のそれぞれのための奥行き値を含み、前記画像奥行きマップマップは前記複数の部分のうちの1つの部分内の1つのピクセルのためのピクセル奥行き値を含む、手段と、
三次元(3D)立体左及び右視界を生成するために前記取得画像および画像奥行きマップから欠けている第2の視界を生成するための手段と、を備える装置。 - 前記生成する手段は、前記取得された画像が前記左視界を表わし、前記取得された画像に対する両眼視覚幾何学形状の左及び右視界における画像ポイント間のピクセルにおける距離に基づいて視差マップを計算するための手段と、
欠けている右視点から前記取得された画像に対する3D可視表面を構成するためにZバッファリングで3D表面回復を行うための手段と、
前記構成された3D表面を投影平面上に投影することによって立体視界を生成するための手段とを備える、請求項10の装置。 - 前記第2のステージにおける前記生成する手段はアーテイファクトを低減するための手段を含む、請求項10の装置。
- 取得されたビデオ・クリップをビデオ符号化しかつ統計情報を提供するための手段をさらに備え、前記ビデオ符号化する手段は、動き推定のための手段を含み、前記生成する手段は、画像奥行きマップが得られる最終のブロック奥行きマップを得るために、前記動き推定手段、前記オートフォーカッシング手段、および履歴データおよびヒューリステイック・ルールからの統計情報を用いて立体ビデオのリアルタイム取得および生成のための奥行き情報を検知しかつ推定するための手段を含む、請求項10の装置。
- デイスプレイ、および3D立体左および右視界の3D効果を前記デイスプレイ上で生成するための手段をさらに備える、請求項10の装置。
- 前記3D効果生成手段は、3D立体左および右視界の赤・青立体写真画像を生成する、請求項16の装置。
- 前記モバイル装置は、ハンドヘルド・デジタルカメラ、カムコーダー、および単一センサ・カメラ電話のうちの1つを備える、請求項10の装置。
- リアルタイム立体画像を生成するための方法であって、
単一のセンサで画像を取得するステップと、
レンズをオートフォーカッシングしかつ前記レンズを全フォーカッシング範囲を通して移動しかつ前記画像を取得するときに最大焦点値を有する焦点位置を選択することによって最良の焦点位置を決定するステップと、ここにおいて、前記オートフォーカッシングは、静止画像モードにおいて、静止画像を取得するために徹底探索フォーカッシング・プロセスを実行することと、ビデオ・モードにおいて、徹底探索フォーカッシング・プロセス、および前記ビデオ・クリップのリアルタイム取得を達成するためにクライミング・ヒル・フォーカッシングを開始することを含む、
第1のステージにおいて前記オートフォーカッシング・ステップからのデータを用いてブロック・レベル奥行きマップを生成しかつ第2のステージにおいて画像奥行きマップを生成するステップであって、前記ブロック・レベル奥行きマップは前記取得画像の複数の部分のそれぞれのための奥行き値を含み、前記画像奥行きマップマップは前記複数の部分のうちの1つの部分内の1つのピクセルのためのピクセル奥行き値を含む、ステップと、
三次元(3D)立体左および右視界を生成するために、前記取得画像および画像奥行きマップから欠けている第2の視界を生成するステップを備える、方法。 - 前記生成ステップは、
左視界を表わす取得画像に対する両眼視覚幾何学形状の左および右視界における画像ポイント間のピクセルにおける距離に基づいて視差マップを計算するステップと、
欠けている右視点から取得画像に対する3D可視表面を構成するためにZバッファリングで3D表面回復を行うステップと、
構成された3D表面を投影平面上に投影することによって、欠けている右視界を生成するステップを備える、請求項19の方法。 - 前記第2のステージにおいて前記生成ステップは、アーテイファクトを低減するステップを含む、請求項19の方法。
- ビデオ・クリップをビデオ符号化および動き推定のステップをさらに備え、前記生成ステップは、画像奥行きマップが得られる最終のブロック奥行きマップを得るために、前記動き推定手段、前記オートフォーカッシング手段、および履歴データおよびヒューリステイック・ルールからの統計情報を用いて立体ビデオのリアルタイム取得および生成のための奥行き情報を検知しかつ推定するステップを含む、請求項19の方法。
- 3D立体左および右視界の3D効果をデイスプレイ上に生成するステップをさらに備える、請求項19の方法。
- 前記3D効果を生成するステップは、3D立体左および右視界の赤・青立体写真画像を前記デイスプレイ上に生成するステップを含む、請求項25の方法。
- ビデオ画像取得装置であって、取得されたビデオ・クリップを処理しかつ1つのシーンにおける遠隔オブジェクトの奥行き情報を推定するように動作可能なオートフォーカッシング・モジュールと、
取得されたビデオ・クリップを符号化し、統計情報を提供し、かつ動き推定を決定するように動作可能なビデオ符号化モジュールと、
画像奥行きマップが得られる最終のブロック奥行きマップを得るために、前記動き推定からの統計情報、前記オートフォーカッシング・モジュール処理からの統計情報、および履歴データおよびヒューリステイック・ルールを用いて立体ビデオのリアルタイム取得および生成のための奥行き情報を検知しかつ推定するように動作可能な画像奥行きマップ・モジュールであって、ブロック奥行きマップは前記取得されたビデオ・クリップの複数の部分のそれぞれのための奥行き値を含み、前記画像奥行きマップは前記複数の部分のうちの1つの部分内の1つのピクセルのためのピクセル奥行き値を含む、モジュールを備える装置。 - ビデオ・クリップのリアルタイム取得を達成するための前記オートフォーカッシング・モジュールのフォーカッシング・プロセスは、前記徹底探索フォーカッシング探索フォーカッシング・プロセスで開始され、その後にクライミング・ヒル・フォーカッシング・プロセスが続く、請求項27の装置。
- 三次元(3D)立体左および右視界を生成するために取得画像から欠けている第2の視界を生成するように動作可能な画像ペア生成器モジュールをさらに備える、請求項27の装置。
- 前記3D立体左および右視界の3D効果を表示するように動作可能な3D効果生成器モジュールをさらに備える、請求項29の装置。
- 前記奥行きマップ・モジュールは、現在のフレームnの内部ブロック奥行きマップ(Pn(i、j) )および焦点値マップ(Tn(i、j))を先行のフレームのそれらから下記の式
焦点レンズ位置は最大のFVに対応しかつ最良の選択として扱われ、最終BDMおよびFVマップは下記の式
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/497,906 | 2006-08-01 | ||
US11/497,906 US8970680B2 (en) | 2006-08-01 | 2006-08-01 | Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device |
PCT/US2007/074748 WO2008016882A2 (en) | 2006-08-01 | 2007-07-30 | Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012140053A Division JP5536146B2 (ja) | 2006-08-01 | 2012-06-21 | 平面視低電力モバイル装置における立体画像およびビデオのリアルタイム取得および生成 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009545929A JP2009545929A (ja) | 2009-12-24 |
JP5350241B2 true JP5350241B2 (ja) | 2013-11-27 |
Family
ID=38925520
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009522993A Active JP5350241B2 (ja) | 2006-08-01 | 2007-07-30 | 平面視低電力モバイル装置における立体画像およびビデオのリアルタイム取得および生成 |
JP2012140053A Active JP5536146B2 (ja) | 2006-08-01 | 2012-06-21 | 平面視低電力モバイル装置における立体画像およびビデオのリアルタイム取得および生成 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012140053A Active JP5536146B2 (ja) | 2006-08-01 | 2012-06-21 | 平面視低電力モバイル装置における立体画像およびビデオのリアルタイム取得および生成 |
Country Status (9)
Country | Link |
---|---|
US (2) | US8970680B2 (ja) |
EP (4) | EP2448279B1 (ja) |
JP (2) | JP5350241B2 (ja) |
KR (1) | KR101038402B1 (ja) |
CN (1) | CN101496413B (ja) |
BR (1) | BRPI0715065B1 (ja) |
CA (2) | CA2748558C (ja) |
RU (1) | RU2417548C2 (ja) |
WO (1) | WO2008016882A2 (ja) |
Families Citing this family (115)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8970680B2 (en) | 2006-08-01 | 2015-03-03 | Qualcomm Incorporated | Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device |
KR100866491B1 (ko) * | 2007-01-30 | 2008-11-03 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
US8125510B2 (en) | 2007-01-30 | 2012-02-28 | Ankur Agarwal | Remote workspace sharing |
DE102007021518B4 (de) * | 2007-05-04 | 2009-01-29 | Technische Universität Berlin | Verfahren zum Verarbeiten eines Videodatensatzes |
US8351685B2 (en) * | 2007-11-16 | 2013-01-08 | Gwangju Institute Of Science And Technology | Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same |
DE102008001451A1 (de) * | 2008-04-29 | 2009-11-05 | Robert Bosch Gmbh | Kamera und Verfahren zum Steuern einer Kamera |
WO2010018880A1 (en) * | 2008-08-11 | 2010-02-18 | Postech Academy-Industry Foundation | Apparatus and method for depth estimation from single image in real time |
US8427424B2 (en) | 2008-09-30 | 2013-04-23 | Microsoft Corporation | Using physical objects in conjunction with an interactive surface |
US20100079582A1 (en) * | 2008-10-01 | 2010-04-01 | Dunsmore Clay A | Method and System for Capturing and Using Automatic Focus Information |
US8334893B2 (en) * | 2008-11-07 | 2012-12-18 | Honeywell International Inc. | Method and apparatus for combining range information with an optical image |
KR20110097879A (ko) * | 2008-11-24 | 2011-08-31 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 3d 비디오와 보조 데이터의 조합 |
US8238681B2 (en) * | 2008-11-25 | 2012-08-07 | Nokia Corporation | Adaptive configuration of windows-of-interest for accurate and robust focusing in multispot autofocus cameras |
EP2384584B1 (en) * | 2009-01-30 | 2017-03-15 | Thomson Licensing | Coding of depth maps |
US9313376B1 (en) | 2009-04-01 | 2016-04-12 | Microsoft Technology Licensing, Llc | Dynamic depth power equalization |
EP2417559A4 (en) * | 2009-04-08 | 2015-06-24 | Stergen Hi Tech Ltd | METHOD AND SYSTEM FOR CREATING THREE-DIMENSIONAL VISUALIZABLE VIDEO FROM A SINGLE VIDEO STREAM |
US8504640B2 (en) * | 2009-06-02 | 2013-08-06 | Motorola Solutions, Inc. | Device recruitment for stereoscopic imaging applications |
WO2011014421A2 (en) * | 2009-07-31 | 2011-02-03 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation |
US8436893B2 (en) * | 2009-07-31 | 2013-05-07 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3D) images |
US8508580B2 (en) * | 2009-07-31 | 2013-08-13 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene |
US9380292B2 (en) | 2009-07-31 | 2016-06-28 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene |
US20110032482A1 (en) * | 2009-08-07 | 2011-02-10 | Light Prescriptions Innovators, Llc | 3d autostereoscopic display with true depth perception |
WO2011046607A2 (en) * | 2009-10-14 | 2011-04-21 | Thomson Licensing | Filtering and edge encoding |
US9030469B2 (en) * | 2009-11-18 | 2015-05-12 | Industrial Technology Research Institute | Method for generating depth maps from monocular images and systems using the same |
EP2354893B1 (en) * | 2009-12-31 | 2018-10-24 | Sony Interactive Entertainment Europe Limited | Reducing inertial-based motion estimation drift of a game input controller with an image-based motion estimation |
KR20110090511A (ko) * | 2010-02-04 | 2011-08-10 | 삼성전자주식회사 | 통신 기기에서 3차원 영상을 위한 영상 처리 방법 및 장치 |
US8730309B2 (en) | 2010-02-23 | 2014-05-20 | Microsoft Corporation | Projectors and depth cameras for deviceless augmented reality and interaction |
KR101628383B1 (ko) * | 2010-02-26 | 2016-06-21 | 연세대학교 산학협력단 | 영상 처리 장치 및 방법 |
KR101121264B1 (ko) * | 2010-03-30 | 2012-03-22 | 김길겸 | 입체 영상 카메라 장치 및 이의 구동 방법 |
US8970672B2 (en) | 2010-05-28 | 2015-03-03 | Qualcomm Incorporated | Three-dimensional image processing |
JP5540942B2 (ja) * | 2010-06-29 | 2014-07-02 | 富士通セミコンダクター株式会社 | 処理装置 |
KR101669820B1 (ko) | 2010-07-02 | 2016-10-27 | 삼성전자주식회사 | 볼륨 예측 기반 폐색 영역 양방향 복원 장치 및 방법 |
JP2012023258A (ja) * | 2010-07-16 | 2012-02-02 | Matsumoto Kenzai:Kk | 温度差発電装置及び温度差発電方法 |
KR101688153B1 (ko) * | 2010-08-11 | 2016-12-20 | 엘지전자 주식회사 | 3차원 영상의 편집 방법 및 이를 이용하는 이동 단말기 |
US8947506B2 (en) * | 2010-08-27 | 2015-02-03 | Broadcom Corporation | Method and system for utilizing depth information for generating 3D maps |
US9013552B2 (en) * | 2010-08-27 | 2015-04-21 | Broadcom Corporation | Method and system for utilizing image sensor pipeline (ISP) for scaling 3D images based on Z-depth information |
US8605167B2 (en) | 2010-09-01 | 2013-12-10 | Apple Inc. | Flexible color space selection for auto-white balance processing |
US8531542B2 (en) | 2010-09-01 | 2013-09-10 | Apple Inc. | Techniques for acquiring and processing statistics data in an image signal processor |
US9398205B2 (en) * | 2010-09-01 | 2016-07-19 | Apple Inc. | Auto-focus control using image statistics data with coarse and fine auto-focus scores |
US8922704B2 (en) | 2010-09-01 | 2014-12-30 | Apple Inc. | Techniques for collection of auto-focus statistics |
US8681255B2 (en) | 2010-09-28 | 2014-03-25 | Microsoft Corporation | Integrated low power depth camera and projection device |
US8629913B2 (en) | 2010-09-30 | 2014-01-14 | Apple Inc. | Overflow control techniques for image signal processing |
US8488055B2 (en) | 2010-09-30 | 2013-07-16 | Apple Inc. | Flash synchronization using image sensor interface timing signal |
US8508612B2 (en) | 2010-09-30 | 2013-08-13 | Apple Inc. | Image signal processor line buffer configuration for processing ram image data |
US8786625B2 (en) | 2010-09-30 | 2014-07-22 | Apple Inc. | System and method for processing image data using an image signal processor having back-end processing logic |
US9185388B2 (en) | 2010-11-03 | 2015-11-10 | 3Dmedia Corporation | Methods, systems, and computer program products for creating three-dimensional video sequences |
US8670630B1 (en) | 2010-12-09 | 2014-03-11 | Google Inc. | Fast randomized multi-scale energy minimization for image processing |
KR101777854B1 (ko) | 2010-12-21 | 2017-09-13 | 한국전자통신연구원 | 깊이감 조절 방법과 장치, 이를 구비하는 단말기 및 그 동작 방법 |
US8274552B2 (en) | 2010-12-27 | 2012-09-25 | 3Dmedia Corporation | Primary and auxiliary image capture devices for image processing and related methods |
WO2012092246A2 (en) | 2010-12-27 | 2012-07-05 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3d) content creation |
US10200671B2 (en) | 2010-12-27 | 2019-02-05 | 3Dmedia Corporation | Primary and auxiliary image capture devices for image processing and related methods |
JP2012138787A (ja) * | 2010-12-27 | 2012-07-19 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
US9329469B2 (en) * | 2011-02-17 | 2016-05-03 | Microsoft Technology Licensing, Llc | Providing an interactive experience using a 3D depth camera and a 3D projector |
US9480907B2 (en) | 2011-03-02 | 2016-11-01 | Microsoft Technology Licensing, Llc | Immersive display with peripheral illusions |
EP2698658B1 (en) | 2011-04-15 | 2018-09-12 | Panasonic Corporation | Image pickup apparatus, semiconductor integrated circuit and image pickup method |
US20120268562A1 (en) * | 2011-04-20 | 2012-10-25 | Himax Technologies Limited | Image processing module and image processing method thereof for 2d/3d images conversion and frame rate conversion |
US9597587B2 (en) | 2011-06-08 | 2017-03-21 | Microsoft Technology Licensing, Llc | Locational node device |
JP5824896B2 (ja) * | 2011-06-17 | 2015-12-02 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
US8743180B2 (en) | 2011-06-28 | 2014-06-03 | Cyberlink Corp. | Systems and methods for generating a depth map and converting two-dimensional data to stereoscopic data |
US20130002811A1 (en) * | 2011-06-28 | 2013-01-03 | Bu Lin-Kai | Three-dimensional imaging method using single-lens image-capture apparatus and three-dimensional image enhancement method based on two-dimensional images |
US9270875B2 (en) * | 2011-07-20 | 2016-02-23 | Broadcom Corporation | Dual image capture processing |
US8928737B2 (en) * | 2011-07-26 | 2015-01-06 | Indiana University Research And Technology Corp. | System and method for three dimensional imaging |
KR101888672B1 (ko) * | 2011-07-27 | 2018-08-16 | 엘지디스플레이 주식회사 | 입체영상 표시장치와 그 구동방법 |
JP6110862B2 (ja) * | 2011-09-28 | 2017-04-05 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 画像からの物体距離決定 |
KR101918057B1 (ko) * | 2011-11-30 | 2019-01-30 | 삼성전자주식회사 | 이미지의 깊이 정보를 복원하는 방법 및 장치 |
US9161010B2 (en) | 2011-12-01 | 2015-10-13 | Sony Corporation | System and method for generating robust depth maps utilizing a multi-resolution procedure |
US9414048B2 (en) * | 2011-12-09 | 2016-08-09 | Microsoft Technology Licensing, Llc | Automatic 2D-to-stereoscopic video conversion |
JP2013172190A (ja) * | 2012-02-17 | 2013-09-02 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
US9210405B2 (en) * | 2012-03-22 | 2015-12-08 | Qualcomm Technologies, Inc. | System and method for real time 2D to 3D conversion of video in a digital camera |
US9584793B2 (en) | 2012-04-09 | 2017-02-28 | Intel Corporation | Signaling three-dimensional video information in communication networks |
US8817120B2 (en) | 2012-05-31 | 2014-08-26 | Apple Inc. | Systems and methods for collecting fixed pattern noise statistics of image data |
US9105078B2 (en) | 2012-05-31 | 2015-08-11 | Apple Inc. | Systems and methods for local tone mapping |
US8953882B2 (en) | 2012-05-31 | 2015-02-10 | Apple Inc. | Systems and methods for determining noise statistics of image data |
US9142012B2 (en) | 2012-05-31 | 2015-09-22 | Apple Inc. | Systems and methods for chroma noise reduction |
US9077943B2 (en) | 2012-05-31 | 2015-07-07 | Apple Inc. | Local image statistics collection |
US9014504B2 (en) | 2012-05-31 | 2015-04-21 | Apple Inc. | Systems and methods for highlight recovery in an image signal processor |
US9025867B2 (en) | 2012-05-31 | 2015-05-05 | Apple Inc. | Systems and methods for YCC image processing |
US8872946B2 (en) | 2012-05-31 | 2014-10-28 | Apple Inc. | Systems and methods for raw image processing |
US9743057B2 (en) | 2012-05-31 | 2017-08-22 | Apple Inc. | Systems and methods for lens shading correction |
US11089247B2 (en) | 2012-05-31 | 2021-08-10 | Apple Inc. | Systems and method for reducing fixed pattern noise in image data |
US8917336B2 (en) | 2012-05-31 | 2014-12-23 | Apple Inc. | Image signal processing involving geometric distortion correction |
US9031319B2 (en) | 2012-05-31 | 2015-05-12 | Apple Inc. | Systems and methods for luma sharpening |
US9332239B2 (en) | 2012-05-31 | 2016-05-03 | Apple Inc. | Systems and methods for RGB image processing |
CN102761768A (zh) * | 2012-06-28 | 2012-10-31 | 中兴通讯股份有限公司 | 一种实现立体成像的方法及装置 |
US20140043447A1 (en) * | 2012-08-09 | 2014-02-13 | Sony Corporation | Calibration in the loop |
KR101890133B1 (ko) * | 2012-09-05 | 2018-09-28 | 삼성전자주식회사 | 촬영 장치 및 이의 촬영 방법 |
US9264691B2 (en) * | 2012-09-28 | 2016-02-16 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for backward 3D-view synthesis prediction using neighboring blocks |
TWI508524B (zh) * | 2012-10-26 | 2015-11-11 | Quanta Comp Inc | 裸視立體顯示裝置之自動調校方法及系統 |
CN103905806B (zh) * | 2012-12-26 | 2018-05-01 | 三星电子(中国)研发中心 | 利用单摄像头实现3d拍摄的系统和方法 |
US8983176B2 (en) | 2013-01-02 | 2015-03-17 | International Business Machines Corporation | Image selection and masking using imported depth information |
WO2014147542A1 (en) * | 2013-03-21 | 2014-09-25 | Koninklijke Philips N.V. | View classification-based model initialization |
US9544613B2 (en) * | 2013-04-24 | 2017-01-10 | Sony Corporation | Local detection model (LDM) for recursive motion estimation |
US20150049821A1 (en) * | 2013-08-16 | 2015-02-19 | Qualcomm Incorporated | In-loop depth map filtering for 3d video coding |
WO2015137635A1 (en) * | 2014-03-13 | 2015-09-17 | Samsung Electronics Co., Ltd. | Image pickup apparatus and method for generating image having depth information |
US20150271467A1 (en) * | 2014-03-20 | 2015-09-24 | Neal Weinstock | Capture of three-dimensional images using a single-view camera |
US9196027B2 (en) | 2014-03-31 | 2015-11-24 | International Business Machines Corporation | Automatic focus stacking of captured images |
US9449234B2 (en) | 2014-03-31 | 2016-09-20 | International Business Machines Corporation | Displaying relative motion of objects in an image |
US9300857B2 (en) | 2014-04-09 | 2016-03-29 | International Business Machines Corporation | Real-time sharpening of raw digital images |
US9378554B2 (en) * | 2014-10-09 | 2016-06-28 | Caterpillar Inc. | Real-time range map generation |
CN104794713B (zh) * | 2015-04-15 | 2017-07-11 | 同济大学 | 基于arm和双目视觉的温室作物数字化成像方法 |
US9875443B2 (en) * | 2015-06-18 | 2018-01-23 | TCL Research America Inc. | Unified attractiveness prediction framework based on content impact factor |
US11463676B2 (en) | 2015-08-07 | 2022-10-04 | Medicaltek Co. Ltd. | Stereoscopic visualization system and method for endoscope using shape-from-shading algorithm |
US9715721B2 (en) | 2015-12-18 | 2017-07-25 | Sony Corporation | Focus detection |
EP3185208A1 (en) * | 2015-12-22 | 2017-06-28 | Thomson Licensing | Method for determining missing values in a depth map, corresponding device, computer program product and non-transitory computer-readable carrier medium |
CN105611162A (zh) * | 2015-12-29 | 2016-05-25 | 太仓美宅姬娱乐传媒有限公司 | 一种摄影设备的摄像方法 |
US10341634B2 (en) | 2016-01-29 | 2019-07-02 | Samsung Electronics Co., Ltd. | Method and apparatus for acquiring image disparity |
CN107079102B (zh) | 2016-09-26 | 2019-02-22 | 深圳市大疆创新科技有限公司 | 对焦方法、摄像装置和无人机 |
US10552981B2 (en) | 2017-01-16 | 2020-02-04 | Shapetrace Inc. | Depth camera 3D pose estimation using 3D CAD models |
GB201702386D0 (en) | 2017-02-14 | 2017-03-29 | Bluejay Tech Ltd | System for streaming |
US20200045094A1 (en) * | 2017-02-14 | 2020-02-06 | Bluejay Technologies Ltd. | System for Streaming |
JP7204326B2 (ja) * | 2018-01-15 | 2023-01-16 | キヤノン株式会社 | 情報処理装置及びその制御方法及びプログラム、並びに、車両の運転支援システム |
US10536622B2 (en) * | 2018-05-15 | 2020-01-14 | Sony Corporation | Camera depth prediction using generative adversarial network |
CN111539906B (zh) * | 2019-01-22 | 2024-04-12 | 顺丰科技有限公司 | 装载率测定方法及装置 |
US11330246B2 (en) | 2019-11-21 | 2022-05-10 | Microsoft Technology Licensing, Llc | Imaging system configured to use time-of-flight imaging and stereo imaging |
US11321926B2 (en) * | 2019-12-18 | 2022-05-03 | Apple Inc. | Method and device for content placement |
WO2023184527A1 (en) * | 2022-04-02 | 2023-10-05 | Covidien Lp | System and method for unsupervised stereoscopic reconstruction with disparity consistency |
Family Cites Families (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2928548B2 (ja) * | 1989-08-02 | 1999-08-03 | 株式会社日立製作所 | 立体形状検出方法及びその装置 |
JPH0396178A (ja) | 1989-09-08 | 1991-04-22 | Sanyo Electric Co Ltd | オートフォーカス装置 |
JP3112485B2 (ja) | 1991-01-22 | 2000-11-27 | オリンパス光学工業株式会社 | 立体電子スチルカメラ |
JPH0560528A (ja) * | 1991-09-03 | 1993-03-09 | Hitachi Ltd | 立体情報入力装置 |
JP3096178B2 (ja) | 1992-11-11 | 2000-10-10 | 株式会社エヌ・ティ・ティ・ドコモ | Tdma−tdd無線通信装置の送受信装置 |
AUPN732395A0 (en) * | 1995-12-22 | 1996-01-25 | Xenotech Research Pty Ltd | Image conversion and encoding techniques |
WO1998004087A1 (fr) * | 1996-07-18 | 1998-01-29 | Sanyo Electric Co., Ltd. | Dispositif et procede pour convertir des signaux video bidimensionnels en signaux video tridimensionnels |
JP3957343B2 (ja) | 1996-07-18 | 2007-08-15 | 三洋電機株式会社 | 2次元映像を3次元映像に変換する装置および方法 |
JPH10108152A (ja) | 1996-09-27 | 1998-04-24 | Sanyo Electric Co Ltd | 携帯情報端末 |
US6055330A (en) * | 1996-10-09 | 2000-04-25 | The Trustees Of Columbia University In The City Of New York | Methods and apparatus for performing digital image and video segmentation and compression using 3-D depth information |
JP4698831B2 (ja) * | 1997-12-05 | 2011-06-08 | ダイナミック ディジタル デプス リサーチ プロプライエタリー リミテッド | 画像変換および符号化技術 |
US6128071A (en) * | 1998-06-04 | 2000-10-03 | Canon Kabushiki Kaisha | Range data recordation |
US6347344B1 (en) * | 1998-10-14 | 2002-02-12 | Hitachi, Ltd. | Integrated multimedia system with local processor, data transfer switch, processing modules, fixed functional unit, data streamer, interface unit and multiplexer, all integrated on multimedia processor |
US6816158B1 (en) * | 1998-10-30 | 2004-11-09 | Lemelson Jerome H | Three-dimensional display system |
JP2000251090A (ja) * | 1999-03-01 | 2000-09-14 | Sony Computer Entertainment Inc | 描画装置及び該描画装置で被写界深度を表現する方法 |
JP2001042200A (ja) | 1999-07-30 | 2001-02-16 | Casio Comput Co Ltd | カメラ装置及びズーム動作制御方法 |
JP4126816B2 (ja) | 1999-08-18 | 2008-07-30 | ソニー株式会社 | 画像記録装置及び画像記録方法 |
JP2001061164A (ja) | 1999-08-19 | 2001-03-06 | Toshiba Corp | 立体映像信号伝送方法 |
US6512838B1 (en) | 1999-09-22 | 2003-01-28 | Canesta, Inc. | Methods for enhancing performance and data acquired from three-dimensional image systems |
JP4550211B2 (ja) | 2000-03-21 | 2010-09-22 | オリンパス株式会社 | カメラ |
JP2001346226A (ja) * | 2000-06-02 | 2001-12-14 | Canon Inc | 画像処理装置、立体写真プリントシステム、画像処理方法、立体写真プリント方法、及び処理プログラムを記録した媒体 |
FI109633B (fi) * | 2001-01-24 | 2002-09-13 | Gamecluster Ltd Oy | Menetelmä videokuvan pakkauksen nopeuttamiseksi ja/tai sen laadun parantamiseksi |
JP2003085578A (ja) | 2001-09-14 | 2003-03-20 | Namco Ltd | ゲーム情報、情報記憶媒体、及びゲーム装置 |
JP2003109032A (ja) * | 2001-09-26 | 2003-04-11 | Pioneer Electronic Corp | 画像作成装置及びコンピュータプログラム |
JP2003209858A (ja) | 2002-01-17 | 2003-07-25 | Canon Inc | 立体画像生成方法及び記録媒体 |
JP2003304562A (ja) | 2002-04-10 | 2003-10-24 | Victor Co Of Japan Ltd | オブジェクト符号化方法、オブジェクト符号化装置、及びオブジェクト符号化用プログラム |
US7324116B2 (en) | 2002-06-20 | 2008-01-29 | Microsoft Corporation | Systems and methods for providing controllable texture sampling |
JP2004040445A (ja) | 2002-07-03 | 2004-02-05 | Sharp Corp | 3d表示機能を備える携帯機器、及び3d変換プログラム |
US7321682B2 (en) * | 2002-11-12 | 2008-01-22 | Namco Bandai Games, Inc. | Image generation system, image generation method, program, and information storage medium |
JP4397217B2 (ja) | 2002-11-12 | 2010-01-13 | 株式会社バンダイナムコゲームス | 画像生成システム、画像生成方法、プログラム及び情報記憶媒体 |
AU2002952874A0 (en) * | 2002-11-25 | 2002-12-12 | Dynamic Digital Depth Research Pty Ltd | 3D image synthesis from depth encoded source view |
US7224830B2 (en) * | 2003-02-04 | 2007-05-29 | Intel Corporation | Gesture detection from digital video images |
CN1204757C (zh) * | 2003-04-22 | 2005-06-01 | 上海大学 | 一种立体视频流编码/解码器及其立体视频编解码系统 |
US7171054B2 (en) * | 2003-05-01 | 2007-01-30 | Eastman Kodak Company | Scene-based method for determining focus |
JP2004347871A (ja) | 2003-05-22 | 2004-12-09 | Fuji Photo Film Co Ltd | プロジェクタ及びデジタルカメラ |
JP4525089B2 (ja) * | 2004-01-27 | 2010-08-18 | フジノン株式会社 | オートフォーカスシステム |
US7262767B2 (en) * | 2004-09-21 | 2007-08-28 | Victor Company Of Japan, Limited | Pseudo 3D image creation device, pseudo 3D image creation method, and pseudo 3D image display system |
JP4214529B2 (ja) | 2004-12-28 | 2009-01-28 | 日本ビクター株式会社 | 奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラム |
US7821570B2 (en) | 2005-11-30 | 2010-10-26 | Eastman Kodak Company | Adjusting digital image exposure and tone scale |
US8970680B2 (en) | 2006-08-01 | 2015-03-03 | Qualcomm Incorporated | Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device |
JP5007373B1 (ja) | 2012-03-14 | 2012-08-22 | アルプス電気株式会社 | レンズ駆動装置 |
-
2006
- 2006-08-01 US US11/497,906 patent/US8970680B2/en active Active
-
2007
- 2007-07-30 CN CN2007800278157A patent/CN101496413B/zh active Active
- 2007-07-30 EP EP11184425.4A patent/EP2448279B1/en active Active
- 2007-07-30 KR KR1020097004126A patent/KR101038402B1/ko active IP Right Grant
- 2007-07-30 EP EP07813546A patent/EP2047689A2/en not_active Withdrawn
- 2007-07-30 WO PCT/US2007/074748 patent/WO2008016882A2/en active Application Filing
- 2007-07-30 EP EP12171176.6A patent/EP2498504B1/en active Active
- 2007-07-30 RU RU2009107082/09A patent/RU2417548C2/ru active
- 2007-07-30 CA CA2748558A patent/CA2748558C/en active Active
- 2007-07-30 CA CA2657401A patent/CA2657401C/en active Active
- 2007-07-30 JP JP2009522993A patent/JP5350241B2/ja active Active
- 2007-07-30 EP EP12171172.5A patent/EP2498503B1/en active Active
- 2007-07-30 BR BRPI0715065-2A patent/BRPI0715065B1/pt active IP Right Grant
-
2012
- 2012-06-21 JP JP2012140053A patent/JP5536146B2/ja active Active
-
2014
- 2014-09-19 US US14/491,187 patent/US9509980B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
BRPI0715065A2 (pt) | 2013-05-28 |
EP2498504B1 (en) | 2013-07-24 |
US20150002627A1 (en) | 2015-01-01 |
CN101496413A (zh) | 2009-07-29 |
JP2009545929A (ja) | 2009-12-24 |
CA2748558A1 (en) | 2008-02-07 |
KR101038402B1 (ko) | 2011-06-01 |
JP5536146B2 (ja) | 2014-07-02 |
CA2657401C (en) | 2015-06-02 |
CA2657401A1 (en) | 2008-02-07 |
WO2008016882A3 (en) | 2008-07-03 |
EP2047689A2 (en) | 2009-04-15 |
RU2417548C2 (ru) | 2011-04-27 |
WO2008016882A2 (en) | 2008-02-07 |
US8970680B2 (en) | 2015-03-03 |
US9509980B2 (en) | 2016-11-29 |
EP2498503B1 (en) | 2015-06-24 |
BRPI0715065B1 (pt) | 2020-09-15 |
CN101496413B (zh) | 2011-09-07 |
EP2498503A1 (en) | 2012-09-12 |
EP2448279A3 (en) | 2012-05-09 |
KR20090035024A (ko) | 2009-04-08 |
RU2009107082A (ru) | 2010-09-27 |
EP2498504A1 (en) | 2012-09-12 |
US20080031327A1 (en) | 2008-02-07 |
CA2748558C (en) | 2014-06-03 |
JP2012231508A (ja) | 2012-11-22 |
EP2448279A2 (en) | 2012-05-02 |
EP2448279B1 (en) | 2013-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5350241B2 (ja) | 平面視低電力モバイル装置における立体画像およびビデオのリアルタイム取得および生成 | |
US8330801B2 (en) | Complexity-adaptive 2D-to-3D video sequence conversion | |
JP5156837B2 (ja) | 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法 | |
WO2013099169A1 (ja) | ステレオ撮影装置 | |
JP2011166264A (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム | |
US20080002878A1 (en) | Method For Fast Stereo Matching Of Images | |
JP2015102794A (ja) | 複眼撮像装置 | |
JP2009047497A (ja) | 立体撮像装置および立体撮像装置の制御方法並びにプログラム | |
KR101926498B1 (ko) | 스테레오 영상 정합 장치 및 이의 정합 방법 | |
JP5871113B2 (ja) | 立体画像生成装置、立体画像生成方法及び立体画像生成プログラム | |
KR101626679B1 (ko) | 2d 영상으로부터 입체 영상을 생성하는 방법 및 이를 기록한 기록 매체 | |
Galabov | 3D Capturing with monoscopic camera | |
Dehan et al. | Layered view synthesis for general images | |
KR20230155939A (ko) | 영상 분석 장치 및 방법 | |
Wafa | Automatic real-time 2D-to-3D video conversion | |
KR102061017B1 (ko) | 스테레오 영상 정합 장치 및 그 방법 | |
Ideses et al. | 3D from arbitrary 2D video | |
Dane et al. | Multiview synthesis for autostereoscopic displays |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110607 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110905 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120321 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120621 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130529 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20130607 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130723 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130821 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5350241 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |