JP5425897B2 - 前方及び後方の深度予測を伴う、画像の深度抽出のシステム及び方法 - Google Patents
前方及び後方の深度予測を伴う、画像の深度抽出のシステム及び方法 Download PDFInfo
- Publication number
- JP5425897B2 JP5425897B2 JP2011511572A JP2011511572A JP5425897B2 JP 5425897 B2 JP5425897 B2 JP 5425897B2 JP 2011511572 A JP2011511572 A JP 2011511572A JP 2011511572 A JP2011511572 A JP 2011511572A JP 5425897 B2 JP5425897 B2 JP 5425897B2
- Authority
- JP
- Japan
- Prior art keywords
- depth map
- image
- disparity
- frames
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 47
- 238000000605 extraction Methods 0.000 title description 13
- 238000012545 processing Methods 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 description 48
- 230000008569 process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 8
- 238000013459 approach Methods 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 238000012805 post-processing Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Description
ここで、d(.)はディスパリティ・フィールドであり、d(x,y)は、座標(x,y)を有する、左眼画像内の点のディスパリティ値を表し、Cは全体コスト関数であり、Cpは画素マッチング・コスト関数であり、Csは平滑度コスト関数である。平滑度コスト関数は、ディスパリティ・マップの平滑度を実現するために使用される関数である。最適化処理中、上記コスト・ファンクショナルは、ディスパリティ・フィールド全てに対して最小化される。局所最適化の場合、平滑度の項Csが廃棄される。したがって、最適化処理中、平滑度は考慮に入れられない。Cpは、他の形式のうちでも、画素強度の平均二乗差としてモデリングすることが可能である。
(i−1)番目の左画像604及び(i−1)番目の右画像606から、(i−1)番目のフレームにおいて推定される深度マップが「di−1(.)」として表されるものとする。予測深度マップd+(.)が、Uhフレームにおいて深度マップを予測するために使用される。予測深度マップd+(.)は工程608で、(i−1)番目のフレームにおける深度マップをi番目のフレームに内挿することによって算出される。一実施例では、単純な内挿処理が使用される。ここで、予測深度マップは、動き情報を考慮に入れることなく、(i−1)番目のフレームにおける深度マップに等しい(すなわち、i.e. d+(.)=di−1(.)である。
予測深度マップを考慮に入れると、全体深度コスト関数における時間予測項は、
工程610では、コスト関数は、現在のフレームについて2つの入力画像(すなわち、i番目の左画像612及びi番目の右画像614)から算出される。コスト関数は、工程616において、最終的な深度マップ結果を得るよう最小化される、工程618では、予測深度マップ(工程608において求められる)は、(式4に示す)計算を高速化させるように最小化処理(最小化ブロック616)を初期化するために使用される。
C(d(.))=Cp(d(.))+λCs(d(.))+μCt(d(.)) (5)
であり、ここで、μは、全体コスト関数における時間予測コスト関数を重み付けするための重み付け係数である。μは経験的に求めることが可能である。
z=Bf/d
を使用して、深度値z(シーン点からカメラまでの距離)に変換される。ここで、Bは基準線とも呼ばれる、2つのカメラ間の距離であり、fはカメラの焦点距離である。少なくとも1つの画像それぞれ(例えば、左眼ビュー画像)の深度値が深度マップに記憶される。対応する画像及び関連付けられた深度マップが、例えば、記憶装置124において、記憶され、3Dプレイバックのために取り出すことができる(工程214)。更に、動画像又はビデオ・クリップの画像全てを、動画像又はクリップの立体視版を表す単一のディジタル・ファイル130に、関連付けられた深度マップとともに記憶することが可能である。ディジタル・ファイル130は、後に、例えば、フィルム・オリジナルの立体視版をプリントするために取り出すために記憶装置124に記憶することができる。
Claims (12)
- コンピュータにおいて、少なくとも2つの画像をマッチングする方法であって、
複数のフレームを取得する工程であって、前記複数のフレームにおける各フレームは第1の画像及び第2の画像を含む工程と、
前記複数のフレーム内の先行フレームの深度マップに基づいて前記複数のフレームにおける現在のフレームの第1の深度マップを生成する工程と、
前記複数のフレーム内の後続フレームの深度マップに基づいて前記複数のフレームにおける前記現在のフレームの第2の深度マップを生成する工程と、
前記第1の深度マップ及び前記第2の深度マップを処理して前記現在のフレームの第3の深度マップを生成する工程と
を含み、
第1の深度マップを生成する工程及び第2の深度マップを生成する工程は、
前記第1の画像内の少なくとも1つの点の、前記第2の画像内の対応する少なくとも1つの点とのディスパリティを推定する工程であって、低コスト最適化関数を行う工程、及び前記低コスト最適化関数の結果に基づいて確率伝播関数を計算する工程を含む工程と、
前記推定されたディスパリティに基づいてディスパリティ・マップを生成する工程と、
前記推定されたディスパリティ・マップを深度マップに変換する工程と
を含む方法。 - 請求項1記載の方法であって、前記第1の深度マップは前記先行フレームの前記深度マップに基づいた誤差を含み、前記第2の深度マップは前記誤差を低減させるための補正を含む方法。
- 請求項1記載の方法であって、前記ディスパリティを推定する工程は、画素マッチング・コスト関数を計算する工程を含む方法。
- 請求項1記載の方法であって、前記ディスパリティを推定する工程は、平滑度コスト関数を計算する工程を含む方法。
- 請求項1記載の方法であって、前記ディスパリティを推定する工程は、時間コスト関数を計算する工程を含む方法。
- 請求項1記載の方法であって、前記第1の画像が立体視対の左眼ビューであり、第2の画像が立体視対の右眼ビューである方法。
- 少なくとも2つの画像をマッチングするシステムであって、
複数のフレームを取得する手段であって、前記複数のフレームにおける各フレームは第1の画像及び第2の画像を含む手段と、
前記複数のフレーム内の先行フレームの深度マップに基づいて前記複数のフレームにおける現在のフレームの第1の深度マップを生成する手段と、
前記複数のフレーム内の後続フレームの深度マップに基づいて前記複数のフレームにおける前記現在のフレームの第2の深度マップを生成する手段と、
前記第1の深度マップ及び前記第2の深度マップを処理して前記現在のフレームの第3の深度マップを生成する手段と
を備え、
第1の深度マップを生成する手段及び第2の深度マップを生成する手段は、
前記第1の画像内の少なくとも1つの点の、前記第2の画像内の対応する少なくとも1つの点とのディスパリティを推定する手段であって、低コスト最適化関数を行う手段、及び前記低コスト最適化関数の結果に基づいて確率伝播関数を計算する手段を備える手段と、
前記推定されたディスパリティに基づいてディスパリティ・マップを生成する手段と、
前記推定されたディスパリティ・マップを深度マップに変換する手段と
を備えるシステム。 - 請求項7記載のシステムであって、前記第1の深度マップは前記先行フレームの前記深度マップに基づいた誤差を含み、前記第2の深度マップは前記誤差を削減するための補正を含むシステム。
- 請求項7記載のシステムであって、前記ディスパリティを推定する手段は、画素マッチング・コスト関数を計算する手段を含むシステム。
- 請求項7記載のシステムであって、前記ディスパリティを推定する手段は、平滑度コスト関数を計算する手段を含むシステム。
- 請求項7記載のシステムであって、前記ディスパリティを推定する手段は、時間コスト関数を計算する手段を含むシステム。
- 請求項7記載のシステムであって、前記第1の画像が立体視対の左眼ビューであり、第2の画像が立体視対の右眼ビューであるシステム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2008/006770 WO2009145749A1 (en) | 2008-05-28 | 2008-05-28 | System and method for depth extraction of images with forward and backward depth prediction |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011524120A JP2011524120A (ja) | 2011-08-25 |
JP5425897B2 true JP5425897B2 (ja) | 2014-02-26 |
Family
ID=40467042
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011511572A Active JP5425897B2 (ja) | 2008-05-28 | 2008-05-28 | 前方及び後方の深度予測を伴う、画像の深度抽出のシステム及び方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9659382B2 (ja) |
EP (1) | EP2291825B1 (ja) |
JP (1) | JP5425897B2 (ja) |
CN (1) | CN102047288B (ja) |
CA (1) | CA2726208C (ja) |
WO (1) | WO2009145749A1 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8405742B2 (en) * | 2008-12-30 | 2013-03-26 | Massachusetts Institute Of Technology | Processing images having different focus |
KR20120123087A (ko) * | 2010-01-13 | 2012-11-07 | 톰슨 라이센싱 | 3d 텍스트를 3d 콘텐츠와 결합하기 위한 시스템 및 방법 |
KR101813299B1 (ko) | 2010-04-01 | 2017-12-28 | 톰슨 라이센싱 | 3차원(3d) 표시에 있어서 플로팅 윈도우를 사용하는 방법과 시스템 |
JP5197683B2 (ja) * | 2010-06-30 | 2013-05-15 | 株式会社東芝 | 奥行き信号生成装置及び方法 |
US8428342B2 (en) | 2010-08-12 | 2013-04-23 | At&T Intellectual Property I, L.P. | Apparatus and method for providing three dimensional media content |
KR101669840B1 (ko) * | 2010-10-21 | 2016-10-28 | 삼성전자주식회사 | 다시점 비디오로부터 일관성 있는 변이를 추정하는 변이 추정 시스템 및 방법 |
KR101682137B1 (ko) * | 2010-10-25 | 2016-12-05 | 삼성전자주식회사 | 텍스처 및 움직임 감지를 사용한 시간적으로-일관된 변이 추정을 위한 방법 및 장치 |
US9470778B2 (en) * | 2011-03-29 | 2016-10-18 | Microsoft Technology Licensing, Llc | Learning from high quality depth measurements |
JP2013090019A (ja) * | 2011-10-14 | 2013-05-13 | Hitachi Consumer Electronics Co Ltd | 映像出力装置および映像出力方法 |
WO2013058735A1 (en) | 2011-10-18 | 2013-04-25 | Hewlett-Packard Development Company, L.P. | Depth mask assisted video stabilization |
US9672609B1 (en) * | 2011-11-11 | 2017-06-06 | Edge 3 Technologies, Inc. | Method and apparatus for improved depth-map estimation |
KR101706216B1 (ko) * | 2012-04-03 | 2017-02-13 | 한화테크윈 주식회사 | 고밀도 삼차원 영상 재구성 장치 및 방법 |
EP2839639A4 (en) | 2012-04-19 | 2016-01-06 | Intel Corp | THREE-DIMENSIONAL VIDEO CODING (3D) INCLUDING DEPARTIVITY VECTOR CALIBRATION BASED ON DEPTH |
US20130329985A1 (en) * | 2012-06-07 | 2013-12-12 | Microsoft Corporation | Generating a three-dimensional image |
WO2015012659A1 (en) * | 2013-07-26 | 2015-01-29 | Samsung Electronics Co., Ltd. | Two way local feature matching to improve visual search accuracy |
TWI528783B (zh) * | 2014-07-21 | 2016-04-01 | 由田新技股份有限公司 | 產生深度影像之方法及其系統及電腦程式產品 |
US20170127039A1 (en) * | 2015-11-02 | 2017-05-04 | Mediatek Inc. | Ultrasonic proximity detection system |
JP6391629B2 (ja) * | 2016-06-27 | 2018-09-19 | トムソン ライセンシングThomson Licensing | 3dテキストを3dコンテンツと合成するシステムおよび方法 |
US11503266B2 (en) * | 2020-03-06 | 2022-11-15 | Samsung Electronics Co., Ltd. | Super-resolution depth map generation for multi-camera or other environments |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4925294A (en) * | 1986-12-17 | 1990-05-15 | Geshwind David M | Method to convert two dimensional motion pictures for three-dimensional systems |
JP2681941B2 (ja) | 1987-09-14 | 1997-11-26 | ソニー株式会社 | 画像処理装置 |
US5179441A (en) * | 1991-12-18 | 1993-01-12 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Near real-time stereo vision system |
US6046763A (en) * | 1997-04-11 | 2000-04-04 | Nec Research Institute, Inc. | Maximum flow method for stereo correspondence |
US5917937A (en) * | 1997-04-15 | 1999-06-29 | Microsoft Corporation | Method for performing stereo matching to recover depths, colors and opacities of surface elements |
JPH11113028A (ja) * | 1997-09-30 | 1999-04-23 | Toshiba Corp | 3次元映像表示装置 |
JP3745117B2 (ja) * | 1998-05-08 | 2006-02-15 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
EP1418766A3 (en) * | 1998-08-28 | 2010-03-24 | Imax Corporation | Method and apparatus for processing images |
US6756993B2 (en) * | 2001-01-17 | 2004-06-29 | The University Of North Carolina At Chapel Hill | Methods and apparatus for rendering images using 3D warping techniques |
GB0125774D0 (en) * | 2001-10-26 | 2001-12-19 | Cableform Ltd | Method and apparatus for image matching |
US7688349B2 (en) * | 2001-12-07 | 2010-03-30 | International Business Machines Corporation | Method of detecting and tracking groups of people |
US7184071B2 (en) * | 2002-08-23 | 2007-02-27 | University Of Maryland | Method of three-dimensional object reconstruction from a video sequence using a generic model |
US7034835B2 (en) * | 2002-11-29 | 2006-04-25 | Research In Motion Ltd. | System and method of converting frame-based animations into interpolator-based animations |
US6847728B2 (en) * | 2002-12-09 | 2005-01-25 | Sarnoff Corporation | Dynamic depth recovery from multiple synchronized video streams |
DE60325954D1 (de) * | 2003-07-07 | 2009-03-12 | St Microelectronics Srl | Graphisches System mit einer Graphikdatenpipeline, Verfahren zur Pipeline-Verarbeitung und Computerprogrammprodukt |
WO2005086078A1 (en) * | 2004-03-02 | 2005-09-15 | Sarnoff Corporation | Method and apparatus for classifying an object |
GB2418314A (en) * | 2004-09-16 | 2006-03-22 | Sharp Kk | A system for combining multiple disparity maps |
US7468745B2 (en) * | 2004-12-17 | 2008-12-23 | Mitsubishi Electric Research Laboratories, Inc. | Multiview video decomposition and encoding |
US7512262B2 (en) * | 2005-02-25 | 2009-03-31 | Microsoft Corporation | Stereo-based image processing |
CN102685533B (zh) * | 2006-06-23 | 2015-03-18 | 图象公司 | 对2d电影进行转换用于立体3d显示的方法和系统 |
WO2008041178A2 (en) | 2006-10-04 | 2008-04-10 | Koninklijke Philips Electronics N.V. | Image enhancement |
CN100539710C (zh) * | 2007-06-21 | 2009-09-09 | 清华大学 | 基于光流场的平面视频转立体视频的方法 |
-
2008
- 2008-05-28 US US12/994,894 patent/US9659382B2/en active Active
- 2008-05-28 CN CN200880129526.2A patent/CN102047288B/zh active Active
- 2008-05-28 WO PCT/US2008/006770 patent/WO2009145749A1/en active Application Filing
- 2008-05-28 CA CA2726208A patent/CA2726208C/en active Active
- 2008-05-28 EP EP08754772.5A patent/EP2291825B1/en active Active
- 2008-05-28 JP JP2011511572A patent/JP5425897B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
WO2009145749A1 (en) | 2009-12-03 |
US9659382B2 (en) | 2017-05-23 |
CN102047288A (zh) | 2011-05-04 |
EP2291825A1 (en) | 2011-03-09 |
US20110069064A1 (en) | 2011-03-24 |
JP2011524120A (ja) | 2011-08-25 |
CN102047288B (zh) | 2014-04-23 |
CA2726208A1 (en) | 2009-12-03 |
CA2726208C (en) | 2018-04-03 |
EP2291825B1 (en) | 2013-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5425897B2 (ja) | 前方及び後方の深度予測を伴う、画像の深度抽出のシステム及び方法 | |
JP5153940B2 (ja) | 動き補償を用いた画像の奥行き抽出のためのシステムおよび方法 | |
JP5156837B2 (ja) | 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法 | |
JP5429896B2 (ja) | 立体動画による潜在的眼精疲労を測定するシステムおよび方法 | |
JP5160640B2 (ja) | 画像のステレオ・マッチングのためのシステム及び方法 | |
JP4892113B2 (ja) | 画像処理方法及び装置 | |
JP7159198B2 (ja) | 奥行きマップを処理するための装置及び方法 | |
KR20110090488A (ko) | 시차 서페이스 렌더링을 이용하여 시점을 생성하는 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110502 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120925 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20121221 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20130104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130325 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131029 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131127 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5425897 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |