JP4887376B2 - ステレオビジョンにおいて密な視差場を求める方法 - Google Patents
ステレオビジョンにおいて密な視差場を求める方法 Download PDFInfo
- Publication number
- JP4887376B2 JP4887376B2 JP2008546656A JP2008546656A JP4887376B2 JP 4887376 B2 JP4887376 B2 JP 4887376B2 JP 2008546656 A JP2008546656 A JP 2008546656A JP 2008546656 A JP2008546656 A JP 2008546656A JP 4887376 B2 JP4887376 B2 JP 4887376B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- optical flow
- parallax
- camera
- objective function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Vascular Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Description
出願人は、たとえエピポーラ幾何により課せられる拘束をオプティカルフロー技術に導入することによって2つの画像間の視差場の計算が改善できたとしても、上記引用文献に記載の技術は課題を抱えていることが分かった。
・同じ場面の第1の画像及び第2の画像を該同じ場面に関係した2つの異なる位置から取り込むステップ;及び
・第2の画像の各ピクセルについて、第1の画像中のポイントから、オプティカルフロー目的関数を最小化する第2の画像の当該ピクセルまでの動きを求めるステップ;
を含み、オプティカルフロー目的関数は、第2の画像の各ピクセルについて、当該ピクセルに関連付けられたエピポーラ線と第1の画像の上記ポイントとの間の距離に単調増加的に依存した項を含む。
− 第1の画像中の特徴を識別するステップ;
− 該特徴について第2の画像への変位を求めるステップ;
− この関連スポットについて第2の画像への変位を補間するステップ;
により決定できる。
以下、限定するものではないが、本発明の態様を示す添付の図面に関して本発明を説明する。
図1では、複数のカメラを有するビデオ・キャプチャー・システムを全体としてSで示す。特に、システムSは、同じ場面について異なる位置から撮影でき、かつそのようにして得られた画像間の密な視差場を求めることができる。
ここで、すべての要素は一意的な座標対x、yを有するピクセルに対応している。
演算子Mは、座標(x−u(x,y),y−v(x,y))がフレームの外部に存在すべきピクセルについて適当な規則を用いることにより、双一次補間、双三次補間又は他の補間により実現し得る。この場合、例えば、この演算子は、特定の座標に最も近くかつ画像に属しているピクセルの色を提供できる。
T2 第2のカメラ
IM1 デジタル画像
IM2 デジタル画像
CM カメラ校正モジュール
PU 処理装置
Claims (12)
- デジタル画像間の密な視差場を求める方法であって、
・同じ場面の第1の画像及び第2の画像を前記同じ場面に関係した2つの異なる位置にある第1のカメラ及び第2のカメラからそれぞれ取り込むステップ;
・第2の画像の各ピクセルについて、第1の画像中のポイントから、オプティカルフロー目的関数を最小化する第2の画像の前記ピクセルまでの視差を求めるステップ;
を含み、オプティカルフロー目的関数は、第2の画像の前記ピクセルの各々について、前記ピクセルに関連付けられたエピポーラ線と第1の画像の前記ポイントとの間の距離に単調増加的に依存した項を含み、前記項は、前記第1のカメラ及び前記第2のカメラの一方又は双方の校正データの不確かさに依存して重み付けされた、方法。 - 校正データの前記不確かさは、前記第1のカメラ及び前記第2のカメラの一方又は双方を校正する際に生じると推定される誤差を含む、請求項1に記載の方法。
- 前記項が前記第1のカメラ及び第2のカメラの校正パラメータに依存する、請求項1又は2に記載の方法。
- 前記項が、前記ピクセルに関連付けられたエピポーラ線と第1の画像の前記ポイントとの間の距離の2乗に比例している請求項1〜3のいずれか一項に記載の方法。
- オプティカルフロー目的関数を最小化する前記視差が残差視差成分を表し、前記方法が前記残差視差成分を求める前に、前記残差成分が追加される前の視差成分を求めるステップを含む、請求項1〜4のいずれか一項に記載の方法。
- 前記前の視差成分を求めるステップが、
− 第1の画像上の特徴ポイントを識別するステップ;
− 前記特徴ポイントについて第2の画像上への変位を求めるステップ;
− 前記特徴ポイントについて第2の画像上への変位を補間するステップ;
を含む請求項5に記載の方法。 - 前記前の視差成分を求めるステップが、少なくとも1回前記オプティカルフロー目的関数を最小化することを含む請求項5に記載の方法。
- 前記第1の画像及び第2の画像が、より低い解像度の少なくとも1つのバージョンと、より高い解像度の1つのバージョンとからなり、前記前の視差成分を求めるステップが、前記より低い解像度のバージョンについて前記オプティカルフロー目的関数を最小化することを含み、前記残差視差成分を求めるステップが、前記より高い解像度のバージョンについて前記オプティカルフロー目的関数を最小化することを含む、請求項5に記載の方法。
- オプティカルフロー目的関数が、輝度変化拘束式(BCCE)のテーラー展開により得られた第1の項を含む請求項1〜8のいずれか一項に記載の方法。
- オプティカルフロー目的関数が、前記視差の空間成分の第2導関数がほぼゼロである条件を課すことによって得られた第2の項を含む請求項1〜9のいずれか一項に記載の方法。
- 同じ場面について2つの異なる位置から少なくとも2つの画像を撮影できる少なくとも1台のカメラと、これら2つの画像を受信できると共に請求項1〜10のいずれか一項に記載の方法により前記画像を処理するよう構成された処理装置とを備えたステレオビジョンシステム。
- 異なる位置に配置された2台のカメラを備えた請求項11に記載のシステム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/IB2005/003840 WO2007072102A1 (en) | 2005-12-21 | 2005-12-21 | Method for determining dense disparity fields in stereo vision |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009520975A JP2009520975A (ja) | 2009-05-28 |
JP4887376B2 true JP4887376B2 (ja) | 2012-02-29 |
Family
ID=36237933
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008546656A Expired - Fee Related JP4887376B2 (ja) | 2005-12-21 | 2005-12-21 | ステレオビジョンにおいて密な視差場を求める方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8160353B2 (ja) |
EP (1) | EP1964412B1 (ja) |
JP (1) | JP4887376B2 (ja) |
CN (1) | CN101347000B (ja) |
WO (1) | WO2007072102A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW200937348A (en) * | 2008-02-19 | 2009-09-01 | Univ Nat Chiao Tung | Calibration method for image capturing device |
US8120644B2 (en) | 2009-02-17 | 2012-02-21 | Autoliv Asp, Inc. | Method and system for the dynamic calibration of stereovision cameras |
ES2361758B1 (es) * | 2009-12-10 | 2012-04-27 | Universitat De Les Illes Balears | Procedimiento de establecimiento de correspondencia entre una primera imagen digital y una segunda imagen digital de una misma escena para la obtención de disparidades. |
JP5437087B2 (ja) | 2010-01-15 | 2014-03-12 | オリンパス株式会社 | 内視鏡装置およびプログラム |
DE102011081428A1 (de) * | 2011-08-23 | 2013-02-28 | Robert Bosch Gmbh | Verfahren zum Bestimmen einer Objektklasse eines Objekts, von dem aus Licht zu einem Fahrzeug ausgesandt und/oder reflektiert wird |
EP3100177A1 (en) * | 2014-01-30 | 2016-12-07 | Huawei Technologies Co., Ltd. | Method for recognizing objects |
US9626590B2 (en) * | 2015-09-18 | 2017-04-18 | Qualcomm Incorporated | Fast cost aggregation for dense stereo matching |
US10151805B2 (en) * | 2015-12-18 | 2018-12-11 | Stmicroelectronics, Inc. | Method for calibration of magnetic sensor |
US11025887B2 (en) * | 2017-02-27 | 2021-06-01 | Sony Corporation | Field calibration of stereo cameras with a projector |
CN106973293B (zh) * | 2017-04-21 | 2020-10-27 | 中国科学技术大学 | 基于视差预测的光场图像编码方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0814828A (ja) * | 1994-06-29 | 1996-01-19 | Kobe Steel Ltd | ステレオ画像センサのキャリブレーション方法及びその装置 |
US20030086590A1 (en) * | 2001-11-05 | 2003-05-08 | Koninklijke Philips Electronics N.V. | Method for computing optical flow under the epipolar constraint |
JP2005140623A (ja) * | 2003-11-06 | 2005-06-02 | Nippon Telegr & Teleph Corp <Ntt> | 画像計測方法、装置、プログラム及び記録媒体 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2700654B1 (fr) * | 1993-01-19 | 1995-02-17 | Thomson Csf | Procédé d'estimation de disparité entre les images monoscopiques constituant une image stéréoscopiques. |
US5764871A (en) | 1993-10-21 | 1998-06-09 | Eastman Kodak Company | Method and apparatus for constructing intermediate images for a depth image from stereo images using velocity vector fields |
US6046763A (en) * | 1997-04-11 | 2000-04-04 | Nec Research Institute, Inc. | Maximum flow method for stereo correspondence |
US20020012459A1 (en) * | 2000-06-22 | 2002-01-31 | Chips Brain Co. Ltd. | Method and apparatus for detecting stereo disparity in sequential parallel processing mode |
US8625678B2 (en) | 2005-09-29 | 2014-01-07 | Telecom Italia S.P.A. | Method for scalable video coding on a plurality of space resolution levels |
EP1958458B1 (en) | 2005-11-30 | 2016-08-17 | Telecom Italia S.p.A. | Method for determining scattered disparity fields in stereo vision |
-
2005
- 2005-12-21 US US12/085,854 patent/US8160353B2/en not_active Expired - Fee Related
- 2005-12-21 JP JP2008546656A patent/JP4887376B2/ja not_active Expired - Fee Related
- 2005-12-21 WO PCT/IB2005/003840 patent/WO2007072102A1/en active Application Filing
- 2005-12-21 EP EP05826173.6A patent/EP1964412B1/en not_active Not-in-force
- 2005-12-21 CN CN2005800523751A patent/CN101347000B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0814828A (ja) * | 1994-06-29 | 1996-01-19 | Kobe Steel Ltd | ステレオ画像センサのキャリブレーション方法及びその装置 |
US20030086590A1 (en) * | 2001-11-05 | 2003-05-08 | Koninklijke Philips Electronics N.V. | Method for computing optical flow under the epipolar constraint |
JP2005140623A (ja) * | 2003-11-06 | 2005-06-02 | Nippon Telegr & Teleph Corp <Ntt> | 画像計測方法、装置、プログラム及び記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
WO2007072102A1 (en) | 2007-06-28 |
EP1964412A1 (en) | 2008-09-03 |
EP1964412B1 (en) | 2019-02-20 |
JP2009520975A (ja) | 2009-05-28 |
CN101347000B (zh) | 2010-09-01 |
US8160353B2 (en) | 2012-04-17 |
CN101347000A (zh) | 2009-01-14 |
US20100215248A1 (en) | 2010-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4887376B2 (ja) | ステレオビジョンにおいて密な視差場を求める方法 | |
JP5997645B2 (ja) | 画像処理装置及び方法、及び撮像装置 | |
Morimoto et al. | Evaluation of image stabilization algorithms | |
Forssén et al. | Rectifying rolling shutter video from hand-held devices | |
US7565029B2 (en) | Method for determining camera position from two-dimensional images that form a panorama | |
JP5285619B2 (ja) | カメラシステムのキャリブレーション | |
US20130176392A1 (en) | Method And System For Determining Camera Parameters From A Long Range Gradient Based On Alignment Differences In Non-Point Image Landmarks | |
GB2372659A (en) | A method of rectifying a stereoscopic image | |
JP2017531976A (ja) | アレイカメラを動的に較正するためのシステム及び方法 | |
WO2001004837A2 (en) | Method and apparatus for detecting independent motion in three-dimensional scenes | |
WO2002045003A1 (en) | Techniques and systems for developing high-resolution imagery | |
WO1998021690A1 (en) | Multi-view image registration with application to mosaicing and lens distortion correction | |
JP2005244916A (ja) | 画像処理装置 | |
Morimoto et al. | Fast 3D stabilization and mosaic construction | |
KR100951309B1 (ko) | 광학식 모션 캡처 장비를 위한 다중 카메라 보정 방법 | |
JP2000152073A (ja) | ひずみ補正方法 | |
JP4102386B2 (ja) | 3次元情報復元装置 | |
CN100481944C (zh) | 对数字化图像实施由计算机支持的运动补偿的方法和装置 | |
US8571356B2 (en) | Image processing apparatus, image processing method, and image processing program | |
US20030202701A1 (en) | Method and apparatus for tie-point registration of disparate imaging sensors by matching optical flow | |
Galego et al. | Auto-calibration of pan-tilt cameras including radial distortion and zoom | |
WO2020144760A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
KR101550665B1 (ko) | 최적 계층적 블록 매칭 방법 및 시스템, 이를 이용한 영상 정합 방법 및 영상 압축 방법 | |
Lan et al. | Direct linear sub-pixel correlation by incorporation of neighbor pixels' information and robust estimation of window transformation | |
Wei et al. | Gyroscope and visual fusion solution for digital video stabilization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20090728 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20100727 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100825 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20110117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110810 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111205 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111212 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141216 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4887376 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |