JP6636963B2 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP6636963B2 JP6636963B2 JP2017004522A JP2017004522A JP6636963B2 JP 6636963 B2 JP6636963 B2 JP 6636963B2 JP 2017004522 A JP2017004522 A JP 2017004522A JP 2017004522 A JP2017004522 A JP 2017004522A JP 6636963 B2 JP6636963 B2 JP 6636963B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- rectification
- unit
- parallax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Description
(構成)
図1は、本実施形態に係わる画像処理装置のブロック図である。
さらになお、レクティフィケーション部13を、マッチング部14等を含む半導体装置とは別の半導体装置にしてもよい。
レクティフィケーション部13は、例えば、平行化パラメータ情報PPに応じて、入力画素と出力画素の対応関係を示すテーブルを選択し、そのテーブルを用いて、画像G1,G2の両方あるいは一方に対して画像変換を行う。画像変換には、ホモグラフィ変換も含まれる。
さらになお、画像変換処理後に、各画像データに対してフィルタリング処理を行ってもよい。
マッチング部14は、一方の画像上の各画素が、他方の画像上のどの位置にあるかを判定するためのステレオマッチング処理を実行し、視差情報を出力する回路である。すなわち、マッチング部14は、カメラ11,12により撮像して得られた2つの画像のステレオマッチング処理を行う。
画像G1cは、画像G1に対して平行化処理された画像であり、画像G2cは、画像G2に対して平行化処理された画像である。
ブロックWは、k×mのブロックであり、ブロックW内で、2つの画像の一方における点(画素)の対応点が、ステレオマッチング処理により検出される。図3では、一方の画像における点P1と、他方の画像における対応点P2は、斜線で示されている。
なお、ここでは、サーチラインは、X軸に平行であり、ずれ量は、エピポーララインに直交するY軸方向におけるずれ量であるが、サーチラインは、X軸に平行でなくてもよい。
誤差マップ作成部15は、y視差ypを用いて誤差マップを作成する回路である。誤差マップ作成部15は、作成した誤差マップの情報を平行化パラメータ誤差判定部16と、パラメータ補正部17へ出力する。
「0」は、画像G2c中の対応点が、Y方向においてずれがないことを示している。
さらになお、各ブロック領域に重み付けをしてもよい。例えば、画像の周辺部に近いブロック領域程、重みを大きくし、画像の中央部に近いブロック領域の重みは、小さくするような重み付けを、行ってもよい。
ここでは、誤差マップEMが入力された場合について説明する。所定の閾値THに基づいて、平行化パラメータ誤差判定部16は、平行化誤差が発生しているか否かを判定する。閾値THは、例えば、プラス又はマイナス方向に余分に探索するライン数である。平行化パラメータ誤差判定部16は、全ブロック領域のy視差ypの和を、ブロック領域数で除してy視差ypの平均値を算出し、y視差ypの平均値の絶対値が閾値TH以上であるか否かを判定する。
さらに、平行化パラメータ誤差判定部16は、平行化誤差が発生していると判定したときは、誤差マップEMを、記憶部18に書き込む。よって、記憶部18には、平行化誤差が発生していると判定されたときの誤差マップEMが複数記憶される。
また、記憶部18に複数の誤差マップEMとそれに応じた補正情報とを予め登録して記憶しておく。そして、パラメータ補正部17は、誤差マップ作成部15からの誤差マップEMに一致あるいは類似する登録誤差マップ情報を抽出し、抽出された登録誤差マップ情報に対応する補正情報を用いて、平行化パラメータ情報PPを更新するようにしてもよい。なお、登録誤差マップ情報の抽出は、誤差の数値の比較を行うことでもよいし、数値の符号のみの比較を行うことでもよい。
平行化パラメータ情報PPは、2つの画像G1,G2の一方あるいは両方を回転と並進移動の少なくとも一方を行うためのブロック領域毎の補正データであり、画像G1,G2の一方あるいは両方におけるずれ量を示すデータである。
実施形態によれば、レクティフィケーションのためのパラメータ誤差の有無の判定あるいはパラメータ誤差の補正のための処理負荷が従来に比べて小さい画像処理装置及び画像処理方法を提供することができる。
(変形例1)
変形例1として、画像処理装置1が平行化パラメータ誤差判定部16を有さず、パラメータ補正部17が、誤差マップEM1に基づいて常時あるいは周期的にパラメータ補正を行うようにしてもよい。この場合、画像処理装置1は、カメラ11,12からのフレーム毎にレクティフィケーションパラメータの誤差補正処理を行うことができる。
変形例2として、画像処理装置1がパラメータ補正部17を有さず、平行化パラメータ誤差判定部16のみを有し、パラメータ異常を検知できるようにしてもよい。
変形例2として、各画像の中央部を含む所定の割合の部分におけるy視差ypを算出するようにしてもよいし、あるいは各画像の周辺領域の部分におけるy視差ypを算出するようにしてもよい。
Claims (6)
- 第1および第2の画像の一方又は両方に対して回転と平行移動の少なくとも一方を行うためのパラメータ情報に基づいて、前記第1および前記第2の画像の平行化を行うレクティフィケーション部と、
所定サイズのウインドウを前記第2の画像内でX方向に移動させながら、前記第1の画像中の各画素又は各ブロックの一致度を算出することにより、前記第1および前記第2の画像のステレオマッチング処理を行って、前記X方向に直交するY方向におけるy視差を算出して出力するマッチング部と、
前記ステレオマッチング処理された前記第1および前記第2の画像についてのサーチラインに直交する方向における画像のずれ量情報を、前記y視差を用いて作成するずれ量情報作成部と、
前記ずれ量情報に基づいて、前記レクティフィケーション部において前記第1および前記第2の画像の平行化を行うレクティフィケーションの誤差の有無を判定するレクティフィケーション誤差判定部と、
を有する画像処理装置。 - 前記ずれ量情報に基づいて、前記レクティフィケーションの誤差を補正する補正信号を生成するパラメータ補正部を、更に有する請求項1に記載の画像処理装置。
- 前記ずれ量情報に基づいて、前記第1および前記第2の画像の平行化を行う前記レクティフィケーション部のパラメータを補正するパラメータ補正部を、更に有する請求項1に記載の画像処理装置。
- 第1および第2の画像の一方又は両方に対して回転と平行移動の少なくとも一方を行うためのパラメータ情報に基づいて、前記第1および前記第2の画像の平行化を行うレクティフィケーション部と、
所定サイズのウインドウを前記第2の画像内でX方向に移動させながら、前記第1の画像中の各画素又は各ブロックの一致度を算出することにより、前記第1および前記第2の画像のステレオマッチング処理を行って、前記X方向に直交するY方向におけるy視差を算出して出力するマッチング部と、
前記ステレオマッチング処理において得られた前記第1および前記第2の画像についてのサーチラインに直交する方向における画像のずれ量情報を、前記y視差を用いて作成するずれ量情報作成部と、
前記ずれ量情報に基づいて、前記レクティフィケーション部において前記第1および前記第2の画像の平行化を行うレクティフィケーションの誤差を補正するパラメータ補正部と、
を有する画像処理装置。 - カメラにより撮像して得られた第1および第2の画像の一方又は両方に対して回転と平行移動の少なくとも一方を行うためのパラメータ情報に基づいて、前記第1および前記第2の画像の平行化のためにレクティフィケーションを行い、
所定サイズのウインドウを前記第2の画像内でX方向に移動させながら、前記第1の画像中の各画素又は各ブロックの一致度を算出することにより、前記レクティフィケーションが行われた前記第1および前記第2の画像のステレオマッチング処理を行い、前記X方向に直交するY方向におけるy視差を算出し、
前記ステレオマッチング処理において得られた前記第1および前記第2の画像についてのサーチラインに直交する方向における画像のずれ量情報を、前記y視差を用いて作成し、
前記ずれ量情報に基づいて、前記レクティフィケーションの誤差の有無を判定する、
画像処理方法。 - カメラにより撮像して得られた第1および第2の画像の一方又は両方に対して回転と平行移動の少なくとも一方を行うためのパラメータ情報に基づいて、前記第1および前記第2の画像の平行化のためにレクティフィケーションを行い、
所定サイズのウインドウを前記第2の画像内でX方向に移動させながら、前記第1の画像中の各画素又は各ブロックの一致度を算出することにより、前記レクティフィケーションが行われた前記第1および前記第2の画像のステレオマッチング処理を行い、前記X方向に直交するY方向におけるy視差を算出し、
前記ステレオマッチング処理において得られた前記第1および前記第2の画像についてのサーチラインに直交する方向における画像のずれ量情報を、前記y視差を用いて作成し、
前記ずれ量情報に基づいて、前記レクティフィケーションの誤差を補正する、
画像処理方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017004522A JP6636963B2 (ja) | 2017-01-13 | 2017-01-13 | 画像処理装置及び画像処理方法 |
CN201710728180.9A CN108616734B (zh) | 2017-01-13 | 2017-08-23 | 图像处理装置以及图像处理方法 |
EP17187941.4A EP3349443A1 (en) | 2017-01-13 | 2017-08-25 | Stereoscopic image processing apparatus and stereoscopic image processing method |
US15/686,442 US10510163B2 (en) | 2017-01-13 | 2017-08-25 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017004522A JP6636963B2 (ja) | 2017-01-13 | 2017-01-13 | 画像処理装置及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018112522A JP2018112522A (ja) | 2018-07-19 |
JP6636963B2 true JP6636963B2 (ja) | 2020-01-29 |
Family
ID=59887001
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017004522A Active JP6636963B2 (ja) | 2017-01-13 | 2017-01-13 | 画像処理装置及び画像処理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10510163B2 (ja) |
EP (1) | EP3349443A1 (ja) |
JP (1) | JP6636963B2 (ja) |
CN (1) | CN108616734B (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7492372B2 (ja) * | 2020-05-08 | 2024-05-29 | 株式会社Subaru | 画像処理装置 |
JP7411499B2 (ja) * | 2020-05-08 | 2024-01-11 | 株式会社Subaru | 画像処理装置 |
JP7457574B2 (ja) * | 2020-05-21 | 2024-03-28 | 株式会社Subaru | 画像処理装置 |
EP4325836A4 (en) * | 2021-04-15 | 2024-09-25 | Sony Group Corp | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2372659A (en) * | 2001-02-23 | 2002-08-28 | Sharp Kk | A method of rectifying a stereoscopic image |
GB0125774D0 (en) * | 2001-10-26 | 2001-12-19 | Cableform Ltd | Method and apparatus for image matching |
JP2004354257A (ja) | 2003-05-29 | 2004-12-16 | Olympus Corp | キャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム |
WO2004106856A1 (ja) * | 2003-05-29 | 2004-12-09 | Olympus Corporation | ステレオカメラ支持装置、ステレオカメラ支持方法及びキャリブレーション検出装置及びキャリブレーション補正装置並びにステレオカメラシステム |
JP4069855B2 (ja) * | 2003-11-27 | 2008-04-02 | ソニー株式会社 | 画像処理装置及び方法 |
DE102006055641B4 (de) * | 2006-11-22 | 2013-01-31 | Visumotion Gmbh | Anordnung und Verfahren zur Aufnahme und Wiedergabe von Bildern einer Szene und/oder eines Objektes |
JP2008140271A (ja) * | 2006-12-04 | 2008-06-19 | Toshiba Corp | 対話装置及びその方法 |
WO2008075271A2 (en) * | 2006-12-18 | 2008-06-26 | Koninklijke Philips Electronics N.V. | Calibrating a camera system |
CN101236653B (zh) * | 2008-03-03 | 2010-09-29 | 华为技术有限公司 | 图像校正方法及系统 |
JP5392415B2 (ja) * | 2010-09-22 | 2014-01-22 | 富士通株式会社 | ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム |
JP5588812B2 (ja) | 2010-09-30 | 2014-09-10 | 日立オートモティブシステムズ株式会社 | 画像処理装置及びそれを用いた撮像装置 |
US9275463B2 (en) * | 2011-06-17 | 2016-03-01 | Panasonic Intellectual Property Management Co., Ltd. | Stereo image processing device and stereo image processing method |
US9374571B2 (en) * | 2011-10-11 | 2016-06-21 | Panasonic Intellectual Property Management Co., Ltd. | Image processing device, imaging device, and image processing method |
JP2013113600A (ja) * | 2011-11-25 | 2013-06-10 | Sharp Corp | ステレオ3次元計測装置 |
US9338439B2 (en) * | 2012-04-02 | 2016-05-10 | Intel Corporation | Systems, methods, and computer program products for runtime adjustment of image warping parameters in a multi-camera system |
JP6071257B2 (ja) * | 2012-06-07 | 2017-02-01 | キヤノン株式会社 | 画像処理装置及びその制御方法、並びにプログラム |
WO2013182873A1 (en) * | 2012-06-08 | 2013-12-12 | Nokia Corporation | A multi-frame image calibrator |
US20140043447A1 (en) | 2012-08-09 | 2014-02-13 | Sony Corporation | Calibration in the loop |
EP2902960A4 (en) * | 2012-09-27 | 2015-09-23 | Panasonic Ip Man Co Ltd | STEREOSCOPIC IMAGE PROCESSING DEVICE AND STEREOSCOPIC IMAGE PROCESSING METHOD |
US8867826B2 (en) * | 2012-11-26 | 2014-10-21 | Mitusbishi Electric Research Laboratories, Inc. | Disparity estimation for misaligned stereo image pairs |
JP6176978B2 (ja) | 2013-01-31 | 2017-08-09 | オリンパス株式会社 | 内視鏡用画像処理装置、内視鏡装置、内視鏡用画像処理装置の作動方法及び画像処理プログラム |
WO2015029934A1 (ja) * | 2013-08-30 | 2015-03-05 | クラリオン株式会社 | カメラ校正装置、カメラ校正システム、及びカメラ校正方法 |
IN2013CH05374A (ja) * | 2013-11-21 | 2015-05-29 | Nokia Corp | |
KR102265109B1 (ko) * | 2014-01-24 | 2021-06-15 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
JP6353289B2 (ja) * | 2014-06-23 | 2018-07-04 | 株式会社Soken | 測距補正装置 |
EP3201877B1 (en) * | 2014-09-29 | 2018-12-19 | Fotonation Cayman Limited | Systems and methods for dynamic calibration of array cameras |
DE102014221074A1 (de) | 2014-10-16 | 2016-04-21 | Conti Temic Microelectronic Gmbh | Verfahren zum Überwachen einer Rektifizierung von Bildern |
WO2016203989A1 (ja) * | 2015-06-17 | 2016-12-22 | ソニー株式会社 | 画像処理装置および画像処理方法 |
CA2961921C (en) * | 2016-03-29 | 2020-05-12 | Institut National D'optique | Camera calibration method using a calibration target |
-
2017
- 2017-01-13 JP JP2017004522A patent/JP6636963B2/ja active Active
- 2017-08-23 CN CN201710728180.9A patent/CN108616734B/zh active Active
- 2017-08-25 EP EP17187941.4A patent/EP3349443A1/en not_active Withdrawn
- 2017-08-25 US US15/686,442 patent/US10510163B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN108616734B (zh) | 2020-09-01 |
JP2018112522A (ja) | 2018-07-19 |
US10510163B2 (en) | 2019-12-17 |
EP3349443A1 (en) | 2018-07-18 |
CN108616734A (zh) | 2018-10-02 |
US20180204351A1 (en) | 2018-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6636963B2 (ja) | 画像処理装置及び画像処理方法 | |
US9355443B2 (en) | System, a method and a computer program product for CAD-based registration | |
US9599575B2 (en) | System, a method and a computer program product for CAD-based registration | |
US10719956B2 (en) | Camera parameter estimation apparatus, camera parameter estimation method, and computer-readable recording medium | |
CN106570907B (zh) | 一种相机标定方法及装置 | |
US20140341461A1 (en) | Image processing apparatus, distortion-corrected map creation apparatus, and semiconductor measurement apparatus | |
JP2012202694A (ja) | カメラ校正方法 | |
JP2013113600A (ja) | ステレオ3次元計測装置 | |
CN114111633A (zh) | 结构光三维测量的投影机镜头畸变误差校正方法 | |
JP2012053770A (ja) | 動きベクトル検出装置 | |
CN114764823A (zh) | 自校正的深度计算方法、系统、介质及深度图像处理设备 | |
CN116818129B (zh) | 应用于结构光重建的温度估计与热畸变校正方法 | |
JP2014138331A (ja) | 撮影装置及びプログラム | |
US20140348416A1 (en) | Stereo image rectification apparatus and method | |
CN112894154B (zh) | 激光打标方法及装置 | |
CN113344977B (zh) | 一种基于图像处理的触头压力测量模型构建方法 | |
US10269131B2 (en) | Image processing apparatus and image processing method | |
JP5949002B2 (ja) | 画像マッチング方法、およびこの方法を用いた画像マッチング装置およびプログラム | |
Schumacher et al. | Extension and FPGA architecture of the Generalized Hough Transform for real-time stereo correspondence | |
EP3879810A1 (en) | Imaging device | |
US20240029288A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2018200268A (ja) | 画像認識装置 | |
US11443410B2 (en) | Image processing method and image processing apparatus | |
JP2013003753A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JPH11203476A (ja) | エピポーララインの合わせ方法、ステレオ画像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20170922 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20170925 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190820 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20191007 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191011 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191119 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191219 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6636963 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |