JP7109386B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP7109386B2 JP7109386B2 JP2019008531A JP2019008531A JP7109386B2 JP 7109386 B2 JP7109386 B2 JP 7109386B2 JP 2019008531 A JP2019008531 A JP 2019008531A JP 2019008531 A JP2019008531 A JP 2019008531A JP 7109386 B2 JP7109386 B2 JP 7109386B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- temperature
- processing
- affine
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
- G01C3/085—Use of electric radiation detectors with electronic parallax measurement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
- G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B5/00—Measuring arrangements characterised by the use of mechanical techniques
- G01B5/0011—Arrangements for eliminating or compensation of measuring errors due to temperature or weight
- G01B5/0014—Arrangements for eliminating or compensation of measuring errors due to temperature or weight due to temperature
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Measurement Of Optical Distance (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Description
また、特許文献2の3次元計測装置では、不揮発性メモリ量の増大に対し、多項式を用いることでデータ量を低減しようとしているが、この技術でも両方のカメラについて演算が必要となり、演算量および必要メモリ量が増大する。
さらに、特許文献3~5の技術でも、2つのカメラについて画像処理を行うので、演算量および必要メモリ量が増大する。
画像を記憶する画像記憶手段と、
第1の画像に第1のアフィン処理を行って第3の画像を取得する、第1のアフィン処理手段と、
第2の画像に第2のアフィン処理を行って第4の画像を取得する、第2のアフィン処理手段と、
前記第1のアフィン処理手段および前記第2のアフィン処理手段のうち一方のみに対し、アフィン処理の係数を変更する、係数変更手段と、
前記第3の画像および前記第4の画像に基づき、画像内の物体までの距離を検出する、距離算出手段と、
を備える。
特定の態様によれば、
前記画像処理装置は、前記第1の画像を撮影する第1のカメラに係る第1の温度と、前記第2の画像を撮影する第2のカメラに係る第2の温度との温度差を取得する、温度差取得手段を備え、
前記係数変更手段は、前記温度差に基づいてアフィン処理の係数を変更する。
特定の態様によれば、
前記温度差取得手段は、前記第1の温度を取得する第1の温度取得手段と、前記第2の温度を取得する第2の温度取得手段とを備え、
前記第1の温度と所定の基準温度との第1の差分が、前記第2の温度と前記基準温度との第2の差分より大きい場合には、前記係数変更手段は前記第1のアフィン処理手段に対してアフィン処理の係数を変更し、
前記第1の差分が、前記第2の差分より小さい場合には、前記係数変更手段は前記第2のアフィン処理手段に対してアフィン処理の係数を変更する。
また、この発明に係る画像処理装置は、
画像を記憶する画像記憶手段と、
第1の画像に第1の変換処理を行って第3の画像を取得する、第1の変換処理手段と、
第2の画像に第2の変換処理を行って第4の画像を取得する、第2の変換処理手段と、
前記第1の変換処理手段および前記第2の変換処理手段のうち少なくとも一方に対し、変換処理前後で画像内の変位量が最も小さい位置を中心に変換処理の係数の位置を変更する、位置変更手段と、
前記第3の画像および前記第4の画像に基づき、画像内の物体までの距離を検出する、距離算出手段と、
を備える。
また、この発明に係る画像処理装置は、
画像を記憶する画像記憶手段と、
第1の画像に第1の変換処理を行って第3の画像を取得する、第1の変換処理手段と、
第2の画像に第2の変換処理を行って第4の画像を取得する、第2の変換処理手段と、
前記第3の画像および前記第4の画像に基づき、画像内の物体までの距離を検出する、距離算出手段と、
前記距離の検出誤差を検出する、誤差検出手段と、
前記距離の前記検出誤差に基づき、前記第1の変換処理手段および前記第2の変換処理手段のうち少なくとも一方に対し、変換処理の係数を変更する、係数フィードバック手段と、
を備える。
[実施例1]
図1は、本発明の実施例1に係る画像処理装置10を含む構成の例を示すブロック図である。画像処理装置10は複数の画像を入力できるように構成されており、図1の例では、ステレオカメラを構成するカメラ50(第1のカメラ)およびカメラ60(第2のカメラ)からそれぞれ画像を受信できるように接続されている。
図3は、実施例1の係数変更の効果を説明する図である。図3(A)は、カメラ50とカメラ60との温度差が発生した場合の状態の変化を示し、図3(B)は、図3(A)の変化に応じて係数変更手段31による係数の変更処理を行った後の状態を示す。ここでは、レンズ51およびレンズ61を介し、画像センサ52および画像センサ62によって取得される画像に基づき、対象物100までの距離が検出される。
図4は、カメラ間の温度差が変化した場合の測距誤差の例を示すグラフである。計算には以下の条件例を用いた。
対象物までの距離:50m
基線長(カメラ50とカメラ60との間の距離):0.3m
レンズ射影方式:正射影(fsinθ)
レンズ焦点距離:6mm
レンズ基準温度:30℃
カメラ50の温度(第1の温度):40℃
カメラ60の温度(第2の温度):70℃
最大画角(カメラ50およびカメラ60双方によって撮影可能な対象物の角度):-30deg~+30deg
レンズ51およびレンズ61の温度感度:0.0048μm/℃/deg(線形変化)
なお、この温度感度は、画角30deg、温度変化70℃で像の位置が10μmだけ変位することに相当する。
図5は、このような変形例における温度差取得手段30および係数変更手段31の処理の例を説明するフローチャートである。図5の処理において、まず温度差取得手段30は、カメラ50に係る温度およびカメラ60に係る温度を取得する(ステップS1)。
図7は、本発明の実施例2に係る画像処理装置110の構成の例を示すブロック図である。実施例1では、係数変更手段31がアフィン処理手段20aに対して明示的にアフィン係数の変更を行った。実施例2は、視差画像生成手段24がオフセット処理を行うことにより、間接的にアフィン係数が変更されるのと同等の処理を行う。
図10は、本発明の実施例3に係る画像処理装置210の構成の例を示すブロック図である。従来技術(たとえば特許文献1および特許文献2に開示される技術)の場合、画像変換するために所定温度条件で画像の歪を複数測定する必要がある。しかしながら、温度に対する画像変化を測定するには、長い測定時間が必要となり、実用的な考え方ではない。そこで、本実施例に係る画像処理装置210では、設計値もしくは別レンズの測定値と、これから得られる予め決定可能な感度情報とに基づき、画像の変換を行う。
図14は、本発明の実施例4に係る画像処理装置310の構成の例を示すブロック図である。実施例1の構成に加え、誤差信号生成手段34(誤差検出手段)および係数誤差補正手段35(係数フィードバック手段)が設けられている。以下、実施例1との相違を説明する。
Claims (3)
- 画像処理装置であって、
画像を記憶する画像記憶手段と、
第1の画像に第1のアフィン処理を行って第3の画像を取得する、第1のアフィン処理手段と、
第2の画像に第2のアフィン処理を行って第4の画像を取得する、第2のアフィン処理手段と、
前記第1のアフィン処理手段および前記第2のアフィン処理手段のうち一方のみに対し、アフィン処理の係数を変更する、係数変更手段と、
前記第3の画像および前記第4の画像に基づき、画像内の物体までの距離を検出する、距離算出手段と、
を備える、画像処理装置。 - 請求項1に記載の画像処理装置において、
前記画像処理装置は、前記第1の画像を撮影する第1のカメラに係る第1の温度と、前記第2の画像を撮影する第2のカメラに係る第2の温度との温度差を取得する、温度差取得手段を備え、
前記係数変更手段は、前記温度差に基づいてアフィン処理の係数を変更する、
画像処理装置。 - 請求項2に記載の画像処理装置において、
前記温度差取得手段は、前記第1の温度を取得する第1の温度取得手段と、前記第2の温度を取得する第2の温度取得手段とを備え、
前記第1の温度と所定の基準温度との第1の差分が、前記第2の温度と前記基準温度との第2の差分より大きい場合には、前記係数変更手段は前記第1のアフィン処理手段に対してアフィン処理の係数を変更し、
前記第1の差分が、前記第2の差分より小さい場合には、前記係数変更手段は前記第2のアフィン処理手段に対してアフィン処理の係数を変更する、
画像処理装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019008531A JP7109386B2 (ja) | 2019-01-22 | 2019-01-22 | 画像処理装置 |
PCT/JP2019/047112 WO2020152995A1 (ja) | 2019-01-22 | 2019-12-03 | 画像処理装置 |
EP19912033.8A EP3916349A4 (en) | 2019-01-22 | 2019-12-03 | IMAGE PROCESSING DEVICE |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019008531A JP7109386B2 (ja) | 2019-01-22 | 2019-01-22 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020118509A JP2020118509A (ja) | 2020-08-06 |
JP7109386B2 true JP7109386B2 (ja) | 2022-07-29 |
Family
ID=71736131
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019008531A Active JP7109386B2 (ja) | 2019-01-22 | 2019-01-22 | 画像処理装置 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP3916349A4 (ja) |
JP (1) | JP7109386B2 (ja) |
WO (1) | WO2020152995A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001082955A (ja) | 1999-09-16 | 2001-03-30 | Fuji Heavy Ind Ltd | ステレオ画像の位置ずれ調整装置 |
JP2007081806A (ja) | 2005-09-14 | 2007-03-29 | Konica Minolta Holdings Inc | 撮像システム |
JP2011253376A (ja) | 2010-06-02 | 2011-12-15 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
US20150022669A1 (en) | 2013-07-17 | 2015-01-22 | Microsoft Corporation | Real-time registration of a stereo depth camera array |
WO2018123642A1 (ja) | 2016-12-26 | 2018-07-05 | 日立オートモティブシステムズ株式会社 | ステレオカメラ |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4172554B2 (ja) * | 1998-03-12 | 2008-10-29 | 富士重工業株式会社 | ステレオカメラの調整装置 |
JP6789888B2 (ja) * | 2017-06-15 | 2020-11-25 | 日立オートモティブシステムズ株式会社 | ステレオカメラ装置 |
JP6962027B2 (ja) | 2017-06-23 | 2021-11-05 | 株式会社豊田自動織機 | 移動車両 |
-
2019
- 2019-01-22 JP JP2019008531A patent/JP7109386B2/ja active Active
- 2019-12-03 EP EP19912033.8A patent/EP3916349A4/en active Pending
- 2019-12-03 WO PCT/JP2019/047112 patent/WO2020152995A1/ja unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001082955A (ja) | 1999-09-16 | 2001-03-30 | Fuji Heavy Ind Ltd | ステレオ画像の位置ずれ調整装置 |
JP2007081806A (ja) | 2005-09-14 | 2007-03-29 | Konica Minolta Holdings Inc | 撮像システム |
JP2011253376A (ja) | 2010-06-02 | 2011-12-15 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
US20150022669A1 (en) | 2013-07-17 | 2015-01-22 | Microsoft Corporation | Real-time registration of a stereo depth camera array |
WO2018123642A1 (ja) | 2016-12-26 | 2018-07-05 | 日立オートモティブシステムズ株式会社 | ステレオカメラ |
Also Published As
Publication number | Publication date |
---|---|
WO2020152995A1 (ja) | 2020-07-30 |
EP3916349A1 (en) | 2021-12-01 |
EP3916349A4 (en) | 2023-02-22 |
JP2020118509A (ja) | 2020-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3220099B1 (en) | Calibration device, calibration method, optical device, imaging device, projection device, measurement system, and measurement method | |
JP6427900B2 (ja) | 校正方法、校正システム、プログラム及び移動体 | |
US10977830B2 (en) | Calibration device, calibration method, optical device, image-acquisition device, and projection device | |
US8405820B2 (en) | Ranging device and ranging module and image-capturing device using the ranging device or the ranging module | |
US9348111B2 (en) | Automatic detection of lens deviations | |
WO2010010707A1 (ja) | 撮像装置及び半導体回路素子 | |
JP5365387B2 (ja) | 位置検出装置 | |
JP2015163866A (ja) | ステレオカメラ校正方法、視差算出装置及びステレオカメラ | |
US7133570B1 (en) | Calibrated sensor and method for calibrating same | |
JP2012198031A (ja) | 画像補正方法及び画像補正装置 | |
JP5493900B2 (ja) | 撮像装置 | |
JPH11325890A (ja) | ステレオカメラの画像補正装置 | |
JP2008298589A (ja) | 位置検出装置及び位置検出方法 | |
WO2021044746A1 (ja) | 画像処理装置 | |
JP2019132855A (ja) | ステレオカメラ校正方法、視差算出装置及びステレオカメラ | |
JP7109386B2 (ja) | 画像処理装置 | |
CN110298890B (zh) | 一种基于普朗克参数化的光场相机标定方法 | |
JP2017194591A (ja) | 距離測定装置、撮像装置、および距離測定方法 | |
JP6996582B2 (ja) | 校正方法、校正装置及びプログラム | |
JP6755737B2 (ja) | 距離測定装置、撮像装置、および距離測定方法 | |
JP6680335B2 (ja) | ステレオカメラ、車両、算出方法及びプログラム | |
JP2023125506A (ja) | 計測装置、移動装置、計測方法、及びコンピュータプログラム | |
CN108513058B (zh) | 可补偿图像变化的图像装置 | |
WO2024122135A1 (ja) | 画像処理装置及び画像処理方法 | |
TWI843475B (zh) | 用於修正影像記錄中的幾何像差的方法和攝影機 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210319 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220629 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220712 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220719 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7109386 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |