JP6718420B2 - 撮像装置およびその調整方法 - Google Patents
撮像装置およびその調整方法 Download PDFInfo
- Publication number
- JP6718420B2 JP6718420B2 JP2017184248A JP2017184248A JP6718420B2 JP 6718420 B2 JP6718420 B2 JP 6718420B2 JP 2017184248 A JP2017184248 A JP 2017184248A JP 2017184248 A JP2017184248 A JP 2017184248A JP 6718420 B2 JP6718420 B2 JP 6718420B2
- Authority
- JP
- Japan
- Prior art keywords
- sensitivity
- correction
- image pickup
- color
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 27
- 238000003384 imaging method Methods 0.000 title claims description 11
- 230000035945 sensitivity Effects 0.000 claims description 188
- 238000012937 correction Methods 0.000 claims description 142
- 238000004364 calculation method Methods 0.000 claims description 39
- 239000003086 colorant Substances 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 6
- 230000007423 decrease Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 230000006866 deterioration Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 6
- 229920006395 saturated elastomer Polymers 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 229910052736 halogen Inorganic materials 0.000 description 2
- 150000002367 halogens Chemical class 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000001444 catalytic combustion detection Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
- G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/15—Processing image signals for colour aspects of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
- H04N1/6052—Matching two or more picture signal generators or two or more picture reproducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Human Computer Interaction (AREA)
- Automation & Control Theory (AREA)
- Measurement Of Optical Distance (AREA)
- Studio Devices (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
まず図2(a)は感度補正ルーチンを示す。このルーチンでは、左右のカメラ1a,1bに対し、既知の位置に固定され、常に分光特性が一定な基準被写体(例えば分光特性が一定なハロゲン光源など)を用いて感度補正を行う。感度補正は製造時だけでなく、カーディーラーなどにおいても、所定の光源を用いて実施可能である。また、正確な輝度を出す電光表示板やボンネット上のエンブレムにLED光源を組み込むなどにより輝度が保証可能であれば、走行時でも実施可能である。計算に必要な画像データは、感度補正パラメータ計算部21に取り込まれて計算される。一連の動作は制御マイコン22によって制御される。ステップ順に処理内容を説明する。
S103:基準被写体の輝度値を輝度参照値L0としてレジスタ19に登録する。このルーチンでは、基準被写体としてハロゲン光源などの基準となる特定の被写体を用いているので、被写体の輝度は既知である。
S105:左右のカメラ1a,1bの出力値YL,YRが目標出力値Y0となるための感度補正係数(Y0/YL),(Y0/YR)を算出し、レジスタ19に登録する。
S112:前記S103でレジスタ19に登録した輝度参照値L0を読み出す。
S113:前記S104でレジスタ19に登録した目標出力値Y0を読み出す。
S115:パラメータL0,Y0,T0,T1を用いて、次式により画像の輝度分布L1(i,j)を計算する。
L1(i,j)=Y1(i,j)*(L0/Y0)*(T0/T1)
これにより、被写体の輝度を高精度に求めることができる。
カラー処理部23a,23bでは、ベイヤー配列をした撮像素子に対し、デモザイキング(隣接画素値を用いた補完処理)などの処理を実施する。
S301:左右のカメラ1a,1bによる、基準被写体の撮像画像データ内の特定画素のRGB色毎の出力値を取得する。この値を(R1,G1,B1),(R2,G2,B2)とする。この出力値として、撮像画像データ内の複数の画素をそれぞれの色毎に平均値などをとってもよい。また画像処理部3からの情報を利用し、画像データ内の特定の画素領域を選び出し、その領域から色毎に計算してもよい。
S303:基準被写体の輝度値を輝度参照値L0としてレジスタ19に登録する。
S304:左右のカメラの各色についての出力値を比較し、大きい方の値を(Rmax,Gmax,Bmax)とする。
S306:目標出力値(R0,G0,B0)を(2)式で算出する。
Rmax/Gmax<α、かつ、Bmax/Gmax<β (1)
R0=α*Gmax,G0=Gmax,B0=β*Gmax (2)。
S308:目標出力値(R0,G0,B0)を(4)式で算出する。
Rmax/Bmax<α/β、かつ、Gmax/Bmax<1/β (3)
R0=(α/β)Bmax,G0=(1/β)Bmax,B0=Bmax (4)。
S310:目標出力値(R0,G0,B0)を(6)式で算出する。
Gmax/Rmax<1/α、かつ、Bmax/Rmax<β/α (5)
R0=Rmax,G0=(1/α)Rmax,B0=(β/α)Rmax (6)。
S313:左右のカメラ1a,1bの出力値(R1,G1,B1),(R2,G2,B2)が目標出力値(R0,G0,B0)となるための感度補正係数(R0/R1,G0/G1,B0/B1),(R0/R2,G0/G2,B0/B2)を算出し、レジスタ19に登録する。
S321:前記S302でレジスタ19に登録したシャッタ参照値T0を読み出す。
S322:前記S303でレジスタ19に登録した輝度参照値L0を読み出す。
S323:前記S312でレジスタ19に登録した目標出力値(R0,G0,B0)を読み出す。
S325:パラメータL0,R0,G0,B0,T0,Tを用いて、次式によりR,G,Bに関する正確な輝度分布L(R),L(G),L(B)を計算する。これより、色度値を求めることができる。
L(R)=R(i,j)*(L0/R0)*(T0/T)
L(G)=G(i,j)*(L0/G0)*(T0/T)
L(B)=B(i,j)*(L0/B0)*(T0/T)。
2:キャリブレーション回路部、
3:画像処理部、
4:認識アプリケーション部、
5a,5b:感度補正部、
6a,6b:幾何補正部、
7:視差計算部、
8:エッジ計算部、
11a,11b:撮像部、
13a,13b:AD変換器、
19,20:レジスタ(記憶部)、
21:感度補正パラメータ計算部、
22:制御マイコン(輝度算出部)、
23a,23b:カラー処理部、
24:カラーラベリング計算部、
100:撮像装置。
Claims (8)
- 複数の撮像部を一組にして被写体を撮影する撮像装置において、
少なくとも2つの撮像部の感度特性が同一になるように補正する感度補正部と、
前記感度補正部における補正パラメータを記憶する記憶部と、
前記記憶部に記憶した補正パラメータと前記撮像部のシャッタ値に基づいて前記被写体の輝度値を算出する輝度算出部と、
を備えることを特徴とする撮像装置。 - 請求項1に記載の撮像装置であって、
前記感度補正部は、前記少なくとも2つの撮像部の感度特性を、感度が最も高い撮像部の感度特性に一致するように補正することを特徴とする撮像装置。 - 請求項1に記載の撮像装置であって、
前記感度補正部は、さらに、各色に対する感度特性が所定の比になるように補正するとともに、前記輝度算出部は、前記被写体の各色に対する輝度値を算出することを特徴とする撮像装置。 - 請求項3に記載の撮像装置であって、
前記感度補正部は、前記少なくとも2つの撮像部の各色の中の1つの色(以下、基準色)の感度特性を、該基準色の感度が最も高い撮像部の感度特性に一致するように補正するとともに、前記基準色以外の全ての色の感度特性を感度が高い方へ補正することを特徴とする撮像装置。 - 複数の撮像部を一組にして被写体を撮影する撮像装置の調整方法において、
少なくとも2つの撮像部の感度特性が同一になるように補正する感度補正ステップと、
前記感度補正ステップにおける補正パラメータを算出するパラメータ算出ステップと、
前記補正パラメータと前記撮像部のシャッタ値に基づいて前記被写体の輝度値を算出する輝度算出ステップと、
を備えることを特徴とする撮像装置の調整方法。 - 請求項5に記載の撮像装置の調整方法であって、
前記感度補正ステップでは、少なくとも2つの撮像部の感度特性を、感度が最も高い撮像部の感度特性に一致するように補正することを特徴とする撮像装置の調整方法。 - 請求項5に記載の撮像装置の調整方法であって、
前記感度補正ステップでは、さらに、各色に対する感度特性が所定の比になるように補正するとともに、
前記輝度算出ステップでは、前記被写体の各色に対する輝度値を算出することを特徴とする撮像装置の調整方法。 - 請求項7に記載の撮像装置の調整方法であって、
前記感度補正ステップでは、前記少なくとも2つの撮像部の各色の中の1つの色(以下、基準色)の感度特性を、該基準色の感度が最も高い撮像部の感度特性に一致するように補正するとともに、前記基準色以外の全ての色の感度特性を感度が高い方へ補正することを特徴とする撮像装置の調整方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017184248A JP6718420B2 (ja) | 2017-09-26 | 2017-09-26 | 撮像装置およびその調整方法 |
PCT/JP2018/015682 WO2019064660A1 (ja) | 2017-09-26 | 2018-04-16 | 撮像装置およびその調整方法 |
US16/650,502 US20200280713A1 (en) | 2017-09-26 | 2018-04-16 | Imaging Apparatus and Adjustment Method Thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017184248A JP6718420B2 (ja) | 2017-09-26 | 2017-09-26 | 撮像装置およびその調整方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019062323A JP2019062323A (ja) | 2019-04-18 |
JP6718420B2 true JP6718420B2 (ja) | 2020-07-08 |
Family
ID=65901631
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017184248A Active JP6718420B2 (ja) | 2017-09-26 | 2017-09-26 | 撮像装置およびその調整方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20200280713A1 (ja) |
JP (1) | JP6718420B2 (ja) |
WO (1) | WO2019064660A1 (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002044370A (ja) * | 2000-07-28 | 2002-02-08 | Mitsubishi Electric Corp | イメージセンサ |
JP2007081806A (ja) * | 2005-09-14 | 2007-03-29 | Konica Minolta Holdings Inc | 撮像システム |
JP2010147786A (ja) * | 2008-12-18 | 2010-07-01 | Fujifilm Corp | 撮像装置及び画像処理方法 |
JP6065474B2 (ja) * | 2012-09-11 | 2017-01-25 | 株式会社リコー | 撮像制御装置、撮像制御方法およびプログラム |
-
2017
- 2017-09-26 JP JP2017184248A patent/JP6718420B2/ja active Active
-
2018
- 2018-04-16 WO PCT/JP2018/015682 patent/WO2019064660A1/ja active Application Filing
- 2018-04-16 US US16/650,502 patent/US20200280713A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
WO2019064660A1 (ja) | 2019-04-04 |
JP2019062323A (ja) | 2019-04-18 |
US20200280713A1 (en) | 2020-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5595606B2 (ja) | 画像処理装置 | |
US9906766B2 (en) | Imaging device | |
JP3205477B2 (ja) | 車間距離検出装置 | |
JP2018179911A (ja) | 測距装置及び距離情報取得方法 | |
US10368063B2 (en) | Optical test device for a vehicle camera and testing method | |
US20090033788A1 (en) | Integrated optical characteristic measurements in a cmos image sensor | |
US9723282B2 (en) | In-vehicle imaging device | |
US20130100249A1 (en) | Stereo camera device | |
US20150035984A1 (en) | In-Vehicle Image Processing Device and Method | |
US20140125794A1 (en) | Vehicle environment monitoring device | |
JP3666348B2 (ja) | 距離認識装置 | |
JP6980492B2 (ja) | 撮像装置及び撮像システム | |
JP6718420B2 (ja) | 撮像装置およびその調整方法 | |
US10630952B2 (en) | Image sensor | |
US20210067718A1 (en) | Imaging device and signal processing device | |
JP4247547B2 (ja) | カメラ用露光量制御方法および装置 | |
WO2023074452A1 (ja) | カメラ装置、および、カメラ装置の制御方法 | |
US20210375975A1 (en) | Photoelectric conversion device, photoelectric conversion system, moving body, and signal processing method | |
JP2018125706A (ja) | 撮像装置 | |
US8054351B2 (en) | Method and apparatus for imaging | |
JP7492599B2 (ja) | 車載カメラ装置 | |
JP2002271802A (ja) | 画像処理方法及び撮像装置 | |
JP3833042B2 (ja) | 距離認識装置 | |
JPH0427813A (ja) | 距離画像取得方法及び装置 | |
JP2013187572A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200526 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200612 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6718420 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |