JP7121538B2 - 撮像装置及び撮像方法 - Google Patents
撮像装置及び撮像方法 Download PDFInfo
- Publication number
- JP7121538B2 JP7121538B2 JP2018097587A JP2018097587A JP7121538B2 JP 7121538 B2 JP7121538 B2 JP 7121538B2 JP 2018097587 A JP2018097587 A JP 2018097587A JP 2018097587 A JP2018097587 A JP 2018097587A JP 7121538 B2 JP7121538 B2 JP 7121538B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- infrared
- color
- subtraction
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
図1は、本発明の第1の実施形態である撮像装置の概略構成を示す図である。本実施形態に係る撮像装置10は車両(図示省略)に設置されている。撮像装置10は、図1に示すように、被写体を観測する光学系101と、撮像素子102と、信号分離部103と、色信号生成部104aと、輝度信号生成部105と、輝度信号補正部106と、色差信号生成部107と、色輝度合成部108とを有する。
本実施形態に係る撮像装置10は、光学系101及び撮像素子102を除き、CPU、FPGAなどのプログラマブルロジックデバイス、ASIC等の集積回路に代表される演算素子、及び、ハードディスクドライブ等の大容量記憶媒体やROM、RAM等の半導体記憶媒体などの記憶媒体、さらには外部機器との間のインタフェース回路を有する。記憶媒体には図略の制御用プログラムが格納されており、この制御用プログラムが撮像装置10の起動時に演算素子により実行されて、撮像装置10は図1に示すような機能構成を備えたものとなる。特に、本実施形態の撮像装置10は、後述するように高速の画像処理を行うので、高速演算可能な演算素子、例えばFPGAなどを有することが好ましい。
撮像素子102は、出力電圧信号を出力する複数の画素を二次元的に備えている。各画素の受光面の上には、図10(a)に示すように、可視光を波長毎に選択的に透過し、かつ近赤外光に対しては互いに等しい透過率をもつ3種類のフィルタX,Y,Zと、可視光の波長毎の透過率を3種類のフィルタの透過率の線形和で表すことができ、かつ近赤外光に対しては3種類のフィルタと等しい透過率をもつ第4のフィルタTとが規則的に配列された光学フィルタが形成されている。
[数1]
TT=αXT+βYT+γZT …(1)
図2は、本実施形態の撮像装置10における色信号生成部104aの構成を示すブロック図である。色信号生成部104aは、図2に示すように、色分離部1041と、色線形補間処理部1042と、赤外分離部1043と、赤外減算算出部1044と、赤外加算算出部1045と、赤外減算処理部1046と、色温度補正部1047と、赤外信号加算部1048とを有する。
[数2]
ここに、係数x11~x14、y11~y14、z11~z14及びt11~t14は、上述のように、線形補正色信号(R3,G3,B3,Ir3)がターゲットカラーとなるように補正を行うための係数である。事前に標準となる色を有する被写体を撮像装置10により撮像して、撮像素子102からの出力信号RAW0に基づいて得られた色信号(R2,G2,B2,C2)が所望の線形補正色信号(R3,G3,B3,Ir3)となるようにこれら係数が定められる。
[数3]
Ir_sub=Ir3*(1+α)
このαは可視光成分の色信号と近赤外光成分の信号の比率において、無色化を行う閾値をあらわし、0以上の値を取る。
[数4]
Ir_add=Ir3*β
このβは処理における色ずれを補正するための係数であり、原理的にα=βで使用するが、αとβとの比率を変更して使用しても良い。
[数5]
R4=max(R3-Ir_sub,0)
G4=max(G3-Ir_sub,0)
B4=max(B3-Ir_sub,0)
この処理により、可視光成分の色信号における近赤外光成分の信号の比率が閾値を超えたものが無色となる。
[数6]
R5=R4*WR
G5=G4*WG
B5=B4*WB
この処理は、通常ホワイトバランス処理と呼ばれるもので、色温度に応じた補正係数を乗算するのは一般的な処理である。この際、色温度補正部1047によるホワイトバランス処理は、赤外減算処理部1046による演算の結果無色(つまりR4=G4=B4=0)となった画素が着色しない処理であることが必要となる。
[数7]
R6=R5+Ir_add
G6=G5+Ir_add
B6=B5+Ir_add
この処理は、無色化された箇所においては、R5=G5=B5=0であり、処理結果はR6=G6=B6となる。これは、RGBが同一値は無色をあらわし、処理によっても色がつくことはない。また、無色化されていない箇所においては色ずれを補正する効果となる。加算結果である色信号強度調整信号(R6、G6,B6)が色信号生成部104aの出力色信号(R0,G0,B0)となる。
次に、図3~図9を用いて、本実施形態の撮像装置10に用いられる色信号生成部104aの作用について説明する。
[数8]
(R+Ir)-Ir=R
(G+Ir)-Ir=G
(B+Ir)-Ir=B
[数9]
(R+Ir+Nr)-(Ir+Nir)=R+Nr-Nir
(G+Ir+Ng)-(Ir+Nir)=G+Ng-Nir
(B+Ir+Nb)-(Ir+Nir)=B+Nb-Nir
次に、図12のフローチャートを用いて、本実施形態の撮像装置の動作について再度説明する。
(第1の実施形態の効果)
次に、図13を参照して、本発明の第2の実施形態である撮像装置について説明する。図13は、本発明の第2の実施形態である撮像装置の概略構成を示す図である。
次に、図14は、本発明の第3の実施形態である撮像装置の概略構成を示す図である。
次に、図15は、本発明の第4の実施形態である撮像装置の概略構成を示す図、図17は、本実施形態の撮像装置10における色信号生成部104bの構成を示すブロック図である。
次に、図16は、本発明の第5の実施形態である撮像装置の概略構成を示す図である。
次に、図18は、本発明の第6の実施形態である撮像装置の概略構成を示す図、図19は、本実施形態の撮像装置10における色信号生成部104cの構成を示すブロック図である。
[数10]
[数11]
R3=R2-Ir_sub
G3=G2-Ir_sub
B3=B2-Ir_sub
Ir3=Ir2*β
つまり、赤外分離部1043bから出力された色信号(R3,G3,B3)は赤外減算信号であり、近赤外信号Ir3は赤外加算信号となる。ここで、
[数12]
Ir_sub=Ir2*(1+α)
である。
[数13]
R4=max(R3,0)
G4=max(G3,0)
B4=max(B3,0)
[数14]
R6=R5+Ir3
G6=G5+Ir3
B6=B5+Ir3
次に、図20は、本発明の第7の実施形態である撮像装置の概略構成を示す図である。
次に、図21は、本発明の第8の実施形態である撮像装置の概略構成を示す図である。
次に、図22は、本発明の第9の実施形態である撮像装置の概略構成を示す図、図24は、本実施形態の撮像装置10における色信号生成部104dの構成を示すブロック図である。
[数15]
[数16]
R3=R2-Ir_sub
G3=G2-Ir_sub
B3=B2-Ir_sub
Ir3=Ir2
つまり、赤外分離部1043bから出力された色信号(R3,G3,B3)は赤外減算信号となる。ここに、既に説明したように、
[数17]
Ir_sub=Ir2*(1+α)
である。
次に、図23は、本発明の第10の実施形態である撮像装置の概略構成を示す図である。
以上、図面を参照して、本発明の実施の形態を詳述してきたが、具体的な構成は、この実施の形態及び実施例に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。
102、102a 撮像素子
1043、1043a 赤外分離部(近赤外光強度取得部)
1043b-1、1043c-1 近赤外光強度取得部
1043b-2、1043c-2、1046a 赤外信号減算部
1046b 赤外減算信号補正部
1048、1048a 赤外信号加算部
1049 色信号リミッタ部(赤外減算信号補正部)
Claims (6)
- 近赤外光領域を含む波長領域の入射光を受光して、前記入射光の輝度に応じた出力信号に変換して出力する撮像素子と、
前記出力信号の中に含まれる近赤外光成分の強度を取得する近赤外光強度取得部と、
前記近赤外光成分の強度の値に第一の所定値を乗じた値を、前記出力信号の強度の値から減算して赤外減算信号を生成する赤外信号減算部と、
前記赤外減算信号の値が0以下であったときに前記赤外減算信号の値を0とする赤外減算信号補正値を算出し、前記赤外減算信号の値が0を超えるときは前記赤外減算信号の値を前記赤外減算信号補正値とする赤外減算信号補正部と、
前記赤外減算信号補正値に、前記近赤外光成分の強度の値に第二の所定値を乗じた値を加算して色信号強度調整信号を生成する赤外信号加算部と、
互いに異なる波長を有する可視光領域の光を選択的に透過して、かつ近赤外光領域において、互いに等しい分光透過率を持つ3種類のフィルタと、可視光領域の分光透過率が前記3種類のフィルタの各分光透過率の線形和で表わされて、かつ、近赤外領域において、前記3種類のフィルタの分光透過率と等しい分光透過率を持つ1種類のフィルタと、が所定のパターンで配列された光学フィルタと、を有し、
前記撮像素子は、前記光学フィルタを透過した前記入射光を受光して、前記入射光の輝度に応じた前記出力信号に変換して出力し、
前記第一の所定値は1より大きい値であることを特徴とする撮像装置。 - 前記赤外信号減算部は、前記出力信号に含まれる色信号と輝度信号とを分離した後の前記色信号の強度を前記出力信号の強度として前記赤外減算信号を算出することを特徴とする請求項1に記載の撮像装置。
- 前記赤外信号加算部は、前記色信号強度調整信号を色差信号に変換した後、前記輝度信号と合成して出力することを特徴とする請求項2に記載の撮像装置。
- 前記赤外信号減算部は、前記出力信号に含まれる色信号の強度を前記出力信号の強度として前記赤外減算信号を算出することを特徴とする請求項1に記載の撮像装置。
- 前記赤外信号加算部は、前記色信号強度調整信号を色差信号に変換して出力することを特徴とする請求項4に記載の撮像装置。
- 前記近赤外光強度取得部は、前記出力信号から前記近赤外光成分と可視光成分とを分離してそれぞれの強度を取得し、
前記赤外信号減算部は、前記近赤外光成分の強度の値に前記第一の所定値を乗じた値を、前記可視光成分の強度の値から減算して前記赤外減算信号を生成することを特徴とする請求項1~5のいずれかに記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018097587A JP7121538B2 (ja) | 2018-05-22 | 2018-05-22 | 撮像装置及び撮像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018097587A JP7121538B2 (ja) | 2018-05-22 | 2018-05-22 | 撮像装置及び撮像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019205018A JP2019205018A (ja) | 2019-11-28 |
JP7121538B2 true JP7121538B2 (ja) | 2022-08-18 |
Family
ID=68727390
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018097587A Active JP7121538B2 (ja) | 2018-05-22 | 2018-05-22 | 撮像装置及び撮像方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7121538B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022029867A (ja) * | 2020-08-05 | 2022-02-18 | パナソニックIpマネジメント株式会社 | 撮像装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007202107A (ja) | 2005-12-27 | 2007-08-09 | Sanyo Electric Co Ltd | 撮像装置 |
JP2007288549A (ja) | 2006-04-18 | 2007-11-01 | Sony Corp | 物理情報取得方法および物理情報取得装置 |
JP2014165528A (ja) | 2013-02-21 | 2014-09-08 | Clarion Co Ltd | 撮像装置 |
WO2015011824A1 (ja) | 2013-07-25 | 2015-01-29 | 日立マクセル株式会社 | 撮像装置 |
WO2015015580A1 (ja) | 2013-07-31 | 2015-02-05 | 日立マクセル株式会社 | 撮像装置、撮像方法並びに車載撮像システム |
-
2018
- 2018-05-22 JP JP2018097587A patent/JP7121538B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007202107A (ja) | 2005-12-27 | 2007-08-09 | Sanyo Electric Co Ltd | 撮像装置 |
JP2007288549A (ja) | 2006-04-18 | 2007-11-01 | Sony Corp | 物理情報取得方法および物理情報取得装置 |
JP2014165528A (ja) | 2013-02-21 | 2014-09-08 | Clarion Co Ltd | 撮像装置 |
WO2015011824A1 (ja) | 2013-07-25 | 2015-01-29 | 日立マクセル株式会社 | 撮像装置 |
WO2015015580A1 (ja) | 2013-07-31 | 2015-02-05 | 日立マクセル株式会社 | 撮像装置、撮像方法並びに車載撮像システム |
Also Published As
Publication number | Publication date |
---|---|
JP2019205018A (ja) | 2019-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6725613B2 (ja) | 撮像装置および撮像処理方法 | |
EP2866445B1 (en) | Imaging device | |
JP4466569B2 (ja) | カラー画像再生装置 | |
JP5206796B2 (ja) | 画像入力装置 | |
JP6441771B2 (ja) | 撮像装置 | |
JP5397788B2 (ja) | 画像入力装置 | |
US9294740B2 (en) | Imaging device having a color image generator generating a color image using edge data and a fake color suppressing coefficient | |
US9131199B2 (en) | Imaging apparatus capable of generating an appropriate color image | |
JP7121538B2 (ja) | 撮像装置及び撮像方法 | |
JP6692749B2 (ja) | マルチスペクトルカメラ | |
US20130083157A1 (en) | Imaging Device | |
JP2012010141A (ja) | 画像処理装置 | |
JP6717660B2 (ja) | 撮像装置 | |
JP2017118283A (ja) | カメラシステム | |
JP5920144B2 (ja) | 撮像装置および撮像方法 | |
WO2011162155A1 (ja) | 撮像装置 | |
WO2020017638A1 (ja) | 画像生成装置及び撮像装置 | |
JP2019212937A (ja) | 画像表示装置及び画像表示方法 | |
JP2012015834A (ja) | 撮像装置 | |
KR20100079479A (ko) | 이미지 신호 처리 장치, 이미지 신호 처리 장치의 색 노이즈 저감 방법 및 색 노이즈 저감 방법이 기록된 기록 매체 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210318 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220328 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220712 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220805 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7121538 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |