JP7143767B2 - 画像処理方法、画像処理装置および画像処理プログラム - Google Patents
画像処理方法、画像処理装置および画像処理プログラム Download PDFInfo
- Publication number
- JP7143767B2 JP7143767B2 JP2018557732A JP2018557732A JP7143767B2 JP 7143767 B2 JP7143767 B2 JP 7143767B2 JP 2018557732 A JP2018557732 A JP 2018557732A JP 2018557732 A JP2018557732 A JP 2018557732A JP 7143767 B2 JP7143767 B2 JP 7143767B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- image data
- infrared light
- visible light
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 10
- 230000003595 spectral effect Effects 0.000 claims description 165
- 230000035945 sensitivity Effects 0.000 claims description 77
- 238000009826 distribution Methods 0.000 claims description 75
- 239000013598 vector Substances 0.000 claims description 58
- 238000000034 method Methods 0.000 claims description 43
- 238000003384 imaging method Methods 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 20
- 238000001228 spectrum Methods 0.000 description 34
- 230000003287 optical effect Effects 0.000 description 32
- 238000010586 diagram Methods 0.000 description 20
- 238000000926 separation method Methods 0.000 description 16
- 230000005540 biological transmission Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000002834 transmittance Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000004456 color vision Effects 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 206010034960 Photophobia Diseases 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000023077 detection of light stimulus Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/20—Filters
- G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Toxicology (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Color Television Image Signal Generators (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
そこで、本発明は、上述した課題を解決する、可視光から近赤外光までの波長領域で撮影された画像信号から可視光の画像信号と近赤外光の画像信号をそれぞれ容易に生成できる画像処理方法、画像処理装置および記録媒体を提供することを目的とする。
[構成の説明]
以下、本発明の実施形態を、図面を参照して説明する。図1は、本発明による画像処理装置100の第1の実施形態の構成例を示すブロック図である。
以下、本実施形態の画像処理装置100の可視光画像および近赤外光画像を生成する動作を図3を参照して説明する。図3は、第1の実施形態の画像処理装置100による画像生成処理の動作を示すフローチャートである。
本実施形態の画像処理装置100は、可視光から近赤外光まで感度を有するカラーイメージセンサの分光感度特性と、カラーイメージセンサで撮影された近赤外光の信号が含まれるRGBの画像データとを用いて、可視光の信号のみが含まれる画像データと近赤外光の信号のみが含まれる画像データを取得できる。
[構成の説明]
次に、本発明の第2の実施形態を、図面を参照して説明する。図4は、本発明による画像処理装置100の第2の実施形態の構成例を示すブロック図である。
以下、本実施形態の画像処理装置100の可視光画像および近赤外光画像を生成する動作を図6を参照して説明する。図6は、第2の実施形態の画像処理装置100による画像生成処理の動作を示すフローチャートである。なお、図6に示す画像生成処理は、図4に示す画像処理装置100によって実行される。
本実施形態の画像処理装置100は、第1の実施形態の画像処理装置100に比べて、可視光画像および近赤外光画像の生成コストを低減できる。その理由は、一方の画像は画像データから他方の画像を信号分離部105が減算することによって生成されるためである。
[構成の説明]
次に、本発明の第3の実施形態を、図面を参照して説明する。図7は、本発明による画像撮影装置200の第3の実施形態の構成例を示すブロック図である。
B(1,1)=B(2,2) ・・・式(11)
B(1,2)=B(2,2) ・・・式(14)
以下、本実施形態の画像撮影装置200の可視光画像および近赤外光画像を生成する動作を図10を参照して説明する。図10は、第3の実施形態の画像撮影装置200による画像生成処理の動作を示すフローチャートである。
本実施形態の画像撮影装置200は、一般的な画像撮影装置に含まれているIRカットフィルタが光学系から除去された画像撮影装置である。IRカットフィルタは簡単に除去されるため、本実施形態の画像撮影装置200は、一般的な画像撮影装置を基に容易に製造される。
[構成の説明]
次に、本発明の第4の実施形態を、図面を参照して説明する。第3の実施形態では、ベイヤ配列型の光学フィルタで入射光を分光する画像撮影装置に本発明が適用された例を説明した。本実施形態では、3板式映像撮影装置に本発明が適用された例を説明する。
以下、本実施形態の画像撮影装置300の可視光画像および近赤外光画像を生成する動作を図12を参照して説明する。図12は、第4の実施形態の画像撮影装置300による画像生成処理の動作を示すフローチャートである。
本実施形態の画像撮影装置300は、一般的な3板式撮影装置を構成するプリズムおよびフォトセンサを備える。また、3板式撮影装置に一般的に実装されているIRカットフィルタは除去されている。
11 推定部
12 生成部
101 画像データ取得部
102 入射光スペクトル推定部
103 可視光画像生成部
104 近赤外光画像生成部
105 信号分離部
110 外部手段
200、300 画像撮影装置
201 赤外光カットフィルタ
202 光学フィルタ
203 フォトセンサ
204、320 画像処理部
205、330 分光感度特性保存メモリ
301 プリズム
311~313 フォトセンサ
Claims (9)
- カラーイメージセンサの可視光から近赤外光までの波長領域における分光感度特性と、前記カラーイメージセンサを用いて可視光および近赤外光が含まれる入射光を撮像することによって得られた、1つ以上のカラーチャネルを含む画像データとを用いて、入射光の分光分布特性を表現するモデルを基に、前記カラーイメージセンサへ入射した前記入射光の分光分布特性を推定し、
前記推定された入射光の分光分布特性と前記カラーイメージセンサの分光感度特性とを用いて、可視光を表す情報のみで構成される可視光画像データと、近赤外光を表す情報のみで構成される近赤外光画像データとをそれぞれ生成する画像処理方法であって、
前記入射光の分光分布特性は、基底ベクトルri(λ)(i=1~M、Mは1以上の整数)の加重和でモデル化されるか、基底ベクトルri(λ)(i=1~M+1)の加重和でモデル化されるか、基底ベクトルri(λ)(i=1~M)の加重和と分光分布特性の平均ベクトルr0(λ)とでモデル化されるか、基底ベクトルri(λ)(i=1~M+1)の加重和と平均ベクトルr0(λ)とでモデル化される
ことを特徴とする画像処理方法。 - 前記推定された入射光の分光分布特性と、可視光の波長領域における前記カラーイメージセンサの分光感度特性との積を用いて、可視光を表す情報のみで構成される前記可視光画像データを生成し、
前記入射光の前記分光分布特性と、近赤外光の波長領域における前記カラーイメージセンサの分光感度特性との積を用いて、近赤外光を表す情報のみで構成される前記近赤外光画像データを生成する
請求項1記載の画像処理方法。 - 前記推定された入射光の分光分布特性と、可視光の波長領域における前記カラーイメージセンサの分光感度特性との積を用いて、可視光を表す情報のみで構成される前記可視光画像データを生成し、
可視光および近赤外光が撮像された前記画像データから、前記生成された可視光画像データを減じることによって、近赤外光を表す情報のみで構成される前記近赤外光画像データを生成する
請求項1記載の画像処理方法。 - 前記推定された入射光の分光分布特性と、近赤外光の波長領域における前記カラーイメージセンサの分光感度特性との積を用いて、近赤外光を表す情報のみで構成される前記近赤外光画像データを生成し、
可視光および近赤外光が撮像された前記画像データから、前記生成された近赤外光画像データを減じることによって、可視光を表す情報のみで構成される前記可視光画像データを生成する
請求項1記載の画像処理方法。 - 前記画像データに含まれる前記1つ以上のカラーチャネルは、赤チャネルと、緑チャネルと、青チャネルである
請求項1から請求項4のうちのいずれか1項に記載の画像処理方法。 - カラーイメージセンサの可視光から近赤外光までの波長領域における分光感度特性と、前記カラーイメージセンサを用いて可視光および近赤外光が含まれる入射光を撮像することによって得られた、1つ以上のカラーチャネルを含む画像データとを用いて、前記入射光の分光分布特性を表現するモデルを基に、前記カラーイメージセンサへ入射した前記入射光の分光分布特性を推定する推定手段と、
前記推定された入射光の分光分布特性と前記カラーイメージセンサの前記分光感度特性とを用いて、可視光を表す情報のみで構成される可視光画像データと、近赤外光を表す情報のみで構成される近赤外光画像データとをそれぞれ生成する生成手段とを備え、
前記入射光の分光分布特性は、基底ベクトルri(λ)(i=1~M、Mは1以上の整数)の加重和でモデル化されるか、基底ベクトルri(λ)(i=1~M+1)の加重和でモデル化されるか、基底ベクトルri(λ)(i=1~M)の加重和と分光分布特性の平均ベクトルr0(λ)とでモデル化されるか、基底ベクトルri(λ)(i=1~M+1)の加重和と平均ベクトルr0(λ)とでモデル化される
ことを特徴とする画像処理装置。 - 前記生成手段は、
前記推定された入射光の分光分布特性と、可視光の波長領域における前記カラーイメージセンサの分光感度特性との積を用いて、可視光を表す情報のみで構成される前記可視光画像データを生成し、
前記入射光の分光分布特性と、近赤外光の波長領域における前記カラーイメージセンサの分光感度特性との積を用いて、近赤外光を表す情報のみで構成される前記近赤外光画像データを生成する
請求項6記載の画像処理装置。 - コンピュータに、
カラーイメージセンサの可視光から近赤外光までの波長領域における分光感度特性と、前記カラーイメージセンサを用いて可視光および近赤外光が含まれる入射光を撮像することによって得られた、1つ以上のカラーチャネルを含む画像データとを用いて、入射光の分光分布特性を表現するモデルを基に、前記カラーイメージセンサへ入射した前記入射光の分光分布特性を推定する推定処理、および
前記推定された入射光の分光分布特性と前記カラーイメージセンサの分光感度特性とを用いて、可視光を表す情報のみで構成される可視光画像データと、近赤外光を表す情報のみで構成される近赤外光画像データとをそれぞれ生成する生成処理
を実行させるための画像処理プログラムを記録した、一時的でない記録媒体であって、
前記入射光の分光分布特性は、基底ベクトルri(λ)(i=1~M、Mは1以上の整数)の加重和でモデル化されるか、基底ベクトルri(λ)(i=1~M+1)の加重和でモデル化されるか、基底ベクトルri(λ)(i=1~M)の加重和と分光分布特性の平均ベクトルr0(λ)とでモデル化されるか、基底ベクトルri(λ)(i=1~M+1)の加重和と平均ベクトルr0(λ)とでモデル化される ことを特徴とする画像処理プログラム。 - コンピュータに、
前記推定された入射光の分光分布特性と、可視光の波長領域における前記カラーイメージセンサの分光感度特性との積を用いて、可視光を表す情報のみで構成される前記可視光画像データを生成する第1生成処理、および
前記推定された入射光の分光分布特性と、近赤外光の波長領域における前記カラーイメージセンサの分光感度特性との積を用いて、近赤外光を表す情報のみで構成される前記近赤外光画像データを生成する第2生成処理を実行させる、
請求項8記載の画像処理プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016249056 | 2016-12-22 | ||
JP2016249056 | 2016-12-22 | ||
PCT/JP2017/045058 WO2018116972A1 (ja) | 2016-12-22 | 2017-12-15 | 画像処理方法、画像処理装置および記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018116972A1 JPWO2018116972A1 (ja) | 2019-10-24 |
JP7143767B2 true JP7143767B2 (ja) | 2022-09-29 |
Family
ID=62627365
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018557732A Active JP7143767B2 (ja) | 2016-12-22 | 2017-12-15 | 画像処理方法、画像処理装置および画像処理プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10931895B2 (ja) |
JP (1) | JP7143767B2 (ja) |
WO (1) | WO2018116972A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017222021A1 (ja) * | 2016-06-24 | 2017-12-28 | 日本電気株式会社 | 画像処理装置、画像処理システム、画像処理方法及びプログラム記録媒体 |
JP6862229B2 (ja) * | 2017-03-15 | 2021-04-21 | キヤノン株式会社 | 解析装置、撮像装置、解析方法、および、プログラム |
WO2019059632A1 (ko) * | 2017-09-25 | 2019-03-28 | 한국과학기술원 | 프리즘을 이용한 초분광 영상 재구성 방법 및 시스템 |
WO2024029738A1 (ko) * | 2022-08-02 | 2024-02-08 | 삼성전자 주식회사 | 이미지를 생성하는 전자 장치 및 그 동작 방법 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003143623A (ja) | 2001-08-22 | 2003-05-16 | Fuji Photo Film Co Ltd | 画像撮影方法および装置 |
JP2005323141A (ja) | 2004-05-10 | 2005-11-17 | Mitsubishi Electric Corp | 撮像装置、カメラ、及び信号処理方法 |
JP2013187711A (ja) | 2012-03-07 | 2013-09-19 | Olympus Corp | 画像処理装置、撮像装置及び画像処理方法 |
JP2016052115A (ja) | 2014-08-29 | 2016-04-11 | 株式会社 日立産業制御ソリューションズ | 撮像方法及び撮像装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7663668B2 (en) * | 2004-04-05 | 2010-02-16 | Mitsubishi Electric Corporation | Imaging device |
JP2011243862A (ja) * | 2010-05-20 | 2011-12-01 | Sony Corp | 撮像デバイス及び撮像装置 |
JP5718138B2 (ja) | 2011-04-20 | 2015-05-13 | 株式会社豊田中央研究所 | 画像信号処理装置及びプログラム |
US20150062347A1 (en) * | 2013-08-27 | 2015-03-05 | Semiconductor Components Industries, Llc | Image processing methods for visible and infrared imaging |
JP6582987B2 (ja) * | 2013-10-23 | 2019-10-02 | 日本電気株式会社 | 映像撮影装置、映像撮影方法、符号型赤外カットフィルタ、および符号型特定色カットフィルタ |
JP2015204579A (ja) | 2014-04-16 | 2015-11-16 | キヤノン株式会社 | 撮像装置 |
JP2016072741A (ja) | 2014-09-29 | 2016-05-09 | ソニー株式会社 | 信号処理装置 |
-
2017
- 2017-12-15 US US16/468,743 patent/US10931895B2/en active Active
- 2017-12-15 JP JP2018557732A patent/JP7143767B2/ja active Active
- 2017-12-15 WO PCT/JP2017/045058 patent/WO2018116972A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003143623A (ja) | 2001-08-22 | 2003-05-16 | Fuji Photo Film Co Ltd | 画像撮影方法および装置 |
JP2005323141A (ja) | 2004-05-10 | 2005-11-17 | Mitsubishi Electric Corp | 撮像装置、カメラ、及び信号処理方法 |
JP2013187711A (ja) | 2012-03-07 | 2013-09-19 | Olympus Corp | 画像処理装置、撮像装置及び画像処理方法 |
JP2016052115A (ja) | 2014-08-29 | 2016-04-11 | 株式会社 日立産業制御ソリューションズ | 撮像方法及び撮像装置 |
Non-Patent Citations (1)
Title |
---|
津村徳道、羽石秀昭、三宅洋一,重回帰分析によるマルチバンド画像からの分光反射率の推定,光学,27巻7号,日本,日本光学会,1998年07月31日,384(36)-391(41),https://annex.jsap.or.jp/photonics/kogaku/public/27-07-kenkyu.pdf |
Also Published As
Publication number | Publication date |
---|---|
WO2018116972A1 (ja) | 2018-06-28 |
US10931895B2 (en) | 2021-02-23 |
JPWO2018116972A1 (ja) | 2019-10-24 |
US20190320126A1 (en) | 2019-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7143767B2 (ja) | 画像処理方法、画像処理装置および画像処理プログラム | |
CN108419062B (zh) | 图像融合设备和图像融合方法 | |
US9491440B2 (en) | Depth-sensing camera system | |
JP4346634B2 (ja) | 目標物検出装置 | |
KR20100042957A (ko) | 고감도 컬러 영상을 제공하기 위한 영상 처리 장치 및 방법 | |
JP5186517B2 (ja) | 撮像装置 | |
JP6969550B2 (ja) | 画像処理装置、画像処理システム、画像処理方法及びプログラム | |
JP2007202108A (ja) | 撮像装置 | |
WO2020031681A1 (en) | Color temperature sensor for ambient light correction | |
US10334185B2 (en) | Image capturing device, signal separation device, and image capturing method | |
US20160323563A1 (en) | Method for compensating for color differences between different images of a same scene | |
WO2007148576A1 (ja) | 撮像システム及び撮像プログラム | |
KR20180118432A (ko) | 감도 개선을 위한 영상 처리 장치 및 방법 | |
US10440292B2 (en) | Color signal and near-infrared signal generated by using pattern information defining intensity-corresponding pattern | |
KR100894420B1 (ko) | 다채널 필터를 이용하여 영상을 생성하는 장치 및 방법 | |
US20210142446A1 (en) | Image processing device, image processing method, and non-transitory computer-readable medium | |
US8866972B1 (en) | Method for transmitting spectrum information | |
US10249020B2 (en) | Image processing unit, imaging device, computer-readable medium, and image processing method | |
WO2013111824A1 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP6725060B2 (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム | |
WO2022198436A1 (zh) | 图像传感器、图像数据获取方法、成像设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190524 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201116 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20211020 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220422 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220816 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220829 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7143767 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |