JP5906755B2 - 撮像装置、撮像方法、及びプログラム - Google Patents
撮像装置、撮像方法、及びプログラム Download PDFInfo
- Publication number
- JP5906755B2 JP5906755B2 JP2012011386A JP2012011386A JP5906755B2 JP 5906755 B2 JP5906755 B2 JP 5906755B2 JP 2012011386 A JP2012011386 A JP 2012011386A JP 2012011386 A JP2012011386 A JP 2012011386A JP 5906755 B2 JP5906755 B2 JP 5906755B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- infrared light
- image
- unit
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 74
- 238000012937 correction Methods 0.000 claims description 90
- 230000003287 optical effect Effects 0.000 claims description 56
- 238000012545 processing Methods 0.000 claims description 43
- 239000011159 matrix material Substances 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 19
- 230000035945 sensitivity Effects 0.000 claims description 18
- 230000003595 spectral effect Effects 0.000 claims description 16
- 230000002238 attenuated effect Effects 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 4
- 238000000034 method Methods 0.000 description 47
- 230000006870 function Effects 0.000 description 12
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 239000010409 thin film Substances 0.000 description 3
- GWEVSGVZZGPLCZ-UHFFFAOYSA-N Titan oxide Chemical compound O=[Ti]=O GWEVSGVZZGPLCZ-UHFFFAOYSA-N 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 235000012239 silicon dioxide Nutrition 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 201000005569 Gout Diseases 0.000 description 1
- 230000004456 color vision Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 229910010272 inorganic material Inorganic materials 0.000 description 1
- 239000011147 inorganic material Substances 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 239000010453 quartz Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000377 silicon dioxide Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 239000004408 titanium dioxide Substances 0.000 description 1
- 238000007738 vacuum evaporation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Description
図1は、ある撮像素子の分光感度特性を表したグラフである。このグラフにおいて、「R成分」、「G成分」、及び「B成分」のグラフは、それぞれ、光の三原色である赤色、緑色、及び青色の各色についての分光感度特性を表している。
この撮像素子では、赤外カットフィルタを外した状態では、色サンプルの赤外領域での反射率が可視領域での反射率に対して高いほど、赤外領域のスペクトルを多く検知してしまう。この場合、撮像素子により検知される、R成分、G成分、及びB成分の各々の明るさの差は小さくなるため、得られる画像は、赤外カットフィルタを用いた撮像により得られる画像と比べると、色彩が薄くなる(無彩色の画像に近づく)。
この撮像画像での色の劣化は、前述した、撮像素子から出力される各色の色信号と所定の補正係数とのマトリクス演算による色補正の技術を用いることで改善させることができる。しかしながら、この技術による色補正を試みたところ、補正後の画像にノイズが多量に含まれてしまうことが判明した。従って、画質の良好な画像を得るためには、このノイズを抑制することが必要である。
撮像装置1は、赤外光源11、レンズユニット12、光学フィルタ13、撮像素子14、A/D変換部15、画素補間部16、WB調整部17、色補正部18、γ補正部19、画質調整部20、表示・保存処理部21、表示部22、及び記録媒体23を備える。
光学フィルタ13は、赤外光のうち、前述の特定の波長帯域外の赤外光を減衰させる。
撮像素子14は、例えば、CCD(Charge Coupled Device)型、CMOS(Complementary Metal Oxide Semiconductor)型などの固体撮像素子であり、光学フィルタ13を通過して受光面に入射した光を電気信号に変換して出力する。なお、この撮像素子14は、可視領域及び赤外領域に対して感度を有している。
画素補間部16は、A/D変換部15から出力される画像信号に対して画素補間処理を行うことで、画像を構成する各画素についてのR成分(赤色成分)、G成分(緑色成分)、及びB成分(青色成分)の信号(色信号)を出力する。
WB(White Balance )調整部17は、画素補間部16から出力された3色の各成分の色信号に対してゲイン調整を行うことで、ホワイトバランスを調整する。
まず、複数のカラーサンプルの各々について、補正前のRGB各成分の値と、補正後のRGBの各成分の目標値との取得が行われる。本実施例では、カラーサンプルとして、前述した、マクベスカラーチェッカにおける24色のカラーサンプルを使用するものとする。ここで、補正前のRGB各成分の値は、撮像装置1の撮像素子14と同様の特性を有する撮像素子を用い、更に、撮像装置1に使用される、前述した特性を有する光学フィルタ13を用いて、各カラーサンプルを撮像することで得られる。また、補正後のRGBの各成分の目標値は、同じ撮像素子を用い、更に、可視光は透過するが、赤外光はその波長域の全体に亙って遮断する赤外カットフィルタを用いて、各カラーサンプルを撮像することで得られる。
画質調整部20は、γ補正部19から出力された色信号に対し、例えば画像の彩度やコントラスト等の画質の調整処理を施す。
表示部22は、例えば、LCD(Liquid Crystal Display)や有機EL(Electroluminescence)ディスプレイなどの表示デバイスであり、表示・保存処理部21から出力された信号で表されている画像を表示する。
なお、この撮像装置1のうちの構成要素の一部を、図7にハードウェア構成を図解した画像処理部30を用いて構成してもよい。
ROM(Read Only Memory)32は、所定の制御プログラムや各種の定数値が予め記録されている読み出し専用半導体メモリである。MPU31は、この制御プログラムを撮像装置1の起動時に読み出して実行することにより、この画像処理部30の各構成要素の動作制御が可能となり、更に、後述する制御処理を行えるようにもなる。
この画像処理が開始されると、まず、S101において、MPU31は画像信号取得処理を行う。この処理は、A/D変換部15から出力される画像信号を、インタフェース部34を介して取得する処理である。
図9は、マトリクス演算による色補正を、赤外カットフィルタを使用しないで撮像した色信号に対して施した場合の画像の例、及び、実施例の光学フィルタ13を使用して撮像した色信号に対して施した場合の画像の例である。
図9の[A]の画像例において使用した係数値と[B]の画像例において使用した係数値とを対比すると、実施例の特性を有する光学フィルタ13を使用した場合の方が、赤外カットフィルタを使用しない場合よりも、係数の値が顕著に小さいことが分かる。また、このことは、[C]の画像例において使用した係数値と[D]の画像例において使用した係数値とを対比しても分かる。
図10において、[A]のグラフは、この撮像装置で使用されている撮像素子の分光感度特性を表しており、[B]は、この撮像装置で使用されている光フィルタの特性を表している。また、[C]の画像例は、マトリクス演算による色補正を、[B]の特性を有する光フィルタを使用して撮像した色信号に対して施して得られる画像を、コンピュータによる数値計算を行って作成したものである。なお、[C]の画像例の右横には、色補正のためのマトリクス演算に使用した補正係数の値を記し、更に、係数の値の最大値と自乗平均値とを記した。
11 赤外光源
12 レンズユニット
13 光学フィルタ
14 撮像素子
15 A/D変換部
16 画素補間部
17 WB調整部
18 色補正部
19 γ補正部
20 画質調整部
21 表示・保存処理部
22 表示部
23 記録媒体
30 画像処理部
31 MPU
32 ROM
33 RAM
34 インタフェース部
35 記録媒体駆動装置
36 バスライン
Claims (7)
- 特定の波長帯域内の赤外光を発光する赤外光源と、
入射した光に対応する色信号を出力する撮像素子部と、
前記撮像素子部への光路中に常時挿入されており、前記特定の波長帯域外の波長の赤外光を減衰させる光学フィルタと、
前記撮像素子部から出力される、前記赤外光源により発光される赤外光の波長帯域外の波長の赤外光を前記光学フィルタが減衰させて得られた光に対応する色信号を補正して、前記撮像素子部の各色の分光感度特性を人間の錐体の特性に近似させる色補正部と、
を備えることを特徴とする撮像装置。 - 前記撮像素子部は、入射した光に対応する3種の色信号を出力し、
前記色補正部は、前記撮像素子部から出力される3種の色信号と予め設定された補正係数とのマトリクス演算により前記補正を行う、
ことを特徴とする請求項1に記載の撮像装置。 - 前記特定の波長帯域が800nmから900nmの範囲であることを特徴とする請求項1又は2に記載の撮像装置。
- 前記光学フィルタが減衰させる光の波長の下限が700nmであることを特徴とする請求項1から3のうちのいずれか一項に記載の撮像装置。
- 前記色補正部は、前記赤外光源による赤外光の発光が行われていないときに、前記補正を行うことを特徴とする請求項1から4のうちのいずれか一項に記載の撮像装置。
- 撮像装置が備える光学フィルタが、入射光のうちから、該撮像装置が備えている赤外光源が発光する赤外光の波長が含まれる特定の波長帯域外の波長の赤外光を減衰させ、
前記入射光のうち前記光学フィルタを通過した光が前記撮像装置の備える撮像素子部に入射したときに、該光学フィルタを通過した光に対応する色信号を該撮像素子部が出力し、
前記撮像素子部から出力される、前記赤外光源により発光される赤外光の波長帯域外の波長の赤外光を前記光学フィルタが減衰させて得られた光に対応する色信号を、前記撮像装置の備える色補正部が補正して、前記撮像素子部の各色の分光感度特性を人間の錐体の特性に近似させる、
ことを特徴とする撮像方法。 - 入射光のうちから、撮像装置が備えている赤外光源が発光する赤外光の波長が含まれる特定の波長帯域外の赤外光を、該撮像装置が備える光学フィルタが減衰させることによって得られた光に対応している3種の色信号であって、該得られた光を前記撮像装置の備える撮像素子部に入射させたときに該撮像素子部から出力される該3種の色信号と、予め設定された補正係数とのマトリクス演算を行うことによって該3種の色信号を補正して、該撮像素子部の各色の分光感度特性を人間の錐体の特性に近似させ、
該補正後の色信号で構成されている画像を表示装置に表示させる、
処理を演算処理装置に行わせるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012011386A JP5906755B2 (ja) | 2012-01-23 | 2012-01-23 | 撮像装置、撮像方法、及びプログラム |
US13/721,493 US20130194432A1 (en) | 2012-01-23 | 2012-12-20 | Imaging apparatus and method of improving image quality of imaged image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012011386A JP5906755B2 (ja) | 2012-01-23 | 2012-01-23 | 撮像装置、撮像方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013150269A JP2013150269A (ja) | 2013-08-01 |
JP5906755B2 true JP5906755B2 (ja) | 2016-04-20 |
Family
ID=48869885
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012011386A Expired - Fee Related JP5906755B2 (ja) | 2012-01-23 | 2012-01-23 | 撮像装置、撮像方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20130194432A1 (ja) |
JP (1) | JP5906755B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5910043B2 (ja) * | 2011-12-02 | 2016-04-27 | 富士通株式会社 | 撮像装置、画像処理プログラム、画像処理方法、および画像処理装置 |
US9491377B2 (en) * | 2013-08-07 | 2016-11-08 | Trimble Navigation Limited | Methods of extracting 4-band data from a single CCD; methods of generating 4×4 or 3×3 color correction matrices using a single CCD |
CN107049254A (zh) * | 2017-04-05 | 2017-08-18 | 展谱光电科技(上海)有限公司 | 便携式多光谱摄像和投影装置及方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10108206A (ja) * | 1996-09-27 | 1998-04-24 | Toshiba Lighting & Technol Corp | カラービデオカメラ、テレビドアホン及び監視装置 |
JP2004032243A (ja) * | 2002-06-25 | 2004-01-29 | Sanyo Electric Co Ltd | 撮像装置および光学フィルタ |
JP4407448B2 (ja) * | 2004-09-24 | 2010-02-03 | 三菱電機株式会社 | 撮像装置 |
JP2006237738A (ja) * | 2005-02-22 | 2006-09-07 | Sanyo Electric Co Ltd | 色信号処理方法 |
JP2007311447A (ja) * | 2006-05-17 | 2007-11-29 | Sanyo Electric Co Ltd | 光電変換装置 |
JP2010171950A (ja) * | 2008-12-25 | 2010-08-05 | Kyocera Corp | 撮像装置および撮像装置の色補正方法 |
JP5572326B2 (ja) * | 2009-03-26 | 2014-08-13 | オリンパス株式会社 | 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法 |
-
2012
- 2012-01-23 JP JP2012011386A patent/JP5906755B2/ja not_active Expired - Fee Related
- 2012-12-20 US US13/721,493 patent/US20130194432A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JP2013150269A (ja) | 2013-08-01 |
US20130194432A1 (en) | 2013-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8629916B2 (en) | Camera with imaging unit and imaging unit for camera | |
US10419685B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
US8842194B2 (en) | Imaging element and imaging apparatus | |
US8363131B2 (en) | Apparatus and method for local contrast enhanced tone mapping | |
JP5168353B2 (ja) | 撮像装置及び撮像素子 | |
US10313589B2 (en) | Imaging device having an image mode set according to a filter | |
JP4635828B2 (ja) | 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム | |
JP6394338B2 (ja) | 画像処理装置、画像処理方法、及び撮像システム | |
CN104113743B (zh) | 低照度下彩色摄像机自动白平衡处理方法及装置 | |
US20020106206A1 (en) | Image-capturing device | |
JP5259381B2 (ja) | 撮像装置および撮像方法 | |
JP2006109120A (ja) | 赤外線撮像装置 | |
JP2010093472A (ja) | 撮像装置および撮像装置用信号処理回路 | |
US20110254974A1 (en) | Signal processing apparatus, solid-state image capturing apparatus, electronic information device, signal processing method, control program and storage medium | |
US10416026B2 (en) | Image processing apparatus for correcting pixel value based on difference between spectral sensitivity characteristic of pixel of interest and reference spectral sensitivity, image processing method, and computer-readable recording medium | |
JP2011239252A (ja) | 撮像装置 | |
WO2017086155A1 (ja) | 撮像装置、撮像方法、およびプログラム | |
JP5906755B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
JP4544308B2 (ja) | 画像処理装置、撮像装置、方法およびプログラム | |
JP2011091513A (ja) | 撮像システムおよび補正方法 | |
US20180338100A1 (en) | Image processing device, image processing method and computer readable recording medium | |
JP3595104B2 (ja) | カラー撮像装置のホワイトバランス調整方法 | |
JP2010171950A (ja) | 撮像装置および撮像装置の色補正方法 | |
JP5950552B2 (ja) | 撮像装置、及び撮像装置の制御方法 | |
JP2017102393A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140904 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150824 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150901 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151026 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160223 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160307 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5906755 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |