JP4407485B2 - 撮像装置、画像処理装置および画像処理プログラム - Google Patents
撮像装置、画像処理装置および画像処理プログラム Download PDFInfo
- Publication number
- JP4407485B2 JP4407485B2 JP2004328580A JP2004328580A JP4407485B2 JP 4407485 B2 JP4407485 B2 JP 4407485B2 JP 2004328580 A JP2004328580 A JP 2004328580A JP 2004328580 A JP2004328580 A JP 2004328580A JP 4407485 B2 JP4407485 B2 JP 4407485B2
- Authority
- JP
- Japan
- Prior art keywords
- color component
- pixel
- color
- pixel signal
- color filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 74
- 238000002834 transmittance Methods 0.000 claims description 55
- 230000003595 spectral effect Effects 0.000 claims description 50
- 238000000034 method Methods 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 30
- 230000015572 biosynthetic process Effects 0.000 claims description 12
- 238000003786 synthesis reaction Methods 0.000 claims description 12
- 239000003086 colorant Substances 0.000 claims description 10
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 8
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 230000035945 sensitivity Effects 0.000 description 73
- 230000014509 gene expression Effects 0.000 description 26
- 238000005286 illumination Methods 0.000 description 18
- 230000005540 biological transmission Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 230000005855 radiation Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005375 photometry Methods 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/044—Picture signal generators using solid-state devices having a single pick-up sensor using sequential colour illumination
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
Description
上記撮像装置の画素信号生成手段は、(1)第1の色フィルタによる第1の色成分の透過率と第2の色フィルタによる第1の色成分の透過率との比、および第2の色フィルタが形成される画素から第1の撮像で得られる第1の色成分の画素信号を用いて、当該画素に第1の色フィルタが形成される場合に得られる第1の色成分の画素信号を推定する第1の画素信号推定手段と、(2)第1の色フィルタによる第2の色成分の透過率と第2の色フィルタによる第2の色成分の透過率との比、および第2の色フィルタが形成される画素から第2の撮像で得られる第2の色成分の画素信号を用いて、当該画素に第1の色フィルタが形成される場合に得られる第2の色成分の画素信号を推定する第2の画素信号推定手段と、(3)第2の色フィルタによる第1の色成分の透過率と第1の色フィルタによる第1の色成分の透過率との比、および第1の色フィルタが形成される画素から第1の撮像で得られる第1の色成分の画素信号を用いて、当該画素に第2の色フィルタが形成される場合に得られる第1の色成分の画素信号を推定する第3の画素信号推定手段と、(4)第2の色フィルタによる第2の色成分の透過率と第1の色フィルタによる第2の色成分の透過率との比、および第1の色フィルタが形成される画素から第2の撮像で得られる第2の色成分の画素信号を用いて、当該画素に第2の色フィルタが形成される場合に得られる第2の色成分の画素信号を推定する第4の画素信号推定手段とを含むことを特徴とする。
撮像装置はさらに、(1)第2の色フィルタが形成される画素について、第1の画素信号推定手段で推定された第1の色成分の画素信号と、第2の画素信号推定手段で推定された第2の色成分の画素信号との和を合成後の第1の色成分の画素信号とし、(2)第1の色フィルタが形成される画素について、第3の画素信号推定手段で推定された第1の色成分の画素信号と、第4の画素信号推定手段で推定された第2の色成分の画素信号との和を合成後の第2の色成分の画素信号とする画像合成手段を備えてもよい。
上記第1の色フィルタおよび第2の色フィルタはそれぞれ第1の色成分および第2の色成分を透過し、第2の色フィルタは第1の色成分より第2の色成分の透過率が高く、第1の色フィルタは第2の色成分より第1の色成分の透過率が高くされることを特徴とする。
第1の色成分および第2の色成分は光の3原色を構成してもよい。
請求項6に記載の発明は、第1の色成分を透過させる第1の色フィルタ、もしくは第1の色成分と異なる第2の色成分を透過させる第2の色フィルタが受光画素ごとに形成される分光手段を介して撮像された画像であって、被写体が第1の色成分の光で照明された状態で撮像された第1の画像、および被写体が第2の色成分の光で照明された状態で撮像された第2の画像に対する画像処理を行う画像処理装置に適用される。そして、第1の色フィルタ、第2の色フィルタ、第1の色成分の光、および第2の色成分の光のそれぞれの分光特性と、第1の画像および第2の画像を構成する画素信号とを用いて、各画素位置において共通の色成分の画素信号を有するように第1の色成分もしくは第2の色成分の画素信号を生成する画素信号生成手段を備えることを特徴とする。
上記画像処理装置の画素信号生成手段は、(1)第1の色フィルタによる第1の色成分の透過率と第2の色フィルタによる第1の色成分の透過率との比、および第2の色フィルタが形成される画素に対応する第1の画像の第1の色成分の画素信号を用いて、当該画素に第1の色フィルタが形成される場合に得られる第1の色成分の画素信号を推定する第1の画素信号推定手段と、(2)第1の色フィルタによる第2の色成分の透過率と第2の色フィルタによる第2の色成分の透過率との比、および第2の色フィルタが形成される画素に対応する第2の画像の第2の色成分の画素信号を用いて、当該画素に第1の色フィルタが形成される場合に得られる第2の色成分の画素信号を推定する第2の画素信号推定手段と、(3)第2の色フィルタによる第1の色成分の透過率と第1の色フィルタによる第1の色成分の透過率との比、および第1の色フィルタが形成される画素に対応する第1の画像の第1の色成分の画素信号を用いて、当該画素に第2の色フィルタが形成される場合に得られる第1の色成分の画素信号を推定する第3の画素信号推定手段と、(4)第2の色フィルタによる第2の色成分の透過率と第1の色フィルタによる第2の色成分の透過率との比、および第1の色フィルタが形成される画素に対応する第2の画像の第2の色成分の画素信号を用いて、当該画素に第2の色フィルタが形成される場合に得られる第2の色成分の画素信号を推定する第4の画素信号推定手段とを含むことを特徴とする。
画像処理装置はさらに、(1)第2の色フィルタが形成される画素について、第1の画素信号推定手段で推定された第1の色成分の画素信号と、第2の画素信号推定手段で推定された第2の色成分の画素信号との和を合成後の第1の色成分の画素信号とし、(2)第1の色フィルタが形成される画素について、第3の画素信号推定手段で推定された第1の色成分の画素信号と、第4の画素信号推定手段で推定された第2の色成分の画素信号との和を合成後の第2の色成分の画素信号とする画像合成手段を備えてもよい。
請求項9に記載の発明は、第1の色成分を透過させる第1の色フィルタ、もしくは第1の色成分と異なる第2の色成分を透過させる第2の色フィルタが受光画素ごとに形成される分光手段を介して撮像された画像であって、被写体が第1の色成分の光で照明された状態で撮像された第1の画像、および被写体が第2の色成分の光で照明された状態で撮像された第2の画像に対する画像処理をコンピュータ装置で実行する画像処理プログラムに適用される。そして、(1)第1の色フィルタによる第1の色成分の透過率と第2の色フィルタによる第1の色成分の透過率との比、および第2の色フィルタが形成される画素に対応する第1の画像の第1の色成分の画素信号を用いて、当該画素に第1の色フィルタが形成される場合に得られる第1の色成分の画素信号を推定する第1の画素信号推定処理と、(2)第1の色フィルタによる第2の色成分の透過率と第2の色フィルタによる第2の色成分の透過率との比、および第2の色フィルタが形成される画素に対応する第2の画像の第2の色成分の画素信号を用いて、当該画素に第1の色フィルタが形成される場合に得られる第2の色成分の画素信号を推定する第2の画素信号推定処理と、(3)第2の色フィルタによる第1の色成分の透過率と第1の色フィルタによる第1の色成分の透過率との比、および第1の色フィルタが形成される画素に対応する第1の画像の第1の色成分の画素信号を用いて、当該画素に第2の色フィルタが形成される場合に得られる第1の色成分の画素信号を推定する第3の画素信号推定処理と、(4)第2の色フィルタによる第2の色成分の透過率と第1の色フィルタによる第2の色成分の透過率との比、および第1の色フィルタが形成される画素に対応する第2の画像の第2の色成分の画素信号を用いて、当該画素に第2の色フィルタが形成される場合に得られる第2の色成分の画素信号を推定する第4の画素信号推定処理と、(5)第2の色フィルタが形成される画素について、第1の画素信号推定処理で推定した第1の色成分の画素信号と、第2の画素信号推定処理で推定した第2の色成分の画素信号との和を合成後の第1の色成分の画素信号とし、第1の色フィルタが形成される画素について、第3の画素信号推定処理で推定した第1の色成分の画素信号と、第4の画素信号推定処理で推定した第2の色成分の画素信号との和を合成後の第2の色成分の画素信号とする画像合成処理とを含むことを特徴とする。
図4は、LEDモジュール131による照明光の分光放射強度特性例を示す図である。図4において、横軸は発光(放射)波長(単位nm)を表し、縦軸は発光(放射)強度を表す。縦軸目盛は、発光強度の最大値を1とする相対値で記されている。
撮像素子121(図2)の撮像面に構成されている画素領域上には、周知の分光フィルタ(色フィルタ)121aが設けられている。色フィルタ121aは、主としてR成分、主としてG成分、および主としてB成分のいずれかの光を通過させる原色フィルタが画素位置に対応して所定の配列(たとえば、ベイヤー配列)で構成された色分解フィルタである。撮像素子121は、このような色フィルタ121aを通して被写体像を撮像することにより、光の3原色ごとの撮像信号を出力する。
G=Gr+Gg+Gb (5)
R=Rr+Rg+Rb (7)
B=Br+Bg+Bb (9)
G成分の色フィルタに対応する画素に注目すると、当該画素から出力される撮像信号はGr、Gg、Gbを示す情報だけで、Rr、Rg、RbやBr、Bg、Bbを示す情報がない。このため、全ての画素位置でGr、Gg、Gb、Rr、Rg、Rb、Br、Bg、およびBbについて全情報を得るには、不足する情報を生成して補間する必要がある。
G成分の色フィルタに対応する画素位置で得られるR成分の情報は信号Grである。図5の分光感度特性より、R成分光(Ri(λ))の波長帯域が狭く単色光とすれば次式(10)が成立する。
Rr/Gr≒Rs(λr)/Gs(λr) (10)
ただし、λrはRi(λ)を最大にする波長である。式(10)において、Gr、Rs(λ)、Gs(λ)およびλrは既知であることから、CPU101はこれら既知の値を式(10)へ代入して信号Rrを得る。上式(10)の意味は、既知のR成分波長λrにおけるR成分光の感度特性Rs(λr)および波長λrにおけるG成分光の感度特性Gs(λr)の比と、実際に得られたR成分の信号値Grとを用いてR成分の情報(信号Rr)を推定するものである。なお、分光放射強度特性Bi(λ)、Gi(λ)、Ri(λ)、分光感度特性Bs(λ)、Gs(λ)、およびRs(λ)を示すデータは、あらかじめCPU101内の不揮発性メモリ(不図示)に格納されている。
G成分の色フィルタに対応する画素位置で得られるG成分の情報は信号Ggである。図5の分光感度特性より、G成分光(Gi(λ))の波長帯域が狭く単色光とすれば次式(11)が成立する。
Rg/Gg≒Rs(λg)/Gs(λg) (11)
ただし、λgはGi(λ)を最大にする波長である。式(11)において、Gg、Rs(λ)、Gs(λ)およびλgは既知であることから、CPU101はこれら既知の値を式(11)へ代入して信号Rgを得る。上式(11)の意味は、既知のG成分波長λgにおけるR成分光の感度特性Rs(λg)および波長λgにおけるG成分光の感度特性Gs(λg)の比と、実際に得られたG成分の信号値Ggとを用いてG成分の情報(信号Rg)を推定するものである。
G成分の色フィルタに対応する画素位置で得られるB成分の情報は信号Gbである。図5の分光感度特性より、B成分光(Bi(λ))の波長帯域が狭く単色光とすれば次式(12)が成立する。
Rb/Gb≒Rs(λb)/Gs(λb) (12)
ただし、λbはBi(λ)を最大にする波長である。式(12)において、Gb、Rs(λ)、Gs(λ)およびλbは既知であることから、CPU101はこれら既知の値を式(12)へ代入して信号Rbを得る。上式(12)の意味は、既知のB成分波長λbにおけるR成分光の感度特性Rs(λb)および波長λbにおけるG成分光の感度特性Gs(λb)の比と、実際に得られたB成分の信号値Gbとを用いてB成分の情報(信号Rb)を推定するものである。
G成分の色フィルタに対応する画素位置で得られるB成分の情報は信号Gbである。図5の分光感度特性より、B成分光(Bi(λ))の波長帯域が狭く単色光とすれば次式(13)が成立する。
Bb/Gb≒Bs(λb)/Gs(λb) (13)
ただし、λbはBi(λ)を最大にする波長である。式(13)において、Gb、Bs(λ)、Gs(λ)およびλbは既知であることから、CPU101はこれらを式(13)へ代入して信号Bbを得る。上式(13)の意味は、既知の波長λbにおけるB成分光の感度特性Bs(λb)およびB成分波長λbにおけるG成分光の感度特性Gs(λb)の比と、実際に得られたB成分の信号値Gbとを用いてB成分の情報(信号Bb)を推定するものである。
G成分の色フィルタに対応する画素位置で得られるR成分の情報は信号Grである。図5の分光感度特性より、R成分光(Ri(λ))の波長帯域が狭く単色光とすれば次式(14)が成立する。
Br/Gr≒Bs(λr)/Gs(λr) (14)
ただし、λrはRi(λ)を最大にする波長である。式(14)において、Gr、Bs(λ)、Gs(λ)およびλrは既知であることから、CPU101はこれら既知の値を式(14)へ代入して信号Brを得る。上式(14)の意味は、既知の波長λrにおけるB成分光の感度特性Bs(λr)および波長λrにおけるG成分光の感度特性Gs(λr)の比と、実際に得られたR成分の信号値Grとを用いてR成分の情報(信号Br)を推定するものである。
G成分の色フィルタに対応する画素位置で得られるG成分の情報は信号Ggである。図5の分光感度特性より、G成分光(Gi(λ))の波長帯域が狭く単色光とすれば次式(15)が成立する。
Bg/Gg≒Bs(λg)/Gs(λg) (15)
ただし、λgはGi(λ)を最大にする波長である。式(15)において、Gg、Bs(λ)、Gs(λ)およびλgは既知であることから、CPU101はこれら既知の値を式(15)へ代入して信号Bgを得る。上式(15)の意味は、既知の波長λgにおけるB成分光の感度特性Bs(λg)および波長λgにおけるG成分光の感度特性Gs(λg)の比と、実際に得られたG成分の信号値Ggとを用いてG成分の情報(信号Bg)を推定するものである。
R成分の色フィルタに対応する画素位置で得られるG成分の情報は信号Rgである。図5の分光感度特性より、G成分光(Gi(λ))の波長帯域が狭く単色光とすれば次式(16)が成立する。
Gg/Rg≒Gs(λg)/Rs(λg) (16)
ただし、λgはGi(λ)を最大にする波長である。式(16)において、Rg、Gs(λ)、Rs(λ)およびλgは既知であることから、CPU101はこれらを式(16)へ代入して信号Ggを得る。上式(16)の意味は、既知の波長λgにおけるG成分光の感度特性Gs(λg)および波長λgにおけるR成分光の感度特性Rs(λg)の比と、実際に得られたG成分の信号値Rgとを用いてG成分の情報(信号Gg)を推定するものである。
R成分の色フィルタに対応する画素位置で得られるR成分の情報は信号Rrである。図5の分光感度特性より、R成分光(Ri(λ))の波長帯域が狭く単色光とすれば次式(17)が成立する。
Gr/Rr≒Gs(λr)/Rs(λr) (17)
ただし、λrはRi(λ)を最大にする波長である。式(17)において、Rr、Gs(λ)、Rs(λ)およびλrは既知であることから、CPU101はこれら既知の値を式(17)へ代入して信号Grを得る。上式(17)の意味は、既知の波長λrにおけるG成分光の感度特性Gs(λr)および波長λrにおけるR成分光の感度特性Rs(λr)の比と、実際に得られたR成分の信号値Rrとを用いてR成分の情報(信号Gr)を推定するものである。
R成分の色フィルタに対応する画素位置で得られるB成分の情報は信号Rbである。図5の分光感度特性より、B成分光(Bi(λ))の波長帯域が狭く単色光とすれば次式(18)が成立する。
Gb/Rb≒Gs(λb)/Rs(λb) (18)
ただし、λbはBi(λ)を最大にする波長である。式(18)において、Rb、Gs(λ)、Rs(λ)およびλbは既知であることから、CPU101はこれらを式(18)へ代入して信号Gbを得る。上式(18)の意味は、既知の波長λbにおけるG成分光の感度特性Gs(λb)および波長λbにおけるR成分光の感度特性Rs(λb)の比と、実際に得られたB成分の信号値Rbとを用いてB成分の情報(信号Gb)を推定するものである。
R成分の色フィルタに対応する画素位置で得られるB成分の情報は信号Rbである。図5の分光感度特性より、B成分光(Bi(λ))の波長帯域が狭く単色光とすれば次式(19)が成立する。
Bb/Rb≒Bs(λb)/Rs(λb) (19)
ただし、λbはBi(λ)を最大にする波長である。式(19)において、Rb、Bs(λ)、Rs(λ)およびλbは既知であることから、CPU101はこれらを式(19)へ代入して信号Bbを得る。上式(19)の意味は、既知の波長λbにおけるB成分光の感度特性Bs(λb)および波長λbにおけるR成分光の感度特性Rs(λb)の比と、実際に得られたB成分の信号値Rbとを用いてB成分の情報(信号Bb)を推定するものである。
R成分の色フィルタに対応する画素位置で得られるR成分の情報は信号Rrである。図5の分光感度特性より、R成分光(Ri(λ))の波長帯域が狭く単色光とすれば次式(20)が成立する。
Br/Rr≒Bs(λr)/Rs(λr) (20)
ただし、λrはRi(λ)を最大にする波長である。式(20)において、Rr、Bs(λ)、Rs(λ)およびλrは既知であることから、CPU101はこれらを式(20)へ代入して信号Brを得る。上式(20)の意味は、既知の波長λrにおけるB成分光の感度特性Bs(λr)および波長λrにおけるR成分光の感度特性Rs(λr)の比と、実際に得られたR成分の信号値Rrとを用いてR成分の情報(信号Br)を推定するものである。
R成分の色フィルタに対応する画素位置で得られるG成分の情報は信号Rgである。図5の分光感度特性より、G成分光(Gi(λ))の波長帯域が狭く単色光とすれば次式(21)が成立する。
Bg/Rg≒Bs(λg)/Rs(λg) (21)
ただし、λgはGi(λ)を最大にする波長である。式(21)において、Rg、Bs(λ)、Rs(λ)およびλgは既知であることから、CPU101はこれらを式(21)へ代入して信号Bgを得る。上式(21)の意味は、既知の波長λgにおけるB成分光の感度特性Bs(λg)および波長λgにおけるR成分光の感度特性Rs(λg)の比と、実際に得られたG成分の信号値Rgとを用いてG成分の情報(信号Bg)を推定するものである。
B成分の色フィルタに対応する画素位置で得られるG成分の情報は信号Bgである。図5の分光感度特性より、G成分光(Gi(λ))の波長帯域が狭く単色光とすれば次式(22)が成立する。
Gg/Bg≒Gs(λg)/Bs(λg) (22)
ただし、λgはGi(λ)を最大にする波長である。式(22)において、Bg、Gs(λ)、Bs(λ)およびλgは既知であることから、CPU101はこれらを式(22)へ代入して信号Ggを得る。上式(22)の意味は、既知の波長λgにおけるG成分光の感度特性Gs(λg)および波長λgにおけるB成分光の感度特性Bs(λg)の比と、実際に得られたG成分の信号値Bgとを用いてG成分の情報(信号Gg)を推定するものである。
B成分の色フィルタに対応する画素位置で得られるR成分の情報は信号Brである。図5の分光感度特性より、R成分光(Ri(λ))の波長帯域が狭く単色光とすれば次式(23)が成立する。
Gr/Br≒Gs(λr)/Bs(λr) (23)
ただし、λrはRi(λ)を最大にする波長である。式(23)において、Br、Gs(λ)、Bs(λ)およびλrは既知であることから、CPU101はこれらを式(23)へ代入して信号Grを得る。上式(23)の意味は、既知の波長λrにおけるG成分光の感度特性Gs(λr)および波長λrにおけるB成分光の感度特性Bs(λr)の比と、実際に得られたR成分の信号値Brとを用いてR成分の情報(信号Gr)を推定するものである。
B成分の色フィルタに対応する画素位置で得られるB成分の情報は信号Bbである。図5の分光感度特性より、B成分光(Bi(λ))の波長帯域が狭く単色光とすれば次式(24)が成立する。
Gb/Bb≒Gs(λb)/Bs(λb) (24)
ただし、λbはBi(λ)を最大にする波長である。式(24)において、Bb、Gs(λ)、Bs(λ)およびλbは既知であることから、CPU101はこれらを式(24)へ代入して信号Gbを得る。上式(24)の意味は、既知の波長λbにおけるG成分光の感度特性Gs(λb)および波長λbにおけるB成分光の感度特性Bs(λb)の比と、実際に得られたB成分の信号値Bbとを用いてB成分の情報(信号Gb)を推定するものである。
B成分の色フィルタに対応する画素位置で得られるR成分の情報は信号Brである。図5の分光感度特性より、R成分光(Ri(λ))の波長帯域が狭く単色光とすれば次式(25)が成立する。
Rr/Br≒Rs(λr)/Bs(λr) (25)
ただし、λrはRi(λ)を最大にする波長である。式(25)において、Br、Rs(λ)、Bs(λ)およびλrは既知であることから、CPU101はこれらを式(25)へ代入して信号Rrを得る。上式(25)の意味は、既知の波長λrにおけるR成分光の感度特性Rs(λr)および波長λrにおけるB成分光の感度特性Bs(λr)の比と、実際に得られたR成分の信号値Brとを用いてR成分の情報(信号Rr)を推定するものである。
B成分の色フィルタに対応する画素位置で得られるG成分の情報は信号Bgである。図5の分光感度特性より、G成分光(Gi(λ))の波長帯域が狭く単色光とすれば次式(26)が成立する。
Rg/Bg≒Rs(λg)/Bs(λg) (26)
ただし、λgはGi(λ)を最大にする波長である。式(26)において、Bg、Rs(λ)、Bs(λ)およびλgは既知であることから、CPU101はこれらを式(26)へ代入して信号Rgを得る。上式(26)の意味は、既知の波長λgにおけるR成分光の感度特性Rs(λg)および波長λgにおけるB成分光の感度特性Bs(λg)の比と、実際に得られたG成分の信号値Bgとを用いてG成分の情報(信号Rg)を推定するものである。
B成分の色フィルタに対応する画素位置で得られるB成分の情報は信号Bbである。図5の分光感度特性より、B成分光(Bi(λ))の波長帯域が狭く単色光とすれば次式(27)が成立する。
Rb/Bb≒Rs(λb)/Bs(λb) (27)
ただし、λbはBi(λ)を最大にする波長である。式(27)において、Bb、Rs(λ)、Bs(λ)およびλbは既知であることから、CPU101はこれらを式(27)へ代入して信号Rbを得る。上式(27)の意味は、既知の波長λbにおけるR成分光の感度特性Rs(λb)および波長λbにおけるB成分光の感度特性Bs(λb)の比と、実際に得られたB成分の信号値Bbとを用いてB成分の情報(信号Rb)を推定するものである。
(1)照明装置13の光源として、光の3原色である青(B成分)、緑(G成分)、および赤(R成分)をそれぞれ含むように発光極大波長を分離した3色混合型(3波長)光源であるLEDモジュール131を備える。分光放射強度特性例は図4のBi(λ)、Gi(λ)、Ri(λ)である。
13…照明装置
20…撮影レンズ
101…CPU
102…測距装置
103…測光装置
107…操作部材
121…撮像素子
121a…色フィルタ
131…LEDモジュール
131r、131g、131b…発光素子
132…発光回路
Claims (9)
- 第1の色成分を透過させる第1の色フィルタ、もしくは前記第1の色成分と異なる第2の色成分を透過させる第2の色フィルタが受光画素ごとに形成される分光手段を介して被写体像を撮像する撮像素子と、
被写体が前記第1の色成分の光で照明された状態で前記撮像素子に第1の撮像を行わせるとともに、前記被写体が前記第2の色成分の光で照明された状態で前記撮像素子に第2の撮像を行わせる撮像制御手段と、
前記第1の色フィルタ、前記第2の色フィルタ、前記第1の色成分の光、および前記第2の色成分の光のそれぞれの分光特性と、前記第1の撮像で得られる画素信号および前記第2の撮像で得られる画素信号とを用いて、各画素位置において共通の色成分の画素信号を有するように前記第1の色成分もしくは前記第2の色成分の画素信号を生成する画素信号生成手段とを備えることを特徴とする撮像装置。 - 請求項1に記載の撮像装置において、
前記画素信号生成手段は、
(1)前記第1の色フィルタによる前記第1の色成分の透過率と前記第2の色フィルタによる前記第1の色成分の透過率との比、および前記第2の色フィルタが形成される画素から前記第1の撮像で得られる前記第1の色成分の画素信号を用いて、当該画素に前記第1の色フィルタが形成される場合に得られる前記第1の色成分の画素信号を推定する第1の画素信号推定手段と、
(2)前記第1の色フィルタによる前記第2の色成分の透過率と前記第2の色フィルタによる前記第2の色成分の透過率との比、および前記第2の色フィルタが形成される画素から前記第2の撮像で得られる前記第2の色成分の画素信号を用いて、当該画素に前記第1の色フィルタが形成される場合に得られる前記第2の色成分の画素信号を推定する第2の画素信号推定手段と、
(3)前記第2の色フィルタによる前記第1の色成分の透過率と前記第1の色フィルタによる前記第1の色成分の透過率との比、および前記第1の色フィルタが形成される画素から前記第1の撮像で得られる前記第1の色成分の画素信号を用いて、当該画素に前記第2の色フィルタが形成される場合に得られる前記第1の色成分の画素信号を推定する第3の画素信号推定手段と、
(4)前記第2の色フィルタによる前記第2の色成分の透過率と前記第1の色フィルタによる前記第2の色成分の透過率との比、および前記第1の色フィルタが形成される画素から前記第2の撮像で得られる前記第2の色成分の画素信号を用いて、当該画素に前記第2の色フィルタが形成される場合に得られる前記第2の色成分の画素信号を推定する第4の画素信号推定手段とを含むことを特徴とする撮像装置。 - 請求項2に記載の撮像装置において、
(1)前記第2の色フィルタが形成される画素について、前記第1の画素信号推定手段で推定された前記第1の色成分の画素信号と、前記第2の画素信号推定手段で推定された前記第2の色成分の画素信号との和を合成後の第1の色成分の画素信号とし、(2)前記第1の色フィルタが形成される画素について、前記第3の画素信号推定手段で推定された前記第1の色成分の画素信号と、前記第4の画素信号推定手段で推定された前記第2の色成分の画素信号との和を合成後の第2の色成分の画素信号とする画像合成手段をさらに備えることを特徴とする撮像装置。 - 請求項1〜3のいずれか一項に記載の撮像装置において、
前記第1の色フィルタおよび前記第2の色フィルタはそれぞれ前記第1の色成分および前記第2の色成分を透過し、前記第2の色フィルタは前記第1の色成分より前記第2の色成分の透過率が高く、前記第1の色フィルタは前記第2の色成分より前記第1の色成分の透過率が高くされることを特徴とする撮像装置。 - 請求項1〜4のいずれか一項に記載の撮像装置において、
前記第1の色成分および前記第2の色成分は光の3原色を構成することを特徴とする撮像装置。 - 第1の色成分を透過させる第1の色フィルタ、もしくは前記第1の色成分と異なる第2の色成分を透過させる第2の色フィルタが受光画素ごとに形成される分光手段を介して撮像された画像であって、被写体が前記第1の色成分の光で照明された状態で撮像された第1の画像、および前記被写体が前記第2の色成分の光で照明された状態で撮像された第2の画像に対する画像処理を行う画像処理装置において、
前記第1の色フィルタ、前記第2の色フィルタ、前記第1の色成分の光、および前記第2の色成分の光のそれぞれの分光特性と、前記第1の画像および前記第2の画像を構成する画素信号とを用いて、各画素位置において共通の色成分の画素信号を有するように前記第1の色成分もしくは前記第2の色成分の画素信号を生成する画素信号生成手段を備えることを特徴とする画像処理装置。 - 請求項6に記載の画像処理装置において、
前記画素信号生成手段は、
(1)前記第1の色フィルタによる前記第1の色成分の透過率と前記第2の色フィルタによる前記第1の色成分の透過率との比、および前記第2の色フィルタが形成される画素に対応する前記第1の画像の前記第1の色成分の画素信号を用いて、当該画素に前記第1の色フィルタが形成される場合に得られる前記第1の色成分の画素信号を推定する第1の画素信号推定手段と、
(2)前記第1の色フィルタによる前記第2の色成分の透過率と前記第2の色フィルタによる前記第2の色成分の透過率との比、および前記第2の色フィルタが形成される画素に対応する前記第2の画像の前記第2の色成分の画素信号を用いて、当該画素に前記第1の色フィルタが形成される場合に得られる前記第2の色成分の画素信号を推定する第2の画素信号推定手段と、
(3)前記第2の色フィルタによる前記第1の色成分の透過率と前記第1の色フィルタによる前記第1の色成分の透過率との比、および前記第1の色フィルタが形成される画素に対応する前記第1の画像の前記第1の色成分の画素信号を用いて、当該画素に前記第2の色フィルタが形成される場合に得られる前記第1の色成分の画素信号を推定する第3の画素信号推定手段と、
(4)前記第2の色フィルタによる前記第2の色成分の透過率と前記第1の色フィルタによる前記第2の色成分の透過率との比、および前記第1の色フィルタが形成される画素に対応する前記第2の画像の前記第2の色成分の画素信号を用いて、当該画素に前記第2の色フィルタが形成される場合に得られる前記第2の色成分の画素信号を推定する第4の画素信号推定手段とを含むことを特徴とする画像処理装置。 - 請求項7に記載の画像処理装置において、
(1)前記第2の色フィルタが形成される画素について、前記第1の画素信号推定手段で推定された前記第1の色成分の画素信号と、前記第2の画素信号推定手段で推定された前記第2の色成分の画素信号との和を合成後の第1の色成分の画素信号とし、(2)前記第1の色フィルタが形成される画素について、前記第3の画素信号推定手段で推定された前記第1の色成分の画素信号と、前記第4の画素信号推定手段で推定された前記第2の色成分の画素信号との和を合成後の第2の色成分の画素信号とする画像合成手段をさらに備えることを特徴とする画像処理装置。 - 第1の色成分を透過させる第1の色フィルタ、もしくは前記第1の色成分と異なる第2の色成分を透過させる第2の色フィルタが受光画素ごとに形成される分光手段を介して撮像された画像であって、被写体が前記第1の色成分の光で照明された状態で撮像された第1の画像、および前記被写体が前記第2の色成分の光で照明された状態で撮像された第2の画像に対する画像処理をコンピュータ装置で実行する画像処理プログラムにおいて、
(1)前記第1の色フィルタによる前記第1の色成分の透過率と前記第2の色フィルタによる前記第1の色成分の透過率との比、および前記第2の色フィルタが形成される画素に対応する前記第1の画像の前記第1の色成分の画素信号を用いて、当該画素に前記第1の色フィルタが形成される場合に得られる前記第1の色成分の画素信号を推定する第1の画素信号推定処理と、
(2)前記第1の色フィルタによる前記第2の色成分の透過率と前記第2の色フィルタによる前記第2の色成分の透過率との比、および前記第2の色フィルタが形成される画素に対応する前記第2の画像の前記第2の色成分の画素信号を用いて、当該画素に前記第1の色フィルタが形成される場合に得られる前記第2の色成分の画素信号を推定する第2の画素信号推定処理と、
(3)前記第2の色フィルタによる前記第1の色成分の透過率と前記第1の色フィルタによる前記第1の色成分の透過率との比、および前記第1の色フィルタが形成される画素に対応する前記第1の画像の前記第1の色成分の画素信号を用いて、当該画素に前記第2の色フィルタが形成される場合に得られる前記第1の色成分の画素信号を推定する第3の画素信号推定処理と、
(4)前記第2の色フィルタによる前記第2の色成分の透過率と前記第1の色フィルタによる前記第2の色成分の透過率との比、および前記第1の色フィルタが形成される画素に対応する前記第2の画像の前記第2の色成分の画素信号を用いて、当該画素に前記第2の色フィルタが形成される場合に得られる前記第2の色成分の画素信号を推定する第4の画素信号推定処理と、
(5)前記第2の色フィルタが形成される画素について、前記第1の画素信号推定処理で推定した前記第1の色成分の画素信号と、前記第2の画素信号推定処理で推定した前記第2の色成分の画素信号との和を合成後の第1の色成分の画素信号とし、前記第1の色フィルタが形成される画素について、前記第3の画素信号推定処理で推定した前記第1の色成分の画素信号と、前記第4の画素信号推定処理で推定した前記第2の色成分の画素信号との和を合成後の第2の色成分の画素信号とする画像合成処理とを含むことを特徴とする画像処理プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004328580A JP4407485B2 (ja) | 2004-11-12 | 2004-11-12 | 撮像装置、画像処理装置および画像処理プログラム |
US11/269,625 US7843505B2 (en) | 2004-11-12 | 2005-11-09 | Image-capturing device, image processing device and image processing program product for image composition processing |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004328580A JP4407485B2 (ja) | 2004-11-12 | 2004-11-12 | 撮像装置、画像処理装置および画像処理プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2006140768A JP2006140768A (ja) | 2006-06-01 |
JP2006140768A5 JP2006140768A5 (ja) | 2007-12-20 |
JP4407485B2 true JP4407485B2 (ja) | 2010-02-03 |
Family
ID=36385846
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004328580A Expired - Fee Related JP4407485B2 (ja) | 2004-11-12 | 2004-11-12 | 撮像装置、画像処理装置および画像処理プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US7843505B2 (ja) |
JP (1) | JP4407485B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8253824B2 (en) * | 2007-10-12 | 2012-08-28 | Microsoft Corporation | Multi-spectral imaging |
US8929682B2 (en) | 2011-04-28 | 2015-01-06 | Hewlett-Packard Development Company, L.P. | Calibrating image sensors |
US20120274799A1 (en) * | 2011-04-28 | 2012-11-01 | Yu-Wei Wang | Calibrating image sensors |
CN104937386B (zh) * | 2013-03-29 | 2017-07-04 | 松下电器(美国)知识产权公司 | 推断装置、推断方法、集成电路以及程序 |
JP6304953B2 (ja) * | 2013-06-27 | 2018-04-04 | オリンパス株式会社 | 観察装置 |
JP6364667B2 (ja) * | 2014-04-14 | 2018-08-01 | シャープ株式会社 | 光検出装置および固体撮像装置並びにそれらの製造方法 |
CN106341614B (zh) * | 2015-07-08 | 2019-12-13 | 全崴科技有限公司 | 摄影影像调整方法 |
US10154201B2 (en) * | 2015-08-05 | 2018-12-11 | Three In One Ent Co., Ltd | Method for adjusting photographic images to higher resolution |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01319369A (ja) | 1988-06-21 | 1989-12-25 | Konica Corp | 写真フィルムプレーヤ |
JPH0222993A (ja) | 1988-07-12 | 1990-01-25 | Konica Corp | 写真フィルムプレーヤ |
US20020191102A1 (en) * | 2001-05-31 | 2002-12-19 | Casio Computer Co., Ltd. | Light emitting device, camera with light emitting device, and image pickup method |
JP2003287674A (ja) | 2002-03-28 | 2003-10-10 | Nikon Gijutsu Kobo:Kk | カメラ |
US7773802B2 (en) * | 2002-07-26 | 2010-08-10 | Olympus Corporation | Image processing system with multiple imaging modes |
US20050046739A1 (en) * | 2003-08-29 | 2005-03-03 | Voss James S. | System and method using light emitting diodes with an image capture device |
JP2005338278A (ja) * | 2004-05-25 | 2005-12-08 | Nikon Corp | 撮影用照明装置およびカメラシステム |
US7400826B2 (en) * | 2005-08-29 | 2008-07-15 | Avago Technologies Ecbu Ip Pte Ltd | Imaging device and method for producing a flash of light with pulsing |
-
2004
- 2004-11-12 JP JP2004328580A patent/JP4407485B2/ja not_active Expired - Fee Related
-
2005
- 2005-11-09 US US11/269,625 patent/US7843505B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2006140768A (ja) | 2006-06-01 |
US7843505B2 (en) | 2010-11-30 |
US20060103738A1 (en) | 2006-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7683967B2 (en) | Digital camera having an electronic flash device LED as a flashlight source | |
US9456144B2 (en) | Imaging apparatus and control method | |
JP4083760B2 (ja) | ホワイトバランスを調整する方法および装置 | |
EP1602969B1 (en) | Illumination device for photographing and camera system | |
JP4305327B2 (ja) | 撮像装置、ホワイトバランス制御方法及びホワイトバランス制御プログラム | |
US7843505B2 (en) | Image-capturing device, image processing device and image processing program product for image composition processing | |
KR100651813B1 (ko) | 스트로보 제어장치, 및 스트로보 제어방법 | |
JP5228318B2 (ja) | カメラおよび発光量演算プログラム | |
JP2017003709A (ja) | 撮像装置、発光制御方法、プログラム | |
JP2007017623A (ja) | 撮影装置、発光制御装置及び発光装置 | |
JP6318789B2 (ja) | 映像処理装置、映像処理方法、及び映像処理プログラム | |
JP2004186879A (ja) | 固体撮像装置及びデジタルカメラ | |
JP2012119788A (ja) | 撮影装置、画像処理装置、撮影方法及び画像処理方法 | |
JP6136948B2 (ja) | 撮像装置、映像信号処理方法及び映像信号処理プログラム | |
JP4374863B2 (ja) | 撮像装置 | |
JP2003287674A (ja) | カメラ | |
JP2008283364A (ja) | 撮像装置及びホワイトバランス補正方法 | |
JP6221911B2 (ja) | 撮像装置、映像信号処理方法及び映像信号処理プログラム | |
US7382497B2 (en) | Image pickup apparatus and image pickup method | |
JP2019032369A (ja) | 撮像装置、及びその制御方法 | |
JP2007110485A (ja) | 撮像装置、光源検出方法 | |
JP6160546B2 (ja) | 映像処理装置、撮像装置、映像処理方法、及び映像処理プログラム | |
JP2005352208A (ja) | 電子カメラ | |
JP2005269303A (ja) | 画像処理装置、画像処理プログラム、及び固体撮像素子 | |
JP2008258825A (ja) | カメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071022 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071031 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091001 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091020 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091102 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4407485 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121120 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121120 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151120 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151120 Year of fee payment: 6 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |