JP4017017B2 - カラー撮像装置 - Google Patents
カラー撮像装置 Download PDFInfo
- Publication number
- JP4017017B2 JP4017017B2 JP2007115015A JP2007115015A JP4017017B2 JP 4017017 B2 JP4017017 B2 JP 4017017B2 JP 2007115015 A JP2007115015 A JP 2007115015A JP 2007115015 A JP2007115015 A JP 2007115015A JP 4017017 B2 JP4017017 B2 JP 4017017B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- color
- correction
- color filter
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Description
さらに、この方法によると、電気的ノイズ等により現れるノイズ成分を除去することができなかった。
画素としての受光素子がマトリクス状に配置された撮像素子と、
前記撮像素子の各受光素子に対応させてそれぞれに4色のうちの何れか1色のカラーフィルタ片が配置されたカラーフィルタと、
前記カラーフィルタを介して前記撮像素子により取得した元画像データを入力する入力手段と、
前記入力手段により入力された元画像データに基づき、色成分毎にデータ補間して各画素位置に対して4色分の画素データを対応付けた補間画像データを生成する補間画像データ生成手段と、
前記補間画像データにおける各画素位置の各色成分の画素データd1〜d4又は前記元画像データにおける隣接する4色分の画素の各色成分の画素データd1〜d4を補正する補正手段と、を備え、
前記補正手段は、前記画素データd1〜d4、前記色成分毎に設定された補正係数a〜d、及び重み正定数wを基に、数式1の行列式により補正後の画素データd1´〜d4´を求め、
前記各補正係数a〜dは、前記カラーフィルタを介した所定光の撮像により取得された、前記元画像データにおける隣接する4色分の画素の各色成分の画素データが、それぞれ対応する当該補正係数と乗算されることにより得られる4つの乗算値の総和が0となるように設定され、
前記カラーフィルタは、前記4色分のカラーフィルタ片がマトリクス状に配置されており、且つ同色のカラーフィルタ片が各々離間した位置に配置されていることを特徴とするカラー撮像装置。
w:重み正定数
d1〜d4:補正前の各色成分の画素データ
d1´〜d4´:補正後の各色成分の画素データ
まず、この実施の形態で行う画像データの補正について説明する。
画像を構成する各画素の各色の画像データ(又は隣接する複数の画素の各色の画像データ)をd1〜dnとすると、補正係数k1〜knを適当に選択することにより、数式7で得られる値は、ほぼ0となる。この関係は、入射光の分光強度分布によらず、成立する。
k1・d1+k2・d2+…+kn・dn
n:画像を構成する色成分の数
k1〜kn:補正係数
d1〜dn:同一画素位置での各色の画像データ
そこで、この実施の形態では、種々の分光強度分布の光を用いて実験的に補正係数k1〜knを予め求めておき、実際に撮像された画像の画像データを数式7ができるだけ小さくなるように補正することにより、画像データに含まれているノイズ成分を除去する。
撮像レンズ3は、ガラス、プラスチック等の透明な材質から構成されており、撮像レンズ3を通過した光は、撮像素子5の受光面上に結像する。
この実施の形態の電子カメラ装置の撮像素子5は、図2に示すように、カラーフィルタ4が白(Wh)、緑(G)、水色(Cy)及び黄色(Ye)の構成となっているため、数式7は、数式8で表される。
a・Wh+b・G+c・Cy+d・Ye
Wh〜Ye:白、緑、水色、黄色の各フィルタ片を通過後の光を受けて撮像素子5の受光部が出力する画像データ
a,b,c,d:補正係数
数式9においても、評価数Pi,jの絶対値なるべく小さくなるように又はほぼ0となるように、補正前の画像データWh’i,j〜Ye’i,jから補正後の画像データWh”i,j〜Ye”i,jを求める。評価数Pi,jを0に近づけることで、補正前の画像データWh’i,j〜Ye’i,jと補正後の画像データWh”i,j〜Ye”i,jとの偏差を小さくすることができる。
Pi,j=(Wh”i,j−Wh’i,j)2+(G”i,j−G’i,j)2+(Cy”i,j−Cy’i,j)2+(Ye”i,j−Ye’i,j)2+w・(a・Wh”i,j+b・G”i,j+c・Cy”i,j+d・Ye”i,j)2
Wh’i,j〜Ye’i,j:補正前の白、緑、水色、黄色の画像データ
Wh”i,j〜Ye”i,j:補正後の白、緑、水色、黄色の画像データ
Pi,j:評価数
w:重み正定数
a,b,c,d:補正係数
まず、数式10に示すように、数式9をWh”i,j〜Ye”i,jでそれぞれ偏微分する。
∂Pi,j/∂Wh”i,j=2・(Wh”i,j−Wh’i,j)+2・w・a・(a・Wh”i,j+b・G”i,j+c・Cy”i,j+d・Ye”i,j)
∂Pi,j/∂G”i,j=2・(G”i,j−G’i,j)+2・w・b・(aWh”i,j+b・G”i,j+c・Cy”i,j+d・Ye”i,j)
∂Pi,j/∂Cy”i,j=2・(Cy”i,j−Cy’i,j)+2・w・c・(a・Wh”i,j+b・G”i,j+c・Cy”i,j+d・Ye”i,j)
∂Pi,j/∂Ye”i,j=2・(Ye”i,j−Ye’i,j)+2・w・d・(a・Wh”i,j+b・G”i,j+c・Cy”i,j+d・Ye”i,j)
2・(Wh”i,j−Wh’i,j)+2・w・a・(a・Wh”i,j+b・G”i,j+c・Cy”i,j+d・Ye”i,j)=0
2・(G”i,j−G’i,j)+2・w・b・(a・Wh”i,j+b・G”i,j+c・Cy”i,j+d・Ye”i,j)=0
2・(Cy”i,j−Cy’i,j)+2・w・c・(a・Wh”i,j+b・G”i,j+c・Cy”i,j+d・Ye”i,j)=0
2・(Ye”i,j−Ye’i,j)+2・w・d・(a・Wh”i,j+b・G”i,j+c・Cy”i,j+d・Ye”i,j)=0
なお、数式13の行列式の係数は、メモリ6に予め格納しておく。
シャッターボタン1が押されると、シャッターボタン1は制御回路2に撮像開始を指示するトリガ信号を与える。
トリガ信号に応答して、制御回路2は、撮像素子5を制御して露光させ、画像データを出力させる。
撮像素子5の出力する画像データはスミア成分や暗電流値を含むため、数式14で示すようにこれらを除去する。
D’Wh=DWh−DD−DS
D’G=DG−DD−DS
D’Cy=DCy−DD−DS
D’Ye=DYe−DD−DS
DWh〜DYe:除去前の白、緑、水色、黄色の画像データ
D’Wh〜D’Ye:除去後の白、緑、水色、黄色の画像データ
DD:暗電流による成分
DS:スミア成分
[数15]
D’Wh=γWh -1(DWh)
D’G=γG -1(DG)
D’Cy=γCy -1(DCy)
D’Ye=γYe -1(DYe)
DWh〜DYe:γ補正前の白、緑、水色、黄色の画像データ
D’Wh〜D’Ye:γ補正後の白、緑、水色、黄色の画像データ
γ-1:受光素子の示すγ特性関数の逆関数
なお補間処理は、(空間的)ローパスフィルタも兼ねており、各画素位置での4色分の画像データWh’〜Ye’の画質を高めることができる。
Wh’i,j=(Whi-2,j-2+Whi-2,j+Whi-2,j+2+Whi,j-2+Whi,j+Whi,j+2+Whi+2,j-2+Whi+2,j+Whi+2,j+2)/9
(Whi,jが存在する場合)
G’i,j=(Gi-2,j-2+Gi-2,j+Gi-2,j+2+Gi,j-2+Gi,j+Gi,j+2+Gi+2,j-2+Gi+2,j+Gi+2,j+2)/9
(Gi,jが存在する場合)
Cy’i,j=(Cyi-2,j-2+Cyi-2,j+Cyi-2,j+2+Cyi,j-2+Cyi,j+Cyi,j+2+Cyi+2,j-2+Cyi+2,j+Cyi+2,j+2)/9
(Cyi,jが存在する場合)
Ye’i,j=(Yei-2,j-2+Yei-2,j+Yei-2,j+2+Yei,j-2+Yei,j+Yei,j+2+Yei+2,j-2+Yei+2,j+Yei+2,j+2)/9
(Yei,jが存在する場合)
Whi,j〜Yei,j:白、緑、水色、黄色の補間前画像データ
Wh’i,j〜Ye’i,j:白、緑、水色、黄色の補間後画像データ
Wh’i,j=(Whi-1,j-1+Whi-1,j+1+Whi+1,j+1+Whi+1,j+1)/4
(Whi,jが存在しない場合)
G’i,j=(Gi-1,j-1+Gi-1,j+1+Gi+1,j+1+Gi+1,j+1)/4
(Gi,jが存在しない場合)
Cy’i,j=(Cyi-1,j-1+Cyi-1,j+1+Cyi+1,j+1+Cyi+1,j+1)/4
(Cyi,jが存在しない場合)
Ye’i,j=(Yei-1,j-1+Yei-1,j+1+Yei+1,j+1+Yei+1,j+1)/4
(Yei,jが存在しない場合)
Whi,j〜Yei,j:白、緑、水色、黄色の補間前画像データ
Wh’i,j〜Ye’i,j:白、緑、水色、黄色の補間後画像データ
求められた画像データの数は、元の画像データの数の4倍となる。制御回路2は、求めた画像データをメモリ6に格納する。
補正処理により、画像データが数式13に基づき補正され、数式8の関係をも実質的に満たす。従って、画像データからノイズ成分が除去された高画質の画像を取得することができる。制御回路2は、ノイズ成分が除去された画像データをメモリ6に格納する。
この光路スイッチは、偏光板8と第1の液晶板9と第1の屈折板10と第2の液晶板11と第2の屈折板12とから構成される。
第1の液晶板9と第2の液晶板11は、対向面にストライプ状の電極が形成され、且つ90°シフトした方向に配向処理が施された一対の透明基板と、配向処理に従って90°のツイスト角を有して透明基板の間に封入されたTN(Twisted Nematic)液晶とから構成されている。第1の液晶板9の光入射側の透明基板の配向処理の方向は、偏光板8の透過軸に平行に設定され、第2の液晶板11の光入射側の透明基板の配向処理の方向は偏光板8の透過軸に垂直に設定される。
第1の屈折板10と第2の屈折板12は、例えば、水晶板、カルサイト等の複屈折性結晶から構成され、常光(結晶光軸を含む平面に垂直な振動方向の光)と異常光とにより異なった屈折率を有する。第1の屈折板10と第2の屈折板12は、屈折率と厚さを調整し、入射光が常光の場合には直進し、異常光の場合には、撮像素子5の1画素ピッチ分シフトするように設定される。第1の屈折板10の光軸は、その水平方向成分が偏光板8の透過軸に垂直となる方向に設定され、第2の屈折板12の光軸は、その水平方向成分が偏光板8の透過軸に平行となる方向に設定される。
制御回路2は、第1の液晶板9と第2の液晶板11に印加する電圧を制御して入射光を、(1)そのまま直進させ、(2)撮像素子5の1画素ピッチ分、図2の行方向にシフトさせ、(3)撮像素子5の1画素ピッチ分、図2の列方向にシフトさせ、(4)撮像素子5の1画素ピッチ分、図2の行方向と列方向にシフトさせる。
他の画素位置でも同様とすることで、各画素位置での4色分の画像データWh〜Ye全てを取得することができる。
さらに、隣接する画素の画像データ同士で補正を行った後、隣接する複数の組の間で調整を行っても良い。
例えば、前述のように、分光強度分布の異なる複数色の光を撮像素子5に実際に照射して、得られた画像データ(暗電流やスミア成分を除去し、γ補正を行った後の画像データでもよい)から選択してもよい。
本発明は、主に色(差)データに影響することとなる。色(差)データ対する人間の目の解像度は、輝度データ(白黒データ)に対する解像度よりも落ちるため、実質的な影響をあまり与えない。
Claims (2)
- 画素としての受光素子がマトリクス状に配置された撮像素子と、
前記撮像素子の各受光素子に対応させてそれぞれに4色のうちの何れか1色のカラーフィルタ片が配置されたカラーフィルタと、
前記カラーフィルタを介して前記撮像素子により取得した元画像データを入力する入力手段と、
前記入力手段により入力された元画像データに基づき、色成分毎にデータ補間して各画素位置に対して4色分の画素データを対応付けた補間画像データを生成する補間画像データ生成手段と、
前記補間画像データにおける各画素位置の各色成分の画素データd1〜d4又は前記元画像データにおける隣接する4色分の画素の各色成分の画素データd1〜d4を補正する補正手段と、を備え、
前記補正手段は、前記画素データd1〜d4、前記色成分毎に設定された補正係数a〜d、及び重み正定数wを基に、数式1の行列式により補正後の画素データd1´〜d4´を求め、
前記各補正係数a〜dは、前記カラーフィルタを介した所定光の撮像により取得された、前記元画像データにおける隣接する4色分の画素の各色成分の画素データが、それぞれ対応する当該補正係数と乗算されることにより得られる4つの乗算値の総和が0となるように設定され、
前記カラーフィルタは、前記4色分のカラーフィルタ片がマトリクス状に配置されており、且つ同色のカラーフィルタ片が各々離間した位置に配置されていることを特徴とするカラー撮像装置。
w:重み正定数
d1〜d4:補正前の各色成分の画素データ
d1´〜d4´:補正後の各色成分の画素データ - 前記カラーフィルタは、白、緑、水色及び黄色成分の4色分のカラーフィルタ片がマトリクス状に配置されていることを特徴とする請求項1記載のカラー撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007115015A JP4017017B2 (ja) | 2007-04-25 | 2007-04-25 | カラー撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007115015A JP4017017B2 (ja) | 2007-04-25 | 2007-04-25 | カラー撮像装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP9139187A Division JPH10322710A (ja) | 1997-05-15 | 1997-05-15 | カラー撮像装置及びカラー画像補正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007195258A JP2007195258A (ja) | 2007-08-02 |
JP4017017B2 true JP4017017B2 (ja) | 2007-12-05 |
Family
ID=38450497
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007115015A Expired - Fee Related JP4017017B2 (ja) | 2007-04-25 | 2007-04-25 | カラー撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4017017B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1314827C (zh) * | 2004-12-08 | 2007-05-09 | 中国科学院金属研究所 | 一种钛合金渗氧-扩散固溶复合表面强化处理方法 |
-
2007
- 2007-04-25 JP JP2007115015A patent/JP4017017B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007195258A (ja) | 2007-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9055181B2 (en) | Solid-state imaging device, image processing apparatus, and a camera module having an image synthesizer configured to synthesize color information | |
US9160935B2 (en) | Sensor arrangement for transforming color space representation in a digital color image | |
JP5527448B2 (ja) | 画像入力装置 | |
JP5901935B2 (ja) | 固体撮像装置及びカメラモジュール | |
WO2016047240A1 (ja) | 画像処理装置、撮像素子、撮像装置および画像処理方法 | |
WO2005002239A1 (ja) | 画像表示装置における補正データ取得方法およびキャリブレーションシステム | |
TWI387353B (zh) | 畫素插補電路、畫素插補方法及記錄媒體 | |
JP2004229055A (ja) | 画像処理装置 | |
JP4725520B2 (ja) | 画像処理装置、非撮像色信号算出装置及び画像処理方法 | |
JP4017017B2 (ja) | カラー撮像装置 | |
JP4687454B2 (ja) | 画像処理装置および撮像装置 | |
JP5036524B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび撮像装置 | |
JP2006300917A (ja) | 光電変換関数の偏差較正方法及び装置 | |
JPH10322710A (ja) | カラー撮像装置及びカラー画像補正方法 | |
JP5278421B2 (ja) | 撮像装置 | |
JP2011041094A5 (ja) | ||
JP2011041094A (ja) | 画像処理装置、撮像装置および画像処理方法 | |
JP2010283527A (ja) | 画像処理装置およびその方法 | |
JP2015126416A (ja) | 画像処理装置、制御方法およびプログラム | |
JP4105942B2 (ja) | 画像処理装置 | |
WO2018193544A1 (ja) | 撮像装置および内視鏡装置 | |
JP7150514B2 (ja) | 撮像装置及び撮像方法 | |
JP5333163B2 (ja) | 撮像装置 | |
JP2012222704A (ja) | 撮像装置 | |
CN116668657A (zh) | 固体摄像元件、照相机模块、图像处理装置及拍摄方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070510 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070510 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070612 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070727 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070828 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070910 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100928 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100928 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110928 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120928 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130928 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |