JP5036524B2 - 画像処理装置、画像処理方法、プログラムおよび撮像装置 - Google Patents
画像処理装置、画像処理方法、プログラムおよび撮像装置 Download PDFInfo
- Publication number
- JP5036524B2 JP5036524B2 JP2007335065A JP2007335065A JP5036524B2 JP 5036524 B2 JP5036524 B2 JP 5036524B2 JP 2007335065 A JP2007335065 A JP 2007335065A JP 2007335065 A JP2007335065 A JP 2007335065A JP 5036524 B2 JP5036524 B2 JP 5036524B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- image
- pixel
- unit
- sampling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 110
- 238000012545 processing Methods 0.000 title claims description 90
- 238000003672 processing method Methods 0.000 title claims description 6
- 230000004075 alteration Effects 0.000 claims description 170
- 238000005070 sampling Methods 0.000 claims description 113
- 238000006243 chemical reaction Methods 0.000 claims description 50
- 230000003287 optical effect Effects 0.000 claims description 49
- 238000012937 correction Methods 0.000 claims description 47
- 238000004364 calculation method Methods 0.000 claims description 23
- 238000000926 separation method Methods 0.000 claims description 14
- 239000003086 colorant Substances 0.000 claims description 11
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 238000000034 method Methods 0.000 description 27
- 238000001514 detection method Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 18
- 230000008859 change Effects 0.000 description 9
- 238000003708 edge detection Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 230000006866 deterioration Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 230000009466 transformation Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000013041 optical simulation Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Landscapes
- Color Television Image Signal Generators (AREA)
Description
以下、本発明の一実施形態を図面に基づいて説明する。図1は、本発明に係る画像処理装置を実施した第1の実施形態によるカラー撮像装置100の構成例を示す図である。第1の実施形態のカラー撮像装置100は、結像光学系110、単板カラーイメージセンサ120、AD変換部130、デモザイク部140、視覚補正部150、圧縮部160および記録部170を備えて構成されている。このうち、デモザイク部140が本発明の画像処理装置に相当する。
xd=(ud−319.5)/400
yd=(vd−239.5)/400
の関係式で表される。
xR=xd*kR 、yR=yd*kR
xG=xd*1 、yG=yd*1
xB=xd*kB 、yB=yd*kB
なお、{kR,kB}は結像光学系110の倍率色収差を示す係数であり、kRはG成分に対するR成分の倍率、kBはG成分に対するB成分の倍率を示している。これらの色収差係数{kR,kB}は光学シミュレーション等により求めることが可能である。
usR=1000*xR+799.5
vsR=1000*yR+599.5
usG=1000*xG+799.5
vsG=1000*yG+599.5
usB=1000*xB+799.5
vsB=1000*yB+599.5
となる。
R(100.8,101.4)=0.6*0.3*R(100,100)+0.6*0.7*R(100,102)+0.4*0.3*R(102,100)+0.4*0.7*R(102,102)
G(101.0,101.4)=0.7*0.3*G(100,101)+0.3*0.3*G(101,100)+0.7*0.7*G(101,102)+0.3*0.7*G(102,101)
次に、本発明の第2の実施形態を図面に基づいて説明する。本発明に係る画像処理装置を実施した第2の実施形態によるカラー撮像装置の構成は、図1と同様である。また、デモザイク部140の機能構成は、図3と同様である。ただし、デモザイク部140が備える座標変換部142の処理内容が第1の実施形態と異なっている。以下では、第1の実施形態と異なる部分を中心に説明する。
xR=xd(kR+k1r2+k2r4)+2p1xdyd+p2(r2+2xd 2)
yR=yd(kR+k1r2+k2r4)+2p2xdyd+p1(r2+2yd 2)
xG=xd(1+k1r2+k2r4)+2p1xdyd+p2(r2+2xd 2)
yG=yd(1+k1r2+k2r4)+2p2xdyd+p1(r2+2yd 2)
xB=xd(kB+k1r2+k2r4)+2p1xdyd+p2(r2+2xd 2)
yB=yd(kB+k1r2+k2r4)+2p2xdyd+p1(r2+2yd 2)
(ただし、r2=xd 2+yd 2)
ここで、{k1,k2}は結像光学系110の歪曲収差を示す係数であり、k1は3次収差係数、k2は5次収差係数を示している。
usR=1000*xR+799.5
vsR=1000*yR+599.5
usG=1000*xG+799.5
vsG=1000*yG+599.5
usB=1000*xB+799.5
vsB=1000*yB+599.5
次に、本発明の第3の実施形態を図面に基づいて説明する。図8は、本発明に係る画像処理装置を実施した第3の実施形態によるカラー撮像装置100’の構成例を示す図である。なお、図8において、図1に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。
k1=((1/2.0−1/Inf)(1/35−1/50)*0.08+(1/1.0−1/2.0)(1/35−1/50)*0.05+(1/2.0−1/Inf)(1/28−1/35)*0.02+(1/1.0−1/2.0)(1/28−1/35)*0.00)/(1/1.0−1/Inf)/(1/28−1/50)
=0.04
のように計算した補間値をデモザイク部140’に設定する。他の収差係数{k2,p1,p2,kR,kB}に対しても、同様に補間値を計算し、デモザイク部140’に設定する。
xG=x’(1+k1r2+k2r4)+2p1x’y’+p2(r’2 +2x’2 )
yG=y’(1+k1r2+k2r4)+2p2x’y’+p1(r’2 +2y’2 )
(ただし、r’2=x’2+y’2)
(xB,yB)をそれぞれ求める。ここで、dRx,dRyはGプレーンを基準にした際のRプレーンの平行ズレ量、dBx,dByはGプレーンを基準にした際のBプレーンの平行ズレ量を示す係数である。
次に、本発明の第4の実施形態を図面に基づいて説明する。図13は、第4の実施形態によるカラー撮像装置100Aの構成例を示す図である。なお、図13において、図1に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。
xGj=(uGj−319.5)/400
yGj=(vGj−239.5)/400
xRj=(uRj−319.5)/400
yRj=(vRj−239.5)/400
xBj=(uBj−319.5)/400
yBj=(vBj−239.5)/400
140,140’ デモザイク部
141 色プレーン分解部
142,142’ 座標変換部
143 サンプリング部
144 色生成部
200 色収差量検出装置
221 フィールドメモリ
225 交点検出処理部
226 RGBエッジ検出処理部
228 エッジ位置記憶部
229 収差係数算出部
230 CPU(Central Processing Unit)
231 ROM(Red Only Memory)
Claims (13)
- 異なる複数の色光を光電変換する画素を有する単板式の撮像素子によって得られた、各画素が単色の輝度情報を有した色モザイク画像を用いて、各画素が複数色の輝度情報を有したカラー画像を生成する画像処理装置であって、
上記色モザイク画像を、同一の色光の画素値だけを含む複数の色プレーンに分解する色プレーン分解部と、
上記色プレーン分解部により分解された複数の色プレーン毎に、色プレーンによって値の異なる係数を用いて、上記色モザイク画像から生成されるカラー画像の画素位置から、色収差補正が施された場合のカラー画像の画素位置に対応する上記色モザイク画像上のサンプリング座標であって上記色プレーン毎に異なるサンプリング座標をそれぞれ算出する座標変換部と、
上記色プレーン分解部により分解された複数の色プレーン毎に、上記座標変換部により算出された上記サンプリング座標における画素値を、上記色プレーン内に含まれる同一の色光の画素値から補間生成するサンプリング部と、
上記サンプリング部により補間生成された各色プレーンの補間値を合成することにより上記カラー画像を生成する色生成部と、
を備えたことを特徴とする画像処理装置。 - 上記座標変換部は、上記色プレーン分解部により分解された複数の色プレーン毎に、色プレーンによって値の異なる色収差係数と、上記カラー画像に対する画像変形を表す画像変形係数とを用いて、上記カラー画像の画素位置から、上記色収差補正および上記画像変形が施された場合のカラー画像の画素位置に対応する上記色モザイク画像上のサンプリング座標であって上記色プレーン毎に異なるサンプリング座標を算出する、
ことを特徴とする請求項1に記載の画像処理装置。 - 上記座標変換部は、上記色プレーン分解部により分解された複数の色プレーン毎に、色プレーンによって値の異なる色収差係数と、上記撮像素子に被写体の撮像光を導くための結像光学系に設定されている焦点距離および被写体距離に応じて定まる歪曲収差係数とを用いて、上記カラー画像の画素位置から、上記色収差補正および歪曲収差補正が施された場合のカラー画像の画素位置に対応する上記色モザイク画像上のサンプリング座標であって上記色プレーン毎に異なるサンプリング座標を算出する、
ことを特徴とする請求項1に記載の画像処理装置。 - 上記結像光学系に設定されている焦点距離および被写体距離に応じて、上記座標変換部で使用する上記歪曲収差係数を設定する係数設定部を更に備えた、
ことを特徴とする請求項3に記載の画像処理装置。 - 上記色モザイク画像は、上記撮像素子の各画素に対応する位置にそれぞれ赤色(R)、緑色(Gr,Gb)、青色(B)の何れかが配されたベイヤー配列のカラーフィルタおよび上記撮像素子によって得られる画像であり、
上記色プレーン分解部は、互いに角を接する2種類の緑色画素Gr,Gbをそれぞれ異なる色プレーンに分解する、
ことを特徴とする請求項1に記載の画像処理装置。 - 上記2種類の緑色画素Gr,Gb毎に分解された各色プレーン上でそれぞれ上記サンプリング部により生成された画素値の差分を算出し、当該画素値の差分に基づいて偽色の有無を判定する偽色判定部を更に備えた、
ことを特徴とする請求項5に記載の画像処理装置。 - 上記サンプリング部は、上記サンプリング座標における画素値を、その周辺に存在する上記色プレーン上の画素値から補間によって生成する、
ことを特徴とする請求項1に記載の画像処理装置。 - 異なる複数の色光を光電変換する画素を有する単板式の撮像素子によって得られた、各画素が単色の輝度情報を有した色モザイク画像を用いて、各画素が複数色の輝度情報を有したカラー画像を生成する画像処理方法であって、
上記色モザイク画像を、同一の色光の画素値だけを含む複数の色プレーンに分解する色プレーン分解ステップと、
上記色プレーン分解ステップで分解された複数の色プレーン毎に、色プレーンによって値の異なる係数を用いて、上記色モザイク画像から生成されるカラー画像の画素位置から、色収差補正が施された場合のカラー画像の画素位置に対応する上記色モザイク画像上のサンプリング座標であって上記色プレーン毎に異なるサンプリング座標をそれぞれ算出する座標変換ステップと、
上記色プレーン分解ステップで分解された複数の色プレーン毎に、上記座標変換ステップで算出された上記サンプリング座標における画素値を、上記色プレーン内に含まれる同一の色光の画素値から補間生成するサンプリングステップと、
上記サンプリングステップで補間生成された各色プレーンの補間値を合成することにより上記カラー画像を生成する色生成ステップと、
を有することを特徴とする画像処理方法。 - 異なる複数の色光を光電変換する画素を有する撮像素子によって得られた、各画素が単色の輝度情報を有した色モザイク画像を、同一の色光の画素値だけを含む複数の色プレーンに分解する色プレーン分解手段、
上記色プレーン分解手段により分解された複数の色プレーン毎に、色プレーンによって値の異なる係数を用いて、上記色モザイク画像から生成されるカラー画像の画素位置から、色収差補正が施された場合のカラー画像の画素位置に対応する上記色モザイク画像上のサンプリング座標であって上記色プレーン毎に異なるサンプリング座標をそれぞれ算出する座標変換手段、
上記色プレーン分解手段により分解された複数の色プレーン毎に、上記座標変換部により算出された上記サンプリング座標における画素値を、上記色プレーン内に含まれる同一の色光の画素値から補間生成するサンプリング手段、および
上記サンプリング手段により補間生成された各色プレーンの補間値を合成することにより、各画素が複数色の輝度情報を有した上記カラー画像を生成する色生成手段、
としてコンピュータを機能させるためのプログラム。 - 異なる複数の色光を光電変換する画素を有する単板式の撮像素子を備えた撮像装置であって、
上記単板式の撮像素子と、
上記撮像素子により光電変換された色モザイク画像のアナログ信号をデジタル信号に変換するA/D変換器と、
上記A/D変換器より上記デジタル信号として出力される、各画素が単色の輝度情報を有した色モザイク画像を用いて、各画素が複数色の輝度情報を有したカラー画像を生成する請求項1〜3の何れか1項に記載の画像処理装置と、
を備えたことを特徴とする撮像装置。 - 上記撮像素子に被写体の撮像光を導くための結像光学系を更に備え、
上記請求項1〜3の何れか1項に記載の画像処理装置に代えて請求項4または5に記載の画像処理装置を備えたことを特徴とする請求項10に記載の撮像装置。 - 所定の画像を撮影することによって前記色収差係数を算出する収差係数算出部を備え、
前記収差係数算出部によって算出された前記色収差係数を、前記座標変換部又は前記係数設定部に格納する、
ことを特徴とする請求項10又は請求項11に記載の撮像装置。 - 外部に接続された外部機器に撮影画像を出力する画像出力部と、
前記外部機器から、前記色収差係数を入力する係数入力手段と、
を備え、
入力した前記色収差係数を前記座標計算部又は前記係数設定部に格納する、
ことを特徴とする請求項10又は請求項11に記載の撮像装置。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007335065A JP5036524B2 (ja) | 2007-06-25 | 2007-12-26 | 画像処理装置、画像処理方法、プログラムおよび撮像装置 |
EP08765855A EP2175656A1 (en) | 2007-06-25 | 2008-06-24 | Image processing device, image processing method, program, and imaging device |
US12/666,511 US8494260B2 (en) | 2007-06-25 | 2008-06-24 | Image processing device, image processing method, program, and imaging device |
PCT/JP2008/061806 WO2009001956A1 (ja) | 2007-06-25 | 2008-06-24 | 画像処理装置、画像処理方法、プログラムおよび撮像装置 |
KR1020107001700A KR101356286B1 (ko) | 2007-06-25 | 2008-06-24 | 화상 처리 장치, 화상 처리 방법, 프로그램 및 촬상 장치 |
TW097123650A TW200901747A (en) | 2007-06-25 | 2008-06-25 | Image processing device, image processing method, program, and imaging device |
US13/929,423 US8934713B2 (en) | 2007-06-25 | 2013-06-27 | Image processing device, image processing method, program, and imaging device |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007166190 | 2007-06-25 | ||
JP2007166190 | 2007-06-25 | ||
JP2007335065A JP5036524B2 (ja) | 2007-06-25 | 2007-12-26 | 画像処理装置、画像処理方法、プログラムおよび撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009033699A JP2009033699A (ja) | 2009-02-12 |
JP5036524B2 true JP5036524B2 (ja) | 2012-09-26 |
Family
ID=40403658
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007335065A Expired - Fee Related JP5036524B2 (ja) | 2007-06-25 | 2007-12-26 | 画像処理装置、画像処理方法、プログラムおよび撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5036524B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011061444A (ja) * | 2009-09-09 | 2011-03-24 | Hitachi Information & Communication Engineering Ltd | 収差補正装置及び収差補正方法 |
JP5334265B2 (ja) * | 2010-02-26 | 2013-11-06 | 日本放送協会 | 倍率色収差・像歪補正装置およびそのプログラム |
JP5662739B2 (ja) * | 2010-03-05 | 2015-02-04 | 株式会社日立情報通信エンジニアリング | 映像システム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4402230B2 (ja) * | 1999-12-22 | 2010-01-20 | オリンパス株式会社 | 画像処理装置 |
JP2002199410A (ja) * | 2000-12-25 | 2002-07-12 | Canon Inc | 撮像装置、画像劣化補正処理方法及び記憶媒体 |
JP2004241991A (ja) * | 2003-02-05 | 2004-08-26 | Minolta Co Ltd | 撮像装置、画像処理装置及び画像処理プログラム |
US7221793B2 (en) * | 2003-05-27 | 2007-05-22 | Hewlett-Packard Development Company, L.P. | Systems and methods for providing spatially-varied demosaicing |
-
2007
- 2007-12-26 JP JP2007335065A patent/JP5036524B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009033699A (ja) | 2009-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101356286B1 (ko) | 화상 처리 장치, 화상 처리 방법, 프로그램 및 촬상 장치 | |
JP5036421B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび撮像装置 | |
JP5036482B2 (ja) | 画像処理装置及び画像処理方法、画像処理プログラム | |
JP4284628B2 (ja) | 撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 | |
JP5128207B2 (ja) | 画像処理装置及び画像処理方法、画像処理プログラム | |
WO2012117583A1 (ja) | カラー撮像装置 | |
CN101006731A (zh) | 图像处理装置及图像处理方法、摄像装置以及计算机程序 | |
WO2016047240A1 (ja) | 画像処理装置、撮像素子、撮像装置および画像処理方法 | |
JP5709131B2 (ja) | 画像処理システム | |
US8934713B2 (en) | Image processing device, image processing method, program, and imaging device | |
JP2007336387A (ja) | 撮像装置及び信号処理方法 | |
JP5268321B2 (ja) | 画像処理装置及び画像処理方法、画像処理プログラム | |
JP5036524B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび撮像装置 | |
JP2004229055A (ja) | 画像処理装置 | |
JP3905708B2 (ja) | 画像補間装置 | |
JP4962293B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP5278421B2 (ja) | 撮像装置 | |
JP4334150B2 (ja) | 画像補間装置 | |
JP5454820B2 (ja) | 画像処理装置及び画像処理方法、画像処理プログラム | |
JP3711402B2 (ja) | 撮像装置及びカラー撮像信号の処理方法 | |
JP2009182733A (ja) | 画像データ生成方法および画像データ生成装置、並びに情報コード読取装置 | |
JP3711401B2 (ja) | 撮像装置及びカラー撮像信号の処理方法 | |
JP2010093336A (ja) | 撮像装置および補間処理方法 | |
JP4334484B2 (ja) | 画素信号処理装置及び方法 | |
JP4334152B2 (ja) | 画像補間装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20090618 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20090618 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101014 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120612 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120703 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150713 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5036524 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |