JP5514042B2 - 撮像モジュール、画像信号処理方法および撮像装置 - Google Patents
撮像モジュール、画像信号処理方法および撮像装置 Download PDFInfo
- Publication number
- JP5514042B2 JP5514042B2 JP2010189114A JP2010189114A JP5514042B2 JP 5514042 B2 JP5514042 B2 JP 5514042B2 JP 2010189114 A JP2010189114 A JP 2010189114A JP 2010189114 A JP2010189114 A JP 2010189114A JP 5514042 B2 JP5514042 B2 JP 5514042B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- signal
- unit
- digital image
- image signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 86
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000012545 processing Methods 0.000 claims description 164
- 238000000034 method Methods 0.000 claims description 59
- 230000008569 process Effects 0.000 claims description 53
- 238000006243 chemical reaction Methods 0.000 claims description 40
- 230000003287 optical effect Effects 0.000 claims description 36
- 238000012937 correction Methods 0.000 claims description 35
- 230000003595 spectral effect Effects 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000002834 transmittance Methods 0.000 claims description 7
- 230000006866 deterioration Effects 0.000 claims description 4
- 230000015556 catabolic process Effects 0.000 claims description 3
- 238000006731 degradation reaction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 12
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000011144 upstream manufacturing Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000005855 radiation Effects 0.000 description 3
- 230000006837 decompression Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Description
g=f*h+n (*は畳み込み積分) ・・・(A)
で表される。g、h、nを既知として、式(A)から元の物体の輝度分布fを求めることができる。このようにして、光学系のボケを信号処理により取り除き、理想的な像を得る技術は、像の「復元」、「逆畳み込み」、あるいは「デコンボリューション(Deconvolution )」と呼ばれている。点像強度分布(PSF)に基づく復元フィルタは、撮像時の画像の劣化に関する情報、例えば撮影条件(露光時間、露光量、被写体までの距離、焦点距離等)や撮像装置の特性情報(レンズの光学特性、撮像装置の識別情報等)等を考慮して生成される(特許文献3)。
図1は本発明に係る撮像モジュール1の第1の実施形態を示すブロック図である。
の復元処理ブロック20による復元処理を示すフローチャートである。
図5は本発明に係る撮像モジュール2の第2の実施形態を示すブロック図である。尚、図1に示した第1の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
ある。尚、図3に示した第1の実施形態と共通する部分には同一のステップ番号を付し、
その詳細な説明は省略する。
図7は本発明に係る撮像モジュール3の第3の実施形態を示すブロック図である。尚、図1に示した第1の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
ある。尚、図3に示した第1の実施形態と共通する部分には同一のステップ番号を付し、
その詳細な説明は省略する。
図9は本発明に係る撮像モジュール1の第4の実施形態を示すブロック図である。尚、
図1に示した第1の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省
略する。
g=f*h+n (*は畳み込み積分) ・・・(A)
で表される。g、h、nを既知として、(A)から元の物体の輝度分布fを求めることで、デコンボリューションの復元パラメータが算出される。
図11は第1の実施形態の撮像モジュール1が適用された撮像装置の一例を示すブロック図である。
本発明は第1の実施形態から第4の実施形態の撮像モジュールに限らず、例えば、各実施形態の撮像モジュールの構成要素を適宜組み合わせたものでもよい。
の変形が可能であることは言うまでもない。
Claims (6)
- レンズ部と、
所定の結像面にマトリクス状に配列された各画素に対応する赤、青および緑のカラーフィルタが装着され、前記レンズ部を介して前記所定の結像面に結像された光学像を、前記各画素により光電変換することで、前記各画素に対応する色のアナログ画像信号を出力することが可能な撮像素子と、
前記撮像素子から出力される各画素ごとのアナログ画像信号を、各画素ごとのデジタル画像信号に変換して出力するAD変換部と、
前記AD変換部から出力された各画素ごとのデジタル画像信号の黒レベルを調整する黒レベル調整部と、
前記黒レベル調整部が黒レベルを調整した各画素ごとのデジタル画像信号のホワイトバランスゲインを調整するホワイトバランスゲイン調整部と、
前記ホワイトバランスゲイン調整部がホワイトバランスゲインを調整した各画素ごとのデジタル画像信号にガンマ補正を施すガンマ処理部と、
前記ガンマ処理部がガンマ補正を行った各画素ごとのデジタル画像信号に同時化処理を施すことで、各画素に対応する赤、青および緑のデジタル画像信号の組を生成する同時化処理部と、
前記同時化処理部が生成した各画素に対応する赤、青および緑のデジタル画像信号の組を輝度信号および色差信号に変換し、各画素に対応する輝度信号および色差信号を出力可能なYC変換部と、
前記YC変換部の出力した各画素に対応する輝度信号のうち、近接する所定単位の画素群に対応する輝度信号ごとに共通する、予め記憶されたデコンボリューションパラメータでデコンボリューションすることで、被写体像の劣化を前記輝度信号から除去する復元処理を施す復元処理部と、を備え、
前記デコンボリューションパラメータは、前記レンズ部と所定の分光視感度と同等の分光透過率を有するフィルタが装着された撮像素子を介して得られた画像の強度分布に基づいて算出され、
前記YC変換部は、前記所定の分光視感度に応じて前記各画素に対応する輝度信号を出力する撮像モジュール。 - 前記YC変換部の出力した輝度信号に、デガンマ処理を施し、線形な輝度信号を出力するデガンマ処理部を備え、
前記復元処理部は、前記デガンマ処理部の出力した線形な輝度信号に、前記復元処理を施し、
前記復元処理部が前記復元処理を施した輝度信号にガンマ補正を施す輝度信号ガンマ処理部を備える請求項1に記載の撮像モジュール。 - 前記復元処理部が前記復元処理を施した輝度信号と前記YC変換部の出力した色差信号とからなるデジタル画像信号を記録可能な記録部を備え、
前記ガンマ補正後から前記復元処理完了までのデジタル画像信号のビット長は、前記記録部が記録するデジタル画像信号のビット長よりも大きい請求項1または2に記載の撮像モジュール。 - レンズ部と、所定の結像面にマトリクス状に配列された各画素に対応する赤、青および緑のカラーフィルタが装着され、前記レンズ部を介して前記所定の結像面に結像された光学像を、前記各画素により光電変換することで、前記各画素に対応する色のアナログ画像信号を出力することが可能な撮像素子と、を備えた撮像モジュールによる信号処理方法であって、
前記撮像素子から出力される各画素ごとのアナログ画像信号を、各画素ごとのデジタル画像信号に変換して出力するステップと、
前記各画素ごとのデジタル画像信号の黒レベルを調整するステップと、
前記黒レベルを調整した各画素ごとのデジタル画像信号のホワイトバランスゲインを調整するステップと、
前記ホワイトバランスゲインを調整した各画素ごとのデジタル画像信号にガンマ補正を施すステップと、
前記ガンマ補正を行った各画素ごとのデジタル画像信号に同時化処理を施すことで、各画素に対応する赤、青および緑のデジタル画像信号の組を生成するステップと、
前記各画素に対応する赤、青および緑のデジタル画像信号の組を輝度信号および色差信号に変換し、各画素に対応する輝度信号および色差信号を出力するステップと、
前記各画素に対応する輝度信号のうち、近接する所定単位の画素群に対応する輝度信号ごとに共通する、予め記憶されたデコンボリューションパラメータでデコンボリューションすることで、被写体像の劣化を前記輝度信号から除去する復元処理を施すステップと、を含み、
前記デコンボリューションパラメータは、前記レンズ部と所定の分光視感度と同等の分光透過率を有するフィルタが装着された撮像素子を介して得られた画像の強度分布に基づいて算出され、
前記輝度信号および色差信号を出力するステップは、前記所定の分光視感度に応じて前記各画素に対応する輝度信号を出力する画像信号処理方法。 - レンズ部と、
所定の結像面にマトリクス状に配列された各画素に対応する赤、青および緑のカラーフィルタが装着され、前記レンズ部を介して前記所定の結像面に結像された光学像を、前記各画素により光電変換することで、前記各画素に対応する色のアナログ画像信号を出力することが可能な撮像素子と、
前記撮像素子から出力される各画素ごとのアナログ画像信号を、各画素ごとのデジタル画像信号に変換して出力するAD変換部と、
前記AD変換部から出力された各画素ごとのデジタル画像信号の黒レベルを調整する黒レベル調整部と、
前記黒レベル調整部が黒レベルを調整した各画素ごとのデジタル画像信号のホワイトバランスゲインを調整するホワイトバランスゲイン調整部と、
前記ホワイトバランスゲイン調整部がホワイトバランスゲインを調整した各画素ごとのデジタル画像信号にガンマ補正を施すガンマ処理部と、
前記ガンマ処理部がガンマ補正を行った各画素ごとのデジタル画像信号に同時化処理を施すことで、各画素に対応する赤、青および緑のデジタル画像信号の組を生成する同時化処理部と、
前記同時化処理部が生成した各画素に対応する赤、青および緑のデジタル画像信号の組を輝度信号および色差信号に変換し、各画素に対応する輝度信号および色差信号を出力可能なYC変換部と、
前記YC変換部の出力した各画素に対応する輝度信号のうち、近接する所定単位の画素群に対応する輝度信号ごとに共通する、予め記憶されたデコンボリューションパラメータでデコンボリューションすることで、被写体像の劣化を前記輝度信号から除去する復元処理を施す復元処理部と、を備え、
前記デコンボリューションパラメータは、前記レンズ部と所定の分光視感度と同等の分光透過率を有するフィルタが装着された撮像素子を介して得られた画像の強度分布に基づいて算出されたものであり、
前記YC変換部は、前記所定の分光視感度に応じて前記各画素に対応する輝度信号を出力する撮像装置。 - 前記YC変換部の出力した輝度信号に、デガンマ処理を施し、線形な輝度信号を出力するデガンマ処理部を備え、
前記復元処理部は、前記デガンマ処理部の出力した線形な輝度信号に、前記復元処理を施し、
前記復元処理部が前記復元処理を施した輝度信号にガンマ補正を施す輝度信号ガンマ処理部を備える請求項5に記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010189114A JP5514042B2 (ja) | 2010-08-26 | 2010-08-26 | 撮像モジュール、画像信号処理方法および撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010189114A JP5514042B2 (ja) | 2010-08-26 | 2010-08-26 | 撮像モジュール、画像信号処理方法および撮像装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012049759A JP2012049759A (ja) | 2012-03-08 |
JP2012049759A5 JP2012049759A5 (ja) | 2013-05-09 |
JP5514042B2 true JP5514042B2 (ja) | 2014-06-04 |
Family
ID=45904144
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010189114A Active JP5514042B2 (ja) | 2010-08-26 | 2010-08-26 | 撮像モジュール、画像信号処理方法および撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5514042B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104704807A (zh) * | 2013-03-28 | 2015-06-10 | 富士胶片株式会社 | 图像处理装置、摄像装置、图像处理方法、程序及记录介质 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5759085B2 (ja) * | 2013-03-28 | 2015-08-05 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム並びに記録媒体 |
CN105432069B (zh) * | 2013-07-25 | 2018-09-25 | 富士胶片株式会社 | 图像处理装置、摄像装置、图像处理方法及程序 |
JP2015070529A (ja) | 2013-09-30 | 2015-04-13 | 株式会社リコー | 画像処理装置、撮像装置および画像処理方法 |
WO2015146364A1 (ja) | 2014-03-28 | 2015-10-01 | 富士フイルム株式会社 | 画像処理装置、撮影装置、画像処理方法、及びプログラム |
JP6042032B2 (ja) | 2014-03-31 | 2016-12-14 | 富士フイルム株式会社 | 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム |
CN106165392B (zh) | 2014-03-31 | 2019-01-22 | 富士胶片株式会社 | 图像处理装置、摄影装置以及图像处理方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3031358B1 (ja) * | 1998-09-28 | 2000-04-10 | 日本電気株式会社 | 固体撮像装置 |
JP2003224818A (ja) * | 2002-01-31 | 2003-08-08 | Fuji Photo Film Co Ltd | デジタルカメラ |
JP5222472B2 (ja) * | 2006-07-14 | 2013-06-26 | イーストマン コダック カンパニー | 画像処理装置、画像復元方法およびプログラム |
JP4998287B2 (ja) * | 2008-01-25 | 2012-08-15 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
JP5099438B2 (ja) * | 2008-03-31 | 2012-12-19 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
JP2009260622A (ja) * | 2008-04-16 | 2009-11-05 | Nikon Corp | 撮像装置 |
-
2010
- 2010-08-26 JP JP2010189114A patent/JP5514042B2/ja active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104704807A (zh) * | 2013-03-28 | 2015-06-10 | 富士胶片株式会社 | 图像处理装置、摄像装置、图像处理方法、程序及记录介质 |
CN104704807B (zh) * | 2013-03-28 | 2018-02-02 | 富士胶片株式会社 | 图像处理装置、摄像装置及图像处理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2012049759A (ja) | 2012-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10339638B2 (en) | Image processing device, imaging device, image processing method, and image processing program | |
US7598990B2 (en) | Image signal processing system and electronic imaging device | |
JP5514042B2 (ja) | 撮像モジュール、画像信号処理方法および撮像装置 | |
JP5933105B2 (ja) | 画像処理装置、撮像装置、フィルタ生成装置、画像復元方法及びプログラム | |
JP5660711B2 (ja) | 復元ゲインデータ生成方法 | |
US20110268357A1 (en) | Image processing apparatus, image processing method, and program | |
US9984448B2 (en) | Restoration filter generation device and method, image processing device and method, imaging device, and non-transitory computer-readable medium | |
CN105432068A (zh) | 摄像装置、摄像方法及图像处理装置 | |
JP6247794B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
US20180041714A1 (en) | Image processing device, imaging device, image processing method, and program | |
US8237829B2 (en) | Image processing device, image processing method, and imaging apparatus | |
JP5977565B2 (ja) | 画像処理装置 | |
JP5513310B2 (ja) | 撮像モジュールおよび画像信号処理方法、復元処理装置およびその方法 | |
JP5674532B2 (ja) | 撮像装置、画像処理方法及び画像処理装置 | |
JP2012023675A (ja) | 撮像モジュール及び撮像装置並びに撮像モジュールの信号処理方法 | |
WO2014050191A1 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP5513311B2 (ja) | 撮像モジュール、画像処理装置および画像信号処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130325 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130325 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131216 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140304 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140328 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5514042 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |