JP5660711B2 - 復元ゲインデータ生成方法 - Google Patents
復元ゲインデータ生成方法 Download PDFInfo
- Publication number
- JP5660711B2 JP5660711B2 JP2010208324A JP2010208324A JP5660711B2 JP 5660711 B2 JP5660711 B2 JP 5660711B2 JP 2010208324 A JP2010208324 A JP 2010208324A JP 2010208324 A JP2010208324 A JP 2010208324A JP 5660711 B2 JP5660711 B2 JP 5660711B2
- Authority
- JP
- Japan
- Prior art keywords
- restoration
- color
- image
- gain data
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Description
さらに、カラー撮像素子から得られる3原色のうちの複数色の色信号の実測値に基づいて複数色分の点像分布関数の平均値又は加重平均値を求めるようにしたため、レンズ設計値により求める場合に比べて公差を考慮でき、より正確な点像分布関数を求めることができ、画質の向上を図ることができる。
請求項3に示すように請求項1又は2に記載の復元ゲインデータ生成方法において、前記復元処理手段は、前記カラー撮像素子から出力される3原色の各色信号の像高にかかわらず、撮像画面内の各色信号に対して単一の復元フィルタによるフィルタリング処理を行うことを特徴としている。各像高に応じて復元フィルタを切り替える場合に比べて回路規模の削減(コストダウン)を図ることができる。
図1は本発明に係る撮像装置の実施の形態を示すブロック図である。
次に、上記復元処理ブロック20のメモリ部24に記憶させる復元ゲインデータの生成方法について説明する。
g(x,y)=h(x,y)*f(x,y)
ただし、*はコンボリューションを示す。
g(x,y)*R(x,y)=f(x,y)
このR(x,y)を復元フィルタという。復元フィルタは、図4に示したように7×7のフィルタ値(復元ゲインデータ)から構成され、ステップS16では、この復元ゲインデータを生成する。尚、この種の復元フィルタとしては、原画像と復元画像との2乗平均誤差を最小にする最小2乗フィルタ(ウィナーフィルタ)、制限付き逆畳み込みフィルタ、再帰フィルタ、準同形フィルタ等を利用することができる。また、復元処理については、例えば電子通信学会論文誌、1984年11月、Vol.J67-D No10や、「O plus E」誌別冊、1986年11月に記載されている(特願平8−329549号公報の段落[0023]、[0024]参照)。
上記復元ゲインデータを生成する際に、点像の中心がカラー撮像素子のG画素と一致するように撮像し、そのG画素の色信号及びそのG画素を中心とする所定領域内のG画素の色信号を取得してPSFを測定する。
点像の中心がカラー撮像素子のG画素と一致するように撮像する際に、カラー撮像素子の画面中心(撮影レンズ10の光軸上)、又は画面中心に最も近いG画素と一致するように撮像し、PSFを測定する。
図7は画面と像高との関係を示す図である。上記の実施の形態では、軸上でPSFを測定するようにしたが、他の実施の形態として、点像の中心が撮像画面の3割像高の位置にくるように撮像し、PSFを測定する。
点像の中心がカラー撮像素子のG画素と一致するように撮像する際に、G画素の中心からずれるように撮像し、PSFを測定する。
図6のステップS16において、復元ゲインデータを生成する際に、PSFの逆関数から求めた復元ゲインデータを調整し、図4に示したように各復元ゲインデータがカーネル中心に対して回転対称となるように生成する。
この実施の形態では、カラー撮像素子のG画素から得られる点像に基づいてPSFを測定するようにしたが、これに限らず、R、G、Bの各画素から得られる点像に基づいてそれぞれ測定されたPSFの平均値(加重平均を含む)を求めるようにしてもよい。また、カラー撮像素子のカラーフィルタとしては、ベイヤー配列のものに限らず、GストライプR/G完全市松、ハニカム配列等の他のカラーフィルタ配列のものでもよい。
Claims (8)
- 撮影レンズを透過した光学像が結像され、該光学像を電気信号に変換する撮像素子であって、3原色の原色フィルタが所定のパターンとなるように画素毎に配列されたカラー撮像素子から出力される3原色の原色フィルタに対応する各色信号に対し、前記撮影レンズの点像分布関数の逆関数に基づく復元フィルタであって単一の復元フィルタによるフィルタリング処理を行う復元処理手段と、前記復元処理手段によるフィルタリング処理の後段において、前記フィルタリング処理された各色信号に基づいて同時化処理を行う同時化処理手段とを備え、前記復元処理手段は、所定のカーネルサイズ分の復元ゲインデータを有する前記復元フィルタを記憶する記憶手段を含み、前記カラー撮像素子から出力される各画素の色信号の復元処理時に、処理対象の注目画素の色信号及びその注目画素を中心とする所定領域内の同じ色の画素の色信号と前記記憶手段に記憶された復元フィルタの復元ゲインデータとの畳み込み演算を行い、前記注目画素の色信号を前記演算により算出した値に置換する装置において前記記憶手段に記憶させる前記所定のカーネルサイズ分の復元ゲインデータを生成する復元ゲインデータ生成方法であって、
前記撮影レンズと前記カラー撮像素子又は該カラー撮像素子に対応する検査用のカラー撮像素子を介して点像を撮像させる工程と、
前記カラー撮像素子から得られる前記3原色のうちの複数色の色信号の実測値に基づいて点像分布関数を求める工程と、
前記求めた複数色の点像分布関数の平均値又は加重平均値に基づいて前記点像分布関数の逆関数を求める工程と、
前記求めた逆関数に基づいて該逆関数に対応する復元ゲインデータを生成する工程と、
を含むことを特徴とする復元ゲインデータ生成方法。 - 前記撮影レンズは、被写界深度を拡大する位相変調機能を有する請求項1に記載の復元ゲインデータ生成方法。
- 前記復元処理手段は、前記カラー撮像素子から出力される3原色の各色信号の像高にかかわらず、撮像画面内の各色信号に対して単一の復元フィルタによるフィルタリング処理を行うことを特徴とする請求項1又は2に記載の復元ゲインデータ生成方法。
- 前記3原色は、R(赤)、G(緑)、B(青)の3原色であることを特徴とする請求項1から3のいずれかに記載の復元ゲインデータ生成方法。
- 前記点像を撮像させる工程は、前記点像の中心が撮像画面の中心にくるように撮像させることを特徴とする請求項1から4のいずれかに記載の復元ゲインデータ生成方法。
- 前記点像を撮像させる工程は、前記点像の中心が撮像画面の3割像高の位置にくるように撮像させることを特徴とする請求項1から4のいずれかに記載の復元ゲインデータ生成方法。
- 前記点像を撮像させる工程は、前記点像の中心が前記カラー撮像素子の画素の中心からずれたアウトフェーズで撮像させることを特徴とする請求項1から6のいずれかに記載の復元ゲインデータ生成方法。
- 前記逆関数に対応する復元ゲインデータを生成する工程は、N×Nのカーネルサイズ分の復元ゲインデータを生成する際に、各復元ゲインデータがカーネル中心に対して回転対称となるように生成することを特徴とする請求項1から7のいずれかに記載の復元ゲインデータ生成方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010208324A JP5660711B2 (ja) | 2010-09-16 | 2010-09-16 | 復元ゲインデータ生成方法 |
US13/234,738 US8508618B2 (en) | 2010-09-16 | 2011-09-16 | Image pickup apparatus and restoration gain data generation method |
CN201110275353.9A CN102404580B (zh) | 2010-09-16 | 2011-09-16 | 图像拾取装置和修复增益数据产生方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010208324A JP5660711B2 (ja) | 2010-09-16 | 2010-09-16 | 復元ゲインデータ生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012065187A JP2012065187A (ja) | 2012-03-29 |
JP5660711B2 true JP5660711B2 (ja) | 2015-01-28 |
Family
ID=45817445
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010208324A Expired - Fee Related JP5660711B2 (ja) | 2010-09-16 | 2010-09-16 | 復元ゲインデータ生成方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8508618B2 (ja) |
JP (1) | JP5660711B2 (ja) |
CN (1) | CN102404580B (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9013590B2 (en) * | 2012-12-13 | 2015-04-21 | Raytheon Company | Pixel multiplication using code spread functions |
JP2014126903A (ja) * | 2012-12-25 | 2014-07-07 | Toshiba Corp | 画像処理装置および画像処理方法、ならびに、プログラム |
CN104969545B (zh) * | 2013-02-05 | 2018-03-20 | 富士胶片株式会社 | 图像处理装置、摄像装置、图像处理方法以及程序 |
WO2014136323A1 (ja) * | 2013-03-04 | 2014-09-12 | 富士フイルム株式会社 | 復元フィルタ生成装置及び方法、画像処理装置、撮像装置、復元フィルタ生成プログラム並びに記録媒体 |
WO2014136321A1 (ja) | 2013-03-04 | 2014-09-12 | 富士フイルム株式会社 | 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム並びに記録媒体 |
JP5864813B2 (ja) | 2013-03-04 | 2016-02-17 | 富士フイルム株式会社 | 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム並びに記録媒体 |
JP5844940B2 (ja) | 2013-03-18 | 2016-01-20 | 富士フイルム株式会社 | 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム、並びに記録媒体 |
JP2015070529A (ja) * | 2013-09-30 | 2015-04-13 | 株式会社リコー | 画像処理装置、撮像装置および画像処理方法 |
JP6385206B2 (ja) | 2014-09-02 | 2018-09-05 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
CN107610064A (zh) * | 2017-09-20 | 2018-01-19 | 长沙全度影像科技有限公司 | 一种基于不同模糊核先验的简单透镜psf均值融合方法 |
US11030724B2 (en) | 2018-09-13 | 2021-06-08 | Samsung Electronics Co., Ltd. | Method and apparatus for restoring image |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4076242B2 (ja) * | 1995-12-26 | 2008-04-16 | オリンパス株式会社 | 電子撮像装置 |
JP3532368B2 (ja) | 1996-12-10 | 2004-05-31 | 富士写真フイルム株式会社 | 内視鏡 |
JP2002300461A (ja) * | 2001-03-30 | 2002-10-11 | Minolta Co Ltd | 画像復元装置、画像復元方法、プログラム及び記録媒体 |
WO2003052465A2 (en) * | 2001-12-18 | 2003-06-26 | University Of Rochester | Multifocal aspheric lens obtaining extended field depth |
JP3791777B2 (ja) * | 2001-12-28 | 2006-06-28 | オリンパス株式会社 | 電子内視鏡 |
JP2004328506A (ja) * | 2003-04-25 | 2004-11-18 | Sony Corp | 撮像装置および画像復元方法 |
US8115840B2 (en) * | 2005-11-10 | 2012-02-14 | DigitalOptics Corporation International | Image enhancement in the mosaic domain |
JP4916853B2 (ja) * | 2005-11-29 | 2012-04-18 | 京セラ株式会社 | 撮像装置およびその方法 |
WO2007072477A2 (en) * | 2005-12-21 | 2007-06-28 | D-Blur Technologies Ltd. | Image enhancement using hardware-based deconvolution |
JP4749959B2 (ja) * | 2006-07-05 | 2011-08-17 | 京セラ株式会社 | 撮像装置、並びにその製造装置および製造方法 |
JP5020615B2 (ja) * | 2006-12-08 | 2012-09-05 | キヤノン株式会社 | 画像処理装置及び撮像装置及び画像処理方法及びプログラム |
US8417759B2 (en) * | 2007-04-09 | 2013-04-09 | DigitalOptics Corporation Europe Limited | Efficient implementations of kernel computations |
JP4453734B2 (ja) * | 2007-09-21 | 2010-04-21 | ソニー株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム、並びに撮像装置 |
JP2009089082A (ja) * | 2007-09-28 | 2009-04-23 | Kyocera Corp | 画像復元装置およびその方法 |
JP2009219036A (ja) * | 2008-03-12 | 2009-09-24 | Nikon Corp | 撮影装置および撮影装置の製造方法 |
US8289438B2 (en) * | 2008-09-24 | 2012-10-16 | Apple Inc. | Using distance/proximity information when applying a point spread function in a portable media device |
JP5300133B2 (ja) * | 2008-12-18 | 2013-09-25 | 株式会社ザクティ | 画像表示装置及び撮像装置 |
JP5363966B2 (ja) * | 2009-12-18 | 2013-12-11 | 富士フイルム株式会社 | 撮像装置 |
-
2010
- 2010-09-16 JP JP2010208324A patent/JP5660711B2/ja not_active Expired - Fee Related
-
2011
- 2011-09-16 US US13/234,738 patent/US8508618B2/en active Active
- 2011-09-16 CN CN201110275353.9A patent/CN102404580B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN102404580B (zh) | 2015-04-29 |
US20120069237A1 (en) | 2012-03-22 |
US8508618B2 (en) | 2013-08-13 |
JP2012065187A (ja) | 2012-03-29 |
CN102404580A (zh) | 2012-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5660711B2 (ja) | 復元ゲインデータ生成方法 | |
US8363123B2 (en) | Image pickup apparatus, color noise reduction method, and color noise reduction program | |
JP2011010108A (ja) | 撮像制御装置、撮像装置及び撮像制御方法 | |
JP5682523B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP4992698B2 (ja) | 色収差補正装置、撮像装置、色収差算出方法および色収差算出プログラム | |
JP4796871B2 (ja) | 撮像装置 | |
JPH11161773A (ja) | 画像処理方法及び画像入力装置 | |
JP5514042B2 (ja) | 撮像モジュール、画像信号処理方法および撮像装置 | |
CN102868890A (zh) | 图像处理设备、成像设备、图像处理方法和程序 | |
JP2020053771A (ja) | 画像処理装置、撮像装置 | |
US8237829B2 (en) | Image processing device, image processing method, and imaging apparatus | |
JP5621053B2 (ja) | 画像処理装置、方法及びプログラム並びに撮像装置 | |
US10075687B2 (en) | Imaging apparatus and imaging method to obtain high quality luminance images | |
JP2010141661A (ja) | 画像処理装置 | |
JP5513310B2 (ja) | 撮像モジュールおよび画像信号処理方法、復元処理装置およびその方法 | |
JP5866826B2 (ja) | 撮像装置 | |
JP6702792B2 (ja) | 画像処理装置およびその制御方法 | |
US8736722B2 (en) | Enhanced image capture sharpening | |
JP5674532B2 (ja) | 撮像装置、画像処理方法及び画像処理装置 | |
JP2015095890A (ja) | 画像処理装置およびその制御方法 | |
JP2018067868A (ja) | 撮像装置 | |
JP5333163B2 (ja) | 撮像装置 | |
JP6051592B2 (ja) | 画像処理装置および撮像装置 | |
JP7289642B2 (ja) | 画像処理装置、画像処理装置の制御方法、及びプログラム | |
JP2012023675A (ja) | 撮像モジュール及び撮像装置並びに撮像モジュールの信号処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140326 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140523 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141126 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141201 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5660711 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |