JP5991749B2 - 画像処理装置及び方法 - Google Patents
画像処理装置及び方法 Download PDFInfo
- Publication number
- JP5991749B2 JP5991749B2 JP2012194244A JP2012194244A JP5991749B2 JP 5991749 B2 JP5991749 B2 JP 5991749B2 JP 2012194244 A JP2012194244 A JP 2012194244A JP 2012194244 A JP2012194244 A JP 2012194244A JP 5991749 B2 JP5991749 B2 JP 5991749B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- image processing
- saturated
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 165
- 238000000034 method Methods 0.000 title claims description 68
- 229920006395 saturated elastomer Polymers 0.000 claims description 157
- 238000011084 recovery Methods 0.000 claims description 79
- 230000002093 peripheral effect Effects 0.000 claims description 63
- 238000003384 imaging method Methods 0.000 claims description 57
- 230000008569 process Effects 0.000 claims description 47
- 230000003287 optical effect Effects 0.000 claims description 37
- 230000004075 alteration Effects 0.000 claims description 34
- 230000015572 biosynthetic process Effects 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 238000003672 processing method Methods 0.000 claims description 5
- 238000012546 transfer Methods 0.000 claims description 5
- 230000015556 catabolic process Effects 0.000 claims description 4
- 238000006731 degradation reaction Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 206010010071 Coma Diseases 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 201000009310 astigmatism Diseases 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
- H04N1/4097—Removing errors due external factors, e.g. dust, scratches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Description
PTF=tan-1(Im(OTF)/Re(OTF)) …(1)
g(x,y)=h(x,y)*f(x,y) …(2)
G(u,v)=H(u,v)・F(u,v) …(3)
G(u,v)/H(u,v)=F(u,v) …(4)
このF(u,v)を逆フーリエ変換して実面に戻すことで、元の画像f(x,y)が回復像として得られる。
ここで、上式の1/Hを逆フーリエ変換したものをRとすると、以下の式(5)のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像を得ることができる。
g(x,y)*R(x,y)=f(x,y) …(5)
ここで、ズーム位置の状態や絞り径の状態等の撮影状態に応じてOTFが変動するため、画像回復処理に用いる画像回復フィルタもこれに応じて変更する必要がある。
図1は、本発明の実施形態に係る撮像装置の基本構成の一例を示すブロック図である。不図示の被写体像は、絞り101aおよびフォーカスレンズ101bを含む撮像光学系101により撮像素子102に入射する。
Rd(x,y)=R1(x,y)−R0(x,y) …(6)
Gd(x,y)=G1(x,y)−G0(x,y) …(7)
Bd(x,y)=B1(x,y)−B0(x,y) …(8)
Rd´(x,y)={
4×Rd(x,y)
+2×(Rd(x,y−1)+Rd(x−1,y)
+Rd(x+1,y)+Rd(x,y+1))
+(Rd(x−1,y−1)+Rd(x+1,y−1)
+Rd(x−1,y+1)+Rd(x+1,y+1))
}/16 …(9)
R2(x,y)=R0(x,y)+Rd´(x,y) …(10)
また、飽和領域と飽和部周辺領域以外の領域については、画像回復フィルタ適用前の各画素の画素値に、画像回復フィルタ適用前と画像回復フィルタ適用後の画素値の差分である回復成分を合成すれば、画像回復フィルタ適用後の画素値を得ることができる。すなわち、以下の式(11)により画像回復フィルタ適用後の画素値を得ることができる。
R2(x,y)=R0(x,y)+Rd(x,y) …(11)
飽和部周辺領域の他の設定方法の処理フローを図9に示す。S21〜S24は図6で示した飽和領域の判定処理と同様であるため説明を省略し、S35以降の飽和部周辺領域の設定処理について説明する。
以下、本発明の第2の実施形態による画像回復処理について説明する。なお、本第2の実施形態に係る撮像装置の基本構成は、上述した第1の実施形態において図1を参照して説明したものと同様である。本第2の実施形態では、第1の実施形態と異なり、図4に示すようなベイヤー形式の画像データのまま、画素補間を行わずに画像回復処理を行う場合について説明する。
Rd´(x,y)={
4×Rd(x,y)
+2×(Rd(x,y−2)+Rd(x−2,y)
+Rd(x+2,y)+Rd(x,y+2))
+(Rd(x−2,y−2)+Rd(x+2,y−2)
+Rd(x−2,y+2)+Rd(x+2,y+2))
}/16 …(12)
R2(x,y)=R0(x,y)+Rd´(x,y) …(13)
また、飽和領域と飽和部周辺領域以外の領域については、画像回復フィルタ適用前の各画素の画素値に、画像回復フィルタ適用前と画像回復フィルタ適用後の画素値の差分である回復成分を合成すれば、画像回復フィルタ適用後の画素値を得ることができる。
Claims (10)
- 撮像素子により撮像光学系を介して入射する被写体像を撮影して得られた画像データに対して、前記撮像光学系の収差による画像の劣化を補正する回復処理を行う画像処理装置であって、
前記撮影時の撮影条件に応じて、前記回復処理に用いるフィルタを選択する選択手段と、
前記画像データに対して、前記選択手段により選択されたフィルタを用いて前記回復処理を行う画像処理手段と、
前記画像処理手段による回復処理前後の画素値の差分を平滑化する差分処理手段と、
平滑化した前記差分を、前記画像処理手段による回復処理前の画素値に合成する合成手段と
を有することを特徴とする画像処理装置。 - 前記合成手段は、特定の領域の画素について、前記平滑化した前記差分を、前記画像処理手段による回復処理前の画素値に合成した画素値を出力し、前記特定の領域以外の画素について、前記平滑化しない前記差分を、前記画像処理手段による回復処理前の画素値に合成した画素値を出力することを特徴とする請求項1に記載の画像処理装置。
- 前記合成手段は、特定の領域の画素について、前記平滑化した前記差分を、前記画像処理手段による回復処理前の画素値に合成した画素値を出力し、前記特定の領域以外の画素について、前記画像処理手段による回復処理後の画素値を出力することを特徴とする請求項1に記載の画像処理装置。
- 前記画像データのうち、飽和画素を判定して飽和領域を設定するとともに、該判定された飽和画素の位置と、前記選択手段により選択されたフィルタの特性とに基づいて、前記飽和領域の周辺領域を設定する設定手段を有し、
前記合成手段は、前記設定手段により設定された前記飽和領域及び前記周辺領域を、前記特定の領域とすることを特徴とする請求項2または3に記載の画像処理装置。 - 前記設定手段は、前記飽和画素以外の画素に対する前記回復処理において、前記フィルタが前記飽和画素の画素値を用いて前記回復処理を行う場合に、前記フィルタが用いる当該飽和画素以外の画素を前記周辺領域の画素と判定することにより前記周辺領域を設定することを特徴とする請求項4に記載の画像処理装置。
- 前記設定手段は、前記飽和画素に対する前記回復処理において、前記フィルタが前記飽和画素以外の画素の画素値を用いて前記回復処理を行う場合に、前記フィルタが用いる当該飽和画素以外の画素を前記周辺領域の画素と判定することにより前記周辺領域を設定することを特徴とする請求項4に記載の画像処理装置。
- 前記撮像素子は、複数色のカラーフィルタのいずかにより各画素が覆われており、前記画像処理装置は、
前記複数色の画像データに対して、各画素がそれぞれ前記複数色の画像データを有するように補間処理を行う画素補間手段を更に有し、
前記画像処理手段は、前記補間処理された画像データに対して、前記回復処理を行うことを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。 - 前記撮像素子は、複数色のカラーフィルタのいずかにより各画素が覆われており、前記画像処理装置は、
前記合成手段から出力された前記複数色の画像データに対して、各画素がそれぞれ前記複数色の画像データを有するように補間処理を行う画素補間手段を更に有することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。 - 前記画像処理手段により用いられる前記フィルタは、前記撮像光学系の光学素子の光学伝達関数の逆関数に基づいて生成された関数を逆フーリエ変換して得られる2次元のフィルタであり、
前記画像処理手段は、前記フィルタをコンボリューション処理することを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。 - 撮像素子により撮像光学系を介して入射する被写体像を撮影して得られた画像データに対して、前記撮像光学系の収差による画像の劣化を補正する回復処理を行う画像処理方法であって、
前記撮影時の撮影条件に応じて、前記回復処理に用いるフィルタを選択する選択工程と、
前記画像データに対して、前記選択工程で選択されたフィルタを用いて前記回復処理を行う画像処理工程と、
前記画像処理工程における回復処理前後の画素値の差分を平滑化する差分処理工程と、
平滑化した前記差分を、前記画像処理工程における回復処理前の画素値に合成する合成工程と
を有することを特徴とする画像処理方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012194244A JP5991749B2 (ja) | 2011-09-26 | 2012-09-04 | 画像処理装置及び方法 |
US13/612,085 US8849055B2 (en) | 2011-09-26 | 2012-09-12 | Image processing apparatus and method |
KR1020120102637A KR101536162B1 (ko) | 2011-09-26 | 2012-09-17 | 화상처리장치 및 방법 |
CN201210370119.9A CN103198453B (zh) | 2011-09-26 | 2012-09-25 | 图像处理设备及图像处理方法 |
EP12186178.5A EP2574034B1 (en) | 2011-09-26 | 2012-09-26 | Image processing apparatus and method |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011209786 | 2011-09-26 | ||
JP2011209786 | 2011-09-26 | ||
JP2012194244A JP5991749B2 (ja) | 2011-09-26 | 2012-09-04 | 画像処理装置及び方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013084247A JP2013084247A (ja) | 2013-05-09 |
JP2013084247A5 JP2013084247A5 (ja) | 2015-10-29 |
JP5991749B2 true JP5991749B2 (ja) | 2016-09-14 |
Family
ID=47323842
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012194244A Active JP5991749B2 (ja) | 2011-09-26 | 2012-09-04 | 画像処理装置及び方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8849055B2 (ja) |
EP (1) | EP2574034B1 (ja) |
JP (1) | JP5991749B2 (ja) |
KR (1) | KR101536162B1 (ja) |
CN (1) | CN103198453B (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012134951A (ja) * | 2010-11-30 | 2012-07-12 | Canon Inc | 撮像装置及びその制御方法 |
JP5759085B2 (ja) * | 2013-03-28 | 2015-08-05 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム並びに記録媒体 |
CN104103037B (zh) * | 2013-04-02 | 2017-02-15 | 杭州海康威视数字技术股份有限公司 | 一种图像增强处理方法和装置 |
JP5961149B2 (ja) * | 2013-08-26 | 2016-08-02 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
JP6338376B2 (ja) * | 2014-01-08 | 2018-06-06 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 |
WO2015146364A1 (ja) * | 2014-03-28 | 2015-10-01 | 富士フイルム株式会社 | 画像処理装置、撮影装置、画像処理方法、及びプログラム |
JP6461184B2 (ja) * | 2014-10-23 | 2019-01-30 | 国立大学法人東京工業大学 | 画像処理ユニット、撮像装置、画像処理プログラム、および画像処理方法 |
JP6512893B2 (ja) * | 2015-03-26 | 2019-05-15 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法及びコンピュータプログラム |
JP6525718B2 (ja) * | 2015-05-11 | 2019-06-05 | キヤノン株式会社 | 画像処理装置、その制御方法、および制御プログラム |
US10638037B2 (en) * | 2015-09-30 | 2020-04-28 | Nikon Corporation | Image-capturing device and image processing device |
JP6768312B2 (ja) * | 2016-03-08 | 2020-10-14 | キヤノン株式会社 | 画像処理装置、光学機器、画像処理方法、画像処理プログラム、および記録媒体 |
CN105872318B (zh) * | 2016-04-29 | 2018-10-02 | 中国科学院西安光学精密机械研究所 | 一种可增强ccd相机调制传递函数的方法及电路 |
JP2019033971A (ja) * | 2017-08-18 | 2019-03-07 | ソニー・オリンパスメディカルソリューションズ株式会社 | 内視鏡装置 |
JP7362284B2 (ja) * | 2019-03-29 | 2023-10-17 | キヤノン株式会社 | 画像処理方法、画像処理装置、プログラム、画像処理システム、および、学習済みモデルの製造方法 |
CN116091364B (zh) * | 2023-04-07 | 2023-06-06 | 天津汉云工业互联网有限公司 | 图像模糊处理方法、装置、电子设备和存储介质 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3532368B2 (ja) | 1996-12-10 | 2004-05-31 | 富士写真フイルム株式会社 | 内視鏡 |
CN101258740A (zh) * | 2005-07-28 | 2008-09-03 | 京瓷株式会社 | 摄像装置及图像处理方法 |
US7791656B2 (en) * | 2005-08-16 | 2010-09-07 | Konica Minolta Holdings, Inc. | Image sensing apparatus and image processing method |
JP4660342B2 (ja) * | 2005-10-12 | 2011-03-30 | オリンパス株式会社 | 画像処理システム、画像処理プログラム |
JP4770560B2 (ja) * | 2006-04-11 | 2011-09-14 | 株式会社ニコン | 撮像装置、カメラおよび画像処理方法 |
CN100437640C (zh) * | 2006-08-01 | 2008-11-26 | 北京航空航天大学 | 基于自适应判决反馈均衡技术的盲图像复原方法 |
JP5292821B2 (ja) * | 2008-01-16 | 2013-09-18 | ソニー株式会社 | 静脈画像取得装置および静脈画像取得方法 |
JP2009194776A (ja) * | 2008-02-15 | 2009-08-27 | Fujitsu Microelectronics Ltd | ノイズフィルタ |
JP5062846B2 (ja) * | 2008-07-04 | 2012-10-31 | 株式会社リコー | 画像撮像装置 |
JP4942216B2 (ja) * | 2008-09-30 | 2012-05-30 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置及びプログラム |
JP4891301B2 (ja) * | 2008-09-30 | 2012-03-07 | キヤノン株式会社 | 画像処理方法、画像処理装置及び撮像装置 |
JP4986965B2 (ja) * | 2008-09-30 | 2012-07-25 | キヤノン株式会社 | 画像処理方法、画像処理装置、画像処理プログラム及び撮像装置 |
JP5147625B2 (ja) * | 2008-09-30 | 2013-02-20 | 富士フイルム株式会社 | 画像形成装置、画像形成方法及び印刷装置 |
JP2011135563A (ja) * | 2009-11-30 | 2011-07-07 | Canon Inc | 撮像装置および画像処理方法 |
JP5441652B2 (ja) * | 2009-12-09 | 2014-03-12 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
CN102714737B (zh) * | 2009-12-17 | 2015-12-02 | 佳能株式会社 | 图像处理设备和使用图像处理设备的图像捕获装置 |
JP5534832B2 (ja) * | 2010-01-21 | 2014-07-02 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
WO2011121760A1 (ja) * | 2010-03-31 | 2011-10-06 | キヤノン株式会社 | 画像処理装置、およびそれを用いた撮像装置 |
-
2012
- 2012-09-04 JP JP2012194244A patent/JP5991749B2/ja active Active
- 2012-09-12 US US13/612,085 patent/US8849055B2/en active Active
- 2012-09-17 KR KR1020120102637A patent/KR101536162B1/ko active IP Right Grant
- 2012-09-25 CN CN201210370119.9A patent/CN103198453B/zh active Active
- 2012-09-26 EP EP12186178.5A patent/EP2574034B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
KR101536162B1 (ko) | 2015-07-13 |
CN103198453A (zh) | 2013-07-10 |
EP2574034A3 (en) | 2016-11-16 |
EP2574034B1 (en) | 2020-04-08 |
JP2013084247A (ja) | 2013-05-09 |
US20130076938A1 (en) | 2013-03-28 |
EP2574034A2 (en) | 2013-03-27 |
CN103198453B (zh) | 2016-02-24 |
US8849055B2 (en) | 2014-09-30 |
KR20130033304A (ko) | 2013-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5991749B2 (ja) | 画像処理装置及び方法 | |
JP5824297B2 (ja) | 画像処理装置及び方法、及び撮像装置 | |
JP6327922B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP5284537B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、およびそれを用いた撮像装置 | |
US9830689B2 (en) | Image processing apparatus that performs image restoration processing, method of controlling the same, and storage medium | |
JP5147994B2 (ja) | 画像処理装置およびそれを用いた撮像装置 | |
JP5441652B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP5188651B2 (ja) | 画像処理装置、およびそれを用いた撮像装置 | |
JP5818586B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6045185B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2011124692A5 (ja) | ||
JP5479187B2 (ja) | 画像処理装置及びそれを用いた撮像装置 | |
JP5425136B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP6238673B2 (ja) | 画像処理装置、撮像装置、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体 | |
WO2011121761A1 (ja) | 画像処理装置、およびそれを用いた撮像装置 | |
JP2023119413A (ja) | 画像処理装置及び方法、撮像装置、プログラム及び記憶媒体 | |
JP2022161527A (ja) | 画像処理方法、画像処理装置、撮像装置およびプログラム | |
JP2017224906A (ja) | 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150902 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150902 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160711 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160719 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160812 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5991749 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |