JP5765893B2 - 画像処理装置、撮像装置および画像処理プログラム - Google Patents
画像処理装置、撮像装置および画像処理プログラム Download PDFInfo
- Publication number
- JP5765893B2 JP5765893B2 JP2010137034A JP2010137034A JP5765893B2 JP 5765893 B2 JP5765893 B2 JP 5765893B2 JP 2010137034 A JP2010137034 A JP 2010137034A JP 2010137034 A JP2010137034 A JP 2010137034A JP 5765893 B2 JP5765893 B2 JP 5765893B2
- Authority
- JP
- Japan
- Prior art keywords
- division
- image
- image processing
- divided
- temporary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 181
- 238000012545 processing Methods 0.000 title claims description 155
- 238000000034 method Methods 0.000 claims description 121
- 238000005316 response function Methods 0.000 claims description 99
- 230000008569 process Effects 0.000 claims description 91
- 238000011156 evaluation Methods 0.000 claims description 82
- 238000004364 calculation method Methods 0.000 description 26
- 238000013527 convolutional neural network Methods 0.000 description 25
- 230000008859 change Effects 0.000 description 21
- 230000003287 optical effect Effects 0.000 description 14
- 230000006866 deterioration Effects 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 9
- 238000012937 correction Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000006731 degradation reaction Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003702 image correction Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012854 evaluation process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- CNQCVBJFEGMYDW-UHFFFAOYSA-N lawrencium atom Chemical compound [Lr] CNQCVBJFEGMYDW-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
Description
[文献A]“Multiframe Demosaicing and Super-Resolution of ColorImages”(IEEE TRANSACTION ON IMAGE PROCESSING,VOL.15,NO.1,JANUARY 2006)
次にステップS804では、画像処理演算部1103は、ステップS803で算出した超解像評価値Jが閾値(所定値)βより小さいか否かを判定する。閾値βは、画像の種類、撮像系の性能および高精細化処理の目的に応じて適宜設定される。J≧βである場合には、ステップS805に進み、J<βである場合には、高精細化処理を終了し、推定高精細画像を超解像画像とする。その後、図2のステップS204に進む。
[文献B]“新編 画像解析ハンドブック”(東京大学出版会,pp77−78)
シフトインバリアント領域は、撮像系応答関数の変化を用いて判定可能である。しかしながら、人間の視覚には特徴的な空間周波数特性があることが知られており、撮像系応答関数の変化に対して反応が大きい空間周波数と、該変化に対して反応が小さい空間周波数とが存在する。このため、視覚の空間周波数特性によって撮像系応答関数に重み付けをすることで、シフトインバリアント領域を人が撮像系応答関数の変化を知覚できない領域として、より効率的な領域分割が可能となる。
[文献C]“On contrast sensitivity in an image difference model”(IS&T PICS 2002, Portland, 18-23 (2002))
ある空間周波数範囲における撮像系MTFとCSFとの積の積分値を正規化したものを主観的画質係数SQF(Subjective Quality Factor)と称し、撮像系MTFをMTFと示すと、SQFは以下の式(8)で表される。
100 結像光学系
101 露光制御部材
102 撮像素子
103 AD変換部
108 システム制御回路
110 画像処理装置
1101 撮像系応答関数記憶部
1102 画像領域分割部
1103 画像処理演算部
Claims (10)
- 撮像系により生成された入力画像内の分割対象領域を複数の仮分割領域に分割する仮分割処理を行い、前記複数の仮分割領域のそれぞれにおいて前記撮像系の応答関数を用いて評価値を算出するとともに互いに隣接する2つの仮分割領域の前記評価値の差が閾値以上であるか否かを判定する判定処理を行う判定手段と、
前記判定処理により前記評価値の差が前記閾値以上であると判定された前記2つの仮分割領域のそれぞれを本分割領域に分割する本分割処理を行うとともに、前記判定処理により前記評価値の差が閾値未満と判定された前記2つの仮分割領域を1つの画像処理対象領域に設定する領域分割手段と、
前記画像処理対象領域のそれぞれに対して、該画像処理対象領域ごとに異なる前記応答関数を用いた画像精細度を増加させるための画像処理を行う処理手段とを有し、
前記分割対象領域の全てがそれぞれその内側における前記評価値の差が閾値未満である前記画像処理対象領域に分割されるまで、前記本分割領域に対する前記仮分割処理、前記判定処理および前記本分割処理を繰り返すことを特徴とする画像処理装置。 - 前記領域分割手段は、前記応答関数に対して重み付けを行った結果から前記評価値を得ることを特徴とする請求項1に記載の画像処理装置。
- 前記領域分割手段は、人間の視覚の空間周波数特性を用いて前記重み付けを行うことを特徴とする請求項2に記載の画像処理装置。
- 前記領域分割手段は、前記画像処理の空間周波数特性を用いて前記重み付けを行うことを特徴とする請求項2に記載の画像処理装置。
- 前記領域分割手段は、前記入力画像の空間周波数特性を用いて前記重み付けを行うことを特徴とする請求項2に記載の画像処理装置。
- 撮像系により生成された第1の入力画像内の分割対象領域を複数の仮分割領域に分割する仮分割処理を行い、前記複数の仮分割領域のそれぞれにおいて前記撮像系の応答関数を用いて評価値を算出するとともに互いに隣接する2つの仮分割領域の前記評価値の差が閾値以上であるか否かを判定する判定処理を行う判定手段と、
前記判定処理により前記評価値の差が前記閾値以上であると判定された前記2つの仮分割領域のそれぞれを本分割領域に分割する本分割処理を行うとともに、前記判定処理により前記評価値の差が閾値未満と判定された前記2つの仮分割領域を1つの画像処理対象領域に設定する領域分割手段と、
前記分割対象領域の全てがそれぞれその内側における前記評価値の差が閾値未満である前記画像処理対象領域に分割されるまで前記本分割領域に対する前記仮分割処理、前記判定処理および前記本分割処理を繰り返すことで得られた分割結果を記憶する記憶手段と、
撮像系により生成された第2の入力画像を、該記憶手段に記憶された前記分割結果を用いて複数の領域に分割する領域分割手段と、
前記第2の入力画像における前記複数の領域のそれぞれに対して、該領域ごとに異なる前記応答関数を用いた画像精細度を増加させるための画像処理を行う処理手段とを有することを特徴とする画像処理装置。 - 撮像系と、
請求項1から6のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。 - コンピュータに、
撮像系により生成された入力画像内の分割対象領域を複数の仮分割領域に分割する仮分割処理を行うステップと、
前記複数の仮分割領域のそれぞれにおいて前記撮像系の応答関数を用いて評価値を算出するとともに、互いに隣接する2つの仮分割領域の前記評価値の差が閾値以上であるか否かを判定する判定処理を行うステップと、
前記判定処理により前記評価値の差が前記閾値以上であると判定された前記2つの仮分割領域のそれぞれを本分割領域に分割する本分割処理を行うとともに、前記判定処理により前記評価値の差が閾値未満と判定された前記2つの仮分割領域を1つの画像処理対象領域に設定するステップと、
前記画像処理対象領域のそれぞれに対して、該画像処理対象領域ごとに異なる前記応答関数を用いた画像精細度を増加させるための画像処理を行うステップとを含む処理であって、
前記分割対象領域の全てがそれぞれその内側における前記評価値の差が閾値未満である前記画像処理対象領域に分割されるまで、前記本分割領域に対する前記仮分割処理、前記判定処理および前記本分割処理を繰り返す処理を実行させることを特徴とする画像処理プログラム。 - コンピュータに、
撮像系により生成された第1の入力画像内の分割対象領域を複数の仮分割領域に分割する仮分割処理を行うステップと、
前記複数の仮分割領域のそれぞれにおいて前記撮像系の応答関数を用いて評価値を算出するとともに互いに隣接する2つの仮分割領域の前記評価値の差が閾値以上であるか否かを判定する判定処理を行うステップと、
前記判定処理により前記評価値の差が前記閾値以上であると判定された前記2つの仮分割領域のそれぞれを本分割領域に分割する本分割処理を行うとともに、前記判定処理により前記評価値の差が閾値未満と判定された前記2つの仮分割領域を1つの画像処理対象領域に設定するステップと、
前記分割対象領域の全てがそれぞれその内側における前記評価値の差が閾値未満である前記画像処理対象領域に分割されるまで前記本分割領域に対する前記仮分割処理、前記判定処理および前記本分割処理を繰り返すことで得られた分割結果を記憶手段に記憶するステップと、
撮像系により生成された第2の入力画像を、該記憶手段に記憶された前記分割結果を用いて複数の領域に分割するステップと、
前記第2の入力画像における前記複数の領域のそれぞれに対して、該領域ごとに異なる前記応答関数を用いた画像精細度を増加させるための画像処理を行うステップとを含む処理を実行させることを特徴とする画像処理プログラム。 - 請求項8又は9に記載の画像処理プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010137034A JP5765893B2 (ja) | 2010-06-16 | 2010-06-16 | 画像処理装置、撮像装置および画像処理プログラム |
US13/156,873 US9338339B2 (en) | 2010-06-16 | 2011-06-09 | Image processing apparatus and image pickup apparatus |
EP11169917.9A EP2398226A3 (en) | 2010-06-16 | 2011-06-15 | Image processing apparatus and image pickup apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010137034A JP5765893B2 (ja) | 2010-06-16 | 2010-06-16 | 画像処理装置、撮像装置および画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012003455A JP2012003455A (ja) | 2012-01-05 |
JP5765893B2 true JP5765893B2 (ja) | 2015-08-19 |
Family
ID=44358242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010137034A Expired - Fee Related JP5765893B2 (ja) | 2010-06-16 | 2010-06-16 | 画像処理装置、撮像装置および画像処理プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US9338339B2 (ja) |
EP (1) | EP2398226A3 (ja) |
JP (1) | JP5765893B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5911292B2 (ja) * | 2011-12-19 | 2016-04-27 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム |
KR101675044B1 (ko) * | 2012-02-10 | 2016-11-22 | 에이에스엠엘 네델란즈 비.브이. | 리소그래피 장치 및 시스템, 리소그래피 장치를 캘리브레이션하는 방법, 그리고 디바이스 제조 방법 |
JP2013187890A (ja) * | 2012-03-12 | 2013-09-19 | Sony Corp | 画像処理装置と画像処理方法 |
JP5327492B1 (ja) * | 2012-08-22 | 2013-10-30 | 富士ゼロックス株式会社 | 画像処理装置および画像処理プログラム |
JP2017028633A (ja) * | 2015-07-27 | 2017-02-02 | 株式会社リコー | 映像配信端末、プログラム、及び、映像配信方法 |
US10274652B2 (en) * | 2016-02-05 | 2019-04-30 | Rambus Inc. | Systems and methods for improving resolution in lensless imaging |
CN108322658B (zh) * | 2018-03-29 | 2020-04-17 | 青岛海信移动通信技术股份有限公司 | 一种拍照的方法和装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6529634B1 (en) * | 1999-11-08 | 2003-03-04 | Qualcomm, Inc. | Contrast sensitive variance based adaptive block size DCT image compression |
JP4389371B2 (ja) * | 2000-09-28 | 2009-12-24 | 株式会社ニコン | 画像修復装置および画像修復方法 |
JP2002300461A (ja) * | 2001-03-30 | 2002-10-11 | Minolta Co Ltd | 画像復元装置、画像復元方法、プログラム及び記録媒体 |
JP2004133592A (ja) * | 2002-10-09 | 2004-04-30 | Sharp Corp | 画像を拡大するための画像処理装置および画像処理方法および画像処理プログラム |
JP4519434B2 (ja) * | 2003-09-24 | 2010-08-04 | 株式会社東芝 | 超解像処理装置及び医用画像診断装置 |
JP2006234869A (ja) * | 2005-02-22 | 2006-09-07 | Fuji Xerox Co Ltd | 画質調整方法、画質調整装置、および出力制御装置、並びにプログラム |
IES20070229A2 (en) * | 2006-06-05 | 2007-10-03 | Fotonation Vision Ltd | Image acquisition method and apparatus |
KR100808610B1 (ko) * | 2006-06-13 | 2008-02-28 | 중앙대학교 산학협력단 | 영상융합 기술을 이용한 다중초점 디지털 영상복원 방법 및장치 |
JP4891040B2 (ja) * | 2006-11-29 | 2012-03-07 | キヤノン株式会社 | 計測装置、計測方法、露光装置及びデバイス製造方法 |
JP4979482B2 (ja) * | 2007-06-28 | 2012-07-18 | オリンパス株式会社 | 撮像装置及び画像信号処理プログラム |
JP5146159B2 (ja) * | 2008-07-01 | 2013-02-20 | 株式会社ニコン | 画像復元方法、画像復元プログラム、および画像復元装置 |
US8305485B2 (en) * | 2010-04-30 | 2012-11-06 | Eastman Kodak Company | Digital camera with coded aperture rangefinder |
-
2010
- 2010-06-16 JP JP2010137034A patent/JP5765893B2/ja not_active Expired - Fee Related
-
2011
- 2011-06-09 US US13/156,873 patent/US9338339B2/en active Active
- 2011-06-15 EP EP11169917.9A patent/EP2398226A3/en not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
US9338339B2 (en) | 2016-05-10 |
EP2398226A2 (en) | 2011-12-21 |
US20110310267A1 (en) | 2011-12-22 |
JP2012003455A (ja) | 2012-01-05 |
EP2398226A3 (en) | 2017-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5797016B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5909540B2 (ja) | 画像処理表示装置 | |
JP5765893B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
US8422827B2 (en) | Image correction apparatus and image correction method | |
JP5968073B2 (ja) | 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム | |
KR101663227B1 (ko) | 영상 처리 방법 및 장치 | |
CN113170030A (zh) | 使用神经网络对摄影曝光不足进行校正 | |
JP5237978B2 (ja) | 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法 | |
JP2017118296A (ja) | 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
Guthier et al. | Flicker reduction in tone mapped high dynamic range video | |
WO2020210472A1 (en) | High-dynamic-range image generation with pre-combination denoising | |
JP2010220207A (ja) | 画像処理装置及び画像処理プログラム | |
US10217193B2 (en) | Image processing apparatus, image capturing apparatus, and storage medium that stores image processing program | |
JP2012003454A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP2009088935A (ja) | 画像記録装置、画像補正装置及び撮像装置 | |
JP2017224939A (ja) | 撮像装置 | |
CN110689486A (zh) | 图像的处理方法、装置、设备及计算机可存储介质 | |
JP2021140663A (ja) | 画像処理方法、画像処理装置、画像処理プログラム、および記憶媒体 | |
US11830173B2 (en) | Manufacturing method of learning data, learning method, learning data manufacturing apparatus, learning apparatus, and memory medium | |
JP2014099048A (ja) | 画像復元装置および画像復元方法 | |
JP2017130167A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP2016119532A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP6555881B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP2011175608A (ja) | 画像処理装置及び画像処理方法 | |
JP2009088933A (ja) | 画像記録装置、画像補正装置及び撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130611 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140311 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140502 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141021 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150519 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150616 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5765893 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |