JP6728365B2 - 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、記憶媒体 - Google Patents
画像処理方法、画像処理装置、撮像装置、画像処理プログラム、記憶媒体 Download PDFInfo
- Publication number
- JP6728365B2 JP6728365B2 JP2018535995A JP2018535995A JP6728365B2 JP 6728365 B2 JP6728365 B2 JP 6728365B2 JP 2018535995 A JP2018535995 A JP 2018535995A JP 2018535995 A JP2018535995 A JP 2018535995A JP 6728365 B2 JP6728365 B2 JP 6728365B2
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- image
- processing method
- partial area
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 45
- 238000003672 processing method Methods 0.000 title claims description 40
- 238000003384 imaging method Methods 0.000 title claims description 32
- 238000012937 correction Methods 0.000 claims description 134
- 230000003287 optical effect Effects 0.000 claims description 74
- 230000006866 deterioration Effects 0.000 claims description 54
- 238000006243 chemical reaction Methods 0.000 claims description 40
- 230000006870 function Effects 0.000 claims description 34
- 238000000034 method Methods 0.000 claims description 32
- 230000004075 alteration Effects 0.000 claims description 26
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 238000012886 linear function Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 9
- 230000014509 gene expression Effects 0.000 claims description 5
- 238000000844 transformation Methods 0.000 claims 1
- 230000004913 activation Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 12
- 238000013135 deep learning Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 230000002411 adverse Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000002087 whitening effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000009931 harmful effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Classifications
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/60—Rotation of a whole image or part thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/60—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
Description
202、402 フィルタ
203、403 第1変換部分領域
204、404 フィルタ
210、410 中間データ
211、411 フィルタ
212、412 補正部分領域
421、422、423 線型変換の結果
431、432、433 max outへ入力される画素
441 max outから出力される画素
Claims (23)
- 撮像装置を用いて撮影された入力画像の部分領域を取得する工程と、
前記部分領域の位置に応じて異なる、予め学習された補正情報を取得する工程と、
前記部分領域と前記補正情報を用いて、前記撮像装置による前記部分領域の光学的劣化を補正した補正部分領域を生成する補正工程と、
を有し、
前記補正工程は、Nを2以上の整数、nを1からNまでの整数としたとき、前記部分領域に対して、前記補正情報に基づく複数の線型関数の各々による第n線型変換と、非線型関数による第n非線型変換と、をnが1からNになるまで順に実行することで中間データを生成し、前記中間データに対して、前記補正情報に基づく1つ以上の線型関数による第N+1線型変換を実行することにより前記補正部分領域を生成することを特徴とする画像処理方法。 - 前記第1乃至第N線型変換は、前記補正情報に基づく複数のフィルタの各々とのコンボリューションを含むことを特徴とする請求項1に記載の画像処理方法。
- 前記コンボリューションは、実行されるたびに異なるフィルタが用いられることを特徴とする請求項2に記載の画像処理方法。
- 前記第N+1線型変換は、1つ以上のフィルタとのコンボリューションであり、
前記第1乃至第N+1線型変換のそれぞれにおけるフィルタのサイズは、前記光学的劣化の情報に基づいて決定されることを特徴とする請求項2又は3に記載の画像処理方法。 - 前記第N+1線型変換は、1つ以上のフィルタとのコンボリューションであり、
前記光学的劣化に対応する点像分布関数の拡がりをdとし、前記第1乃至第N+1線型変換のそれぞれにおけるフィルタの1次元サイズをs1乃至sN+1としたとき、
なる条件式を満たすことを特徴とする請求項2乃至4の何れか1項に記載の画像処理方法。 - 前記中間データに用いられるフィルタの数は、前記部分領域のチャンネル数と同一であり、
前記補正部分領域の各チャンネル成分は、前記中間データと前記フィルタの各々とのコンボリューションを含む演算で算出されること特徴とする請求項1乃至5の何れか1項に記載の画像処理方法。 - 前記非線型関数は、単調増加関数、又は引数のうち最大値を出力するMAX関数を含むことを特徴とする請求項1乃至6の何れか1項に記載の画像処理方法。
- 前記部分領域のサイズは、前記光学的劣化の情報に基づいて決定されることを特徴とする請求項1乃至7の何れか1項に記載の画像処理方法。
- 前記補正情報は、像高が同一の前記部分領域に対しては同一の値を取得し、
前記部分領域を回転してから前記補正工程を実行することを特徴とする請求項1乃至8の何れか1項に記載の画像処理方法。 - 前記補正情報は、像高が同一の前記部分領域に対しては同一の値を取得し、
前記補正情報に基づく複数のフィルタを回転してから前記補正工程を実行することを特徴とする請求項2乃至8の何れか1項に記載の画像処理方法。 - 前記補正情報は、参照画像と前記光学的劣化の情報を用いて学習されたものであることを特徴とする請求項1乃至10の何れか1項に記載の画像処理方法。
- 前記学習に用いられる参照画像は、前記入力画像のダイナミックレンジよりも大きいダイナミックレンジを有する画像を含むことを特徴とする請求項11に記載の画像処理方法。
- 前記補正情報は、前記光学的劣化の情報を用いて前記参照画像から劣化参照画像を生成し、前記参照画像の部分領域と前記劣化参照画像の部分領域との複数の組を用いて学習されたものであることを特徴とする請求項11または12に記載の画像処理方法。
- 前記補正情報は、前記参照画像の部分領域とノイズが付与された劣化参照画像の部分領域との複数の組を用いて学習されたものであることを特徴とする請求項13に記載の画像処理方法。
- 前記学習に用いられる光学的劣化の情報は、歪曲収差を含まないことを特徴とする請求項11乃至14の何れか1項に記載の画像処理方法。
- 前記入力画像の各部分領域について補正部分領域を生成することにより得られる補正画像に対して歪曲収差の補正処理を行うことを特徴とする請求項15に記載の画像処理方法。
- 前記部分領域は、複数のチャンネルを有し、
前記補正工程は、前記部分領域の倍率色収差を補正してから1回目の前記線型変換を実行することを特徴とする請求項1乃至16の何れか1項に記載の画像処理方法。 - 前記部分領域は、複数のチャンネルを有し、
前記補正情報は、前記チャンネルによって異なる値であり、
前記補正工程は、前記部分領域のチャンネルごとに実行されることを特徴とする請求項1乃至16の何れか1項に記載の画像処理方法。 - 前記補正情報は、予め学習された畳み込みニューラルネットワークに関する情報であることを特徴とする請求項1乃至18の何れか一項に記載の画像処理方法。
- 請求項1乃至19の何れか1項に記載の画像処理方法を実行する画像処理部と、
前記補正情報を記憶する記憶部と、を有することを特徴とする画像処理装置。 - 被写体空間の画像を入力画像として取得する画像取得部と、
請求項1乃至19の何れか1項に記載の画像処理方法を実行する画像処理部と、
前記補正情報を記憶する記憶部と、を有することを特徴とする撮像装置。 - コンピュータに画像処理を実行させるプログラムであって、請求項1乃至19の何れか1項に記載の画像処理方法を前記画像処理として実行させるプログラム。
- 請求項22に記載のプログラムを記憶したコンピュータが読み取り可能な記録媒体。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/074723 WO2018037521A1 (ja) | 2016-08-25 | 2016-08-25 | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018037521A1 JPWO2018037521A1 (ja) | 2019-06-20 |
JP6728365B2 true JP6728365B2 (ja) | 2020-07-22 |
Family
ID=61243063
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018535995A Active JP6728365B2 (ja) | 2016-08-25 | 2016-08-25 | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、記憶媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10354369B2 (ja) |
JP (1) | JP6728365B2 (ja) |
CN (1) | CN109644230B (ja) |
WO (1) | WO2018037521A1 (ja) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10365606B2 (en) * | 2017-04-07 | 2019-07-30 | Thanh Nguyen | Apparatus, optical system, and method for digital holographic microscopy |
DE102018201794B3 (de) * | 2018-02-06 | 2019-04-11 | Heidelberger Druckmaschinen Ag | Adaptive Bildglättung |
JP6476531B1 (ja) * | 2018-03-06 | 2019-03-06 | 株式会社ツバサファクトリー | 処理装置、処理方法、コンピュータプログラム及び処理システム |
JP7169768B2 (ja) * | 2018-05-08 | 2022-11-11 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP7129229B2 (ja) * | 2018-06-07 | 2022-09-01 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体 |
US11195257B2 (en) * | 2018-08-24 | 2021-12-07 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, imaging apparatus, lens apparatus, storage medium, and image processing system |
TWI820194B (zh) * | 2018-08-31 | 2023-11-01 | 日商索尼半導體解決方案公司 | 電子機器及固體攝像裝置 |
US11030724B2 (en) | 2018-09-13 | 2021-06-08 | Samsung Electronics Co., Ltd. | Method and apparatus for restoring image |
US11080832B2 (en) * | 2018-09-26 | 2021-08-03 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, imaging apparatus, and storage medium |
US11308592B2 (en) * | 2018-10-04 | 2022-04-19 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, imaging apparatus, and storage medium, that correct a captured image using a neutral network |
JP7414430B2 (ja) * | 2018-10-04 | 2024-01-16 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、画像処理システム、プログラム、および、記憶媒体 |
DE102018222147A1 (de) | 2018-12-18 | 2020-06-18 | Leica Microsystems Cms Gmbh | Optikkorrektur durch Maschinenlernen |
WO2020176007A1 (en) * | 2019-02-27 | 2020-09-03 | Huawei Technologies Co., Ltd. | An image processing apparatus and method |
WO2020187425A1 (en) * | 2019-03-21 | 2020-09-24 | Huawei Technologies Co., Ltd. | Depth of field image refocusing |
JP7016835B2 (ja) * | 2019-06-06 | 2022-02-07 | キヤノン株式会社 | 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの製造方法、および、プログラム |
JPWO2021060445A1 (ja) * | 2019-09-27 | 2021-04-01 | ||
JP7455542B2 (ja) * | 2019-09-27 | 2024-03-26 | キヤノン株式会社 | 画像処理方法、プログラム、画像処理装置、学習済みモデルの製造方法、および、画像処理システム |
KR102212964B1 (ko) * | 2019-10-10 | 2021-02-08 | 주식회사 인트로메딕 | 디블러링 영상 처리 방법 및 장치 |
JP6804613B1 (ja) * | 2019-10-15 | 2020-12-23 | エヌエイチエヌ コーポレーション | サーバ、プログラム、方法及びシステム |
JPWO2021095256A1 (ja) * | 2019-11-15 | 2021-05-20 | ||
JP7365204B2 (ja) | 2019-11-18 | 2023-10-19 | 株式会社東海理化電機製作所 | 学習装置、および学習方法 |
CN113139911A (zh) * | 2020-01-20 | 2021-07-20 | 北京迈格威科技有限公司 | 图像处理方法及装置、图像处理模型的训练方法及装置 |
JP2021149473A (ja) * | 2020-03-18 | 2021-09-27 | 株式会社リコー | 画像処理装置、画像処理方法および画像処理プログラム |
CN111968052B (zh) * | 2020-08-11 | 2024-04-30 | 北京小米松果电子有限公司 | 图像处理方法、图像处理装置及存储介质 |
CN111932462B (zh) * | 2020-08-18 | 2023-01-03 | Oppo(重庆)智能科技有限公司 | 图像降质模型的训练方法、装置和电子设备、存储介质 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04200081A (ja) * | 1990-11-29 | 1992-07-21 | Olympus Optical Co Ltd | 撮像装置 |
JPH1131214A (ja) * | 1997-07-10 | 1999-02-02 | Hitachi Medical Corp | 画像処理装置 |
EP1104180B1 (de) * | 1999-11-26 | 2011-01-19 | INB Vision AG | Verfahren und Einrichtung zur Bestimmung und mindestens teilweisen Korrektur der Fehler eines Bildwiedergabesystems |
US7843493B2 (en) * | 2006-01-31 | 2010-11-30 | Konica Minolta Holdings, Inc. | Image sensing apparatus and image processing method |
US8144984B2 (en) * | 2006-12-08 | 2012-03-27 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and program for color fringing estimation and compensation |
WO2008149363A2 (en) * | 2007-06-05 | 2008-12-11 | Dblur Technologies Ltd. | Non-linear transformations for enhancement of images |
JP5506272B2 (ja) * | 2009-07-31 | 2014-05-28 | 富士フイルム株式会社 | 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム |
JP5809865B2 (ja) | 2011-07-19 | 2015-11-11 | 株式会社 日立産業制御ソリューションズ | 画像処理装置及び画像処理方法 |
JP5361976B2 (ja) * | 2011-08-25 | 2013-12-04 | キヤノン株式会社 | 画像処理プログラム、画像処理方法、画像処理装置及び撮像装置 |
WO2014148074A1 (ja) * | 2013-03-18 | 2014-09-25 | 富士フイルム株式会社 | 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム、並びに記録媒体 |
JP2015216576A (ja) | 2014-05-13 | 2015-12-03 | ソニー株式会社 | 画像処理装置、画像処理方法、撮像装置、電子機器、並びにプログラム |
JP6573386B2 (ja) * | 2014-12-01 | 2019-09-11 | キヤノン株式会社 | 制御装置、レンズ装置、画像処理システム、制御方法、画像処理方法、プログラム、および、記憶媒体 |
US11144785B2 (en) * | 2016-03-17 | 2021-10-12 | Imagia Cybernetics Inc. | Method and system for processing a task with robustness to missing input information |
-
2016
- 2016-08-25 CN CN201680088585.4A patent/CN109644230B/zh active Active
- 2016-08-25 JP JP2018535995A patent/JP6728365B2/ja active Active
- 2016-08-25 WO PCT/JP2016/074723 patent/WO2018037521A1/ja active Application Filing
-
2017
- 2017-08-23 US US15/684,468 patent/US10354369B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2018037521A1 (ja) | 2018-03-01 |
US20180061020A1 (en) | 2018-03-01 |
US10354369B2 (en) | 2019-07-16 |
CN109644230A (zh) | 2019-04-16 |
CN109644230B (zh) | 2020-10-30 |
JPWO2018037521A1 (ja) | 2019-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6728365B2 (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、記憶媒体 | |
JP5824297B2 (ja) | 画像処理装置及び方法、及び撮像装置 | |
JP7362284B2 (ja) | 画像処理方法、画像処理装置、プログラム、画像処理システム、および、学習済みモデルの製造方法 | |
JP6910780B2 (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 | |
JP2012114849A (ja) | 画像処理装置、及び画像処理方法 | |
TWI507808B (zh) | 攝影裝置 | |
JP2014192528A (ja) | 撮像装置、画像処理システム、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体 | |
CN111010504B (zh) | 图像处理方法、装置和系统、摄像装置及存储介质 | |
JP2013045404A (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP2015115733A (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP7146461B2 (ja) | 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体 | |
JP2012156715A (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム。 | |
JP2012156716A (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム。 | |
JP7191588B2 (ja) | 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、および、記憶媒体 | |
US11080832B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and storage medium | |
JP7309520B2 (ja) | 画像処理方法、画像処理装置、撮像装置、プログラム、記憶媒体、画像処理システム、および、学習済みモデルの製造方法 | |
JP7414430B2 (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理システム、プログラム、および、記憶媒体 | |
JP6333076B2 (ja) | 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体 | |
JP6487008B1 (ja) | 高解像度撮像装置 | |
JP7009219B2 (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 | |
JP2012156714A (ja) | プログラム、画像処理装置、画像処理方法および撮像装置。 | |
WO2019235258A1 (ja) | 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体 | |
WO2011121761A1 (ja) | 画像処理装置、およびそれを用いた撮像装置 | |
JP6221399B2 (ja) | 撮像システムおよび結像光学系および撮像システムの製造方法 | |
JP2015109562A (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190822 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190822 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200701 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6728365 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |