JP7414745B2 - 学習データの製造方法、学習方法、学習データ製造装置、学習装置、およびプログラム - Google Patents
学習データの製造方法、学習方法、学習データ製造装置、学習装置、およびプログラム Download PDFInfo
- Publication number
- JP7414745B2 JP7414745B2 JP2021003864A JP2021003864A JP7414745B2 JP 7414745 B2 JP7414745 B2 JP 7414745B2 JP 2021003864 A JP2021003864 A JP 2021003864A JP 2021003864 A JP2021003864 A JP 2021003864A JP 7414745 B2 JP7414745 B2 JP 7414745B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- blur
- learning
- manufacturing
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 86
- 238000004519 manufacturing process Methods 0.000 title claims description 48
- 238000012549 training Methods 0.000 claims description 111
- 230000003287 optical effect Effects 0.000 claims description 90
- 238000013528 artificial neural network Methods 0.000 claims description 34
- 238000003860 storage Methods 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 21
- 238000003384 imaging method Methods 0.000 claims description 20
- 238000012546 transfer Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims 3
- 238000012937 correction Methods 0.000 description 103
- 230000008569 process Effects 0.000 description 51
- 238000012545 processing Methods 0.000 description 44
- 230000000875 corresponding effect Effects 0.000 description 29
- 230000000694 effects Effects 0.000 description 25
- 230000002411 adverse Effects 0.000 description 19
- 230000004075 alteration Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 15
- 238000013527 convolutional neural network Methods 0.000 description 12
- 230000009931 harmful effect Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 229920006395 saturated elastomer Polymers 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 230000004913 activation Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
図10は、本実施例における画像処理システム300のブロック図である。図11は、画像処理システム300の外観図である。画像処理システム300は、ネットワーク303を介して接続されたサーバー301と撮像装置302を含む。
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
108c 生成部(取得手段、生成手段)
Claims (18)
- ニューラルネットワークの学習に用いる学習データの製造方法であって、
原画像を取得する工程と、
前記原画像に対して第1のぼけを付加することで訓練画像を生成する工程と、
前記原画像に対して第2のぼけを付加することで正解画像を生成する工程とを有し、
前記第2のぼけの量は、前記第1のぼけの量よりも少なく、
前記第1のぼけ及び前記第2のぼけは、互いに同じ光学情報に基づいて生成されることを特徴とする製造方法。 - 前記光学情報は像高に応じて異なる複数の値であることを特徴とする請求項1に記載の製造方法。
- 前記複数の値は、光学伝達関数または点像分布関数に基づく値であることを特徴とする請求項2に記載の製造方法。
- 前記第2のぼけの量は、前記原画像の位置に応じて異なることを特徴とする請求項1乃至3のいずれか一項に記載の製造方法。
- 前記第2のぼけの量は、前記原画像の第1の像高に対応する位置よりも、該第1の像高よりも高い第2の像高に対応する位置において多いことを特徴とする請求項4に記載の製造方法。
- 前記第1のぼけの量は、前記原画像の位置に応じて異なることを特徴とする請求項1乃至5のいずれか一項に記載の製造方法。
- 前記第1のぼけの量は、前記原画像の第1の像高に対応する位置よりも、該第1の像高よりも高い第2の像高に対応する位置において多いことを特徴とする請求項6に記載の製造方法。
- 前記第2のぼけの量は、前記原画像の輝度値に基づいて決定されることを特徴とする請求項1乃至4のいずれか一項に記載の製造方法。
- 前記第2のぼけの量は、前記原画像における第1の輝度値の領域よりも、該第1の輝度値よりも低い第2の輝度値の領域において少ないことを特徴とする請求項8に記載の製造方法。
- 請求項1乃至9のいずれか一項に記載の製造方法により生成された学習データを用いたニューラルネットワークの学習を行う学習方法であって、
前記訓練画像を前記ニューラルネットワークに入力することで処理画像を生成する工程と、
前記正解画像と前記処理画像とに基づいて前記ニューラルネットワークのパラメータを更新する工程とを有することを特徴とする学習方法。 - ニューラルネットワークの学習に用いる学習データを製造する製造装置であって、
原画像を取得する第1の生成手段と、
前記原画像に対して第1のぼけを付加することで訓練画像を生成する第2の生成手段と、
前記原画像に対して第2のぼけを付加することで正解画像を生成する第3の生成手段とを有し、
前記第2のぼけの量は、前記第1のぼけの量よりも少なく、
前記第1のぼけ及び前記第2のぼけは、互いに同じ光学情報に基づいて生成されることを特徴とする製造装置。 - 請求項1乃至9のいずれか一項に記載の製造方法により生成された学習データを用いたニューラルネットワークの学習を行う学習装置であって、
前記訓練画像を前記ニューラルネットワークに入力することで処理画像を生成する生成手段と、
前記正解画像と前記処理画像とに基づいて前記ニューラルネットワークのパラメータを更新する更新手段とを有することを特徴とする学習装置。 - 請求項1乃至9のいずれか一項に記載の製造方法をコンピュータに実行させることを特徴とするプログラム。
- 請求項13に記載のプログラムを記憶していることを特徴とする記憶媒体。
- 請求項1乃至9のいずれか一項に記載の製造方法により生成された学習データを用いたニューラルネットワークの学習により学習済みモデルを製造する製造方法であって、
前記訓練画像を前記ニューラルネットワークに入力することで処理画像を生成する工程と、
前記正解画像と前記処理画像とに基づいて前記ニューラルネットワークのパラメータを更新する工程と、を有することを特徴とする製造方法。 - 請求項12に記載の学習装置からニューラルネットワークを取得する工程と、
入力画像を前記ニューラルネットワークに入力することで推定画像を生成する工程とを有することを特徴とする画像処理方法。 - 前記入力画像は撮像により得られた画像であり、
前記推定画像は、前記ニューラルネットワークによって前記撮像において発生した前記入力画像におけるぼけを補正することで生成されることを特徴とする請求項16に記載の画像処理方法。 - 請求項16又は17に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP21160534.0A EP3879483A1 (en) | 2020-03-09 | 2021-03-03 | Learning data manufacturing method, learning method, learning data manufacturing apparatus, learning apparatus, program, and memory medium |
CN202110238468.4A CN113379612A (zh) | 2020-03-09 | 2021-03-04 | 学习数据的制造方法、学习方法以及学习数据制造装置 |
US17/193,429 US11830173B2 (en) | 2020-03-09 | 2021-03-05 | Manufacturing method of learning data, learning method, learning data manufacturing apparatus, learning apparatus, and memory medium |
US18/489,117 US20240046439A1 (en) | 2020-03-09 | 2023-10-18 | Manufacturing method of learning data, learning method, learning data manufacturing apparatus, learning apparatus, and memory medium |
JP2023222383A JP2024024012A (ja) | 2020-03-09 | 2023-12-28 | 学習データの生成方法、学習方法、学習データ製造装置、学習装置、およびプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020040026 | 2020-03-09 | ||
JP2020040026 | 2020-03-09 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023222383A Division JP2024024012A (ja) | 2020-03-09 | 2023-12-28 | 学習データの生成方法、学習方法、学習データ製造装置、学習装置、およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021140758A JP2021140758A (ja) | 2021-09-16 |
JP2021140758A5 JP2021140758A5 (ja) | 2023-04-03 |
JP7414745B2 true JP7414745B2 (ja) | 2024-01-16 |
Family
ID=77668814
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021003864A Active JP7414745B2 (ja) | 2020-03-09 | 2021-01-14 | 学習データの製造方法、学習方法、学習データ製造装置、学習装置、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7414745B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024053046A1 (ja) * | 2022-09-08 | 2024-03-14 | オリンパスメディカルシステムズ株式会社 | 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020036310A (ja) | 2018-08-24 | 2020-03-05 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、記憶媒体、および、画像処理システム |
-
2021
- 2021-01-14 JP JP2021003864A patent/JP7414745B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020036310A (ja) | 2018-08-24 | 2020-03-05 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、記憶媒体、および、画像処理システム |
Also Published As
Publication number | Publication date |
---|---|
JP2021140758A (ja) | 2021-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7242185B2 (ja) | 画像処理方法、画像処理装置、画像処理プログラム、および、記憶媒体 | |
JP7016835B2 (ja) | 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの製造方法、および、プログラム | |
RU2523028C2 (ru) | Устройство обработки изображения, устройство захвата изображения и способ обработки изображения | |
RU2523965C2 (ru) | Устройство обработки изображения, устройство захвата изображения, и способ обработки изображения | |
US11188777B2 (en) | Image processing method, image processing apparatus, learnt model manufacturing method, and image processing system | |
JP2024024012A (ja) | 学習データの生成方法、学習方法、学習データ製造装置、学習装置、およびプログラム | |
US20110292257A1 (en) | Image processing apparatus and image pickup apparatus using the same | |
JP2013038563A (ja) | 画像処理方法、画像処理装置、撮像装置、および、画像処理プログラム | |
JP7234057B2 (ja) | 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、記憶媒体、および、画像処理システム | |
JP6071860B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
US11308592B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and storage medium, that correct a captured image using a neutral network | |
JP7414745B2 (ja) | 学習データの製造方法、学習方法、学習データ製造装置、学習装置、およびプログラム | |
JP5730036B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム。 | |
JP2015115733A (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP2019036115A (ja) | 画像処理方法、画像処理装置、撮像装置、および、プログラム | |
JP2021189929A (ja) | 画像処理方法、プログラム、画像処理装置、および、画像処理システム | |
JP7309520B2 (ja) | 画像処理方法、画像処理装置、撮像装置、プログラム、記憶媒体、画像処理システム、および、学習済みモデルの製造方法 | |
JP2014150421A (ja) | 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP5611439B2 (ja) | 画像処理方法、画像処理装置、撮像装置、および、画像処理プログラム | |
EP3629284A1 (en) | Image processing method, image processing apparatus, imaging apparatus, program, and storage medium | |
JP7504629B2 (ja) | 画像処理方法、画像処理装置、画像処理プログラム、および記憶媒体 | |
JP2020061129A (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理システム、プログラム、および、記憶媒体 | |
US20240144536A1 (en) | Image processing device, image processing method, and storage medium | |
JP2021170197A (ja) | 画像処理方法、画像処理装置、画像処理プログラム、および学習済みモデルの製造方法 | |
JP2021140663A (ja) | 画像処理方法、画像処理装置、画像処理プログラム、および記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230323 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230323 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230323 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230620 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230810 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230919 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231228 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7414745 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |