JP6791182B2 - ニューラルネットワーク型画像処理装置 - Google Patents
ニューラルネットワーク型画像処理装置 Download PDFInfo
- Publication number
- JP6791182B2 JP6791182B2 JP2018047256A JP2018047256A JP6791182B2 JP 6791182 B2 JP6791182 B2 JP 6791182B2 JP 2018047256 A JP2018047256 A JP 2018047256A JP 2018047256 A JP2018047256 A JP 2018047256A JP 6791182 B2 JP6791182 B2 JP 6791182B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- input
- output
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Immunology (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Biochemistry (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Description
以下、本実施形態に係るニューラルネットワーク型画像処理装置(以下、単に、「画像処理装置」ということがある)について図1を参照しつつ説明する。図1は、本実施形態に係るニューラルネットワーク型画像処理装置の概略図である。
<2.構成例>
<2−1.ハードウエア構成>
まず、本実施形態に係る外観検査装置のハードウエア構成について、図4を参照しつつ説明する。図4は、本実施形態に係る外観検査装置のハードウエア構成を示すブロック図である。
図4に示すカメラ7は、特には限定されず、公知のものを用いることができるが、外観検査を行える程度の解像度の画像を取得できるものであればよい。
図4に示すように、本実施形態に係る外観検査装置20は、制御部21、記憶部22、通信インタフェース23、入力装置24、出力装置25、表示装置26、外部インタフェース27、及びドライブ28が電気的に接続されたコンピュータである。なお、図1では、通信インタフェース及び外部インタフェースをそれぞれ、「通信I/F」及び「外部I/F」と記載している。
次に、図4及び図5を参照しつつ、本実施形態に係る外観検査装置の機能構成の一例を説明する。図5は、外観検査装置の機能構成を示すブロック図である。
次に、図6を参照しつつ、外観検査装置2の動作例を説明する。図6は、外観検査装置の処理手順の一例を例示するフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
本実施形態に係る画像処理装置は、ニューラルネットワーク型の構造を有しているため、入力画像に対する所望の出力画像を容易に得ることができる。そして、中間層4を構成するユニットとして画像処理モジュールを有している。そのため、学習済みの学習器1で設定された結合係数Wxyzを分析すれば、入力画像がどの画像処理モジュールによって画像処理が施されて出力画像となったかを知ることができる。したがって、画像処理モジュールの順序を変えたり、画像処理のパラメータを変更したり、あるいは特定の画像処理モジュールを削除するなど、ユーザによって任意に学習器1の構造を調整することができる。例えば、小さい結合係数で結合されている画像処理モジュールは、利用されていないことになるため、最適化のために、削除したり、他の画像処理モジュールに入れ替えるなどすることができる。そして、その後、学習器1の再学習を行うことができる。
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
上記実施形態で示した学習器1の構造は、一例であり、種々の変更が可能である。例えば、中間層4の数、及び各中間層4に含まれるモジュールの数は、特には限定されず、対象となる処理に合わせて適宜設定することができる。例えば、中間層4ごとに、含まれるモジュールの数が相違してもよい。
上記実施形態においては、ニューラルネットワーク型の画像処理装置、及びこれを用いた外観検査装置について説明したが、この画像処理装置は、外観検査以外でも用いることができる。すなわち、入力画像から所望の出力画像を得るために、少なくとも一つの画像処理を施すような目的で用いられる場合には、外観検査装置以外の用途にも用いることができる。
4 中間層
5 出力層
Claims (10)
- 入力画像が入力される一つのユニットを有する入力層と、
出力画像を出力する一つのユニットを有する出力層と、
前記入力層と前記出力層との間に配置される複数層の中間層であって、前記各中間層が複数のユニットを有し、前記入力層のユニット、前記各中間層のユニット、及び前記出力層のユニットが結合係数を伴って全結合されている、複数の中間層と、
を備え、
前記各中間層の各ユニットは、当該ユニットに入力された画像に画像処理を施す、画像処理モジュールであり、
前記入力画像は、前記入力層のユニットから入力され、前記中間層のユニットを経た後、前記出力層のユニットから前記出力画像として、出力されるように構成され、
誤差逆伝播法による学習により、前記結合係数が更新されるように構成され、
前記各中間層に設けられた複数の前記画像処理モジュールは、同じである、ニューラルネットワーク型画像処理装置。 - 入力画像が入力される一つのユニットを有する入力層と、
出力画像を出力する一つのユニットを有する出力層と、
前記入力層と前記出力層との間に配置される複数層の中間層であって、前記各中間層が複数のユニットを有し、前記入力層のユニット、前記各中間層のユニット、及び前記出力層のユニットが結合係数を伴って全結合されている、複数の中間層と、
を備え、
前記各中間層の各ユニットは、当該ユニットに入力された画像に画像処理を施す、画像処理モジュールであり、
前記入力画像は、前記入力層のユニットから入力され、前記中間層のユニットを経た後、前記出力層のユニットから前記出力画像として、出力されるように構成され、
誤差逆伝播法による学習により、前記結合係数が更新されるように構成され、
前記各画像処理モジュールは、ガウスフィルタ、エッジ抽出フィルタ、平滑フィルタ、メディアンフィルタ、及びソーベルフィルタのいずれかで構成されている、ニューラルネットワーク型画像処理装置。 - 入力画像が入力される一つのユニットを有する入力層と、
出力画像を出力する一つのユニットを有する出力層と、
前記入力層と前記出力層との間に配置される複数層の中間層であって、前記各中間層が複数のユニットを有し、前記入力層のユニット、前記各中間層のユニット、及び前記出力層のユニットが結合係数を伴って全結合されている、複数の中間層と、
を備え、
前記各中間層の各ユニットは、当該ユニットに入力された画像に画像処理を施す、画像処理モジュールであり、
前記入力画像は、前記入力層のユニットから入力され、前記中間層のユニットを経た後、前記出力層のユニットから前記出力画像として、出力されるように構成され、
誤差逆伝播法による学習により、前記結合係数が更新されるように構成され、
前記各中間層に設けられる前記複数の画像処理モジュールの一つは、恒等写像である、ニューラルネットワーク型画像処理装置。 - 前記各中間層のユニットの活性化関数は、前記画像処理モジュールの画像処理を表す微分可能な画像処理関数を含んでいる、請求項1から3のいずれかに記載のニューラルネットワーク型画像処理装置。
- 前記各中間層には、異なる種類の前記画像処理モジュールが設けられている、請求項1から4のいずれかに記載のニューラルネットワーク型画像処理装置。
- 前記出力層からの前記出力画像の出力とともに、前記入力画像から前記出力画像を出力するまでに適用された前記画像処理モジュール、及び適用された前記各画像処理モジュールの結合係数を出力可能となっている、請求項1から5のいずれかに記載のニューラルネットワーク型画像処理装置。
- 検査対象物を撮影する撮影部と、
請求項1から6のいずれかに記載のニューラルネットワーク型画像処理装置と、
を備え、
前記撮影部によって撮影された画像を入力画像とし、外観検査用の画像を出力画像とするように、前記ニューラルネットワーク型画像処理装置が学習されている、外観検査装置。 - 前記出力画像に対して外観検査を行い、検査結果を出力する判定部をさらに備えている、請求項7に記載の外観検査装置。
- 検査対象物の撮影画像を前記入力画像とし、外観検査用の画像を前記出力画像とするように学習された、請求項1から6のいずれかに記載のニューラルネットワーク型画像処理装置を準備するステップと、
前記検査対象物を撮影するステップと、
前記検査対象物の撮影画像を前記入力画像として前記ニューラルネットワーク型画像処理装置に入力し、前記出力画像を出力するステップと、
を備えている、外観検査方法。 - 前記出力画像に対して外観検査を行い、検査結果を出力するステップをさらに備えている、請求項9に記載の外観検査方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018047256A JP6791182B2 (ja) | 2018-03-14 | 2018-03-14 | ニューラルネットワーク型画像処理装置 |
CN201980012168.5A CN111699496B (zh) | 2018-03-14 | 2019-02-20 | 神经网络型图像处理装置、外观检查装置及外观检查方法 |
US16/976,471 US11361424B2 (en) | 2018-03-14 | 2019-02-20 | Neural network-type image processing device, appearance inspection apparatus and appearance inspection method |
PCT/JP2019/006184 WO2019176479A1 (ja) | 2018-03-14 | 2019-02-20 | ニューラルネットワーク型画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018047256A JP6791182B2 (ja) | 2018-03-14 | 2018-03-14 | ニューラルネットワーク型画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019159956A JP2019159956A (ja) | 2019-09-19 |
JP6791182B2 true JP6791182B2 (ja) | 2020-11-25 |
Family
ID=67907671
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018047256A Active JP6791182B2 (ja) | 2018-03-14 | 2018-03-14 | ニューラルネットワーク型画像処理装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11361424B2 (ja) |
JP (1) | JP6791182B2 (ja) |
CN (1) | CN111699496B (ja) |
WO (1) | WO2019176479A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021140524A (ja) * | 2020-03-06 | 2021-09-16 | 株式会社東芝 | 検査端末装置、検査装置、検査システム、及び、検査プログラム |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0630253A (ja) * | 1992-07-08 | 1994-02-04 | Ricoh Co Ltd | 画像処理装置及び画像処理方法 |
JPH06273346A (ja) * | 1993-03-24 | 1994-09-30 | Hitachi Denshi Ltd | はんだ付け状態検査装置 |
JP3642591B2 (ja) * | 1994-11-29 | 2005-04-27 | 株式会社日立メディコ | 画像処理装置 |
JP4320438B2 (ja) * | 2003-06-06 | 2009-08-26 | 独立行政法人 国立印刷局 | 印刷物の文字列抽出処理装置 |
US9799098B2 (en) * | 2007-04-24 | 2017-10-24 | Massachusetts Institute Of Technology | Method and apparatus for image processing |
JP2010123072A (ja) * | 2008-11-21 | 2010-06-03 | Nagoya Institute Of Technology | パルスニューロンモデルのためのバックプロパゲーション学習法 |
JP5564349B2 (ja) | 2010-07-15 | 2014-07-30 | 株式会社キーエンス | 画像処理装置及び外観検査方法 |
JP4775515B1 (ja) * | 2011-03-14 | 2011-09-21 | オムロン株式会社 | 画像照合装置、画像処理システム、画像照合プログラム、コンピュータ読み取り可能な記録媒体、および画像照合方法 |
CN104063719B (zh) * | 2014-06-27 | 2018-01-26 | 深圳市赛为智能股份有限公司 | 基于深度卷积网络的行人检测方法及装置 |
CN104504658A (zh) * | 2014-12-15 | 2015-04-08 | 中国科学院深圳先进技术研究院 | 基于bp神经网络的单一图像去雾方法及装置 |
KR102372214B1 (ko) * | 2015-01-19 | 2022-03-14 | 삼성전자주식회사 | 영상 처리 장치, 의료영상 장치 및 영상 처리 방법 |
CN106056529B (zh) * | 2015-04-03 | 2020-06-02 | 阿里巴巴集团控股有限公司 | 一种对用于图片识别的卷积神经网络训练的方法与设备 |
US10438112B2 (en) * | 2015-05-26 | 2019-10-08 | Samsung Electronics Co., Ltd. | Method and apparatus of learning neural network via hierarchical ensemble learning |
JP2017097585A (ja) * | 2015-11-24 | 2017-06-01 | 株式会社リコー | 学習装置、プログラム及び学習方法 |
JP2017182320A (ja) * | 2016-03-29 | 2017-10-05 | 株式会社メガチップス | 機械学習装置 |
JP6727543B2 (ja) * | 2016-04-01 | 2020-07-22 | 富士ゼロックス株式会社 | 画像パターン認識装置及びプログラム |
US10685429B2 (en) * | 2017-02-22 | 2020-06-16 | Siemens Healthcare Gmbh | Denoising medical images by learning sparse image representations with a deep unfolding approach |
US10234848B2 (en) * | 2017-05-24 | 2019-03-19 | Relativity Space, Inc. | Real-time adaptive control of additive manufacturing processes using machine learning |
CN107481231A (zh) * | 2017-08-17 | 2017-12-15 | 广东工业大学 | 一种基于深度卷积神经网络的五金件缺陷分类识别方法 |
US10095977B1 (en) * | 2017-10-04 | 2018-10-09 | StradVision, Inc. | Learning method and learning device for improving image segmentation and testing method and testing device using the same |
US10740654B2 (en) * | 2018-01-22 | 2020-08-11 | Qualcomm Incorporated | Failure detection for a neural network object tracker |
-
2018
- 2018-03-14 JP JP2018047256A patent/JP6791182B2/ja active Active
-
2019
- 2019-02-20 WO PCT/JP2019/006184 patent/WO2019176479A1/ja active Application Filing
- 2019-02-20 US US16/976,471 patent/US11361424B2/en active Active
- 2019-02-20 CN CN201980012168.5A patent/CN111699496B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
US11361424B2 (en) | 2022-06-14 |
WO2019176479A1 (ja) | 2019-09-19 |
CN111699496A (zh) | 2020-09-22 |
US20210004954A1 (en) | 2021-01-07 |
JP2019159956A (ja) | 2019-09-19 |
CN111699496B (zh) | 2023-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110232719B (zh) | 一种医学图像的分类方法、模型训练方法和服务器 | |
JP6766839B2 (ja) | 検査システム、画像識別システム、識別システム、識別器生成システム、及び学習データ生成装置 | |
Heath et al. | Comparison of edge detectors: a methodology and initial study | |
CN112528782B (zh) | 水下鱼类目标检测方法及装置 | |
JP7297470B2 (ja) | 画像処理方法、画像処理装置、プログラム、画像処理システム、および、学習済みモデルの製造方法 | |
WO2022105608A1 (zh) | 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质 | |
WO2021261168A1 (ja) | 検査装置、ユニット選択装置、検査方法、及び検査プログラム | |
JP6844564B2 (ja) | 検査システム、識別システム、及び学習データ生成装置 | |
JP2020042760A (ja) | 情報処理方法、情報処理装置、及びプログラム | |
Leavline et al. | On teaching digital image processing with MATLAB | |
CN117274662A (zh) | 一种改进ResNeXt神经网络的轻量级多模态医学图像分类方法 | |
CN116071279A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
CN116071309A (zh) | 元器件的声扫缺陷检测方法、装置、设备和存储介质 | |
JP6791182B2 (ja) | ニューラルネットワーク型画像処理装置 | |
US10540735B2 (en) | Information processing device, information processing method, and recording medium | |
JP7059889B2 (ja) | 学習装置、画像生成装置、学習方法、及び学習プログラム | |
Askari Javaran et al. | [Retracted] Using a Blur Metric to Estimate Linear Motion Blur Parameters | |
CN110648326A (zh) | 一种构建图像质量评估卷积神经网络的方法及装置 | |
Pooja et al. | Adaptive sparsity through hybrid regularization for effective image deblurring | |
JP7054603B2 (ja) | 判定装置、判定方法、及び判定プログラム | |
US20220309612A1 (en) | Image processing apparatus, image processing method, and storage medium | |
CN116977195A (zh) | 复原模型的调整方法、装置、设备及存储介质 | |
JP7070308B2 (ja) | 推定器生成装置、検査装置、推定器生成方法、及び推定器生成プログラム | |
JP6904062B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
TWI757965B (zh) | 擴增實境體感遊戲機之深度學習方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200304 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200804 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200930 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201006 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201019 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6791182 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |