JP7337303B2 - 学習装置、及び学習方法 - Google Patents
学習装置、及び学習方法 Download PDFInfo
- Publication number
- JP7337303B2 JP7337303B2 JP2023520707A JP2023520707A JP7337303B2 JP 7337303 B2 JP7337303 B2 JP 7337303B2 JP 2023520707 A JP2023520707 A JP 2023520707A JP 2023520707 A JP2023520707 A JP 2023520707A JP 7337303 B2 JP7337303 B2 JP 7337303B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- learning
- inference
- dimensional
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 23
- 239000011159 matrix material Substances 0.000 claims description 179
- 239000013598 vector Substances 0.000 claims description 105
- 238000000354 decomposition reaction Methods 0.000 claims description 72
- 238000012549 training Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 179
- 230000005856 abnormality Effects 0.000 description 33
- 238000003384 imaging method Methods 0.000 description 32
- 238000007689 inspection Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 30
- 230000002950 deficient Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 10
- 230000002159 abnormal effect Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002845 discoloration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
- Electrically Operated Instructional Devices (AREA)
Description
例えば、非特許文献1には、確率的勾配変分ベイズを用いて最適化することにより、ニューラルネットワークにより構成された学習モデルに効率的に深層学習させて、学習済モデルを生成する技術が開示されている。
しかしながら、従来技術において学習用画像における精度の高い特徴ベクトルと生成画像を得るためには、ニューラルネットワークにおける中間層を多層化したディープニューラルネットワークを構築し、大量の学習用画像を用いて膨大な数の重みの反復最適化処理を要する深層学習を行う必要がある。
したがって、従来技術では計算量が膨大となるため、従来技術には、高精度な推論を可能にする学習済モデルを生成するために、学習モデルに長時間に亘って学習させる必要があるという問題点があった。
図1から図5までを参照して、実施の形態1に係る学習装置100について説明する。
図1を参照して、実施の形態1に係る学習装置100が適用される学習システム10の要部の構成について説明する。
図1は、実施の形態1に係る学習装置100が適用される学習システム10の要部の構成の一例を示すブロック図である。
学習システム10は、記憶装置11、表示出力装置12、操作入力装置13、及び学習装置100を備える。
操作入力装置13は、操作信号を学習装置100に出力する。
表示出力装置12及び操作入力装置13により、学習装置100を操作するユーザに対してインタラクティブなユーザインタフェースが提供される。
すなわち、ユーザは、表示出力装置12に表示される表示画像を確認しつつ、操作入力装置13を用いてユーザ操作を行うことにより、ユーザが所望する制御を学習装置100行わせることができる。
図2は、実施の形態1に係る学習装置100の要部の構成の一例を示すブロック図である。
学習装置100は、学習用画像取得部110、1次元学習画像生成部120、行列生成部130、特異値分解部140、学習済モデル生成部150、及び学習済モデル出力部160を備える。
学習装置100は、上述の構成に加えて、撮影画像取得部111、又は、撮影画像取得部111及びクラスタリング部112を備えるものであってもよい。
以下、学習装置100は、図2に示すように、学習用画像取得部110、撮影画像取得部111、クラスタリング部112、1次元学習画像生成部120、行列生成部130、特異値分解部140、学習済モデル生成部150、及び学習済モデル出力部160を備えるものとして説明する。
具体的には、学習用画像取得部110は、互いに異なる複数の学習用画像情報を取得する。
より具体的には、例えば、学習用画像取得部110は、複数の学習用画像のそれぞれを示す学習用画像情報が予め記憶された記憶装置11から、学習用画像情報を読み出すことにより、互いに異なる複数の学習用画像情報を取得する。
学習用画像取得部110が記憶装置11から読み出すことにより取得する学習用画像情報は、例えば、ユーザが操作入力装置13を操作することにより選択されて取得される。
以下、学習用画像取得部110は、m(mは予め定められた2以上の整数)個の互いに異なる学習用画像情報を取得するものとして説明する。また、学習用画像取得部110が取得するm個の学習用画像情報のそれぞれ示す学習用画像を学習用画像wi(iは1以上且つm以下の任意の整数)と表記して説明する。
具体的には、例えば、1次元学習画像生成部120は、学習用画像取得部110が取得する学習用画像情報が示す学習用画像をラスタ走査することにより1次元学習画像信号を生成する。
より具体的には、例えば、1次元学習画像生成部120は、学習用画像取得部110が取得する複数の学習用画像情報について、複数の学習用画像情報のそれぞれが示す学習用画像をラスタ走査することにより各学習用画像情報に対応する1次元学習画像信号を生成する。
以下、学習用画像wiに対応する1次元学習画像信号を1次元学習画像信号wi´と表記して説明する。
以下、1次元学習画像信号w1´から1次元学習画像信号wm´までのm個の1次元学習画像信号を互いに並列に配列した行列を行列Wmと表記して説明する。
なお、行列生成部130が行列Wmを生成するために、学習用画像取得部110で取得する、1次元学習画像信号w1´から1次元学習画像信号wm´の元となる各学習用画像情報が互いに等しい画素数であることが必要である。
図3Aは、実施の形態1に係る学習用画像wiを模式的に示した説明図である。
図3Aに示すように、学習用画像wiは、図3Aにおける横方向にp(pは1以上の予め定められた整数)個の画素を、縦方向にq(qは1以上の予め定められた整数)個の画素を有する矩形画像である。pとqとの積をnとすると、学習用画像wiは、n個の画素を有する矩形画像である。したがって、学習用画像wiは撮影画像そのものとは限らず、撮影画像を矩形(ブロック)で切り出す、拡大又は縮小を行う等の画像処理を施した画像等、2次元に配置された画素の集合であればよい。図3Bは、実施の形態1に係る学習用画像の変形例を模式的に示した説明図である。例えば、図3Bに示すように、撮影画像を分割した各ブロックを、学習用画像とする場合がある。Bx、Byは分割ブロックの水平方向、垂直方向の画素数をそれぞれ示し、Sx、Syは水平方向、垂直方向の各分割位置の移動画素数(ステップサイズ)を示す。さらに、各分割ブロックDi,jの位置インデックス(i,j)は、各ブロックの位置関係を識別するための情報である。このとき、Sx=BxかつSy=Byの場合、各ブロックは、互いに隣接することとなる。Sx<BxまたはSy<Byの場合、隣接ブロックに重なりがあるように分割することとなる。Sx>BxまたはSy>Byの場合、分割ブロック間に隙間が生じるため、学習用画像として含まない画素が撮影画像内に発生する。一般に隣接ブロックが重なる領域が大きい程分割ブロックのパターンが増え、学習の精度が向上する。一方で学習画像数が増加することとなるため、学習速度は低下する。よって、学習精度と学習速度はトレードオフの関係にあるため、Bx、By、Sx、Syはユーザ等によるチューニング要素となる。例えば、ユーザが操作入力装置13を操作することにより、Bx、By、Sx、Syのチューニング(値の設定)が行われる。
学習用画像wiは、各画素が、1ビットにより示されるモノクロ画像であっても、8ビット等のビット列により示されるグレースケール画像であっても、24ビット等のビット列により示されるカラー画像であってもよい。また、学習用画像wiは、RGB形式によるビットマップ画像であっても、YUV形式によるビットマップ画像であってもよい。
図3Dに示すように、行列Wmは、1次元学習画像信号wi´を列方向に並べたものであり、横方向にn個の画素を、縦方向にm個の画素を有する画素信号の行列となる。
行列Wmは、行列Wmにおける各成分が、学習用画像wiにおける各画素と同じビット数のビット又はビット列により構成されたものとなる。
行列Am×nがm行n列の行列である場合、行列Am×nの特異値分解は、次式(1)により表すことができる。
Am×n=Um×mΓm×nVT n×n ・・・ 式(1)
ここで、Um×mはm行m列のユニタリ行列、VT n×nはn行n列のユニタリ行列であるVn×nの転置行列である。また、行列Γm×nはm行n列の行列であり、対角成分以外は常に0となる。さらに、行列Γm×nにおけるi行i列の対角成分をσiとし、IをAm×nの階数(ランク)とすると、Iは1以上M(M=min(m,n)、min(m,n)はmとnの内の小さい値を示す)以下の整数であり、σ1,σ2,・・・,σIは、次式(2)を満たす行列Am×nのI個の特異値を表している。
σ1>σ2>・・・>σI>0 ・・・ 式(2)
このとき、I<Mである場合、σI+1=・・・=σM=0である。すなわち、式(1)において、行列Γm×nは非零成分が行列Am×nの特異値の組のみで構成される行列である。また、式(1)において、行列Um×mにおける各列ベクトルは行列Am×nの左特異ベクトルを表している。すなわち、行列Um×mは行列Am×nの左特異ベクトルの組を表している。また、式(1)において、行列Vn×nにおける各列ベクトルは行列Am×nの右特異ベクトルを表している。すなわち、行列Vn×nは行列Am×nの右特異ベクトルの組を表している。
Am×n≒A~ m×n=Um×rΓr×rVT r×n ・・・ 式(3)
ここで、行列Γr×rはr(rは、1以上且つI以下の整数)個の対角成分を有するr行r列の対角行列であり、行列Γr×rは対角成分に行列Γm×nにおける対角成分のうちのσ1,σ2,・・・,σrを有する。また、Um×rは行列Um×mの左からr列までの成分で構成されているm行r列の行列であり、同様に行列VT r×nはVn×nの左からr列までの成分で構成されているn行r列の行列Vn×rの転置行列である。式(3)から明らかなように、本近似は特異値をr個持つ行列の特異値分解を表していることから、行列A~ m×nはランクIの行列Am×nのランクrでの低ランク近似を示す。
Wm=Um×mΓm×nVT n×n ・・・ 式(4)
学習済モデル生成部150が生成する学習済モデルは、水平方向と垂直方向が共に学習用画像と同一画素数の画像(以下「推論対象画像」という。)を1次元化した画像を示す信号(以下「1次元推論対象画像信号」という。)を説明変数として、推論結果を出力するものである。ここで、推論対象画像は、推論対象の物体(以下、「推論対象物体」という。)を撮影して得られた画像(以下「推論撮影画像」という。)、または推論撮影画像に対して画像処理を施して得られた画像である。
より具体的には、例えば、学習済モデル生成部150は、次式(5)を満たす行列Γr×rとVT n×rとを学習済モデルのパラメータとして生成する。
Wm≒Um×rΓr×rVT n×r ・・・ 式(5)
ここで、行列Γr×rは、r個の特異値が対角に配置されたr行r列の対角行列である。また、行列VT n×rは、式(5)における行列Γr×rに対応するWmの右特異ベクトルの組を表す行列Vn×rの転置行列である。このとき、右特異ベクトルはVn×rの列ベクトルである(VT n×rの場合、転置しているため行ベクトルとなる)。
なお、学習済モデル生成部150が、特異値分解部140が算出する特異値のうちの値の大きいものから順に採用する特異値の個数(Wmの近似行列のランク)rは、当該個数を示す情報を学習済モデル生成部150が保持していても、学習済モデル生成部150がユーザ操作に基づいて取得してもよい。
文献1:"Matthew Brand"、"Fast Low-Rank Modifications of the Thin Singular Value Decomposition"、"MITSUBISHI ELECTRIC RESEARCH LABORATORIES"、[令和2年12月4日検索]、インターネット(URL:https://www.merl.com/publications/docs/TR2006-059.pdf)
このとき、除きたい学習画像が複数ある場合は、上記処理を順に実施すればよい。
このとき、置き換えを行いたい学習画像が複数ある場合は、上記処理を順に実施すればよい。
以下、1次元近似信号をwtと表記して説明する。
wt=utΓm×nVT n×n ・・・ 式(6)
ここで、utは1次元ベクトルであり、行列Γm×nと行例VT n×nとを用いてwtを復元するための係数で構成されるwtの特徴ベクトルである。行列Γm×nと行例VT n×nとは、式(4)により既知であるため、wtが定まればutは一意に決定される。
wt≒wt ~=ut ~Γr×rVT n×r ・・・ 式(7)
ここで、wt ~は、wtを近似した1次元近似信号である。また、ut ~は、wtの特徴ベクトルであるutの次元数をr次元に削減した特徴ベクトル(以下「近似特徴ベクトル」という。)であり、次式(8)を得ることができる。
ut ~=wt ~Vn×rΓr×r -1≒wtVn×rΓr×r -1 ・・・ 式(8)
ここで、Γr×r -1は、Γr×rの逆行列である。
以上のように、学習済モデル生成部150は、1次元推論対象画像信号であるwtを説明変数として入力した際に、例えば、式(7)に基づいて、1次元近似信号であるwt ~を出力する学習済モデルを生成する。
以上のように、学習済モデル生成部150は、1次元推論対象画像信号であるwtを説明変数として入力した際に、例えば、式(8)に基づいて、1次元推論対象画像信号に対応する推論対象画像の近似特徴ベクトルであるut ~を出力する学習済モデルを生成するものであってもよい。
具体的には、例えば、学習済モデル出力部160は、学習済モデル情報を記憶装置11に出力して、記憶装置11に記憶させる。
例えば、学習用画像取得部110は、学習用画像情報とは異なる画像を示す情報であって、対象物体を撮影することにより取得した画像(以下「撮影画像」という。)を示す情報「以下「撮影画像情報」という。」に基づいて、学習用画像情報を生成して取得するものであってもよい。
具体的には、撮影画像取得部111は、互いに異なる複数の対象物体のそれぞれに対応する撮影画像情報を取得する。
例えば、撮影画像取得部111は、互いに異なる複数の対象物体のそれぞれに対応する撮影画像情報であって、複数の撮影画像情報が予め記憶された記憶装置11から、撮影画像情報を読み出すことにより、互いに異なる複数の対象物体のそれぞれに対応する撮影画像情報を取得する。
すなわち、例えば、行列生成部130は、撮影画像取得部111が取得する複数の撮影画像情報のそれぞれが示す撮影画像における互いに同じ画像領域に対応する部分画像情報に基づいて1次元学習画像生成部120が生成した複数の1次元学習画像信号を互いに並列に配列することにより、行列を生成する。
特異値分解部140は、部分画像情報に基づいて1次元学習画像生成部120が生成した1次元学習画像信号を互いに並列に配列することにより行列生成部130が生成した行列における右特異ベクトル及び特異値を算出する。
また、学習済モデル生成部150は、行列生成部130が生成する部分画像情報に基づく行列に対応する右特異ベクトル及び特異値を出力する学習済モデルを生成する。
結果として、学習装置100は、推論対象物体を撮影して得られた撮影画像のうちの予め定められた画像領域における部分画像に特化した高精度な推論が可能な学習済モデルを従来と比較して短時間で生成することができる。
具体的には、例えば、行列生成部130は、撮影画像における複数の画像領域のそれぞれに対応する行列を生成する。複数の画像領域は、図3Bにおいて、分割ブロックDi,jを複数まとめた領域である。例えば、水平方向に4、垂直方向に2まとめた領域である。以下、本領域を「セグメント」という。ここで、最も大きいセグメントの例は画像全体で1つのセグメントとする場合であり、この場合、生成する学習済モデルは1つとなり、学習済モデルの保存に必要なメモリ容量を小さくすることができる。また、各セグメントの大きさは異なっていても良い。これは撮影画像のどの位置に何が写っているのかが予め分かる場合、明示的なセグメント分割(例えば被写体と背景に分割)を行うことにより各セグメントで画像の特徴を分割することができ、学習すべき画像パターンを絞り込むことができるため、限定的な学習済モデル数(セグメント数)で高精度な推論(画像生成)が可能となる高効率な学習を実現することができる。
一方、最も小さいセグメントの1つの部分画像の位置毎に1つのセグメントとする場合であり、この場合、セグメント数は部分画像分割数となる。このようにすることで、学習モデル数は増大するものの、各部分画像位置に特化した学習が可能となり、非常に高精度な推論(画像生成)が可能となる。なお、この場合は段落0046に記載した条件の場合と同じとなる。
この場合、例えば、特異値分解部140は、行列生成部130が生成する条件毎の行列について、右特異ベクトル及び特異値を算出する。
具体的には、例えば、特異値分解部140は、行列生成部130が生成する撮影画像における複数の画像領域のそれぞれに対応する行列について、複数の行列のそれぞれに対応する右特異ベクトル及び特異値を算出する。
また、この場合、学習済モデル生成部150は、行列生成部130が生成する条件毎の行列に対応して特異値分解部140が算出する右特異ベクトル及び特異値に基づいて、条件毎の行列に対応する学習済モデルを生成する。
具体的には、例えば、学習済モデル生成部150は、行列生成部130が生成する撮影画像における複数の画像領域のそれぞれに対応する行列について、複数の当該行列のそれぞれに対応して特異値分解部140が算出する右特異ベクトル及び特異値に基づいて、複数の行列のそれぞれに対応する学習済モデルを生成する。
結果として、学習装置100は、推論対象物体を撮影して得られた撮影画像のうちの予め定められた複数の画像領域のそれぞれにおける部分画像に特化した高精度な推論が可能な学習済モデルを画像領域毎に従来と比較して短時間で生成することができる。
クラスタリング部112は、学習用画像取得部110が取得する複数の部分画像情報であって、撮影画像取得部111が取得する複数の撮影画像情報のそれぞれに対応する複数の部分画像情報のそれぞれが示す部分画像をクラスタリングする。
学習装置100が撮影画像取得部111及びクラスタリング部112を備える場合、例えば、行列生成部130は、クラスタリング部112がクラスタリングした結果に基づいて分類された各クラスに属する複数の部分画像のそれぞれについて1次元学習画像生成部120が生成した複数の1次元学習画像信号を互いに並列に配列することにより行列を生成する。
クラスタリングには、例えば、各部分画像自身、部分画像を特徴変換した画像(例えば、エッジ画像、直行変換画像)自身、あるいはこれらに平滑化処理やプーリング処理等のフィルタ処理を行った画像のいずれか、またはそれら画像の組を1次元化した信号に対して、k-means法、階層型クラスタリング、DBSCAN(Density-based spatial clustering of applications with noise)、GMM(Gaussian Mixture Model)等のクラスタリング手法を用いる方法がある。
複数の部分画像情報は、クラスタリング部112がクラスタリングした結果に基づいて分類された各クラスに属する複数の部分画像のそれぞれを示す部分画像情報である。
結果として、学習装置100は、推論対象物体を撮影して得られた画像のうちの予め定められたクラスに属する部分画像に特化した高精度な推論が可能な学習済モデルを、従来と比較して短時間で生成することができる。
この場合、例えば、特異値分解部140は、行列生成部130が生成する各クラスに対応する行列について、行列毎に右特異ベクトル及び特異値を算出する。
また、この場合、学習済モデル生成部150は、行列生成部130が生成する各クラスに対応する右特異ベクトル及び特異値に基づいて、各クラスに対応する学習済モデルを生成する。
図4A及び図4Bは、実施の形態1に係る学習装置100の要部のハードウェア構成の一例を示す図である。
図5は、実施の形態1に係る学習装置100の処理の一例を説明するフローチャートである。
なお、図5は、学習装置100が学習用画像取得部110、1次元学習画像生成部120、行列生成部130、特異値分解部140、学習済モデル生成部150、及び学習済モデル出力部160に加えて、撮影画像取得部111及びクラスタリング部112を備える場合におけるフローチャートである。
学習装置100がクラスタリング部112、又は、撮影画像取得部111及びクラスタリング部112を備えていない場合、図5において、撮影画像取得部111又はクラスタリング部112が行う処理については適宜省略が可能である。
次に、ステップST502にて、学習用画像取得部110は、複数の撮影画像情報のそれぞれに対応する複数の部分画像情報を学習用画像情報として取得する。
次に、ステップST503にて、クラスタリング部112は、複数の部分画像情報のそれぞれが示す部分画像をクラスタリングする。
次に、ステップST504にて、1次元学習画像生成部120は、複数の学習用画像情報について1次元学習画像信号を生成する。
次に、ステップST505にて、行列生成部130は、複数の1次元学習画像信号を互いに並列に配列した行列を生成する。
次に、ステップST507にて、学習済モデル生成部150は、右特異ベクトル及び特異値に基づいて学習済モデルを生成する。ただし、追加学習処理、特定の学習データを取り除く、あるいは、置き換える等の文献1による更新演算を用いた学習モデルの更新処理を行う場合(段落0031~段落0033)は、左特異ベクトルも含めて学習済モデルを生成する。
次に、ステップST508にて、学習済モデル出力部160は、学習済モデルを学習済モデル情報として出力する。
ステップST508の後、学習装置100は、当該フローチャートの処理を終了する。
図6を参照して、実施の形態1に係る画像処理装置200が適用される画像処理システム20の要部の構成について説明する。
図6は、実施の形態1に係る画像処理装置200が適用される画像処理システム20の要部の構成の一例を示すブロック図である。
画像処理システム20は、記憶装置21、表示出力装置22、操作入力装置23、撮像装置24、及び画像処理装置200を備える。
操作入力装置23は、操作信号を画像処理装置200に出力する。
表示出力装置22及び操作入力装置23により、画像処理装置200を操作するユーザに対してインタラクティブなユーザインタフェースが提供される。
すなわち、ユーザは、表示出力装置22に表示される表示画像を確認しつつ、操作入力装置23を用いてユーザ操作を行うことにより、ユーザが所望する制御を画像処理装置200に行わせることができる。
図7は、実施の形態1に係る画像処理装置200の要部の構成の一例を示すブロック図である。
画像処理装置200は、推論対象画像取得部210、1次元推論対象画像生成部220、及び推論部240を備える。
以下、画像処理装置200は、図7に示すように、推論対象画像取得部210、撮影推論画像取得部211、1次元推論対象画像生成部220、学習済モデル取得部230、及び推論部240を備えるものとして説明する。
具体的には、例えば、撮影推論画像取得部211は、撮像装置24が出力する撮影推論画像情報を取得する。
撮影推論画像取得部211が撮影推論画像情報を取得する方法は、撮像装置24が出力する撮影推論画像情報を取得する方法に限定されるものではない。例えば、撮影推論画像取得部211は、撮影推論画像情報を予め記憶した記憶装置21から撮影推論画像情報を読み出すことにより撮影推論画像情報を取得してもよい。
具体的には、例えば、推論対象画像取得部210は、推論対象画像情報を予め記憶した記憶装置21から推論対象画像情報を読み出すことにより、推論対象画像情報を取得する。
推論対象画像取得部210が推論対象画像情報を取得する方法は、記憶装置21から読み出す方法に限定されるものではない。例えば、推論対象画像取得部210は、撮影推論画像取得部211が取得する撮影推論画像情報を推論対象画像情報として取得してもよい。また、例えば、推論対象画像取得部210は、撮影推論画像取得部211が取得する撮影推論画像情報に基づいて、推論対象画像情報を生成することにより推論対象画像情報を取得してもよい。推論対象画像取得部210が、撮影推論画像情報に基づいて推論対象画像情報を生成する方法については後述する。
具体的には、例えば、1次元推論対象画像生成部220は、推論対象画像取得部210が取得する推論対象画像情報が示す推論対象画像をラスタ走査することにより1次元推論対象画像信号を生成する。
以下、推論対象画像取得部210が取得する推論対象画像情報が示す推論対象画像を推論対象画像wtと表記し、推論対象画像wtに対応する1次元推論対象画像信号であって、1次元推論対象画像生成部220が生成する1次元推論対象画像信号を1次元推論対象画像信号wt ~と表記して説明する。
なお、推論部240が学習済モデル情報を予め保持する場合、画像処理装置200において学習済モデル取得部230は必須の構成ではない。
推論対象画像取得部210は、撮影推論画像取得部211が取得する撮影推論画像情報が示す撮影推論画像について、撮影推論画像を複数の画像領域に分割する。推論対象画像取得部210は、撮影推論画像を複数の画像領域に分割することにより得た複数の画像(以下「部分推論画像」という。)のそれぞれを示す部分推論画像情報を生成して取得する。推論対象画像取得部210は、撮影推論画像取得部211が取得する撮影推論画像情報に対応する複数の部分推論画像情報のうちの予め定められた1以上の部分推論画像情報のそれぞれを推論対象画像情報として取得する。
当該場合、学習済モデルは、学習装置100が学習用画像として部分画像を用いて生成した学習済モデル、具体的には、学習装置100が複数の部分画像であって、複数の撮影画像のそれぞれにおける互いに同じ画像領域に対応する部分画像に基づく1次元学習画像信号を互いに並列に配列することにより生成した行列に基づいて生成した学習済モデルである。したがって、学習済モデルは定義した画像領域毎に一つ存在する。
図8A及び図8Bは、実施の形態1に係る画像処理装置200の要部のハードウェア構成の一例を示す図である。
また、処理回路803は、図4Bに示す処理回路403と同様のものであるため、説明を省略する。
図9は、実施の形態1に係る画像処理装置200の処理の一例を説明するフローチャートである。
なお、図9は、画像処理装置200が推論対象画像取得部210、1次元推論対象画像生成部220、及び推論部240に加えて、撮影推論画像取得部211及び学習済モデル取得部230を備える場合におけるフローチャートである。
画像処理装置200が撮影推論画像取得部211又は学習済モデル取得部230を備えていない場合、図9において、撮影推論画像取得部211及び学習済モデル取得部230が行う処理については適宜省略が可能である。
次に、ステップST902にて、推論対象画像取得部210は、推論対象画像情報を取得する。
次に、ステップST903にて、1次元推論対象画像生成部220は、1次元推論対象画像信号を生成する。
次に、ステップST904にて、学習済モデル取得部230は、学習済モデル情報を取得する。
次に、ステップST905にて、推論部240は、学習済モデルが出力する推論結果を取得して推論結果に基づく推論結果情報を取得する。
ステップST905の後、画像処理装置200は、当該フローチャートの処理を終了して、終了後にステップST901に戻って当該フローチャートの処理を繰り返して実行する。
このように構成することにより、学習装置100は、従来と比較して短時間で高精度な推論が可能な学習済モデルを生成することができる。
このように構成することにより、学習装置100は、従来と比較して短時間で高精度な推論が可能な学習済モデルであって、学習済モデルに説明変数として入力した推論対象画像に基づく1次元近似信号を推論結果として出力する学習済モデルを生成することができる。
このように構成することにより、学習装置100は、従来と比較して短時間で高精度な推論が可能な学習済モデルであって、学習済モデルに説明変数として入力した1次元推論対象画像信号に対応する推論対象画像の特徴ベクトルを推論結果として出力する学習済モデルを生成することができる。
このように構成することにより、学習装置100は、簡単に学習用画像を1次元学習画像信号に変換することができる。
このように構成することにより、学習装置100は、学習済モデルを生成する際に、複数の学習用画像に対して複雑な画像処理を施すことなく、簡単に行列を生成することができる。
このように構成することにより、学習装置100は、推論対象物体を撮影して得られた撮影画像のうちの予め定められた画像領域における部分画像に特化した高精度な推論が可能な学習済モデルを従来と比較して短時間で生成することができる。
このように構成することにより、学習装置100は、推論対象物体を撮影して得られた撮影画像のうちの予め定められた画像領域における部分画像に特化した高精度な推論が可能な学習済モデルを従来と比較して短時間で生成することができる。
このように構成することにより、学習装置100は、推論対象物体を撮影して得られた撮影画像のうちの予め定められた画像領域における部分画像に特化した高精度な推論が可能な学習済モデルを従来と比較して短時間で生成することができる。
このように構成することにより、学習装置100は、推論対象物体を撮影して得られた撮影画像のうちの各クラスに属する部分画像に特化した高精度な推論が可能な学習済モデルを従来と比較して短時間で生成することができる。
このように構成することにより、画像処理装置200は、従来と比較して短時間で生成された学習済モデルを用いて、高精度な推論を行うことができる。
このように構成することにより、画像処理装置200は、従来と比較して短時間で生成された学習済モデルを用いて、学習済モデルに説明変数として入力した推論対象画像に基づく1次元推論対象画像信号から1次元推論対象画像信号を近似した1次元近似信号を取得し、取得した1次元近似信号を用いて推論対象画像を高精度に推論することができる。
このように構成することにより、画像処理装置200は、従来と比較して短時間で生成された学習済モデルを用いて、学習済モデルに説明変数として入力した推論対象画像に基づく1次元推論対象画像信号から1次元推論対象画像信号を近似した1次元近似信号を取得し、取得した1次元近似信号を用いて推論対象画像を高精度に推論することができる。
このように構成することにより、画像処理装置200は、従来と比較して短時間で生成された学習済モデルを用いて、学習済モデルに説明変数として入力した1次元推論対象画像信号に対応する推論対象画像の特徴ベクトルを高精度に推論することができる。
このように構成することにより、画像処理装置200は、簡単に推論対象画像を1次元推論対象画像信号に変換することができる。
このように構成することにより、画像処理装置200は、推論対象物体を撮影して得られた撮影推論画像のうちの予め定められた画像領域における部分画像に特化した高精度な推論を行うことができる。
図10から図13までを参照して、実施の形態2に係る画像処理装置200aについて説明する。
図10を参照して、実施の形態2に係る画像処理装置200aが適用される画像処理システム20aの要部の構成について説明する。
図10は、実施の形態2に係る画像処理装置200aが適用される画像処理システム20aの要部の構成の一例を示すブロック図である。
画像処理システム20aは、記憶装置21、表示出力装置22、操作入力装置23、撮像装置24、及び画像処理装置200aを備える。
すなわち、画像処理システム20aは、実施の形態1に係る画像処理装置200が画像処理装置200aに変更されたものである。
図10において、図6に示す構成と同様の構成には同一符号を付して詳細な説明を省略する。すなわち、記憶装置21、表示出力装置22、操作入力装置23、及び撮像装置24については詳細な説明を省略する。
図11は、実施の形態2に係る画像処理装置200aの要部の構成の一例を示すブロック図である。
画像処理装置200aは、推論対象画像取得部210、撮影推論画像取得部211、1次元推論対象画像生成部220、学習済モデル取得部230、推論部240、異常判定部250、及び判定結果出力部260を備える。
すなわち、画像処理装置200aは、実施の形態1に係る画像処理装置200に異常判定部250及び判定結果出力部260が追加されたものである。
図11において、図7に示す構成と同様の構成には同一符号を付して詳細な説明を省略する。すなわち、画像処理装置200aが備える撮影推論画像取得部211、1次元推論対象画像生成部220、学習済モデル取得部230、及び推論部240については詳細な説明を省略する。
すなわち、実施の形態2に係る画像処理装置200aが備える推論部240は、1次元推論対象画像信号を学習済モデルに説明変数として入力し、学習済モデルが推論結果として出力する1次元近似信号であって、1次元推論対象画像信号の近似信号である1次元近似信号を取得し、学習済モデルが推論結果として出力する1次元近似信号から生成される復元画像を示す復元画像情報を推論結果情報として取得するものである。このとき、復元画像は複数の良品画像のみから学習された学習済モデルを用いて推論されているため、良品画像の特徴のみを精度良く復元することができる。
具体的には、例えば、異常判定部250は、推論対象画像情報が示す推論対象画像と復元画像情報が示す復元画像とのそれぞれを予め定められた画像サイズを有する複数の検査ブロックに分割する。
以下、推論対象画像を分割した検査ブロックを検査対象ブロックと称し、復元画像を分割した検査ブロックを復元検査ブロックと称して説明する。
ここで、推論対象画像と復元画像とは同じ画像サイズの画像であり同一の分割を行うため、検査対象ブロックの個数と復元検査ブロックの個数とは等しいものとなる。以下、検査対象ブロックの個数と復元検査ブロックの個数とは、いずれもj(jは正の整数)個であるものとして説明する。また、検査ブロック及び復元検査ブロックは、分割画像の説明として例示した図3Bにおいて、Sx≦BxかつSy≦Byとなるように、各ブロックが隣接する、あるいはブロック同士が重なるように分割することにより生成可能である。このようにすることで、各異常領域に対して、異常領域(傷、異物等)がブロック内に収まる検査ブロックが1以上存在する確率を上げることができる。すなわち、異所領域がブロックの境界を跨いでしまうことで複数のブロックに異常領域が分割されてしまい、各ブロックの異常スコアが小さくなり検出漏れが発生してしまう確率を下げることができる。
図12は、実施の形態2に係る画像処理装置200aが備える異常判定部250が比較する推論対象画像における検査対象ブロックと、復元画像における復元検査ブロックと一例を示す説明図である。
図12において、左側に示す画像が推論対象画像であり、推論対象画像における実線による矩形で囲んだ画像領域の画像が検査対象ブロックの1つである。また、図12において、右側に示す画像が復元画像であり、復元画像における実線による矩形で囲んだ画像領域の画像が当該検査対象ブロックに対応する復元検査ブロックである。
ここで、αkは、k番目の検査対象ブロックと当該検査対象ブロックに対応するk番目の復元検査ブロックとの差分評価値である。また、Rkは、k番目の検査対象ブロックにおける画素の集合(以下「画素集合」という。)であり、Gkは、k番目の復元検査ブロックにおける画素の集合であり、nkはRk及びGkの画素数である。
また、SX(x)は、画素集合Xにおける画素x(x=1,2,・・・,n、nは画素集合Xの画素数)の信号値であり、EXは、画素集合Xにおける信号値の平均値である。
なお、式(9)は各画素集合Rk、Gkに対して平均値EX(x=Rk、Gk)を引いた値の絶対値差分和を求めている。これにより画素集合Rk、Gkの信号値自体の違いではなくテクスチャの違いにのみ着目した差分評価値を示す。これによって、学習に用いた複数の学習用画像のばらつきの範囲を超えるような、撮影条件ばらつきに起因する推論対象画像の画面全体の明るさといった平均値のばらつきに影響しない評価が可能となる。一方、そのような平均値のばらつきも含めて異常として評価したい場合は、式(9)におけるEX(x=Rk、Gk)を削除した式をαkとして定義すればよい。
ここで、α_basekは、予め定められた値であって、予め用意した良品画像について、当該良品画像と、当該良品画像に基づいて推論部240が生成した復元画像(以下「良品復元画像」という。)と、に基づいて算出される良品画像における検査対象ブロックと良品復元画像における復元検査ブロックとの差分評価値(例えば式(9)で算出される差分評価値)の最大値である。
したがって、例えば、異常判定部250は、式(10)により算出される検査スコアIの値が0(零)を超える場合、推論対象画像に写る推論対象物体に異常があるか否かを判定する。
なお、異常判定部250が、式(10)により算出される検査スコアIにより推論対象画像に写る推論対象物体に異常があるか否かを判定する閾値は、0(零)に限定されるものではない。当該閾値は、0(零)より大きい値であっても、0(零)より小さい値であってもよい。当該閾値は、大きい程、異常と判定されにくくなるため、過検出の発生確率(過検出率)が抑制される一方で、異常の見逃しが発生する確率(見逃し率)が上がる。この過検出率と見逃し率はトレードオフの関係にあるため、当該閾値は本画像処理装置におけるチューニングパラメータとなる。
具体的には、例えば、判定結果出力部260は、判定結果情報を表示画像信号として表示出力装置22に出力して、判定結果情報を表示出力装置22に表示出力させてもよい。
また、例えば、判定結果出力部260は、判定結果情報照明装置又は音声出力装置等の図10に不図示の出力装置に出力して、推論対象物体に異常があると判定した場合において、当該異常がある旨を当該出力装置に放置させるようにしてもよい。
図13は、実施の形態2に係る画像処理装置200aの処理の一例を説明するフローチャートである。
なお、図13において、ステップST901からステップST905までの処理は、図9に示すステップST901からステップST905までの処理と同様である。
次に、ステップST902にて、推論対象画像取得部210は、推論対象画像情報を取得する。
次に、ステップST903にて、1次元推論対象画像生成部220は、1次元推論対象画像信号を生成する。
次に、ステップST904にて、学習済モデル取得部230は、学習済モデル情報を取得する。
次に、ステップST905にて、推論部240は、学習済モデルが出力する推論結果を取得して推論結果に基づく推論結果情報を取得する。
次に、ステップST1301にて、異常判定部250は、推論対象画像に写る推論対象物体に異常があるか否かを判定する。
次に、ステップST1302にて、判定結果出力部260は、判定結果情報を出力する。
ステップST1302の後、画像処理装置200aは、当該フローチャートの処理を終了して、終了後にステップST901に戻って当該フローチャートの処理を繰り返して実行する。
図14から図16までを参照して、実施の形態3に係る画像処理装置200bについて説明する。
図14を参照して、実施の形態3に係る画像処理装置200bが適用される画像処理システム20bの要部の構成について説明する。
図14は、実施の形態3に係る画像処理装置200bが適用される画像処理システム20bの要部の構成の一例を示すブロック図である。
画像処理システム20bは、記憶装置21、表示出力装置22、操作入力装置23、撮像装置24、及び画像処理装置200bを備える。
すなわち、画像処理システム20bは、実施の形態1に係る画像処理装置200が画像処理装置200bに変更されたものである。
図14において、図6に示す構成と同様の構成には同一符号を付して詳細な説明を省略する。すなわち、記憶装置21、表示出力装置22、操作入力装置23、及び撮像装置24については詳細な説明を省略する。
図15は、実施の形態3に係る画像処理装置200bの要部の構成の一例を示すブロック図である。
画像処理装置200bは、推論対象画像取得部210、撮影推論画像取得部211、1次元推論対象画像生成部220、学習済モデル取得部230、推論部240、及び分類部270を備える。
すなわち、画像処理装置200bは、実施の形態1に係る画像処理装置200に分類部270が追加されたものである。
図15において、図7に示す構成と同様の構成には同一符号を付して詳細な説明を省略する。すなわち、画像処理装置200bが備える撮影推論画像取得部211、1次元推論対象画像生成部220、学習済モデル取得部230、及び推論部240については詳細な説明を省略する。
すなわち、実施の形態3に係る画像処理装置200bが備える推論部240は、1次元推論対象画像信号を学習済モデルに説明変数として入力し、学習済モデルが推論結果として出力する特徴ベクトルであって、1次元推論対象画像信号に対応する推論対象画像の特徴ベクトルを取得し、学習済モデルが推論結果として出力する特徴ベクトルを示す特徴ベクトル情報を推論結果情報として取得するものである。
具体的には、例えば、分類部270は、推論部240が取得する特徴ベクトル情報を用いて、サポートベクターマシン(Support Vector Machine:SVM)等の教師あり学習に基づく分類を行うことにより、推論対象画像情報を予め定められた複数のグループのうちのいずれかのグループに分類する。
サポートベクターマシン等の教師あり学習に基づく分類方法については、周知の技術であるための説明を省略する。
なお、図16において、ステップST901からステップST905までの処理は、図9に示すステップST901からステップST905までの処理と同様である。
次に、ステップST902にて、推論対象画像取得部210は、推論対象画像情報を取得する。
次に、ステップST903にて、1次元推論対象画像生成部220は、1次元推論対象画像信号を生成する。
次に、ステップST904にて、学習済モデル取得部230は、学習済モデル情報を取得する。
次に、ステップST905にて、推論部240は、学習済モデルが出力する推論結果を取得して推論結果に基づく推論結果情報を取得する。
次に、ステップST1601にて、分類部270は、分類結果情報を出力する。
ステップST1601の後、画像処理装置200bは、当該フローチャートの処理を終了して、終了後にステップST901に戻って当該フローチャートの処理を繰り返して実行する。
Claims (13)
- 学習用画像を示す学習用画像情報を取得する学習用画像取得部と、
前記学習用画像取得部が取得する複数の前記学習用画像情報のそれぞれが示す前記学習用画像を1次元化して、複数の前記学習用画像情報に対応する複数の1次元学習画像信号を生成する1次元学習画像生成部と、
前記1次元学習画像生成部が生成する複数の前記1次元学習画像信号を互いに並列に配列した行列を生成する行列生成部と、
前記行列生成部が生成する前記行列について特異値分解を行うことにより、右特異ベクトル及び特異値を算出する特異値分解部と、
前記特異値分解部が算出する前記右特異ベクトル及び前記特異値に基づく学習済モデルであって、推論対象物体を撮影して得られた画像である推論対象画像を1次元化した画像を示す1次元推論対象画像信号を説明変数として、推論結果を出力する前記学習済モデルを生成する学習済モデル生成部と、
前記学習済モデル生成部が生成する前記学習済モデルを学習済モデル情報として出力する学習済モデル出力部と、
を備えたこと
を特徴とする学習装置。 - 前記学習済モデル生成部は、前記1次元推論対象画像信号を前記説明変数として入力した際に、前記特異値分解部が算出する前記右特異ベクトル及び前記特異値に基づいて、前記1次元推論対象画像信号の近似信号である1次元近似信号を前記推論結果として出力する前記学習済モデルを生成すること
を特徴とする請求項1記載の学習装置。 - 前記学習済モデル生成部は、前記1次元推論対象画像信号を前記説明変数として入力した際に、前記特異値分解部が算出する前記右特異ベクトル及び前記特異値に基づいて、前記1次元推論対象画像信号に対応する前記推論対象画像の特徴ベクトルを前記推論結果として出力する前記学習済モデルを生成すること
を特徴とする請求項1記載の学習装置。 - 前記特異値分解部は、前記行列生成部が生成する前記行列について特異値分解を行うことにより算出した左特異ベクトル、前記右特異ベクトル及び前記特異値が既に存在する場合、これらを得るために特異値分解した前記行列と前記行列生成部が生成する前記行列とを行方向に連結した行列を特異値分解する方法として、前記行列生成部が生成する前記行列を用いて、既に存在する前記左特異ベクトル、既に存在する前記右特異ベクトル及び既に存在する前記特異値を更新する行列演算を行うことで、前記右特異ベクトル及び前記特異値を算出すること
を特徴とする請求項1記載の学習装置。 - 前記行列生成部は、前記行列生成部が生成する前記行列について特異値分解を行うことにより算出した左特異ベクトル、前記右特異ベクトル及び前記特異値が既に存在する場合、これらを得るために特異値分解した前記行列の中から1次元学習画像信号を1つ選択し、前記選択した1次元学習画像信号を除いた行列を生成し、
前記特異値分解部は、前記選択した1次元学習画像信号を除いた前記行列の特異値分解結果を得る方法として、前記選択した1次元学習画像信号を用いて、既に存在する前記左特異ベクトル、既に存在する前記右特異ベクトル及び既に存在する前記特異値を更新する行列演算を行うことで、前記右特異ベクトル及び前記特異値を算出すること
を特徴とする請求項1記載の学習装置。 - 前記1次元学習画像生成部は、前記学習用画像取得部が取得する前記学習用画像情報が示す前記学習用画像をラスタ走査することにより前記1次元学習画像信号を生成すること
を特徴とする請求項1記載の学習装置。 - 前記学習用画像取得部は、互いに等しい画素数である複数の前記学習用画像のそれぞれを示す前記学習用画像情報を取得すること
を特徴とする請求項1記載の学習装置。 - 前記学習用画像取得部は、対象物体が撮影された撮影画像を分割した複数の部分画像のそれぞれを示す部分画像情報を、前記学習用画像情報として取得すること
を特徴とする請求項1記載の学習装置。 - 前記行列生成部は、前記学習用画像取得部が取得する複数の前記部分画像情報のうちの予め定められた条件に適合する複数の前記部分画像情報に対応する複数の前記1次元学習画像信号を互いに並列に配列することにより、前記行列を生成すること
を特徴とする請求項8記載の学習装置。 - 前記行列生成部は、前記撮影画像における互いに同じ画像領域に対応する前記部分画像情報に基づいて、前記1次元学習画像生成部が生成した前記1次元学習画像信号を互いに並列に配列することにより、前記行列を生成すること
を特徴とする請求項9記載の学習装置。 - 前記学習用画像取得部が取得する複数の前記部分画像情報のそれぞれが示す前記部分画像をクラスタリングするクラスタリング部
を備え、
前記行列生成部は、前記クラスタリング部がクラスタリングした結果に基づいて分類された各クラスに属する複数の前記部分画像のそれぞれについて前記1次元学習画像生成部が生成した前記1次元学習画像信号を互いに並列に配列することにより、前記行列を生成すること
を特徴とする請求項9記載の学習装置。 - 前記行列生成部は、予め定められた前記条件に基づいて、前記条件毎に対応する前記行列を生成し、
前記特異値分解部は、前記行列生成部が生成する前記条件毎の前記行列について、前記右特異ベクトル及び前記特異値を算出し、
前記学習済モデル生成部は、前記行列生成部が生成する前記条件毎の前記行列に対応する前記右特異ベクトル及び前記特異値に基づいて、前記条件毎の前記行列に対応する前記学習済モデルを生成すること
を特徴とする請求項9記載の学習装置。 - 学習用画像取得部が、学習用画像を示す学習用画像情報を取得するステップと、
1次元学習画像生成部が、前記学習用画像取得部により取得された複数の前記学習用画像情報のそれぞれが示す前記学習用画像を1次元化して、複数の前記学習用画像情報に対応する複数の1次元学習画像信号を生成するステップと、
行列生成部が、前記1次元学習画像生成部により生成された複数の前記1次元学習画像信号を互いに並列に配列した行列を生成するステップと、
特異値分解部が、前記行列生成部により生成された前記行列について特異値分解を行うことにより、右特異ベクトル及び特異値を算出するステップと、
学習済モデル生成部が、前記特異値分解部により算出された前記右特異ベクトル及び前記特異値に基づく学習済モデルであって、推論対象物体を撮影して得られた画像である推論対象画像を1次元化した画像を示す1次元推論対象画像信号を説明変数として、推論結果を出力する前記学習済モデルを生成するステップと、
学習済モデル出力部が、前記学習済モデル生成部により生成された前記学習済モデルを学習済モデル情報として出力するステップと、
を備えたこと
を特徴とする学習方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2021/018320 WO2022239216A1 (ja) | 2021-05-14 | 2021-05-14 | 学習装置、学習方法、画像処理装置、及び画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2022239216A1 JPWO2022239216A1 (ja) | 2022-11-17 |
JPWO2022239216A5 JPWO2022239216A5 (ja) | 2023-07-05 |
JP7337303B2 true JP7337303B2 (ja) | 2023-09-01 |
Family
ID=84028999
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023520707A Active JP7337303B2 (ja) | 2021-05-14 | 2021-05-14 | 学習装置、及び学習方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20240062527A1 (ja) |
EP (1) | EP4328812A1 (ja) |
JP (1) | JP7337303B2 (ja) |
KR (1) | KR20230162115A (ja) |
CN (1) | CN117280356A (ja) |
TW (1) | TWI823123B (ja) |
WO (1) | WO2022239216A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115601232B (zh) * | 2022-12-14 | 2023-03-10 | 华东交通大学 | 一种基于奇异值分解的彩色图像去色方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020077186A (ja) | 2018-11-07 | 2020-05-21 | 株式会社東芝 | 監視システム、プログラム、及び記憶媒体 |
US20200364558A1 (en) | 2019-05-16 | 2020-11-19 | Samsung Electronics Co., Ltd. | Electronic apparatus and controlling method thereof |
JP2021037596A (ja) | 2019-09-04 | 2021-03-11 | 株式会社東芝 | ロボットシステムおよび駆動方法 |
JP2021039757A (ja) | 2019-09-02 | 2021-03-11 | 国立研究開発法人農業・食品産業技術総合研究機構 | 分類装置、学習装置、分類方法、学習方法、制御プログラム及び記録媒体 |
JP2021042992A (ja) | 2019-09-06 | 2021-03-18 | 清水建設株式会社 | 外観検査システム、及び外観検査方法 |
-
2021
- 2021-05-14 WO PCT/JP2021/018320 patent/WO2022239216A1/ja active Application Filing
- 2021-05-14 KR KR1020237037980A patent/KR20230162115A/ko not_active Application Discontinuation
- 2021-05-14 JP JP2023520707A patent/JP7337303B2/ja active Active
- 2021-05-14 EP EP21941948.8A patent/EP4328812A1/en active Pending
- 2021-05-14 CN CN202180098003.1A patent/CN117280356A/zh active Pending
- 2021-07-28 TW TW110127678A patent/TWI823123B/zh active
-
2023
- 2023-10-31 US US18/385,625 patent/US20240062527A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020077186A (ja) | 2018-11-07 | 2020-05-21 | 株式会社東芝 | 監視システム、プログラム、及び記憶媒体 |
US20200364558A1 (en) | 2019-05-16 | 2020-11-19 | Samsung Electronics Co., Ltd. | Electronic apparatus and controlling method thereof |
JP2021039757A (ja) | 2019-09-02 | 2021-03-11 | 国立研究開発法人農業・食品産業技術総合研究機構 | 分類装置、学習装置、分類方法、学習方法、制御プログラム及び記録媒体 |
JP2021037596A (ja) | 2019-09-04 | 2021-03-11 | 株式会社東芝 | ロボットシステムおよび駆動方法 |
JP2021042992A (ja) | 2019-09-06 | 2021-03-18 | 清水建設株式会社 | 外観検査システム、及び外観検査方法 |
Non-Patent Citations (1)
Title |
---|
GOGOVI, Gideon Kwadzo,"Chapter 3 Methodology",Digital Image Processing Via Singular Value Decomposition [online],Kwame Nkrumah University of Science and Technology,2013年,pp. 38-58,[retrieved on 2021.06.26], Retrieved from the Internet: <URL: http://ir.knust.edu.gh/handle/123456789/5348>. |
Also Published As
Publication number | Publication date |
---|---|
TW202244837A (zh) | 2022-11-16 |
KR20230162115A (ko) | 2023-11-28 |
CN117280356A (zh) | 2023-12-22 |
JPWO2022239216A1 (ja) | 2022-11-17 |
EP4328812A1 (en) | 2024-02-28 |
WO2022239216A1 (ja) | 2022-11-17 |
US20240062527A1 (en) | 2024-02-22 |
TWI823123B (zh) | 2023-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Qi et al. | Pointnet++: Deep hierarchical feature learning on point sets in a metric space | |
US11514694B2 (en) | Teaching GAN (generative adversarial networks) to generate per-pixel annotation | |
CN111462120B (zh) | 一种基于语义分割模型缺陷检测方法、装置、介质及设备 | |
Gu et al. | Blind image quality assessment via learnable attention-based pooling | |
Ghorai et al. | Multiple pyramids based image inpainting using local patch statistics and steering kernel feature | |
CN108961180B (zh) | 红外图像增强方法及系统 | |
WO2019026104A1 (ja) | 情報処理装置、情報処理プログラム及び情報処理方法 | |
Jiang et al. | A deep evaluator for image retargeting quality by geometrical and contextual interaction | |
CN111028327A (zh) | 一种三维点云的处理方法、装置及设备 | |
WO2020168648A1 (zh) | 一种图像分割方法、装置及计算机可读存储介质 | |
CN113177592B (zh) | 一种图像分割方法、装置、计算机设备及存储介质 | |
Mahmoudi et al. | Sparse representations for range data restoration | |
CN108460400A (zh) | 一种结合多种特征信息的高光谱图像分类方法 | |
US20240062527A1 (en) | Training device and training method | |
CN112651955A (zh) | 一种肠道图像的识别方法及终端设备 | |
Tussupov et al. | APPLYING MACHINE LEARNING TO IMPROVE A TEXTURE TYPE IMAGE. | |
CN112307991A (zh) | 一种图像识别方法、装置及存储介质 | |
CN117058554A (zh) | 电力设备目标检测方法、模型训练方法和装置 | |
CN113409316B (zh) | 一种图像分类方法、装置、计算机可读存储介质及设备 | |
Bakhtiarnia et al. | PromptMix: Text-to-image diffusion models enhance the performance of lightweight networks | |
CN114764746A (zh) | 激光雷达的超分辨率方法和装置、电子设备及存储介质 | |
CN111597373B (zh) | 基于卷积神经网络和连通图的图片归类方法及相关设备 | |
Shen et al. | Graph-Represented Distribution Similarity Index for Full-Reference Image Quality Assessment | |
CN111597375B (zh) | 基于相似图片组代表特征向量的图片检索方法及相关设备 | |
JP2020067954A (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230412 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230412 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230412 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230725 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230822 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7337303 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |