JP7337303B2 - 学習装置、及び学習方法 - Google Patents

学習装置、及び学習方法 Download PDF

Info

Publication number
JP7337303B2
JP7337303B2 JP2023520707A JP2023520707A JP7337303B2 JP 7337303 B2 JP7337303 B2 JP 7337303B2 JP 2023520707 A JP2023520707 A JP 2023520707A JP 2023520707 A JP2023520707 A JP 2023520707A JP 7337303 B2 JP7337303 B2 JP 7337303B2
Authority
JP
Japan
Prior art keywords
image
learning
inference
dimensional
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023520707A
Other languages
English (en)
Other versions
JPWO2022239216A1 (ja
JPWO2022239216A5 (ja
Inventor
彰 峯澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2022239216A1 publication Critical patent/JPWO2022239216A1/ja
Publication of JPWO2022239216A5 publication Critical patent/JPWO2022239216A5/ja
Application granted granted Critical
Publication of JP7337303B2 publication Critical patent/JP7337303B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Electrically Operated Instructional Devices (AREA)

Description

本開示は、学習装置、学習方法、画像処理装置、及び画像処理方法に関する。
学習モデルに学習させて学習済モデルを生成する方法として、教師あり学習と教師なし学習とがある。
例えば、非特許文献1には、確率的勾配変分ベイズを用いて最適化することにより、ニューラルネットワークにより構成された学習モデルに効率的に深層学習させて、学習済モデルを生成する技術が開示されている。
"Diederik P Kingma, Max Welling"、"Auto-Encoding Variational Bayes"、[online]、"arXiv:1312.6114v10"、[令和2年12月4日検索]、インターネット(URL:https://arxiv.org/abs/1312.6114v10)
非特許文献1に開示された技術(以下「従来技術」という。)を画像処理の分野に応用した場合、深層学習の学習結果として、学習に用いた画像(以下「学習用画像」という。)における潜在変数である特徴ベクトルと本ベクトルから復号された生成画像を出力する学習済モデルを得ることができ、当該学習済モデルを用いて推論対象の画像(以下「推論対象画像」という。)の圧縮、復元、異常検知、又は分類等を行うことができる。
しかしながら、従来技術において学習用画像における精度の高い特徴ベクトルと生成画像を得るためには、ニューラルネットワークにおける中間層を多層化したディープニューラルネットワークを構築し、大量の学習用画像を用いて膨大な数の重みの反復最適化処理を要する深層学習を行う必要がある。
したがって、従来技術では計算量が膨大となるため、従来技術には、高精度な推論を可能にする学習済モデルを生成するために、学習モデルに長時間に亘って学習させる必要があるという問題点があった。
本開示は、上述の問題点を解決するためのものであって、従来と比較して短時間で高精度な推論が可能な学習済モデルを生成することができる学習装置を提供することを目的としている。
本開示に係る学習装置は、学習用画像を示す学習用画像情報を取得する学習用画像取得部と、学習用画像取得部が取得する複数の学習用画像情報のそれぞれが示す学習用画像を1次元化して、複数の学習用画像情報に対応する複数の1次元学習画像信号を生成する1次元学習画像生成部と、1次元学習画像生成部が生成する複数の1次元学習画像信号を互いに並列に配列した行列を生成する行列生成部と、行列生成部が生成する行列について特異値分解を行うことにより、右特異ベクトル及び特異値を算出する特異値分解部と、特異値分解部が算出する右特異ベクトル及び特異値に基づく学習済モデルであって、推論対象物体を撮影して得られた画像である推論対象画像を1次元化した画像を示す1次元推論対象画像信号を説明変数として、推論結果を出力する学習済モデルを生成する学習済モデル生成部と、学習済モデル生成部が生成する学習済モデルを学習済モデル情報として出力する学習済モデル出力部と、を備えたものである。
本開示によれば、従来と比較して短時間で高精度な推論が可能な学習済モデルを生成することができる。
図1は、実施の形態1に係る学習装置が適用される学習システムの要部の構成の一例を示すブロック図である。 図2は、実施の形態1に係る学習装置の要部の構成の一例を示すブロック図である。 図3Aは、実施の形態1に係る学習用画像を模式的に示した説明図である。図3Bは、実施の形態1に係る学習用画像の変形例を模式的に示した説明図である。図3Cは、実施の形態1に係る1次元学習画像信号を模式的に示した説明図である。図3Dは、実施の形態1に係る行列を模式的に示した説明図である。 図4A及び図4Bは、実施の形態1に係る学習装置の要部のハードウェア構成の一例を示す図である。 図5は、実施の形態1に係る学習装置の処理の一例を説明するフローチャートである。 図6は、実施の形態1に係る画像処理装置が適用される画像処理システムの要部の構成の一例を示すブロック図である。 図7は、実施の形態1に係る画像処理装置の要部の構成の一例を示すブロック図である。 図8A及び図8Bは、実施の形態1に係る画像処理装置の要部のハードウェア構成の一例を示す図である。 図9は、実施の形態1に係る画像処理装置の処理の一例を説明するフローチャートである。 図10は、実施の形態2に係る画像処理装置が適用される画像処理システムの要部の構成の一例を示すブロック図である。 図11は、実施の形態2に係る画像処理装置の要部の構成の一例を示すブロック図である。 図12は、実施の形態2に係る画像処理装置が備える異常判定部が比較する推論対象画像における検査対象ブロックと、復元画像における復元検査ブロックと一例を示す説明図である。 図13は、実施の形態2に係る画像処理装置の処理の一例を説明するフローチャートである。 図14は、実施の形態3に係る画像処理装置が適用される画像処理システムの要部の構成の一例を示すブロック図である。 図15は、実施の形態3に係る画像処理装置の要部の構成の一例を示すブロック図である。 図16は、実施の形態3に係る画像処理装置の処理の一例を説明するフローチャートである。
以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態1.
図1から図5までを参照して、実施の形態1に係る学習装置100について説明する。
図1を参照して、実施の形態1に係る学習装置100が適用される学習システム10の要部の構成について説明する。
図1は、実施の形態1に係る学習装置100が適用される学習システム10の要部の構成の一例を示すブロック図である。
学習システム10は、記憶装置11、表示出力装置12、操作入力装置13、及び学習装置100を備える。
記憶装置11は、学習装置100が予め定められた所定の処理を実行するために必要な情報を記憶する装置である。学習装置100は、記憶装置11に記憶された情報を読み出すことにより、当該情報を取得することができる。また、学習装置100が出力する情報を受けて、当該情報を記憶する。
表示出力装置12は、表示画像信号を取得して、当該表示画像信号が示す表示画像を表示するディスプレイ等の装置である。表示出力装置12は、学習装置100が出力する表示画像信号を受けて、当該表示画像信号が示す表示画像を表示する。
操作入力装置13は、ユーザの操作(以下「ユーザ操作」という。)を受けてユーザ操作に基づく操作信号を出力するキーボード又はポインティングディバイス等の装置である。操作入力装置13は、キーボード又はポインティングディバイスに限定されるものではなく、ユーザ操作を受けてユーザ操作に基づく操作信号を出力する可能なものであれば、タッチパネル又はタッチセンサ等であってもよい。
操作入力装置13は、操作信号を学習装置100に出力する。
学習装置100は、学習用画像を示す学習用画像情報を取得して、学習用画像に基づく学習済モデルを生成する装置である。
表示出力装置12及び操作入力装置13により、学習装置100を操作するユーザに対してインタラクティブなユーザインタフェースが提供される。
すなわち、ユーザは、表示出力装置12に表示される表示画像を確認しつつ、操作入力装置13を用いてユーザ操作を行うことにより、ユーザが所望する制御を学習装置100行わせることができる。
図2を参照して、実施の形態1に係る学習装置100の要部の構成について説明する。
図2は、実施の形態1に係る学習装置100の要部の構成の一例を示すブロック図である。
学習装置100は、学習用画像取得部110、1次元学習画像生成部120、行列生成部130、特異値分解部140、学習済モデル生成部150、及び学習済モデル出力部160を備える。
学習装置100は、上述の構成に加えて、撮影画像取得部111、又は、撮影画像取得部111及びクラスタリング部112を備えるものであってもよい。
以下、学習装置100は、図2に示すように、学習用画像取得部110、撮影画像取得部111、クラスタリング部112、1次元学習画像生成部120、行列生成部130、特異値分解部140、学習済モデル生成部150、及び学習済モデル出力部160を備えるものとして説明する。
なお、学習装置100は、図2には不図示の構成として、操作入力装置13が出力する操作信号を取得する操作取得部と、操作取得部が取得する操作信号に基づく表示画像を生成し、当該表示画像を示す表示画像信号を表示出力装置12に出力する表示画像出力部を備えるものとする。
学習用画像取得部110は、学習用画像を示す学習用画像情報を取得する。
具体的には、学習用画像取得部110は、互いに異なる複数の学習用画像情報を取得する。
より具体的には、例えば、学習用画像取得部110は、複数の学習用画像のそれぞれを示す学習用画像情報が予め記憶された記憶装置11から、学習用画像情報を読み出すことにより、互いに異なる複数の学習用画像情報を取得する。
学習用画像取得部110が記憶装置11から読み出すことにより取得する学習用画像情報は、例えば、ユーザが操作入力装置13を操作することにより選択されて取得される。
以下、学習用画像取得部110は、m(mは予め定められた2以上の整数)個の互いに異なる学習用画像情報を取得するものとして説明する。また、学習用画像取得部110が取得するm個の学習用画像情報のそれぞれ示す学習用画像を学習用画像w(iは1以上且つm以下の任意の整数)と表記して説明する。
1次元学習画像生成部120は、学習用画像取得部110が取得する複数の学習用画像情報のそれぞれが示す学習用画像を1次元化して、複数の学習用画像情報に対応する複数の1次元信号(以下「1次元学習画像信号」という。)を生成する。
具体的には、例えば、1次元学習画像生成部120は、学習用画像取得部110が取得する学習用画像情報が示す学習用画像をラスタ査することにより1次元学習画像信号を生成する。
より具体的には、例えば、1次元学習画像生成部120は、学習用画像取得部110が取得する複数の学習用画像情報について、複数の学習用画像情報のそれぞれが示す学習用画像をラスタ査することにより各学習用画像情報に対応する1次元学習画像信号を生成する。
以下、学習用画像wに対応する1次元学習画像信号を1次元学習画像信号w´と表記して説明する。
行列生成部130は、1次元学習画像生成部120が生成する複数の1次元学習画像信号を互いに並列に配列した行列を生成する。
以下、1次元学習画像信号w´から1次元学習画像信号w´までのm個の1次元学習画像信号を互いに並列に配列した行列を行列Wと表記して説明する。
なお、行列生成部130が行列Wを生成するために、学習用画像取得部110で取得する、1次元学習画像信号w´から1次元学習画像信号w´の元となる各学習用画像情報が互いに等しい画素数であることが必要である。
図3を参照して、実施の形態1に係る学習用画像w、1次元学習画像信号w´、及び行列Wについて説明する。
図3Aは、実施の形態1に係る学習用画像wを模式的に示した説明図である。
図3Aに示すように、学習用画像wは、図3Aにおける横方向にp(pは1以上の予め定められた整数)個の画素を、縦方向にq(qは1以上の予め定められた整数)個の画素を有する矩形画像である。pとqとの積をnとすると、学習用画像wは、n個の画素を有する矩形画像である。したがって、学習用画像wは撮影画像そのものとは限らず、撮影画像を矩形(ブロック)で切り出す、拡大又は縮小を行う等の画像処理を施した画像等、2次元に配置された画素の集合であればよい。図3Bは、実施の形態1に係る学習用画像の変形例を模式的に示した説明図である。例えば、図3Bに示すように、撮影画像を分割した各ブロックを、学習用画像とする場合がある。Bx、Byは分割ブロックの水平方向、垂直方向の画素数をそれぞれ示し、Sx、Syは水平方向、垂直方向の各分割位置の移動画素数(ステップサイズ)を示す。さらに、各分割ブロックDi,jの位置インデックス(i,j)は、各ブロックの位置関係を識別するための情報である。このとき、S=BかつS=Bの場合、各ブロックは、互いに隣接することとなる。S<BまたはS<Bの場合、隣接ブロックに重なりがあるように分割することとなる。S>BまたはS>Bの場合、分割ブロック間に隙間が生じるため、学習用画像として含まない画素が撮影画像内に発生する。一般に隣接ブロックが重なる領域が大きい程分割ブロックのパターンが増え、学習の精度が向上する。一方で学習画像数が増加することとなるため、学習速度は低下する。よって、学習精度と学習速度はトレードオフの関係にあるため、B、B、S、Sはユーザ等によるチューニング要素となる。例えば、ユーザが操作入力装置13を操作することにより、B、B、S、Sのチューニング(値の設定)が行われる。
学習用画像wは、各画素が、1ビットにより示されるモノクロ画像であっても、8ビット等のビット列により示されるグレースケール画像であっても、24ビット等のビット列により示されるカラー画像であってもよい。また、学習用画像wは、RGB形式によるビットマップ画像であっても、YUV形式によるビットマップ画像であってもよい。
図3Cは、実施の形態1に係る1次元学習画像信号w´を模式的に示した説明図である。図3Cに示すように、1次元学習画像信号w´は、図3Cにおける横方向にn個の画素を、縦方向に1個の画素を有する画像である。1次元学習画像信号w´は、1次元学習画像信号w´における各画素が、学習用画像wにおける各画素と同じビット数のビット又はビット列により構成されたものとなる。
図3Dは、実施の形態1に係る行列Wを模式的に示した説明図である。
図3Dに示すように、行列Wは、1次元学習画像信号w´を列方向に並べたものであり、横方向にn個の画素を、縦方向にm個の画素を有する画素信号の行列となる。
行列Wは、行列Wにおける各成分が、学習用画像wにおける各画素と同じビット数のビット又はビット列により構成されたものとなる。
特異値分解部140は、行列生成部130が生成する行列Wについて特異値分解(SVD:Singular Value Decomposition)を行うことにより、右特異ベクトル及び特異値を算出する。
ここで特異値分解は、周知の技術ではあるが、特異値分解について簡単に説明する。
行列Am×nがm行n列の行列である場合、行列Am×nの特異値分解は、次式(1)により表すことができる。
m×n=Um×mΓm×n n×n ・・・ 式(1)
ここで、Um×mはm行m列のユニタリ行列、V n×nはn行n列のユニタリ行列であるVn×nの転置行列である。また、行列Γm×nはm行n列の行列であり、対角成分以外は常に0となる。さらに、行列Γm×nにおけるi行i列の対角成分をσとし、IをAm×nの階数(ランク)とすると、Iは1以上M(M=min(m,n)、min(m,n)はmとnの内の小さい値を示す)以下の整数であり、σ,σ,・・・,σは、次式(2)を満たす行列Am×nのI個の特異値を表している。
σ>σ>・・・>σ>0 ・・・ 式(2)
このとき、I<Mである場合、σI+1=・・・=σ=0である。すなわち、式(1)において、行列Γm×nは非零成分が行列Am×nの特異値の組のみで構成される行列である。また、式(1)において、行列Um×mにおける各列ベクトルは行列Am×nの左特異ベクトルを表している。すなわち、行列Um×mは行列Am×nの左特異ベクトルの組を表している。また、式(1)において、行列Vn×nにおける各列ベクトルは行列Am×nの右特異ベクトルを表している。すなわち、行列Vn×nは行列Am×nの右特異ベクトルの組を表している。
式(1)を応用すると行列Am×nを近似した行列(以下「近似行列」)A m×nは次式(3)を用いて表すことができる。
m×n≒A m×n=Um×rΓr×r r×n ・・・ 式(3)
ここで、行列Γr×rはr(rは、1以上且つI以下の整数)個の対角成分を有するr行r列の対角行列であり、行列Γr×rは対角成分に行列Γm×nにおける対角成分のうちのσ,σ,・・・,σを有する。また、Um×rは行列Um×mの左からr列までの成分で構成されているm行r列の行列であり、同様に行列V r×nはVn×nの左からr列までの成分で構成されているn行r列の行列Vn×rの転置行列である。式(3)から明らかなように、本近似は特異値をr個持つ行列の特異値分解を表していることから、行列A m×nはランクIの行列Am×nのランクrでの低ランク近似を示す。
特異値分解部140は、行列生成部130が生成する行列Wについて特異値分解を行うことにより、式(1)に対応する次式(4)を満たす右特異ベクトル及び特異値を算出する。
=Um×mΓm×n n×n ・・・ 式(4)
学習済モデル生成部150は、特異値分解部140が算出する右特異ベクトル及び特異値に基づいて学習済モデルを生成する。
学習済モデル生成部150が生成する学習済モデルは、水平方向と垂直方向が共に学習用画像と同一画素数の画像(以下「推論対象画像」という。)を1次元化した画像を示す信号(以下「1次元推論対象画像信号」という。)を説明変数として、推論結果を出力するものである。ここで、推論対象画像は、推論対象の物体(以下、「推論対象物体」という。)を撮影して得られた画像(以下「推論撮影画像」という。)、または推論撮影画像に対して画像処理を施して得られた画像である。
具体的には、学習済モデル生成部150は、特異値分解部140が算出する特異値のうちの値の大きいものから順に予め定められたr個の特異値と、r個の特異値の組み合わせである対角行列に対応する右特異ベクトルの組を有する行列との組み合わせに基づく学習済モデルを生成する。
より具体的には、例えば、学習済モデル生成部150は、次式(5)を満たす行列Γr×rとV n×rとを学習済モデルのパラメータとして生成する。
≒Um×rΓr×r n×r ・・・ 式(5)
ここで、行列Γr×rは、r個の特異値が対角に配置されたr行r列の対角行列である。また、行列V n×rは、式(5)における行列Γr×rに対応するWの右特異ベクトルの組を表す行列Vn×rの転置行列である。このとき、右特異ベクトルはVn×rの列ベクトルである(V n×rの場合、転置しているため行ベクトルとなる)。
なお、学習済モデル生成部150が、特異値分解部140が算出する特異値のうちの値の大きいものから順に採用する特異値の個数(Wの近似行列のランク)rは、当該個数を示す情報を学習済モデル生成部150が保持していても、学習済モデル生成部150がユーザ操作に基づいて取得してもよい。
なお、上記rが予め決定している場合、特異値分解部140は、例えば、以下に示す文献1に記載された特異値分解における高速解法に関する技術を用いて、特異値分解の高速化又は省メモリ化を図っても良い。
文献1:"Matthew Brand"、"Fast Low-Rank Modifications of the Thin Singular Value Decomposition"、"MITSUBISHI ELECTRIC RESEARCH LABORATORIES"、[令和2年12月4日検索]、インターネット(URL:https://www.merl.com/publications/docs/TR2006-059.pdf)
文献1は、特異値分解を行う際、特異値分解対象の行列Am×nに対して、まず行列Am×nのr行(行列Ar×n)に対して通常の特異値分解演算を行い、特異値分解行列Um×r´、Γr×r´、V n×r´を求める。そして、残りのm-r行に対して、特異値分解行列Um×r´、Γr×r´、V n×r´に対する逐次的な更新処理を行う。具体的には、任意のj行(jは1以上の整数)ずつ、直前の更新処理で得られた特異値分解行列から、行列A(r+J)×n(Jは当該更新処理までのjの総和)の特異値分解行列に更新する行列演算(以下「更新演算」という。)をr+J=mとなるまで繰返し行うことで、行列Am×nの特異値分解を実現している。本更新演算は、通常の特異値分解の演算処理と比べて少ない演算量となるため、一般に行列Am×nの特異値分解演算を一度に実施するよりも高速かつ省メモリとなる。このとき、処理対象行数jは更新演算毎に変化しても良い。例えば、m-r=20であった場合、この残りの20行に対してtを、順に3行、7行、1行、2行、2行、5行というように任意とすることが可能である。
上記のように任意行数での更新演算が可能である特徴から、文献1に記載の特異値分解によって追加学習も可能となる。すなわち、Wの学習済モデルとして、行列Γr×r、V n×rだけでなく、行列Um×rも保持するように構成する。これにより、追加学習したいl個の1次元学習画像信号を互いに並列に配列した行列Wを用いて、既に存在する上記特異値分解行列Um×r、Γr×r、V n×rを更新する行列演算を行うことで、行列Wと行列Wを行方向に連結した行列Wm+1に対して特異値分解した場合と同じ学習モデル(行列U(m+l)×r´´、Γr×r´´、V n×r´´)が得られる。上記更新演算を用いない場合は、追加学習を行うことは不可能であり、再学習として行列Wm+1に対して通常の特異値分解を行う必要があるため、上記更新演算によって高速かつ省メモリな追加学習処理が実現できる。なお、始めの学習及び追加学習共に上記更新演算を用いるようにしてもよいし、追加学習のみ上記更新演算を用いるようにしてもよい。
さらに、文献1には、行列Am×nの特異値分解後の行列Um×r、Γr×r、V n×rに対して、行列Am×nの中から選択した1つの行ベクトルaを除いた行列Am×n,aの特異値分解演算を、上記行ベクトルaを用いて、既に存在する行列Um×r、Γr×r、V n×rからの更新演算のみで実現する技術が記載されている。この技術を導入することで、学習済モデル(行列Um×r、Γr×r、V n×r)で用いた学習画像信号の中に人的ミス等によって学習に不適切な画像が混入した場合においても、不適切な1次元学習画像信号w´(前記行ベクトルaに対応する)を除いた場合の学習済モデル(行列U(m-1)×r´´´、Γr×r´´´、V n×r´´´)が高速かつ省メモリな演算で得られる。
このとき、除きたい学習画像が複数ある場合は、上記処理を順に実施すればよい。
さらに、文献1には、特異値分解後の行列Um×r、Γr×r、V n×rに対して、行列Am×nの中から選択した1つの行ベクトルaを除き、1つの新たな行ベクトルa´を追加した行列Am×n,a´―aの特異値分解演算を、上記行ベクトルa及び上記行ベクトルa´を用いて、既に存在する行列Um×r、Γr×r、V n×rからの更新演算のみで実現する技術が記載されている。この技術を導入することで、学習済モデル(行列Um×r、Γr×r、V n×r)で用いた学習画像信号の中に人的ミス等によって本来学習すべき画像とは別の画像が混入した場合においても、不適切な1次元学習画像信号w´(前記行ベクトルaに対応する)を正しい1次元学習画像信号w´(前記行ベクトルa´に対応する)に置き換えた場合の学習済モデル(行列Um×r´´´´、Γr×r´´´´、V n×r´´´´)が高速かつ省メモリな演算で得られる。
このとき、置き換えを行いたい学習画像が複数ある場合は、上記処理を順に実施すればよい。
例えば、学習済モデル生成部150は、1次元推論対象画像信号を説明変数として入力した際に、特異値分解部140が算出する右特異ベクトル及び特異値に基づいて、1次元推論対象画像信号の近似信号(以下「1次元近似信号」という。)を推論結果として出力する学習済モデルを生成する。
以下、1次元近似信号をwと表記して説明する。
は、式(4)における行列Γm×nと行例V n×nとを用いて、次式(6)で表すことができる。
=uΓm×n n×n ・・・ 式(6)
ここで、uは1次元ベクトルであり、行列Γm×nと行例V n×nとを用いてwを復元するための係数で構成されるwの特徴ベクトルである。行列Γm×nと行例V n×nとは、式(4)により既知であるため、wが定まればuは一意に決定される。
式(6)を応用すると、wは、式(5)における行列Γr×rと行例V n×rとを用いて、次式(7)により近似することが可能である。
≒w =u Γr×r n×r ・・・ 式(7)
ここで、w は、wを近似した1次元近似信号である。また、u は、wの特徴ベクトルであるuの次元数をr次元に削減した特徴ベクトル(以下「近似特徴ベクトル」という。)であり、次式(8)を得ることができる。
=w n×rΓr×r -1≒wn×rΓr×r -1 ・・・ 式(8)
ここで、Γr×r -1は、Γr×rの逆行列である。
以上のように、学習済モデル生成部150は、1次元推論対象画像信号であるwを説明変数として入力した際に、例えば、式(7)に基づいて、1次元近似信号であるw を出力する学習済モデルを生成する。
また、学習済モデル生成部150は、1次元推論対象画像信号を説明変数として入力した際に、特異値分解部140が算出する右特異ベクトル及び特異値に基づいて、1次元推論対象画像信号に対応する推論対象画像の特徴ベクトルを推論結果として出力する学習済モデルを生成するものであってもよい。
この場合、例えば、学習済モデル生成部150は、1次元推論対象画像信号を説明変数として入力した際に、1次元推論対象画像信号に対応する推論対象画像の特徴ベクトルであって、当該特徴ベクトルuの次元数をr次元に削減した特徴ベクトルu を推論結果として出力する学習済モデルを生成する。
以上のように、学習済モデル生成部150は、1次元推論対象画像信号であるwを説明変数として入力した際に、例えば、式(8)に基づいて、1次元推論対象画像信号に対応する推論対象画像の近似特徴ベクトルであるu を出力する学習済モデルを生成するものであってもよい。
学習済モデル出力部160は、学習済モデル生成部150が生成する学習済モデルを学習済モデル情報として出力する。
具体的には、例えば、学習済モデル出力部160は、学習済モデル情報を記憶装置11に出力して、記憶装置11に記憶させる。
以上のように構成することにより、学習装置100は、中間層を多層化したディープニューラルネットワークにより構成されていない学習済モデルを生成することができる。結果として、学習装置100は、パラメータの反復最適化処理を必要とせずに1回の特異値分解により高精度な推論を可能にする学習済モデルを生成できるため、従来と比較して短時間で高精度な推論が可能な学習済モデルを生成することができる。
これまでの説明において、学習用画像取得部110は、記憶装置11から学習用画像情報を読み出すことにより、予め生成されていた互いに異なる複数の学習用画像情報を取得するものとしたが、学習用画像取得部110が学習用画像情報を取得する方法は、これに限定されるものではない。
例えば、学習用画像取得部110は、学習用画像情報とは異なる画像を示す情報であって、対象物体を撮影することにより取得した画像(以下「撮影画像」という。)を示す情報「以下「撮影画像情報」という。」に基づいて、学習用画像情報を生成して取得するものであってもよい。
学習用画像取得部110が撮影画像情報に基づいて学習用画像情報を生成して取得するために、例えば、学習装置100は、図2に示すように、撮影画像取得部111を備える。
撮影画像取得部111は、対象物体を撮影することにより取得した撮影画像を示す撮影画像情報を取得する。
具体的には、撮影画像取得部111は、互いに異なる複数の対象物体のそれぞれに対応する撮影画像情報を取得する。
例えば、撮影画像取得部111は、互いに異なる複数の対象物体のそれぞれに対応する撮影画像情報であって、複数の撮影画像情報が予め記憶された記憶装置11から、撮影画像情報を読み出すことにより、互いに異なる複数の対象物体のそれぞれに対応する撮影画像情報を取得する。
この場合、例えば、学習用画像取得部110は、撮影画像取得部111が取得する複数の撮影画像情報のそれぞれが示す撮影画像について、撮影画像を複数の画像領域に分割して各画像領域に対応する部分画像を取得する。学習用画像取得部110は、撮影画像に基づく複数の部分画像のそれぞれを示す部分画像情報を撮影画像情報毎に取得することにより、撮影画像取得部111が取得する複数の撮影画像情報のそれぞれに対応する複数の部分画像情報を学習用画像情報として取得する。具体的な分割画像の例は、先述した図3Bに記載した分割ブロックである。
また、この場合、行列生成部130は、学習用画像取得部110が取得する複数の部分画像情報であって、撮影画像取得部111が取得する複数の撮影画像情報のそれぞれに対応する複数の部分画像情報のうちの予め定められた条件に適合する複数の部分画像情報に対応する複数の1次元学習画像信号を互いに並列に配列することにより行列を生成する。
ここで、予め定められた条件に適合する複数の部分画像情報とは、例えば、複数の撮影画像情報のそれぞれが示す撮影画像における互いに同じ画像領域に対応する部分画像情報である。同じ画像領域とは図3Bにおいて、分割ブロックDi,jの位置インデックス(i,j)が一致するブロックである。
すなわち、例えば、行列生成部130は、撮影画像取得部111が取得する複数の撮影画像情報のそれぞれが示す撮影画像における互いに同じ画像領域に対応する部分画像情報に基づいて1次元学習画像生成部120が生成した複数の1次元学習画像信号を互いに並列に配列することにより、行列を生成する。
特異値分解部140は、部分画像情報に基づいて1次元学習画像生成部120が生成した1次元学習画像信号を互いに並列に配列することにより行列生成部130が生成した行列における右特異ベクトル及び特異値を算出する。
また、学習済モデル生成部150は、行列生成部130が生成する部分画像情報に基づく行列に対応する右特異ベクトル及び特異値を出力する学習済モデルを生成する。
以上のように構成することにより、学習装置100は、推論対象物体を撮影して得られた画像(撮影画像)のうちの予め定められた画像領域における画像(部分画像)を推論対象画像とし、当該推論対象画像に対応する1次元推論対象画像信号を説明変数として入力した際に、当該推論対象画像に対応する1次元近似信号、又は当該推論対象画像の特徴ベクトルを推論結果として出力する学習済モデルを生成することができる。
結果として、学習装置100は、推論対象物体を撮影して得られた撮影画像のうちの予め定められた画像領域における部分画像に特化した高精度な推論が可能な学習済モデルを従来と比較して短時間で生成することができる。
行列生成部130は、予め定められた条件に基づいて、条件毎に対応する行列を生成してもよい。
具体的には、例えば、行列生成部130は、撮影画像における複数の画像領域のそれぞれに対応する行列を生成する。複数の画像領域は、図3Bにおいて、分割ブロックDi,jを複数まとめた領域である。例えば、水平方向に4、垂直方向に2まとめた領域である。以下、本領域を「セグメント」という。ここで、最も大きいセグメントの例は画像全体で1つのセグメントとする場合であり、この場合、生成する学習済モデルは1つとなり、学習済モデルの保存に必要なメモリ容量を小さくすることができる。また、各セグメントの大きさは異なっていても良い。これは撮影画像のどの位置に何が写っているのかが予め分かる場合、明示的なセグメント分割(例えば被写体と背景に分割)を行うことにより各セグメントで画像の特徴を分割することができ、学習すべき画像パターンを絞り込むことができるため、限定的な学習済モデル数(セグメント数)で高精度な推論(画像生成)が可能となる高効率な学習を実現することができる。
一方、最も小さいセグメントの1つの部分画像の位置毎に1つのセグメントとする場合であり、この場合、セグメント数は部分画像分割数となる。このようにすることで、学習モデル数は増大するものの、各部分画像位置に特化した学習が可能となり、非常に高精度な推論(画像生成)が可能となる。なお、この場合は段落0046に記載した条件の場合と同じとなる。
この場合、例えば、特異値分解部140は、行列生成部130が生成する条件毎の行列について、右特異ベクトル及び特異値を算出する。
具体的には、例えば、特異値分解部140は、行列生成部130が生成する撮影画像における複数の画像領域のそれぞれに対応する行列について、複数の行列のそれぞれに対応する右特異ベクトル及び特異値を算出する。
また、この場合、学習済モデル生成部150は、行列生成部130が生成する条件毎の行列に対応して特異値分解部140が算出する右特異ベクトル及び特異値に基づいて、条件毎の行列に対応する学習済モデルを生成する。
具体的には、例えば、学習済モデル生成部150は、行列生成部130が生成する撮影画像における複数の画像領域のそれぞれに対応する行列について、複数の当該行列のそれぞれに対応して特異値分解部140が算出する右特異ベクトル及び特異値に基づいて、複数の行列のそれぞれに対応する学習済モデルを生成する。
以上のように構成することにより、学習装置100は、推論対象物体を撮影して得られた画像(撮影画像)のうちの予め定められた複数の画像領域のそれぞれにおける画像(部分画像)を推論対象画像とし、複数の当該推論対象画像のそれぞれに対応する1次元推論対象画像信号を、同じ画像領域の部分画像を用いて生成した学習済モデルに対して説明変数として入力した際に、複数の当該推論対象画像のそれぞれに対応する1次元近似信号、又は複数の当該推論対象画像のそれぞれに対応する特徴ベクトルを推論結果として出力する学習済モデルを画像領域毎に生成することができる。
結果として、学習装置100は、推論対象物体を撮影して得られた撮影画像のうちの予め定められた複数の画像領域のそれぞれにおける部分画像に特化した高精度な推論が可能な学習済モデルを画像領域毎に従来と比較して短時間で生成することができる。
学習装置100は、図2に示すように、撮影画像取得部111及びクラスタリング部112を備えるものであってよい。
クラスタリング部112は、学習用画像取得部110が取得する複数の部分画像情報であって、撮影画像取得部111が取得する複数の撮影画像情報のそれぞれに対応する複数の部分画像情報のそれぞれが示す部分画像をクラスタリングする。
学習装置100が撮影画像取得部111及びクラスタリング部112を備える場合、例えば、行列生成部130は、クラスタリング部112がクラスタリングした結果に基づいて分類された各クラスに属する複数の部分画像のそれぞれについて1次元学習画像生成部120が生成した複数の1次元学習画像信号を互いに並列に配列することにより行列を生成する。
クラスタリングには、例えば、各部分画像自身、部分画像を特徴変換した画像(例えば、エッジ画像、直行変換画像)自身、あるいはこれらに平滑化処理やプーリング処理等のフィルタ処理を行った画像のいずれか、またはそれら画像の組を1次元化した信号に対して、k-means法、階層型クラスタリング、DBSCAN(Density-based spatial clustering of applications with noise)、GMM(Gaussian Mixture Model)等のクラスタリング手法を用いる方法がある。
複数の部分画像情報は、クラスタリング部112がクラスタリングした結果に基づいて分類された各クラスに属する複数の部分画像のそれぞれを示す部分画像情報である。
以上のように構成することにより、学習装置100は、各クラスに対して、推論対象物体を撮影して得られた画像(撮影画像)のうちの予め定められた複数の画像領域のそれぞれにおける画像(部分画像)の中の当該クラスに属する部分画像を推論対象画像とし、当該推論対象画像に対応する1次元推論対象画像信号を、当該クラスに属する複数の部分画像を用いて生成した学習済モデルに対して説明変数として入力した際に、当該推論対象画像に対応する1次元近似信号、又は当該推論対象画像に対応する特徴ベクトルを推論結果として出力する学習済モデルを生成することができる。
結果として、学習装置100は、推論対象物体を撮影して得られた画像のうちの予め定められたクラスに属する部分画像に特化した高精度な推論が可能な学習済モデルを、従来と比較して短時間で生成することができる。
また、行列生成部130は、各クラスに対応する行列を生成してもよい。
この場合、例えば、特異値分解部140は、行列生成部130が生成する各クラスに対応する行列について、行列毎に右特異ベクトル及び特異値を算出する。
また、この場合、学習済モデル生成部150は、行列生成部130が生成する各クラスに対応する右特異ベクトル及び特異値に基づいて、各クラスに対応する学習済モデルを生成する。
以上のように構成することにより、学習装置100は、推論対象物体を撮影して得られた画像(撮影画像)のうちの複数の画像領域のそれぞれにおける部分画像に特化した、特に各クラスのそれぞれに属する画像に特化した高精度な推論が可能な学習済モデルをクラス毎に従来と比較して短時間で生成することができる。
図4A及び図4Bを参照して、実施の形態1に係る学習装置100の要部のハードウェア構成について説明する。
図4A及び図4Bは、実施の形態1に係る学習装置100の要部のハードウェア構成の一例を示す図である。
図4Aに示す如く、学習装置100はコンピュータにより構成されており、当該コンピュータはプロセッサ401及びメモリ402を有している。メモリ402には、当該コンピュータを学習用画像取得部110、撮影画像取得部111、クラスタリング部112、1次元学習画像生成部120、行列生成部130、特異値分解部140、学習済モデル生成部150、及び学習済モデル出力部160として機能させるためのプログラムが記憶されている。メモリ402に記憶されているプログラムをプロセッサ401が読み出して実行することにより、学習用画像取得部110、撮影画像取得部111、クラスタリング部112、1次元学習画像生成部120、行列生成部130、特異値分解部140、学習済モデル生成部150、及び学習済モデル出力部160が実現される。
また、図4Bに示す如く、学習装置100は処理回路403により構成されても良い。この場合、学習用画像取得部110、撮影画像取得部111、クラスタリング部112、1次元学習画像生成部120、行列生成部130、特異値分解部140、学習済モデル生成部150、及び学習済モデル出力部160の機能が処理回路403により実現されても良い。
また、学習装置100はプロセッサ401、メモリ402及び処理回路403により構成されても良い(不図示)。この場合、学習用画像取得部110、撮影画像取得部111、クラスタリング部112、1次元学習画像生成部120、行列生成部130、特異値分解部140、学習済モデル生成部150、及び学習済モデル出力部160の機能のうちの一部の機能がプロセッサ401及びメモリ402により実現されて、残余の機能が処理回路403により実現されるものであっても良い。
プロセッサ401は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、マイクロプロセッサ、マイクロコントローラ又はDSP(Digital Signal Processor)を用いたものである。
メモリ402は、例えば、半導体メモリ又は磁気ディスクを用いたものである。より具体的には、メモリ402は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、SSD(Solid State Drive)、又はHDD(Hard Disk Drive)などを用いたものである。
処理回路403は、例えば、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field-Programmable Gate Array)、SoC(System-on-a-Chip)又はシステムLSI(Large-Scale Integration)を用いたものである。
図5を参照して、実施の形態1に係る学習装置100の動作について説明する。
図5は、実施の形態1に係る学習装置100の処理の一例を説明するフローチャートである。
なお、図5は、学習装置100が学習用画像取得部110、1次元学習画像生成部120、行列生成部130、特異値分解部140、学習済モデル生成部150、及び学習済モデル出力部160に加えて、撮影画像取得部111及びクラスタリング部112を備える場合におけるフローチャートである。
学習装置100がクラスタリング部112、又は、撮影画像取得部111及びクラスタリング部112を備えていない場合、図5において、撮影画像取得部111又はクラスタリング部112が行う処理については適宜省略が可能である。
まず、ステップST501にて、撮影画像取得部111は、撮影画像情報を取得する。
次に、ステップST502にて、学習用画像取得部110は、複数の撮影画像情報のそれぞれに対応する複数の部分画像情報を学習用画像情報として取得する。
次に、ステップST503にて、クラスタリング部112は、複数の部分画像情報のそれぞれが示す部分画像をクラスタリングする。
次に、ステップST504にて、1次元学習画像生成部120は、複数の学習用画像情報について1次元学習画像信号を生成する。
次に、ステップST505にて、行列生成部130は、複数の1次元学習画像信号を互いに並列に配列した行列を生成する。
次に、ステップST506にて、特異値分解部140は、行列について特異値分解を行うことにより、右特異ベクトル及び特異値を算出する。ただし、追加学習処理、特定の学習データを取り除く、あるいは置き換える等の文献1による更新演算を用いた学習モデルの更新処理を行う場合(段落0031~段落0033)は、左特異ベクトルも得るようにする。
次に、ステップST507にて、学習済モデル生成部150は、右特異ベクトル及び特異値に基づいて学習済モデルを生成する。ただし、追加学習処理、特定の学習データを取り除く、あるいは、置き換える等の文献1による更新演算を用いた学習モデルの更新処理を行う場合(段落0031~段落0033)は、左特異ベクトルも含めて学習済モデルを生成する。
次に、ステップST508にて、学習済モデル出力部160は、学習済モデルを学習済モデル情報として出力する。
ステップST508の後、学習装置100は、当該フローチャートの処理を終了する。
図6から図9までを参照して、実施の形態1に係る画像処理装置200について説明する。
図6を参照して、実施の形態1に係る画像処理装置200が適用される画像処理システム20の要部の構成について説明する。
図6は、実施の形態1に係る画像処理装置200が適用される画像処理システム20の要部の構成の一例を示すブロック図である。
画像処理システム20は、記憶装置21、表示出力装置22、操作入力装置23、撮像装置24、及び画像処理装置200を備える。
記憶装置21は、画像処理装置200が予め定められた所定の処理を実行するために必要な情報を記憶する装置である。具体的には、例えば、記憶装置21は、学習装置100が出力した学習済モデル情報を記憶する。画像処理装置200は、記憶装置21に記憶された学習済モデル情報を読み出すことにより、学習済モデル情報を取得する。
表示出力装置22は、表示画像信号を取得して、当該表示画像信号が示す表示画像を表示するディスプレイ等の装置である。表示出力装置22は、画像処理装置200が出力する表示画像信号を受けて、当該表示画像信号が示す表示画像を表示する。
操作入力装置23は、ユーザ操作を受けてユーザ操作に基づく操作信号を出力するキーボード又はポインティングディバイス等の装置である。操作入力装置23は、キーボード又はポインティングディバイスに限定されるものではなく、ユーザ操作を受けてユーザ操作に基づく操作信号を出力する可能なものであれば、タッチパネル又はタッチセンサ等であってもよい。
操作入力装置23は、操作信号を画像処理装置200に出力する。
撮像装置24は、推論対象物体を撮影することにより得た画像(以下「撮影推論画像」という。)を撮影推論画像情報として出力するデジタルスチルカメラ等の装置である。具体的には、撮像装置24は、撮影推論画像情報を画像処理装置200に出力する。
画像処理装置200は、撮影推論画像情報が示す撮影推論画像に基づく画像(以下「推論対象画像」という。)と、学習済モデル情報が示す学習済モデルとに基づいて、推論対象画像に基づく信号を説明変数として学習済モデルに入力した際の学習済モデルが出力する推論結果を取得して、取得した推論結果に基づく推論結果情報を取得する装置である。
表示出力装置22及び操作入力装置23により、画像処理装置200を操作するユーザに対してインタラクティブなユーザインタフェースが提供される。
すなわち、ユーザは、表示出力装置22に表示される表示画像を確認しつつ、操作入力装置23を用いてユーザ操作を行うことにより、ユーザが所望する制御を画像処理装置200に行わせることができる。
図7を参照して、実施の形態1に係る画像処理装置200の要部の構成について説明する。
図7は、実施の形態1に係る画像処理装置200の要部の構成の一例を示すブロック図である。
画像処理装置200は、推論対象画像取得部210、1次元推論対象画像生成部220、及び推論部240を備える。
画像処理装置200は、上述の構成に加えて、撮影推論画像取得部211又は学習済モデル取得部230を備えるものであってもよい。
以下、画像処理装置200は、図7に示すように、推論対象画像取得部210、撮影推論画像取得部211、1次元推論対象画像生成部220、学習済モデル取得部230、及び推論部240を備えるものとして説明する。
なお、画像処理装置200は、図7には不図示の構成として、操作入力装置23が出力する操作信号を取得する操作取得部と表示画像を生成して当該表示画像を示す表示画像信号を表示出力装置22に出力する表示画像出力部を備えるものとする。
撮影推論画像取得部211は、推論対象物体を撮影することにより得た撮影推論画像を示す撮影推論画像情報を取得する。
具体的には、例えば、撮影推論画像取得部211は、撮像装置24が出力する撮影推論画像情報を取得する。
撮影推論画像取得部211が撮影推論画像情報を取得する方法は、撮像装置24が出力する撮影推論画像情報を取得する方法に限定されるものではない。例えば、撮影推論画像取得部211は、撮影推論画像情報を予め記憶した記憶装置21から撮影推論画像情報を読み出すことにより撮影推論画像情報を取得してもよい。
推論対象画像取得部210は、推論対象物体を撮影して得られた画像(撮影推論画像)に基づく画像(推論対象画像)を示す推論対象画像情報を取得する。
具体的には、例えば、推論対象画像取得部210は、推論対象画像情報を予め記憶した記憶装置21から推論対象画像情報を読み出すことにより、推論対象画像情報を取得する。
推論対象画像取得部210が推論対象画像情報を取得する方法は、記憶装置21から読み出す方法に限定されるものではない。例えば、推論対象画像取得部210は、撮影推論画像取得部211が取得する撮影推論画像情報を推論対象画像情報として取得してもよい。また、例えば、推論対象画像取得部210は、撮影推論画像取得部211が取得する撮影推論画像情報に基づいて、推論対象画像情報を生成することにより推論対象画像情報を取得してもよい。推論対象画像取得部210が、撮影推論画像情報に基づいて推論対象画像情報を生成する方法については後述する。
1次元推論対象画像生成部220は、推論対象画像取得部210が取得する推論対象画像情報が示す推論対象画像を1次元化して、推論対象画像情報に対応する1次元信号(以下「1次元推論対象画像信号」という。)を生成する。
具体的には、例えば、1次元推論対象画像生成部220は、推論対象画像取得部210が取得する推論対象画像情報が示す推論対象画像をラスタ査することにより1次元推論対象画像信号を生成する。
以下、推論対象画像取得部210が取得する推論対象画像情報が示す推論対象画像を推論対象画像wと表記し、推論対象画像wに対応する1次元推論対象画像信号であって、1次元推論対象画像生成部220が生成する1次元推論対象画像信号を1次元推論対象画像信号w と表記して説明する。
学習済モデル取得部230は、学習装置100が出力する学習済モデル情報を取得する。具体的には、例えば、学習済モデル取得部230は、学習済モデル情報を予め記憶した記憶装置21から学習済モデル情報を読み出すことにより、学習済モデル情報を取得する。学習済モデル取得部230は、LAN(Local Area Network)等の情報ネットワーク等を介して図6には不図示の学習装置100から学習済モデル情報を取得するものであってもよい。
なお、推論部240が学習済モデル情報を予め保持する場合、画像処理装置200において学習済モデル取得部230は必須の構成ではない。
推論部240は、1次元推論対象画像生成部220が生成する1次元推論対象画像信号に基づいて、1次元推論対象画像信号に対応する推論結果情報を取得する。具体的には、推論部240は、1次元推論対象画像信号を学習済モデル情報が示す学習済モデルに説明変数として入力して、学習済モデルが出力する推論結果を取得することにより、推論結果に基づく推論結果情報を取得する。
学習装置100が生成する学習済モデルが推論結果として1次元推論対象画像信号に対応する1次元近似信号を出力するものである場合、例えば、推論部240は、1次元推論対象画像信号を学習済モデルに説明変数として入力し、学習済モデルが推論結果として出力する1次元近似信号を取得する。更に、推論部240は、学習済モデルが推論結果として出力する1次元近似信号から生成される復元画像を示す復元画像情報を推論結果情報として取得する。具体的には、例えば、推論部240は、学習済モデルが推論結果として出力する1次元近似信号を、推論対象画像取得部210が取得する推論対象画像情報が示す推論対象画像と同様の大きさの2次元画像にマッピングすることにより復元画像を生成する。推論部240は、復元画像を生成することにより、復元画像を示す復元画像情報を推論結果情報として取得する。
また、学習装置100が生成する学習済モデルが推論結果として1次元推論対象画像信号に対応する推論対象画像の特徴ベクトルを出力するものである場合、例えば、推論部240は、1次元推論対象画像信号を学習済モデルに説明変数として入力し、学習済モデルが推論結果として出力する特徴ベクトルであって、1次元推論対象画像信号に対応する推論対象画像の特徴ベクトルを取得する。更に、推論部240は、学習済モデルが推論結果として出力する特徴ベクトルを示す特徴ベクトル情報を推論結果情報として取得する。
以上のように構成することにより、画像処理装置200は、従来と比較して短時間で生成された学習済モデルを用いて、高精度な推論を行うことができる。
推論対象画像取得部210が、撮影推論画像情報に基づいて推論対象画像情報を生成する方法について説明する。
推論対象画像取得部210は、撮影推論画像取得部211が取得する撮影推論画像情報が示す撮影推論画像について、撮影推論画像を複数の画像領域に分割する。推論対象画像取得部210は、撮影推論画像を複数の画像領域に分割することにより得た複数の画像(以下「部分推論画像」という。)のそれぞれを示す部分推論画像情報を生成して取得する。推論対象画像取得部210は、撮影推論画像取得部211が取得する撮影推論画像情報に対応する複数の部分推論画像情報のうちの予め定められた1以上の部分推論画像情報のそれぞれを推論対象画像情報として取得する。
推論対象画像取得部210が、部分推論画像情報を推論対象画像情報として取得する場合、1次元推論対象画像生成部220は、推論対象画像取得部210が取得する1以上の推論対象画像情報のそれぞれに対応する1次元推論対象画像信号を生成する。推論部240は、1次元推論対象画像生成部220が生成する1次元推論対象画像信号であって、1以上の推論対象画像情報のそれぞれに対応する1次元推論対象画像信号に対応する推論結果情報を取得する。
当該場合、学習済モデルは、学習装置100が学習用画像として部分画像を用いて生成した学習済モデル、具体的には、学習装置100が複数の部分画像であって、複数の撮影画像のそれぞれにおける互いに同じ画像領域に対応する部分画像に基づく1次元学習画像信号を互いに並列に配列することにより生成した行列に基づいて生成した学習済モデルである。したがって、学習済モデルは定義した画像領域毎に一つ存在する。
以上のように構成することにより、画像処理装置200は、撮影推論画像のうちの予め定められた1以上の画像領域のそれぞれにおける部分画像に特化した高精度な推論を行うことができる。
図8A及び図8Bを参照して、実施の形態1に係る画像処理装置200の要部のハードウェア構成について説明する。
図8A及び図8Bは、実施の形態1に係る画像処理装置200の要部のハードウェア構成の一例を示す図である。
図8Aに示す如く、画像処理装置200はコンピュータにより構成されており、当該コンピュータはプロセッサ801及びメモリ802を有している。メモリ802には、当該コンピュータを推論対象画像取得部210、撮影推論画像取得部211、1次元推論対象画像生成部220、学習済モデル取得部230、及び推論部240として機能させるためのプログラムが記憶されている。メモリ802に記憶されているプログラムをプロセッサ801が読み出して実行することにより、推論対象画像取得部210、撮影推論画像取得部211、1次元推論対象画像生成部220、学習済モデル取得部230、及び推論部240が実現される。
また、図8Bに示す如く、画像処理装置200は処理回路803により構成されても良い。この場合、推論対象画像取得部210、撮影推論画像取得部211、1次元推論対象画像生成部220、学習済モデル取得部230、及び推論部240の機能が処理回路803により実現されても良い。
また、画像処理装置200はプロセッサ801、メモリ802及び処理回路803により構成されても良い(不図示)。この場合、推論対象画像取得部210、撮影推論画像取得部211、1次元推論対象画像生成部220、学習済モデル取得部230、及び推論部240の機能のうちの一部の機能がプロセッサ801及びメモリ802により実現されて、残余の機能が処理回路803により実現されるものであっても良い。
プロセッサ801及びメモリ802は、図4Aに示すプロセッサ401及びメモリ402と同様のものであるため、説明を省略する。
また、処理回路803は、図4Bに示す処理回路403と同様のものであるため、説明を省略する。
図9を参照して、実施の形態1に係る画像処理装置200の動作について説明する。
図9は、実施の形態1に係る画像処理装置200の処理の一例を説明するフローチャートである。
なお、図9は、画像処理装置200が推論対象画像取得部210、1次元推論対象画像生成部220、及び推論部240に加えて、撮影推論画像取得部211及び学習済モデル取得部230を備える場合におけるフローチャートである。
画像処理装置200が撮影推論画像取得部211又は学習済モデル取得部230を備えていない場合、図9において、撮影推論画像取得部211及び学習済モデル取得部230が行う処理については適宜省略が可能である。
まず、ステップST901にて、撮影推論画像取得部211は、撮影推論画像情報を取得する。
次に、ステップST902にて、推論対象画像取得部210は、推論対象画像情報を取得する。
次に、ステップST903にて、1次元推論対象画像生成部220は、1次元推論対象画像信号を生成する。
次に、ステップST904にて、学習済モデル取得部230は、学習済モデル情報を取得する。
次に、ステップST905にて、推論部240は、学習済モデルが出力する推論結果を取得して推論結果に基づく推論結果情報を取得する。
ステップST905の後、画像処理装置200は、当該フローチャートの処理を終了して、終了後にステップST901に戻って当該フローチャートの処理を繰り返して実行する。
以上のように、実施の形態1に係る学習装置100は、学習用画像を示す学習用画像情報を取得する学習用画像取得部110と、学習用画像取得部110が取得する複数の学習用画像情報のそれぞれが示す学習用画像を1次元化して、複数の学習用画像情報に対応する複数の1次元学習画像信号を生成する1次元学習画像生成部120と、1次元学習画像生成部120が生成する複数の1次元学習画像信号を互いに並列に配列した行列を生成する行列生成部130と、行列生成部130が生成する行列について特異値分解を行うことにより、右特異ベクトル及び特異値を算出する特異値分解部140と、特異値分解部140が算出する右特異ベクトル及び特異値に基づく学習済モデルであって、推論対象物体を撮影して得られた画像である推論対象画像を1次元化した画像を示す1次元推論対象画像信号を説明変数として、推論結果を出力する学習済モデルを生成する学習済モデル生成部150と、学習済モデル生成部150が生成する学習済モデルを学習済モデル情報として出力する学習済モデル出力部160と、を備えた。
このように構成することにより、学習装置100は、従来と比較して短時間で高精度な推論が可能な学習済モデルを生成することができる。
また、以上のように、実施の形態1に係る学習装置100は、上述の構成において、学習済モデル生成部150は、1次元推論対象画像信号を説明変数として入力した際に、特異値分解部140が算出する右特異ベクトル及び特異値に基づいて、1次元推論対象画像信号の近似信号である1次元近似信号を推論結果として出力する学習済モデルを生成するように構成した。
このように構成することにより、学習装置100は、従来と比較して短時間で高精度な推論が可能な学習済モデルであって、学習済モデルに説明変数として入力した推論対象画像に基づく1次元近似信号を推論結果として出力する学習済モデルを生成することができる。
また、以上のように、実施の形態1に係る学習装置100は、上述の構成において、学習済モデル生成部150は、1次元推論対象画像信号を説明変数として入力した際に、特異値分解部140が算出する右特異ベクトル及び特異値に基づいて、1次元推論対象画像信号に対応する推論対象画像の特徴ベクトルを推論結果として出力する学習済モデルを生成するように構成した。
このように構成することにより、学習装置100は、従来と比較して短時間で高精度な推論が可能な学習済モデルであって、学習済モデルに説明変数として入力した1次元推論対象画像信号に対応する推論対象画像の特徴ベクトルを推論結果として出力する学習済モデルを生成することができる。
また、以上のように、実施の形態1に係る学習装置100は、上述の構成において、1次元学習画像生成部120は、学習用画像取得部110が取得する学習用画像情報が示す学習用画像をラスタ査することにより1次元学習画像信号を生成するように構成した。
このように構成することにより、学習装置100は、簡単に学習用画像を1次元学習画像信号に変換することができる。
また、以上のように、実施の形態1に係る学習装置100は、上述の構成において、学習用画像取得部110は、互いに等しい画素数である複数の学習用画像のそれぞれを示す学習用画像情報を取得するように構成した。
このように構成することにより、学習装置100は、学習済モデルを生成する際に、複数の学習用画像に対して複雑な画像処理を施すことなく、簡単に行列を生成することができる。
また、以上のように、実施の形態1に係る学習装置100は、上述の構成に加えて、対象物体を撮影することにより取得した撮影画像を示す撮影画像情報であって、互いに異なる複数の対象物体のそれぞれに対応する撮影画像情報を取得する撮影画像取得部111を備え、学習用画像取得部110は、撮影画像取得部111が取得する複数の撮影画像情報のそれぞれが示す撮影画像について、撮影画像を複数の画像領域に分割して、撮影画像に基づく複数の部分画像のそれぞれを示す部分画像情報を撮影画像情報毎に取得することにより、撮影画像取得部111が取得する複数の撮影画像情報のそれぞれに対応する複数の部分画像情報を学習用画像情報として取得するように構成した。
このように構成することにより、学習装置100は、推論対象物体を撮影して得られた撮影画像のうちの予め定められた画像領域における部分画像に特化した高精度な推論が可能な学習済モデルを従来と比較して短時間で生成することができる。
また、以上のように、実施の形態1に係る学習装置100は、上述の構成において、行列生成部130は、学習用画像取得部110が取得する複数の部分画像情報であって、撮影画像取得部111が取得する複数の撮影画像情報のそれぞれに対応する複数の部分画像情報のうちの予め定められた条件に適合する複数の部分画像情報に対応する複数の1次元学習画像信号を互いに並列に配列することにより、行列を生成するように構成した。
このように構成することにより、学習装置100は、推論対象物体を撮影して得られた撮影画像のうちの予め定められた画像領域における部分画像に特化した高精度な推論が可能な学習済モデルを従来と比較して短時間で生成することができる。
また、以上のように、実施の形態1に係る学習装置100は、上述の構成において、行列生成部130は、撮影画像取得部111が取得する複数の撮影画像情報のそれぞれが示す撮影画像における互いに同じ画像領域に対応する部分画像情報に基づいて1次元学習画像生成部120が生成した1次元学習画像信号を互いに並列に配列することにより、行列を生成するように構成した。
このように構成することにより、学習装置100は、推論対象物体を撮影して得られた撮影画像のうちの予め定められた画像領域における部分画像に特化した高精度な推論が可能な学習済モデルを従来と比較して短時間で生成することができる。
また、以上のように、実施の形態1に係る学習装置100は、上述の構成に加えて、学習用画像取得部110が取得する複数の部分画像情報であって、撮影画像取得部111が取得する複数の撮影画像情報のそれぞれに対応する複数の部分画像情報のそれぞれが示す部分画像をクラスタリングするクラスタリング部112を備え、行列生成部130は、クラスタリング部112がクラスタリングした結果に基づいて分類された各クラスに属する複数の部分画像のそれぞれについて1次元学習画像生成部120が生成した1次元学習画像信号を互いに並列に配列することにより、行列を生成するように構成した。
このように構成することにより、学習装置100は、推論対象物体を撮影して得られた撮影画像のうちの各クラスに属する部分画像に特化した高精度な推論が可能な学習済モデルを従来と比較して短時間で生成することができる。
また、以上のように、実施の形態1に係る学習装置100は、上述の構成に加えて、行列生成部130は、予め定められた条件に基づいて、条件毎に対応する行列を生成し、特異値分解部140は、行列生成部130が生成する条件毎の行列について、右特異ベクトル及び特異値を算出し、学習済モデル生成部150は、行列生成部130が生成する条件毎の行列に対応する右特異ベクトル及び特異値に基づいて、条件毎の行列に対応する学習済モデルを生成するように構成した。このように構成することにより、学習装置100は、推論対象物体を撮影して得られた撮影画像のうちの、予め定められた画像領域における部分画像、又は、クラスタリング部112がクラスタリングした結果に基づいて分類された各クラスに属する部分画像に特化した高精度な推論が可能な学習済モデルであって、条件毎の行列に対応する複数の学習済モデルを従来と比較して短時間で生成することができる。
また、以上のように、実施の形態1に係る画像処理装置200は、推論対象物体を撮影して得られた画像である撮影推論画像に基づく画像である推論対象画像を示す推論対象画像情報を取得する推論対象画像取得部210と、推論対象画像取得部210が取得する推論対象画像情報が示す推論対象画像を1次元化して、推論対象画像情報に対応する1次元推論対象画像信号を生成する1次元推論対象画像生成部220と、1次元推論対象画像生成部220が生成する1次元推論対象画像信号に基づいて、1次元推論対象画像信号に対応する推論結果情報を取得する推論部240であって、1次元推論対象画像信号を学習済モデルに説明変数として入力して、学習済モデルが出力する推論結果を取得することにより、推論結果に基づく推論結果情報を取得する推論部240と、を備えた。
このように構成することにより、画像処理装置200は、従来と比較して短時間で生成された学習済モデルを用いて、高精度な推論を行うことができる。
また、以上のように、実施の形態1に係る画像処理装置200は、上述の構成において、推論部240は、1次元推論対象画像信号を学習済モデルに説明変数として入力し、学習済モデルが推論結果として出力する1次元近似信号であって、1次元推論対象画像信号の近似信号である1次元近似信号を取得し、学習済モデルが推論結果として出力する1次元近似信号から生成される復元画像を示す復元画像情報を推論結果情報として取得するように構成した。
このように構成することにより、画像処理装置200は、従来と比較して短時間で生成された学習済モデルを用いて、学習済モデルに説明変数として入力した推論対象画像に基づく1次元推論対象画像信号から1次元推論対象画像信号を近似した1次元近似信号を取得し、取得した1次元近似信号を用いて推論対象画像を高精度に推論することができる。
また、以上のように、実施の形態1に係る画像処理装置200は、上述の構成において、推論部240は、学習済モデルが推論結果として出力する1次元近似信号を、推論対象画像取得部210が取得する推論対象画像情報が示す推論対象画像と同様の大きさの2次元画像にマッピングすることにより復元画像を生成して、復元画像を示す復元画像情報を取得するように構成した。
このように構成することにより、画像処理装置200は、従来と比較して短時間で生成された学習済モデルを用いて、学習済モデルに説明変数として入力した推論対象画像に基づく1次元推論対象画像信号から1次元推論対象画像信号を近似した1次元近似信号を取得し、取得した1次元近似信号を用いて推論対象画像を高精度に推論することができる。
また、以上のように、実施の形態1に係る画像処理装置200は、上述の構成において、推論部240は、1次元推論対象画像信号を学習済モデルに説明変数として入力し、学習済モデルが推論結果として出力する特徴ベクトルであって、1次元推論対象画像信号に対応する推論対象画像の特徴ベクトルを取得し、学習済モデルが推論結果として出力する特徴ベクトルを示す特徴ベクトル情報を推論結果情報として取得するように構成した。
このように構成することにより、画像処理装置200は、従来と比較して短時間で生成された学習済モデルを用いて、学習済モデルに説明変数として入力した1次元推論対象画像信号に対応する推論対象画像の特徴ベクトルを高精度に推論することができる。
また、以上のように、実施の形態1に係る画像処理装置200は、上述の構成において、1次元推論対象画像生成部220は、推論対象画像取得部210が取得する推論対象画像情報が示す推論対象画像をラスタ査することにより1次元推論対象画像信号を生成するように構成した。
このように構成することにより、画像処理装置200は、簡単に推論対象画像を1次元推論対象画像信号に変換することができる。
また、以上のように、実施の形態1に係る画像処理装置200は、上述の構成に加えて、推論対象物体を撮影することにより得た撮影推論画像を示す撮影推論画像情報を取得する撮影推論画像取得部211を備え、推論対象画像取得部210は、撮影推論画像取得部211が取得する撮影推論画像情報が示す撮影推論画像について、撮影推論画像を複数の画像領域に分割して、撮影推論画像に基づく複数の部分推論画像のそれぞれを示す部分推論画像情報を取得することにより、撮影推論画像取得部211が取得する撮影推論画像情報に対応する複数の部分推論画像情報のうちの予め定められた1以上の部分推論画像情報のそれぞれを推論対象画像情報として取得し、1次元推論対象画像生成部220は、推論対象画像取得部210が取得する1以上の推論対象画像情報のそれぞれに対応する1次元推論対象画像信号を生成し、推論部240は、1次元推論対象画像生成部220が生成する1次元推論対象画像信号であって、1以上の推論対象画像情報のそれぞれに対応する1次元推論対象画像信号に対応する推論結果情報を取得するように構成した。
このように構成することにより、画像処理装置200は、推論対象物体を撮影して得られた撮影推論画像のうちの予め定められた画像領域における部分画像に特化した高精度な推論を行うことができる。
実施の形態2.
図10から図13までを参照して、実施の形態2に係る画像処理装置200aについて説明する。
図10を参照して、実施の形態2に係る画像処理装置200aが適用される画像処理システム20aの要部の構成について説明する。
図10は、実施の形態2に係る画像処理装置200aが適用される画像処理システム20aの要部の構成の一例を示すブロック図である。
画像処理システム20aは、記憶装置21、表示出力装置22、操作入力装置23、撮像装置24、及び画像処理装置200aを備える。
すなわち、画像処理システム20aは、実施の形態1に係る画像処理装置200が画像処理装置200aに変更されたものである。
図10において、図6に示す構成と同様の構成には同一符号を付して詳細な説明を省略する。すなわち、記憶装置21、表示出力装置22、操作入力装置23、及び撮像装置24については詳細な説明を省略する。
画像処理装置200aは、実施の形態1に係る画像処理装置200が備える機能を備えつつ、新たに、推論対象画像に写る推論対象物体に異常があるか否かを判定する機能が追加されたものである。ここで、異常とは正常な推論対象物体(良品)にない特徴のことを示す。異常の例としては、製品検査であれば傷、汚れ、変色、異物付着、破損、欠損、部品誤り、印字誤り等が挙げられる。
図11を参照して、実施の形態2に係る画像処理装置200aの要部の構成について説明する。
図11は、実施の形態2に係る画像処理装置200aの要部の構成の一例を示すブロック図である。
画像処理装置200aは、推論対象画像取得部210、撮影推論画像取得部211、1次元推論対象画像生成部220、学習済モデル取得部230、推論部240、異常判定部250、及び判定結果出力部260を備える。
すなわち、画像処理装置200aは、実施の形態1に係る画像処理装置200に異常判定部250及び判定結果出力部260が追加されたものである。
図11において、図7に示す構成と同様の構成には同一符号を付して詳細な説明を省略する。すなわち、画像処理装置200aが備える撮影推論画像取得部211、1次元推論対象画像生成部220、学習済モデル取得部230、及び推論部240については詳細な説明を省略する。
なお、実施の形態2に係る画像処理装置200aが備える推論部240が用いる学習済モデルは、実施の形態1に係る学習装置100が生成する学習済モデルであって、説明変数として入力された1次元推論対象画像信号の近似信号である1次元近似信号を推論結果として出力する学習済モデルである。さらに、当該学習済モデルは、異常のない撮影対象物体が写る撮影画像(以下「良品画像」という。)を示す複数の学習用画像にそれぞれ対応する複数の1次元学習画像信号を用いて学習されたモデルである。
すなわち、実施の形態2に係る画像処理装置200aが備える推論部240は、1次元推論対象画像信号を学習済モデルに説明変数として入力し、学習済モデルが推論結果として出力する1次元近似信号であって、1次元推論対象画像信号の近似信号である1次元近似信号を取得し、学習済モデルが推論結果として出力する1次元近似信号から生成される復元画像を示す復元画像情報を推論結果情報として取得するものである。このとき、復元画像は複数の良品画像のみから学習された学習済モデルを用いて推論されているため、良品画像の特徴のみを精度良く復元することができる。
異常判定部250は、推論対象画像取得部210が取得する推論対象画像情報と、推論部240が生成する復元画像情報とに基づいて、推論対象画像情報が示す推論対象画像と復元画像情報が示す復元画像とを比較することにより、推論対象画像に写る推論対象物体に異常があるか否かを判定する。
具体的には、例えば、異常判定部250は、推論対象画像情報が示す推論対象画像と復元画像情報が示す復元画像とのそれぞれを予め定められた画像サイズを有する複数の検査ブロックに分割する。
以下、推論対象画像を分割した検査ブロックを検査対象ブロックと称し、復元画像を分割した検査ブロックを復元検査ブロックと称して説明する。
ここで、推論対象画像と復元画像とは同じ画像サイズの画像であり同一の分割を行うため、検査対象ブロックの個数と復元検査ブロックの個数とは等しいものとなる。以下、検査対象ブロックの個数と復元検査ブロックの個数とは、いずれもj(jは正の整数)個であるものとして説明する。また、検査ブロック及び復元検査ブロックは、分割画像の説明として例示した図3Bにおいて、S≦BかつS≦Bとなるように、各ブロックが隣接する、あるいはブロック同士が重なるように分割することにより生成可能である。このようにすることで、各異常領域に対して、異常領域(傷、異物等)がブロック内に収まる検査ブロックが1以上存在する確率を上げることができる。すなわち、異所領域がブロックの境界を跨いでしまうことで複数のブロックに異常領域が分割されてしまい、各ブロックの異常スコアが小さくなり検出漏れが発生してしまう確率を下げることができる。
図12を参照して、実施の形態2に係る画像処理装置200aが備える異常判定部250が比較する推論対象画像における検査ブロックと、復元画像における検査ブロックを復元検査ブロックとについて説明する。
図12は、実施の形態2に係る画像処理装置200aが備える異常判定部250が比較する推論対象画像における検査対象ブロックと、復元画像における復元検査ブロックと一例を示す説明図である。
図12において、左側に示す画像が推論対象画像であり、推論対象画像における実線による矩形で囲んだ画像領域の画像が検査対象ブロックの1つである。また、図12において、右側に示す画像が復元画像であり、復元画像における実線による矩形で囲んだ画像領域の画像が当該検査対象ブロックに対応する復元検査ブロックである。
異常判定部250は、j個の検査対象ブロックのそれぞれについて、検査対象ブロックと、復元画像において推論対象画像における当該検査対象ブロックと同じ画像領域に対応する復元検査ブロックとを比較することにより推論対象画像に写る推論対象物体に異常があるか否かを判定する。先述した通り、復元画像は複数の良品画像のみから学習された学習済モデルを用いて推論されているため、良品画像の特徴のみを精度良く復元することができる。一方で、良品に存在しない特徴を有する異常個所については復元精度が低くなる。よって、検査対象ブロックと復元検査ブロックとの差異が大きい領域が異常と判定することが可能となる。
より具体的には、例えば、異常判定部250は、次式(9)を用いて、k(kはj以下の任意の正の整数)番目の検査対象ブロックと当該検査対象ブロックに対応するk番目の復元検査ブロックとの差分評価値を算出する。

Figure 0007337303000001
ここで、αは、k番目の検査対象ブロックと当該検査対象ブロックに対応するk番目の復元検査ブロックとの差分評価値である。また、Rは、k番目の検査対象ブロックにおける画素の集合(以下「画素集合」という。)であり、Gは、k番目の復元検査ブロックにおける画素の集合であり、nはR及びGの画素数である。
また、S(x)は、画素集合Xにおける画素x(x=1,2,・・・,n、nは画素集合Xの画素数)の信号値であり、Eは、画素集合Xにおける信号値の平均値である。
なお、式(9)は各画素集合R、Gに対して平均値E(x=R、G)を引いた値の絶対値差分和を求めている。これにより画素集合R、Gの信号値自体の違いではなくテクスチャの違いにのみ着目した差分評価値を示す。これによって、学習に用いた複数の学習用画像のばらつきの範囲を超えるような、撮影条件ばらつきに起因する推論対象画像の画面全体の明るさといった平均値のばらつきに影響しない評価が可能となる。一方、そのような平均値のばらつきも含めて異常として評価したい場合は、式(9)におけるE(x=R、G)を削除した式をαとして定義すればよい。
更に、例えば、異常判定部250は、次式(10)を用いて、j個の検査対象ブロックのそれぞれに対応する差分評価値の最大値である検査スコアIを算出する。
Figure 0007337303000002
ここで、α_baseは、予め定められた値であって、予め用意した良品画像について、当該良品画像と、当該良品画像に基づいて推論部240が生成した復元画像(以下「良品復元画像」という。)と、に基づいて算出される良品画像における検査対象ブロックと良品復元画像における復元検査ブロックとの差分評価値(例えば式(9)で算出される差分評価値)の最大値である。
すなわち、α_baseが予め用意した良品画像に基づいて発生し得る良品画像のばらつきを網羅した値であるとした場合、α_baseは、良品画像に基づいて発生する最大の異常度を示している。
したがって、例えば、異常判定部250は、式(10)により算出される検査スコアIの値が0(零)を超える場合、推論対象画像に写る推論対象物体に異常があるか否かを判定する。
なお、異常判定部250が、式(10)により算出される検査スコアIにより推論対象画像に写る推論対象物体に異常があるか否かを判定する閾値は、0(零)に限定されるものではない。当該閾値は、0(零)より大きい値であっても、0(零)より小さい値であってもよい。当該閾値は、大きい程、異常と判定されにくくなるため、過検出の発生確率(過検出率)が抑制される一方で、異常の見逃しが発生する確率(見逃し率)が上がる。この過検出率と見逃し率はトレードオフの関係にあるため、当該閾値は本画像処理装置におけるチューニングパラメータとなる。
判定結果出力部260は、異常判定部250が判定した結果を判定結果情報として出力する。
具体的には、例えば、判定結果出力部260は、判定結果情報を表示画像信号として表示出力装置22に出力して、判定結果情報を表示出力装置22に表示出力させてもよい。
また、例えば、判定結果出力部260は、判定結果情報照明装置又は音声出力装置等の図10に不図示の出力装置に出力して、推論対象物体に異常があると判定した場合において、当該異常がある旨を当該出力装置に放置させるようにしてもよい。
なお、実施の形態2に係る画像処理装置200aにおける推論対象画像取得部210、撮影推論画像取得部211、1次元推論対象画像生成部220、学習済モデル取得部230、推論部240、異常判定部250、及び判定結果出力部260の各機能は、実施の形態1において図8A及び図8Bに一例を示したハードウェア構成におけるプロセッサ801及びメモリ802により実現されるものであっても良く、又は処理回路803により実現されるものであっても良い。
図13を参照して、実施の形態2に係る画像処理装置200aの動作について説明する。
図13は、実施の形態2に係る画像処理装置200aの処理の一例を説明するフローチャートである。
なお、図13において、ステップST901からステップST905までの処理は、図9に示すステップST901からステップST905までの処理と同様である。
まず、ステップST901にて、撮影推論画像取得部211は、撮影推論画像情報を取得する。
次に、ステップST902にて、推論対象画像取得部210は、推論対象画像情報を取得する。
次に、ステップST903にて、1次元推論対象画像生成部220は、1次元推論対象画像信号を生成する。
次に、ステップST904にて、学習済モデル取得部230は、学習済モデル情報を取得する。
次に、ステップST905にて、推論部240は、学習済モデルが出力する推論結果を取得して推論結果に基づく推論結果情報を取得する。
次に、ステップST1301にて、異常判定部250は、推論対象画像に写る推論対象物体に異常があるか否かを判定する。
次に、ステップST1302にて、判定結果出力部260は、判定結果情報を出力する。
ステップST1302の後、画像処理装置200aは、当該フローチャートの処理を終了して、終了後にステップST901に戻って当該フローチャートの処理を繰り返して実行する。
以上のように、実施の形態2に係る画像処理装置200aは、推論対象物体を撮影して得られた画像である撮影推論画像に基づく画像である推論対象画像を示す推論対象画像情報を取得する推論対象画像取得部210と、推論対象画像取得部210が取得する推論対象画像情報が示す推論対象画像を1次元化して、推論対象画像情報に対応する1次元推論対象画像信号を生成する1次元推論対象画像生成部220と、1次元推論対象画像生成部220が生成する1次元推論対象画像信号に基づいて、1次元推論対象画像信号に対応する推論結果情報を取得する推論部240であって、1次元推論対象画像信号を学習済モデルに説明変数として入力して、学習済モデルが出力する推論結果を取得することにより、推論結果に基づく推論結果情報を取得する推論部240と、を備えた画像処理装置200aであって、画像処理装置200aが備える推論部240は、1次元推論対象画像信号を学習済モデルに説明変数として入力し、学習済モデルが推論結果として出力する1次元近似信号であって、1次元推論対象画像信号の近似信号である1次元近似信号を取得し、学習済モデルが推論結果として出力する1次元近似信号から生成される復元画像を示す復元画像情報を推論結果情報として取得するものであり、更に、画像処理装置200aは、推論対象画像取得部210が取得する推論対象画像情報と、推論部240が生成する復元画像情報とに基づいて、推論対象画像情報が示す推論対象画像と復元画像情報が示す復元画像とを比較することにより、推論対象画像に写る推論対象物体に異常があるか否かを判定する異常判定部250と、異常判定部250が判定した結果を判定結果情報として出力する判定結果出力部260と、を備えた。
このように構成することにより、画像処理装置200aは、従来と比較して短時間で生成された学習済モデルを用いて、学習済モデルに説明変数として入力した推論対象画像に基づく1次元推論対象画像信号から1次元推論対象画像信号を近似した1次元近似信号を取得し、取得した1次元近似信号を用いて、推論対象画像を復元した復元画像を高精度に推論でき、更に、復元画像と推論対象画像とを比較することにより、推論対象画像に写る推論対象物体に異常があるか否かを判定することができる。
実施の形態3.
図14から図16までを参照して、実施の形態3に係る画像処理装置200bについて説明する。
図14を参照して、実施の形態3に係る画像処理装置200bが適用される画像処理システム20bの要部の構成について説明する。
図14は、実施の形態3に係る画像処理装置200bが適用される画像処理システム20bの要部の構成の一例を示すブロック図である。
画像処理システム20bは、記憶装置21、表示出力装置22、操作入力装置23、撮像装置24、及び画像処理装置200bを備える。
すなわち、画像処理システム20bは、実施の形態1に係る画像処理装置200が画像処理装置200bに変更されたものである。
図14において、図6に示す構成と同様の構成には同一符号を付して詳細な説明を省略する。すなわち、記憶装置21、表示出力装置22、操作入力装置23、及び撮像装置24については詳細な説明を省略する。
画像処理装置200bは、実施の形態1に係る画像処理装置200が備える機能を備えつつ、新たに、推論対象画像情報を予め定められた複数のグループのうちのいずれかのグループに分類する機能が追加されたものである。
図15を参照して、実施の形態3に係る画像処理装置200bの要部の構成について説明する。
図15は、実施の形態3に係る画像処理装置200bの要部の構成の一例を示すブロック図である。
画像処理装置200bは、推論対象画像取得部210、撮影推論画像取得部211、1次元推論対象画像生成部220、学習済モデル取得部230、推論部240、及び分類部270を備える。
すなわち、画像処理装置200bは、実施の形態1に係る画像処理装置200に分類部270が追加されたものである。
図15において、図7に示す構成と同様の構成には同一符号を付して詳細な説明を省略する。すなわち、画像処理装置200bが備える撮影推論画像取得部211、1次元推論対象画像生成部220、学習済モデル取得部230、及び推論部240については詳細な説明を省略する。
なお、実施の形態3に係る画像処理装置200bが備える推論部240が用いる学習済モデルは、実施の形態1に係る学習装置100が生成する学習済モデルであって、説明変数として入力された1次元推論対象画像信号に対応する推論対象画像の特徴ベクトルを推論結果として出力する学習済モデルである。
すなわち、実施の形態3に係る画像処理装置200bが備える推論部240は、1次元推論対象画像信号を学習済モデルに説明変数として入力し、学習済モデルが推論結果として出力する特徴ベクトルであって、1次元推論対象画像信号に対応する推論対象画像の特徴ベクトルを取得し、学習済モデルが推論結果として出力する特徴ベクトルを示す特徴ベクトル情報を推論結果情報として取得するものである。
分類部270は、推論部240が取得する特徴ベクトル情報に基づいて、特徴ベクトル情報に対応する推論対象画像情報を、予め定められた複数のグループのうちのいずれかのグループに分類し、分類した結果を示す分類結果情報を出力する。
具体的には、例えば、分類部270は、推論部240が取得する特徴ベクトル情報を用いて、サポートベクターマシン(Support Vector Machine:SVM)等の教師あり学習に基づく分類を行うことにより、推論対象画像情報を予め定められた複数のグループのうちのいずれかのグループに分類する。
サポートベクターマシン等の教師あり学習に基づく分類方法については、周知の技術であるための説明を省略する。
なお、実施の形態3に係る画像処理装置200bにおける推論対象画像取得部210、撮影推論画像取得部211、1次元推論対象画像生成部220、学習済モデル取得部230、推論部240、及び分類部270の各機能は、実施の形態1において図8A及び図8Bに一例を示したハードウェア構成におけるプロセッサ801及びメモリ802により実現されるものであっても良く又は処理回路803により実現されるものであっても良い。
図16を参照して、実施の形態2に係る画像処理装置200bの動作について説明する。図16は、実施の形態2に係る画像処理装置200bの処理の一例を説明するフローチャートである。
なお、図16において、ステップST901からステップST905までの処理は、図9に示すステップST901からステップST905までの処理と同様である。
まず、ステップST901にて、撮影推論画像取得部211は、撮影推論画像情報を取得する。
次に、ステップST902にて、推論対象画像取得部210は、推論対象画像情報を取得する。
次に、ステップST903にて、1次元推論対象画像生成部220は、1次元推論対象画像信号を生成する。
次に、ステップST904にて、学習済モデル取得部230は、学習済モデル情報を取得する。
次に、ステップST905にて、推論部240は、学習済モデルが出力する推論結果を取得して推論結果に基づく推論結果情報を取得する。
次に、ステップST1601にて、分類部270は、分類結果情報を出力する。
ステップST1601の後、画像処理装置200bは、当該フローチャートの処理を終了して、終了後にステップST901に戻って当該フローチャートの処理を繰り返して実行する。
以上のように、実施の形態2に係る画像処理装置200bは、推論対象物体を撮影して得られた画像である撮影推論画像に基づく画像である推論対象画像を示す推論対象画像情報を取得する推論対象画像取得部210と、推論対象画像取得部210が取得する推論対象画像情報が示す推論対象画像を1次元化して、推論対象画像情報に対応する1次元推論対象画像信号を生成する1次元推論対象画像生成部220と、1次元推論対象画像生成部220が生成する1次元推論対象画像信号に基づいて、1次元推論対象画像信号に対応する推論結果情報を取得する推論部240であって、1次元推論対象画像信号を学習済モデルに説明変数として入力して、学習済モデルが出力する推論結果を取得することにより、推論結果に基づく推論結果情報を取得する推論部240と、を備えた画像処理装置200bであって、画像処理装置200bが備える推論部240は、推論部240は、1次元推論対象画像信号を学習済モデルに説明変数として入力し、学習済モデルが推論結果として出力する特徴ベクトルであって、1次元推論対象画像信号に対応する推論対象画像の特徴ベクトルを取得し、学習済モデルが推論結果として出力する特徴ベクトルを示す特徴ベクトル情報を推論結果情報として取得するものであり、更に、画像処理装置200bは、推論部240が取得する特徴ベクトル情報に基づいて、特徴ベクトル情報に対応する推論対象画像情報を、予め定められた複数のグループのうちのいずれかのグループに分類し、分類した結果を示す分類結果情報を出力する分類部270を備えた。
このように構成することにより、画像処理装置200bは、従来と比較して短時間で生成された学習済モデルを用いて、学習済モデルに説明変数として入力した1次元推論対象画像信号に対応する推論対象画像の特徴ベクトルを用いて、特徴ベクトル情報に対応する推論対象画像情報を、予め定められた複数のグループのうちのいずれかのグループに分類することができる。
なお、この開示は、その開示の範囲内において、実施の形態の任意の構成要素の変形、又は、実施の形態において任意の構成要素の省略が可能である。
この開示に係る学習装置は、学習システム又は画像処理システムに適用することができる。
10 学習システム、11 記憶装置、12 表示出力装置、13 操作入力装置、100 学習装置、110 学習用画像取得部、111 撮影画像取得部、112 クラスタリング部、120 1次元学習画像生成部、130 行列生成部、140 特異値分解部、150 学習済モデル生成部、160 学習済モデル出力部、20,20a,20b 画像処理システム、21 記憶装置、22 表示出力装置、23 操作入力装置、24 撮像装置、200,200a,200b 画像処理装置、210 推論対象画像取得部、211 撮影推論画像取得部、220 1次元推論対象画像生成部、230 学習済モデル取得部、240 推論部、250 異常判定部、260 判定結果出力部、270 分類部、401,801 プロセッサ、402,802 メモリ、403,803 処理回路。

Claims (13)

  1. 学習用画像を示す学習用画像情報を取得する学習用画像取得部と、
    前記学習用画像取得部が取得する複数の前記学習用画像情報のそれぞれが示す前記学習用画像を1次元化して、複数の前記学習用画像情報に対応する複数の1次元学習画像信号を生成する1次元学習画像生成部と、
    前記1次元学習画像生成部が生成する複数の前記1次元学習画像信号を互いに並列に配列した行列を生成する行列生成部と、
    前記行列生成部が生成する前記行列について特異値分解を行うことにより、右特異ベクトル及び特異値を算出する特異値分解部と、
    前記特異値分解部が算出する前記右特異ベクトル及び前記特異値に基づく学習済モデルであって、推論対象物体を撮影して得られた画像である推論対象画像を1次元化した画像を示す1次元推論対象画像信号を説明変数として、推論結果を出力する前記学習済モデルを生成する学習済モデル生成部と、
    前記学習済モデル生成部が生成する前記学習済モデルを学習済モデル情報として出力する学習済モデル出力部と、
    を備えたこと
    を特徴とする学習装置。
  2. 前記学習済モデル生成部は、前記1次元推論対象画像信号を前記説明変数として入力した際に、前記特異値分解部が算出する前記右特異ベクトル及び前記特異値に基づいて、前記1次元推論対象画像信号の近似信号である1次元近似信号を前記推論結果として出力する前記学習済モデルを生成すること
    を特徴とする請求項1記載の学習装置。
  3. 前記学習済モデル生成部は、前記1次元推論対象画像信号を前記説明変数として入力した際に、前記特異値分解部が算出する前記右特異ベクトル及び前記特異値に基づいて、前記1次元推論対象画像信号に対応する前記推論対象画像の特徴ベクトルを前記推論結果として出力する前記学習済モデルを生成すること
    を特徴とする請求項1記載の学習装置。
  4. 前記特異値分解部は、前記行列生成部が生成する前記行列について特異値分解を行うことにより算出した左特異ベクトル、前記右特異ベクトル及び前記特異値が既に存在する場合、これらを得るために特異値分解した前記行列と前記行列生成部が生成する前記行列とを行方向に連結した行列を特異値分解する方法として、前記行列生成部が生成する前記行列を用いて、既に存在する前記左特異ベクトル、既に存在する前記右特異ベクトル及び既に存在する前記特異値を更新する行列演算を行うことで、前記右特異ベクトル及び前記特異値を算出すること
    を特徴とする請求項1記載の学習装置。
  5. 前記行列生成部は、前記行列生成部が生成する前記行列について特異値分解を行うことにより算出した左特異ベクトル、前記右特異ベクトル及び前記特異値が既に存在する場合、これらを得るために特異値分解した前記行列の中から1次元学習画像信号を1つ選択し、前記選択した1次元学習画像信号を除いた行列を生成し、
    前記特異値分解部は、前記選択した1次元学習画像信号を除いた前記行列の特異値分解結果を得る方法として、前記選択した1次元学習画像信号を用いて、既に存在する前記左特異ベクトル、既に存在する前記右特異ベクトル及び既に存在する前記特異値を更新する行列演算を行うことで、前記右特異ベクトル及び前記特異値を算出すること
    を特徴とする請求項1記載の学習装置。
  6. 前記1次元学習画像生成部は、前記学習用画像取得部が取得する前記学習用画像情報が示す前記学習用画像をラスタ査することにより前記1次元学習画像信号を生成すること
    を特徴とする請求項1記載の学習装置。
  7. 前記学習用画像取得部は、互いに等しい画素数である複数の前記学習用画像のそれぞれを示す前記学習用画像情報を取得すること
    を特徴とする請求項1記載の学習装置。
  8. 前記学習用画像取得部は、対象物体が撮影された撮影画像を分割した複数の部分画像のそれぞれを示す部分画像情報を、前記学習用画像情報として取得すること
    を特徴とする請求項1記載の学習装置。
  9. 前記行列生成部は、前記学習用画像取得部が取得する複数の前記部分画像情報のうちの予め定められた条件に適合する複数の前記部分画像情報に対応する複数の前記1次元学習画像信号を互いに並列に配列することにより、前記行列を生成すること
    を特徴とする請求項8記載の学習装置。
  10. 前記行列生成部は、前記撮影画像における互いに同じ画像領域に対応する前記部分画像情報に基づいて、前記1次元学習画像生成部が生成した前記1次元学習画像信号を互いに並列に配列することにより、前記行列を生成すること
    を特徴とする請求項9記載の学習装置。
  11. 前記学習用画像取得部が取得する複数の前記部分画像情報のそれぞれが示す前記部分画像をクラスタリングするクラスタリング部
    を備え、
    前記行列生成部は、前記クラスタリング部がクラスタリングした結果に基づいて分類された各クラスに属する複数の前記部分画像のそれぞれについて前記1次元学習画像生成部が生成した前記1次元学習画像信号を互いに並列に配列することにより、前記行列を生成すること
    を特徴とする請求項9記載の学習装置。
  12. 前記行列生成部は、予め定められた前記条件に基づいて、前記条件毎に対応する前記行列を生成し、
    前記特異値分解部は、前記行列生成部が生成する前記条件毎の前記行列について、前記右特異ベクトル及び前記特異値を算出し、
    前記学習済モデル生成部は、前記行列生成部が生成する前記条件毎の前記行列に対応する前記右特異ベクトル及び前記特異値に基づいて、前記条件毎の前記行列に対応する前記学習済モデルを生成すること
    を特徴とする請求項9記載の学習装置。
  13. 学習用画像取得部が、学習用画像を示す学習用画像情報を取得するステップと、
    1次元学習画像生成部が、前記学習用画像取得部により取得された複数の前記学習用画像情報のそれぞれが示す前記学習用画像を1次元化して、複数の前記学習用画像情報に対応する複数の1次元学習画像信号を生成するステップと、
    行列生成部が、前記1次元学習画像生成部により生成された複数の前記1次元学習画像信号を互いに並列に配列した行列を生成するステップと、
    特異値分解部が、前記行列生成部により生成された前記行列について特異値分解を行うことにより、右特異ベクトル及び特異値を算出するステップと、
    学習済モデル生成部が、前記特異値分解部により算出された前記右特異ベクトル及び前記特異値に基づく学習済モデルであって、推論対象物体を撮影して得られた画像である推論対象画像を1次元化した画像を示す1次元推論対象画像信号を説明変数として、推論結果を出力する前記学習済モデルを生成するステップと、
    学習済モデル出力部が、前記学習済モデル生成部により生成された前記学習済モデルを学習済モデル情報として出力するステップと、
    を備えたこと
    を特徴とする学習方法。
JP2023520707A 2021-05-14 2021-05-14 学習装置、及び学習方法 Active JP7337303B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/018320 WO2022239216A1 (ja) 2021-05-14 2021-05-14 学習装置、学習方法、画像処理装置、及び画像処理方法

Publications (3)

Publication Number Publication Date
JPWO2022239216A1 JPWO2022239216A1 (ja) 2022-11-17
JPWO2022239216A5 JPWO2022239216A5 (ja) 2023-07-05
JP7337303B2 true JP7337303B2 (ja) 2023-09-01

Family

ID=84028999

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023520707A Active JP7337303B2 (ja) 2021-05-14 2021-05-14 学習装置、及び学習方法

Country Status (7)

Country Link
US (1) US20240062527A1 (ja)
EP (1) EP4328812A1 (ja)
JP (1) JP7337303B2 (ja)
KR (1) KR20230162115A (ja)
CN (1) CN117280356A (ja)
TW (1) TWI823123B (ja)
WO (1) WO2022239216A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115601232B (zh) * 2022-12-14 2023-03-10 华东交通大学 一种基于奇异值分解的彩色图像去色方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020077186A (ja) 2018-11-07 2020-05-21 株式会社東芝 監視システム、プログラム、及び記憶媒体
US20200364558A1 (en) 2019-05-16 2020-11-19 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
JP2021037596A (ja) 2019-09-04 2021-03-11 株式会社東芝 ロボットシステムおよび駆動方法
JP2021039757A (ja) 2019-09-02 2021-03-11 国立研究開発法人農業・食品産業技術総合研究機構 分類装置、学習装置、分類方法、学習方法、制御プログラム及び記録媒体
JP2021042992A (ja) 2019-09-06 2021-03-18 清水建設株式会社 外観検査システム、及び外観検査方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020077186A (ja) 2018-11-07 2020-05-21 株式会社東芝 監視システム、プログラム、及び記憶媒体
US20200364558A1 (en) 2019-05-16 2020-11-19 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
JP2021039757A (ja) 2019-09-02 2021-03-11 国立研究開発法人農業・食品産業技術総合研究機構 分類装置、学習装置、分類方法、学習方法、制御プログラム及び記録媒体
JP2021037596A (ja) 2019-09-04 2021-03-11 株式会社東芝 ロボットシステムおよび駆動方法
JP2021042992A (ja) 2019-09-06 2021-03-18 清水建設株式会社 外観検査システム、及び外観検査方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GOGOVI, Gideon Kwadzo,"Chapter 3 Methodology",Digital Image Processing Via Singular Value Decomposition [online],Kwame Nkrumah University of Science and Technology,2013年,pp. 38-58,[retrieved on 2021.06.26], Retrieved from the Internet: <URL: http://ir.knust.edu.gh/handle/123456789/5348>.

Also Published As

Publication number Publication date
TW202244837A (zh) 2022-11-16
KR20230162115A (ko) 2023-11-28
CN117280356A (zh) 2023-12-22
JPWO2022239216A1 (ja) 2022-11-17
EP4328812A1 (en) 2024-02-28
WO2022239216A1 (ja) 2022-11-17
US20240062527A1 (en) 2024-02-22
TWI823123B (zh) 2023-11-21

Similar Documents

Publication Publication Date Title
Qi et al. Pointnet++: Deep hierarchical feature learning on point sets in a metric space
US11514694B2 (en) Teaching GAN (generative adversarial networks) to generate per-pixel annotation
CN111462120B (zh) 一种基于语义分割模型缺陷检测方法、装置、介质及设备
Gu et al. Blind image quality assessment via learnable attention-based pooling
Ghorai et al. Multiple pyramids based image inpainting using local patch statistics and steering kernel feature
CN108961180B (zh) 红外图像增强方法及系统
WO2019026104A1 (ja) 情報処理装置、情報処理プログラム及び情報処理方法
Jiang et al. A deep evaluator for image retargeting quality by geometrical and contextual interaction
CN111028327A (zh) 一种三维点云的处理方法、装置及设备
WO2020168648A1 (zh) 一种图像分割方法、装置及计算机可读存储介质
CN113177592B (zh) 一种图像分割方法、装置、计算机设备及存储介质
Mahmoudi et al. Sparse representations for range data restoration
CN108460400A (zh) 一种结合多种特征信息的高光谱图像分类方法
US20240062527A1 (en) Training device and training method
CN112651955A (zh) 一种肠道图像的识别方法及终端设备
Tussupov et al. APPLYING MACHINE LEARNING TO IMPROVE A TEXTURE TYPE IMAGE.
CN112307991A (zh) 一种图像识别方法、装置及存储介质
CN117058554A (zh) 电力设备目标检测方法、模型训练方法和装置
CN113409316B (zh) 一种图像分类方法、装置、计算机可读存储介质及设备
Bakhtiarnia et al. PromptMix: Text-to-image diffusion models enhance the performance of lightweight networks
CN114764746A (zh) 激光雷达的超分辨率方法和装置、电子设备及存储介质
CN111597373B (zh) 基于卷积神经网络和连通图的图片归类方法及相关设备
Shen et al. Graph-Represented Distribution Similarity Index for Full-Reference Image Quality Assessment
CN111597375B (zh) 基于相似图片组代表特征向量的图片检索方法及相关设备
JP2020067954A (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230412

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230412

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230822

R150 Certificate of patent or registration of utility model

Ref document number: 7337303

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150