JP7416071B2 - 判定装置、および判定プログラム - Google Patents

判定装置、および判定プログラム Download PDF

Info

Publication number
JP7416071B2
JP7416071B2 JP2021542815A JP2021542815A JP7416071B2 JP 7416071 B2 JP7416071 B2 JP 7416071B2 JP 2021542815 A JP2021542815 A JP 2021542815A JP 2021542815 A JP2021542815 A JP 2021542815A JP 7416071 B2 JP7416071 B2 JP 7416071B2
Authority
JP
Japan
Prior art keywords
image
feature
distribution
defective
product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021542815A
Other languages
English (en)
Other versions
JPWO2021039591A1 (ja
Inventor
駿人 寺中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Publication of JPWO2021039591A1 publication Critical patent/JPWO2021039591A1/ja
Application granted granted Critical
Publication of JP7416071B2 publication Critical patent/JP7416071B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、判定基準生成装置、判定装置、判定基準生成プログラム、および判定プログラムに関する。
多くの工場では、生産した製品の良品、不良品を検査している。良品、不良品の検査は、限度見本を用意して判断することが好ましい。しかし、欠陥の発生頻度が低い場合は、限度見本とする候補数が少ないため、適切な限度見本が用意できない。
限度見本が用意できない場合、製品の良品、不良品の判断は、経験豊かな作業者の勘に委ねられる。しかし、作業者の勘に頼る場合は、作業者が異なると判断基準が変わってしまったり、同一作業者であっても一貫性がなくなってしまったりするという問題があった。
このような問題点に対処するために、限度見本の候補となる不良品数が少ない場合にも、限度見本を生成できる技術が開発されている。
たとえば、特許文献1では、様々な形態、形状の欠陥を再現するための押圧用器具を用意することで、現物の欠陥製品を複数、大量に製造し、そこから限度見本を生成している。
また、特許文献2では、不良品の画像を現実的に起こりうる形で生成して学習用画像に加えることで、学習する識別モデルの汎化性を向上している。
特開2016-161398号公報 特開2006-337152号公報
しかしながら、特許文献1では、所望の限度見本を意図的に製造しなければならず、限度見本を製造するためのコストの増大が無視できない。また、様々な欠陥や、その発生位置の組み合わせは膨大になることから、それらを網羅することも現実的には困難である。
また、特許文献2では、不良品の画像を現実的に起こりうる形で生成する必要がある。このため、作業者は、事前にどのような欠陥が起こり得るか知っている必要がある。しかも、もともと不良品の数が少なければ、発生し得る欠陥そのものを予想すること、特に、欠陥の特徴量(位置、面積、色など)を事前に定量的に予想することは困難である。
本発明は、上記の事情に鑑みてなされたものであり、本発明の目的は、現物の不良データを十分にそろえることができなくても、所定の対象データに該当するか、該当しないかを判定することができる基準を生成する判定装置および判定プログラムを提供する。より具体的には、たとえば良品、不良品を判定することができる基準を生成する判定装置および判定プログラムを提供する。
本発明の上記の目的は、下記の手段によって達成される。
(1)判定対象に関するデータを入力し、前記判定対象に関するデータの特徴量の分布を計算し、
前記計算した特徴量の分布から、所定の対象データに該当するか、該当しないかを判定するための基準となる基準データのデータ分布を生成する分布計算部と、
前記基準データの特徴量から、限度基準データを生成する限度基準データ生成部と、
前記限度基準データ生成部によって生成された前記限度基準データを出力する出力部と、
ユーザーからの変更指示を受け付けて、前記基準データの特徴量を変更する限度基準データ変更部と、
前記判定対象が前記所定の対象データに該当するか、該当しないかを判定する判定部と、を有し、
前記分布計算部は、入力された前記判定対象に関するデータの特徴量を計算し、
前記限度基準データ生成部は、前記限度基準データ変更部が変更した基準データの特徴量に基づき前記限度基準データを変更し、
前記出力部は、変更された前記限度基準データを出力し、
前記判定部は、得られた前記判定対象に関するデータの特徴量と、前記限度基準データ変更部によって変更された基準データの特徴量とを比較して、前記判定対象に関するデータに含まれる前記判定対象が前記所定の対象データに該当するか、該当しないかを判定する、判定装置。
(2)前記限度基準データ変更部は、前記基準データの特徴量の分布の外側にある特徴量と、前記基準データの特徴量のうち、前記外側にある特徴量から近い2つの特徴量とに基づいて画定される範囲を拡大された基準データ範囲として設定する、上記(1)に記載の判定装置。
(3)前記限度基準データ変更部は、前記2つの特徴量のうちの1つの特徴量と前記外側にある特徴量とを結ぶ直線上の前記1つの特徴量と前記外側にある特徴量との間にある1点と、前記2つの特徴量とに基づいて画定される範囲を拡大された基準データ範囲として設定する、上記(2)に記載の判定装置。
(4)前記限度基準データ変更部は、前記基準データの特徴量の分布の重心と前記外側にある特徴量とを結ぶ直線上の前記重心と前記外側にある特徴量との間にある1点と、前記2つの特徴量とに基づいて画定される範囲を拡大された基準データ範囲として設定する、上記(2)に記載の判定装置。
(5)製品が写っている画像を入力として、前記画像の特徴量の分布を計算して、当該計算した分布から、前記画像に写っている前記製品の良品、不良品を判定するための基準となる良品画像の特徴量の分布を生成する分布計算部と、
前記良品画像の特徴量から、限度見本画像として前記製品のイメージ画像を生成する限度見本画像生成部と、
前記限度見本画像生成部によって生成された前記限度見本画像を出力する出力部と、
ユーザーからの変更指示を受け付けて、前記良品画像の特徴量を変更する限度見本画像変更部と、
製品の写っている検査対象画像に写っている前記製品が良品か、不良品かを判定する判定部と、を有し、
前記分布計算部は、製品の写っている検査対象画像が入力されて、当該検査対象画像の特徴量を計算し、
前記限度見本画像生成部は、前記限度見本画像変更部が変更した前記良品画像の特徴量に基づき前記限度見本画像を変更し、
前記出力部は、変更された前記限度見本画像を出力し、
前記判定部は、得られた前記検査対象画像の特徴量と、前記限度見本画像変更部によって変更された良品画像の特徴量とを比較して、前記検査対象画像に写っている前記製品が良品か、不良品かを判定する、判定装置。
(6)前記出力部は、前記検査対象画像の特徴量から生成された画像を出力する、上記(5)に記載の判定装置。
(7)複数の良品の前記画像からなる良品画像群を入力とし、当該良品画像群のなかのそれぞれの前記画像の特徴量の分布を学習して、復元モデルを生成する復元モデル生成部を有し、
前記分布計算部は、前記復元モデル生成部の学習によって得られた前記画像の特徴量の分布に基づき前記良品画像の分布を計算する、上記(5)または(6)に記載の判定装置。
(8)判定対象に関するデータを入力し、前記判定対象に関するデータの特徴量の分布を計算し、
前記計算した特徴量の分布から、所定の対象データに該当するか、該当しないかを判定するための基準となる基準データのデータ分布を生成する段階(a)と、
前記基準データの特徴量から、限度基準データを生成する段階(b)と、
前記段階(b)において生成された前記限度基準データを出力する段階(c)と、
ユーザーからの変更指示を受け付けて、前記基準データの特徴量を変更する段階(d)と、
前記段階(d)において変更した基準データの特徴量に基づき前記限度基準データを変更する段階(e)と、
前記段階(e)において変更された前記限度基準データを出力する段階(f)と、
判定対象に関するデータが入力されて、当該判定対象に関するデータの特徴量を計算する段階(g)と、
前記段階(g)において得られた前記判定対象に関するデータの特徴量と、前記段階(d)において変更された基準データの特徴量とを比較して、前記判定対象に関するデータに含まれる前記判定対象が前記所定の対象データに該当するか、該当しないかを判定する、処理をコンピューターに実行させるための判定プログラム。
(9)前記段階(d)において、前記基準データの特徴量の分布の外側にある特徴量と、前記基準データの特徴量のうち、前記外側にある特徴量から近い2つの特徴量とに基づいて画定される範囲を拡大された基準範囲として設定する、上記(8)に記載の判定プログラム。
(10)前記段階(d)において、前記2つの特徴量のうちの1つの特徴量と前記外側にある特徴量とを結ぶ直線上の前記1つの特徴量と前記外側にある特徴量との間にある1点と、前記2つの特徴量とに基づいて画定される範囲を拡大された基準範囲として設定する、上記(9)に記載の判定プログラム。
(11)前記段階(d)において、前記基準データの特徴量の分布の重心と前記外側にある特徴量とを結ぶ直線上の前記重心と前記外側にある特徴量との間にある1点と、前記2つの特徴量とに基づいて画定される範囲を拡大された基準範囲として設定する、上記(9)に記載の判定プログラム。
(12)製品が写っている画像を入力として、前記画像の特徴量の分布を計算して、当該計算した分布から、前記画像に写っている前記製品の良品、不良品を判定するための基準となる良品画像の特徴量の分布を生成する段階(a)と、
前記良品画像の特徴量から、限度見本画像として前記製品のイメージ画像を生成する段階(b)と、
前記段階(b)において生成された前記限度見本画像を出力する段階(c)と、
ユーザーからの変更指示を受け付けて、前記良品画像の特徴量を変更する段階(d)と、
前記段階(d)において変更された前記良品画像の特徴量に基づき前記限度見本画像を変更する段階(e)と、
前記(e)において変更された前記限度見本画像を出力する段階(f)と、
製品の写っている検査対象画像が入力されて、当該検査対象画像の特徴量を計算する段階(g)と、
前記段階(g)において得られた前記検査対象画像の特徴量と、前記段階(d)において変更された前記良品画像の特徴量とを比較して、前記検査対象画像に写っている前記製品が良品か、不良品かを判定する段階(h)と、を有する処理をコンピューターに実行させるための判定プログラム。
(13)前記検査対象画像の特徴量から生成された画像を出力する段階を有する、上記(12)に記載の判定プログラム。
(14)複数の良品の前記画像からなる良品画像群を入力とし、当該良品画像群のなかのそれぞれの前記画像の特徴量の分布を学習して、復元モデルを生成する段階をさらに有し、
学習によって得られた前記画像の特徴量の分布に基づき前記良品画像の分布を計算する、上記(12)または(13)に記載の判定プログラム。
本発明によれば、判定対象に関するデータから特徴量を計算し、得られた特徴量から、所定の対象データに該当するか、該当しないかを判定するための基準となるデータ分布を生成した。これにより、本発明は、現物の不良データを十分にそろえることができなくても、適切に所定の対象データに該当するか否かを判定できる。
また、本発明によれば、良品の画像から特徴量を計算し、得られた特徴量を良品と不良品を判定するための基準となる良品画像の分布とした。これにより、本発明は、不良品の現物や不良品の画像を十分にそろえることができなくても、適切に良品と不良品を判定できる。
実施形態1の情報処理装置の機能構成および処理を説明するための説明図である。 VAEの機能を説明するためのブロック図である。 実施形態1における良品不良品判定を説明するための特徴量の分布図である。 実施形態1における良品不良品判定を説明するための特徴量の分布図である。 実施形態1における良品不良品判定を説明するための特徴量の分布図である。 実施形態2の情報処理装置の機能構成および処理を説明するための説明図である。 実施形態2における限度見本画像の変更を説明するための説明図である。 実施形態2における限度見本画像の変更を説明するための説明図である。 実施形態2における限度見本画像の変更を説明するための説明図である。 実施形態2における限度見本画像の変更を説明するための説明図である。 2つ以上の特徴量を変化させる例を説明するための説明図である。 2つ以上の特徴量を変化させる例を説明するための説明図である。 2つ以上の特徴量を変化させる例を説明するための説明図である。 2つ以上の特徴量を変化させる例を説明するための説明図である。 2つ以上の特徴量を変化させる例を説明するための説明図である。 2つ以上の特徴量を変化させる例を説明するための説明図である。 2つ以上の特徴量を変化させる例を説明するための説明図である。 2つ以上の特徴量を変化させる例を説明するための説明図である。 2つ以上の特徴量を変化させる例を説明するための説明図である。 2つ以上の特徴量を変化させる例を説明するための説明図である。 2つ以上の特徴量を変化させる例を説明するための説明図である。 2つ以上の特徴量を変化させる例を説明するための説明図である。
以下、図面を参照して、本発明の実施形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
(実施形態1)
図1は、実施形態1の情報処理装置の機能構成および処理を説明するための説明図である。
情報処理装置10は、その機能として、分布計算部111、分布出力部112、良品/不良品判定部113、判定結果出力部114を有する。
情報処理装置10は、コンピューターであり、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)、および外部接続のためのインターフェース(IF)などを有する。また、情報処理装置10は、キーボードやマウスなどの入力装置、ディスプレイなどの出力装置を有する。また、情報処理装置10は、多くの画像を処理することから、GPU(Graphics Processing Unit)を有してもよい。また、情報処理装置10は、HDDに代えて、SSD(Solid State Drive)などの半導体不揮発性メモリを有してもよい。
また、情報処理装置10は、外部機器やネットワークと接続するためのインターフェースを有する。インターフェースは、たとえば、他の情報処理装置10(コンピューター)およびネットワークと通信を行うために、たとえば、イーサネット(登録商標)、SATA、PCI Express、USB、IEEE1394などの規格によるネットワークインターフェース、Bluetooth(登録商標)、IEEE802.11などの無線通信インターフェースなどである。また、インターフェースは、無線LAN(WiFi)や携帯電話回線でもよい。
情報処理装置10は、CPUがROMやHDDに記憶されているプログラムを読み出して実行することで、各部の機能が実現される。特に、情報処理装置10は、判定基準生成プログラム、および判定プログラムが実行されることで判定基準生成装置および判定装置として機能する。
このような情報処理装置10となるコンピューターとしては、具体的には、たとえば、パーソナルコンピューター(PC)、タブレット型コンピューター、スマートフォンなどが利用される。
分布計算部111は、特徴量分布計算・復元モデル101と、検査対象画像103とを入力とし、検査対象画像103の特徴量に基づき画像の分布を計算し、特徴量分布計算・復元モデル101を出力する。特徴量分布計算・復元モデル101は、判定対象に関するデータの特徴量から判定対象に関するデータを復元する復元モデルである。本実施形態において、判定対象に関するデータは、製品の画像である。したがって、特徴量分布計算・復元モデル101は、製品の画像を復元する復元モデルである。
検査対象画像103は、たとえば、情報処理装置10に接続されたカメラによって撮影された製品の画像である。また、検査対象画像103としては、たとえば、別に用意されたカメラによって撮影された製品の画像が、データとして情報処理装置10に入力されてもよい。
分布計算部111の処理は、既存の技術を用いて実行されうる。たとえば、ディープラーニング技術を用いた生成モデルの技術であるVAE(Variational Autoencoder)を用いることができる(参考:Auto-Encoding Variational Bayes [Kingma+ 2013] URL=https://arxiv.org/abs/1312.6114)。
VAEは周知であるので、ここでは、本実施形態に使用するVAEの機能について、簡単に説明する。図2は、VAEの機能を説明するためのブロック図である。
本実施形態1では、VAEの以下の機能を利用した。VAEは、入力された画像501をエンコーダー502により特徴量503に圧縮する。これにより、VAEは、画像501を特徴量503の分布(潜在空間)として表現する。また、VAEは、デコーダー504により、特徴量503から画像505を復元する。
VAEでは、人為的な特徴量の設計は不要で、学習によって任意の次元の特徴量が自動設計される。VAEでは、たとえば、2次元の特徴量を学習させるように設定すると、2次元の分布図として2次元の特徴量をもつ復元モデルが画像として可視化される。
本実施形態1では、このVAEを分布計算部111として用いている。本実施形態において、VAEは、分布計算部111による基準となるデータ分布の生成に用いられる。したがって、VAEは、判定基準生成プログラムの少なくとも一部として提供される。分布計算部111では、検査対象画像103が少なくとも2枚入力されることで、入力された画像から特徴量を計算して、得られた特徴量から特徴量の分布を計算する。このとき入力される検査対象画像103は良品の画像である。また、このとき入力される検査対象画像103は判定対象に関するデータである。
分布計算部111は、得られた特徴量の分布から復元モデルを生成する。分布計算部111は、得られた特徴量の分布と復元モデルを特徴量分布計算・復元モデル101として、HDDなどに記憶させる。分布計算部111は、復元モデルの特徴量を、良品画像の分布102として出力する。この良品画像の分布102は、VAEのエンコーダー機能によって、製品の画像から圧縮された特徴量の分布である。良品画像の分布102は、良品、不良品を判定するための製品モデルとなる。良品画像の分布102は、HDDなどに記憶される。良品画像の分布102は、所定の対象データに該当するか、該当しないかを判定するための基準となるデータ分布である。したがって、所定の対象データに該当するデータは良品のデータとなり、該当しないデータは、不良品のデータとなる。
また、分布計算部111は、検査対象画像103が1つ入力される都度、その製品の特徴量を算出して、入力画像の分布104として出力する。したがって、製品モデルである良品画像の分布102のなかに、入力された検査対象画像103の特徴量が表されることになる。
分布出力部112は、VAEのデコーダー機能によって、入力画像の分布104から復元された製品イメージの画像を出力する。分布出力部112から出力された画像は、情報処理装置10に接続されているディスプレイなどに表示される。分布出力部112は、良品画像の分布102から復元された製品イメージの画像とともに、入力画像の分布104から復元された製品イメージの画像を一緒に出力してもよい。
また、分布出力部112は、ユーザーの指示に応じて、インターフェースを介して他のコンピューターへ入力画像の分布104から復元された製品イメージの画像を出力する。分布出力部112は、ユーザーの指示に応じて、入力画像の分布104から復元された製品イメージの画像の出力を停止する。また、入力画像の分布104から復元された製品イメージの画像の出力が不要であれば、分布出力部112は、なくてもよい。
良品/不良品判定部113は、良品画像の分布102として算出された良品の特徴量の分布と、入力された検査対象画像103の特徴量とを比較して入力された検査対象画像103に写っている製品が、良品か、不良品かを判定する。したがって、良品/不良品判定部113は、特徴量だけを数値として比較することで、良品、不良品を判定することができる。良品/不良品判定部113による判定は、判定プログラムによって実行される。判定プログラムは、良品画像の分布102における良品の特徴量の分布と、入力された検査対象画像103の特徴量とを比較して、検査対象画像103に写っている製品が良品か不良否かを判定するための処理をコンピューターに実行させる。また、このとき入力される検査対象画像103は、判定対象データである。
また、良品/不良品判定部113は、良品画像の分布102の特徴量から復元された製品イメージの画像と、検査対象画像103の特徴量から復元された製品イメージの画像とを比較して判定してもよい。この場合、グラフィカルなイメージでの判定が行える。そして、このグラフィカルな判定状態をディスプレイなどに表示させてもよい。良品/不良品判定部113は、判定結果105を出力する。
判定結果出力部114は、情報処理装置10に接続されているディスプレイなどに、判定結果105を出力して表示させる。判定結果出力部114は、ユーザーの指示に応じて、インターフェースを介して他のコンピューターへ判定結果105を出力する。
図3~5は、実施形態1における良品不良品判定を説明するための特徴量の分布図である。各分布図においては、外側ほど特徴量が大きい。
本実施形態1では、製品モデル150として、5次元の特徴量となるように、分布計算部111に分布計算させた。これにより、図3に示すように、分布計算部111によって5次元の特徴量の分布151~155をもつ製品モデル150が生成される。この製品モデル150は、良品画像の分布102であって、5次元の特徴量の最大値が分布151~155である。分布151~155を結ぶ線の内側は、良品範囲160である。良品/不良品判定部113は、この製品モデル150の良品範囲160に、検査対象画像103の特徴量が入っていれば良品と判定し、入っていなければ不良品と判定する。
ここで仮に、検査対象画像103として、不良品の画像が入力されたなら、分布計算部111によってその不良品の特徴量が算出される。ここでは、不良品の特徴量の一つが良品範囲160を超えていたとする。その場合、入力画像の分布104としては、図4に示すように、特徴量の1つが、良品範囲160から離れた位置156に現れる。
この場合、良品/不良品判定部113は、検査対象画像103として入力された製品を不良品と判定する。判定結果105は、判定結果出力部114によって出力される。
また、判定結果出力部114は、図4に示したように、製品モデル150とともに、今回入力された検査対象画像103(ここでは不良品)の特徴量の位置156を出力させて、ディスプレイなどに表示させる。これにより、ユーザーは、現在の良品の特徴量の分布(良品画像の分布102)に対し、不良品と判定された製品が、どのような特徴量(位置156)をもっているか、視覚的に確認することができる。また、判定結果出力部114は、製品モデル150の画像ではなく、製品モデル150から復元された製品イメージの画像と、検査対象画像103(ここでは不良品)の特徴量から復元された製品イメージの画像を出力させて、ディスプレイなどに表示させてもよい。判定結果出力部114は、VAEのデコーダー機能によって、各画像を復元する。
本実施形態1では、良品範囲160を任意に広げることができる。良品範囲160を広げるためには、たとえば、図5に示すように、表示されている製品モデル150の良品範囲160と、不良品の位置156との間に、新たな良品の限度位置157が設定される。限度位置157は、新たに設定された特徴量である。したがって、この場合、今までの良品範囲160よりも、ある次元の特徴量が増加されたことになる。これにより、良品範囲160が拡大されて、新たな良品範囲161が生成される。なお、新たな良品の限度位置157は、位置158、159など、ユーザーによって任意の位置に設定される。新たな良品範囲161が生成されると、その特徴量によって良品画像の分布102が更新される。更新された良品画像の分布102は、HDDなどに記憶される。これにより、良品/不良品判定部113は、新たな良品範囲161が良品範囲160に加えられた範囲を用いて判定する。
また、分布出力部112は、図5に示した新たな良品範囲161が加わった製品モデル150として出力しディスプレイなどに表示される。ユーザーは、新たな良品範囲161が加わった製品モデル150がディスプレイに表示されることで、任意に変更された良品範囲を視覚的に確認することができる。
本実施形態1によれば、良品の画像を検査対象画像103として入力し、そのなかから特徴量を抽出して、特徴量の分布である良品画像の分布102を生成する。良品画像の分布102は、良品、不良品を判定するための基準となる製品モデル150である。そして、本実施形態1では、製品モデル150の良品範囲160を基準として、良品範囲160から離れた特徴量をもつ検査対象画像103を不良品と判定する。このように、本実施形態1では、良品の画像から、良品、不良品を判定するための良品画像の分布102が生成されて、それを基準として不良品を判定することができる。したがって、本実施形態1では、不良品の現物や不良品の画像が得られない場合でも、良品画像だけから、適切に外観検査を行うことができる。
また、本実施形態1では、良品範囲とする特徴量を変えることで、良品とする範囲を任意に変更できる。しかも、特徴量は、製品の画像から計算されているので、どのような特徴量を使用するか、ユーザーが決める必要はないので、良品範囲の設定や変更が容易である。
(実施形態2)
図6は、実施形態2の情報処理装置10の機能構成および処理を説明するための説明図である。なお、本実施形態2の説明においては、実施形態1と同様の機能を有する各部については同一の符号を付し、それらの説明は省略する。
情報処理装置10は、その機能として、実施形態1同様に、分布計算部111、分布出力部112を有する。情報処理装置10は、さらに、復元モデル生成部215、限度見本画像生成部216、限度見本画像出力部217、限度見本画像変更部218、良品画像分布変更部219を有する。
情報処理装置10は、実施形態1同様に、コンピューターである。また、本実施形態2においても、情報処理装置10は、判定基準生成プログラム、および判定プログラムが実行されることで判定基準生成装置および判定装置として機能する。
本実施形態2においては、分布計算部111とともに復元モデル生成部215において、ディープラーニング技術を用いた生成モデルの技術であるVAEを使用する。VAEについては、実施形態1で説明したとおりである。
復元モデル生成部215は、良品画像群201の入力を受けて、良品画像群201のなかのそれぞれの画像から特徴量を計算して、得られた特徴量から特徴量の分布を計算する。良品画像群201は、複数の良品の画像からなる。復元モデル生成部215は、得られた特徴量の分布から復元モデルを生成する。復元モデル生成部215は、得られた特徴量の分布と復元モデルを特徴量分布計算・復元モデル101として、HDDなどに記憶させる。復元モデル生成部215は、復元モデルを、良品画像の分布102として出力する。良品画像の分布102は、良品、不良品を判定するため製品モデル250(後述の図7a以降の各図参照)となる。良品画像の分布102は、HDDなどに記憶される。本実施形態2においても、良品画像の分布102は、所定の対象データに該当するか、該当しないかを判定するための基準となるデータ分布である。
分布計算部111は、本実施形態2においては、検査対象画像103が1つ入力される都度、その製品の特徴量を算出して、検査画像の分布204として出力する。
分布出力部112は、検査画像の分布204から製品イメージの画像を復元して出力する。出力された製品イメージの画像は、ディスプレイに表示されたり、他のコンピューターなどに送信されたりする。
本実施形態2では、限度見本画像生成部216が、良品画像の分布102の入力を受けて、限度見本画像205を生成する。限度見本画像生成部216は、良品画像の分布102の特徴量からVAEのデコーダーの機能を用いて復元した製品イメージを限度見本画像205として生成する。
生成された限度見本画像205は、限度見本画像出力部217によってディスプレイなどへ出力されて表示される。限度見本画像出力部217は、ユーザーの指示に応じて、インターフェースを介して他のコンピューターへ限度見本画像205を出力する。
限度見本画像205は、良品、不良品の判定に用いられる。限度見本画像205を用いた判定は、情報処理装置10に行わせてもよい。その場合、情報処理装置10には、実施形態1のように、良品/不良品判定部113を設ける。また、限度見本画像205は、ディスプレイに表示されたり、印刷されたりして、ユーザーが目視により製品を判定するために用いられてもよい。
また、本実施形態2では、限度見本画像205そのものをユーザーが任意に変更することができる。このために、本実施形態2では、限度見本画像変更部218が、ユーザーからの限度見本画像の変更指示を受ける。限度見本画像変更部218は、ユーザーから変更指示を受けて、特徴量を変更する。変更された特徴量は、限度見本画像生成部216へ送られる。限度見本画像生成部216は、変更された特徴量からVAEのデコーダーの機能を用いて、変更後の製品イメージである限度見本画像205を生成する。生成された変更後の限度見本画像205は、限度見本画像出力部217によってディスプレイなどへ出力されて表示される。
また、限度見本画像205は、良品画像分布変更部219へも送られる。良品画像分布変更部219は、限度見本画像205が変更されたときには、変更指示された特徴量を加えた良品画像の分布102を出力する。変更された良品画像の分布102は、すなわち、ユーザーによって、良品、不良品を判定する限度が変更された製品モデル250となる。なお、良品画像分布変更部219は、限度見本画像205が最初に生成された時点では、良品画像の分布102を変更しない。
図7aおよび7b、図8aおよび8bは、実施形態2における限度見本画像205の変更を説明するための説明図である。図7aでは、特徴量の分布である製品モデル250を示し、図7bでは、特徴量から生成された限度見本画像となる画像例251を示している。
本実施形態2においても、5次元の特徴量となるように、復元モデル生成部215および分布計算部111に分布計算させた。
本実施形態2では、限度画像出力部によって、図7aに示した製品モデル250とともに、図7bに示した画像例251が、ディスプレイなどに表示される。
画像例251においては、良品画像271と、不良品画像273が表示される。良品画像271では製品に欠陥はなく、不良品画像273では製品に欠陥276がある。この時点では、良品画像271が良品、不良品判定を行うための限度見本画像である。また、製品モデル250における良品範囲160は、図7aに示したとおりである。
そして、本実施形態2では、限度見本画像変更部218の機能により限度見本画像が変更される。たとえば、本実施形態2では、図7bに示した画像例251のように、表示されている良品画像271と不良品画像273の間で、生成画像272をスライドさせる。生成画像272には、製品の欠陥275aがある。限度見本画像変更部218は、生成画像272のスライドに合わせて特徴量を増減させて、限度見本画像生成部216へ増減させた特徴量を送る。限度見本画像生成部216は受け取った特徴量から製品のイメージ画像を生成して、限度見本画像205を出力する。
このとき、図7aに示したように、製品モデル250では、矢印270の位置がA-Bの範囲で移動する。そして、良品範囲160は、A-Bの範囲で増減して、拡大された良品範囲161aとなる。
さらに、図8bに示した画像例251のように、生成画像272を不良品画像273の方へスライドさせる。そうすると、特徴量が増大する。これにより、生成画像272の欠陥275bは、図7bに示したものより大きくなる。この時点の良品範囲160は、図8aに示した製品モデル250のように、さらに拡大された良品範囲161bとなる。
生成画像272は、その時点の限度見本画像205として出力される。限度見本画像205は、良品画像分布変更部219へも送られて、良品画像の分布102が、拡大された良品範囲161bを含むように更新される。
このように、本実施形態2では、限度見本画像として、実際の製品をイメージした画像が得られる。また、本実施形態2では、限度見本画像をユーザーが任意変更することができる。しかも、本実施形態2では、製品画像が変化する様子を視覚的に確認しながら、限度見本画像をインタラクティブに変更できる。
なお、このような限度見本画像の変更は、上記の説明のとおり、ディスプレイに表示されている生成画像272をスライドさせてもよいが、製品モデル250の矢印270をスライドさせてもよい。製品モデル250の矢印270をスライドさせる場合は、その変更に合わせて、表示されている生成画像272、すなわち限度見本画像205も変化させる。
上記の説明では、1つの特徴量を変化させることで、製品モデル250および限度見本画像を変更する例である。本実施形態2では、2つ以上の特徴量を変化させてもよい。
図9~14は、2つ以上の特徴量を変化させる例を説明するための説明図である。ここでは、図9~14では、製品モデル250を示して説明するが、特徴量を変更する間、同時に限度見本画像を表示することが好ましい。
最初に、図9に示すように、限度見本画像が、限度見本画像生成部216から出力されて、限度見本画像出力部217によって表示される。
この状態から、図10に示すように、不良品となるように特徴量を増加させた任意の位置256をセットする。不良品の位置256は、ユーザーが設定する。
不良品の位置256が設定されたなら、限度見本画像変更部218が、図11に示すように、位置256と、製品モデル250のなかの近い分布154および155とを接続し、その範囲内に拡大された良品範囲261を設定する。
そして、図12に示すように、ユーザーが位置256と分布151~155とが結ばれた範囲内の任意の位置を指定することで、限度見本画像変更部218によって、その部分の特徴量が、限度見本画像生成部216へ送られて、限度見本画像205が生成(変更)される。生成された限度見本画像205が表示されるので、ユーザーはその表示を確認しながら、良品範囲261となる限度見本画像を決定する。限度見本画像205は、良品画像分布変更部219へも送られて、変更された特徴量を加えた良品画像の分布102が出力される。
その後、不良品の位置256に加えて、図13に示すように、別の不良品の位置257が設定されると、上記同様にして、拡大された良品範囲262となる限度見本画像205が決定される。
さらに、図14に示すように、2つの拡大された良品範囲261と262とを結ぶ範囲が良品範囲263に決定される。良品範囲261、262、および263となる特徴量から限度見本画像205が生成され、表示される。限度見本画像205は、良品画像分布変更部219へも送られて変更された良品画像の分布102が出力される。
さらに別の形態の製品モデル250および限度見本画像205を変更する例を説明する。
図15~20は、2つ以上の特徴量を変化させる例を説明するための説明図である。ここでは、図15~20では、製品モデル250を示して説明するが、特徴量を変更する間、同時に限度見本画像205を表示することが好ましい。
最初に、図15に示すように、限度見本画像205が、限度見本画像生成部216から出力されて、限度見本画像出力部217によって出力されて、ディスプレイなどに表示される。このとき、同時に良品画像の分布102(製品モデル250)のなかに重心位置280が設定される。重心位置280は、限度見本画像生成部216によって、良品画像の分布102から算出される。
この状態から、図16に示すように、重心位置280から、不良品となるような任意の位置256をセットする。不良品の位置256は、ユーザーが設定する。
不良品の位置256が設定されたなら、図17に示すように、限度見本画像変更部218によって、重心位置280から位置256までが結ばれる。
そして、図18に示すように、限度見本画像変更部218によって、製品モデル250のなかの近い分布154および155と、重心位置280から位置256までを結ぶ線までが接続された範囲が拡大された良品範囲261として設定される。設定された範囲は、その部分の特徴量が、限度見本画像変更部218から限度見本画像生成部216へ送られて、限度見本画像205が生成(変更)される。生成された限度見本画像205が表示されるので、ユーザーはその表示を確認しながら、良品範囲261となる限度見本画像205を決定する。限度見本画像205は、良品画像分布変更部219へも送られて、変更された特徴量を加えた良品画像の分布102が出力される。
不良品の位置256に加えて、図19に示すように、別の不良品の位置257が設定されると、上記同様にして、拡大された良品範囲262となる限度見本画像が決定される。
さらに、図20に示すように、2つの拡大された良品範囲261と262とを結ぶ範囲が良品範囲263に決定される。良品範囲261、262、および263となる特徴量から限度見本画像205が生成され、表示される。限度見本画像205は、良品画像分布変更部219へも送られて、変更された良品画像の分布102が出力される。
このように、本実施形態2では、複数の特徴量の間や、良品画像の分布102の重心位置280から離れた位置に不良品となる位置256が設定されて、その位置の内側に拡大された良品範囲160が設定される。
このため、本実施形態2では、複数の特徴量を一度に変更した限度見本画像205を得ることができる。しかも、本実施形態2では、限度見本画像205を生成したり、変更したりする際に、不良品の実物を必要としない。このため、本実施形態2でも、限度見本生成のために、不良品の現物や不良品の画像が得られない場合でも、良品の画像だけから限度見本画像205を生成することができる。また、本実施形態2では、限度見本を製品イメージとして復元された画像を確認しながら変更できる。
以上本発明の実施形態を説明したが、様々な変形が可能である。
また、情報処理装置10としては、インターネット上のクラウドサーバーが利用されてもよい。クラウドサーバーを利用する場合、検査対象画像103や良品画像群201の入力、および良品画像の分布102から復元された製品イメージの画像や限度見本画像205の表示には、クラウドサーバーに接続されているコンピューターを利用する。クラウドサーバーに接続されているコンピューターは、パーソナルコンピューター、タブレット型コンピューター、スマートフォンなどである。また、タブレット型コンピューター、スマートフォンを利用する場合は、それらに備えられているカメラを用いて製品を撮影し、撮影した画像を検査対象画像103や良品画像群201として入力してもよい。
また、上述した実施形態においては、製品の良不良を判定するための判定基準を生成し、その基準に基づいて製品を判定する場合を例に挙げて説明した。
じかし、本発明の実施形態は、製品の良不良の判定に限定されない。本発明の実施形態としては、たとえば、レントゲン、CT(Computed Tomography)、およびMRI(Magnetic Resonanse Imaging)などの検査画像データを判定対象に関するデータとすることができる。そして、これらの検査画像データから、たとえば癌の特徴量の分布を求めることで、癌を所定の対象データとして判定するための基準となるデータ分布が得られる。そして、本発明の実施形態は、得られた基準となるデータ分布を用いて、入力された検査画像データが癌の画像データに該当するか否かを判定することができる。
その他にも、本発明の実施形態は、たとえば、音声データを判定対象に関するデータとし、特定の音声内容を所定の対象データとして該当するか否かを判定することができる。
また、本発明の実施形態は、たとえば、文章データを判定対象に関するデータとし、特定の文章内容を所定の対象データとして該当するか否かを判定することができる。特定の文章内容は、たとえば、ある質問に対する正解の文章である。また、文章内容は、たとえば、文章の読みやすさ、文章としての良し悪しなどでも良い。
また、本発明の実施形態は、たとえば、匂いデータを判定対象に関するデータとし、特定の匂いを所定の対象データとして該当するか否かを判定することができる。
そのほかにも、本発明の実施形態としては、特徴量を得ることのできるデータであれば、判定対象に関するデータおよび所定の対象データとして使用することができ、様々な判定が可能となる。
そのほか、実施形態の説明のなかで使用した条件や数値などはあくまでも説明のためのものであり、本発明がこれら条件や数値に限定されるものではない。
また、本発明は、特許請求の範囲に記載された構成に基づき様々な改変が可能であり、それらについても本発明の範疇である。
本発明に係る判定基準生成プログラムおよび判定プログラムは、専用のハードウェア回路によって実現することも可能である。また、この判定基準生成プログラムおよび判定プログラムは、USB(Universal Serial Bus)メモリやDVD(Digital Versatile Disc)-ROM(Read Only Memory)などのコンピューター読み取り可能な記録媒体によって提供したり、記録媒体によらず、インターネットなどのネットワークを介してオンラインで提供したりすることも可能である。オンラインで提供される場合、この判定基準生成プログラムおよび判定プログラムは、ネットワークに接続されたコンピューター内の磁気ディスクなどの記録媒体に記録される。
また、本発明に係る判定基準生成プログラムおよび判定プログラムは、それぞれ単独のアプリケーションソフトウェアとして提供したり、一機能として別のソフトウェアに組み込んで提供したりすることも可能である。また、この判定基準生成プログラムおよび判定プログラムは、両者を合わせた1つのアプリケーションソフトウェアとして提供することも可能である。
また、本発明は、特許請求の範囲に記載された構成に基づき様々な改変が可能であり、それらについても本発明の範疇である。
本出願は、2019年8月23日に出願された日本国特許出願番号2019-153041号および2020年3月24日に出願された日本国特許出願番号2020-053267号に基づいており、その開示内容は、参照により全体として組み入れられている。
10 情報処理装置、
13 良品/不良品判定部、
101 特徴量分布計算・復元モデル、
102 良品画像の分布、
103 検査対象画像、
104 入力画像の分布、
105 判定結果、
111 分布計算部、
112 分布出力部、
114 判定結果出力部、
150、250 製品モデル、
151~155 特徴量の分布、
157 新たな良品の限度位置、
160 良品範囲、
161 新たな良品範囲、
161a、161b 拡大された良品範囲
201 良品画像群、
204 検査画像の分布、
205 限度見本画像、
215 復元モデル生成部、
216 限度見本画像生成部、
217 限度見本画像出力部、
218 限度見本画像変更部、
219 良品画像分布変更部、
251 画像例、
271 良品画像、
272 生成画像、
273 不良品画像、
275a、275b、276 欠陥、
280 重心位置。

Claims (14)

  1. 判定対象に関するデータを入力し、前記判定対象に関するデータの特徴量の分布を計算し、
    前記計算した特徴量の分布から、所定の対象データに該当するか、該当しないかを判定するための基準となる基準データのデータ分布を生成する分布計算部と、
    前記基準データの特徴量から、限度基準データを生成する限度基準データ生成部と、
    前記限度基準データ生成部によって生成された前記限度基準データを出力する出力部と、
    ユーザーからの変更指示を受け付けて、前記基準データの特徴量を変更する限度基準データ変更部と、
    前記判定対象が前記所定の対象データに該当するか、該当しないかを判定する判定部と、を有し、
    前記分布計算部は、入力された前記判定対象に関するデータの特徴量を計算し、
    前記限度基準データ生成部は、前記限度基準データ変更部が変更した基準データの特徴量に基づき前記限度基準データを変更し、
    前記出力部は、変更された前記限度基準データを出力し、
    前記判定部は、得られた前記判定対象に関するデータの特徴量と、前記限度基準データ変更部によって変更された基準データの特徴量とを比較して、前記判定対象に関するデータに含まれる前記判定対象が前記所定の対象データに該当するか、該当しないかを判定する、判定装置。
  2. 前記限度基準データ変更部は、前記基準データの特徴量の分布の外側にある特徴量と、前記基準データの特徴量のうち、前記外側にある特徴量から近い2つの特徴量とに基づいて画定される範囲を拡大された基準データ範囲として設定する、請求項1に記載の判定装置。
  3. 前記限度基準データ変更部は、前記2つの特徴量のうちの1つの特徴量と前記外側にある特徴量とを結ぶ直線上の前記1つの特徴量と前記外側にある特徴量との間にある1点と、前記2つの特徴量とに基づいて画定される範囲を拡大された基準データ範囲として設定する、請求項2に記載の判定装置。
  4. 前記限度基準データ変更部は、前記基準データの特徴量の分布の重心と前記外側にある特徴量とを結ぶ直線上の前記重心と前記外側にある特徴量との間にある1点と、前記2つの特徴量とに基づいて画定される範囲を拡大された基準データ範囲として設定する、請求項2に記載の判定装置。
  5. 製品が写っている画像を入力として、前記画像の特徴量の分布を計算して、当該計算した分布から、前記画像に写っている前記製品の良品、不良品を判定するための基準となる良品画像の特徴量の分布を生成する分布計算部と、
    前記良品画像の特徴量から、限度見本画像として前記製品のイメージ画像を生成する限度見本画像生成部と、
    前記限度見本画像生成部によって生成された前記限度見本画像を出力する出力部と、
    ユーザーからの変更指示を受け付けて、前記良品画像の特徴量を変更する限度見本画像変更部と、
    製品の写っている検査対象画像に写っている前記製品が良品か、不良品かを判定する判定部と、を有し、
    前記分布計算部は、製品の写っている検査対象画像が入力されて、当該検査対象画像の特徴量を計算し、
    前記限度見本画像生成部は、前記限度見本画像変更部が変更した前記良品画像の特徴量に基づき前記限度見本画像を変更し、
    前記出力部は、変更された前記限度見本画像を出力し、
    前記判定部は、得られた前記検査対象画像の特徴量と、前記限度見本画像変更部によって変更された良品画像の特徴量とを比較して、前記検査対象画像に写っている前記製品が良品か、不良品かを判定する、判定装置。
  6. 前記出力部は、前記検査対象画像の特徴量から生成された画像を出力する、請求項に記載の判定装置。
  7. 複数の良品の前記画像からなる良品画像群を入力とし、当該良品画像群のなかのそれぞれの前記画像の特徴量の分布を学習して、復元モデルを生成する復元モデル生成部を有し、
    前記分布計算部は、前記復元モデル生成部の学習によって得られた前記画像の特徴量の分布に基づき前記良品画像の分布を計算する、請求項5または6に記載の判定装置。
  8. 判定対象に関するデータを入力し、前記判定対象に関するデータの特徴量の分布を計算し、
    前記計算した特徴量の分布から、所定の対象データに該当するか、該当しないかを判定するための基準となる基準データのデータ分布を生成する段階(a)と
    前記基準データの特徴量から、限度基準データを生成する段階(b)と、
    前記段階(b)において生成された前記限度基準データを出力する段階(c)と、
    ユーザーからの変更指示を受け付けて、前記基準データの特徴量を変更する段階(d)と、
    前記段階(d)において変更した基準データの特徴量に基づき前記限度基準データを変更する段階(e)と、
    前記段階(e)において変更された前記限度基準データを出力する段階(f)と、
    判定対象に関するデータが入力されて、当該判定対象に関するデータの特徴量を計算する段階(g)と、
    前記段階(g)において得られた前記判定対象に関するデータの特徴量と、前記段階(d)において変更された基準データの特徴量とを比較して、前記判定対象に関するデータに含まれる前記判定対象が前記所定の対象データに該当するか、該当しないかを判定する、処理をコンピューターに実行させるための判定プログラム。
  9. 前記段階(d)において、前記基準データの特徴量の分布の外側にある特徴量と、前記基準データの特徴量のうち、前記外側にある特徴量から近い2つの特徴量とに基づいて画定される範囲を拡大された基準範囲として設定する、請求項8に記載の判定プログラム。
  10. 前記段階(d)において、前記2つの特徴量のうちの1つの特徴量と前記外側にある特徴量とを結ぶ直線上の前記1つの特徴量と前記外側にある特徴量との間にある1点と、前記2つの特徴量とに基づいて画定される範囲を拡大された基準範囲として設定する、請求項9に記載の判定プログラム。
  11. 前記段階(d)において、前記基準データの特徴量の分布の重心と前記外側にある特徴量とを結ぶ直線上の前記重心と前記外側にある特徴量との間にある1点と、前記2つの特徴量とに基づいて画定される範囲を拡大された基準範囲として設定する、請求項9に記載の判定プログラム。
  12. 製品が写っている画像を入力として、前記画像の特徴量の分布を計算して、当該計算した分布から、前記画像に写っている前記製品の良品、不良品を判定するための基準となる良品画像の特徴量の分布を生成する段階(a)と、
    前記良品画像の特徴量から、限度見本画像として前記製品のイメージ画像を生成する段階(b)と、
    前記段階(b)において生成された前記限度見本画像を出力する段階(c)と、
    ユーザーからの変更指示を受け付けて、前記良品画像の特徴量を変更する段階(d)と、
    前記段階(d)において変更された前記良品画像の特徴量に基づき前記限度見本画像を変更する段階(e)と、
    前記(e)において変更された前記限度見本画像を出力する段階(f)と、
    製品の写っている検査対象画像が入力されて、当該検査対象画像の特徴量を計算する段階(g)と、
    前記段階(g)において得られた前記検査対象画像の特徴量と、前記段階(d)において変更された前記良品画像の特徴量とを比較して、前記検査対象画像に写っている前記製品が良品か、不良品かを判定する段階(h)と、を有する処理をコンピューターに実行させるための定プログラム。
  13. 前記検査対象画像の特徴量から生成された画像を出力する段階を有する、請求項12に記載の判定プログラム。
  14. 複数の良品の前記画像からなる良品画像群を入力とし、当該良品画像群のなかのそれぞれの前記画像の特徴量の分布を学習して、復元モデルを生成する段階をさらに有し、
    学習によって得られた前記画像の特徴量の分布に基づき前記良品画像の分布を計算する、請求項12または13に記載の判定プログラム。
JP2021542815A 2019-08-23 2020-08-20 判定装置、および判定プログラム Active JP7416071B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2019153041 2019-08-23
JP2019153041 2019-08-23
JP2020053267 2020-03-24
JP2020053267 2020-03-24
PCT/JP2020/031479 WO2021039591A1 (ja) 2019-08-23 2020-08-20 判定基準生成装置、判定装置、判定基準生成プログラム、および判定プログラム

Publications (2)

Publication Number Publication Date
JPWO2021039591A1 JPWO2021039591A1 (ja) 2021-03-04
JP7416071B2 true JP7416071B2 (ja) 2024-01-17

Family

ID=74685518

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021542815A Active JP7416071B2 (ja) 2019-08-23 2020-08-20 判定装置、および判定プログラム

Country Status (2)

Country Link
JP (1) JP7416071B2 (ja)
WO (1) WO2021039591A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7379574B2 (ja) * 2022-03-30 2023-11-14 本田技研工業株式会社 疑似不良品データ生成装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003156448A (ja) 2001-11-21 2003-05-30 Shirai Denshi Kogyo Kk 印刷物の検査方法およびその検査装置
JP2012021919A (ja) 2010-07-16 2012-02-02 Keyence Corp 画像処理装置、画像処理方法及びコンピュータプログラム
US20140002632A1 (en) 2012-06-27 2014-01-02 Jason Z. Lin Detection of defects embedded in noise for inspection in semiconductor manufacturing
WO2017168630A1 (ja) 2016-03-30 2017-10-05 株式会社日立ハイテクノロジーズ 欠陥検査装置、欠陥検査方法
JP2018005773A (ja) 2016-07-07 2018-01-11 株式会社リコー 異常判定装置及び異常判定方法
JP2019087181A (ja) 2017-11-10 2019-06-06 アズビル株式会社 画像検査装置および方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020051982A (ja) * 2018-09-28 2020-04-02 Jfeテクノリサーチ株式会社 画像検査装置及び検査モデル構築システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003156448A (ja) 2001-11-21 2003-05-30 Shirai Denshi Kogyo Kk 印刷物の検査方法およびその検査装置
JP2012021919A (ja) 2010-07-16 2012-02-02 Keyence Corp 画像処理装置、画像処理方法及びコンピュータプログラム
US20140002632A1 (en) 2012-06-27 2014-01-02 Jason Z. Lin Detection of defects embedded in noise for inspection in semiconductor manufacturing
WO2017168630A1 (ja) 2016-03-30 2017-10-05 株式会社日立ハイテクノロジーズ 欠陥検査装置、欠陥検査方法
JP2018005773A (ja) 2016-07-07 2018-01-11 株式会社リコー 異常判定装置及び異常判定方法
JP2019087181A (ja) 2017-11-10 2019-06-06 アズビル株式会社 画像検査装置および方法

Also Published As

Publication number Publication date
JPWO2021039591A1 (ja) 2021-03-04
WO2021039591A1 (ja) 2021-03-04

Similar Documents

Publication Publication Date Title
Karaaslan et al. Artificial intelligence assisted infrastructure assessment using mixed reality systems
US20200242822A1 (en) Digital Media Environment for Style-Aware Patching in a Digital Image
KR20230124713A (ko) 결함 검출 방법, 장치 및 시스템
JP6707920B2 (ja) 画像処理装置、画像処理方法、およびプログラム
TWI622877B (zh) System and method for recording and replaying mouse behavior, recording media and program products
CN111797998A (zh) 生成机器学习样本的组合特征的方法及系统
JP7027978B2 (ja) 検査装置、検査方法、及び検査プログラム
US11373350B2 (en) Apparatus and method for editing data and program
GB2587833A (en) Image modification styles learned from a limited set of modified images
JP2020139905A (ja) 検査装置、検査方法、およびプログラム
JP7416071B2 (ja) 判定装置、および判定プログラム
JP7059889B2 (ja) 学習装置、画像生成装置、学習方法、及び学習プログラム
US20220163387A1 (en) Method for optimizing output result of spectrometer and electronic device using the same
JP7392425B2 (ja) 学習装置、学習方法およびプログラム
Tao et al. Anomaly detection for fabricated artifact by using unstructured 3D point cloud data
JP2018124990A (ja) モデル生成装置、評価装置、モデル生成方法、評価方法及びプログラム
JP2022114462A (ja) 検査装置および検査方法
US11763462B2 (en) Mesh hole area detection
KR102273334B1 (ko) 다 채널 이미지를 이용한 인공신경망 학습 방법 및 장치
Yousef et al. Innovative inspection device for investment casting foundries
JP2016029543A (ja) 情報処理装置及びプログラム
JP2006260410A (ja) 画像処理アルゴリズムの評価装置、生成装置、評価方法、生成方法、コンピュータをその評価装置として機能させるためのプログラム、およびコンピュータをその生成装置として機能させるためのプログラム
Čejka et al. UX and Machine Learning-Preprocessing of Audiovisual Data Using Computer Vision to Recognize UI Elements.
US20180081951A1 (en) Information generation system, a method and a non-transitory computer readable medium thereof
JP7344501B1 (ja) プログラム、方法、情報処理装置、システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231218

R150 Certificate of patent or registration of utility model

Ref document number: 7416071

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150