JP6955211B2 - 識別装置、識別方法及びプログラム - Google Patents

識別装置、識別方法及びプログラム Download PDF

Info

Publication number
JP6955211B2
JP6955211B2 JP2017239302A JP2017239302A JP6955211B2 JP 6955211 B2 JP6955211 B2 JP 6955211B2 JP 2017239302 A JP2017239302 A JP 2017239302A JP 2017239302 A JP2017239302 A JP 2017239302A JP 6955211 B2 JP6955211 B2 JP 6955211B2
Authority
JP
Japan
Prior art keywords
classifier
image
attribute
unit
predetermined object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017239302A
Other languages
English (en)
Other versions
JP2019106090A (ja
Inventor
俊規 玉井
俊規 玉井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2017239302A priority Critical patent/JP6955211B2/ja
Priority to CN201811176344.2A priority patent/CN109978816B/zh
Priority to EP18200547.0A priority patent/EP3499409B1/en
Priority to US16/162,451 priority patent/US10885626B2/en
Publication of JP2019106090A publication Critical patent/JP2019106090A/ja
Application granted granted Critical
Publication of JP6955211B2 publication Critical patent/JP6955211B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/285Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation

Description

本発明は、識別装置、識別方法及びプログラムに関する。
画像データに検出対象が含まれているか否かを識別するために用いられる識別器を機械学習により生成した場合、様々な検出対象に対応可能な汎用性と識別精度とは、一般的にトレードオフの関係になることが知られている。
ここで、特許文献1には、外観の良否が既知の対象物に対して少なくとも2つ以上の異なる撮像条件で撮像した画像から、対象物の良否を識別するための特徴量を選択し、選択した特徴量に基づいて生成された、対象物の良否を識別する識別器を有する検査装置が記載されている。
特開2017−049974号公報
例えば工場の生産ライン等では様々な属性を有する対象物が流れることを考慮すると、対象物に含まれる検出対象を検出する検出装置には、これらの様々な属性を有する対象物について高い識別精度を発揮することが求められる。しかしながら、特許文献1に記載の検査装置は、検査対象物の外観の良否を高精度に且つ短時間で判定することを目的しており、上記のように様々な属性を有する対象物について高い識別精度を発揮することは考慮されていない。
そこで、本発明は、対象物の属性に応じた識別器を選択することで、高い識別精度を実現する技術を提供することを目的とする。
本開示の一態様に係る識別装置は、対象物の画像から対象物に含まれる検出対象の有無を識別するように学習された複数の識別器を対象物の属性と対応付けて記憶する記憶部と、所定の対象物の画像を撮影する撮影部と、所定の対象物の属性を特定する特定部と、複数の識別器の中から、特定された属性に対応付けて記憶されている第1識別器を選択する選択部と、第1識別器に所定の対象物の画像を入力する入力部と、第1識別器から出力された、所定の対象物に含まれる検出対象の有無を出力する出力部と、を有する。
この態様によれば、予め学習された、識別装置が備える複数の識別器のうち、対象物の属性に対応する識別器を選択するので、高い識別精度を実現することが可能になる。また、識別装置は、複数の識別器を同時に実行させるのではなく、対象物ごとに選択した識別器を動作させるので、複数の識別器を同時に実行させる場合と比較して識別装置の処理負荷及びメモリ使用量を軽減させることが可能になる。
上記態様において、特定部は、所定の対象物の画像から、所定の対象物の属性を特定するようにしてもよい。また、特定部は、対象物の画像から当該対象物の属性を特定するように学習された第2識別器を備え、第2識別器が所定の対象物の画像から所定の対象物の属性を特定するようにしてもよい。この態様によれば、学習により生成された識別器を用いて対象物の属性を特定することができ、高い識別精度を実現することが可能になる。
上記態様において、特定部は、事前に設定された順序で、所定の対象物の属性を特定するようにしてもよい。この態様によれば、識別装置は、事前に設定された順序で対象物の属性を認識することができるため、識別装置の処理負荷及びメモリ使用量を軽減させることが可能になる。
上記態様において、記憶部に記憶される複数の識別器の各々は、識別器に対応付けられた属性を有する対象物について、検出対象の有無を他の識別器よりも高い精度で識別するように学習されたものであってもよい。この態様によれば、各識別器は、特定の属性の対象物について高い識別精度を発揮するため、より高い識別精度を実現することが可能になる。
上記態様において、対象物は検査対象物であり、検出対象は、検査対象物に含まれる欠陥であるようにしてもよい。この態様によれば、検査対象物に含まれる欠陥を検出する識別装置を実現することができる。
本開示の他の態様に係る識別方法は、対象物の画像から対象物に含まれる検出対象の有無を識別するように学習された複数の識別器を対象物の属性と対応付けて記憶する記憶部を有する識別装置が実行する識別方法であって、所定の対象物の画像を撮影するステップと、所定の対象物の属性を特定するステップと、複数の識別器の中から、特定された属性に対応付けて記憶されている第1識別器を選択するステップと、第1識別器に所定の対象物の画像を入力するステップと、第1識別器から出力された、所定の対象物に含まれる検出対象の有無を出力するステップと、を有する。
この態様によれば、予め学習された、識別装置が備える複数の識別器のうち、対象物の属性に対応する識別器を選択するので、高い識別精度を実現することが可能になる。また、識別装置は、複数の識別器を同時に実行させるのではなく、対象物ごとに選択した識別器を動作させるので、複数の識別器を同時に実行させる場合と比較して識別装置の処理負荷及びメモリ使用量を軽減させることが可能になる。
本開示の他の態様に係るプログラムは、識別装置を、対象物の画像から対象物に含まれる検出対象の有無を識別するように学習された複数の識別器を対象物の属性と対応付けて記憶する記憶手段と、所定の対象物の画像を撮影する撮影手段と、所定の対象物の属性を特定する特定手段と、複数の識別器の中から、特定された属性に対応付けて記憶されている第1識別器を選択する選択手段と、第1識別器に所定の対象物の画像を入力する入力手段と、第1識別器から出力された、所定の対象物に含まれる検出対象の有無を出力する出力手段と、して機能させる。
この態様によれば、予め学習された、識別装置が備える複数の識別器のうち、対象物の属性に対応する識別器を選択するので、高い識別精度を実現することが可能になる。また、識別装置は、複数の識別器を同時に実行させるのではなく、対象物ごとに選択した識別器を動作させるので、複数の識別器を同時に実行させる場合と比較して識別装置の処理負荷及びメモリ使用量を軽減させることが可能になる。
本発明によれば、検査対象物の属性に応じた識別器を選択することで、高い識別精度を実現する技術を提供することができる。
本実施形態に係る画像処理システムの適用場面の一例を模式的に例示する。 欠陥識別器の一例を模式的に例示する。 本実施形態に係る管理装置のハードウェア構成の一例を模式的に例示する。 本実施形態に係る画像処理装置のハードウェア構成の一例を模式的に例示する。 本実施形態に係る管理装置の機能構成の一例を模式的に例示する。 本実施形態に係る画像処理装置の機能構成の一例を模式的に例示する。 画像処理装置が行う処理手順の一例を例示する。 画像処理装置が生産ライン上でワークの検査を行う様子を例示する。 属性識別器が欠陥識別器を選択する動作の一例を例示する。 識別可能な欠陥の種別ごとに区分された欠陥識別器の一例を例示する。 複数の属性識別器を用いてワークの属性を識別する動作の一例を例示する。
以下、本発明の一側面に係る実施の形態(以下、「本実施形態」とも表記する)を、図面に基づいて説明する。
§1 適用例
まず、図1を用いて、本発明が適用される場面の一例について説明する。図1は、本実施形態に係る画像処理システム1の適用場面の一例を模式的に例示する。画像処理システム1は、典型的には、生産ラインなどに組み込まれる。画像処理システム1は、生産ライン上を搬送されるワークを撮像することによって得られる画像に基づいて、ワークの検査や文字の認識といった処理を実行する。なお、ワークは、製造過程にある部品、製品等を言い、本発明の「対象物」の一例である。
図1に示すように、画像処理システム1は、管理装置100と、管理装置100とネットワーク2を介して通信する1以上の画像処理装置200とを含む。たとえば、ワークはベルトコンベヤなどの搬送機構によって所定方向に搬送され、それぞれの画像処理装置200は、この搬送経路に相対して予め定められた位置に配置される。画像処理装置200は、本発明の「識別装置」の一例である。管理装置100は、1以上の画像処理装置200を管理するための装置である。画像処理装置200はワークに含まれる検出対象の有無を識別する装置である。以下、検出対象は欠陥であることを前提に説明するが、欠陥は、本発明の「検出対象」の一例であり、本実施形態は欠陥に限られずあらゆる検出対象に適用することができる。
画像処理装置200は、ワークの画像(ワークを撮影した画像)を入力することでワークに含まれる欠陥の有無を識別するように学習された複数の識別器(以下、「欠陥識別器」と言う。)を備えている。これらの複数の欠陥識別器は、各々の欠陥識別器が異なるワークの属性に対して高い識別精度を発揮するように学習された識別器である。これにより、例えば図2に示すように、検査対象のワークの属性に応じた適切な欠陥識別器が選択されることで、画像処理装置200全体として様々な属性のワークに対応しつつ高い識別精度を発揮することができる。欠陥識別器は、本発明の「第1識別器」の一例である。
ここで、欠陥とは、検査対象物が有する異常であって、例えば、キズ、色等のムラ、汚れ、打痕、欠け、バリ、異物、印字のかすれ、印字等の位置ずれ等を含む。ワークの属性は、ワークの外観に関する特徴によって表されるものであり、より具体的には、ワークの外観に関する1つ又は複数の特徴の組み合わせにより定められるものとしてよい。また、ワークの外観に関する特徴は、例えば、“表面形状”、“反射率”、“透明度”等、ワークの性質に関する観点と、各々の性質に対する「低、中、高」等の程度、又は、“滑らか”、“ざらつき”、“凸凹”等の状態に関する観点とが組み合わされて表されるものとしてよい。ワークの外観に関する特徴の具体例としては、例えば、“表面形状が滑らか”、“反射率が高い”、“透明度が低い”等が挙げられる。また、ワークの属性の具体例としては、例えば、“表面形状が滑らかであり、表面の反射率が高く、かつ透明度が低い外観”、“表面形状がざらついており、表面の反射率が低く、かつ透明度が低い外観”等が挙げられる。
まず、画像処理装置200は、生産ライン等を流れるワークを撮影し、撮影したワークの画像に基づいてワークの属性を識別する。ここで、画像処理装置200は、ワークの画像を入力することで、ワークの属性を特定するように学習された識別器(以下、「属性識別器」と呼ぶ)を用いてワークの属性を特定する。属性識別器は、どのような装置で生成されたものであってもよいが、例えば、管理装置100で生成されて画像処理装置200に組み込まれることとしてもよい。属性識別器は、本発明の「第2識別器」の一例である。
続いて、画像処理装置200は、画像処理装置200が備える複数の欠陥識別器の中から、属性識別器で特定されたワークの属性に対応する特定の欠陥識別器を選択する。続いて、画像処理装置200は、選択した欠陥識別器にワークの画像を入力することで、ワークに含まれる欠陥の有無について識別を行い、識別結果を出力する。
前述したように、複数の欠陥識別器は、各々の欠陥識別器が異なるワークの属性に対して高い識別精度を発揮するように学習された識別器である。従って、ワークの属性に応じて適切な欠陥識別器が選択されることで、画像処理装置200全体として様々な属性のワークに対応しつつ高い識別精度を発揮することが可能になる。また、画像処理装置200は、画像処理装置200が備える複数の欠陥識別器を同時に実行させるのではなく、生産ラインを流れるワークに応じた特定の欠陥識別器を動作させることになるため、画像処理装置200の処理負荷及びメモリ使用量を軽減させることが可能になる。
§2 構成例
[ハードウェア構成]
<管理装置>
次に、図3を用いて、本実施形態に係る管理装置100のハードウェア構成の一例について説明する。図3は、本実施形態に係る管理装置100のハードウェア構成の一例を模式的に例示する。図3の例では、管理装置100は、プロセッサ101と、メモリ102と、HDD(Hard Disk Drive)などの記憶装置103と、ネットワークインターフェイス(I/F)104と、表示部105と、操作部106と、メモリカードリーダ・ライタ107とを含んでいてもよい。これらの各部は、内部バス108を介して、互いに通信可能に接続されている。
プロセッサ101は、記憶装置103に格納されているプログラム(命令コード)103Aをメモリ102へ展開した上で実行することで、管理装置100が備える各種機能を実現する。メモリ102及び記憶装置103は、それぞれ揮発的及び不揮発的にデータを格納する。記憶装置103は、OS(Operating System)に加えて、プログラム103Aを保持している。
ネットワークインターフェイス104は、ネットワーク2を介して、画像処理装置200との間でデータを送受信する。
表示部105は、プロセッサ101がプログラム103Aを実行することで実現される各種の画面などを表示する。表示部105は、例えば、LCD(Liquid Crystal Display)といったディスプレイなどからなる。
操作部106は、ユーザ操作を受け付け、その受け付けた操作を示す内部指令をプロセッサ101などへ出力する。操作部106は、例えば、キーボード、マウス、タッチパネル、タブレット、音声認識装置などからなる。
メモリカードリーダ・ライタ107は、記憶媒体107Aからデータを読み出し、及び記憶媒体107Aへデータを書き込む。記憶媒体107Aは、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。管理装置100は、この記憶媒体107Aから、プログラム103Aを取得してもよい。
<画像処理装置>
次に、図4を用いて、本実施形態に係る画像処理装置200のハードウェア構成の一例について説明する。図4は、本実施形態に係る画像処理装置200のハードウェア構成の一例を模式的に例示する。図4の例では、画像処理装置200は、照明部210と、制御装置220と、撮像部230とを含んでいてもよい。
照明部210は、検査対象であるワークに撮像に必要な光を照射する。つまり、照明部210は、撮像部230の撮像範囲に光を照射する。より具体的には、照明部210は、照明基板上に設けられる複数の照明制御ユニット211を含む。これらのユニットは、照明基板上に配置される。照明制御ユニット211の各々は、照明レンズ212と、LED213とを含む。照明制御ユニット211は、制御装置220からの指令に従って、光を照射する。より具体的には、LED213で発生した光は、照明レンズ212を通じてワークへ照射される。
撮像部230は、照明部210が照射した光の反射光を受けて、画像信号を出力する。この画像信号は、制御装置220へ送られる。より具体的には、撮像部230は、撮像レンズ231などの光学系に加えて、CCD(Coupled Charged Device)やCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの複数の画素に区画された撮像素子232を含む。
制御装置220は、画像処理装置200の全体を制御する。すなわち、制御装置220は、照明部210および撮像部230を制御するとともに、撮像部230からの画像信号に基づいて画像処理を行う。より具体的には、制御装置220は、処理部221と、記憶装置222と、ネットワーク通信部223と、外部入出力部225とを含む。
処理部221は、CPU121AやFPGA121Bといった集積回路によって構成される。あるいは、処理部221は、DSP、GPU、ASIC(Application Specific Integrated Circuit)、その他の集積回路によって構成されてもよい。
記憶装置222は、ROM(Read Only Memory)、フラッシュメモリ、HDD、およびSSD(Solid State Drive)といった不揮発性記憶装置、および/または、RAM(Random Access Memory)などの不揮発メモリを含む。典型的に、処理部221が記憶装置222に格納されたプログラム(命令コード)222Aを実行することで、画像処理装置200が備える各種の処理を実現する。
ネットワーク通信部223は、ネットワーク2を介して、管理装置100との間でデータを送受信するためのインターフェイスである。より具体的には、ネットワーク通信部223は、Ethernet(登録商標)などに従う構成が採用される。外部入出力部225は、PLC(Programmable Logic Controller)300との間で各種データ(入力データおよび/または出力データ)を送受信するためのインターフェイスである。
[機能構成]
<管理装置>
次に、図5を用いて、本実施形態に係る管理装置100の機能構成の一例について説明する。図5は、本実施形態に係る管理装置100の機能構成の一例を模式的に例示する。
学習データ生成部501は、属性識別器を学習させるための学習データを生成する。学習データには、学習用のワーク画像と、学習用のワーク画像に対するワークの属性の正解値又は選択すべき欠陥識別器の正解値とが含まれる。学習データ生成部501は、学習データ作成用画面を表示部105に表示させるようにしてもよい。ユーザは、当該画面を操作することで学習データの生成を行うことができる。
例えば、表面が金属であるワークに含まれる欠陥の識別に対応する欠陥識別器と、表面にざらつきのあるワークに含まれる欠陥の識別に対応する欠陥識別器とが画像処理装置200に組み込まれていると仮定する。この場合、ユーザは、表面が金属であるワークを撮影することで得られた複数の学習用のワーク画像を管理装置100に取り込み、各ワーク画像に対する正解値として、“ワークの属性は表面が金属であること”又は、“選択すべき欠陥識別器は、表面が金属であるワークに含まれる欠陥の識別に対応する欠陥識別器であること”を、学習データ作成用画面に入力することで学習データの生成を行うようにしてもよい。
識別器生成部502は、学習データ生成部501で作成された学習データを用いて、任意の機械学習モデルに対して学習処理と評価処理とを行うことで属性識別器を生成する。機械学習モデルは、所定のモデル構造と、学習処理によって変動する処理パラメータと、を有し、学習用データから得られる経験に基づいてその処理パラメータが最適化されることで、認識結果の精度が向上するモデルである。機械学習モデルのアルゴリズムは、例えば、サポートベクターマシン、ロジスティック回帰、ニューラルネットワーク、ディープニューラルネットワーク等を用いることができるが、その種類は特に限定されない。識別器生成部502は、生成した属性識別器(詳細にはモデル構造及び処理パラメータ)を画像処理装置200に送信することで、生成した属性識別器を画像処理装置200に組み込むようにしてもよい。
<画像処理装置>
次に、図6を用いて、本実施形態に係る画像処理装置200の機能構成の一例について説明する。図6は、本実施形態に係る画像処理装置200の機能構成の一例を模式的に例示する。
識別器DB(DataBase)601は、複数の欠陥識別器を格納するデータベースであり、記憶装置222に記憶される。図6の例では、複数の欠陥識別器6011が例示されている。これらの欠陥識別器6011は、各々が対応付けられた属性を有する対象物について、欠陥の有無を他の欠陥識別器6011よりも高い精度で識別するように学習されたものである。
欠陥識別器6011は、任意の機械学習モデルに対して学習処理と評価処理とを行うことにより生成される。機械学習モデルのアルゴリズムは、例えば、サポートベクターマシン、ロジスティック回帰、ニューラルネットワーク等を用いることができるが、その種類は特に限定されない。
撮影部602は、撮像部230を制御してワークの画像を撮影する。また、撮影部602は、撮影したワークの画像を特定部603又は入力部605に渡す。
特定部603は、撮影部602で撮影されたワークの画像からワークの属性を特定する。特定部603は属性識別器6031を備えており、属性識別器603がワークの画像からワークの属性を特定する。属性識別器603に用いられる機械学習モデルのアルゴリズムは、例えば、サポートベクターマシン、ロジスティック回帰、ニューラルネットワーク、ディープニューラルネットワーク等を用いることができるが、その種類は特に限定されない。
選択部604は、複数の欠陥識別器6011の中から、特定部603で特定されたワークの属性に対応する欠陥識別器6011を選択する。入力部605は、選択部604で選択された欠陥識別器6011に、撮影部602で撮影されたワークの画像を入力する。出力部606は、欠陥識別器6011から出力された、ワークに含まれる欠陥の有無についての識別結果を出力する。
<その他>
本実施形態では、画像処理装置200の各機能がいずれも処理部221によって実現される例について説明している。しかしながら、以上の機能の一部又は全部が、1又は複数の専用のプロセッサ等により実現されてもよい。また、画像処理装置200それぞれの機能構成に関して、実施形態に応じて、適宜、機能の省略、置換及び追加が行われてもよい。
§3 動作例
次に、画像処理装置200の動作例を説明する。以下の動作例では、画像処理システム1が生産ラインに組み込まれ、画像処理装置200が、生産ラインを流れるワークについて欠陥の有無を識別する前提で説明する。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
[処理手順]
図7は、画像処理装置200が行う処理手順の一例を例示するフローチャートである。まず、撮影部602は、生産ライン上を流れるワークを撮影する(S101)。続いて、特定部603は、撮影されたワーク画像を属性識別器6031に入力し、属性識別器6031からワークの属性を出力させることでワークの属性を特定する。続いて、選択部604は、特定されたワークの属性に対応する欠陥識別器6011を選択する(S102)。続いて、入力部605は、選択された欠陥識別器6011に、ステップS101の処理手順で撮影されたワークの画像を入力する。欠陥識別器6011は、ワークに欠陥が含まれるか否かを識別する(S103)。続いて、出力部606は、欠陥識別器6011で識別された識別結果を、例えば画像処理装置200に接続された外部の情報処理装置又は画像処理装置200に接続されたディスプレイ等に出力する(S104)。
画像処理装置200は、生産ライン上をワークが流れてくる度にステップS101〜ステップS104の処理手順を繰り返し行う。
図8は、画像処理装置200が生産ライン上でワークの検査を行う様子を例示する。ワークA、ワークB及びワークCは、それぞれ属性a、属性b及び属性cを有するワークである。撮影部602は、ワークCがベルトコンベヤを移動して画像処理装置200の下に来たタイミングで撮影を行い、撮影したワークの画像を特定部603に渡す。特定部603は、属性識別器6031を用いてワークの属性を特定する。選択部604は、特定されたワークの属性に対応する欠陥識別器6011を選択する。
図9は、欠陥識別器を選択する動作の一例を例示する。例えば、識別器DB601には、属性aに対応する欠陥識別器6011xと、属性bに対応する欠陥識別器6011yと、属性cに対応する欠陥識別器6011zとが格納されていると仮定する。属性識別器6031にワークAの画像が入力されると、属性識別器6031はワークAの属性である属性aを出力する。続いて、選択部604は、属性aに対応する欠陥識別器6011xを選択する。同様に、属性識別器6031にワークBの画像及びワークCの画像が入力されると、属性識別器6031は、それぞれ、ワークBの属性である属性bとワークCの属性である属性cとを出力する。続いて、選択部604は、属性bに対応する欠陥識別器6011yと、属性cに対応する欠陥識別器6011zとを選択する。
ここで、欠陥識別器6011は、より識別精度を高めるために、検出可能な欠陥の種別ごとに区分されていてもよい。図10に、識別可能な欠陥の種別ごとに区分された欠陥識別器の一例を例示する。例えば、欠陥識別器60111a及び欠陥識別器60112aは、キズに特化して欠陥を検出する欠陥識別器6011である。また、欠陥識別器60111b及び欠陥識別器60112bは、汚れに特化して欠陥を検出する欠陥識別器6011である。また、欠陥識別器60111c及び欠陥識別器60112cは、色ムラに特化して欠陥を検出する欠陥識別器6011である。なお、検出可能な欠陥の種別は、更に詳細に区分されていてもよい。例えばキズの場合、深さ100μm以下のキズ、深さ100μm以上のキズといったように、キズの深さ及びキズの長さ等で詳細に区分され、欠陥識別器6011は、詳細に区分されたキズに特化して欠陥を検出可能であってもよい。
この場合、選択部604は、ユーザから指定された欠陥の種別を検出可能な欠陥識別器6011を識別器DB601の中から選択し、選択した複数の欠陥識別器6011の中から、特定部603で特定されたワークの属性に対応する欠陥識別器6011を選択するようにしてもよい。例えば、ユーザが欠陥の種別として「キズ」を指定した場合、選択部604は、キズを検出可能な欠陥識別器6011(60111a又は60112a)の中から、ワークの属性に対応する欠陥識別器6011を選択する。仮にワークの属性が、「材質が金属」及び「表面形状が反射率低」である場合、選択部604は、欠陥識別器60112aを選択することになる。
これにより、ユーザは、画像処理システム1に複数の画像処理装置200を設置し、画像処理装置200ごとに異なる欠陥の種別を指定することで、例えば、生産ラインに設置された3台の画像処理装置200に対し、それぞれキズの有無、汚れの有無、打痕の有無等を識別させることができる。このように複数の画像処理装置200を用いることで更に識別精度の高い画像処理システム1を構築することが可能になる。
また、特定部603は、各々が特定のワークの属性を識別する能力を有する複数の属性識別器6031から構成されていてもよい。図11に、複数の属性識別器6031を用いてワークの属性を識別する動作の一例を例示する。図11の例では、特定部603は、ワークの属性の一部である“ワークの材質”を識別する能力を有する属性識別器60311と、ワークの属性の一部である“ワークの表面形状”を識別する能力を有する属性識別器60312とを含む。特定部603は、最初にワークの画像を属性識別器60311に入力することでワークの材質を特定し、次に、ワークの画像を属性識別器60312に入力することでワークの表面形状を特定する。なお、図11の例に限定されず、属性識別器60311と属性識別器60312とが同時に(並列に)ワークの属性を識別するようにしてもよい。図11の例では、特定部603がワークの属性として光沢のある金属を特定するので、選択部604は光沢のある金属に適した欠陥識別器6011を選択することになる。なお、特定部603は、図11の例に限定されず、3以上の属性識別器6031から構成されていてもよい。
§4 変形例
[変形例1]
生産ラインでは、ベルトコンベヤ上を流れるワークの順序が、ワークA(属性a)、ワークB(属性b)、ワークC(属性c)の順に繰り返し流れるといったように予め定められているケースが想定される。この場合、入力部605から欠陥識別器6011に入力されるワークの画像は、必ず、ワークA、ワークB及びワークCの順になる。従って、選択部604は、属性aに対応する欠陥識別器6011、属性bに対応する欠陥識別器6011、属性cに対応する欠陥識別器6011の順に繰り返し欠陥識別器6011を選択すればよい。
このような動作を実現するために、生産ラインを流れるワークの並び順(すなわち画像処理装置200が欠陥の有無を検出すべきワークの並び順)に対応づけられるワークの属性の順序を示す「順序情報」を記憶装置222に記憶しておき、選択部604は、順序情報で示されるワークの属性の順序に従って欠陥識別器6011を選択するようにしてもよい。これにより、選択部604の動作を簡素化することができ、画像処理装置200の処理負荷及びメモリ使用量を軽減させることが可能になる。
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。
(付記1)
対象物の画像から前記対象物に含まれる検出対象の有無を識別するように学習された複数の識別器(6011)を前記対象物の属性と対応付けて記憶する記憶部(601)と、
所定の対象物の画像を撮影する撮影部(602)と、
前記所定の対象物の属性を特定する特定部(603)と、
前記複数の識別器の中から、前記特定された属性に対応付けて記憶されている第1識別器(6011)を選択する選択部(604)と、
前記第1識別器(6011)に前記所定の対象物の画像を入力する入力部(605)と、
前記第1識別器(6011)から出力された、前記所定の対象物に含まれる検出対象の有無を出力する出力部(606)と、
を有する識別装置(200)。
(付記2)
前記特定部(603)は、前記所定の対象物の画像から、前記所定の対象物の属性を特定する、
付記1に記載の識別装置(200)。
(付記3)
前記特定部(603)は、対象物の画像から当該対象物の属性を特定するように学習された第2識別器(6031)を備え、前記第2識別器(6031)が前記所定の対象物の画像から前記所定の対象物の属性を特定する、
付記2に記載の識別装置(200)。
(付記4)
前記特定部(603)は、事前に設定された順序で、前記所定の対象物の属性を特定する、
付記1に記載の識別装置(200)。
(付記5)
前記記憶部に記憶される複数の識別器(6011)の各々は、識別器(6011)に対応付けられた属性を有する対象物について、検出対象の有無を他の識別器(6011)よりも高い精度で識別するように学習されたものである、
付記1乃至4のいずれか一項に記載の識別装置(200)。
(付記6)
前記対象物は検査対象物であり、
前記検出対象は、前記検査対象物に含まれる欠陥である、
付記1乃至5のいずれか一項に記載の識別装置(200)。
(付記7)
対象物の画像から前記対象物に含まれる検出対象の有無を識別するように学習された複数の識別器(6011)を前記対象物の属性と対応付けて記憶する記憶部(601)を有する識別装置(200)が実行する識別方法であって、
所定の対象物の画像を撮影するステップと、
前記所定の対象物の属性を特定するステップと、
前記複数の識別器(6011)の中から、前記特定された属性に対応付けて記憶されている第1識別器(6011)を選択するステップと、
前記第1識別器(6011)に前記所定の対象物の画像を入力するステップと、
前記第1識別器(6011)から出力された、前記所定の対象物に含まれる検出対象の有無を出力するステップと、
を有する識別方法。
(付記8)
識別装置(200)を、
対象物の画像から前記対象物に含まれる検出対象の有無を識別するように学習された複数の識別器(6011)を前記対象物の属性と対応付けて記憶する記憶手段(601)と、
所定の対象物の画像を撮影する撮影手段(602)と、
前記所定の対象物の属性を特定する特定手段(603)と、
前記複数の識別器(6011)の中から、前記特定された属性に対応付けて記憶されている第1識別器(6011)を選択する選択手段(604)と、
前記第1識別器(6011)に前記所定の対象物の画像を入力する入力手段(605)と、
前記第1識別器(6011)から出力された、前記所定の対象物に含まれる検出対象の有無を出力する出力手段(606)と、
して機能させるプログラム。
1…画像処理システム、100…管理装置、101…プロセッサ、102…メモリ、103…記憶装置、103A…プログラム、104…ネットワークインターフェイス、105…表示部、106…操作部、107…メモリカードリーダ・ライタ、107A…記憶媒体、108…内部バス、121A…CPU、200…画像処理装置、210…照明部、211…照明制御ユニット、212…照明レンズ、220…制御装置、221…処理部、222…記憶装置、222A…プログラム、223…ネットワーク通信部、225…外部入出力部、230…撮像部、231…撮像レンズ、232…撮像素子、501…学習データ生成部、502…識別器生成部、601…識別器DB、602…撮影部、603…特定部、604…選択部、605…入力部、606…出力部、6011…欠陥識別器、6031…属性識別器

Claims (8)

  1. 対象物の画像から前記対象物に含まれる検出対象の有無を識別するように学習された複数の識別器を前記対象物の外観に関する特徴によって表される属性と対応付けて記憶する記憶部と、
    所定の対象物の画像を撮影する撮影部と、
    前記所定の対象物の画像に基づいて、前記所定の対象物の外観に関する特徴によって表される属性を特定する特定部と、
    前記複数の識別器の中から、前記特定された属性に対応付けて記憶されている第1識別器を選択する選択部と、
    前記第1識別器に前記所定の対象物の画像を入力する入力部と、
    前記第1識別器から出力された、前記所定の対象物に含まれる検出対象の有無を出力する出力部と、
    を有する識別装置。
  2. 前記特定部は、前記所定の対象物の画像から、前記所定の対象物の外観に関する特徴によって表される属性を特定する、
    請求項1に記載の識別装置。
  3. 前記特定部は、対象物の画像から当該対象物の外観に関する特徴によって表される属性を特定するように学習された第2識別器を備え、前記第2識別器が前記所定の対象物の画像から前記所定の対象物の外観に関する特徴によって表される属性を特定する、
    請求項2に記載の識別装置。
  4. 前記特定部は、事前に設定された順序で、前記所定の対象物の外観に関する特徴によって表される属性を特定する、
    請求項1に記載の識別装置。
  5. 前記記憶部に記憶される複数の識別器の各々は、識別器に対応付けられた属性を有する対象物について、検出対象の有無を他の識別器よりも高い精度で識別するように学習されたものである、
    請求項1乃至4のいずれか一項に記載の識別装置。
  6. 前記対象物は検査対象物であり、
    前記検出対象は、前記検査対象物に含まれる欠陥である、
    請求項1乃至5のいずれか一項に記載の識別装置。
  7. 対象物の画像から前記対象物に含まれる検出対象の有無を識別するように学習された複数の識別器を前記対象物の外観に関する特徴によって表される属性と対応付けて記憶する記憶部を有する識別装置が実行する識別方法であって、
    所定の対象物の画像を撮影するステップと、
    前記所定の対象物の画像に基づいて、前記所定の対象物の外観に関する特徴によって表される属性を特定するステップと、
    前記複数の識別器の中から、前記特定された属性に対応付けて記憶されている第1識別器を選択するステップと、
    前記第1識別器に前記所定の対象物の画像を入力するステップと、
    前記第1識別器から出力された、前記所定の対象物に含まれる検出対象の有無を出力するステップと、
    を有する識別方法。
  8. 識別装置を、
    対象物の画像から前記対象物に含まれる検出対象の有無を識別するように学習された複数の識別器を前記対象物の外観に関する特徴によって表される属性と対応付けて記憶する記憶手段と、
    所定の対象物の画像を撮影する撮影手段と、
    前記所定の対象物の画像に基づいて、前記所定の対象物の外観に関する特徴によって表される属性を特定する特定手段と、
    前記複数の識別器の中から、前記特定された属性に対応付けて記憶されている第1識別器を選択する選択手段と、
    前記第1識別器に前記所定の対象物の画像を入力する入力手段と、
    前記第1識別器から出力された、前記所定の対象物に含まれる検出対象の有無を出力する出力手段と、
    して機能させるプログラム。
JP2017239302A 2017-12-14 2017-12-14 識別装置、識別方法及びプログラム Active JP6955211B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017239302A JP6955211B2 (ja) 2017-12-14 2017-12-14 識別装置、識別方法及びプログラム
CN201811176344.2A CN109978816B (zh) 2017-12-14 2018-10-10 识别装置、识别方法以及存储介质
EP18200547.0A EP3499409B1 (en) 2017-12-14 2018-10-15 Identifying apparatus, identifying method, and program
US16/162,451 US10885626B2 (en) 2017-12-14 2018-10-17 Identifying apparatus, identifying method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017239302A JP6955211B2 (ja) 2017-12-14 2017-12-14 識別装置、識別方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2019106090A JP2019106090A (ja) 2019-06-27
JP6955211B2 true JP6955211B2 (ja) 2021-10-27

Family

ID=63862074

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017239302A Active JP6955211B2 (ja) 2017-12-14 2017-12-14 識別装置、識別方法及びプログラム

Country Status (4)

Country Link
US (1) US10885626B2 (ja)
EP (1) EP3499409B1 (ja)
JP (1) JP6955211B2 (ja)
CN (1) CN109978816B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
WO2019171121A1 (en) * 2018-03-05 2019-09-12 Omron Corporation Method, device, system and program for setting lighting condition and storage medium
JP2021060355A (ja) * 2019-10-09 2021-04-15 株式会社デンソー 検査装置
JP7385417B2 (ja) * 2019-10-11 2023-11-22 日立造船株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP7016179B2 (ja) * 2020-02-21 2022-02-04 株式会社 システムスクエア 検査装置およびプログラム
JP6872214B1 (ja) * 2020-08-20 2021-05-19 株式会社医療情報技術研究所 分類システム
JP2022047442A (ja) * 2020-09-11 2022-03-24 パナソニックIpマネジメント株式会社 情報処理方法及び情報処理装置
JP2022086892A (ja) * 2020-11-30 2022-06-09 ブラザー工業株式会社 情報処理装置、および、情報処理方法
JP2022102666A (ja) * 2020-12-25 2022-07-07 新東工業株式会社 検査装置、検査方法、機械学習装置、及び機械学習方法
WO2022185474A1 (ja) * 2021-03-04 2022-09-09 日本電気株式会社 学習装置、学習方法、検査装置、検査方法、及び、記録媒体
JP7101349B1 (ja) 2021-05-28 2022-07-15 株式会社医療情報技術研究所 分類システム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3002325B2 (ja) * 1992-04-27 2000-01-24 株式会社東芝 表面検査装置
JPH09152480A (ja) * 1995-11-30 1997-06-10 Mitsubishi Electric Corp 自動目標認識装置
US6922482B1 (en) * 1999-06-15 2005-07-26 Applied Materials, Inc. Hybrid invariant adaptive automatic defect classification
IL131282A (en) * 1999-08-05 2009-02-11 Orbotech Ltd Apparatus and methods for inspection of objects
US20020065900A1 (en) * 2000-10-02 2002-05-30 Applied Materials, Inc. Method and apparatus for communicating images, data, or other information in a defect source identifier
JP4118703B2 (ja) * 2002-05-23 2008-07-16 株式会社日立ハイテクノロジーズ 欠陥分類装置及び欠陥自動分類方法並びに欠陥検査方法及び処理装置
JP5413012B2 (ja) * 2009-07-21 2014-02-12 富士ゼロックス株式会社 画像欠陥診断システム、画像形成装置、およびプログラム
JP5025713B2 (ja) * 2009-11-30 2012-09-12 日本電信電話株式会社 属性識別装置、および属性識別プログラム
JP5546317B2 (ja) * 2010-03-31 2014-07-09 株式会社デンソーアイティーラボラトリ 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
JP2014021901A (ja) * 2012-07-23 2014-02-03 Casio Comput Co Ltd 被写体検出装置、被写体検出方法及びプログラム
US9355440B1 (en) * 2012-10-10 2016-05-31 Kla-Tencor Corp. Detection of selected defects in relatively noisy inspection data
US9140554B2 (en) * 2014-01-24 2015-09-22 Microsoft Technology Licensing, Llc Audio navigation assistance
US20150310300A1 (en) * 2014-04-28 2015-10-29 Distiller, Llc System and method for multiple object recognition and personalized recommendations
JP6024719B2 (ja) * 2014-09-09 2016-11-16 カシオ計算機株式会社 検出装置、検出方法、及びプログラム
US20170069075A1 (en) 2015-09-04 2017-03-09 Canon Kabushiki Kaisha Classifier generation apparatus, defective/non-defective determination method, and program
JP2017049974A (ja) * 2015-09-04 2017-03-09 キヤノン株式会社 識別器生成装置、良否判定方法、およびプログラム
JP6669453B2 (ja) * 2015-09-08 2020-03-18 株式会社Screenホールディングス 画像分類装置および画像分類方法

Also Published As

Publication number Publication date
CN109978816B (zh) 2024-03-08
CN109978816A (zh) 2019-07-05
US10885626B2 (en) 2021-01-05
EP3499409A1 (en) 2019-06-19
US20190188845A1 (en) 2019-06-20
EP3499409B1 (en) 2020-12-23
JP2019106090A (ja) 2019-06-27

Similar Documents

Publication Publication Date Title
JP6955211B2 (ja) 識別装置、識別方法及びプログラム
JP6992475B2 (ja) 情報処理装置、識別システム、設定方法及びプログラム
US10860901B2 (en) Detection system, information processing apparatus, evaluation method, and program
KR102108956B1 (ko) 인공지능을 활용한 머신비전 모듈형 소프트웨어를 갖는 머신비전 검사장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체
JP2016181098A (ja) 領域検出装置および領域検出方法
US20150116543A1 (en) Information processing apparatus, information processing method, and storage medium
Cheng et al. Enhanced detection of diverse defects by developing lighting strategies using multiple light sources based on reinforcement learning
CN114609139A (zh) 检查系统、管理装置、检查方法、记录介质和物品的制造方法
KR101748768B1 (ko) 머신 비전 검사를 위한 가상 테스트 이미지 생성 방법 및 장치, 머신 비전 검사 시뮬레이션 방법 및 장치, 및 머신 비전 테스트 시스템
JP2007248051A (ja) 対象物表面の欠陥検査方法
JPWO2019216303A1 (ja) 検査装置、検査方法、学習方法、及びプログラム
EP3869224A1 (en) Methods and apparatus for using range data to predict object features
WO2020090290A1 (ja) 画像分類装置、画像検査装置、及び画像分類方法
CN114226262A (zh) 瑕疵检测方法、瑕疵分类方法及其系统
TWI753424B (zh) 外觀檢查管理系統、外觀檢查管理裝置、外觀檢查管理方法以及程式
JP2021156644A (ja) コネクタ検査装置、コネクタ検査方法、及びプログラム
CN116046791B (zh) 点胶缺陷检测方法及检测装置
US20230030779A1 (en) Machine vision systems and methods for automatically generating one or more machine vision jobs based on region of interests (rois) of digital images
JP2022156999A (ja) 検査方法、検査装置
JP2022031827A (ja) 画像処理システム、情報処理装置、情報処理方法、および、情報処理プログラム
Jean et al. Development of an Automatic Optical Inspection System and its Application to Defect Examination
CN116403926A (zh) 基板分析系统、基板分析方法以及存储介质
JP2012242282A (ja) 検出対象物について頭部分の位置および軸部分の方向を算出する方法、装置およびプログラム
JP2011112572A (ja) 良否判定装置、良否判定方法および良否判定プログラム
JP2020046255A (ja) 透明体検査装置及び透明体検査方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200310

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210901

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210914

R150 Certificate of patent or registration of utility model

Ref document number: 6955211

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150