TW202414334A - 圖像處理裝置及圖像處理方法 - Google Patents

Abstract

本發明可使圖像處理裝置的學習效率、或處理速度提高。圖像處理裝置(100)具備取得部(110)、分割部(120)、判定部(140)及輸出部(150)。取得部(110)取得檢查對象物顯像的原圖像。分割部(120)將原圖像基於顯像於原圖像中的檢查對象物的特徵進行分割，藉此生成複數個分割圖像。判定部(140)就複數個分割圖像分別判定是否可以使用規則資訊判定檢查對象物的良或不良，並就複數個分割圖像之中可使用規則資訊判定檢查對象物的良或不良的第1分割圖像，使用規則資訊判定檢查對象物的良或不良。輸出部(150)將複數個分割圖像之中無法使用規則資訊判定檢查對象物的良或不良的第2分割圖像，輸出至可進行機械學習的學習模組、或作為學習結果而獲得的學習模組(160)。

Description

圖像處理裝置及圖像處理方法

本揭示是關於一種圖像處理裝置及圖像處理方法。

背景技術 先前，存在有使用電子零件等檢查對象物顯像的圖像，就檢查對象物進行學習或評估的裝置(例如參照專利文獻1)。

於專利文獻1中揭示一種對象物評估系統，其包含複數圖像取得裝置、圖像輸出裝置及學習模組。複數圖像取得裝置具有照相機。複數圖像取得裝置藉由照相機取得從第1方向拍攝對象物的第1圖像、以及從第2方向拍攝對象物的第2圖像。圖像輸出裝置取得第1圖像與第2圖像。又，圖像輸出裝置將第1圖像與第2圖像朝可進行機械學習的學習模組、或作為學習結果而獲得的學習模組輸入。更詳細而言，將第1圖像從學習模組具備的輸入機構中的第1部分輸入，將第2圖像從輸入機構中的第2部分輸入。 先行技術文獻

專利文獻 [專利文獻1]日本特開2018-132962號公報

發明概要 在讓可進行機械學習的學習模組進行機械學習時，期望能提高學習效率，例如以少量的資訊量進行機械學習等。又，對於作為學習結果而獲得的學習模組、即已經經過機械學習的學習模組，則期望提高處理速度。

本揭示是提供一種可提高學習效率、或可提高處理速度的圖像處理裝置及圖像處理方法。

本揭示之一態樣之圖像處理裝置具備取得部、分割部、判定部及輸出部。前述取得部取得檢查對象物顯像的原圖像。前述分割部將前述原圖像基於顯像於前述原圖像中的前述檢查對象物的特徵進行分割，藉此生成複數個分割圖像。前述判定部就前述複數個分割圖像分別判定是否可以使用規則資訊判定前述檢查對象物的良或不良，並就前述複數個分割圖像之中可使用前述規則資訊判定前述檢查對象物的良或不良的第1分割圖像，使用前述規則資訊判定前述檢查對象物的良或不良。前述輸出部將前述複數個分割圖像之中無法使用前述規則資訊判定前述檢查對象物的良或不良的第2分割圖像，輸出至可進行機械學習的學習模組、或作為學習結果而獲得的學習模組。

又，本揭示之一態樣之圖像處理方法是取得檢查對象物顯像的原圖像。然後，將前述原圖像基於顯像於前述原圖像中的前述檢查對象物的特徵進行分割，藉此生成複數個分割圖像。然後，就前述複數個分割圖像分別判定是否可以使用規則資訊判定前述檢查對象物的良或不良，並就前述複數個分割圖像之中可使用前述規則資訊判定前述檢查對象物的良或不良的第1分割圖像，使用前述規則資訊判定前述檢查對象物的良或不良。進而，將前述複數個分割圖像之中無法使用前述規則資訊判定前述檢查對象物的良或不良的第2分割圖像，輸出至可進行機械學習的學習模組、或作為學習結果而獲得的學習模組。

根據本揭示，可提供一種可提高學習效率、或可提高處理速度的圖像處理裝置及圖像處理方法。

用以實施發明之形態 以下，一面參照圖式一面說明本揭示之實施形態。再者，以下說明的實施形態是顯示本揭示之一具體例。因此，於以下實施形態所表示之數值、形狀、材料、構成要件及構成要件的配置位置及連接形態等為一示例，並非意在限定本揭示。因此，關於以下實施形態之構成要件中並未記載於獨立請求項的構成要件，作為任意的構成要件進行說明。

再者，各圖是示意圖，不一定是精密的圖式。又，於各圖中，對於與其他圖實質上相同的構成賦予相同符號，省略或簡化重複說明。 (實施形態) [構成]

首先，就實施形態之圖像處理裝置100的構成進行說明。

圖1是顯示包含實施形態之圖像處理裝置100的系統的概要的方塊圖。

圖像處理裝置100是基於藉由照相機等攝像裝置200拍攝檢查對象物(工件)400所生成的圖像(原圖像)，判定檢查對象物400的良或不良的裝置。圖像處理裝置100例如對拍攝檢查對象物400而獲得的原圖像實施預定的圖像處理，就經實施該預定的圖像處理的圖像進行圖像解析等，藉此判定顯像於圖像中的檢查對象物400的良或不良。

所謂判定檢查對象物400的良或不良，例如判定檢查對象物400有無傷痕、缺口及破裂等、或判定是否於適當的位置印刷有適當的文字等。圖像處理裝置100使用決定有預定的閾值等的規則資訊等，判定顯像於圖像中的檢查對象物的良或不良。

所謂規則資訊是用以判定檢查對象物400的良或不良的資訊。規則資訊例如為表示亮度的閾值等的範圍的資訊、表示顏色的閾值等的範圍的資訊、表示欲印刷的文字的資訊、及表示外形的資訊等的資訊。參照圖3、圖4，圖像處理裝置100使用規則資訊判定顯像於後述的分割圖像310中的檢查對象物400的良或不良。

又，例如圖像處理裝置100將檢查對象物400顯像的圖像之中無法使用規則資訊判定檢查對象物400的良或不良的圖像、即無法判定良或不良的圖像顯示於顯示裝置210。例如檢查員確認該圖像，使用輸入裝置220輸入顯像於該圖像中的檢查對象物400的良或不良的判定結果。圖像處理裝置100例如取得該判定結果，並進行機械學習，藉此可使用AI(Artificial Intelligence，人工智慧)等來判定顯像於該圖像中的檢查對象物400的良或不良。

圖像處理裝置100例如為個人電腦或平板終端等的電腦。具體而言，例如圖像處理裝置100可由用以與攝像裝置200、顯示裝置210及輸入裝置220進行通訊的通訊介面、儲存有程式的非揮發性記憶體、作為用以執行程式的暫時性記憶區域的揮發性記憶體、用以進行訊號的傳送接收的輸入輸出埠、執行程式的處理器等而實現。該通訊介面可藉由以可進行有線通訊地連接通訊線的連接器等而實現，亦可以可進行無線通訊地藉由天線及無線通訊電路等而實現。

圖2是顯示實施形態之圖像處理裝置100的構成的方塊圖。圖3是用以說明由實施形態之圖像處理裝置100執行的判定檢查對象物400的良或不良的處理程序的圖。

如圖2所示，圖像處理裝置100具備取得部110、分割部120、生成部130、判定部140、輸出部150、學習模組160、接受部170、建立關聯部180及記憶部190。

取得部110是取得圖3所示的檢查對象物400顯像的原圖像300的處理部。如圖3(a)所示，取得部110例如從攝像裝置200取得1個以上的原圖像300。

檢查對象物400例如為IC(Integrated Circuit，積體電路)等的電子零件。

再者，檢查對象物400亦可不是電子零件，而是基板等的任意的對象物。

又，例如取得部110取得複數個原圖像時，顯像於各原圖像中的檢查對象物可為相同的檢查對象物，亦可為相同種類但不同的檢查對象物。

又，取得部110亦可經由圖像處理裝置100具備的通訊介面，從伺服器裝置等取得原圖像300。

分割部120是將原圖像300基於顯像於原圖像300中的檢查對象物400的特徵進行分割，藉此生成複數個分割圖像310的處理部。

再者，分割部120在取得部110取得複數個原圖像時，可就各個原圖像以分割圖像成為相同張數的方式進行分割，亦可以分割圖像成為不同張數的方式進行分割。

再者，檢查對象物400的特徵可任意地設定。

分割部120例如將圖3(a)所示的檢查對象物400顯像的原圖像300基於檢查對象物400的特徵進行分割。分割部120例如如圖3(b)所示，將原圖像300分割為：(i)檢查對象物400中如「ABCDE」般印刷有(或刻印有)文字之處 (圖3(b)中以一點鏈線表示的第2區域)；(ii)原圖像300中包含檢查對象物400與背景的交界部的檢查對象物400中的端部(圖3(b)中以二點鏈線表示的第3區域)；及(iii)檢查對象物400中的表面部、即第2區域及第3區域以外的區域(圖3(a)中以虛線表示的第1區域)。於本例中，分割部120將原圖像300中的第1區域的部分分割為12張、將第2區域的部分分割為1張、將第3區域的部分分割為4張。

例如，於表面部的檢查(例如，檢查對象物400中平整且表面的亮度值較平坦的部分的檢查)中，檢查表面有無傷痕等缺陷。

又，例如於端部的檢查(例如檢查對象物與背景的交界部的檢查)中，檢查檢查對象物400的端部有無缺口及變形等缺陷。

又，例如於印刷文字的檢查(例如於文字形狀上具有特徵的部分的檢查)中，檢查有無文字的變形、模糊及位置偏離等缺陷。

如上所述，根據檢查對象物400的位置、即檢查對象物400的特徵(更具體而言，檢查對象物400的各個位置的特徵)的不同，有檢查內容不同的情形。分割部120例如如上所述般，按照檢查的各個內容、即檢查對象物400的各個特徵，將原圖像300進行分割。

再者，分割部120所生成的分割圖像310的數量並無特別限定。又，雖然於圖3所示之例中，分割部120將原圖像300分割為第1區域、第2區域及第3區域的三個區域，但亦可分割為二個區域，亦可分割為四個以上的區域。

又，檢查對象物400的特徵雖然於圖3所示之例中，如上述(i)~(iii)所述為印字部、端部及表面部，但並不限定於此等之例，可任意地設定。

又，分割部120所生成的分割圖像310的形狀(更具體而言為外形)可為任意。於本實施形態中，分割部120以複數個分割圖像310分別成為矩形地分割原圖像。分割部120亦可例如以分割圖像310成為L字形狀地分割原圖像300。

又，檢查對象物400的特徵例如亦可經由輸入裝置220從檢查員取得表示該特徵的資訊。又，例如分割部120亦可使用用以識別檢查對象物400的特徵的經機械學習的識別模型(特徵識別模型)，來特定出原圖像300中的特徵。特徵識別模型例如為將原圖像、與表示原圖像所包含的檢查對象物的特徵的教師資料(所謂註解資訊)作為學習資料，進行機械學習後的推論模型。特徵識別模型例如為使用深度學習(Deep Learning)(深層學習)等的類神經網路(例如卷積類神經網路(CNN：Convolutional Neural Network))的機械學習模型，但亦可為其他的機械學習模型。

特徵識別模型例如預先記憶在記憶部190。

圖4是顯示實施形態之顯示圖像330的圖。生成部130是生成檢查圖像320(參照圖4)的處理部，前述檢查圖像320包含分割部120所生成的複數個分割圖像310之中、基於檢查對象物400的特徵所選擇的1個以上的分割圖像310。具體而言，生成部130基於檢查對象物400的特徵將複數個分割圖像310進行分類，生成複數個檢查圖像320，前述複數個檢查圖像320由複數個分割圖像310之中被分類在同組的1個以上的分割圖像310組合而成。於本實施形態中，1個以上的分割圖像310為2個以上的分割圖像310。即，生成部130生成包含2個以上的分割圖像310的檢查圖像320。例如生成部130在對分割部120所生成的分割圖像310進行縮小及強調等用以維持檢測率的前處理後，按照根據檢查對象物400的特徵的各個分割圖像310，直接將分割圖像310以無間隙地敷設的方式配置，藉此生成檢查圖像320。

生成部130例如將分割部120所生成的複數個分割圖像310分類為複數組，前述複數組是按照檢查對象物400的各個特徵而彙整。生成部130進而生成檢查圖像320，前述檢查圖像320是按照分類後的各組將分割圖像310彙整而成。

各組例如如上述(i)~(iii)所述為印字部、端部及表面部等的檢查對象物400的各個特徵的分割圖像310的群組。

再者，生成部130亦可就分割圖像310實施尺寸的變更、亮度的變更或顏色的變更等圖像處理。

例如，生成部130亦可就分割圖像310實施強調檢查對象物400所包含的缺陷(例如圖3所示的缺陷500)的圖像處理。如此的圖像處理例如為增加亮度差的圖像處理、增加對比度的處理、或增加被推定為缺陷的部分的尺寸的處理等。

例如，生成部130生成經基於1個以上的分割圖像310的亮度，實施預定的處理的檢查圖像320。關於預定的處理，例如生成部130算出1個以上的分割圖像310的亮度的平均值，生成基於所算出的平均值修正1個以上的分割圖像310的亮度後配置的檢查圖像320。又，例如配置有2個以上的分割圖像310時，關於預定的處理，生成部130將該2個以上的分割圖像310中的相鄰的分割圖像310的至少一部分的亮度梯度進行修正。再者，修正亮度梯度的部分可為相鄰的分割圖像中的一者、亦可為兩者。又，關於預定的處理，例如生成部130以2個以上的分割圖像310中的相鄰的分割圖像310的亮度差成為最小的方式，決定該2個以上的分割圖像310的配置，生成經以決定好的配置配置該2個以上的分割圖像310的檢查圖像320。

又，例如配置有2個以上的分割圖像310時，生成部130生成經對該2個以上的分割圖像310中的相鄰的分割圖像310之間實施alpha混合等的模糊處理的檢查圖像320。再者，所謂相鄰的分割圖像310之間例如為該相鄰的分割圖像310中的至少一者的、該相鄰的分割圖像310中的圖像彼此相接的部分。所謂相鄰的分割圖像310之間例如亦可為配置在該相鄰的分割圖像310之間的經實施模糊處理的圖像。

又，例如生成部130亦可就分割圖像實施變更圖像的尺寸(具體為縮小)的圖像處理。例如生成部130可將1個以上的分割圖像310縮小，且進行提高該1個以上的分割圖像310的亮度對比度的處理後，才生成檢查圖像320。再者，生成部130可將分割圖像310縮小後，再進行提高亮度對比度的處理，亦可進行提高亮度對比度的處理後，才將分割圖像310縮小。

又，可對各個分割圖像310實施相同的圖像處理，亦可實施不同的圖像處理。又，亦可對各組實施不同的圖像處理。

生成部130例如在對分割圖像310實施預定的圖像處理後，決定分割圖像310的配置，生成以決定好的配置排列的檢查圖像320。

再者，生成部130可基於複數個原圖像生成檢查圖像，亦可基於1張的原圖像生成檢查圖像。

又，生成部130亦可就複數個分割圖像310，與原圖像300的位置關係無關地決定配置，生成複數個分割圖像310以決定好的配置排列的檢查圖像320。

又，例如如圖3(b)所示，在原圖像300中不被包含在第1區域、第2區域、或第3區域中的任何區域之處，可生成分割圖像310作為第4區域，亦可捨棄。

又，檢查圖像320中的分割圖像310的配置亦可任意地決定。例如生成部130基於檢查對象物400的特徵，決定1個以上的分割圖像310的配置，生成經以決定好的配置配置1個以上的分割圖像310的1個以上的檢查圖像。

檢查圖像320所包含的分割圖像310的數量可為1張、亦可為複數張。例如生成部130按照檢查對象物400的各個特徵來生成檢查圖像320。例如生成部130生成包含上述的印字部的分割圖像310的檢查圖像320、包含上述的端部的分割圖像310的檢查圖像320、及包含上述的表面部的分割圖像310的檢查圖像320。生成部130例如亦可生成將上述的印字部的分割圖像310、上述的端部的分割圖像310、及上述的表面部的分割圖像310分別彙整在相互不同的位置(例如檢查圖像320中的上部、中央部及下部，或者左部、中央部及右部等)的檢查圖像320。

判定部140是就複數個分割圖像310分別判定是否可以使用規則資訊判定檢查對象物400的良或不良的處理部。具體而言，判定部140使用規則資訊、更具體而言不使用機械學習地，判定是否可以判定顯像於分割圖像310中的檢查對象物400的良或不好。例如，判定部140就複數個分割圖像310之中可使用規則資訊判定檢查對象物400的良或不良的第1分割圖像，使用規則資訊判定檢查對象物400的良或不良(更具體而言，檢查對象物400的顯像於分割圖像310中的部分的良或不好)。

例如判定部140對分割圖像310實施亮度測量等的圖像測量，如果測得的亮度等值為預定的第1閾值以上、或小於第1閾值的第2閾值以下的值，將分割圖像310中的檢查對象物400判定為不良。又，例如如果測得的亮度等值為小於預定的第1閾值、且大於第2閾值的值，判定部140則將分割圖像310中的檢查對象物400判定為良。

再者，圖像測量的內容亦可為分割圖像310的亮度梯度、亮度的分散、亮度的偏差、或包含預定數量以上的位於預定亮度範圍的像素之處的尺寸等。又，例如判定部140可將包含特定亮度的像素的分割圖像310中的檢查對象物400判定為不良，亦可將包含預定數量以上的位於預定亮度範圍的像素的分割圖像310中的檢查對象物400判定為不良。又，例如判定部140亦可將無法進行亮度測量等的分割圖像310判定為無法判定分割圖像310中的檢查對象物400的良或不良。

此等測量內容、閾值及判定方法例如亦可作為規則資訊記憶在記憶部190。

再者，判定部140例如在生成部130生成分別包含複數個分割圖像310的複數個檢查圖像320時，就複數個檢查圖像320分別判定是否可以使用規則資訊判定檢查對象物400的良或不良。

輸出部150是輸出分割圖像310及檢查對象物400的良或不良的判定結果等的處理部。例如輸出部150將複數個分割圖像310之中無法使用規則資訊判定檢查對象物400的良或不良的第2分割圖像，輸出至可進行機械學習的學習模組160、或作為學習結果而獲得的學習模組160。又，輸出部150例如藉由將第2分割圖像輸出至顯示裝置210，而於顯示裝置210顯示第2分割圖像。例如輸出部150藉由將包含第2分割圖像的由生成部130所生成的檢查圖像320輸出至顯示裝置210，而於顯示裝置210顯示檢查圖像320。於本實施形態中，輸出部150藉由將包含檢查圖像320的顯示圖像330(參照圖4)輸出至顯示裝置210，而於顯示裝置210顯示顯示圖像330。輸出部150亦可將檢查圖像320輸出至記憶部190，並記憶在記憶部190。

再者，輸出部150亦可藉由將判定部140對於第1分割圖像中的檢查對象物400的判定結果輸出至顯示裝置210，而於顯示裝置210顯示第1分割圖像。

例如判定部140如圖3(c)所示，就12張分割圖像310分別判定是否可以判定顯像於分割圖像310中的檢查對象物400的良或不良。例如輸出部150如圖3(d)所示，將12張分割圖像310之中、判定部140無法判定顯像於分割圖像310中的檢查對象物400的良或不良的分割圖像311(例如包含分割圖像311的檢查圖像320或顯示圖像330)顯示於顯示裝置210、或輸出至學習模組160。

學習模組160為可進行機械學習的學習模組、或作為學習結果而獲得的學習模組。具體而言，學習模組160是使用識別模型(缺陷識別模型)的處理部，前述識別模型將分割圖像310作為輸入，輸出顯像於被輸入的分割圖像310的檢查對象物400的良或不良的判定結果。

缺陷識別模型例如為將圖像、與表示顯像於該圖像中的檢查對象物400的良或不良的判定結果的教師資料作為學習資料，進行機械學習後的推論模型。缺陷識別模型例如為使用深度學習等的類神經網路的機械學習模型，但亦可為其他的機械學習模型。

例如學習模組160為作為學習結果而獲得的、即機械學習完畢的學習模組。此時，例如輸出部150將學習模組160對於第2分割圖像中的檢查對象物400的良或不良的判定結果輸出至顯示裝置210。藉此，例如於顯示裝置210顯示檢查對象物400的良或不良的判定結果。

再者，輸出部150可對顯示裝置210輸出經判定為良的判定結果與經判定為不良的判定結果的兩者，亦可僅輸出經判定為良的判定結果，亦可僅輸出經判定為不良的判定結果，作為檢查對象物400的良或不良的判定結果。又，輸出部150亦可與判定結果一同輸出判定好的原圖像300、分割圖像310或檢查圖像320。又，輸出部150亦可與判定結果一同輸出唯一表示檢查對象物400的製造序號等的識別碼。該識別碼可為原圖像300的檔案的檔案名稱等，亦可為印刷在印字部的文字等。

接受部170是接受檢查員的操作的處理部。接受部170例如經由輸入裝置220接受檢查員的操作。接受部170例如接受第2分割圖像的良或不良的判定結果。檢查員例如觀看顯示於顯示裝置210的檢查圖像320，使用輸入裝置220輸入該檢查圖像320所包含的複數個分割圖像310(例如第2分割圖像)之中、表示包含缺陷500的分割圖像310的資訊。接受部170例如接受該輸入作為判定結果。此時，例如輸出部150將第2分割圖像、與於接受部170接受的第2分割圖像中的檢查對象物400的良或不良的判定結果輸出至學習模組160，藉此讓學習模組160進行機械學習。

圖4是顯示實施形態之顯示圖像330的圖。

顯示圖像330為顯示於顯示裝置210的圖像。顯示圖像330包含檢查圖像區域與UI(User Interface，使用者介面)區域。

檢查圖像區域為位於顯示圖像330的中央部，配置檢查圖像320的區域。

UI區域為位於顯示圖像330的周緣部，配置操作圖像的區域。例如中央視覺是橢圓形的區域340。因此，UI區域可配置在顯示圖像330的周緣部，例如在為圖4所示的橫長的顯示圖像330時，UI區域可配置在顯示圖像330的左右兩端部。再者，所謂中央視覺表示人(於此為操作者)的視野的中央附近的區域。

檢查員例如藉由操作輸入裝置220，就檢查圖像320所包含的複數個分割圖像310，即關於良品顯像的分割圖像310(例如不包含缺陷500的分割圖像310)使分割圖像310移動至記載為「OK」的區域，而關於不良品顯像的分割圖像310(例如包含缺陷500的分割圖像310)使分割圖像310移動至記載為「NG」的區域。

輸入裝置220將分割圖像310移動後的結果作為顯像於分割圖像310中的檢查對象物400的良或不良的判定結果，輸出至圖像處理裝置100。再者，輸入裝置220亦可將未被移動至「NG」的所有的分割圖像310中的檢查對象物400為良的判定結果輸出至圖像處理裝置100。

例如，輸出部150將第2分割圖像、與於接受部170接受的第2分割圖像中的檢查對象物400的良或不良的判定結果輸出至學習模組160，藉此讓學習模組160進行機械學習。

缺陷識別模型例如預先記憶在記憶部190。

再者，學習模組160可為可進行機械學習的、即從現在開始進行機械學習的學習模組，亦可為作為學習結果而獲得的、即機械學習完畢的學習模組。即，圖像處理裝置100可為讓學習模組160使用第2分割圖像進行機械學習的裝置，亦可為讓學習模組160判定顯像於第2分割圖像中的檢查對象物400的良或不良的裝置。圖像處理裝置100可具備學習模組160，亦可不具備學習模組160而與具備學習模組160的裝置可通訊地連接。

又，雖然於圖4中顯示藉由使分割圖像310移動至「OK」的UI區域與「NG」的UI區域中的任一者，而輸入分割圖像310中(顯像於分割圖像310中)的檢查對象物400的良或不良的判定結果的構成，但亦可為藉由點擊「OK」及「NG」等按鈕，而輸入分割圖像310中的檢查對象物400的良或不良的判定結果的構成。

又，輸出部150亦可將表示作為分割圖像310的來源的原圖像300中的該分割圖像310的位置的資訊顯示於顯示裝置210。

建立關聯部180將複數個分割圖像310與複數個分割圖像310中的檢查對象物400的良或不良的判定結果建立關聯後，記憶在記憶部190。檢查對象物400的良或不良的判定結果可為來自判定部140者，亦可為來自學習模組160者，亦可為於接受部170接受者。

又，例如建立關聯部180將複數個分割圖像310之中藉由判定部140或學習模組160經判定檢查對象物400為不良的不良圖像、與表示為不良的主旨的判定結果建立關聯後，記憶在記憶部190。然後，例如輸出部150藉由將不良圖像輸出至顯示裝置210，而將不良圖像顯示於顯示裝置210。又，例如接受部170接受不良圖像中的檢查對象物400的良或不良的判定結果。此時，例如在接受部170所接受的不良圖像中的檢查對象物400的良或不良的判定結果為良時，建立關聯部180將與不良圖像建立關聯並記憶在記憶部190的判定結果變更成表示為良的主旨的判定結果。即，圖像處理裝置100例如從檢查員接受藉由判定部140或學習模組160對於檢查對象物400的良或不良的判定結果是否正確，在錯誤時修正判定結果，並記憶在記憶部190。

再者，例如學習模組160亦可在學習模組160對於檢查對象物400的良或不良的判定結果錯誤時，將不良圖像與於接受部170接受的判定結果(具體為從檢查員接受到的正確的判定結果)作為學習資料，進行機械學習。

又，學習模組160亦可使用記憶在記憶部190的圖像及判定結果作為學習資料，進行機械學習。

又，在判定部140對於檢查對象物400的良或不良的判定結果錯誤時，考慮規則資訊(例如規則資訊所包含的亮度等閾值)為不合適。接受部170亦可接受新的規則資訊，例如將記憶在記憶部190的規則資訊更新為新的規則資訊。

再者，建立關聯部180可將藉由分割部120生成的複數個分割圖像310全部記憶在記憶部190，亦可僅一部分記憶在記憶部190。例如，建立關聯部180將複數個分割圖像310之中檢查對象物400的良或不良的判定結果為良的分割圖像310、與判定結果為不良的分割圖像310以相同張數記憶在記憶部190。例如，建立關聯部180將檢查對象物400的良或不良的判定結果為不良的所有分割圖像310、和與判定結果為不良的分割圖像310相同張數的檢查對象物400的良或不良的判定結果為良的分割圖像310，與判定結果建立關聯後記憶在記憶部190。

建立關聯部180記憶在記憶部190的分割圖像310、即檢查對象物400的良或不良的判定結果為良的分割圖像310亦可任意選擇。例如，建立關聯部180亦可從包含經判定為良的檢查對象物400的複數個分割圖像310之中隨機地選擇，並記憶在記憶部190。又，例如建立關聯部180亦可根據於原圖像300中檢查對象物400的良或不良的判定結果為不良的分割圖像310，來決定記憶在記憶部190的包含經判定為良的檢查對象物400的分割圖像310。例如，建立關聯部180亦可將原圖像300中，位在檢查對象物400的良或不良的判定結果為不良的分割圖像310附近的、檢查對象物400的良或不良的判定結果為良的分割圖像310記憶在記憶部190。又，例如建立關聯部180亦可記憶與經判定檢查對象物400為不良的分割圖像310相同位置的、與該分割圖像310不同的原圖像300(即與經判定為不良的檢查對象物400不同的檢查對象物400)中的分割圖像310，亦即經判定為良的檢查對象物400顯像的分割圖像310。如此，建立關聯部180可將特徵與檢查對象物400的良或不良的判定結果為不良的分割圖像310接近的分割圖像310、即檢查對象物400的良或不良的判定結果為良的分割圖像310記憶在記憶部190。又，例如建立關聯部180亦可進行分割圖像310的亮度測定等，將亮度值為預定值的分割圖像310記憶在記憶部190。

又，建立關聯部180亦可將複數個分割圖像310分別與表示檢查對象物400的特徵的資訊建立關聯，並記憶在記憶部190。即，建立關聯部180可按照表面部、端部或印字部等的各個特徵，將複數個分割圖像310記憶在記憶部190。

取得部110、分割部120、生成部130、判定部140、輸出部150、學習模組160、接受部170、建立關聯部180例如可藉由1個以上的處理器而實現。

記憶部190是記憶有用以使取得部110、分割部120、生成部130、判定部140、輸出部150、學習模組160、接受部170及建立關聯部180等處理部進行各處理而執行的程式、該處理所必須的資訊、以及複數個分割圖像310或檢查圖像320等的記憶裝置。記憶部190例如藉由HDD(Hard Disk Drive，硬碟機)或半導體記憶體等而實現。

攝像裝置200為藉由拍攝檢查對象物而生成原圖像的照相機。撮像裝置200例如藉由CMOS(Complementary Metal Oxide Semiconductor，互補金氧半導體)影像感測器等而實現。

顯示裝置210是基於圖像處理裝置100(更具體而言為輸出部150)的控制而顯示圖像的顯示器。顯示裝置210例如顯示檢查圖像、顯示圖像、或者判定部140或學習模組160的判定結果等。顯示裝置210例如藉由液晶面板或有機EL(Electro Luminescence，電致發光)面板等的顯示器件而實現。

輸入裝置220為接受檢查員的操作的使用者介面。輸入裝置220藉由滑鼠、鍵盤、觸控面板或硬體按鈕等而實現。 [處理程序]

接著，就實施形態之圖像處理裝置100的處理程序進行說明。

圖5是顯示實施形態之圖像處理裝置100的處理程序的流程圖。

首先，取得部110取得檢查對象物400顯像的原圖像300(S110)。

接著，分割部120將取得部110取得的原圖像300基於顯像於該原圖像300中的檢查對象物400的特徵進行分割，藉此生成複數個分割圖像310(S120)。

例如，分割部120以原圖像300所包含的檢查對象物400位於預定位置的方式進行對位。對位的方法可為邊緣抽取或圖案一致等一般的方法，並無特別限定。分割部120亦可基於原圖像300的各個位置(例如各個像素)的亮度，進行檢查對象物400的對位。接著，分割部120指定檢查對象物400的各個特徵的區域，例如上述的表面部、端部及印字部等。該區域的指定可由檢查員指定，亦可藉由上述的機械學習等由分割部120自動地指定。分割部120藉由按照指定的各個區域來分割原圖像300，而生成複數個分割圖像310。

再者，分割部120可將所指定的區域無間隙地分割，亦可以分割圖像310彼此的一部分重疊的方式、即於分割圖像310彼此的一部分包含相同的圖像部分的方式分割原圖像300。

又，分割圖像310的尺寸可任意地決定，並無特別限定。分割圖像310的尺寸可以具體的數值預先決定，亦可根據檢查對象物400的尺寸來決定，例如檢查對象物400的1/10等。

又，檢查對象物400的特徵亦可藉由顏色的組合來特定。又，特徵的分類亦可不涵蓋原圖像300所包含的所有圖案。例如，即使檢查對象物400由5種顏色構成，亦可設定3種顏色作為檢查對象物400的特徵。即，即使不以包含檢查對象物400的全部特徵的方式設定檢查對象物400的特徵亦可。

又，分割部120亦可將表示作為分割圖像310的來源的原圖像300及該原圖像300中的該分割圖像310的位置的資訊記憶在記憶部190。

又，分割部120即使不進行原圖像300中的檢查對象物400的對位亦可。例如亦可以分割圖像310成為預定的尺寸的方式分割原圖像300。預定的尺寸可任意地決定，並無特別限定。表示預定的尺寸的資訊例如亦可記憶在記憶部190。

又，分割部120例如在不進行原圖像300中的檢查對象物400的對位，並以分割圖像310成為預定的尺寸的方式將原圖像300分割時，當檢查對象物400的特徵為顏色時，可決定如何基於顏色將分割圖像310按照各個特徵分類。例如檢查對象物400的表面為黑色，且文字部為白色、背景為灰色時，分割部120例如可將僅包含黑色的分割圖像310判定為表面部，將包含黑色與白色的分割圖像310判定為端部，將僅包含白色的分割圖像310判定為印字部，將僅包含灰色的分割圖像310判定為其他部分。

接著，判定部140就複數個分割圖像310分別判定是否可以使用規則資訊判定檢查對象物400的良或不良(S130)。

接著，判定部140就複數個分割圖像310之中可使用規則資訊判定檢查對象物400的良或不良的第1分割圖像，使用規則資訊判定檢查對象物400的良或不良(S140)。

接著，輸出部150將複數個分割圖像310之中無法使用規則資訊判定檢查對象物400的良或不良的第2分割圖像，輸出至可進行機械學習的學習模組、或作為學習結果而獲得的學習模組160(S150)。

藉此，輸出部150讓學習模組160使用第2分割圖像進行機械學習，或讓學習模組160判定顯像於第2分割圖像中的檢查對象物400的良或不良。 [總結]

如上所說明，實施形態之圖像處理裝置100，具備：取得部110，取得檢查對象物400顯像的原圖像300；分割部120，將原圖像300基於顯像於原圖像300中的檢查對象物400的特徵進行分割，藉此生成複數個分割圖像310；判定部140，就複數個分割圖像310分別判定是否可以使用規則資訊判定檢查對象物400的良或不良，並就複數個分割圖像310之中可使用規則資訊判定檢查對象物400的良或不良的第1分割圖像，使用規則資訊判定檢查對象物400的良或不良；及輸出部150，將複數個分割圖像310之中無法使用規則資訊判定檢查對象物400的良或不良的第2分割圖像，輸出至可進行機械學習的學習模組160、或作為學習結果而獲得的學習模組160。

據此，圖像處理裝置100可就可使用規則資訊簡單地判定檢查對象物的良或不良的圖像，使用規則資訊進行該判定，而就無法使用規則資訊進行該判定的圖像，讓學習模組160進行學習、或者若學習模組160已經學習完畢，則讓學習模組160進行該判定。因此，於學習模組160可僅就無法使用規則資訊進行該判定的圖像進行學習、或者僅就無法使用規則資訊進行該判定的圖像進行該判定。因此，根據圖像處理裝置100，由於不需要學習模組160即可完成可使用規則資訊判定的圖像的處理，故可提高學習模組160的學習效率、或可提高學習模組160的處理速度(即，提高用以獲得該判定的結果的速度)。

又，例如輸出部150藉由將第2分割圖像輸出至顯示裝置210，而於顯示裝置210顯示第2分割圖像。

據此，可將無法使用規則資訊判定檢查對象物的良或不良的圖像對檢查員通知。

又，例如圖像處理裝置100進而具備接受部170，前述接受部170接受第2分割圖像的良或不良的判定結果，輸出部150藉由將第2分割圖像、與於接受部170接受到的第2分割圖像中的檢查對象物400的良或不良的判定結果輸出至學習模組160，而讓學習模組160進行機械學習。

據此，可讓學習模組160學習無法使用規則資訊判定檢查對象物的良或不良的圖像。

又，例如圖像處理裝置100進而具備建立關聯部180，前述建立關聯部180將複數個分割圖像310與複數個分割圖像310中的檢查對象物400的良或不良的判定結果建立關聯後，記憶在記憶部190。

據此，例如藉由檢查員確認分割圖像與判定結果，而可由檢查員確認是否適當地進行使用規則資訊的判定、以及利用學習模組160的判定。

又，例如建立關聯部180將複數個分割圖像310之中檢查對象物400的良或不良的判定結果為良的分割圖像310、與判定結果為不良的分割圖像310以相同張數記憶在記憶部190。

據此，於機械學習中，判定為良的圖像的數量與判定為不良的圖像的數量可相等。據此，例如可藉由讓學習模組160預先學習該等圖像並記憶，而可讓學習模組160有效地學習，且檢查員等可確認使之學習的圖像。

又，例如圖像處理裝置100具備作為學習結果而獲得的學習模組160。此時，例如輸出部150將學習模組160對於第2分割圖像中的檢查對象物400的良或不良的判定結果輸出至顯示裝置210。

據此，例如檢查員可確認檢查對象物的良或不良的判定結果，將經判定為不良的檢查對象物丟棄。

又，例如圖像處理裝置100進而具備：建立關聯部180，將複數個分割圖像310之中藉由判定部140或學習模組160經判定檢查對象物400為不良的不良圖像、與表示為不良的主旨的判定結果建立關聯後，記憶在記憶部190；及接受部170，接受不良圖像中的檢查對象物400的良或不良的判定結果。又，例如輸出部150將不良圖像輸出至顯示裝置210。此時，例如在接受部170所接受的不良圖像中的檢查對象物400的良或不良的判定結果為良時，建立關聯部180將與不良圖像建立關聯而記憶在記憶部190的判定結果變更成表示為良的主旨的判定結果。

據此，例如在藉由圖像處理裝置100對於檢查對象物的良或不良的判定錯誤時，學習模組160基於在接受部170接受的判定結果進行機械學習、或變更規則資訊，藉此可提高圖像處理裝置100對於檢查對象物的良或不良的判定精度。

又，例如圖像處理裝置100進而具備生成部130，前述生成部130將複數個分割圖像310基於檢查對象物400的特徵進行分類，生成複數個檢查圖像320，前述複數個檢查圖像320由複數個分割圖像310之中被分類在同組的1個以上的分割圖像310組合而成。此時，例如判定部140就複數個檢查圖像320分別判定是否可以使用規則資訊判定檢查對象物400的良或不良。

據此，例如可藉由將按照各個特徵由分割圖像集合而成的檢查圖像輸出至學習模組160，而實現學習模組160中的類神經網路的簡化。例如，與使用未按照各個特徵集合的圖像讓學習模組160學習的情形相比較，可以有效率地(例如處理速度變得更快地)導出判定結果的方式讓學習模組160學習。

又，例如輸出部150將判定部140對於第1分割圖像中的檢查對象物400的判定結果輸出至顯示裝置210。

據此，可將可使用規則資訊判定檢查對象物的良或不良的圖像對檢查員通知。

又，實施形態之圖像處理方法：取得檢查對象物400顯像的原圖像300(S110)，將原圖像300基於顯像於原圖像300中的檢查對象物400的特徵進行分割，藉此生成複數個分割圖像310(S120)，就複數個分割圖像310分別判定是否可以使用規則資訊判定檢查對象物400的良或不良(S130)，並就複數個分割圖像310之中可使用規則資訊判定檢查對象物400的良或不良的第1分割圖像，使用規則資訊判定檢查對象物400的良或不良(S140)，及將複數個分割圖像310之中無法使用規則資訊判定檢查對象物400的良或不良的第2分割圖像，輸出至可進行機械學習的學習模組160、或作為學習結果而獲得的學習模組160(S150)。

據此，可發揮與圖像處理裝置100相同的效果。

再者，此等全部或具體的態樣可由系統、方法、積體電路、電腦程式或電腦可讀取之CD-ROM等非暫時性記錄媒體實現，亦可由系統、方法、積體電路、電腦程式及記錄媒體之任意的組合實現。 (其他實施形態等)

以上就實施形態進行了說明，但本揭示並不限定於上述實施形態。

因此，於附圖及詳細的說明中所記載的構成要件之中，不僅包含用以解決課題所必須的構成要件，亦包含為例示上述技術，並非用以解決課題所必須的構成要件。因此，雖然在附圖或詳細的說明中記載有此等並非必須的構成要件，不應立即認定此等並非必須的構成要件是必須的。

例如，圖像處理裝置100亦可不具備生成部130及建立關聯部180。

又，例如圖像處理裝置100亦可進一步具備用以學習識別模型的學習部(處理部)。此時，於記憶部190中亦可記憶有上述的教師資料。

又，例如圖像處理裝置100亦可在將原圖像300分割之前，實施上述的亮度修正等圖像處理。

又，例如圖像處理裝置100亦可具有判定檢查員是否可以適當地抽取缺陷的功能。例如圖像處理裝置100亦可判定接受部170接受到的位置資訊所表示的缺陷位置的對錯。具體而言，圖像處理裝置100亦可判定接受部170接受到的位置資訊表示的缺陷位置、與顯示於顯示裝置210中的檢查圖像320的缺陷位置是否一致。例如圖像處理裝置100亦可藉由將對錯的判定結果輸出至輸出部150，而於顯示裝置210顯示判定結果。

再者，表示顯示於顯示裝置210中的檢查圖像的缺陷位置的資訊可預先記憶於記憶部190，亦可藉由圖像處理裝置100對檢查圖像320實施圖像處理而生成。

又，例如圖像處理裝置100亦可藉由將複數個分割圖像310之中、無論判定部140及學習模組160均無法判定分割圖像310中的檢查對象物400的良或不良的分割圖像310輸出至顯示裝置210，而進行顯示。例如學習模組160中亦可構成為，在良或不良的判定結果的準確性低於預定值時，輸出表示無法判定良或不良的主旨的資訊。

又，於上述實施形態中，圖像處理裝置100雖然作為單一裝置而實現，但亦可藉由複數個裝置而實現。在圖像處理裝置藉由複數個裝置而實現時，在上述實施形態中已說明的圖像處理裝置所具備的構成要件，亦可以任何方式分成複數個裝置。例如圖像處理裝置亦可作為客戶端伺服器系統而實現。此時，客戶端裝置是進行圖像取得、使用者操作的接受、及圖像顯示等的行動終端，伺服器裝置是進行基於原圖像生成分割圖像的資訊處理等的資訊終端。

又，例如圖像處理裝置100與顯示裝置210及輸入裝置220可配置在相同地方，亦可配置在不同地方。例如，攝像裝置200及圖像處理裝置100可配置在工廠內，顯示裝置210及輸入裝置220可配置在工廠外的辦公室或檢查員的自宅等。或者，例如亦可攝像裝置200配置在工廠內、圖像處理裝置100作為伺服器配置在工廠外的辦公室等、顯示裝置210及輸入裝置220配置在檢查員的自宅等。又，顯示裝置210亦可為複數個，可將第1分割圖像與第2分割圖像顯示於獨立的顯示裝置。

又，於上述實施形態中，亦可由其他的處理部來執行特定的處理部所執行的處理。又，可變更複數個處理的順序，亦可並行執行複數個處理。

又，於上述實施形態中，各構成要件(各處理部)亦可藉由執行適合各構成要件的軟體程式而實現。各構成要件亦可藉由CPU(Central Processing Unit，中央處理單元)或處理器等程式執行部讀取記錄於硬碟或半導體記憶體等記錄媒體的軟體程式，並執行而實現。

又，各構成要件亦可藉由硬碟而實現。各構成要件亦可為電路(或積體電路)。複數個電路可全體構成1個電路，亦可分別為獨立的電路。又，此等電路分別可為通用的電路，亦可為專用的電路。

又，本揭示之全部或具體的態樣可由系統、裝置、方法、積體電路、電腦程式或電腦可讀取之CD-ROM等非暫時性記錄媒體而實現。又，亦可由系統、裝置、方法、積體電路、電腦程式及記錄媒體之任意的組合而實現。

例如，本揭示亦可作為藉由圖像處理裝置等的電腦來執行的圖像識別方法而實現。又，本揭示亦可作為用以讓電腦執行圖像識別方法的程式而實現，亦可作為記錄有這樣的程式的電腦可讀取非暫時性記錄媒體而實現。

此外，對各實施形態實施所屬技術領域中具有通常知識者所能想到的各種變形而獲得的形態、或在不脫離本揭示之旨趣的範圍內任意地組合各實施形態中的構成要件及功能而實現的形態，亦包含在本揭示中。 產業上之可利用性

本揭示作為可從藉由照相機等生成的圖像生成用以供檢查員進行目視檢查的檢查圖像的圖像處理裝置為有用。

100:圖像處理裝置 110:取得部 120:分割部 130:生成部 140:判定部 150:輸出部 160:學習模組 170:接受部 180:建立關聯部 190:記憶部 200:攝像裝置 210:顯示裝置 220:輸入裝置 300:原圖像 310,311:分割圖像 320:檢查圖像 330:顯示圖像 340:區域 400:檢查對象物 500:缺陷 S110~S150:步驟

圖1是顯示包含實施形態之圖像處理裝置的系統的概要的方塊圖。

圖2是顯示實施形態之圖像處理裝置的構成的方塊圖。

圖3是用以說明由實施形態之圖像處理裝置執行的判定檢查對象物的良或不良的處理程序。

圖4是顯示實施形態之顯示圖像的圖。

圖5是顯示實施形態之圖像處理裝置的處理程序的流程圖。

100:圖像處理裝置

200:攝像裝置

210:顯示裝置

220:輸入裝置

400:檢查對象物

Claims (11)

1. 一種圖像處理裝置，具備： 取得部，取得檢查對象物顯像的原圖像； 分割部，將前述原圖像基於顯像於前述原圖像中的前述檢查對象物的特徵進行分割，藉此生成複數個分割圖像； 判定部，就前述複數個分割圖像分別判定是否可以使用規則資訊判定前述檢查對象物的良或不良，並就前述複數個分割圖像之中可使用前述規則資訊判定前述檢查對象物的良或不良的第1分割圖像，使用前述規則資訊判定前述檢查對象物的良或不良；及 輸出部，將前述複數個分割圖像之中無法使用前述規則資訊判定前述檢查對象物的良或不良的第2分割圖像，輸出至可進行機械學習的學習模組、或作為學習結果而獲得的學習模組。
2. 如請求項1之圖像處理裝置，其中前述輸出部藉由將前述第2分割圖像輸出至顯示裝置，而於前述顯示裝置顯示前述第2分割圖像。
3. 如請求項2之圖像處理裝置，其更具備接受部，前述接受部接受前述第2分割圖像的良或不良的判定結果， 前述輸出部將前述第2分割圖像、與於前述接受部接受的前述第2分割圖像中的前述檢查對象物的良或不良的判定結果輸出至前述學習模組，藉此讓前述學習模組進行機械學習。
4. 如請求項1之圖像處理裝置，其更具備建立關聯部，前述建立關聯部將前述複數個分割圖像與前述複數個分割圖像中的前述檢查對象物的良或不良的判定結果建立關聯後，記憶在記憶部。
5. 如請求項4之圖像處理裝置，其中前述建立關聯部將前述複數個分割圖像之中前述檢查對象物的良或不良的判定結果為良的分割圖像、與判定結果為不良的分割圖像以相同張數記憶在前述記憶部。
6. 如請求項1之圖像處理裝置，其具備作為學習結果而獲得的前述學習模組， 前述輸出部將前述學習模組對於前述第2分割圖像中的前述檢查對象物的良或不良的判定結果輸出至顯示裝置。
7. 如請求項6之圖像處理裝置，其更具備： 建立關聯部，將前述複數個分割圖像之中藉由前述判定部或前述學習模組經判定前述檢查對象物為不良的不良圖像、與表示為不良的主旨的判定結果建立關聯後，記憶在記憶部；及 接受部，接受前述不良圖像中的前述檢查對象物的良或不良的判定結果； 前述輸出部將前述不良圖像輸出至前述顯示裝置， 在前述接受部所接受的前述不良圖像中的前述檢查對象物的良或不良的判定結果為良時，前述建立關聯部將與前述不良圖像建立關聯而記憶在前述記憶部的判定結果變更成表示為良的主旨的判定結果。
8. 如請求項1之圖像處理裝置，其更具備生成部，前述生成部將前述複數個分割圖像基於前述檢查對象物的特徵進行分類，藉此生成複數個檢查圖像，前述複數個檢查圖像由前述複數個分割圖像之中被分類在同組的1個以上的分割圖像組合而成， 前述判定部就前述複數個檢查圖像分別判定是否可以使用前述規則資訊判定前述檢查對象物的良或不良。
9. 如請求項1至5或8中任一項之圖像處理裝置，其中前述輸出部將前述判定部對於前述第1分割圖像中的前述檢查對象物的判定結果輸出至顯示裝置。
10. 如請求項6或7之圖像處理裝置，其中前述輸出部將前述判定部對於前述第1分割圖像中的前述檢查對象物的判定結果輸出至顯示裝置。
11. 一種圖像處理方法，取得檢查對象物顯像的原圖像， 將前述原圖像基於顯像於前述原圖像中的前述檢查對象物的特徵進行分割，藉此生成複數個分割圖像， 就前述複數個分割圖像分別判定是否可以使用規則資訊判定前述檢查對象物的良或不良，並就前述複數個分割圖像之中可使用前述規則資訊判定前述檢查對象物的良或不良的第1分割圖像，使用前述規則資訊判定前述檢查對象物的良或不良， 將前述複數個分割圖像之中無法使用前述規則資訊判定前述檢查對象物的良或不良的第2分割圖像，輸出至可進行機械學習的學習模組、或作為學習結果而獲得的學習模組。

Images