TW202141351A - 影像檢查裝置以及影像檢查方法 - Google Patents

影像檢查裝置以及影像檢查方法 Download PDF

Info

Publication number
TW202141351A
TW202141351A TW109141987A TW109141987A TW202141351A TW 202141351 A TW202141351 A TW 202141351A TW 109141987 A TW109141987 A TW 109141987A TW 109141987 A TW109141987 A TW 109141987A TW 202141351 A TW202141351 A TW 202141351A
Authority
TW
Taiwan
Prior art keywords
image
geometric transformation
inspection
inspection object
processing unit
Prior art date
Application number
TW109141987A
Other languages
English (en)
Inventor
岡原浩平
峯澤彰
Original Assignee
日商三菱電機股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商三菱電機股份有限公司 filed Critical 日商三菱電機股份有限公司
Publication of TW202141351A publication Critical patent/TW202141351A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

影像檢查裝置(1)包含：影像取得部(11)，取得檢查對象影像；幾何變換處理部(12)，推定幾何變換參數，並藉由推定的幾何變換參數對檢查對象影像進行幾何變換，來產生檢查對象的位置與第1參照影像匹配的位置已匹配影像，幾何變換參數將檢查對象影像當中的檢查對象的位置，與檢查對象的位置為已知的第1參照影像匹配；影像復原處理部(13)，利用影像生成網路復原位置已匹配影像，影像生成網路輸入利用檢查對象影像產生的輸入影像作為正確解答影像，來推論位置已匹配影像；以及異常判定部(14)，利用位置已匹配影像、以及復原的位置已匹配影像之間的差分影像，來判定檢查對象的異常。

Description

影像檢查裝置以及影像檢查方法
本揭露是關於影像檢查裝置以及影像檢查方法。
有人提出一種方案，是基於檢查拍攝有檢查對象的影像的結果，來判定檢查對象的異常之技術。舉例來說，非專利文獻1記載的影像檢查方法，是讓自動編碼器或生成對抗網路(Generative Adversarial Network, GAN)學習影像生成方法，該影像生成方法基於從拍攝有正常檢查對象的正常影像當中所抽取出的特徵，來復原正常影像。該影像生成方法具有的性質，是沒辦法藉由從拍攝有異常檢查對象的異常影像當中所抽取出的特徵，來正確地復原正常影像。非專利文獻1記載的影像檢查方法，是算出拍攝有檢查對象的影像以及復原的影像之間的差分影像，基於差分影像判定檢查對象的異常。 [先前技術文獻] [非專利文獻]
[非專利文獻1] Schlegl, Thomas, et al., “Unsupervised anomaly detection with generative adversarial networks to guide marker discovery”, ICIP 2017.
[發明所欲解決的課題]
若被拍攝物的產品外觀上的一部分為檢查對象時，拍攝有該產品的影像內的固定的區域將成為檢查對象的影像區域。此時，在產品正對著相機的狀態下所拍攝的影像、以及沒有正對著相機的狀態下所拍攝的影像當中，影像內的檢查對象的位置與姿態會產生錯位。非專利文獻1記載的既有技術所面臨的課題，在於雖然可以得知位置與姿態產生錯位而檢查對象有異常，但無法正確判定檢查對象的哪個部位發生了異常。
本揭露是為了解決上述課題，目的在於獲得一種影像檢查裝置以及影像檢查方法，能夠隨著檢查對象以及攝影裝置的位置與姿態的變化，進行健全的影像檢查。 [用以解決課題的手段]
關於本揭露的影像檢查裝置，包含：影像取得部，取得拍攝有檢查對象的第1影像；幾何變換處理部，推定幾何變換參數，並藉由利用推定的幾何變換參數對第1影像進行幾何變換，來產生第1影像當中的檢查對象的位置與第1參照影像匹配的第2影像，幾何變換參數將第1影像當中的檢查對象的位置，與檢查對象的位置為已知的第1參照影像匹配；影像復原處理部，利用影像生成網路復原第2影像，影像生成網路輸入利用第1影像產生的第3影像作為正確解答影像，來推論第2影像；以及異常判定部，利用由第1影像的幾何變換取得的第2影像、以及復原的第2影像之間的差分影像，來判定檢查對象的異常。 [發明的效果]
根據本揭露，即使檢查對象以及攝影裝置的位置與姿態產生變化，也能夠藉由使用檢查對象的位置為已知的第1參照影像的幾何變換，將第1影像上的檢查對象位置匹配。使用影像生成網路，來復原第2影像，該影像生成網路將檢查對象位置匹配的第2影像作為正確解答影像進行推論。利用由第1影像的幾何變換取得的第2影像、以及復原的第2影像之間的差分影像，來判定檢查對象的異常。因此，關於本揭露的影像檢查裝置，能夠隨著檢查對象以及攝影裝置的位置與姿態的變化，進行健全的影像檢查。
實施形態1. 第1A圖為一概要圖，表示被拍攝物B在正對著相機的狀態下所拍攝的影像A。第1B圖為一概要圖，表示被拍攝物B沒有在正對著相機的狀態下所拍攝的影像A1。若身為檢查對象的被拍攝物B在正對著相機的狀態下被拍攝，舉例來說，如第1A圖所示，則會得到拍攝有被拍攝物B的影像A。影像A當中，被拍攝物B的一個零件Ba被拍攝在既定的位置。
被拍攝物B的位置與姿態錯位，或是相機的位置與姿態錯位時，被拍攝物B就會在沒有正對著相機的狀態下被拍攝。舉例來說，如第1B圖所示，影像A1當中，被拍攝物B拍出來是傾斜的，影像A1當中的零件Ba位置的錯位，有可能被誤判為零件Ba發生異常，而被拍攝成零件Bb的模樣。換言之，這種位置的錯位，就成為無法正確判定零件Ba的異常之因素。
第2圖為一方塊圖，表示關於實施形態1的影像檢查裝置1的構成。第2圖中，影像檢查裝置1與攝影裝置2以及記憶裝置3連接，由攝影裝置2輸入拍攝有檢查對象的影像，並利用輸入的影像、以及記憶於記憶裝置3的資料，來判定檢查對象的異常。
攝影裝置2是拍攝檢查對象的相機，舉例來說，為網路相機、類比相機、USB(Universal Serial Bus, 通用序列匯流排)相機或HD-SDI(High Definition Serial Digital Interface, 高解析度串行數位介面)相機。記憶裝置3記憶由影像檢查裝置1進行的影像檢查處理當中所利用或產生的資料，包含主記憶體3a以及輔助記憶體3b。
輔助記憶體3b記憶有：已學習模型，即影像生成網路；參數資訊，例如規定已學習模型的構成之模型資訊；第1參照影像，用於檢查對象的位置匹配；第2參照影像，用於輸入至影像生成網路的影像之作成；臨界值資訊，用於檢查對象的異常判定；以及註解(Annotation)資訊，例如檢查對象的位置以及影像中的區域。記憶於輔助記憶體3b的資訊，由主記憶體3a讀取並使用於影像檢查裝置1。
影像檢查裝置1如第2圖所示，包含：影像取得部11、幾何變換處理部12、影像復原處理部13、以及異常判定部14。影像取得部11透過輸入介面(Interface, I/F)，取得由攝影裝置2拍攝有檢查對象的影像。由攝影裝置2拍攝有檢查對象的影像為第1影像，該第1影像可以是在身為檢查對象的被拍攝物正對著攝影裝置2的攝影視野之狀態，也可以是沒有正對著攝影裝置2的攝影視野之狀態。
幾何變換處理部12推定幾何變換參數，該幾何變換參數將影像取得部11取得的影像當中的檢查對象的位置，與檢查對象的位置為已知的第1參照影像匹配。然後，幾何變換處理部12藉由利用推定的幾何變換參數，對影像取得部11取得的影像進行幾何變換，來產生檢查對象的位置與第1參照影像匹配的影像。
第1參照影像是檢查對象的位置為已知的影像，檢查對象在正對著攝影裝置2的攝影視野的狀態下被拍攝。舉例來說，當第1A圖所示的零件Ba為檢查對象時，零件Ba的位置為已知的影像A，可以使用作為第1參照影像。由幾何變換處理部12產生的影像，為檢查對象的位置與第1參照影像匹配的第2影像。
影像復原處理部13藉由將輸入影像輸入至影像生成網路，從該輸入影像復原檢查對象的位置與第1參照影像匹配的影像，該輸入影像是利用影像取得部11取得的影像所產生的。影像生成網路的輸入影像，是利用影像取得部11取得的檢查對象的影像所產生的第3影像，舉例來說，是由影像取得部11取得的檢查對象的影像、以及檢查對象的位置為已知的第2參照影像之間的差分影像。
影像生成網路為一種已學習模型，該已學習模型輸入影像復原處理部13產生的輸入影像，作為正確解答影像，推論檢查對象的位置與第1參照影像匹配的影像。舉例來說，影像生成網路將複數對正確解答影像(輸出影像)與輸入影像作為學習用資料，學習輸入影像與輸出影像之間的影像轉換；正確解答影像(輸出影像)是由幾何變換處理所產生，拍攝有正常檢查對象的影像；輸入影像是由影像復原處理部13所產生，與正常檢查對象有關的影像。
異常判定部14算出由幾何變換處理部12進行幾何變換的檢查對象的影像、以及由影像復原處理部13復原的檢查對象的影像之間的差分影像，利用差分影像，判定檢查對象的異常。舉例來說，異常判定部14基於表示檢查對象的位置與該影像內的區域之註解資訊，特定差分影像當中的檢查對象，基於將特定的檢查對象的差分影像區域與臨界值資訊進行比較的結果，判定檢查對象的異常。差分影像舉例來說，為振幅影像、相位影像或是強度影像。臨界值資訊為振幅、相位或是強度的臨界值。
關於實施形態1的影像檢查方法如以下所述。 第3圖為一流程圖，表示關於實施形態1的影像檢查方法，表示由影像檢查裝置1執行的影像檢查的一連串的處理。 身為檢查對象的產品，配置於攝影裝置2的攝影視野內，由攝影裝置2所拍攝。由攝影裝置2所拍攝的檢查對象的影像為「檢查對象影像」。影像取得部11取得攝影裝置2依序拍攝的檢查對象影像(步驟ST1)。影像取得部11取得的檢查對象影像，輸出至幾何變換處理部12。
幾何變換處理部12推定幾何變換參數，並藉由利用幾何變換參數對檢查對象影像進行幾何變換，來產生檢查對象的位置與第1參照影像匹配的影像(步驟ST2)，該幾何變換參數將檢查對象影像當中的檢查對象的位置，與檢查對象的位置為已知的第1參照影像匹配。舉例來說，幾何變換處理部12藉由影像校準(Image Registration)處理來推定幾何變換參數。
影像校準是基於從關注影像與參照影像當中抽取出的特徵點的相似度、或是在關注影像與參照影像之間進行影像變換的影像區域的相似度，來推定關注影像與參照影像之間的幾何變換參數之處理。幾何變換處理當中，舉例來說，有歐式(Euclidean)變換、仿射(Affine)變換、或單應性(Homography)變換之類的線性變換。另外，幾何變換處理也可以是影像旋轉、影像反轉、或裁剪(Clopping)的至少一者。
記憶裝置3包含的輔助記憶體3b，記憶有檢查對象在正對著攝影裝置2的攝影視野的狀態下所拍攝的檢查對象影像，作為第1參照影像。第1參照影像當中註解有表示檢查對象影像當中的檢查對象的位置與該影像區域之資訊。舉例來說，第1A圖所示的影像A作為第1參照影像，保存於記憶裝置3，各個第1參照影像當中，附有表示零件Ba的位置與該影像區域的註解資訊。
幾何變換處理部12基於註解資訊，執行匹配特定的位置的影像校準處理，推定位置匹配時所需要的幾何變換參數，該註解資訊將攝影裝置2拍攝的檢查對象影像當中的檢查對象的位置，附加在第1參照影像。然後，幾何變換處理部12藉由利用幾何變換參數對攝影裝置2拍攝的檢查對象的影像進行幾何變換處理，來產生在和第1參照影像相同的位置與姿態下所拍攝的檢查對象的影像。以下，由幾何變換處理部12產生的影像，為「位置已匹配影像」。
影像復原處理部13產生輸入至影像生成網路的輸入影像(步驟ST3)。舉例來說，如U-net，若影像生成網路是包含跨複數層的跳躍連結(Skip Connection)之類神經網路，則學習跳躍連結的路徑的權重就變得越大。因此，影像生成網路就會學習將輸入影像原封不動地輸出，而難以抽取出位置已匹配影像與輸出影像之間的差分影像。
之後，影像復原處理部13將加工檢查對象影像的影像作為輸入影像，輸入至影像生成網路。加工檢查對象影像的影像，舉例來說，也可以是檢查對象影像與第2參照影像之間的差分影像。舉例來說，拍攝有正常檢查對象的複數個檢查對象影像的平均影像，被用於第2參照影像，記憶於輔助記憶體3b。另外，如果是不包含跳躍連結的影像生成網路，則輸入影像也可以是位置已匹配影像。
影像復原處理部13藉由將前述那樣產生的輸入影像輸入至影像生成網路，復原位置已匹配影像(步驟ST4)。舉例來說，影像生成網路輸入檢查對象影像與第2參照影像之間的差分影像，推論(復原)位置已匹配影像。
異常判定部14利用由幾何變換處理部12進行幾何變換的檢查對象影像、以及由影像復原處理部13復原的位置已匹配影像之間的差分影像，判定檢查對象的異常(步驟ST5)。舉例來說，當抽取出幾何變換的檢查對象影像、以及復原的位置已匹配影像之間的差分影像時，異常判定部14可以基於附加在第1參照影像的註解資訊，特定抽取出的差分影像為哪個檢查對象的位置以及影像區域。異常判定部14判定特定位置以及影像區域的檢查對象有異常。
作為差分影像的抽取方法，有針對每個固定的區域(例如，每個影像內的零件區域，或是每個固定大小的像素區塊)使用像素值的差分絕對值的總和或平均值的方法。另外，差分影像的抽取方法中，有使用每個固定的區域的影像的結構相似度(SSIM(Structural Similarity Index Measure, 結構相似度指標測量)或PSNR(Peak Signal-to-Noise Ratio, 峰值訊噪比))的方法。當差分影像當中的關注像素值大於臨界值時，異常判定部14判定差分影像區域對應的檢查對象有異常。
實現影像檢查裝置1的機能的硬體構成，如以下所述。 第4A圖為一方塊圖，表示實現影像檢查裝置1的機能之硬體構成。第4B圖為一方塊圖，表示執行軟體之硬體構成，該軟體實現影像檢查裝置1的機能。第4A圖以及第4B圖中，輸入I/F 100為一介面，受理攝影裝置2所拍攝的畫面輸入。檔案I/F 101為一介面，中繼與記憶裝置3之間交換的資料。
影像檢查裝置1包含的影像取得部11、幾何變換處理部12、影像復原處理部13、以及異常判定部14的機能，由處理電路來實現。換言之，影像檢查裝置1包含處理電路，用以執行第3圖所示的步驟ST1到步驟ST5的處理。處理電路可以是專用的硬體，也可以是執行記憶於記憶體中的程式之CPU(Central Processing Unit, 中央處理器)。
當處理電路為第4A圖所示的專用硬體的處理電路102時，處理電路102舉例來說，相當於單一電路、複合電路、程式化處理器、平行程式化處理器、ASIC(Application Specific Integrated Circuit, 應用特定積體電路)、FPGA(Field-Programmable Gate Array, 場式可程式閘陣列)、或該等的組合。影像檢查裝置1包含的影像取得部11、幾何變換處理部12、影像復原處理部13、以及異常判定部14的機能，可以用個別的處理電路來實現，也可以將該等機能整合為1個處理電路來實現。
當處理電路為第4B圖所示的處理器103時，影像檢查裝置1包含的影像取得部11、幾何變換處理部12、影像復原處理部13、以及異常判定部14的機能，是由軟體、韌體、或是軟體與韌體的組合來實現。另外，軟體或韌體以程式的方式來記述，並記憶於記憶體104。
處理器103藉由讀取並執行記憶於記憶體104的程式，實現影像檢查裝置1包含的影像取得部11、幾何變換處理部12、影像復原處理部13、以及異常判定部14的機能。舉例來說，影像檢查裝置1包含記憶程式的記憶體104，該程式由處理器103執行時，相對應地執行第3圖所示的步驟ST1到步驟ST5的處理。該等程式讓電腦執行影像取得部11、幾何變換處理部12、影像復原處理部13、以及異常判定部14的步驟或方法。記憶體104也可以是記憶程式的電腦可讀取記憶媒體，該程式用以使電腦發揮功能，以作為影像取得部11、幾何變換處理部12、影像復原處理部13、以及異常判定部14。
記憶體104舉例來說，相當於RAM(Random Access Memory, 隨機存取記憶體)、ROM(Read Only Memory, 唯讀記憶體)、快閃記憶體、EPROM(Erasable Programmable Read Only Memory, 可抹除可程式化唯讀記憶體)、EEPROM(Electrically-EPROM, 可電氣抹除可程式化唯讀記憶體)等非揮發性或揮發性半導體記憶體、磁碟、軟性磁碟、光碟、CD(Compact Disc, 雷射唱片)、迷你光碟、DVD(Digital Versatile Disc, 數位多功能影音光碟)等。
影像檢查裝置1包含的影像取得部11、幾何變換處理部12、影像復原處理部13、以及異常判定部14的機能可以一部分由專用的硬體來實現，其餘一部分由軟體或韌體來實現。舉例來說，影像取得部11由身為專用硬體的處理電路102來實現機能；幾何變換處理部12、影像復原處理部13、以及異常判定部14則藉由讀取並執行記憶於記憶體104的程式來實現機能。藉此，處理電路能夠藉由硬體、軟體、韌體、或是該等的組合，來實現上述機能。
如以上所述，關於實施形態1的影像檢查裝置1當中，即使檢查對象以及攝影裝置2的位置與姿勢產生變化，也能夠藉由使用檢查對象的位置為已知的第1參照影像的幾何變換，將檢查對象影像上的檢查對象位置匹配。使用影像生成網路，來復原位置已匹配影像，該影像生成網路將檢查對象位置匹配的位置已匹配影像作為正確解答影像進行推論。利用由幾何變換進行位置匹配的檢查對象影像、以及復原的位置已匹配影像之間的差分影像，來判定檢查對象的異常。因此，影像檢查裝置1能夠隨著檢查對象以及攝影裝置的位置與姿態的變化，進行健全的影像檢查。
實施形態2. 第5圖為一方塊圖，表示關於實施型態2的影像檢查裝置1A的構成。第5圖中，影像檢查裝置1A與攝影裝置2以及記憶裝置3連接，輸入由攝影裝置2拍攝有檢查對象的影像，並利用輸入的影像以及記憶於記憶裝置3的資料，來判定檢查對象的異常。影像檢查裝置1A包含：影像取得部11A、幾何變換處理部12A、影像復原處理部13A、以及異常判定部14A。
影像取得部11A透過輸入介面I/F，取得由攝影裝置2拍攝有檢查對象的影像，並將取得的影像輸出至幾何變換處理部12A以及影像復原處理部13A。影像取得部11A取得的檢查對象影像為第1影像，該第1影像可以是在身為檢查對象的被拍攝物正對著攝影裝置2的攝影視野之狀態，也可以是沒有正對著攝影裝置2的攝影視野之狀態。
幾何變換處理部12A推定幾何變換參數，並藉由利用幾何變換參數對檢查對象影像進行幾何變換，來產生檢查對象的位置與第1參照影像匹配的位置已匹配影像，該幾何變換參數將影像取得部11A取得的檢查對象影像當中的檢查對象的位置，與檢查對象的位置為已知的第1參照影像匹配。
影像復原處理部13A藉由將影像取得部11A取得的檢查對象影像(第1影像)輸入至影像生成網路，從該輸入影像復原位置已匹配影像。異常判定部14A算出由幾何變換處理部12A進行幾何變換的檢查對象的影像、以及由影像復原部13A復原的位置已匹配影像之間的差分影像，利用差分影像，判定檢查對象的異常。
關於實施形態2的影像檢查方法如以下所述。 第6圖為一流程圖，表示關於實施形態2的影像檢查方法，表示由影像檢查裝置1A執行的影像檢查的一連串的處理。影像取得部11A取得攝影裝置2依序拍攝的檢查對象影像(步驟ST1a)。影像取得部11A取得的檢查對象影像，輸出至幾何變換處理部12A以及影像復原處理部13A。
幾何變換處理部12A推定幾何變換參數，並藉由利用幾何變換參數對檢查對象影像進行幾何變換，來產生檢查對象的位置與第1參照影像匹配的位置已匹配影像(步驟ST2aa)，該幾何變換參數將檢查對象影像當中的檢查對象的位置，與檢查對象的位置為已知的第1參照影像匹配。另外，幾何變換處理部12A與實施形態1當中的幾何變換處理部12相同，舉例來說，藉由影像校準處理來推定幾何變換參數，並利用幾何變換參數對影像取得部11A取得的檢查對象影像進行幾何變換處理，來產生位置已匹配影像。
另外，影像復原處理部13A藉由將影像取得部11A取得的檢查對象影像原封不動地輸入至影像生成網路，復原位置已匹配影像(步驟ST2ab)。舉例來說，影像生成網路將複數對正確解答影像(輸出影像)與輸入影像作為學習用資料，學習輸入影像與輸出影像之間地影像轉換；正確解答影像(輸出影像)是由幾何變換處理部12A所產生之位置已匹配影像；輸入影像是由影像取得部11A所取得，尚未進行位置匹配的檢查對象影像。另外，影像生成網路所進行的學習對象的影像轉換，也包含將尚未進行位置匹配的檢查對象影像當中的檢查對象的位置，與檢查對象的位置為已知的第1參照影像匹配之幾何轉換。
異常判定部14A利用由幾何變換處理部12A進行幾何變換的檢查對象影像、以及由影像復原處理部13A復原的位置已匹配影像之間的差分影像，判定檢查對象的異常(步驟ST3a)。舉例來說，當抽取出幾何變換的檢查對象影像、以及復原的位置已匹配影像之間的差分影像時，異常判定部14A可以基於附加在第1參照影像的註解資訊，特定抽取出的差分影像為哪個檢查對象的位置以及影像區域。異常判定部14A判定特定位置以及影像區域的檢查對象有異常。
另外，影像檢查裝置1A包含的影像取得部11A、幾何變換處理部12A、影像復原處理部13A、以及異常判定部14A的機能，由處理電路來實現。換言之，影像檢查裝置1A包含處理電路，用以執行第6圖所示的步驟ST1a到步驟ST3a的處理。處理電路可以是第4A圖所示的專用硬體的處理電路102，也可以是如第4B圖所示，執行記憶於記憶體104的程式的處理器103。
如以上所述，關於實施形態2的影像檢查裝置1A當中，輸入至影像生成網路的輸入影像，為攝影裝置2所拍攝的檢查對象影像。影像生成網路輸入檢查對象影像，推論位置已匹配影像。影像復原處理部13A利用上述影像生成網路，復原位置已匹配影像。因此，影像檢查裝置1A能夠隨著檢查對象以及攝影裝置的位置與姿態的變化，進行健全的影像檢查。另外，由於省略了輸入至影像生成網路的輸入影像的產生處理，因此與關於實施形態1的影像檢查方法比起來，還能夠減低演算處理量。另外，由於幾何變換處理與影像復原處理能夠平行進行，因此能夠縮短影像檢查的任務時間(Task Time)。
另外，可以進行各實施形態的組合，或各實施形態的任意構成元件的變形，或各實施形態中任意構成元件的省略。 [產業可利用性]
關於本揭露的影像檢查裝置，舉例來說，可以用在產品的異常檢查。
1,1A:影像檢查裝置 2:攝影裝置 3:記憶裝置 3a:主記憶體 3b:輔助記憶體 11,11A:影像取得部 12,12A:幾何變換處理部 13,13A:影像復原處理部 14,14A:異常判定部 100:輸入I/F 101:檔案I/F 102:處理電路 103:處理器 104:記憶體 A,A1:影像 B:被拍攝物 Ba:零件 Bb:零件 ST1~ST5:步驟 ST1a~ST3a:步驟
第1A圖為一概要圖，表示被拍攝物在正對著相機的狀態下所拍攝的影像；第1B圖為一概要圖，表示被拍攝物沒有在正對著相機的狀態下所拍攝的影像。 第2圖為一方塊圖，表示關於實施形態1的影像檢查裝置的構成。 第3圖為一流程圖，表示關於實施形態1的影像檢查方法。 第4A圖為一方塊圖，表示實現關於實施形態1的影像檢查裝置的機能之硬體構成；第4B圖為一方塊圖，表示執行軟體之硬體構成，該軟體實現關於實施形態1的影像檢查裝置的機能。 第5圖為一方塊圖，表示關於實施形態2的影像檢查裝置的構成。 第6圖為一流程圖，表示關於實施形態2的影像檢查方法。
1:影像檢查裝置
2:攝影裝置
3:記憶裝置
3a:主記憶體
3b:輔助記憶體
11:影像取得部
12:幾何變換處理部
13:影像復原處理部
14:異常判定部

Claims (6)

  1. 一種影像檢查裝置，包含： 影像取得部，取得拍攝有檢查對象的第1影像； 幾何變換處理部，推定幾何變換參數，並藉由利用推定的該幾何變換參數對該第1影像進行幾何變換，來產生該第1影像當中的該檢查對象的位置與該第1參照影像匹配的第2影像，該幾何變換參數將該第1影像當中的該檢查對象的位置，與該檢查對象的位置為已知的第1參照影像匹配； 影像復原處理部，利用影像生成網路復原該第2影像，該影像生成網路輸入利用該第1影像產生的第3影像作為正確解答影像，來推論該第2影像；以及 異常判定部，利用由該第1影像的幾何變換取得的該第2影像、以及復原的該第2影像之間的差分影像，來判定該檢查對象的異常。
  2. 如請求項1之影像檢查裝置， 其中，該第3影像是該第1影像以及該檢查對象的位置為已知的第2參照影像之間的差分影像。
  3. 如請求項1之影像檢查裝置， 其中，該第3影像為該第1影像； 其中，該影像生成網路輸入該第1影像並推論該第2影像； 其中，該影像復原處理部利用該影像生成網路來復原該第2影像。
  4. 如請求項1之影像檢查裝置， 其中，該幾何變換處理部藉由針對該第1參照影像的影像校準(Image Registration)對該第1影像進行幾何轉換，來產生該第2影像。
  5. 如請求項1之影像檢查裝置， 其中，該幾何變換處理部針對該第1影像，進行影像旋轉、影像反轉、或裁剪(Clopping)的至少一者，來產生該第2影像。
  6. 一種影像檢查方法，包含： 由影像取得部取得拍攝有檢查對象的第1影像之步驟； 由幾何變換處理部推定幾何變換參數，並藉由利用推定的該幾何變換參數對該第1影像進行幾何變換，來產生該第1影像當中的該檢查對象的位置與該第1參照影像匹配的第2影像之步驟，該幾何變換參數將該第1影像當中的該檢查對象的位置，與該檢查對象的位置為已知的第1參照影像匹配； 由影像復原處理部利用影像生成網路復原該第2影像之步驟，該影像生成網路輸入利用該第1影像產生的第3影像作為正確解答影像，來推論該第2影像；以及 由異常判定部利用由該第1影像的幾何變換取得的該第2影像、以及復原的該第2影像之間的差分影像，來判定該檢查對象的異常之步驟。
TW109141987A 2020-04-27 2020-11-30 影像檢查裝置以及影像檢查方法 TW202141351A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
WOPCT/JP2020/017946 2020-04-27
PCT/JP2020/017946 WO2021220336A1 (ja) 2020-04-27 2020-04-27 画像検査装置および画像検査方法

Publications (1)

Publication Number Publication Date
TW202141351A true TW202141351A (zh) 2021-11-01

Family

ID=78332352

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109141987A TW202141351A (zh) 2020-04-27 2020-11-30 影像檢查裝置以及影像檢查方法

Country Status (7)

Country Link
US (1) US20230005132A1 (zh)
JP (1) JP7101918B2 (zh)
KR (1) KR20220146666A (zh)
CN (1) CN115398474A (zh)
DE (1) DE112020006786T5 (zh)
TW (1) TW202141351A (zh)
WO (1) WO2021220336A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023095250A1 (ja) * 2021-11-25 2023-06-01 株式会社日立国際電気 異常検知システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4936250B2 (ja) * 2007-03-07 2012-05-23 公立大学法人大阪府立大学 書込み抽出方法、書込み抽出装置および書込み抽出プログラム
JP6702064B2 (ja) * 2016-06-07 2020-05-27 株式会社デンソー 外観異常検査装置、方法、及びプログラム
DE112016007498B4 (de) * 2016-12-06 2020-11-26 Mitsubishi Electric Corporation Untersuchungseinrichtung und untersuchungsverfahren
JP6860079B2 (ja) * 2017-09-29 2021-04-14 日本電気株式会社 異常検知装置、異常検知方法、及びプログラム
WO2019159853A1 (ja) * 2018-02-13 2019-08-22 日本電気株式会社 画像処理装置、画像処理方法及び記録媒体
DE112018007171T5 (de) * 2018-03-29 2021-01-28 Mitsubishi Electric Corporation Abnormalitätsinspektionsvorrichtung und abnormalitätsinspektionsverfahren

Also Published As

Publication number Publication date
JP7101918B2 (ja) 2022-07-15
KR20220146666A (ko) 2022-11-01
US20230005132A1 (en) 2023-01-05
WO2021220336A1 (ja) 2021-11-04
DE112020006786T5 (de) 2023-01-12
CN115398474A (zh) 2022-11-25
JPWO2021220336A1 (zh) 2021-11-04

Similar Documents

Publication Publication Date Title
Abdelhamed et al. A high-quality denoising dataset for smartphone cameras
KR102206698B1 (ko) 이상 검사 장치 및 이상 검사 방법
Gloe et al. Efficient estimation and large-scale evaluation of lateral chromatic aberration for digital image forensics
CN110084133B (zh) 障碍物检测方法、装置、车辆、计算机设备和存储介质
JP2012032370A (ja) 欠陥検出方法、欠陥検出装置、学習方法、プログラム、及び記録媒体
WO2013190862A1 (ja) 画像処理装置及び画像処理方法
JP5141245B2 (ja) 画像処理装置、補正情報生成方法、および撮像装置
KR102256583B1 (ko) 3d 포인트 클라우드를 이용한 2d 영상에서의 피사체 위치 계측 시스템
WO2012137621A1 (ja) 画像処理方法及び装置
CN111524091B (zh) 信息处理装置、信息处理方法和存储介质
JP2017228082A (ja) 追跡装置、追跡方法、及びプログラム
JP7027978B2 (ja) 検査装置、検査方法、及び検査プログラム
JP6347589B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR102344041B1 (ko) 병변 진단 시스템 및 방법
JP2017511674A (ja) Ｊｐｅｇ圧縮画像に関連付けられる写真カメラモデルを特定するためのシステム、ならびに関連付けられる方法、使用およびアプリケーション
JP2016123044A (ja) 被写体追跡装置、その制御方法およびプログラム
WO2016208404A1 (ja) 情報処理装置および方法、並びにプログラム
TW202141351A (zh) 影像檢查裝置以及影像檢查方法
JP2007304721A (ja) 画像処理装置及び画像処理方法
WO2021230157A1 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
US11393116B2 (en) Information processing apparatus, method thereof, and non-transitory computer-readable storage medium
JP2020071566A (ja) 画像処理装置及び画像処理方法
US20120033888A1 (en) Image processing system, image processing method, and computer readable medium
WO2019058487A1 (ja) ３次元復元画像処理装置、３次元復元画像処理方法及び３次元復元画像処理プログラムを記憶したコンピュータ読み取り可能な記憶媒体
Jöchl et al. Device (in) dependence of deep learning-based image age approximation