KR102649500B1 - 화상 식별 장치, 및 화상 식별 장치를 구비하는 물품 제조 장치 - Google Patents

화상 식별 장치, 및 화상 식별 장치를 구비하는 물품 제조 장치 Download PDF

Info

Publication number
KR102649500B1
KR102649500B1 KR1020190041984A KR20190041984A KR102649500B1 KR 102649500 B1 KR102649500 B1 KR 102649500B1 KR 1020190041984 A KR1020190041984 A KR 1020190041984A KR 20190041984 A KR20190041984 A KR 20190041984A KR 102649500 B1 KR102649500 B1 KR 102649500B1
Authority
KR
South Korea
Prior art keywords
image
identification
processing
article
stock
Prior art date
Application number
KR1020190041984A
Other languages
English (en)
Other versions
KR20190120076A (ko
Inventor
가즈노리 고바야시
Original Assignee
닛토덴코 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛토덴코 가부시키가이샤 filed Critical 닛토덴코 가부시키가이샤
Publication of KR20190120076A publication Critical patent/KR20190120076A/ko
Application granted granted Critical
Publication of KR102649500B1 publication Critical patent/KR102649500B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Vending Machines For Individual Products (AREA)
  • Packaging For Recording Disks (AREA)
  • Inspection Of Paper Currency And Valuable Securities (AREA)

Abstract

본 발명은 다수의 촬상 화상에 대한 식별 처리를 고속화할 수 있는 화상 식별 장치 및 해당 화상 식별 장치를 구비하는 물품 제조 장치를 제공하는 것을 과제로 한다.
물품을 촬상한 촬상 화상을 스톡 화상으로서 복수 저장하는 저장 수단(42)과, 상기 스톡 화상의 종류를 식별하는 식별 처리를 실행하는 식별 수단(43)과, 상기 저장 수단(42)에 저장되어 있는 복수의 상기 스톡 화상을 상기 식별 수단(43)에 일괄하여 입력하는 입력 처리를 실행하는 입력 수단(44)을 구비하고, 상기 식별 수단(43)은, 상기 입력 수단(44)에 의해 일괄하여 입력된 복수의 상기 스톡 화상의 각각에 대한 식별 처리를 복수 병렬적으로 실행하도록 구성되는 화상 식별 장치(4) 및 해당 화상 식별 장치(4)를 구비하는 물품 제조 장치(1)이다.

Description

화상 식별 장치, 및 화상 식별 장치를 구비하는 물품 제조 장치{IMAGE IDENTIFICATION APPARATUS, AND PRODUCT MANUFACTURING APPARATUS PROVIDED WITH IMAGE IDENTIFICATION APPARATUS}
본 발명은 화상의 종류를 식별하는 화상 식별 장치, 및 해당 화상 식별 장치를 구비하는 물품 제조 장치에 관한 것이다.
근년, 물품의 외관 검사를 행할 때, 화상의 종류를 식별하는 화상 식별 장치가 이용되고 있다. 이러한 화상 식별 장치의 일종으로서, 예를 들어 특허문헌 1에 개시되어 있는 바와 같은, 상기 물품으로서의 반도체 기판(이하, 단순히 기판이라고 칭함)의 외관을 검사하는 화상 분류 장치가 알려져 있다.
이 화상 분류 장치는, 기판 상의 검사 대상 영역을 촬상하여 화상 데이터를 작성하는 촬상 장치와, 해당 촬상 장치가 작성한 화상 데이터 중 결함이 찍혀 있는 것을 결함의 종류에 따라 분류하는 검사·분류 장치를 구비하고 있다.
검사·분류 장치는, 화상 데이터로부터 결함을 검출하는 결함 검출부와, 결함 검출부가 결함을 검출한 화상 데이터를 결함의 종류에 따라 분류하는 분류 처리를 실행하는 분류 제어부를 갖는다. 그리고, 분류 제어부는, 결함 검출부가 화상 데이터로부터 결함을 검출할 때마다 해당 화상 데이터를 분류(식별)하도록 구성되어 있다.
그 때문에, 상기 화상 분류 장치는 기판의 결함의 유무를 확인할 수 있고, 또한, 결함이 찍혀 있는 화상 데이터를 결함의 종류별로 나누어 집약함으로써 결함의 해석을 효율적으로 행할 수 있는 상태를 정돈할 수 있다.
일본 특허 공개 2016-115115호 공보
그런데, 검사 대상이 되는 기판의 상태에 따라서는 결함이 찍혀 있는 화상 데이터가 다수 생성되는 경우가 있지만, 상기 종래의 화상 분류 장치에서는, 분류 제어부가, 결함이 찍혀 있는 화상 데이터를 생성된 순서(결함이 검출된 순서)에 따라 순차 분류하도록 구성되어 있기 때문에, 하나의 화상 데이터에 대한 분류 처리를 실행하고 있는 동안은, 다른 화상 데이터에 대한 분류 처리가 대기 상태로 된다.
따라서, 상기 종래의 화상 분류 장치에서는, 화상 데이터에 대한 분류 처리가 다수 체류하고, 결함이 찍혀 있는 화상 데이터 전부의 분류를 마칠 때까지 시간이 걸린다는 것이 문제가 되고 있다. 또한, 상기 종래의 화상 분류 장치가 물품의 제조 장치에 내장되어 있는 경우는, 물품의 제조 공정의 흐름에 지체가 발생한다는 것도 문제가 되고 있다.
또한, 이와 같은 문제는, 화상 데이터로부터 결함을 검출하기 위한 장치에만 한정되지 않고, 화상을 식별하는 기능을 갖는 장치 전반도 해당되는 문제이다.
그래서, 본 발명은, 이러한 실정을 감안하여, 다수의 촬상 화상에 대한 식별 처리를 고속화할 수 있는 화상 식별 장치, 및 해당 화상 식별 장치를 구비하는 물품 제조 장치를 제공하는 것을 과제로 한다.
본 발명의 화상 식별 장치는,
물품을 촬상한 촬상 화상을 스톡 화상으로서 복수 저장하는 저장 수단과,
상기 스톡 화상의 종류를 식별하는 식별 처리를 실행하는 식별 수단과,
상기 저장 수단에 저장되어 있는 복수의 상기 스톡 화상을 상기 식별 수단에 일괄하여 입력하는 입력 처리를 실행하는 입력 수단을 구비하고,
상기 식별 수단은, 상기 입력 수단에 의해 일괄하여 입력된 복수의 상기 스톡 화상의 각각에 대한 식별 처리를 복수 병렬적으로 실행하도록 구성된다.
또한, 본 발명의 화상 식별 장치는,
복수의 상기 촬상 화상을 도입하는 도입 처리를 연속적으로 반복해서 실행하는 화상 도입 수단과,
해당 화상 도입 수단이 도입한 복수의 상기 촬상 화상 중 결함의 후보가 되는 결함 후보점이 찍히는 결함 후보 화상을 추출하고, 해당 결함 후보 화상을 상기 스톡 화상으로서 상기 저장 수단에 저장하는 추출 처리를 실행하는 결함 후보 추출 수단을 구비하고,
상기 식별 수단은, 상기 식별 처리에 있어서, 상기 스톡 화상으로서 상기 저장 수단에 저장되어 있는 상기 결함 후보 화상의 상기 결함 후보점의 정오를 식별하도록 구성되고,
앞서 실행된 상기 도입 처리에서 도입된 상기 촬상 화상에 대한 상기 추출 처리, 상기 입력 처리, 상기 식별 처리의 완료 전에, 해당 앞서 실행된 상기 도입 처리의 다음에 실행되는 후속 상기 도입 처리가 실행 완료되도록 구성되어 있어도 된다.
본 발명의 화상 식별 장치에 있어서,
상기 식별 처리를 실행하기 위한 식별 처리 파일은, 다른 처리를 실행하기 위한 처리 파일과는 별도의 처리 파일이어도 된다.
본 발명의 물품 제조 장치는,
물품을 반송하는 물품 반송 장치와,
해당 물품 반송 장치에서 반송하고 있는 상기 물품을 촬상하여 촬상 화상을 복수 작성하는 촬상 장치와,
상기 어느 하나의 화상 식별 장치와,
상기 물품 반송 장치에 의한 상기 물품의 반송 경로 상에 있어서 상기 물품 반송 장치보다도 반송 방향 하류측에 설치되는 마킹 장치이며, 해당 화상 식별 장치의 상기 식별 수단에 의한 상기 스톡 화상의 식별 결과에 따라, 해당 식별 결과를 얻은 스톡 화상에 찍히는 물품에 마크를 부여하는 마크 처리를 실행하는 마킹 장치를 구비하고,
상기 화상 식별 장치는, 상기 촬상 장치가 물품을 촬상하여 상기 촬상 화상을 작성한 후, 상기 마킹 장치가 해당 물품에 상기 마크 처리를 실행하기 전에 해당 촬상 화상에 대한 상기 식별 처리를 완료시키도록 구성된다.
도 1은 본 발명의 일 실시 형태에 관한 물품 제조 장치의 개요도이다.
도 2는 상기 실시 형태에 관한 촬상 장치의 설명도이다.
도 3은 상기 실시 형태에 관한 화상 식별 장치의 블록도이다.
도 4는 상기 실시 형태에 관한 물품 제조 장치의 동작 설명도이다.
도 5는 상기 실시 형태에 관한 화상 식별 장치의 동작 설명도이다.
이하, 본 발명의 일 실시 형태에 관한 화상 식별 장치에 대하여 첨부 도면을 참조하면서 설명을 행한다.
본 실시 형태에 관한 화상 식별 장치는, 물품 등의 촬상 화상의 종류 등을 식별하도록 구성되어 있고, 예를 들어 제조한 물품의 검사에 이용된다. 또한, 본 실시 형태에서는, 화상 식별 장치가 내장된 물품 제조 장치에 대하여 설명을 행하기로 한다.
본 실시 형태에 관한 물품 제조 장치는, 편광 필름 등의 긴 시트형 물품(이하, 시트라고 칭함)을 제조하는 장치이다.
물품 제조 장치(1)는, 도 1에 도시한 바와 같이 상기 물품을 반송하는 물품 반송 장치(2)와, 해당 물품 반송 장치(2)에서 반송하고 있는 물품을 촬상하여 촬상 화상(도 2에 있어서 부호 「P1」을 부여한 화상)을 복수 작성하는 촬상 장치(3)와, 촬상 장치(3)에서 작성한 촬상 화상의 종류를 식별하는 화상 식별 장치(4)와, 물품 반송 장치(2)에 의한 물품의 반송 경로 상에 있어서 물품 반송 장치(2)보다도 반송 방향 하류측에 설치되는 마킹 장치(5)이며, 해당 화상 식별 장치(4)의 식별 수단에 의한 스톡 화상의 식별 결과에 따라, 식별 결과를 얻은 스톡 화상에 찍히는 물품에 마크를 부여하는 마크 처리를 실행하는 마킹 장치(5)를 구비하고 있다.
물품 반송 장치(2)는 시트를 원단으로부터 송출하면서 반송하는 롤 반송을 행하도록 구성되어 있다.
또한, 물품 반송 장치(2)는, 촬상 장치(3)에 의한 물품의 촬상 및 촬상 화상의 작성, 화상 식별 장치(4)에 의한 촬상 화상의 식별, 마킹 장치(5)에 의한 마크 처리를 행하고 있는 동안에도 시트를 계속해서 반송하도록 구성되어 있다.
그 때문에, 본 실시 형태에 관한 물품 제조 장치(1)는, 반송 상태(반송 방향 상류측으로부터 하류측을 향해 보내지고 있는 상태)의 시트를 촬상 장치(3)로 촬상하여 촬상 화상을 작성하고, 또한 반송 상태의 시트에 마킹 장치(5)가 마크 처리를 행하도록 구성되어 있다.
또한, 촬상 장치(3)가 작성한 촬상 화상에 대해서는, 해당 촬상 화상이 작성된 후, 시트 중 촬상 화상에 찍히는 개소에 마크 처리가 실행되기 전에 화상 식별 장치(4)에 의한 식별이 완료되도록 되어 있다.
촬상 장치(3)는, 도 2에 도시한 바와 같이 물품(시트)을 촬상하여 촬상 화상을 작성하는 동작(이하, 촬상 동작이라고 칭함)을 연속적으로 행하는 촬상부(30)를 갖는다.
또한, 촬상 장치(3)에서는, 복수의 촬상부(30)가 시트의 폭 방향(시트의 이송 방향에 대하여 직교하는 방향)으로 일렬로 나란히 설치되어 있다. 그리고, 복수의 촬상부(30)는 동일하거나 또는 대략 동일한 타이밍에 촬상 동작을 연속적으로 행하도록 구성되어 있다.
그 때문에, 촬상 장치(3)는 동일하거나 또는 대략 동일한 타이밍에 시트를 촬상하여 작성한 복수의 촬상 화상을 연속적으로 출력하도록 구성되어 있다.
화상 식별 장치(4)는, 도 3에 도시한 바와 같이 촬상 화상을 도입하는 도입 처리를 연속적으로 반복해서 실행하는 화상 도입 수단(40)과, 화상 도입 수단(40)이 도입한 복수의 촬상 화상 중 결함의 후보가 찍히는 결함 후보 화상(도 2에 있어서 부호 「P2」를 부여한 화상)을 추출하는 추출 처리를 실행하는 결함 후보 추출 수단(41)과, 결함 후보 추출 수단(41)에서 추출한 결함 후보 화상을 스톡 화상으로서 복수 저장하는 저장 처리를 실행하는 저장 수단(42)과, 스톡 화상의 종류를 식별하는 식별 처리를 실행하는 식별 수단(43)과, 저장 수단(42)에 저장되어 있는 복수의 스톡 화상을 식별 수단(43)에 일괄하여 입력하는 입력 처리를 실행하는 입력 수단(44)과, 상기 추출 처리, 상기 입력 처리, 상기 식별 처리의 각각의 처리를 실행하기 위한 명령 정보를 일시적으로 기억하는 기억 처리를 실행하는 버퍼 수단(45)을 구비하고 있다. 또한, 식별 장치는 CPU나, 메모리, 하드 디스크 등을 구비하는 장치이면 된다.
화상 도입 수단(40)은 촬상 장치(3)로부터 출력된 복수의 촬상 화상[촬상부(30)가 동일하거나 또는 대략 동일한 타이밍에 작성한 복수의 촬상 화상]을 도입하도록 구성되어 있다. 또한, 화상 도입 수단(40)은 촬상 장치(3)로부터 촬상 화상을 직접 도입하도록 구성되어 있어도 되고, 촬상 장치(3)로부터 촬상 화상을 간접적으로 도입하도록 구성되어 있어도 된다[즉, 촬상 장치(3)로부터 출력된 촬상 화상을 별도의 장치를 통해 도입하도록 구성되어 있어도 된다].
결함 후보 추출 수단(41)은 화상 도입 수단(40)이 도입한 촬상 화상 중에서 결함일 가능성이 있는 결함 후보점이 찍히는 결함 후보 화상을 작성(추출)하도록 구성되어 있다.
구체적으로 설명하면, 결함 후보 추출 수단(41)은, 촬상 화상 중에서 결함 후 보점을 검출하는 검출 처리와, 검출 처리에서 검출한 결함 후보점이 찍히는 화소와 해당 화소 주위의 소정수의 화소를 포함하는 영역을 추출하여 결함 후보 화상을 작성하는 후보 화상 작성 처리를 실행하고, 작성한 결함 후보 화상을 스톡 화상으로서 저장 수단(42)에 저장하도록 구성되어 있다.
또한, 검출 처리에서 촬상 화상 중에서 결함 후보점을 검출하기 위해서는, 예를 들어 2치화 처리와 입자 해석을 행하면 된다.
저장 수단(42)에는 결함 후보 추출 수단(41)이 동일한 시점에서 촬상된 촬상 화상으로부터 추출한 복수의 결함 후보 화상이 스톡 화상으로서 하나로 묶어 저장(기억)된다. 또한, 결함 후보 추출 수단(41)으로부터 하나의 결함 후보 화상만이 추출된 경우, 저장 수단(42)에는, 이 하나의 결함 후보 화상만이 기억되어도 된다.
입력 수단(44)의 입력 처리에서는, 저장 수단(42)에 스톡 화상으로서 저장되어 있는 결함 후보 화상, 보다 구체적으로는, 촬상부(30)에 의해 동일하거나 또는 대략 동일한 타이밍에 작성된 복수의 결함 후보 화상을 일괄하여 식별 수단(43)에 입력하도록 구성되어 있다.
식별 수단(43)은, 입력 수단(44)에 의해 일괄하여 입력된 복수의 결함 후보 화상을 수취하는 수취 수단(430)과, 해당 수취 수단(430)에서 수취한 복수의 결함 후보 화상의 각각에 대한 식별 처리를 병렬적으로 실행하는 식별 실행 수단(431)을 갖는다.
식별 실행 수단(431)은 결함 후보 화상에 대한 식별 처리에 의해, 해당 결함 후보 화상의 종류를 식별하도록 구성되어 있다. 본 실시 형태에 관한 식별 실행 수단(431)은 결함 후보 화상에 찍히는 결함 후보점의 정오, 즉, 결함 후보점이 결함인지 정상적인 부분인지를 식별하도록 구성되어 있다. 이와 같이, 식별 실행 수단(431)은 결함 후보 화상에 대하여, 결함이 찍히는 화상인지, 결함이 없는 정상적인 부분의 화상인지를 식별하도록 구성되어 있다.
식별 실행 수단(431)은, 소위, 식별기에 상당하는 구성이다. 또한, 본 실시 형태에 관한 식별 실행 수단(431)은 화상 식별 장치(4)와는 별도의 장치에서 작성(학습)한 식별기를 처리 파일(본 실시 형태에서는, 다이나믹 링크 라이브러리)로 변환한 식별 처리 파일로 구성되어 있다. 또한, 식별 실행 수단(431)을 실행하기 위한 식별 처리 파일은, 다른 처리[예를 들어, 화상 도입 수단(40)이나, 결함 후보 추출 수단(41), 저장 수단(42), 입력 수단(44) 등으로 행하는 처리]를 실행하기 위한 처리 파일과는 별도의 데이터인 것이 바람직하다. 이와 같이 하면, 식별 처리 파일이 다른 처리를 실행하기 위한 처리 파일로부터는 독립되어 있기 때문에, 기존의 식별 처리 파일을 새로운 식별 처리 파일로 재기입하는 것만으로, 식별 수단(43)의 처리 내용에 변경을 가할 수 있다.
또한, 식별 수단(43)은 수취 수단(430)에서 수취한 복수의 결함 후보 화상의 각각의 식별 처리의 전부를 병렬적으로 실행하도록 구성되어 있어도 되고, 복수의 결함 후보 화상의 각각의 식별 처리를 소정수씩 병렬적으로 실행하도록 구성되어 있어도 된다.
또한, 식별 수단(43)은 식별 실행 수단(431) 내에서 복수의 결함 후보 화상의 각각의 식별 처리를 복수 병렬적으로 실행하도록 구성되어 있어도 되고, 식별 실행 수단(431)으로 하나의 결함 후보 화상의 식별 처리를 행하는 태스크를 복수 병렬적으로 실행하도록 구성되어 있어도 된다.
이와 같이, 식별 수단(43)은 복수(둘 이상)의 결함 후보 화상의 식별을 병렬적으로 행하도록 구성되어 있다.
버퍼 수단(45)에 기입되는 명령 정보에는, 촬상 장치(3)에서 동일하거나 또는 대략 동일한 타이밍에 작성된 복수의 촬상 화상이나, 해당 복수의 촬상 화상에 관한 추출 처리, 입력 처리, 식별 처리를 실행하기 위한 명령이 포함되어 있다.
본 실시 형태의 화상 식별 장치(4)는 2개의 버퍼 수단(45)을 구비하고 있고, 한쪽 버퍼 수단(45)에 기입되어 있는 명령 정보에 기초하여 추출 처리, 입력 처리, 식별 처리가 실행되고 있는 동안, 다른 쪽 버퍼 수단(45)에는, 한쪽 버퍼 수단(45)에 기입되어 있는 명령 정보와는 별도의 명령 정보가 기입된다.
그리고, 한쪽 버퍼 수단(45)에 기입되어 있는 명령 정보에 기초하는 추출 처리, 입력 처리, 식별 처리가 완료된 시점에서, 다른 쪽 버퍼 수단(45)에 기입되어 있는 명령 정보에 기초하여 추출 처리, 입력 처리, 식별 처리가 차례로 실행된다.
그리고, 다른 쪽 버퍼 수단(45)에 기입되어 있는 명령 정보에 기초하는 추출 처리, 입력 처리, 식별 처리가 완료되면, 한쪽 버퍼 수단(45)에는, 또 다른 명령 정보가 새롭게 기입된다.
이와 같이, 각 버퍼 수단(45)에서는, 기입되어 있는 명령 정보의 판독(즉, 명령 정보에 기초하는 각 처리의 실행)과, 명령 정보의 기입이 상이한 타이밍에 교대로 실행되고 있다.
또한, 한쪽 버퍼 수단(45)과 다른 쪽 버퍼 수단(45)에는, 촬상 장치(3)에 의한 촬상 동작이 행해질 때마다, 해당 촬상 동작으로 작성한 촬상 화상과, 해당 촬상 화상에 관한 처리의 명령을 포함하는 명령 정보가 교대로 기입된다.
화상 식별 장치(4)의 식별 수단(43)으로부터는, 결함 후보 화상의 식별 결과로서, 해당 결함 후보 화상이 결함이 찍혀 있는 화상(결함의 화상)인지를 나타내는 정보가 식별 결과로서 출력되기 때문에, 마킹 장치(5)는 마크 처리에 있어서, 물품 반송 장치(2)에 의해 반송되어 있는 물품 중, 결함이 있는 물품에 대하여 결함이 존재하는 것을 나타내는 마크를 부여하도록 구성되어 있다.
본 실시 형태에 관한 물품은 긴 시트이지만, 마킹 장치(5)는, 예를 들어 식별 수단(43)으로부터 결함 후보 화상이 결함의 화상인 것을 나타내는 정보가 식별 결과로서 출력된 경우에, 결함 후보 화상의 추출원이 된 촬상 화상을 촬상한 개소에 마크를 부여하도록 구성되어 있으면 된다. 또한, 식별 수단(43)으로부터 결함 후보 화상이 정상적인 화상인 것을 나타내는 정보가 식별 결과로서 출력된 경우는, 마크를 부여하지 않고 물품을 통과시키도록 하면 된다.
또한, 마킹 장치(5)에서 물품에 부여하는 마크에는, 예를 들어 시일이나, 인쇄, 각인 등을 채용하면 된다.
본 실시 형태에 관한 물품 제조 장치(1)의 구성은 이상과 같다. 계속해서, 본 실시 형태에 관한 물품 제조 장치(1)의 동작을 설명한다.
물품 제조 장치(1)에서는, 도 4에 도시한 바와 같이 시트형 물품이 물품 반송 장치(2)에 의해 끊임없이 반송되고 있고(S1), 촬상 장치(3)가 반송 상태의 물품에 대하여 촬상 동작을 연속적으로 실행하고 있다(S3, S8, S12).
본 실시 형태에 관한 물품 제조 장치(1)에서는, 상술한 바와 같이 상기 한쪽 버퍼 수단(45)에 기입되어 있는 명령 정보에 기초하는 처리를 실행하고 있는 동안(S2, S10)에 상기 다른 쪽 버퍼 수단(45)에 명령 정보가 기입되고(S5, S13), 상기 다른 쪽 버퍼 수단(45)에 기입되어 있는 명령 정보에 기초하는 처리를 실행하고 있는 동안(S6)에 상기 한쪽 버퍼 수단(45)에 명령 정보가 기입된다(S9).
이와 같이, 화상 식별 장치(4)는 촬상 장치(3)가 촬상 동작에서 작성한 촬상 화상에 대한 처리를 실행하고 있는 동안에, 촬상 장치(3)가 다음 촬상 동작에서 작성한 촬상 화상에 대한 처리를 실행할 준비를 완료시킨다. 그 때문에, 화상 식별 장치(4)는 실행 중인 처리가 완료된 직후에 다음의 새로운 처리를 개시할 수 있고, 이에 의해, 식별 처리의 후속 공정[본 실시 형태에서는 마킹 장치(5)에 의한 마크 처리(S3, S7)]의 실행 중에 다음의 식별 처리를 개시하는 것도 가능해진다(S6, S10).
화상 식별 장치(4)의 처리에 대하여 보다 구체적으로 설명하면, 도 5에 도시한 바와 같이, 촬상 장치(3)는 촬상 동작(S14)에서 작성한 복수의 촬상 화상을 화상 식별 장치(4)를 향해 출력한다(S15).
화상 식별 장치(4)에 출력된 복수의 촬상 화상은, 화상 도입 수단(40)에 의해 도입되고(S16), 명령 정보에 포함하여 상기 한쪽 버퍼 수단(45)에 기입된다(S17).
그리고, 상기 한쪽 버퍼 수단(45)에 기입된 명령 정보에 기초하여, 촬상 화상에 관한 각종 처리가 개시된다. 구체적으로 설명하면 먼저, 결함 후보 추출 수단(41)이 복수의 촬상 화상 중에서 결함의 후보가 찍히는 결함 후보 화상을 추출하고(S18), 해당 결함 후보 화상을 스톡 화상으로서 저장 수단(42)에 저장한다(S19).
스톡 화상으로서 저장 수단(42)에 저장되어 있는 복수의 결함 후보 화상은 입력 처리에 의해 일괄하여 식별 수단(43)에 입력된다(S20). 계속해서, 해당 복수의 결함 후보 화상의 각각에 대한 식별 처리가 식별 수단(43)에 의해 병렬적으로 실행된다(S21).
그리고, 식별 수단(43)으로부터 식별 결과가 출력되면, 해당 식별 결과에 따라 마킹 장치(5)가 마크 처리를 실행한다(도 4 참조). 이에 의해, 물품 제조 장치(1)에 있어서의 물품에 대한 일련의 처리가 완료된다.
상기 한쪽 버퍼 수단(45)에 기입된 명령 정보에 기초하는 처리를 실행하고 있는 동안, 촬상 장치(3)는 다음 촬상 동작을 실행하고 있고(S22), 해당 다음 촬상 동작으로 작성된 복수의 촬상 화상은, 선행 촬상 동작(S14)으로 작성된 촬상 화상에 대한 식별 처리(S21)가 완료되기 전에 화상 식별 장치(4)에 출력되고(S23), 화상 도입 수단(40)에 의해 도입되고(S24), 또한 명령 정보에 포함한 상태로 상기 다른 쪽 버퍼 수단(45)에 기입된다(S25).
그 때문에, 선행 촬상 동작에서 작성한 촬상 화상에 찍혀 있는 물품에 대한 마크 처리가 완료되기 전에, 다음(후속) 촬상 동작에서 작성한 촬상 화상에 관한 각종 처리, 구체적으로는, 결함 후보 추출 수단(41)에 의한 결함 후보 화상의 추출(S26), 해당 결함 후보 화상의 저장 수단(42)으로의 저장(S27), 입력 처리에 의한 복수의 결함 후보 화상의 식별 수단(43)으로의 일괄 입력(S28), 식별 수단(43)에 의한 복수의 결함 후보 화상의 각각에 대한 식별 처리의 병렬 실행(S29)이 차례로 실행된다.
또한, 상기 다른 쪽 버퍼 수단(45)에 기입되어 있는 명령 정보에 기초하는 처리의 실행 중에 있어서는, 상기 한쪽 버퍼 수단(45)에 대하여 새로운 명령 정보가 기입되기 때문에(S30), 상기 다른 쪽 버퍼 수단(45)에 기입되어 있는 명령 정보에 기초하는 처리가 완료된 직후에, 해당 새로운 명령 정보에 기초하는 처리가 개시된다.
이상과 같이, 본 실시 형태에 관한 화상 식별 장치(4)에 의하면, 식별 수단(43)에서는, 입력 수단(44)에 의해 일괄하여 입력된 복수의 스톡 화상의 각각에 대한 식별 처리가 복수 병렬적으로 행해지기 때문에, 각 스톡 화상에 대한 식별 처리가, 실행 대기(즉, 별도의 스톡 화상에 대한 식별 처리의 종료를 대기하고 있는 상태)가 되는 것을 억제할 수 있다.
따라서, 상기 화상 식별 장치(4)에서는, 각 스톡 화상에 대한 식별 처리의 실행 대기 시간을 없앨 수 있고, 이에 의해, 다수의 촬상 화상에 대한 식별 처리를 고속화할 수 있고, 또한 해당 화상 식별 장치(4)를 구비하는 물품 제조 장치(1)에 있어서도 동일한 효과를 얻을 수 있다.
또한, 화상 식별 장치(4)에서는, 앞서 실행된 도입 처리에서 도입된 복수의 촬상 화상에 대한 상기 추출 처리, 상기 입력 처리, 상기 식별 처리의 완료 전에, 앞서 실행된 도입 처리의 다음(후속) 도입 처리 및 기억 처리가 실행 완료되도록 구성되어 있기 때문에, 앞서 실행된 도입 처리에서 도입된 복수의 촬상 화상에 대한 추출 처리, 저장 처리, 식별 처리, 입력 처리의 각 처리가 완료된 시점부터, 이후에 실행된 도입 처리에서 도입된 복수의 촬상 화상에 대한 추출 처리, 저장 처리, 식별 처리, 입력 처리의 각 처리를 차례로 실행하기 시작할 때까지의 시간에 여유를 갖게 할 수 있다.
또한, 촬상 장치(3)의 촬상 동작에 의해 촬상 화상을 작성한 후, 촬상 장치(3)에서 촬상한 물품(시트 중 촬상 화상에 찍히는 부분)에 대하여 마킹 장치(5)에 의한 마킹 처리가 실행되기 전에, 해당 촬상 화상에 대한 화상 식별 장치(4)의 각 처리(추출 처리, 저장 처리, 식별 처리, 입력 처리)가 완료되기 때문에, 리얼타임, 즉, 물품의 제조 공정의 흐름 중에서 화상 식별 장치(4)에 의한 촬상 화상의 식별(본 실시 형태에서는 결함의 유무의 확인)을 행할 수 있게 된다.
또한, 본 실시 형태에 관한 물품 제조 장치(1)에 있어서는, 촬상 장치(3)에서 촬상한 촬상 화상에 대해서는, 촬상 장치(3)에서 촬상된 물품이 후속 공정인 마크 처리가 실행되기 전에 식별 처리가 완료되기 때문에, 물품의 제조 공정을 지체시키는 일 없이 촬상 화상(물품)의 식별을 완료시킬 수 있고, 인라인으로(물품의 제조 공정의 흐름 중에서) 촬상 화상의 식별을 실행하여 완료시킬 수도 있다.
또한, 본 발명의 화상 식별 장치 및 물품 제조 장치는, 상기 실시 형태에 한정되는 것은 아니고, 본 발명의 요지를 일탈하지 않는 범위 내에 있어서 다양한 변경을 가할 수 있음은 물론이다.
상기 실시 형태의 물품 제조 장치(1)는 시트를 제조하는 것이었지만, 이 구성에 한정되지 않는다. 예를 들어, 물품 제조 장치(1)는 낱장형 물품 등을 제조하는 것이어도 된다.
상기 실시 형태의 물품 제조 장치(1)에서는, 복수의 촬상부(30)가 시트의 폭 방향으로 일렬로 배열되도록 배치되어 있었지만, 촬상부(30)의 수나 배치의 방법은 제조할 물품(검사 대상으로 하는 물품)에 따라 적절히 변경해도 된다.
상기 실시 형태에 있어서, 특별히 언급하지 않았지만, 화상 도입 수단(40)은, 촬상 장치(3)로부터 출력된 복수의 촬상 화상(동일한 시점에서 작성된 복수의 촬상 화상)의 각각을 별도의 화상으로서 도입해도 되고, 해당 복수의 촬상 화상을 합성한 하나의 화상을 도입하도록 해도 된다.
상기 실시 형태에 있어서, 결함 후보 추출 수단(41)은, 검출 처리에서 검출한 결함 후보점이 찍히는 화소와, 해당 화소 주위의 소정수의 화소를 포함하는 영역을 결함 후보 화상으로 하도록 구성되어 있었지만, 이 구성에 한정되지 않는다. 예를 들어, 결함 후보 추출 수단(41)은 결함 후보점이 찍히는 화상 자체를 결함 후보 화상으로 해도 된다.
상기 실시 형태에 있어서, 화상 식별 장치(4)는 두 버퍼 수단(45)을 구비하고 있었지만, 이 구성에 한정되지 않는다. 예를 들어, 화상 식별 장치(4)는 하나의 버퍼 수단(45)을 구비하고 있어도 되고, 셋 이상의 버퍼 수단(45)을 구비하고 있어도 된다.
1 : 물품 제조 장치
2 : 물품 반송 장치
3 : 촬상 장치
4 : 화상 식별 장치
5 : 마킹 장치
30 : 촬상부
40 : 화상 도입 수단
41 : 결함 후보 추출 수단
42 : 저장 수단
43 : 식별 수단
44 : 입력 수단
45 : 버퍼 수단
430 : 수취 수단
431 : 식별 실행 수단

Claims (4)

  1. 물품을 촬상한 촬상 화상을 스톡 화상으로서 복수 저장하는 저장 수단과,
    상기 스톡 화상의 종류를 식별하는 식별 처리를 실행하는 식별 수단과,
    상기 저장 수단에 저장되어 있는 복수의 상기 스톡 화상을 상기 식별 수단에 일괄하여 입력하는 입력 처리를 실행하는 입력 수단과,
    상기 스톡 화상, 및 상기 입력 처리와 상기 식별 처리를 실행하기 위한 명령 정보를 기억하는 기억 처리를 실행하는 복수의 버퍼 수단을 구비하고,
    상기 식별 수단은, 상기 입력 수단에 의해 일괄하여 입력된 복수의 상기 스톡 화상의 각각에 대한 식별 처리를 복수 병렬적으로 실행하도록 구성되고,
    상기 복수의 버퍼 수단 중 어느 하나의 버퍼 수단에 기억되어 있는 상기 스톡 화상 및 상기 명령 정보에 기초하여 상기 입력 처리와 상기 식별 처리가 실행되면, 해당 식별 처리가 완료되기 전에, 상기 복수의 버퍼 수단 중 다른 버퍼 수단이 상기 기억 처리를 실행하여 완료시키도록 구성되는, 화상 식별 장치.
  2. 제1항에 있어서, 복수의 상기 촬상 화상을 도입하는 도입 처리를 연속적으로 반복해서 실행하는 화상 도입 수단과,
    해당 화상 도입 수단이 도입한 복수의 상기 촬상 화상 중 결함의 후보가 되는 결함 후보점이 찍히는 결함 후보 화상을 추출하고, 해당 결함 후보 화상을 상기 스톡 화상으로서 상기 저장 수단에 저장하는 추출 처리를 실행하는 결함 후보 추출 수단을 구비하고,
    상기 식별 수단은, 상기 식별 처리에 있어서, 상기 스톡 화상으로서 상기 저장 수단에 저장되어 있는 상기 결함 후보 화상의 상기 결함 후보점의 정오를 식별하도록 구성되고,
    상기 복수의 버퍼 수단 중 어느 하나의 버퍼 수단에 기억되어 있는 상기 스톡 화상 및 상기 명령 정보에 기초하여 상기 입력 처리, 상기 식별 처리의 완료 전에, 상기 화상 도입 수단이, 상기 복수의 버퍼 수단 중 다른 버퍼 수단에 기입되는 새로운 복수의 상기 촬상 화상을 도입하기 위한 상기 도입 처리를 실행하여 완료시키도록 구성되는, 화상 식별 장치.
  3. 제1항 또는 제2항에 있어서, 상기 식별 처리를 실행하기 위한 식별 처리 파일은, 다른 처리를 실행하기 위한 처리 파일과는 별도의 처리 파일인, 화상 식별 장치.
  4. 물품을 반송하는 물품 반송 장치와,
    해당 물품 반송 장치에서 반송하고 있는 상기 물품을 촬상하여 촬상 화상을 복수 작성하는 촬상 장치와,
    제1항 또는 제2항에 기재된 화상 식별 장치와,
    상기 물품 반송 장치에 의한 상기 물품의 반송 경로 상에 있어서 상기 물품 반송 장치보다도 반송 방향 하류측에 설치되는 마킹 장치이며, 해당 화상 식별 장치의 상기 식별 수단에 의한 상기 스톡 화상의 식별 결과에 따라, 해당 식별 결과를 얻은 스톡 화상에 찍히는 물품에 마크를 부여하는 마크 처리를 실행하는 마킹 장치를 구비하고,
    상기 화상 식별 장치는, 상기 촬상 장치가 물품을 촬상하여 상기 촬상 화상을 작성한 후, 상기 마킹 장치가 해당 물품에 상기 마크 처리를 실행하기 전에 해당 촬상 화상에 대한 상기 식별 처리를 완료시키도록 구성되는, 물품 제조 장치.
KR1020190041984A 2018-04-13 2019-04-10 화상 식별 장치, 및 화상 식별 장치를 구비하는 물품 제조 장치 KR102649500B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2018-077653 2018-04-13
JP2018077653A JP6890101B2 (ja) 2018-04-13 2018-04-13 画像識別装置、及び画像識別装置を備える物品製造装置

Publications (2)

Publication Number Publication Date
KR20190120076A KR20190120076A (ko) 2019-10-23
KR102649500B1 true KR102649500B1 (ko) 2024-03-21

Family

ID=68284351

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190041984A KR102649500B1 (ko) 2018-04-13 2019-04-10 화상 식별 장치, 및 화상 식별 장치를 구비하는 물품 제조 장치

Country Status (3)

Country Link
JP (1) JP6890101B2 (ko)
KR (1) KR102649500B1 (ko)
TW (1) TWI812697B (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230053838A1 (en) * 2020-02-18 2023-02-23 Nec Corporation Image recognition apparatus, image recognition method, and recording medium
JP7510975B2 (ja) 2022-07-22 2024-07-04 プライムアースＥｖエナジー株式会社 検査装置及び検査装置のキャリブレーション方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005158780A (ja) * 2003-11-20 2005-06-16 Hitachi Ltd パターン欠陥検査方法及びその装置
JP2007218629A (ja) * 2006-02-14 2007-08-30 Sumitomo Chemical Co Ltd 欠陥検査装置及び欠陥検査方法
JP2011053787A (ja) 2009-08-31 2011-03-17 Omron Corp 画像処理装置および画像処理プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5696591A (en) * 1996-01-05 1997-12-09 Eastman Kodak Company Apparatus and method for detecting longitudinally oriented flaws in a moving web
JP2001084364A (ja) * 1999-09-13 2001-03-30 Matsushita Electric Ind Co Ltd 画像撮像検査装置及びこれを用いた実装基板検査装置
TWI256372B (en) * 2001-12-27 2006-06-11 Tokyo Electron Ltd Carrier system of polishing processing body and conveying method of polishing processing body
JP2005010036A (ja) * 2003-06-19 2005-01-13 Koyo Seiko Co Ltd 外観検査装置
JP2007178144A (ja) * 2005-12-27 2007-07-12 Advanced Mask Inspection Technology Kk パターン検査装置、パターン検査方法、検査対象試料、及び検査対象試料の管理方法
KR101475310B1 (ko) * 2006-12-14 2014-12-22 니폰 덴키 가라스 가부시키가이샤 판유리 결함 검출 장치, 판유리 제조 방법, 판유리 물품, 판유리의 양부 판정 장치 및 판유리 검사 방법
JP6430228B2 (ja) 2014-12-15 2018-11-28 株式会社Ｓｃｒｅｅｎホールディングス 画像分類装置および画像分類方法
US20170169294A1 (en) * 2015-12-11 2017-06-15 Leadot Innovation, Inc. Method of Tracking Locations of Stored Items

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005158780A (ja) * 2003-11-20 2005-06-16 Hitachi Ltd パターン欠陥検査方法及びその装置
JP2007218629A (ja) * 2006-02-14 2007-08-30 Sumitomo Chemical Co Ltd 欠陥検査装置及び欠陥検査方法
JP2011053787A (ja) 2009-08-31 2011-03-17 Omron Corp 画像処理装置および画像処理プログラム

Also Published As

Publication number Publication date
KR20190120076A (ko) 2019-10-23
CN110390662A (zh) 2019-10-29
JP2019184489A (ja) 2019-10-24
TW201944289A (zh) 2019-11-16
JP6890101B2 (ja) 2021-06-18
TWI812697B (zh) 2023-08-21

Similar Documents

Publication Publication Date Title
KR102649500B1 (ko) 화상 식별 장치, 및 화상 식별 장치를 구비하는 물품 제조 장치
JP2016134521A (ja) 実装システム、実装装置及び実装システムで用いられるプログラム
KR102666787B1 (ko) 인공지능을 이용한 결함 검사방법, 장치 및 프로그램
CN115601735B (zh) 空盘识别装置和方法
WO2019151177A1 (ja) 情報処理装置、衣服分別システム、情報処理方法、及び制御プログラム
JP4260001B2 (ja) 印刷物の検査方法
CN115769256A (zh) 连续动态扫描的分割
CN110390662B (zh) 图像识别装置和具备图像识别装置的物品制造装置
JP6989178B2 (ja) 搬送物の追跡装置、搬送物の計数装置、搬送物の追跡方法、搬送物の計数方法、搬送物の追跡システム、および搬送物の計数システム
WO2020059795A1 (ja) 略円形の側面を有する物品の検査装置、及び物品反転装置
CN110889365A (zh) 一种标签信息获取方法及装置
WO2023223579A1 (ja) 目視検査補助装置
KR20230138869A (ko) 검사 시스템, 교사 데이터 생성 장치, 교사 데이터 생성 방법 및 기록 매체에 기록된 프로그램
WO2010110190A1 (ja) 物品区分機、物品区分方法、及びプログラム記録媒体
JP2020024111A (ja) 検査装置および検査方法
JP2020024110A (ja) 検査装置および検査方法
CN115138596A (zh) 一种视觉检测的方法及装置
JP2000292370A (ja) 印字検査装置
WO2017085950A1 (ja) 印刷装置、方法およびプログラム
EP1783662A1 (en) Method of processing misoriented document items in an image-based check processing system
JP6769447B2 (ja) 鋼板の疵検査装置及び疵検査方法
JP5772008B2 (ja) カード検査システム及び方法
JP4760258B2 (ja) 印刷品質検査装置および印刷品質検査方法
Chavda et al. Detection of defect in pharma-tablets using image processing
JP2001250109A (ja) 検査方法及び装置

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20190410

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20220304

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20190410

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20230705

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20240123

PG1601 Publication of registration