KR20210102458A - 정보를 취득하는 방법 및 장치 - Google Patents

정보를 취득하는 방법 및 장치 Download PDF

Info

Publication number
KR20210102458A
KR20210102458A KR1020217024357A KR20217024357A KR20210102458A KR 20210102458 A KR20210102458 A KR 20210102458A KR 1020217024357 A KR1020217024357 A KR 1020217024357A KR 20217024357 A KR20217024357 A KR 20217024357A KR 20210102458 A KR20210102458 A KR 20210102458A
Authority
KR
South Korea
Prior art keywords
sample
image
information
detected
defect
Prior art date
Application number
KR1020217024357A
Other languages
English (en)
Inventor
예 쑤
시커 런
레이 니에
펑 황
Original Assignee
베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN202010165825.4A external-priority patent/CN111402220B/zh
Application filed by 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. filed Critical 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Publication of KR20210102458A publication Critical patent/KR20210102458A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

본 개시의 실시예는 정보를 취득하는 방법 및 장치를 개시하는바, 클라우드 컴퓨팅 기술분야에 관한 것이다. 당해 방법의 일 구체적인 실시방식은, 검출할 이미지에서 적어도 하나의 이미지 특징을 취득하는 단계 - 상술한 검출할 이미지는 검출할 물체 이미지를 포함하고 상술한 이미지 특징은 상술한 검출할 물체의 표면 특징 정보를 특성화함 - ; 상술한 검출할 이미지와 상술한 적어도 하나의 이미지 특징을 사전훈련된 결함 검사 모델에 도입하여 상술한 검출할 물체에 대응되는 결함 정보를 취득하는 단계 - 상술한 결함 검사 모델은 샘플 이미지, 샘플 이미지 특징 및 샘플 결함 정보로 훈련하여 취득되는 것으로, 상술한 검출할 이미지와 적어도 하나의 이미지 특징의 대응관계를 특성화함 - 를 포함한다. 당해 실시방식은 검출할 물체를 검사한 결함 정보를 취득하는 정확성을 향상하는 데 유리하다.

Description

정보를 취득하는 방법 및 장치
본 개시의 실시예는 컴퓨터 기술분야에 관한 것이고, 구체적으로 정보를 취득하는 방법 및 장치에 관한 것이다.
과학기술이 발전함에 따라, 많은 물품을 대규모 산업 생산할 수 있게 되었다. 물품의 생산과정에는 물품에 결함을 발생시키는 허다한 요소가 존재할 수 있는바, 나아가 물품 품질에 문제가 발생되게 영향 준다.
이를 위해, 통상적으로는 2가지 방식을 적용하여 물품의 품질을 검사하게 된다. 첫 번째로는 기술자에 의해 물품의 품질을 검사하여 가능한 결함을 찾아보는 것이고; 두 번째로는 기기에 의해 물품의 품질을 검사하는 것인데, 기기 역시 기술자의 경험을 기반으로 관련 설정을 하는 것으로, 결함을 검사하는 효과는 수동의 방식과 기본적으로 같다. 또한 휴식이 필요 없으므로 장시간 동안 방대한 량의 물품을 검사할 수 있다.
본 개시의 실시예는 정보를 취득하는 방법 및 장치를 제시한다.
첫 번째 측면으로, 본 개시의 실시예는 정보를 취득하는 방법을 제공하는바, 당해 방법은 검출할 이미지에서 적어도 하나의 이미지 특징을 취득하는 단계 - 상술한 검출할 이미지는 검출할 물체 이미지를 포함하고 상술한 이미지 특징은 상술한 검출할 물체의 표면 특징 정보를 특성화함 - ; 및 상술한 검출할 이미지와 상술한 적어도 하나의 이미지 특징을 사전훈련된 결함 검사 모델에 도입하여 상술한 검출할 물체에 대응되는 결함 정보를 취득하는 단계 - 상술한 결함 검사 모델은 샘플 이미지, 샘플 이미지 특징 및 샘플 결함 정보로 훈련하여 취득되는 것으로, 상술한 검출할 이미지와 적어도 하나의 이미지 특징의 대응관계를 특성화함 - 를 포함한다.
일부 실시예에서, 상술한 검출할 이미지에서 적어도 하나의 이미지 특징을 취득하는 단계는, 상술한 검출할 물체의 기준 특징을 취득하는 단계 - 상술한 기준 특징은 컬러 특징, 구조 특징, 평면 특징 중의 적어도 하나를 포함함 - ; 및 상술한 기준 특징에 기반하여 설정 방식으로 상술한 검출할 이미지에 대한 이미지 처리를 수행하여 대응되는 이미지 특징을 취득하는 단계 - 상술한 설정 방식은 컬러 콘트라스트 증강, 필터링, 텍스처 수집 중의 적어도 하나를 포함함 - 를 포함한다.
일부 실시예에서, 상술한 검출할 이미지와 상술한 적어도 하나의 이미지 특징을 사전훈련된 결함 검사 모델에 도입하여 상술한 검출할 물체에 대응되는 결함 정보를 취득하는 단계는, 상술한 검출할 이미지와 상술한 적어도 하나의 이미지 특징을 상술한 결함 검사 모델의 대응되는 입력 통로에 도입하여 상술한 검출할 물체에 대응되는 결함 정보를 취득하는 단계를 포함한다.
일부 실시예에서, 상술한 결함 검사 모델은 하기 단계인, 복수의 샘플 정보 그룹 및 상술한 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹에 대응되는 샘플 결함 정보를 취득하는 단계 - 상술한 샘플 정보 그룹은 샘플 이미지 및 샘플 이미지에 대응되는 적어도 하나의 샘플 이미지 특징을 포함함 - ; 및 상술한 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹을 입력으로 하고 상술한 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹에 대응되는 상술한 샘플 결함 정보를 출력으로 하여 결함 검사 모델을 훈련하여 취득하는 단계에 의해 훈련하여 취득된다.
일부 실시예에서, 상술한 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹을 입력으로 하고 상술한 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹에 대응되는 상술한 샘플 결함 정보를 출력으로 하여 결함 검사 모델을 훈련하여 취득하는 단계는, 하기 훈련 단계인, 상술한 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹을 순차로 초기화 결함 검사 모델에 입력하여 상술한 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹에 대응되는 예측 결함 정보를 취득하고, 상술한 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹에 대응되는 예측 결함 정보를 당해 샘플 정보 그룹에 대응되는 상술한 샘플 결함 정보와 비교하여 상술한 초기화 결함 검사 모델의 예측 정확률을 취득하고, 상술한 예측 정확률이 사전설정 정확률 역치보다 큰지 여부를 결정하되, 상술한 사전설정 정확률 역치보다 큰 경우, 상술한 초기화 결함 검사 모델을 훈련 완료된 결함 검사 모델로 하는 단계를 수행하는 것을 포함한다.
일부 실시예에서, 상술한 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹을 입력으로 하고 상술한 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹에 대응되는 상술한 샘플 결함 정보를 출력으로 하여 결함 검사 모델을 훈련하여 취득하는 단계는, 상술한 사전설정 정확률 역치보다 크지 않은 것에 응답하여, 상술한 초기화 결함 검사 모델의 파라미터를 조정하고, 상술한 훈련 단계를 계속하여 수행하는 단계를 포함한다.
두 번째 측면으로, 본 개시의 실시예는 정보를 취득하는 장치를 제공하고, 당해 장치는, 검출할 이미지에서 적어도 하나의 이미지 특징을 취득하는 특징 취득 유닛 - 상술한 검출할 이미지는 검출할 물체 이미지를 포함하고 상술한 이미지 특징은 상술한 검출할 물체의 표면 특징 정보를 특성화함 - ; 및 상술한 검출할 이미지와 상술한 적어도 하나의 이미지 특징을 사전훈련된 결함 검사 모델에 도입하여 상술한 검출할 물체에 대응되는 결함 정보를 취득하는 결함 정보 취득 유닛 - 상술한 결함 검사 모델은 샘플 이미지, 샘플 이미지 특징 및 샘플 결함 정보로 훈련하여 취득되는 것으로, 상술한 검출할 이미지와 적어도 하나의 이미지 특징의 대응관계를 특성화함 - 을 포함한다.
일부 실시예에서, 상술한 특징 취득 유닛은, 상술한 검출할 물체의 기준 특징을 취득하는 기준 특징 취득 서브유닛 - 상술한 기준 특징은 컬러 특징, 구조 특징, 평면 특징 중의 적어도 하나를 포함함 - ; 및 상술한 기준 특징에 기반하여 설정 방식으로 상술한 검출할 이미지에 대한 이미지 처리를 수행하여 대응되는 이미지 특징을 취득하는 이미지 특징 취득 서브유닛 - 상술한 설정 방식은 컬러 콘트라스트 증강, 필터링, 텍스처 수집 중의 적어도 하나를 포함함 - 을 포함한다.
일부 실시예에서, 상술한 결함 정보 취득 유닛은, 상술한 검출할 이미지와 상술한 적어도 하나의 이미지 특징을 상술한 결함 검사 모델의 대응되는 입력 통로에 도입하여 상술한 검출할 물체에 대응되는 결함 정보를 취득하는 정보 입력 서브유닛을 포함한다.
일부 실시예에서, 상술한 장치는, 결함 검사 모델을 훈련하는 결함 검사 모델 훈련 유닛을 포함하고, 상술한 결함 검사 모델 훈련 유닛은, 복수의 샘플 정보 그룹 및 상술한 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹에 대응되는 샘플 결함 정보를 취득하는 샘플 취득 서브유닛 - 상술한 샘플 정보 그룹은 샘플 이미지 및 샘플 이미지에 대응되는 적어도 하나의 샘플 이미지 특징을 포함함 - ; 및 상술한 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹을 입력으로 하고 상술한 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹에 대응되는 상술한 샘플 결함 정보를 출력으로 하여 결함 검사 모델을 훈련하여 취득하는 모델 훈련 서브유닛을 포함한다.
일부 실시예에서, 상술한 모델 훈련 서브유닛은, 상술한 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹을 순차로 초기화 결함 검사 모델에 입력하여 상술한 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹에 대응되는 예측 결함 정보를 취득하고, 상술한 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹에 대응되는 예측 결함 정보를 당해 샘플 정보 그룹에 대응되는 상술한 샘플 결함 정보와 비교하여 상술한 초기화 결함 검사 모델의 예측 정확률을 취득하고, 상술한 예측 정확률이 사전설정 정확률 역치보다 큰지 여부를 결정하되, 상술한 사전설정 정확률 역치보다 큰 경우, 상술한 초기화 결함 검사 모델을 훈련 완료된 결함 검사 모델로 하는 모델 훈련 모듈을 포함한다.
일부 실시예에서, 상술한 모델 훈련 서브유닛은 상술한 사전설정 정확률 역치보다 크지 않은 것에 응답하여 상술한 초기화 결함 검사 모델의 파라미터를 조정하고, 상술한 모델 훈련 모듈을 반환하는 파라미터 조정 모듈을 포함한다.
세 번째 측면으로, 본 개시의 실시예는 전자 기기를 제공하는바, 하나 또는 복수의 프로세서; 및 하나 또는 복수의 프로그램이 저장되어 있는 메모리를 포함하고, 상술한 하나 또는 복수의 프로그램이 상술한 하나 또는 복수의 프로세서에 의해 실행되는 경우, 상술한 하나 또는 복수의 프로세서가 상술한 첫 번째 측면에 따른 정보를 취득하는 방법을 수행하도록 한다.
네 번째 측면으로, 본 개시의 실시예는 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독가능 매체를 제공하는바, 당해 프로그램은 프로세서에 의해 실행되는 경우, 상술한 첫 번째 측면에 따른 정보를 취득하는 방법을 구현하는 것을 특징으로 한다.
본 개시의 실시예에 의해 제공되는 정보를 취득하는 방법 및 장치는, 우선 검출할 이미지에서 적어도 하나의 이미지 특징을 취득하고, 다음, 검출할 이미지와 적어도 하나의 이미지 특징을 사전훈련된 결함 검사 모델에 도입하여 상술한 검출할 물체에 대응되는 결함 정보를 취득한다. 이에 따르면, 검출할 물체를 검사한 결함 정보를 취득하는 정확성을 향상시키는 데 유리하다.
아래 첨부도면을 참조한 비한정적 실시예에 대한 상세한 설명을 읽어보면, 본 개시의 다른 특징, 목적 및 이점이 더 분명해질 것이다.
도1은 본 개시의 일 실시예가 응용될 수 있는 예시적인 시스템 아키텍처 도면이고;
도 2는 본 개시에 따른 정보를 취득하는 방법의 일 실시예의 흐름도이고;
도 3은 본 개시에 따른 정보를 취득하는 방법의 일 응용 시나리오의 개략도이고;
도 4는 본 개시에 따른 결함 검사 모델 훈련 방법의 일 실시예의 흐름도이고;
도 5는 본 개시에 따른 정보를 취득하는 장치의 일 실시예의 구조 개략도이고;
도 6은 본 개시의 실시예를 구현하기에 적합한 전자 기기의 구조 개략도이다.
아래, 첨부도면에 실시예를 결부하여 본 개시에 대해 나아가 상세히 설명하고자 한다. 여기서 서술하는 구체적인 실시예는 관련 발명을 해석하기 위한 것일 뿐, 당해 발명을 한정하고자 하는 것이 아님을 이해하여야 한다. 부연하면, 서술의 편의를 위해 첨부도면은 관련 발명의 관련 부분만을 도시한다.
부연하면, 상충되지 않은 한, 본 개시의 실시예 및 실시예의 특징은 상호 조합될 수 있다. 아래, 첨부도면을 참조하고 실시예를 결부하여 본 개시를 상세히 설명하고자 한다.
도1은 본 개시의 실시예의 정보를 취득하는 방법 또는 정보를 취득하는 장치를 응용할 수 있는 예시적인 시스템 아키텍처(100)를 도시한다.
도1에 도시한 바와 같이, 시스템 아키텍처(100)는 이미지 수집 기기(101, 102, 103), 네트워크(104) 및 서버(105)를 포함할 수 있다. 네트워크(104)는 이미지 수집 기기(101, 102, 103)와 서버(105) 사이에서 통신 링크를 제공하는 매체로서 사용된다. 네트워크(104)는 다양한 연결 유형을 포함할 수 있는바, 예를 들어 유선, 무선 통신 링크 또는 광섬유 케이블 등이 있다.
이미지 수집 기기(101, 102, 103)는 네트워크(104)를 통해 서버(105)와 인터랙션하여 메시지 등을 수신하거나 또는 송신한다. 이미지 수집 기기(101, 102, 103)에는 다양한 이미지 처리 앱이 설치될 수 있는바, 예를 들어 이미지 수집 앱, 이미지 조정 앱, 이미지 압축 앱, 이미지 암호화 앱 등이 있다.
이미지 수집 기기(101, 102, 103)는 표시 스크린을 가지고 이미지 수집을 지원하는 다양한 전자 기기일 수 있는바, 원격 카메라, 디지털 카메라, 감시 카메라 등을 포함한다. 여기서 구체적으로 한정하지 않는다.
서버(105)는 다양한 서비스를 제공하는 서버일 수 있는바, 예를 들면 이미지 수집 기기(101, 102, 103)에서 발송된 검출할 이미지를 지원하는 결함 검사 서버일 수 있다. 결함 검사 서버는 수신된 검출할 이미지 등의 데이터에 대해 분석 등의 처리를 수행하고 검출할 이미지에 대응되는 결함 정보를 취득할 수 있다.
부연하면, 본 개시의 실시예에 의해 제공되는 정보를 취득하는 방법은 일반적으로 서버(105)에 의해 수행되고, 상응하게, 정보를 취득하는 장치는 일반적으로 서버(105)에 설치된다.
부연하면, 서버는 하드웨어일 수도 있고 소프트웨어일 수도 있다. 서버가 하드웨어인 경우, 복수의 서버로 구성되는 분산 서버 클러스터로 구현할 수도 있고 하나의 서버로 구현할 수도 있다. 서버가 소프트웨어인 경우, 복수의 소프트웨어 또는 소프트웨어 모듈(예를 들면 분산 서비스를 제공하는)로 구현할 수도 있고 하나의 소프트웨어 또는 소프트웨어 모듈로 구현할 수도 있는바, 여기서 구체적으로 한정하지 않는다.
도1에서의 이미지 수집 기기, 네트워크 및 서버의 수량은 단지 예시적인 것임을 이해하여야 한다. 구현의 필요에 따라, 임의 수량의 이미지 수집 기기, 네트워크 및 서버를 가질 수 있다.
계속하여 도 2를 참조하면, 본 개시에 따른 정보를 취득하는 방법의 일 실시예의 흐름(200)을 도시한다. 당해 정보를 취득하는 방법은 하기 단계를 포함한다.
단계(201)에서, 검출할 이미지에서 적어도 하나의 이미지 특징을 취득한다.
본 실시예에서, 정보를 취득하는 방법의 수행 주체(예를 들어 도1에 도시한 바와 같은 서버(105))는 유선 연결 방식 또는 무선 연결 방식으로 이미지 수집 기기(101, 102, 103)로부터 검출할 이미지를 수신할 수 있다. 여기서, 본 출원의 이미지 수집 기기(101, 102, 103)는 물품 생산 라인의 복수의 위치에 설치되어 물품의 각 생산 단계에서의 검출할 이미지를 취득할 수 있다. 즉, 본 출원의 검출할 이미지는 검출할 물체 이미지를 포함한다. 부연하면, 상술한 무선 연결 방식은 3G/4G 연결, WiFi 연결, 블루투스 연결, WiMAX 연결, Zigbee 연결, UWB(Ultra Wideband) 연결, 및 현재 이미 알려졌거나 또는 앞으로 개발될 무선 연결 방식을 포함하나 이에 한정되지 않는다.
종래의 기기에 의해 물체 결함을 검사하는 과정에서, 기기의 촬영 각도, 수동으로 물체를 터치할 수 없는 등의 원인으로 인해, 기기는 일부 광선에 대해 예민하지 않거나 또는 수동 터치가 필요하거나 등의 관련 결함에 대해 정확하게 검사하기 어렵게 된다.
이를 위해, 본 출원은 검출할 이미지가 취득된 후, 검출할 이미지에 대해 직접적으로 검사를 수행함으로써 검출할 물체의 표면에 존재할 수 있는 결함을 인식하는 것이 아니라, 검출할 이미지에 대해 관련 처리를 수행하여 검출할 이미지에서 적어도 하나의 이미지 특징을 취득한다. 상술한 이미지 특징은 상술한 검출할 물체의 표면 특징 정보를 특성화할 수 있다.
본 실시예의 일부 대안적인 구현 방식에서, 상술한 검출할 이미지에서 적어도 하나의 이미지 특징을 취득하는 단계는, 아래 단계를 포함할 수 있다.
첫 번째 단계에서, 상술한 검출할 물체의 기준 특징을 취득한다.
수행 주체는 우선, 검출할 이미지에서 검출할 물체를 인식하고, 다음, 질의의 방식으로 데이터베이스 등의 데이터 저장 기기로부터 검출할 물체에 대응되는 기준 특징을 취득할 수 있다. 검출할 물체는 노트북 컴퓨터, 메인보드, 표시장치, 실리콘 칩 등의 서로 다른 물체일 수 있다. 따라서, 서로 다른 검출할 물체는 그에 대응되는 기준 특징이 있다. 상술한 기준 특징은 컬러 특징, 구조 특징, 평면 특징(즉, 검출할 물체의 복수의 면), 재료 특징, 광 감응 특징 등 중의 적어도 하나를 포함할 수 있다. 기준 특징은 다른 특징일 수도 있는데, 구체적으로는 실제로 검출할 물체에 따라 결정한다.
두 번째 단계에서, 상술한 기준 특징에 기반하여 설정 방식으로 상술한 검출할 이미지에 대한 이미지 처리를 수행하여 대응되는 이미지 특징을 취득한다.
이미지 수집 기기(101, 102, 103)는 검출할 이미지를 수집하는 경우, 검출할 물체에 관련되는 기준 특징의 이미지를 취득할 수 있다. 즉, 검출할 이미지는 검출할 물체에 관련되는 기준 특징의 이미지 특징을 포함한다. 서로 다른 기준 특징에 대하여, 수행 주체는 서로 다른 방식을 적용하여 검출할 이미지를 처리함으로써 검출할 이미지에서 대응되는 이미지 특징을 추출할 수 있다. 상술한 설정 방식은 컬러 콘트라스트 증강, 필터링, 텍스처 수집 중의 적어도 하나를 포함할 수 있다. 이에 따라, 검출할 물체 자체의 기준 특징에 대하여 서로 다른 방식을 적용하여 이미지 특징을 추출할 수 있고, 또한, 육안으로 발견되기 어려운 결함(예를 들어 검출할 물체의 텍스처 특징일 수 있음)을 수집할 수 있는바, 결함 정보를 취득하는 정확성 및 유효성을 향상하는 데 유리하다.
단계(202)에서, 상술한 검출할 이미지와 상술한 적어도 하나의 이미지 특징을 사전훈련된 결함 검사 모델에 도입하여 상술한 검출할 물체에 대응되는 결함 정보를 취득한다.
이미지 특징을 획득한 후, 수행 주체는 검출할 이미지와 적어도 하나의 이미지 특징을 사전훈련된 결함 검사 모델에 도입할 수 있다. 상술한 서술에서 알 수 있는바, 서로 다른 검출할 물체는 서로 다른 기준 특징과 이미지 특징을 가지는바, 따라서, 여기서의 결함 검사 모델은 검출할 이미지와 대응되는 이미지 특징을 처리할 수 있는 모델이다. 결함 검사 모델은 검출할 이미지와 이미지 특징에 의해 검출할 이미지 중의 검출할 물체의 결함 정보를 검사한다. 이로써, 결함 정보를 취득하는 정확성을 향상한다. 상술한 결함 검사 모델은 샘플 이미지, 샘플 이미지 특징 및 샘플 결함 정보에 의해 훈련하여 얻을 수 있는 것으로, 상술한 검출할 이미지와 적어도 하나의 이미지 특징의 대응 관계를 특성화한다.
본 실시예의 일부 대안적인 구현 방식에서, 상술한 검출할 이미지와 상술한 적어도 하나의 이미지 특징을 사전훈련된 결함 검사 모델에 도입하여 상술한 검출할 물체에 대응되는 결함 정보를 취득하는 단계는, 상술한 검출할 이미지와 상술한 적어도 하나의 이미지 특징을 상술한 결함 검사 모델의 대응되는 입력 통로에 도입하여 상술한 검출할 물체에 대응되는 결함 정보를 취득하는 단계를 포함할 수 있다.
본 출원의 결함 검사 모델은 복수의 입력 통로를 가질 수 있고, 각 입력 통로는 서로 다른 입력 정보를 입력할 수 있다. 서로 다른 입력 정보는 결함 검사 모델에 입력된 후, 결함 검사 모델에 대응되는 네트워크 구조 또는 컴퓨팅 유닛에서 처리할 수 있는바, 복수의 이미지 특징과 검출할 이미지의 융합을 구현하고, 결함 정보를 취득하는 정확성 및 유효성을 향상하는 데 유리하다.
계속하여 도 3을 참조하면, 도 3은 본 실시예에 따른 정보를 취득하는 방법의 응용 시나리오의 일 개략도이다. 도 3의 응용 시나리오에서, 이미지 수집 기기(101)는 수집된, 검출할 물체 XXX 이미지를 포함하는 검출할 이미지를 네트워크(104)를 통해 서버(105)에 송신한다. 서버(105)는 검출할 이미지에서 적어도 하나의 이미지 특징을 취득하고, 다음, 검출할 이미지와 적어도 하나의 이미지 특징을 결함 검사 모델에 도입하여 얻게 되는, 검출할 물체에 대응되는 결함 정보는 검출할 물체: XXX; 결함 정보: 1, 표면 스크래치; 2, 컬러 불균일; 3, 표면 불순물일 수 있다.
본 개시의 상술한 실시예에 의해 제공되는 방법은 우선, 검출할 이미지에서 적어도 하나의 이미지 특징을 취득하고, 다음, 검출할 이미지와 적어도 하나의 이미지 특징을 사전훈련된 결함 검사 모델에 도입하여 상술한 검출할 물체에 대응되는 결함 정보를 취득한다. 이에 따르면, 검출할 물체를 검사한 결함 정보를 취득하는 정확성을 향상시키는 데 유리하다.
나아가 도 4를 참조하면, 이는, 결함 검사 모델 훈련 방법의 일 실시예의 흐름(400)을 도시한다. 당해 결함 검사 모델 훈련 방법의 흐름(400)은, 하기 단계를 포함한다.
단계(401)에서, 복수의 샘플 정보 그룹 및 상술한 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹에 대응되는 샘플 결함 정보를 취득한다.
본 실시예에서, 결함 검사 모델 훈련 방법의 수행 주체(예를 들어 도1에 도시한 바와 같은 서버(105))는 복수의 샘플 정보 그룹 및 상술한 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹에 대응되는 샘플 결함 정보를 취득할 수 있다.
본 실시예에서, 수행 주체는 복수의 샘플 정보 그룹을 취득하고 당업자한테 재생할 수 있는바, 당업자라면 경험에 따라 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹에 대해 샘플 결함 정보를 주석할 수 있을 것이다. 상술한 샘플 정보 그룹은 샘플 이미지 및 샘플 이미지에 대응되는 적어도 하나의 샘플 이미지 특징을 포함할 수 있다.
본 실시예의 일부 대안적인 구현 방식에서, 상술한 샘플 이미지 특징은 하기 단계인, 상술한 설정 방식으로 샘플 이미지에 대해 특징 추출을 수행하는 단계에 의해 취득할 수 있다.
수행 주체는 상술한 설정 방식으로 샘플 이미지에서 적어도 하나의 이미지 특징을 추출할 수 있다. 부연하면, 샘플 이미지에 대응되는 이미지 특징이 존재하는 경우, 대응되는 설정 방식으로 샘플 이미지 특징을 추출할 수 있고; 샘플 이미지에 대응되는 이미지 특징이 존재하지 않는 경우, 대응되는 설정 방식으로 샘플 이미지 특징을 추출할 수 없다. 따라서, 샘플 이미지 특징은 상술한 설정 방식보다 작거나 같다.
단계(402)에서, 상술한 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹을 순차로 초기화 결함 검사 모델에 입력하여 상술한 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹에 대응되는 예측 결함 정보를 취득한다.
본 실시예에서, 단계(401)에서 취득된 복수의 샘플 정보 그룹에 기반하여, 수행 주체는 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹에 포함되는 샘플 이미지 및 샘플 이미지에 대응되는 적어도 하나의 샘플 이미지 특징을 순차로 초기화 결함 검사 모델의 서로 다른 입력 통로에 입력함으로써 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹에 대응되는 예측 결함 정보를 취득할 수 있다. 여기서, 수행 주체는 각 샘플 정보 그룹을 초기화 결함 검사 모델의 입력 측에 입력하고, 순차로 초기화 결함 검사 모델 중의 각 층의 파라미터에 의한 처리를 거치고, 초기화 결함 검사 모델의 출력 측으로 출력하는바, 출력 측에서 출력하는 정보가 바로 당해 샘플 정보 그룹에 대응되는 예측 결함 정보이다. 여기서, 초기화 결함 검사 모델은 훈련되지 않은 딥러닝 모델이거나 또는 훈련이 완료되지 않은 딥러닝 모델일 수 있고, 이의 각 층에는 초기화 파라미터가 설정되고, 초기화 파라미터는 초기화 결함 검사 모델의 훈련 과정에 부단히 조정될 수 있다. 각 샘플 이미지 특징은 대응되는 네트워크 구조 또는 컴퓨팅 유닛에서 데이터 처리에 참여함으로써 복수의 샘플 이미지 특징과 샘플 이미지의 유기적인 융합을 구현한다.
단계(403)에서, 상술한 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹에 대응되는 예측 결함 정보를 당해 샘플 정보 그룹에 대응되는 상술한 샘플 결함 정보와 비교하여 상술한 초기화 결함 검사 모델의 예측 정확률을 취득한다.
본 실시예에서, 단계(402)에서 취득된 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹에 대응되는 예측 결함 정보에 기반하여, 수행 주체는 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹에 대응되는 예측 결함 정보를 당해 샘플 정보 그룹에 대응되는 샘플 결함 정보와 비교하여 초기화 결함 검사 모델의 예측 정확률을 취득할 수 있다. 구체적으로, 하나의 샘플 정보 그룹에 대응되는 예측 결함 정보가 당해 샘플 정보 그룹에 대응되는 샘플 결함 정보와 같거나 또는 유사한 경우, 초기화 결함 검사 모델의 예측이 정확한 것이고; 하나의 샘플 정보 그룹에 대응되는 예측 결함 정보가 당해 샘플 정보 그룹에 대응되는 샘플 결함 정보와 서로 다르거나 또는 서로 유사하지 않은 경우, 초기화 결함 검사 모델의 예측이 틀린 것이다. 여기서, 수행 주체는 예측이 정확한 수량과 샘플 총량의 비례 값을 계산하고 당해 비례 값을 초기화 결함 검사 모델의 예측 정확률로 할 수 있다.
단계(404)에서, 상술한 예측 정확률이 사전설정 정확률 역치보다 큰지 여부를 결정한다.
본 실시예에서, 단계(403)에서 취득된 초기화 결함 검사 모델의 예측 정확률에 기반하여, 수행 주체는 초기화 결함 검사 모델의 예측 정확률을 사전설정 정확률 역치와 비교할 수 있다. 사전설정 정확률 역치보다 큰 경우, 단계(405)를 수행하고; 사전설정 정확률 역치보다 크지 않은 경우, 단계(406)를 수행한다.
단계(405)에서, 상술한 초기화 결함 검사 모델을 훈련 완료된 결함 검사 모델로 한다.
본 실시예에서, 초기화 결함 검사 모델의 예측 정확률이 사전설정 정확률 역치보다 큰 경우는, 당해 결함 검사 모델 훈련이 완료되었음을 말해주며, 이때, 수행 주체는 초기화 결함 검사 모델을 훈련 완료된 결함 검사 모델로 할 수 있다.
단계(406)에서, 상술한 초기화 결함 검사 모델의 파라미터를 조정한다.
본 실시예에서, 초기화 결함 검사 모델의 예측 정확률이 사전설정 정확률 역치보다 크지 않은 경우, 수행 주체는, 상술한 검출할 이미지와 적어도 하나의 이미지 특징의 대응 관계를 특성화 가능한 딥 러닝 모델이 훈련될 때까지, 초기화 결함 검사 모델의 파라미터를 조정하고 수행 단계(402)로 반환할 수 있다.
나아가 도 5를 참조하면, 상술한 각 도면에 도시한 방법에 대한 구현으로, 본 개시는 정보를 취득하는 장치의 일 실시예를 제공하는바, 당해 장치 실시예는 도 2에 도시한 방법 실시예에 대응되고, 당해 장치는 구체적으로 다양한 전자 기기에 응용될 수 있다.
도 5에 도시한 바와 같이, 본 실시예의 정보를 취득하는 장치(500)는 특징 취득 유닛(501)과 결함 정보 취득 유닛(502)을 포함할 수 있다. 여기서, 특징 취득 유닛(501)은, 검출할 이미지에서 적어도 하나의 이미지 특징을 취득하되, 상술한 검출할 이미지는 검출할 물체 이미지를 포함하고 상술한 이미지 특징은 상술한 검출할 물체의 표면 특징 정보를 특성화하고; 결함 정보 취득 유닛(502)은, 상술한 검출할 이미지와 상술한 적어도 하나의 이미지 특징을 사전훈련된 결함 검사 모델에 도입하여 상술한 검출할 물체에 대응되는 결함 정보를 취득하되, 상술한 결함 검사 모델은 샘플 이미지, 샘플 이미지 특징 및 샘플 결함 정보로 훈련하여 취득되는 것으로, 상술한 검출할 이미지와 적어도 하나의 이미지 특징의 대응관계를 특성화한다.
본 실시예의 일부 대안적인 구현 방식에서, 상술한 특징 취득 유닛(501)은 기준 특징 취득 서브유닛(미도시)과 이미지 특징 취득 서브유닛(미도시)을 포함할 수 있다. 여기서, 기준 특징 취득 서브유닛은 상술한 검출할 물체의 기준 특징을 취득하되, 상술한 기준 특징은 컬러 특징, 구조 특징, 평면 특징 중의 적어도 하나를 포함하고; 이미지 특징 취득 서브유닛은 상술한 기준 특징에 기반하여 설정 방식으로 상술한 검출할 이미지에 대한 이미지 처리를 수행하여 대응되는 이미지 특징을 취득하되, 상술한 설정 방식은 컬러 콘트라스트 증강, 필터링, 텍스처 수집 중의 적어도 하나를 포함한다.
본 실시예의 일부 대안적인 구현 방식에서, 상술한 결함 정보 취득 유닛(502)은, 상술한 검출할 이미지와 상술한 적어도 하나의 이미지 특징을 상술한 결함 검사 모델의 대응되는 입력 통로에 도입하여 상술한 검출할 물체에 대응되는 결함 정보를 취득하는 정보 입력 서브유닛(미도시)을 포함할 수 있다.
본 실시예의 일부 대안적인 구현 방식에서, 상술한 정보를 취득하는 장치(500)는, 결함 검사 모델을 훈련하는 결함 검사 모델 훈련 유닛(미도시)을 포함할 수 있고, 상술한 결함 검사 모델 훈련 유닛은 샘플 취득 서브유닛(미도시)과 모델 훈련 서브유닛(미도시)을 포함할 수 있다. 여기서, 샘플 취득 서브유닛은 복수의 샘플 정보 그룹 및 상술한 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹에 대응되는 샘플 결함 정보를 취득하되, 상술한 샘플 정보 그룹은 샘플 이미지 및 샘플 이미지에 대응되는 적어도 하나의 샘플 이미지 특징을 포함하고; 모델 훈련 서브유닛은 상술한 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹을 입력으로 하고 상술한 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹에 대응되는 상술한 샘플 결함 정보를 출력으로 하여 결함 검사 모델을 훈련하여 취득한다.
본 실시예의 일부 대안적인 구현 방식에서, 상술한 모델 훈련 서브유닛은 모델 훈련 모듈(미도시)을 포함할 수 있고, 상기 모델 훈련 모듈은, 상술한 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹을 순차로 초기화 결함 검사 모델에 입력하여 상술한 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹에 대응되는 예측 결함 정보를 취득하고, 상술한 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹에 대응되는 예측 결함 정보를 당해 샘플 정보 그룹에 대응되는 상술한 샘플 결함 정보와 비교하여 상술한 초기화 결함 검사 모델의 예측 정확률을 취득하고, 상술한 예측 정확률이 사전설정 정확률 역치보다 큰지 여부를 결정하되, 상술한 사전설정 정확률 역치보다 큰 경우, 상술한 초기화 결함 검사 모델을 훈련 완료된 결함 검사 모델로 한다.
본 실시예의 일부 대안적인 구현 방식에서, 상술한 모델 훈련 서브유닛은, 상술한 사전설정 정확률 역치보다 크지 않은 것에 응답하여, 상술한 초기화 결함 검사 모델의 파라미터를 조정하고 상술한 모델 훈련 모듈을 반환하는 파라미터 조정 모듈(미도시)을 포함할 수 있다.
본 실시예는 전자 기기를 더 제공하는바, 이는, 하나 또는 복수의 프로세서; 및 하나 또는 복수의 프로그램이 저장되어 있는 메모리를 포함하고, 상술한 하나 또는 복수의 프로그램이 상술한 하나 또는 복수의 프로세서에 의해 실행되는 경우, 상술한 하나 또는 복수의 프로세서가 상술한 정보를 취득하는 방법을 수행하도록 한다.
본 실시예는 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독가능 매체를 더 제공하는바, 당해 프로그램은 프로세서에 의해 실행되는 경우, 상술한 정보를 취득하는 방법을 구현한다.
아래 도 6을 참조하면, 이는, 본 개시의 실시예를 구현하기에 적합한 전자 기기(예를 들어, 도1에서의 서버(105))의 컴퓨터 시스템(600)의 구조 개략도를 도시한다. 도 6에 도시한 전자 기기는 단지 하나의 예시일 뿐, 본 개시의 실시예의 기능 및 사용범위에 대하여 어떠한 한정이 되어서도 안된다.
도 6에 도시한 바와 같이, 전자 기기(600)는 처리 장치(예를 들어 중앙 처리 장치, 그래픽 프로세서 등)(601)을 포함할 수 있고, 이는 읽기 전용 메모리(ROM)(602)에 저장되어 있는 프로그램 또는 저장 장치(608)에서 랜덤 액세스 메모리(RAM)(603)로 로딩된 프로그램에 따라 여러 가지 적당한 동작 및 처리를 수행할 수 있다. RAM(603)에는 또한 전자 기기(600) 조작에 필요한 여러 가지 프로그램과 데이터가 저장되어 있다. 처리 장치(601), ROM(602) 및 RAM(603)은 버스(604)에 의해 서로 연결된다. I/O 인터페이스(input/output interface)(605)도 버스(604)에 연결된다.
통상적으로, 하기 장치는I/O 인터페이스(605)에 연결될 수 있는바, 예를 들어 터치 스크린, 터치 패널, 키보드, 마우스, 카메라, 마이크로폰, 가속도계, 자이로스코프 등을 포함하는 입력 장치(606); 예를 들어 액정 디스플레이(LCD), 스피커, 발진기 등을 포함하는 출력 장치(607); 예를 들어 자기 테이프, 하드디스크 등을 포함하는 저장 장치(608); 및 통신 장치(609)가 있다. 통신 장치(609)는 전자 기기(600)가 다른 기기와 무선 또는 유선 통신하여 데이터를 교환하도록 허용할 수 있다. 비록 도 6에서는 다양한 장치를 가지는 전자 기기(600)를 도시하나, 도시된 모든 장치가 실시되거나 또는 구비되어야 한다고 요구되는 것이 아님을 이해하여야 한다. 치환적으로 더 많은 또는 더 적은 장치를 실시하거나 또는 구비할 수 있다. 도 6에서 도시한 각 블록은 하나의 장치를 대표할 수도 있고 필요에 따라 복수의 장치를 대표할 수도 있다.
특히, 본 개시의 실시예에 따르면, 상술한 흐름도를 참조하여 설명한 과정은 컴퓨터소프트웨어 프로그램으로 구현될 수 있다. 예를 들면, 본 개시의 실시예는 컴퓨터 프로그램 제품을 포함하는바, 이는, 컴퓨터 판독가능 매체에 탑재된 컴퓨터 프로그램을 포함하고, 당해 컴퓨터 프로그램은 흐름도에 도시한 방법을 수행하기 위한 프로그램 코드를 포함한다. 이러한 실시예에서, 프로그램은 통신 장치(609)를 통해 네트워크로부터 다운로드되어 설치되거나, 또는 저장 장치(608)로부터 설치되거나, 또는 ROM(602)으로부터 설치될 수 있다. 당해 컴퓨터 프로그램이 처리 장치(601)에 의해 실행되는 경우, 본 개시의 실시예의 방법에서 한정한 상술한 기능이 수행된다.
부연하면, 본 개시의 실시예에 따른 컴퓨터 판독가능 매체는 컴퓨터 판독가능 신호 매체일 수도 있고 컴퓨터 판독가능 저장 매체일 수도 있고 상술한 양자의 임의 조합일 수도 있다. 컴퓨터 판독가능 저장 매체는 예를 들면, 전기적, 자기적, 광, 전자기적, 적외선 또는 반도체의 시스템, 장치 또는 디바이스이거나, 또는 상술한 것의 임의 조합일 수 있으나 이에 한정되지 않는다. 컴퓨터 판독가능 저장 매체의 더 구체적인 예는, 하나 또는 복수의 도선을 가지는 전기적 연결, 휴대용 컴퓨터 자기 디스크, 하드디스크, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 소거 및 프로그램가능한 읽기 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 컴팩트 디스크 읽기 전용 메모리(CD-ROM), 광 저장 디바이스, 자기 저장 디바이스, 또는 상술한 것의 임의의 적합한 조합을 포함할 수 있으나 이에 한정되지 않는다. 본 개시의 실시예에서, 컴퓨터 판독가능 저장 매체는 프로그램을 포함하거나 저장하는 임의의 유형(tangible) 매체일 수 있고, 당해 프로그램은 명령 실행 시스템, 장치 또는 디바이스에 의해 사용되거나 또는 이에 결합되어 사용될 수 있다. 본 개시의 실시예에서, 컴퓨터 판독 가능 신호 매체는 기저대역에서 또는 반송파의 일부분으로 전파되는 데이터 신호를 포함할 수 있고, 컴퓨터 판독 가능 프로그램 코드가 그 중에 탑재되어 있다. 이렇게 전파되는 데이터 신호는 복수 가지 형식을 적용할 수 있는바, 이는 전자기 신호, 광 신호 또는 상술한 것의 임의의 적합한 조합을 포함하나 이에 한정되지 않는다. 컴퓨터 판독가능 신호 매체는 또한 컴퓨터 판독가능 저장 매체 이외의 임의의 컴퓨터 판독가능 매체일 수 있고, 당해 컴퓨터 판독가능 매체는 명령어 실행 시스템, 장치 또는 디바이스에 의해 사용되거나 또는 이들과 결합되어 사용되는 프로그램을 송신, 전파, 또는 전송할 수 있다. 컴퓨터 판독가능 매체에 포함되는 프로그램 코드는 임의의 적당한 매체를 사용하여 전송할 수 있고, 전선, 광케이블, RF(방사 주파수) 등, 또는 상술한 것의 임의의 적합한 조합을 포함하나 이에 한정되지 않는다.
상술한 컴퓨터 판독가능 매체는 상술한 전자 기기에 포함될 수도 있고 단독의 존재로, 당해 전자 기기에 장비되지 않을 수도 있다. 상술한 컴퓨터 판독가능 매체에는 하나 또는 복수의 프로그램이 탑재되어 있고, 상술한 하나 또는 복수의 프로그램이 당해 전자 기기에 의해 실행되는 경우, 당해 전자 기기가, 검출할 이미지에서 적어도 하나의 이미지 특징을 취득하고 - 상술한 검출할 이미지는 검출할 물체 이미지를 포함하고 상술한 이미지 특징은 상술한 검출할 물체의 표면 특징 정보를 특성화함 - ; 상술한 검출할 이미지와 상술한 적어도 하나의 이미지 특징을 사전훈련된 결함 검사 모델에 도입하여 상술한 검출할 물체에 대응되는 결함 정보를 취득 하도록 하는바, 상술한 결함 검사 모델은 샘플 이미지, 샘플 이미지 특징 및 샘플 결함 정보로 훈련하여 취득되는 것으로, 상술한 검출할 이미지와 적어도 하나의 이미지 특징의 대응관계를 특성화한다.
하나의 또는 다양한 프로그램 디자인 언어 또는 그 조합으로 본 개시의 실시예의 조작을 수행하기 위한 컴퓨터 프로그램 코드를 작성할 수 있는바, 상기 프로그램 디자인 언어는Java, Smalltalk, C++와 같은 객체지향의 프로그램 디자인 언어를 포함하고, C언어 또는 유사한 프로그램 디자인 언어와 같은 통상적인 절차적 프로그램 디자인 언어를 더 포함한다. 프로그램 코드는 완전히 사용자 컴퓨터에서 실행되거나, 부분적으로 사용자 컴퓨터에서 실행되거나, 하나의 독립적인 소프트웨어 패키지로서 실행되거나, 일부가 사용자 컴퓨터에서 일부가 원격 컴퓨터에서 실행되거나, 또는 완전히 원격 컴퓨터 또는 서버에서 실행될 수 있다. 원격 컴퓨터에 관련되는 경우, 원격 컴퓨터는 임의 종류의 네트워크 - 근거리 통신망(LAN) 또는 원거리 통신망(WAN)을 포함함- 를 통해 사용자 컴퓨터에 연결되거나 또는 외부 컴퓨터(예를 들면 인터넷 서비스 사업자를 이용하여 인터넷을 통해 연결)에 연결될 수 있다.
첨부 도면에서의 흐름도 및 블록도는, 본 개시의 다양한 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 구현 가능한 체계 아키텍처, 기능 및 조작을 도시한다. 이러한 점에서, 흐름도 또는 블록도 중의 각 블록은 하나의 모듈, 프로그램 세그먼트, 또는 코드의 일부분을 나타낼 수 있고, 당해 모듈, 프로그램 세그먼트, 또는 코드의 일부분은 규정된 논리 기능을 구현하는 하나 또는 복수의 실행가능한 명령을 포함한다. 치환으로 하는 일부 구현에서, 블록 내에 표기된 기능은 첨부도면에서 표기한 것과는 다른 순서로 발생할 수도 있다는 점 또한 유의하여야 한다. 예를 들면, 2개의 연속되게 표시된 블록은 사실상 기본적으로 병렬로 수행될 수도 있고, 이들은 때로는 상반되는 순서로 수행될 수도 있는바, 이는 관련되는 기능에 따라 결정된다. 블록도 및/또는 흐름도 중의 각 블록, 및 블록도 및/또는 흐름도 중의 블록의 조합은, 규정된 기능 또는 조작을 수행하는 전용의, 하드웨어 기반의 시스템을 사용하여 구현하거나, 또는 전용의 하드웨어와 컴퓨터 명령의 조합을 사용하여 구현할 수 있다는 점도 유의하여야 한다.
본 개시에서 서술하는 실시예에서 언급되는 유닛은 소프트웨어의 방식으로 구현될 수도 있고 하드웨어의 방식으로 구현될 수도 있다. 서술한 유닛은 프로세서에 설치될 수도 있는바, 예를 들면, 특징 취득 유닛과 결함 정보 취득 유닛을 포함하는 프로세서로 서술될 수 있다. 여기서, 이러한 유닛의 명칭은 어떠한 경우에도 당해 유닛 자체에 대한 한정이 되지 않는바, 예를 들면, 특징 취득 유닛은 "검출할 이미지에서 검출할 물체의 복수의 이미지 특징을 취득하는 유닛"으로 서술될 수도 있다.
상술한 설명은 단지 본 개시의 바람직한 실시예 및 운용된 기술 원리에 대한 설명일 뿐이다. 당업자라면, 본 개시의 실시예에 관련되는 발명의 범위는, 상술한 기술 특징의 특정 조합으로 이루어지는 기술 방안에 한정되지 않으며, 동시에, 상술한 발명 사상을 벗어나지 않으면서 상술한 기술 특징 또는 그 등가 특징을 임의로 조합하여 구성하는 다른 기술 방안도 포함하여야 한다는 것을 이해하여야 한다. 예를 들면 상술한 특징을 본 개시의 실시예에서 개시한(그러나 이에 한정되지 않음) 유사 기능을 가지는 기술 특징과 상호 치환하여 형성하는 기술 방안이 있다.

Claims (14)

  1. 정보를 취득하는 방법으로서,
    검출할 이미지에서 적어도 하나의 이미지 특징을 취득하는 단계로서, 상기 검출할 이미지는 검출할 물체 이미지를 포함하고 상기 이미지 특징은 상기 검출할 물체의 표면 특징 정보를 특성화하는, 상기 적어도 하나의 이미지 특징을 취득하는 단계; 및
    상기 검출할 이미지와 상기 적어도 하나의 이미지 특징을 사전훈련된 결함 검사 모델에 도입하여 상기 검출할 물체에 대응되는 결함 정보를 취득하는 단계로서, 상기 결함 검사 모델은 샘플 이미지, 샘플 이미지 특징 및 샘플 결함 정보로 훈련하여 취득되는 것으로, 상기 검출할 이미지와 적어도 하나의 이미지 특징의 대응관계를 특성화하는, 상기 결함 정보를 취득하는 단계
    를 포함하는, 정보를 취득하는 방법.
  2. 제1항에 있어서,
    상기 검출할 이미지에서 적어도 하나의 이미지 특징을 취득하는 단계는,
    상기 검출할 물체의 기준 특징을 취득하는 단계로서 상기 기준 특징은 컬러 특징, 구조 특징, 평면 특징 중의 적어도 하나를 포함하는, 상기 기준 특징을 취득하는 단계; 및
    상기 기준 특징에 기반하여 설정 방식으로 상기 검출할 이미지에 대한 이미지 처리를 수행하여 대응되는 이미지 특징을 취득하는 단계로서, 상기 설정 방식은 컬러 콘트라스트 증강, 필터링, 텍스처 수집 중의 적어도 하나를 포함하는, 상기 이미지 특징을 취득하는 단계
    를 포함하는, 정보를 취득하는 방법.
  3. 제1항에 있어서,
    상기 검출할 이미지와 상기 적어도 하나의 이미지 특징을 사전훈련된 결함 검사 모델에 도입하여 상기 검출할 물체에 대응되는 결함 정보를 취득하는 단계는,
    상기 검출할 이미지와 상기 적어도 하나의 이미지 특징을 상기 결함 검사 모델의 대응되는 입력 통로에 도입하여 상기 검출할 물체에 대응되는 결함 정보를 취득하는 단계를 포함하는, 정보를 취득하는 방법.
  4. 제1항에 있어서,
    상기 결함 검사 모델은,
    복수의 샘플 정보 그룹 및 상기 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹에 대응되는 샘플 결함 정보를 취득하는 단계로서, 상기 샘플 정보 그룹은 샘플 이미지 및 샘플 이미지에 대응되는 적어도 하나의 샘플 이미지 특징을 포함하는, 상기 샘플 결함 정보를 취득하는 단계; 및
    상기 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹을 입력으로 하고 상기 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹에 대응되는 상기 샘플 결함 정보를 출력으로 하여 결함 검사 모델을 훈련하여 취득하는 단계
    에 의해 훈련하여 취득되는, 정보를 취득하는 방법.
  5. 제4항에 있어서,
    상기 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹을 입력으로 하고 상기 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹에 대응되는 상기 샘플 결함 정보를 출력으로 하여 결함 검사 모델을 훈련하여 취득하는 단계는,
    상기 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹을 순차로 초기화 결함 검사 모델에 입력하여 상기 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹에 대응되는 예측 결함 정보를 취득하고, 상기 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹에 대응되는 예측 결함 정보를 당해 샘플 정보 그룹에 대응되는 상기 샘플 결함 정보와 비교하여 상기 초기화 결함 검사 모델의 예측 정확률을 취득하고, 상기 예측 정확률이 사전설정 정확률 역치보다 큰지 여부를 결정하되, 상기 사전설정 정확률 역치보다 큰 경우, 상기 초기화 결함 검사 모델을 훈련 완료된 결함 검사 모델하는 단계를 수행하는 것을 포함하는, 정보를 취득하는 방법.
  6. 제5항에 있어서,
    상기 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹을 입력으로 하고 상기 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹에 대응되는 상기 샘플 결함 정보를 출력으로 하여 결함 검사 모델을 훈련하여 취득하는 단계는,
    상기 사전설정 정확률 역치보다 크지 않은 것에 응답하여, 상기 초기화 결함 검사 모델의 파라미터를 조정하고, 상기 훈련 단계를 계속하여 수행하는 단계를 포함하는, 정보를 취득하는 방법.
  7. 정보를 취득하는 장치로서,
    검출할 이미지에서 적어도 하나의 이미지 특징을 취득하는 특징 취득 유닛으로서, 상기 검출할 이미지는 검출할 물체 이미지를 포함하고 상기 이미지 특징은 상기 검출할 물체의 표면 특징 정보를 특성화하는, 상기 특징 취득 유닛; 및
    상기 검출할 이미지와 상기 적어도 하나의 이미지 특징을 사전훈련된 결함 검사 모델에 도입하여 상기 검출할 물체에 대응되는 결함 정보를 취득하는 결함 정보 취득 유닛으로서, 상기 결함 검사 모델은 샘플 이미지, 샘플 이미지 특징 및 샘플 결함 정보로 훈련하여 취득되는 것으로, 상기 검출할 이미지와 적어도 하나의 이미지 특징의 대응관계를 특성화하는, 상기 결함 정보 취득 유닛
    을 포함하는, 정보를 취득하는 장치.
  8. 제7항에 있어서,
    상기 특징 취득 유닛은,
    상기 검출할 물체의 기준 특징을 취득하는 기준 특징 취득 서브유닛으로서, 상기 기준 특징은 컬러 특징, 구조 특징, 평면 특징 중의 적어도 하나를 포함하는, 상기 기준 특징 취득 서브유닛; 및
    상기 기준 특징에 기반하여 설정 방식으로 상기 검출할 이미지에 대한 이미지 처리를 수행하여 대응되는 이미지 특징을 취득하는 이미지 특징 취득 서브유닛으로서, 상기 설정 방식은 컬러 콘트라스트 증강, 필터링, 텍스처 수집 중의 적어도 하나를 포함하는, 상기 이미지 특징 취득 서브유닛
    을 포함하는, 정보를 취득하는 장치.
  9. 제7항에 있어서,
    상기 결함 정보 취득 유닛은 상기 검출할 이미지와 상기 적어도 하나의 이미지 특징을 상기 결함 검사 모델의 대응되는 입력 통로에 도입하여 상기 검출할 물체에 대응되는 결함 정보를 취득하는 정보 입력 서브유닛을 포함하는, 정보를 취득하는 장치.
  10. 제7항에 있어서,
    상기 장치는, 결함 검사 모델을 훈련하는 결함 검사 모델 훈련 유닛을 포함하고,
    상기 결함 검사 모델 훈련 유닛은,
    복수의 샘플 정보 그룹 및 상기 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹에 대응되는 샘플 결함 정보를 취득하는 샘플 취득 서브유닛으로서, 상기 샘플 정보 그룹은 샘플 이미지 및 샘플 이미지에 대응되는 적어도 하나의 샘플 이미지 특징을 포함하는, 상기 샘플 취득 서브유닛; 및
    상기 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹을 입력으로 하고 상기 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹에 대응되는 상기 샘플 결함 정보를 출력으로 하여 결함 검사 모델을 훈련하여 취득하는 모델 훈련 서브유닛
    을 포함하는, 정보를 취득하는 장치.
  11. 제10항에 있어서,
    상기 모델 훈련 서브유닛은, 상기 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹을 순차로 초기화 결함 검사 모델에 입력하여 상기 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹에 대응되는 예측 결함 정보를 취득하고, 상기 복수의 샘플 정보 그룹 중의 각 샘플 정보 그룹에 대응되는 예측 결함 정보를 당해 샘플 정보 그룹에 대응되는 상기 샘플 결함 정보와 비교하여 상기 초기화 결함 검사 모델의 예측 정확률을 취득하고, 상기 예측 정확률이 사전설정 정확률 역치보다 큰지 여부를 결정하되, 상기 사전설정 정확률 역치보다 큰 경우, 상기 초기화 결함 검사 모델을 훈련 완료된 결함 검사 모델로 하는 모델 훈련 모듈을 포함하는, 정보를 취득하는 장치.
  12. 제11항에 있어서,
    상기 모델 훈련 서브유닛은 상기 사전설정 정확률 역치보다 크지 않은 것에 응답하여, 상기 초기화 결함 검사 모델의 파라미터를 조정하고, 상기 모델 훈련 모듈을 반환하는 파라미터 조정 모듈을 포함하는, 정보를 취득하는 장치.
  13. 전자 기기로서,
    하나 또는 복수의 프로세서; 및
    하나 또는 복수의 프로그램이 저장되어 있는 메모리
    를 포함하되, 상기 하나 또는 복수의 프로그램이 하나 또는 복수의 프로세서에 의해 실행되는 경우, 상기 하나 또는 복수의 프로세서 제1항 내지 제6항 중 어느 한 항의 방법을 수행하도록 하는, 전자 기기.
  14. 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독가능 매체로서,
    당해 프로그램은 프로세서에 의해 실행되는 경우, 제1항 내지 제6항 중 어느 한 항의 방법을 구현하는 것을 특징으로 하는, 컴퓨터 판독가능 매체.
KR1020217024357A 2020-03-11 2020-09-21 정보를 취득하는 방법 및 장치 KR20210102458A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010165825.4A CN111402220B (zh) 2020-03-11 2020-03-11 用于获取信息的方法及装置
CN202010165825.4 2020-03-11
PCT/CN2020/116527 WO2021179565A1 (zh) 2020-03-11 2020-09-21 用于获取信息的方法及装置

Publications (1)

Publication Number Publication Date
KR20210102458A true KR20210102458A (ko) 2021-08-19

Family

ID=77494926

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217024357A KR20210102458A (ko) 2020-03-11 2020-09-21 정보를 취득하는 방법 및 장치

Country Status (3)

Country Link
US (1) US20220270228A1 (ko)
JP (1) JP2022526473A (ko)
KR (1) KR20210102458A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116990450A (zh) * 2023-07-18 2023-11-03 欧几里德(苏州)医疗科技有限公司 一种角膜塑形镜的缺陷检测方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116936389B (zh) * 2023-06-02 2024-09-03 江苏第三代半导体研究院有限公司 缺陷诊断方法、电子设备、存储介质及程序产品

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4906609B2 (ja) * 2007-06-29 2012-03-28 キヤノン株式会社 撮像装置および方法
JP5175916B2 (ja) * 2010-11-11 2013-04-03 トヨタ自動車東日本株式会社 部品検索システム
JP6403261B2 (ja) * 2014-12-03 2018-10-10 タカノ株式会社 分類器生成装置、外観検査装置、分類器生成方法、及びプログラム
KR101531530B1 (ko) * 2014-12-31 2015-06-25 (주)스타넥스 이미지 분석 방법, 장치 및 컴퓨터로 판독가능한 장치
WO2019003384A1 (ja) * 2017-06-29 2019-01-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および材質特定方法
JP6810505B2 (ja) * 2017-09-19 2021-01-06 富士フイルム株式会社 教師データ作成方法及び装置並びに欠陥検査方法及び装置
JP2019212073A (ja) * 2018-06-06 2019-12-12 アズビル株式会社 画像判別装置および方法
JPWO2020008538A1 (ja) * 2018-07-03 2020-07-27 三菱電機株式会社 材質推定装置及びロボット
CN110009614A (zh) * 2019-03-29 2019-07-12 北京百度网讯科技有限公司 用于输出信息的方法和装置
US20210010953A1 (en) * 2019-07-12 2021-01-14 SVXR, Inc. Methods and Systems for Defects Detection and Classification Using X-rays
CN110751177A (zh) * 2019-09-17 2020-02-04 阿里巴巴集团控股有限公司 分类模型的训练方法、预测方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116990450A (zh) * 2023-07-18 2023-11-03 欧几里德(苏州)医疗科技有限公司 一种角膜塑形镜的缺陷检测方法及系统
CN116990450B (zh) * 2023-07-18 2024-04-26 欧几里德(苏州)医疗科技有限公司 一种角膜塑形镜的缺陷检测方法及系统

Also Published As

Publication number Publication date
US20220270228A1 (en) 2022-08-25
JP2022526473A (ja) 2022-05-25

Similar Documents

Publication Publication Date Title
US11443190B2 (en) Processing cell images using neural networks
CN111402220B (zh) 用于获取信息的方法及装置
US20190362490A1 (en) Method and apparatus for inspecting corrosion defect of ladle
US12066417B2 (en) Learning model generation support apparatus, learning model generation support method, and computer-readable recording medium
CN109447156B (zh) 用于生成模型的方法和装置
CN110276346A (zh) 目标区域识别模型训练方法、装置和计算机可读存储介质
WO2020029608A1 (zh) 用于检测电极片毛刺的方法和装置
KR20210102458A (ko) 정보를 취득하는 방법 및 장치
CN110070076B (zh) 用于选取训练用样本的方法和装置
WO2020093724A1 (zh) 生成信息的方法和装置
CN112183627B (zh) 生成预测密度图网络的方法和车辆年检标数量检测方法
KR20210058768A (ko) 객체 라벨링 방법 및 장치
US20230146924A1 (en) Neural network analysis of lfa test strips
CN117690063B (zh) 电缆线路检测方法、装置、电子设备与计算机可读介质
CN115277261B (zh) 基于工控网络病毒的异常机器智能识别方法、装置、设备
CN110084298B (zh) 用于检测图像相似度的方法及装置
US10571446B2 (en) Data quality control using a correlated sensor group
CN117633228A (zh) 模型训练方法和装置
US9378109B1 (en) Testing tools for devices
CN114186090A (zh) 一种图像标注数据的智能质检方法及系统
CN110069997A (zh) 场景分类方法、装置及电子设备
CN116863387A (zh) 用于确定目标河道污染事件的方法、装置、设备和介质
CN117034923A (zh) 一种训练方法、文本评估方法、装置、介质及设备
CN116089251A (zh) 接口测试方法、设备、存储介质及程序产品
CN113255819A (zh) 用于识别信息的方法和装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application