KR20230017271A - 라벨링된 합성 훈련 데이터 세트들을 제공하기 위한 방법 및 시스템 그리고 그들의 사용 - Google Patents

라벨링된 합성 훈련 데이터 세트들을 제공하기 위한 방법 및 시스템 그리고 그들의 사용 Download PDF

Info

Publication number
KR20230017271A
KR20230017271A KR1020227045830A KR20227045830A KR20230017271A KR 20230017271 A KR20230017271 A KR 20230017271A KR 1020227045830 A KR1020227045830 A KR 1020227045830A KR 20227045830 A KR20227045830 A KR 20227045830A KR 20230017271 A KR20230017271 A KR 20230017271A
Authority
KR
South Korea
Prior art keywords
sub
computer
training data
objects
labeled
Prior art date
Application number
KR1020227045830A
Other languages
English (en)
Inventor
사이먼 헤르겐뢰더
막시밀리안 멧저
쇠렌 웨이서트
Original Assignee
지멘스 악티엔게젤샤프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지멘스 악티엔게젤샤프트 filed Critical 지멘스 악티엔게젤샤프트
Publication of KR20230017271A publication Critical patent/KR20230017271A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 라벨링된 훈련 데이터 세트를 제공하기 위한 컴퓨터 구현 방법에 관한 것이며,
Figure pct00027
복수의 하위 객체들을 포함하는 객체(2)의 CAD 모델(1)에서, 적어도 하나의 하위 객체(21, 22, 23, 24, 25, 26)가 선택되고,
Figure pct00028
복수의 상이한 렌더 이미지(45, 46, 47, 48)들이 생성되고, 상이한 렌더 이미지(45, 46, 47, 48)들은 적어도 하나의 선택된 하위 객체(21, 22, 23, 24, 25, 26)를 포함하고,
Figure pct00029
라벨링된 렌더 이미지(49)들에 기반하는 훈련 데이터 세트를 제공하기 위하여, CAD 모델을 기반으로 상이한 렌더 이미지들이 라벨링된다.

Description

라벨링된 합성 훈련 데이터 세트들을 제공하기 위한 방법 및 시스템 그리고 그들의 사용
본 발명은 라벨링된 훈련 데이터 세트를 제공하기 위한 컴퓨터 구현 방법에 관한 것이다.
또한, 본 발명은 이러한 훈련 데이터 세트를 제공하기 위한 시스템에 관한 것이다.
또한, 본 발명은 상술한 훈련 데이터 세트에 대해 훈련되는, 훈련된 기능을 제공하기 위한 컴퓨터 구현 방법과, 이러한 훈련된 기능을 사용하는 컴퓨터 구현 이미지 인식 방법에 관한 것이다.
또한, 본 발명은 이미지 기록 장치 및 데이터 처리 시스템을 포함하는 이미지 인식 시스템에 관한 것이며, 이러한 이미지 인식 시스템은 상술한 이미지 인식 방법을 실행하도록 형성되고 구성된다.
또한, 본 발명은, 상술한 시스템으로 하여금, 라벨링된 훈련 데이터 세트를 제공하기 위한 방법을 실행하도록 하는 제1 명령,
및/또는 컴퓨터를 통해 프로그램이 실행될 때 컴퓨터로 하여금, 훈련된 기능을 제공하기 위한 상술한 컴퓨터 구현 방법을 실행하도록 하는 제2 명령,
및/또는 상술한 시스템으로 하여금, 이미지 인식을 위해 상술한 이미지 인식 방법을 실행하도록 하는 제3 명령
을 포함하는 컴퓨터 프로그램에 관한 것이다.
라벨링된 데이터 세트들의 생성은 공지된 문제점이다. 기능들 또는 AI 알고리즘, 예를 들어 이미지- 또는 객체 인식 애플리케이션을 위한 신경망을 훈련시키기 위해, 라벨링된 큰 데이터 세트들이 필요한 경우가 빈번하다.
특히 산업 환경에서는, 균형 잡힌 데이터 베이스(좋은 데이터와 나쁜 데이터의 비율이 동일)가 생성되기 어렵다. 의도적인 에러 생성은 더 많은 시간 소모와 연관된다. 또한, 예상치 못한 환경 영향은 제한적으로만 데이터 세트에 매핑될 수 있다.
라벨링된 데이터 세트들을 생성하는 가능한 접근 방식은 라벨링을 수동으로 실행하는 것이다. [예를 들어 구글(Google)에서의] 수동 라벨링은 엄청나게 시간 소모적이고 비싸다. 또한, 사람에 의한 수동 라벨링에서는 집중력 부족과 단조로움으로 인한 에러들이 발생한다. 기술 분야에서의 라벨링은 컴포넌트들 및 프로세스들에 대한 전문 지식들을 필요로 하고, 그에 상응하게 더 비싸다.
따라서, 본 발명의 과제는, 라벨링된 임의의 크기의 데이터 세트들의 생성을 적은 시간 소모 및 비용 소모로 가능하게 하는 방법들 및 시스템들을 제공하는 것이라고 볼 수 있다.
이러한 과제는 라벨링된 훈련 데이터 세트를 제공하기 위한, 도입부에 언급된 컴퓨터 구현 방법에 의해 본 발명에 따라,
Figure pct00001
복수의 하위 객체들을 포함하는 객체의 CAD 모델에서, 적어도 하나의 하위 객체가 선택되고, CAD 모델은 적어도 하나의 하위 객체의 설명과, (객체의 이미지 내의) 적어도 하나의 하위 객체의 좌표를 포함함으로써,
Figure pct00002
복수의 상이한 렌더 이미지들이 생성되고, 상이한 (합성) 렌더 이미지들, 바람직하게는 각각의 렌더 이미지가 적어도 하나의 선택된 하위 객체를 포함함으로써,
Figure pct00003
라벨링된 렌더 이미지들에 기반하는 훈련 데이터 세트를 제공하기 위하여, CAD 모델 내에 포함된 적어도 하나의 하위 객체의 설명과, CAD 모델 내에 포함된 적어도 하나의 하위 객체의 좌표를 기반으로 상이한 렌더 이미지들이 라벨링됨으로써
해결된다.
본 발명에 따른 방법을 사용함으로써, 수동 라벨링의 복잡성이 제거되고, 라벨링된 큰 데이터 세트들을 에러없이 신속하게 생성하는 것이 구현된다.
CAD 모델에 기반한 라벨링은 바람직하게는 자동으로 실행된다.
즉, (전체) 객체의 CAD 모델은 개별 하위 객체들의 좌표들과, 바람직하게는 추가적으로 그들 서로 간의(하위 객체들 간의) 관계들에 대한 정보들을 포함한다. 개별 하위 객체들의 좌표들을 통하여, 전체 객체 내에서의 개별 하위 객체들의 위치가 결정될 수 있다.
상술한 것과 같은 라벨링된 훈련 데이터 세트에 의해서는, 예를 들어 실제 (전체) 객체의 올바른 실제 하위 객체들이 올바른 위치들에 있는지 여부가 테스트될 수 있도록 하는 이미지 인식 방법에 대한 기능이 훈련될 수 있다.
본 발명과 관련하여, "렌더 이미지"라는 용어는 예를 들어, 컴퓨터에서의 사전 연산에 의하여 생성된, 객체의 가상의 (현실적인) 3차원 표현을 의미한다.
상술한 CAD 모델은 2차원 또는 3차원(2D 또는 3D)일 수 있다. 이 경우, (적용예들에 관련한) 장면 또는 환경이, 복수의 하위 객체들을 포함하는 객체로서 기능할 수 있다. 이 경우, 적용예들에 관련한 환경/장면은, 선택된 적용예들에 관련된 하위 객체들을 포함하는 장면/환경을 의미한다. 예를 들어, 산업 플랜트 건설의 경우(일 적용예의 예시), 객체는 전체 산업 플랜트일 수 있으며, 하위 객체들은 산업 플랜트의 영역들일 수 있다. 자동차 생산의 경우, 객체는 예를 들어 차체일 수 있으며, 하위 객체들은 차체 부품들일 수 있다. 예를 들어 기차들의 자율 주행 분야에서 객체는 예를 들어, 전형적으로 기관사의 콕핏으로부터 보여지거나 기관사의 시야 내에 있는 환경일 수 있고, 하위 객체들은 대시보드/인스트루먼트 패널, 즉 사전에 존재하는 신호 시스템들, 예를 들어 H/V 신호 시스템들 등일 수 있다.
CAD 모델의 세부 수준에 따라, 하위 객체들은 추가 하위 객체들을 포함할 수 있다.
또한, 2개, 3개, 4개, 5개, 6개 또는 모든 하위 객체들이 선택됨으로써, 선택된 하위 객체들이 예를 들어 객체를 통해 표현되는 전체 장면을 형성하는 것도 고려 가능하다. 이를 통해, 하기에 설명되는 바와 같이 이미지들 전체를 분류하기 위한 기능이 훈련될 수 있도록 하는 (라벨링된) 훈련 데이터 세트들이 생성될 수 있다. 이 경우, 분류는 전체 이미지의 좋음/나쁨 평가일 수 있다.
렌더 이미지들의 라벨링은 예를 들어, CAD 모델로부터 제공 가능한 데이터(예를 들어, 재료 번호, 재료, 관련 프로세스 단계들 등)를 기반으로 실행될 수 있다.
일 실시예에서는, 렌더 이미지들이 저장되고, 예를 들어 데이터 베이스 내에, 예를 들어 클라우드 데이터 베이스 내에 또는 클라우드 데이터 레이크 내에 저장되는 것이 제공될 수 있다.
바람직하게는, 렌더 이미지 상의 적어도 하나의 (선택된) 하위 객체의 라벨이 적어도 하나의 하위 객체의 설명 및 적어도 하나의 하위 객체의 좌표[이미지 내의 하위 객체의 위치(X, Y)]를 포함하는 것이 제공될 수 있다. 라벨들은 예를 들어 리스트의 형태로, 즉 위치(X1, Y1)에서의 객체(1), 위치(X2, X2)에서의 객체(2), ..., 위치(XN, YN)에서의 객체(N)의 형태로 생성될 수 있다.
하위 객체의 설명은 예를 들어 하위 객체의 유형, 속성, 기능 등에 대한 정보를 포함할 수 있다.
또한, 라벨은 예를 들어 직사각형 테두리의 형태로, 바람직하게는 사전 결정 가능한 색상으로 시각화될 수 있다. 예를 들어, 시각화는 설치자에 대해 신속한 결과 검사를 가능하게 할 수 있다.
훈련 데이터 세트가 객체의 복수의 실제 이미지들을 포함하는 경우에 추가 장점들이 얻어질 수 있으며, 그 수는 렌더 이미지의 수에 비해 더 적고, 예를 들어 약 0.1% 내지 약 5%, 특히 약 1%이다.
또한, 하위 객체들이 구조적으로 서로 분리되는 것이 제공될 수 있다.
또한, 하위 객체들(모든 하위 객체들 또는 그중 단지 일부의 하위 객체)이 상이하게 형성되는 것이 제공될 수 있다.
일 실시예에서, 객체가 전자 조립체로서, 특히 인쇄 회로 기판 조립체로서 형성되고, 하위 객체들은 바람직하게는 전자 구성 요소들, 특히 통합형 구성 요소들 또는 이산형 구성 요소들로서 형성되는 것이 제공될 수 있다.
이 경우, CAD 모델에 기반한 상이한 렌더 이미지들의 라벨링은 전자 조립체의 부품표의 사용 하에 실행될 수 있다. 이러한 부품표("Bill of Materials": BOM)는 CAD 모델 내에 저장될 수 있다.
바람직하게는, 적어도 하나의 하위 객체의 렌더 이미지들이 적어도 하나의 기준에서 서로 상이하고, 이러한 적어도 하나의 기준은 하기 그룹, 즉 (이미지 내의) 적어도 하나의 하위 객체의 크기, 적어도 하나의 하위 객체의 노출, 렌더 이미지 내의 적어도 하나의 하위 객체가 보여지는 관점, 적어도 하나의 하위 객체의 배경, 적어도 하나의 하위 객체의 위치, 표면, 텍스처, 색상으로부터 선택되는 것이 제공될 수 있다.
또한, CAD 모델 내에서 복수의 하위 객체들이 선택되고, 선택된 하위 객체들은 프로세스 시퀀스에 할당 가능한 것이 제공될 수 있다.
실제 프로세스들에 대한 할당은 예를 들어 PLM 시스템들로부터의 생산 정보 또는 다른 정보에 의해 실행될 수 있다.
도입부에 언급된 과제는 라벨링된 훈련 데이터 세트를 제공하기 위한, 도입부에 언급된 시스템에 의해서도 본 발명에 따라, 이러한 시스템이
Figure pct00004
복수의 하위 객체들을 포함하는 객체의 CAD 모델을 갖는 컴퓨터 판독 가능 메모리와,
Figure pct00005
CAD 모델 내의 적어도 하나의 하위 객체의 선택을 가능하게 하도록 형성되고 구성되는 제1 인터페이스와,
Figure pct00006
복수의 상이한 렌더 이미지들로서, 적어도 하나의 선택된 하위 객체를 포함하는 상이한 렌더 이미지들을 생성하도록, 그리고 상이한 렌더 이미지들을 CAD 모델에 기반하여 라벨링하도록 구성되는 컴퓨팅 유닛과,
Figure pct00007
라벨링된 상이한 렌더 이미지들에 기반한 훈련 데이터 세트를 제공하도록 형성되고 구성되는 제2 인터페이스
를 포함함으로써 해결된다.
또한, 상술한 과제는 훈련된 기능을 제공하기 위한 컴퓨터 구현 방법에 의해 해결되고,
Figure pct00008
상술한 바와 같이 입수 가능한 적어도 하나의 라벨링된 훈련 데이터 세트가 제공되고,
Figure pct00009
훈련된 기능을 생성하기 위해, 적어도 하나의 라벨링된 훈련 데이터 세트에 기반하여 기능이 훈련되고,
Figure pct00010
훈련된 기능이 제공된다.
기능이 객체들의 분류 기능 및/또는 위치 파악(localization)을 위한 기능인 경우, 특히 컨볼루션 신경망을 기반으로 하는 경우가 바람직할 수 있다.
또한, 훈련 시스템도 공개되고, 이러한 훈련 시스템은, 상술한 방법에 따라 입수 가능한 적어도 하나의 라벨링된 훈련 데이터 세트를 얻도록 구성되는 제1 훈련 인터페이스 장치와, 라벨링된 훈련 데이터 세트에 기반하여 기능을 훈련하도록 구성되는 훈련 컴퓨팅 유닛과, 훈련된 기능을 제공하도록 구성되는 제2 훈련 인터페이스 장치를 포함한다.
이미지 인식 분야에서의 단순화와 관련하여, 도입부에 언급한 과제는 컴퓨터 구현 이미지 인식 방식에 의해 해결되고,
Figure pct00011
입력 데이터가 제공되고, 입력 데이터는 실제 객체의 이미지 기록이고, 실제 객체는 복수의 실제 하위 객체들을 포함하고,
Figure pct00012
훈련된 기능은 출력 데이터를 생성하기 위해 입력 데이터에 적용되고, 훈련된 기능은 상술한 방법에 따라 제공되고, 출력 데이터는 입력 데이터 내의 적어도 하나의 실제 하위 객체의 분류 및/또는 위치 파악을 포함하고,
Figure pct00013
출력 데이터가 제공된다.
환언하면, 출력 데이터는 하위 객체들로의 실제 객체의 세그먼트화를 포함한다.
바람직하게는, 복수의 상이한 이미지 기록들에 대해 본원의 방법의 단계들이 반복되는 것이 제공될 수 있다.
적어도 하나의 실제 하위 객체에 설명이 할당되는 경우가 바람직할 수 있다.
출력 데이터는 처리된 이미지 기록의 형태로 제공되고, 처리된 이미지 기록은 적어도 하나의 실제 하위 객체의 적어도 하나의 마킹을 갖는 이미지 기록인 것이 제공될 수 있다.
이 경우, 마킹이 적어도 하나의 실제 하위 객체의 범례 및/또는 적어도 하나의 하위 객체의 좌표를 포함하는 것이 제공될 수 있다.
실제 하위 객체의 범례는 예를 들어 실제 하위 객체의 유형, 속성, 기능 등에 대한 정보를 포함할 수 있다. 또한, 마킹은 예를 들어 직사각형 테두리의 형태로, 바람직하게는 사전 결정 가능한 색상으로 시각화될 수 있다. 예를 들어, 시각화는 설치자에 대해 신속한 결과 검사를 가능하게 할 수 있다.
범례가 부품표에 상응하고, 하위 객체의 인식을 위한 신뢰 수준을 포함하는 경우가 바람직할 수 있다.
일 실시예에서, 실제 객체가 전자 조립체로서, 특히 인쇄 회로 기판 조립체로서 형성되고, 하위 객체들은 전자 구성 요소들, 예를 들어 통합형 구성 요소들 또는 이산형 구성 요소들로서 형성되는 것이 제공될 수 있다.
일 실시예에서, 이미지 인식을 위한 시스템은 인쇄 회로 기판들의 테스트를 위한 시스템, 특히 인쇄 회로 기판 테스트 시스템으로서 형성된다.
이러한 인쇄 회로 기판 테스트 시스템은 인쇄 회로 기판 조립체들의 제조 시에 매우 효율적으로 사용될 수 있다. 이 경우, 제품 개발 시에 존재하는 지식[제품 구조, Bill of Materials(부품표)]의 이용 가능성은 의미 있는 훈련 데이터의 자동 생성을 가능하게 하는데, 이는 이러한 훈련 데이터가 개별 부품 레벨에서 생성될 수 있고, 훈련된 기능/훈련된 알고리즘이 이러한 개별 부품들/이러한 개별 구성 요소들을 인식하도록 훈련될 수 있기 때문이다.
또한, CAD 모델의 사용은 프로세스 시퀀스(BOP)에 대한 부품표(BOM)의 할당을 가능하게 한다. 이러한 링크를 통해서는, (맞춤형 훈련 데이터에 기반하여) 특정 프로세스들에 대한 테스트 프로그램들을 자동화식으로 생성하는 것이 가능하다. 이 경우에도, 계층 구조에 대한 지식이 다시 사용된다.
본 발명은 도면들로 도시된 실시예들을 참조하여 하기에 더 상세하게 설명되고 예시된다.
도 1은 라벨링된 훈련 데이터 세트를 제공하기 위한 컴퓨터 구현 방법을 도시한 흐름도이다.
도 2는 인쇄 회로 기판 조립체의 CAD 모델을 도시한 도면이다.
도 3 내지 도 6은 라벨의 생성을 위한 중간 이미지들을 도시한 도면이다.
도 7 내지 도 10은 생성된 렌더 이미지들을 도시한 도면이다.
도 11은 라벨링된 합성 훈련 데이터 세트들을 제공하기 위한 시스템을 도시한 도면이다.
도 12는 라벨링된 렌더 이미지를 도시한 도면이다.
도 13은 훈련 시스템을 도시한 도면이다.
도 14는 컴퓨터 구현 이미지 인식 방법을 도시한 흐름도이다.
도 15는 도 14의 이미지 인식 방법에 따라 처리된 이미지 기록을 도시한 도면이다.
도 16은 이미지 인식 방법을 실행하기 위한 데이터 처리 시스템을 도시한 도면이다.
도 17은 자동화 설비를 도시한 도면이다.
실시예들 및 도면들에서 동일하거나 동일한 효과를 갖는 요소들에는 동일한 도면 부호들이 각각 제공될 수 있다. 기본적으로, 도시된 요소들 및 그들 서로에 대한 크기 비율은 척도에 맞는 것으로 간주되지 않으며, 개별 요소들은 더 나은 표현 가능성 및/또는 더 나은 이해를 위해 상대적으로 더 큰 치수로 도시될 수 있다.
먼저, 도 1 내지 도 10이 참조된다. 도 1은 라벨링된 훈련 데이터 세트를 제공하기 위한 컴퓨터 구현 방법의 일 실시예의 흐름도를 도시한다.
복수의 하위 객체들을 포함하는 객체의 CAD 모델에 의해서는, 적어도 하나의 하위 객체가 선택된다[단계(S1)]. 도 2는 배경(3) 상의 인쇄 회로 기판 조립체(2)의 CAD 모델(1)을 예시적으로 도시한다. 인쇄 회로 기판 조립체(2)는 복수의 전자 구성 요소들을 포함한다. 인쇄 회로 기판 조립체(2)의 6개의 구성 요소(21, 22, 23, 24, 25, 26)들이 선택된다.
도시된 바와 같이, 구성 요소들은 구조적으로 서로 분리될 수 있고, 서로 상이하게 형성될 수 있다. 도 2는 동일한 구성 요소들도 제공될 수 있음을 보여준다. 동일하게 형성된 구성 요소들 중에서, 렌더 이미지들의 생성을 위한 각각 하나의 구성 요소(하기 참조)가 선택될 수 있다.
CAD 모델(1) 내의 구성 요소(21, 22, 23, 24, 25, 26)들의 선택은 컴퓨터의 수동 조작 가능한 인터페이스를 통해 수동으로 실행될 수 있거나, 예를 들어 BOM("Bill of Materials") 및/또는 BOP(프로세스 시퀀스)에 의해 자동으로 실행될 수도 있다.
선택된 구성 요소(21, 22, 23, 24, 25, 26)들에 대해 복수의 상이한 렌더 이미지(45, 46, 47, 48)들이 생성된다[단계(S2)]. 이러한 렌더 이미지들은 예를 들어, 컴퓨터에서의 사전 연산에 의하여 생성된 가상의, 바람직하게는 현실적인 3차원 표현이며, 선택된 구성 요소(21, 22, 23, 24, 25, 26)들 중 적어도 하나의 구성 요소가 이러한 3차원 표현으로 보여진다. 바람직하게, 각각의 렌더 이미지 상에서는 선택된 구성 요소(21, 22, 23, 24, 25, 26)들 중 적어도 하나의 구성 요소가 보여진다.
하위 단계(도 1에 도시되지 않음)에서, 중간 이미지(41, 42, 43, 44)들이 생성될 수 있다(도 3 내지 도 6). 이러한 중간 이미지(41, 42, 43, 44)들은 예를 들어 라벨[좌표(x, y)들을 갖는 직사각형]을 생성하는데 사용될 수 있다.
각각의 중간 이미지(41, 42, 43, 44) 상에서는 각각 하나의 구성 요소(23)가 상이한 위치들로 그리고 상이한 관점들로 보여진다. 이 경우, 중간 이미지(41 내지 44) 상에서의 구성 요소(23)의 위치는 무작위일 수 있으며, 예를 들어 난수 생성기에 의해 생성될 수 있다. 그러나, 중간 이미지(41 내지 44) 상에서의 구성 요소(23)의 위치는, 인쇄 회로 기판 조립체(2) 상의 동일하게 형성된 다른 구성 요소들 중 하나의 구성 요소가 취하는 위치에 상응할 수도 있다(도 3 내지 도 6과 함께 도 2 참조). 중간 이미지(41 내지 44)들은 흰색 배경(30)을 갖는다.
도 7 내지 도 10은 상이한 렌더 이미지(45 내지 48)들의 예시들을 도시한다. 각각의 렌더 이미지 상에는 선택된 구성 요소(21, 22, 23, 24, 25, 26)들이 도시된다.
도 7 내지 도 10의 각각의 렌더 이미지(45 내지 48) 상에서는 각각 상이한 배경(31 내지 34) 상의 인쇄 회로 기판 조립체(2)의 인쇄 회로 기판(20)이 보여진다. 인쇄 회로 기판의 색상이 마찬가지로 다양할 수 있다(본 도면에는 도시되지 않음). 또한, 각각의 렌더 이미지(45 내지 48)는, 인쇄 회로 기판(20)의 가시적 표면 상에 무작위로 분포될 수 있는 선택된 모든 구성 요소(21 내지 26)들을 도시한다. 표면 상의 구성 요소(21 내지 26)들의 위치들은, 인쇄 회로 기판 조립체(2) 내의 동일한 유형의 구성 요소들(동일하게 형성된 구성 요소들)이 갖는 위치들에 상응할 수도 있다(도 2 참조). CAD 모델(1) 내에서 볼 수 있는 다른 구성 요소들(도 2 참조)은 렌더 이미지(45 내지 48)들 상에서 보여지지 않는다. 이들은 렌더 이미지들의 생성 시에 생략될 수 있지만, 반드시 그러할 필요는 없다. 상술한 무작위 분포를 달성하기 위해, 선택된 구성 요소(21 내지 26)들에 대한 인쇄 회로 기판(20)의 표면 상의 무작위 위치들이 생성될 수 있다.
도 10은, 렌더 이미지들의 생성 시에 인쇄 회로 기판(20)의 크기 및/또는 위치 및/또는 배향도 다양할 수 있음을 또한 보여준다.
CAD 모델에 기반하여, 상이한 렌더 이미지(45 내지 48)들이 라벨링된다[단계(S3)]. 라벨링은 예를 들어 CAD 모델 내의 상응하는 항목들을 기반으로 실행될 수 있다. 예를 들어, 렌더 이미지(45 내지 48)들은 부품표에 상응하게 라벨링될 수 있다. 렌더 이미지(45 내지 48)들은 라벨 생성 이미지/중간 이미지(41, 42, 43, 44)들에 기반하여 라벨링될 수 있다. 예를 들어, 컴포넌트(23)의 라벨은 중간 이미지(43 또는 44)에 의해 생성될 수 있고, 렌더링 이미지(47) 또는 렌더링 이미지(45 및 46)들을 위해 사용될 수 있다. 따라서, 라벨링은 자동으로 실행될 수 있다.
렌더 이미지(45 내지 48)들은 라벨링 이전 또는 이후에 저장될 수 있다.
렌더 이미지(45 내지 48)들이 라벨링된 이후, 라벨링된 훈련 데이터 세트가 이에 기반하여 제공된다[단계(S4)].
상기 시퀀스는 컴퓨터 프로그램의 명령의 형태로 존재할 수 있다. 컴퓨터 프로그램은 예를 들어 컴퓨팅 유닛(101) 상에서 처리될 수 있다(도 11). 이러한 컴퓨터 프로그램은 예를 들어 컴퓨팅 유닛의 휘발성 메모리 또는 비휘발성 메모리 내에 존재/저장될 수 있다.
도 11은, 예를 들어, 시스템(100)에 포함된 컴퓨팅 유닛(101) 상에서 상술한 컴퓨터 프로그램이 처리될 때, 상술한 라벨링된 (합성) 훈련 데이터 세트를 제공할 수 있는 시스템(100)을 도시한다.
또한, 이러한 시스템(100)은 CAD 모델(1)과; CAD 모델(1) 내에서의 구성 요소(21 내지 26)들의 선택을 가능하게 하도록 형성되고 구성되는 제1 인터페이스(102);를 포함할 수 있다.
컴퓨팅 유닛(101)은, 상이한 렌더 이미지(45 내지 48)들을 생성하도록, 그리고 이러한 렌더 이미지들을 CAD 모델, 예를 들어 CAD 모델 내에 존재할 수 있는 부품표에 기반하여 라벨링하도록 구성된다.
또한, 시스템(100)은, 상이한 렌더 이미지(45 내지 48)들에 기반한, 라벨링된 훈련 데이터 세트를 제공하도록 형성되고 구성되는 제2 인터페이스(103)를 포함한다.
도 12는 객체(인쇄 회로 기판 조립체)의 총 10개의 하위 객체들(구성 요소들)들이 각각 라벨(5)에 의해 마킹된, 라벨링된 렌더 이미지(49)의 일 예시를 도시한다. 이 경우, 각각의 라벨(5)은 라벨링된 렌더 이미지(49) 상의 구성 요소들 및/또는 구성 요소들의 좌표의 설명을 포함할 수 있다. 또한, 각각의 라벨(5)은 예를 들어 라벨링된 구성 요소를 둘러싸는 사전 결정 가능한 색상의 직사각형 경계의 형태로 형성될 수 있다. 이러한 시각화는 설치자에 대해 신속한 결과 검사를 가능하게 한다.
요약하면, 도 7 내지 도 10 및 도 12는, 라벨링된 렌더 이미지(45 내지 49)들이 적어도 하나의 기준에서 서로 상이하고, 이러한 적어도 하나의 기준은 하기 그룹, 즉 렌더 이미지 내의 구성 요소들의 크기, 노출, 구성 요소들이 보여지는 관점, 구성 요소들의 배경[인쇄 회로 기판(20)은 구성 요소들의 배경의 하나일 수 있음], 각각의 렌더 이미지(45 내지 49) 내의 구성 요소들의 위치, 표면 패턴, 텍스처, 색상으로부터 선택됨을 보여준다.
또한, 구성 요소(21 내지 26)들의 선택은 예를 들어 인쇄 회로 기판 조립체 제조 프로세스의 프로세스 시퀀스에 할당될 수 있다.
예를 들어, CAD 프로그램들은 프로세스 시퀀스(BOP)에 대한 부품표(BOM)의 할당을 가능하게 한다. 이러한 링크를 통해, 맞춤형 훈련 데이터 세트들에 기반하는 특정 프로세스들/프로세스 단계들을 위한 테스트 프로그램들을 자동화식으로 생성하는 것이 가능하고, 훈련 데이터 세트들은 상술한 바와 같이 제공될 수 있다. 이 경우, 계층 구조에 대한 지식이 사용될 수 있다. 인쇄 회로 기판 조립체들의 경우, 계층 구조는 (개별 컴포넌트들로 다시 분할될 수 있는) 하위 조립체들 및 개별 컴포넌트들로의 인쇄 회로 기판 조립체의 분할일 수 있다. 이 경우, 제품 개발 시에 존재하는 지식[제품 구조, Bill of Materials(부품표)]이 사용될 수 있고, 이를 통해 특정 프로세스 시퀀스에 상응하는, 훈련 데이터 세트들의 자동 생성이 가능하게 된다.
이러한 테스트 프로그램은, 예를 들어 상술한 바와 같이 생성된 훈련 데이터 세트들에 대해 훈련되었던, 훈련된 기능을 포함할 수 있고, 이러한 훈련된 기능을 예를 들어 특정 제조 진행 단계에서 실제 인쇄 회로 기판 조립체들의 이미지 기록들에 대해 적용함으로써, 이러한 인쇄 회로 기판 조립체들의 개별 구성 요소들을 인식할 수 있다.
이러한 기능은 분류 기능 및/또는 위치 파악 기능일 수 있고, 특히 컨볼루션 신경망에 기반할 수 있다. 분류는 예를 들어 전체 이미지 기록의 좋음/나쁨 평가일 수 있다.
도 13은 훈련 시스템의 일 실시예를 도시한다. 도시된 훈련 시스템(200)은, 예를 들어 상술한 시스템(100)에 의해 제공되는 훈련 데이터 세트들을 얻도록 구성되는 제1 훈련 인터페이스 장치(202)를 포함한다. 또한, 훈련 시스템(200)은, 훈련 데이터 세트에 기반하여 기능을 훈련하도록 구성되는 훈련 컴퓨팅 유닛(201)을 포함한다. 이를 위해, 훈련 컴퓨팅 유닛(201)은 상응하는 명령을 갖는 훈련 컴퓨터 프로그램을 포함할 수 있다. 또한, 훈련 시스템(200)은, 훈련된 기능을 제공하도록 구성되는 제2 훈련 인터페이스 장치(203)를 포함한다.
라벨링된 실제 이미지들에 대해 추가적으로 기능이 훈련되는 경우, 특히 좋은 결과들이 객체 인식 시에 달성될 수 있다. 훈련 데이터 세트 내의 실제 이미지의 수는, 합성 이미지 또는 렌더 이미지의 수에 비해 적을 수 있다. 훈련 데이터 세트 내의 실제 이미지의 비율은 예를 들어 0.1% 내지 5%, 특히 1%일 수 있다.
도 14는 컴퓨터 구현 이미지 인식 방법의 일 실시예를 도시한다. 이러한 실시예는, 인쇄 회로 기판 조립체의 개별 구성 요소들의 인식에 대한 예시로서 설명되는 객체 인식 방법에 관한 것이다. 본 발명에 따른 이미지 인식 방법은 인쇄 회로 기판 조립체들 내의 구성 요소들의 인식으로 제한되지 않는 것으로 이해된다.
먼저 입력 데이터가 제공된다[단계(B1)]. 이는 예를 들어 제1 인터페이스 장치(302)에 의해 실행될 수 있다(도 16 참조). 입력 데이터는 실제 객체(이 경우 복수의 구성 요소들을 포함하는 인쇄 회로 기판 조립체)의 이미지 기록(301)이다.
인쇄 회로 기판 조립체의 개별 구성 요소들을 인식하기 위해, 예를 들어 상술한 바와 같은 훈련된 기능이 입력 데이터에 적용될 수 있다[단계(B2)]. 이 경우, 입력 데이터의 세그먼트화이며 입력(예를 들어, 전체 이미지 기록) 자체의 분류 또는 적어도 하나의 구성 요소의 분류를 포함하는 출력 데이터가 생성된다. 이는 예를 들어 컴퓨팅 장치(303)를 통해 실행될 수 있다.
이어서, 출력 데이터는 예를 들어 제2 인터페이스 장치(303)를 통해 제공된다[단계(B3)].
출력 데이터는 처리된 이미지 기록(304)으로서 제공될 수 있으며, 처리된 이미지 기록(304)은 구성 요소들의 마킹들이 내부에 포함된 이미지 기록(301)일 수 있다.
도 15는 처리된 이미지 기록(304)의 일 예시를 도시한다. 도 15는 이미지 기록(301) 상에서 5개의 상이한 타입의 구성 요소들이 인식되었음을 도시한다. 따라서, 처리된 이미지 기록(304) 상에서는 5개의 상이한 타입의 마킹(3040, 3041, 3042, 3043, 3044, 3045)들이 인식될 수 있다.
또한, 도 15는 인식된 실제 구성 요소들 각각이 마킹되었음을 보여준다. 각각의 마킹(3040, 3041, 3042, 3043, 3044, 3045)은 이미지(304) 상의 실제 구성 요소의 좌표/위치를 포함할 수 있고, 바람직하게는 인식된 구성 요소의 범례를 포함할 수 있다. 범례는 예를 들어 CAD 모델(1)로부터의 부품표(BOM)에 상응할 수 있는 구성 요소의 명칭(E0, E1, E2, E3, E4, E5) 및/또는 상응하는 구성 요소의 인식의 신뢰 수준(%로 표시됨)을 포함할 수 있다.
또한, 마킹(3040, 3041, 3042, 3043, 3044, 3045)들은 예를 들어 직사각형 테두리의 형태로 시각화될 수 있다. 이러한 시각화는 설치자에 대해 신속한 결과 검사를 가능하게 할 수 있다.
또한, 각각의 마킹(3040, 3041, 3042, 3043, 3044, 3045)은 사전 결정 가능한 색상을 가질 수 있다. 상이한 타입의 마킹(3040, 3041, 3042, 3043, 3044, 3045)들은 상이한 색상들을 가질 수 있다.
상술한 방법의 단계들은 실제 객체들, 예를 들어 인쇄 회로 기판 조립체들의 상이한 복수의 이미지 기록들에 대해 반복될 수 있는 것으로 이해된다.
도 16은, 예를 들어 단계(B1 내지 B3)들을 갖는 상술한 이미지 인식 방법을 실행하는데 적합한 데이터 처리 시스템의 일 실시예를 도시한다. 도시된 데이터 처리 시스템(300)은, 이미지 기록들, 예를 들어 이미지 기록(301)을 제1 인터페이스 장치(302)를 통해 얻고, 이를 예를 들어 상술한 바와 같이 처리하고, 처리된 이미지 기록들의 형태로, 예를 들어 처리된 이미지 기록(304)의 형태로 제2 인터페이스 장치를 통해 제공 또는 출력하도록 형성되고 구성되는 컴퓨팅 장치(303)를 포함한다.
데이터 처리 시스템(300)은, (이미지 인식 소프트웨어의 실행 시에) 예를 들어 데이터 처리 시스템(300)으로 하여금, 상술한 방법 단계(B1 내지 B3)들을 실행하도록 하는 명령을 포함하는 이미지 인식 소프트웨어를 포함할 수 있다. 이미지 인식 소프트웨어는 예를 들어 컴퓨팅 장치(303)에 저장될 수 있다.
도 17은 산업 시스템의 일 실시예를 도시한다. 상술한 방법들 및 시스템들은 산업 시스템의 도시된 실시예로서 적용될 수 있다. 산업 시스템은 자동화 설비(1000)로서 형성된다.
자동화 설비들은 복수의 소프트웨어- 및 하드웨어 컴포넌트들을 포함할 수 있다. 도 17에 도시된 자동화 설비(1000)는 2개의 레벨들, 즉 작업장 레벨(shop floor level)(1100), 예를 들어 작업소, 공장 현장, 생산 시설 등과; 클라우드 레벨(1200)로서 형성된 데이터 처리 레벨;을 포함한다. 데이터 처리 레벨이 작업장 레벨에 배열되고(도시되지 않음), 예를 들어 하나 이상의 컴퓨팅 유닛을 포함하는 것도 물론 고려 가능하다.
작업장 레벨(1100)은 예를 들어 인쇄 회로 기판 조립체들의 제조를 위해 설치될 수 있다.
예를 들어, 작업장 레벨(1100)은, 생성된 라벨링된 데이터 세트들을, 예를 들어 클라우드 레벨(1200) 내에 배열된 데이터 베이스(1201)로 전송하도록 구성 및/또는 설치되는 상응하는 컴퓨터 프로그램을 갖는 상술한 시스템(100)을 포함할 수 있다.
클라우드 레벨(1200)은 상술한 훈련 시스템(200)을 포함할 수 있으며, 이러한 훈련 시스템은 예를 들어, 라벨링된 데이터 세트들을 데이터 베이스(1201)로부터 호출하고, 이에 기반하여 기능을 훈련하고, 이러한 훈련된 기능을 제공하도록 구성된다. 데이터 처리 레벨이 작업장 레벨에 배열되고, 훈련 시스템(200)을 포함하는 것도 물론 고려 가능하다(도시되지 않음).
예를 들어, 훈련된 기능은 데이터 처리 레벨로부터의, 예를 들어 클라우드로부터의 호출을 위해 제공될 수 있거나, 인쇄 회로 기판 조립체들의 테스트를 위한 테스트 시스템(1101)으로 전송될 수 있다.
테스트 시스템(1101)은 작업장 레벨(1100) 내에 배열될 수 있다.
테스트 시스템(1101)은 이미지 기록 장치(1102) 및 상술한 데이터 처리 시스템(300)을 포함한다. 데이터 처리 시스템(300)은 훈련된 기능을 상술한 바와 같이 클라우드로부터 또는 로컬 (고성능) 훈련 컴퓨터로부터, 예를 들어 훈련 시스템(200)으로부터 호출할 수 있거나 전송받을 수 있다.
이미지 기록 장치(1102)는, 특정 프로세스 단계 이후에 인쇄 회로 기판 조립체들의 이미지 기록을 형성하고, 이를 데이터 처리 시스템(300)으로 전송하도록 형성되고, 이어서 이러한 데이터 처리 시스템은 상응하는 인쇄 회로 기판 조립체의 상태를 검사하고, 검사의 결과를 예를 들어 좋음/나쁨 평가(Ok or Not-Ok)의 형태로 제공한다.
부품표(BOM)는 컴포넌트/구성 요소들을 가져오고 명명하기 위해 시스템(100) 내에서 사용될 수 있다. 그러나, 시스템(100)은 특정 인쇄 회로 기판 조립체 변형예의 컴포넌트의 정확한 수 및 위치에 대한 정보를 반드시 포함할 필요는 없다.
본 발명이 세부적으로 인쇄 회로 기판 조립체들 및 그들의 제조 프로세스들에 관련되는 실시예들을 통해 더 상세하게 도시되고 설명되었지만, 본 발명은 공개된 예시들로 한정되지 않는다. 이러한 예시들의 변형예들이, 하기 청구 범위들을 통해 규정된 바와 같은 본 발명의 보호 범위를 벗어나지 않으면서 통상의 기술자에 의해 도출될 수 있다. 본 발명은 이미지 인식 및 특히 객체 인식이 필수적인 역할을 하는 다른 분야들에서, 필요한 변경을 가하여 적용될 수 있다. 본 발명의 적용 분야들의 비제한적인 리스트는, 자동차 생산, 항공기 제작, 의료 기술, 포장 프로세스, 오더 피킹(order picking) 프로세스, 재고 관리, 로봇 기술, 산업 플랜트 건설을 포함한다. 따라서, 본 발명은, CAD 데이터가 사용될 수 있고 테스트를 실행하는 모든 생산 분야들에 적용될 수 있다. 따라서, 본 발명은 개별 적용예들로 제한되지 않는다. 이와 같이, 상응하는 환경들 및 구성 요소들에서 CAD 모델이 제공될 경우, 예를 들어 자동차 및 기차의 자율 주행에서의 적용예들도 물론 고려 가능하다.

Claims (15)

  1. 라벨링된 훈련 데이터 세트를 제공하기 위한 컴퓨터 구현 방법으로서,
    Figure pct00014
    복수의 하위 객체들을 포함하는 객체(2)의 CAD 모델(1)에서, 적어도 하나의 하위 객체(21, 22, 23, 24, 25, 26)가 선택되고, CAD 모델(1)은 적어도 하나의 하위 객체(21, 22, 23, 24, 25, 26)의 설명과, 적어도 하나의 하위 객체의 좌표를 포함하고,
    Figure pct00015
    복수의 상이한 렌더 이미지(45, 46, 47, 48)들이 생성되고, 상이한 렌더 이미지(45, 46, 47, 48)들은 적어도 하나의 선택된 하위 객체(21, 22, 23, 24, 25, 26)를 포함하고,
    Figure pct00016
    라벨링된 렌더 이미지(49)들에 기반하는 훈련 데이터 세트를 제공하기 위하여, CAD 모델(1) 내에 포함된 적어도 하나의 하위 객체(21, 22, 23, 24, 25, 26)의 설명과, CAD 모델(1) 내에 포함된 적어도 하나의 하위 객체의 좌표를 기반으로 상이한 렌더 이미지들이 라벨링되는,
    라벨링된 훈련 데이터 세트를 제공하기 위한 컴퓨터 구현 방법.
  2. 제1항에 있어서, 적어도 하나의 하위 객체(21, 22, 23, 24, 25, 26)의 라벨(5)이 적어도 하나의 하위 객체의 설명 및 적어도 하나의 하위 객체의 좌표를 포함하고, 라벨(5)은 바람직하게는 예를 들어 직사각형 테두리의 형태로 시각화되는, 라벨링된 훈련 데이터 세트를 제공하기 위한 컴퓨터 구현 방법.
  3. 제1항 또는 제2항에 있어서, 객체는 전자 조립체로서, 특히 인쇄 회로 기판 조립체(2)로서 형성되고, 하위 객체들은 바람직하게는 전자 구성 요소(21, 22, 23, 24, 25, 26)들, 특히 통합형 구성 요소들 또는 이산형 구성 요소들로서 형성되는, 라벨링된 훈련 데이터 세트를 제공하기 위한 컴퓨터 구현 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 적어도 하나의 선택된 하위 객체(21, 22, 23, 24, 25, 26)의 렌더 이미지(45, 46, 47, 48)들은 적어도 하나의 기준에서 서로 상이하고, 이러한 적어도 하나의 기준은 그룹, 즉 적어도 하나의 하위 객체의 크기, 적어도 하나의 하위 객체의 노출, 적어도 하나의 하위 객체의 관점, 적어도 하나의 하위 객체의 배경(3, 31, 32, 33, 34), 적어도 하나의 하위 객체의 위치, 표면, 텍스처, 색상으로부터 선택되는, 라벨링된 훈련 데이터 세트를 제공하기 위한 컴퓨터 구현 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, CAD 모델(1) 내에서는 복수의 하위 객체(21, 22, 23, 24, 25, 26)들이 선택되고, 선택된 하위 객체(21, 22, 23, 24, 25, 26)들은 프로세스 시퀀스에 할당 가능한, 라벨링된 훈련 데이터 세트를 제공하기 위한 컴퓨터 구현 방법.
  6. 라벨링된 훈련 데이터 세트를 제공하기 위한 시스템(100)으로서,
    Figure pct00017
    복수의 하위 객체들을 포함하는 객체(2)의 CAD 모델(1)을 갖는 컴퓨터 판독 가능 메모리이며, CAD 모델(1)은 적어도 하나의 하위 객체(21, 22, 23, 24, 25, 26)의 설명과, 적어도 하나의 하위 객체의 좌표를 포함하는, 컴퓨터 판독 가능 메모리와,
    Figure pct00018
    CAD 모델(1) 내의 적어도 하나의 하위 객체(21, 22, 23, 24, 25, 26)의 선택을 가능하게 하도록 형성되고 구성되는 제1 인터페이스(102)와,
    Figure pct00019
    컴퓨팅 유닛(101)이며, 이러한 컴퓨팅 유닛은 복수의 상이한 렌더 이미지(45, 46, 47, 48)들을 생성하도록 구성되고, 상이한 렌더 이미지(45, 46, 47, 48)들은 적어도 하나의 선택된 하위 객체(21, 22, 23, 24, 25, 26)를 포함하고, 이러한 컴퓨팅 유닛은 상이한 렌더 이미지(45, 46, 47, 48)들을 CAD 모델(1) 내에 포함된 적어도 하나의 하위 객체(21, 22, 23, 24, 25, 26)의 설명과, CAD 모델(1) 내에 포함된 적어도 하나의 하위 객체의 좌표에 기반하여 라벨링하도록 구성되는, 컴퓨팅 유닛과,
    Figure pct00020
    라벨링된 상이한 렌더 이미지(49)들에 기반한 훈련 데이터 세트를 제공하도록 형성되고 구성되는 제2 인터페이스(103)
    를 포함하는, 라벨링된 훈련 데이터 세트를 제공하기 위한 시스템(100).
  7. 훈련된 기능을 제공하기 위한 컴퓨터 구현 방법으로서,
    Figure pct00021
    제1항 내지 제5항 중 어느 한 항에 따른 방법에 따른 적어도 하나의 라벨링된 훈련 데이터 세트가 제공되고,
    Figure pct00022
    훈련된 기능을 생성하기 위해, 적어도 하나의 라벨링된 훈련 데이터 세트에 기반하여 기능이 훈련되고,
    Figure pct00023
    훈련된 기능이 제공되는,
    훈련된 기능을 제공하기 위한 컴퓨터 구현 방법.
  8. 제7항에 있어서, 상기 기능은 분류 기능 및/또는 위치 파악 기능이고, 특히 컨볼루션 신경망에 기반하는, 훈련된 기능을 제공하기 위한 컴퓨터 구현 방법.
  9. 컴퓨터 구현 이미지 인식 방법으로서,
    Figure pct00024
    입력 데이터가 제공되고, 입력 데이터는 실제 객체의 이미지 기록(301)이고, 실제 객체는 복수의 실제 하위 객체들을 포함하고,
    Figure pct00025
    훈련된 기능은 출력 데이터(304)를 생성하기 위해 입력 데이터에 적용되고, 훈련된 기능은 제7항 또는 제8항에 따른 방법에 따라 제공되고, 출력 데이터(304)는 입력 데이터 내의 적어도 하나의 실제 하위 객체의 분류 및/또는 위치 파악(3040, 3041, 3042, 3043, 3044, 3045)을 포함하고,
    Figure pct00026
    출력 데이터(304)가 제공되는,
    컴퓨터 구현 이미지 인식 방법.
  10. 제9항에 있어서, 상기 방법의 단계들은 복수의 상이한 이미지 기록(301)들에 대해 반복되는, 컴퓨터 구현 이미지 인식 방법.
  11. 제9항 또는 제10항에 있어서, 출력 데이터는 처리된 이미지 기록(304)의 형태로 제공되고, 처리된 이미지 기록(304)은 적어도 하나의 실제 하위 객체의 적어도 하나의 마킹(3040, 3041, 3042, 3043, 3044, 3045)을 갖는 이미지 기록(301)인, 컴퓨터 구현 이미지 인식 방법.
  12. 제11항에 있어서, 마킹(3040, 3041, 3042, 3043, 3044, 3045)은 적어도 하나의 실제 하위 객체의 범례(E0, E1, E2, E3, E4, E5) 및/또는 적어도 하나의 하위 객체의 좌표를 포함하고, 바람직하게는 예를 들어 직사각형 테두리의 형태로, 특히 사전 결정 가능한 색상으로 시각화되는, 컴퓨터 구현 이미지 인식 방법.
  13. 제9항 내지 제12항 중 어느 한 항에 있어서, 실제 객체는 전자 조립체로서, 특히 인쇄 회로 기판 조립체로서 형성되고, 하위 객체들은 전자 구성 요소들, 예를 들어 통합형 구성 요소들 또는 이산형 구성 요소들로서 형성되는, 컴퓨터 구현 이미지 인식 방법.
  14. 이미지 기록 장치(1102) 및 데이터 처리 시스템(300)을 포함하는 시스템으로서, 이미지 인식 시스템(300)은 제9항 내지 제13항 중 어느 한 항에 따른 방법을 실행하도록 형성되고 구성되는, 시스템.
  15. 컴퓨터 프로그램으로서,
    제6항에 따른 시스템으로 하여금 제1항 내지 제5항 중 어느 한 항에 따른 방법을 실행하도록 하는 제1 명령,
    및/또는 컴퓨터를 통해 프로그램이 실행될 때 컴퓨터로 하여금 제7항 또는 제8항에 따른 방법을 실행하도록 하는 제2 명령,
    및/또는 제14항에 따른 시스템으로 하여금 제9항 내지 제13항 중 어느 한 항에 따른 방법을 실행하도록 하는 제3 명령
    을 포함하는, 컴퓨터 프로그램.
KR1020227045830A 2020-05-27 2021-05-14 라벨링된 합성 훈련 데이터 세트들을 제공하기 위한 방법 및 시스템 그리고 그들의 사용 KR20230017271A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20176860.3A EP3916636A1 (de) 2020-05-27 2020-05-27 Verfahren und systeme zum bereitstellen von synthetischen gelabelten trainingsdatensätzen und ihre anwendungen
EP20176860.3 2020-05-27
PCT/EP2021/062809 WO2021239476A1 (de) 2020-05-27 2021-05-14 Verfahren und systeme zum bereitstellen von synthetischen gelabelten trainingsdatensätzen und ihre anwendungen

Publications (1)

Publication Number Publication Date
KR20230017271A true KR20230017271A (ko) 2023-02-03

Family

ID=70968720

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227045830A KR20230017271A (ko) 2020-05-27 2021-05-14 라벨링된 합성 훈련 데이터 세트들을 제공하기 위한 방법 및 시스템 그리고 그들의 사용

Country Status (5)

Country Link
US (1) US11756189B2 (ko)
EP (2) EP3916636A1 (ko)
KR (1) KR20230017271A (ko)
CN (1) CN115699100A (ko)
WO (1) WO2021239476A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118132143B (zh) * 2024-05-08 2024-08-02 杭州城市大脑有限公司 低代码组件识别模型的训练方法、映射方法及设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9858658B2 (en) * 2012-04-19 2018-01-02 Applied Materials Israel Ltd Defect classification using CAD-based context attributes
CN106663229A (zh) * 2014-07-07 2017-05-10 西门子公司 用于确定用于制造产品的最优制造替代方案的方法和设备
DE102017213060A1 (de) 2017-07-28 2019-01-31 Siemens Aktiengesellschaft Computerimplementiertes Verfahren und Vorrichtung zum automatischen Generieren von gekennzeichneten Bilddaten und Analysevorrichtung zum Überprüfen eines Bauteils
JP6870527B2 (ja) * 2017-08-04 2021-05-12 富士通株式会社 部品見積もりプログラム、部品見積もりシステム及び部品見積もり方法
EP3495771A1 (en) * 2017-12-11 2019-06-12 Hexagon Technology Center GmbH Automated surveying of real world objects

Also Published As

Publication number Publication date
EP4121897A1 (de) 2023-01-25
EP4121897B1 (de) 2024-02-28
US20230196734A1 (en) 2023-06-22
EP3916636A1 (de) 2021-12-01
US11756189B2 (en) 2023-09-12
WO2021239476A1 (de) 2021-12-02
CN115699100A (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
CN111300416B (zh) 基于增强现实的模块化可重构机器人规划仿真方法和系统
NL2024682B1 (en) Assembly monitoring method and device based on deep learning, and readable storage medium
JP6551184B2 (ja) シミュレーション装置、シミュレーション方法、およびシミュレーションプログラム
US11475589B2 (en) 3D pose estimation by a 2D camera
CN105787923A (zh) 用于平面表面分割的视觉系统和分析方法
Lee Intelligent robotics
US11644891B1 (en) Systems and methods for virtual artificial intelligence development and testing
CN104346824A (zh) 基于单张人脸图像自动合成三维表情的方法及装置
US11554496B2 (en) Feature detection by deep learning and vector field estimation
JP7492240B2 (ja) 分析装置及び分析方法
CN107680125A (zh) 在视觉系统中自动选择三维对准算法的系统和方法
WO2020240808A1 (ja) 学習装置、分類装置、学習方法、分類方法、学習プログラム、及び分類プログラム
KR20180038981A (ko) 2d 관심 포인트의 3d 맵핑을 위한 방법
KR20230017271A (ko) 라벨링된 합성 훈련 데이터 세트들을 제공하기 위한 방법 및 시스템 그리고 그들의 사용
Costa et al. Modeling of video projectors in OpenGL for implementing a spatial augmented reality teaching system for assembly operations
Seidel et al. Towards a smart electronics production using machine learning techniques
Dörr et al. Lean training data generation for planar object detection models in unsteady logistics contexts
US20210314551A1 (en) 3d pose detection by multiple 2d cameras
WO2019233654A1 (en) Method for determining a type and a state of an object of interest
Patibandla et al. Augmented reality for assistive maintenance and real-time failure analysis in industries
Schlette et al. A new benchmark for pose estimation with ground truth from virtual reality
JP2021140429A (ja) ３ｄモデル生成方法
US20230169324A1 (en) Use synthetic dataset to train robotic depalletizing
Rodrigues et al. Modeling of video projectors in OpenGL for implementing a spatial augmented reality teaching system for assembly operations
Tuncalp et al. Automated Image Processing System Design for Engineering Education: The Case of Automatic Inspection for Printed Circuit Boards