KR20150044415A - 알려진 형상의 기준을 탐사하는 시스템 및 방법 - Google Patents

알려진 형상의 기준을 탐사하는 시스템 및 방법 Download PDF

Info

Publication number
KR20150044415A
KR20150044415A KR20140140131A KR20140140131A KR20150044415A KR 20150044415 A KR20150044415 A KR 20150044415A KR 20140140131 A KR20140140131 A KR 20140140131A KR 20140140131 A KR20140140131 A KR 20140140131A KR 20150044415 A KR20150044415 A KR 20150044415A
Authority
KR
South Korea
Prior art keywords
shape
control point
image
affine
score
Prior art date
Application number
KR20140140131A
Other languages
English (en)
Other versions
KR101670270B1 (ko
Inventor
구루프라새드 시배램
로웰 제이콥슨
데이빗 와이 리
Original Assignee
코그넥스코오포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코그넥스코오포레이션 filed Critical 코그넥스코오포레이션
Publication of KR20150044415A publication Critical patent/KR20150044415A/ko
Application granted granted Critical
Publication of KR101670270B1 publication Critical patent/KR101670270B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/754—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 효율성 및 신뢰성을 증가시키는 방식으로 아핀 변환 및 변환을 받은, 비전 시스템에 알려진 형상의 자세를 결정하는 시스템 및 방법을 제공한다. 기준을 갖는 객체 이미지가 획득된다. 기준(형상)은 자유도(DOF), 검색 범위 및 검색 단계를 포함하는 미리 결정된 아핀 파라미터, 및 연관된 DOF 및 단계를 갖는 왜곡 제어 포인트를 구비한다. 각 2D 아핀 파라미터의 검색 범위 및 왜곡 제어 포인트의 자유도(DOF)는 동시에 샘플링되어 조합을 획득한다. 개략적으로 지정된 기준은 변환되고 매칭 메트릭은 변환된 기준 형상에 대해 연산되어, 스코어 표면을 생성한다. 이 표면에 대해 잠재적인 후보로 피크들이 연산된다. 각 후보는 매칭 메트릭이 최대화될 때까지 정제된다. 미리 결정된 스코어를 초과하는 정제된 표현이 리턴되고, 최상의 스코어가 트레이닝 기준으로 사용될 수 있다.

Description

알려진 형상의 기준을 탐사하는 시스템 및 방법{SYSTEM AND METHOD FOR LOCATING FIDUCIALS WITH KNOWN SHAPE}
관련 출원
본 출원은 전체 내용이 본 명세서에 참조 문헌으로 병합된, 발명의 명칭이 "알려진 형상의 기준 탐사(LOCATING FIDUCIALS WITH KNOWN SHAPE)"인 2013년 10월 16일에 출원된 미국 가출원 번호 제61/891,446호의 이익을 주장한다.
기술 분야
본 발명은 이미징된 장면에서 형상을 탐사하는 기계 비전 시스템 및 방법에 관한 것이다.
본 명세서에서 "비전 시스템(vision system)"이라고도 불리우는 기계 비전 시스템을 사용하여 제조 환경에서 여러 작업을 수행한다. 일반적으로, 비전 시스템은 제조 중인 객체를 포함하는 장면의 그레이스케일 또는 컬러 이미지를 획득하는 이미지 센서(또는 "이미저(imager)")를 갖는 하나 이상의 카메라로 구성된다. 객체의 이미지를 분석하여 데이터/정보를 사용자 및 연관된 제조 공정에 제공할 수 있다. 이미지에 의해 생성된 데이터는 일반적으로 일반 목적 컴퓨터(예를 들어, PC, 랩탑, 태블릿 또는 스마트폰) 내에서 인스턴스화된(instantiated) 하나 이상의 소프트웨어 애플리케이션(들)의 일부이거나 목적을 위해 형성될 수 있는 하나 이상의 비전 시스템 프로세서에 있는 비전 시스템에 의해 분석되고 처리된다. 비전 시스템에 의해 수행된 작업의 일부 유형은 객체 및 표면을 검사하는 것과 및/또는 이동하는 모션 스테이지 상에 객체("작업물"이라고도 불리운다)를 정렬하는 것을 포함할 수 있고, 이는 모션 스테이지를 하나 이상의 직교 축을 따라 및/또는 회전 운동으로 서보 제어하는 것을 포함할 수 있다.
작업물을 정렬하는 것은 "기준(fiducial)"이라고 불리울 수 있는 미리 결정된 형상을 식별하고 탐사할 것을 종종 요구한다. 정렬 공정의 일부로서, 이 기준은 이미지 상에 인식되고, 2차원(2D) 또는 3차원(3D)으로 그 "자세(pose)"가 결정된다. 자세를 결정한 것에 기초하여, 작업물을 정렬하고 성분들을 조립하는 것과 같은 제조 동작을 수행할 수 있다.
종종, 기준의 형상(예를 들어, 십자형(cross))은 초기 설정의 일부로 비전 시스템에서 트레이닝된다. 이 트레이닝은 이 기준의 합성 또는 실제 이미지에 기초한다. 이 기준은 왜곡될 수 있는 것으로 인식된다. 이러한 왜곡은 형상/기준을 생성하는 공정의 결과일 수 있다. 예를 들어, 십자형-형상의 기준을 인쇄하면 공정 변동을 야기할 수 있고 이는 십자형 스트로크 폭(stroke width)에 변동을 초래할 수 있다. 십자형 및 원의 경우에, 스트로크 폭은 변할 수 있고 원의 일부는 평탄화되어, 타원 또는 스플라인(spline)을 한정하는 에지를 초래할 수 있다. 아핀 변환(즉, 일반적으로 2D에서 스케일, 회전, 병진이동 및 뒤틀림(skew)의 변화)을 검색하는 비전 시스템 애플리케이션은 상대적인 효율로 기준을 식별하고 탐사할 수 있어서 (그 자세를 결정할 수 있어서), 아핀 변환과 함께 왜곡이 포함되면 기준 자세를 결정하는 공정이 더 문제시 되고 신뢰성/효율성이 저하될 수 있다.
본 발명은 효율 및 신뢰성을 증가시키는 방식으로 아핀 변환과 변환을 받는 비전 시스템에 알려진 형상 자세를 결정하는 시스템 및 방법을 제공하는 것에 의해 종래 기술의 단점을 극복한다. 예시적인 실시예에서, 이 시스템 및 방법은 기준으로 객체 이미지를 획득한다. 이 기준(형상)은 아핀 파라미터의 개략적인 추정치 및, 아핀 자유도(degree of freedom: DOF)에 대한 검색 범위와 검색 스텝 사이즈(step sizes)와 함께 지정된다. 마찬가지로, 이 기준은 연관된 DOF 및 스텝 사이즈를 갖는 하나 이상의 왜곡 제어 포인트를 포함한다. 시스템 및 방법은 각 2D 아핀 파라미터의 검색 범위 및 왜곡 제어 포인트의 자유도(DOF)를 샘플링한다. 상기 샘플의 모든 조합에 대해, 시스템 및 방법은 개략적으로 지정된 기준을 변환하고, 이미지 내 변환된 기준 형상에 대해 매칭 메트릭을 연산한다. 이 변환은 스코어 표면을 형성한다. 피크 세트는 이 스코어 표면에 대해 연산된다. 이들 피크는 이미지에서 잠재적인 후보이다. 각 후보는 이후 매칭 메트릭이 최대화될 때까지 개략적인 파라미터 추정이 반복적으로 수정되는 예시적으로 힐 클라임 접근법(hill climbing approach)을 사용하여 정제(refined)된다. 미리 결정된(예를 들어 사용자 지정된) 스코어를 초과하는 후보의 정제된 표현이 리턴된다. 최상의 스코어를 갖는 정제된 표현(들)은 런타임 이미지를 탐사하는데(즉, 자세를 결정하는데) 모델 기준으로 사용될 수 있다. 대안적으로, 정제된 표현(들)을 사용하여 합성 트레이닝 기준을 정제할 수 있다.
예시적인 실시예에서, 비전 시스템으로 아핀 변환 및 비선형 변환의 조합을 받은 형상의 자세를, 연관된 프로세스 및 프로세스 단계로, 자동적으로 결정하는 시스템 및 방법이 제공된다. 본 시스템 및 방법은 카메라 조립체 및 연관된 비전 시스템 프로세서/공정을 사용하여 형상을 포함하는 객체의 이미지를 획득한다. 본 시스템 및 방법은 일반적으로 아핀 파라미터와 비선형 변환 파라미터의 사용자 지정된 탐색 범위를 탐색함으로써 형상의 개략적인 탐사를 수행하여, 미리 결정된 형상과 매칭하는 적어도 하나의 형상 후보를 식별하고 선택한다. 아핀 파라미터 및 비선형 왜곡 파라미터는 하나 이상의 (적어도 하나의) 최상의 매칭 후보 형상(들)에 대해 정제되고, 정제된 최상의 매칭 후보 형상(들)의 형상 표현이 생성된다. 이 결과는 일반적으로 트레이닝 형상에 사용되어 비전 시스템에 의해 후속하는 런타임에 자세를 결정하는 공정에 사용된다. 왜곡 정보의 포함은 기준을 탐사할 때 시스템의 로버스트니스(robustness)를 증가시킨다.
예시적으로, 아핀 변환은 하나 이상의 2차원(2D) 아핀 자유도에 의해 한정되고, 비선형 변환은 스트로크 폭 및 스플라인 워프 중 적어도 하나에 의해 한정된다. 개략적인 탐사를 수행하는 것은 미리 결정된 스텝 사이즈 및 검색 범위에 기초하여 복수의 단계에 걸쳐 명목 위치로부터 복수의 제어 포인트 구성으로 반복적으로 미리 결정된 형상에 대해 적어도 하나의 제어 포인트를 이동시키는 것을 포함한다. 각 제어 포인트 구성에 대해, 본 시스템 및 방법은 적어도 하나의 아핀 자유도(DOF)에 대해 미리 결정된 스텝 사이즈 및 검색 범위에 기초하여 복수의 단계에 걸쳐 미리 결정된 형상에 대해 아핀 변환을 반복적으로 연산할 수 있다. 본 시스템 및 방법에 의해 분석된 기준/형상의 여러 예에서, 이 형상은 (a) 암들이 상호 교차하는 코너에 위치된 단일 포인트에 의해 한정된 적어도 하나의 제어 포인트 및 스트로크 폭을 각각 한정하는 직교 배향된 암을 갖는 십자형을 한정하고, 여기서 제어 포인트는 암에 대해 유효 형상을 한정하는 미리 결정된 사분면에 위치된다; (b) 원형 또는 환형의 각 에지에 각각 위치된 다른 제어 포인트를 더 포함하는, 십자형와 조합된 원형 또는 환형을 한정한다.
예시적인 실시예에서, 본 시스템 및 방법은 기준/형상(예를 들어, 십자형, 십자형을 갖는 원, 또는 십자형을 갖는 환형)을 미리 결정된 계층에 기초하여 처리 순서에 따라 보다 기본적인 구성성분 형상으로 분해하는 계층 접근법을 사용할 수 있다. 이 접근법에서 본 시스템 및 방법은 미리 결정된 스텝 사이즈 및 검색 범위에 기초하여 복수의 단계에 걸쳐 명목 위치로부터 복수의 제어 포인트 구성으로 반복적으로 각 보다 기본적인 형상에 대해 적어도 하나의 제어 포인트를 이동시킨다. 본 시스템 및 방법은 각 제어 포인트 구성에 대해, 적어도 하나의 아핀 자유도(DOF)에 대해 미리 결정된 스텝 사이즈 및 검색 범위에 기초하여 복수의 단계에 걸쳐 보다 기본적인 형상에 대해 아핀 변환을 반복적으로 연산한다. 예시적으로, 기준 렌더러는 이 형상을 보다 기본적인 형상으로 분해하고, 이 계층은 최대 주변을 갖는 형상으로부터 최소 주변을 갖는 형상으로 순서를 포함한다. 일반적으로 본 시스템 및 방법에 의해 사용된 스텝 사이즈는 사용자 파라미터 또는 자동 공정에 기초하여 한정될 수 있다.
본 시스템 및 방법은 예시적으로 제어 포인트 구성 및 아핀 변환의 복수의 조합 각각에 대해 스코어를 연산하고, 이 연산으로부터 아핀 DOF 및 제어 포인트 DOF에 의해 한정된 공간 내에 스코어 표면을 제공한다. 본 시스템 및 방법은 이 스코어 표면에 대해 피크 세트를 선택하고 각 피크를 정제한다. 이 선택 및 정제는 조합의 최고 스코어 중 하나 이상을 형상 표현으로 선택하거나 또는 이미지 내 형상의 다수의 경우를 탐사하는 것을 더 포함할 수 있다. 스코어의 연산은 구배 이미지를 생성하는 단계 및 이 구배 이미지의 에지를 따라 프로브를 한정하는 단계를 더 포함할 수 있고, 스코어의 연산은 구배 이미지 내 대응하는 위치에서 보간된 구배 값과 프로브 사이의 내적의 평균값에 기초할 수 있다. 추가적으로, 본 시스템 및 방법에 의해 스코어를 연산하는 것은 힐 클라임 접근법을 사용하여 스코어를 최대화하는 것을 포함할 수 있다. 기준/형상(들)의 서브샘플링된 표현은 개략적인 탐사를 수행하고 점진적으로 더 정밀한 스텝 사이즈로 아핀 파라미터 및 비선형 왜곡 파라미터를 반복적으로 정제하는 것에 의해 서브-픽셀 정밀도로 획득될 수 있다. 형상 표현은 런타임 기준 탐사 동작 및/또는 합성 기준 이미지 모델 생성 동작 중 어느 하나 또는 둘 모두에서 모델 이미지로 사용된다. 본 시스템 및 방법은 형상 주위에 경계를 수립하고 이 경계에 대해 단위 형상을 수립할 수 있다. 예시적으로, 이 형상 표현을 사용하여 비전 시스템의 런타임 동작 동안 하나 이상의 기준/형상(들)을 탐사하거나 또는 비전 시스템 툴을 트레이닝하기 위해 기준/형상의 이미지에 기초하여 합성 형상을 정제할 수 있다.
본 발명은 첨부 도면을 참조하여 이하에서 상세히 설명된다.
도 1은 예시적인 십자형-형상의 기준을 구비하는 작업물과 모션 스테이지를 포함하는 장면 이미지를 획득하는 비전 시스템으로서, 이 비전 시스템은 예시적인 실시예에 따라 예시적인 십자형-형상의 기준을 탐사하기 위한 기준 파인더(finder) 공정/프로세서를 동작시키도록 배열된 것을 도시하는 도면;
도 2는 도 1의 기준 파인더와 연관하여 제어 포인트 및 상대적인 이미지 축의 동작을 도시하는 예시적인 한정 박스(bounding box)에서 상대적으로 왜곡이 없는 암(arm)을 갖는 예시적인 십자형-형상의 기준을 도시하는 도면;
도 3은 도 2에 도시된 제어 포인트의 재위치를 도시하는 좁아진 수평 암을 구비하여 암 스트로크 폭에 이러한 변화를 수용하는 예시적인 십자형-형상의 기준을 도시하는 도면;
도 4는 도 2에 도시된 제어 포인트의 재위치를 도시하는 좁아진 수직 암을 구비하여 암 스트로크 폭에 이러한 변화를 수용하는 예시적인 십자형-형상의 기준을 도시하는 도면;
도 5는 일 실시예에 따라 원을 특징으로 하는 추가적인 제어 포인트를 사용하는 것을 도시하는 십자형 기준을 구비하는 예시적인 환형(내부 원과 외부 원)을 도시하는 도면;
도 6은 일 실시예에 따라 원과 십자형 요소를 특징으로 하는데 사용되는 3개의 제어 포인트에 대한 새로운 배열을 도시하는, 도 5에 도시된 것으로부터 폭이 변한 십자형 기준을 구비하는 예시적인 환형(내부 원과 외부 원)을 도시하는 도면;
도 7은 예시적인 실시예에 따라 시스템에 사용하기 위한 전체 기준 탐색 및 사용 공정의 흐름도;
도 8은 십자형의 수평 암과 수직 암의 폭을 제어하는 제어 포인트를 갖는 십자형 기준을 구비하는 예시적인 원을 도시하는 도면;
도 9는 십자형의 수평 암과 수직 암의 폭을 제어하는 제어 포인트를 갖는 십자형 기준을 구비하는 예시적인 다이아몬드를 도시하는 도면;
도 10은 십자형의 수평 및 수직 암의 폭을 제어하는 제어 포인트 및 원의 반경을 제어하는 제2 제어 포인트로, 십자형 기준을 갖는 원의 다른 예시적인 변동을 도시하는 도면;
도 11은 탐색 공정에 의해 폐기될 수 있는 무효 형상(invalid shape)을 도시하는, 암들이 교차하는 부정확한 사분면(quadrant)에 십자형-형상의 제어 포인트가 위치된 후보 형상에 기초하여 공정에 의해 생성된 기준 이미지를 도시하는 도면;
도 12는 탐색 공정에 의해 폐기될 수 있는 무효 형상을 도시하는, 이미지에 대한 단위 한정 박스의 외부에 십자형-형상의 제어 포인트가 위치된 후보 형상에 기초하여 공정에 의하여 생성된 기준 이미지를 도시하는 도면;
도 13은 연관된 입력 및 출력을 갖는 이미지에서 기준을 탐사하는 기준 렌더러(renderer)의 블록도;
도 14는 예시적인 실시예에 따라 시스템 및 방법에 사용하기 위한 전체 기준 탐색 공정의 흐름도;
도 15는 예시적인 실시예에 따라 기준의 아웃라인 형상을 탐사하는 기준 탐색 공정에 의해 프로브(probe)에 적용된 그래픽 표현을 도시하는 십자형 기준을 갖는 예시적인 원을 도시하는 도면;
도 16은 예시적인 실시예에 따라 기준 탐색 공정에 의해 사용하기 위한 기준 형상 후보 스코어 공정의 흐름도;
도 17은 보다 복잡한 형상을 도 13의 기준 렌더러에 의해 보다 기본적인 형상으로 분해하여 로버스트니스를 증가시키고 기준 탐사 공정의 런타임을 감소시키는 계층 기준 탐사 공정의 흐름도;
도 18은 예시적인 실시예에 따라 기준 요소를 렌더러에 의해 분해하여 시스템의 탐사 시간을 가속시키기 위해 계층 기준 탐사를 구현하는 것을 도시하는 십자형 기준을 갖는 예시적인 환형을 도시하는 도면;
도 19는 예시적인 실시예에 따라 요소를 렌더러에 의해 분해하고, 도 18의 기준에 대해서와는 상이한 순서로 DOF를 연산하여, 계층 기준 탐사를 구현하는 십자형 및 환형의 상이한 배열을 갖는 다른 예시적인 환형을 도시하는 도면.
I. 비전 시스템 개요
도 1은 적절한 광학 조립체(CCD, CMOS 또는 유사한 기술을 사용하여 구성된, 예를 들어, 렌즈 패키지(112) 및 이미지 센서("이미저"라고도 불리움)(114))를 구비하는 카메라(110)를 광학 축(대시 라인(116))을 따라 정렬하여 장면(120)을 이미징하는 예시적인 기계 비전 시스템 배열(본 명세서에서 "비전 시스템"이라고 불리움)(100)을 도시한다. 이 장면은 이 실시예에서 모션 스테이지 조립체(122)를 포함하고, 이 조립체는 작동체(124 및 126)를 사용하여 직교하는 x 및 y 축을 따라 모션을 생성할 뿐만 아니라, 스테이지(122)의 베이스(128)에 의해 한정된 공통 평면 내에서 회전 방향(곡선 이중 화살표 R)을 따라 모션을 생성한다. 이 모션 스테이지(122) 및 그 상대적인 모션 방향은 여러 변하는 시야 조건을 생성할 수 있는 다수의 방향으로 작업물(130) 또는 임의의 다른 객체 또는 표면을 병진이동/위치지정하는 여러 가능한 배열 범위를 예시한다.
이미징된 작업물(130)은 일반적으로 평탄한 표면을 한정하고, 대안적으로 "기준"이라고 불리우는 미리 결정된 요소를 갖는 적어도 하나의 피처(feature)(140)를 포함한다. 비전 시스템(100)은 이미지 시야(field of view)(FOV)에 대해 이 기준을 탐사하는 작업을 수행한다. 도시된 예에서, 이 기준(140)은 직교/수직 암을 갖는 십자형로서 한정된다.
카메라(110)는 이 실시예에서 컴퓨터(150) 상에서 실행되는 운영 시스템 및 다른 연관된 애플리케이션 및 프로그램과 상호 동작하는 비전 시스템 프로세스/프로세서(160)를 사용하여 이미지 데이터(152)를 수신, 저장 및 조작하는 전용 또는 일반 목적 컴퓨터 및/또는 프로세서(150)에 연결된다. 프레임그래버(framegrabber), 비디오-캡처 카드, 및/또는 여러 조명기/조명 제어 디바이스(미도시)와 같은 다른 연관된 디바이스 및 기능은 이 기술 분야에 통상의 지식을 가진 자에게 알려진 방식으로 적절히 시스템(100)에 의해 사용될 수 있다. 또한, 비전 시스템 프로세스 및/또는 프로세서의 일부 또는 전부는 대안적인 실시예에서 카메라 본체 내에 독립적으로 포함될 수 있는 것으로 명시적으로 이해된다. 비전 시스템에 의해 수집된 데이터는 부분 조작과 같은 다른 처리를 위해 저장되거나 사용될 수 있다. 도시된 바와 같이 모션 스테이지(128)는 위치 데이터(154)를 비전 시스템 프로세스/프로세서와 통신하여 모션을 제어하고, 모션 스테이지(128) 및 작업물(130)에 대해 위치 피드백을 제공할 수 있다. 이것을 사용하여 병진이동 및 회전 스테이지에 의해 작업물(130)의 위치를 제어하여 기준의 위치가 본 명세서에서 설명된 공정을 사용하여 비전 시스템에 의해 결정되면 이 작업물을 추가적인 제조 작업을 위해 적절한 배향으로 배치할 수 있다.
예시적인 실시예에서, 비전 시스템 프로세스/프로세서(160)는 비전 시스템으로 하여금 획득된 이미지(일반적으로 아핀 변환을 받은 것)에서 피처를 탐사하고 분석할 수 있게 하는 블로브(blob) 도구, 에지 파인더, 캘리퍼(caliper) 및 다른 적절한 기능 및 공정을 포함하나 이들로 제한되지 않는 이 기술 분야에 통상의 지식을 가진 자에 알려진 여러 비전 툴(162)를 포함한다. 이들 도구는 잘 알려진 PatMax
Figure pat00001
시스템을 포함하는 예를 들어, 매사추세츠(MA)주, 나티크(Natick)에 소재하는 Cognex사로부터 받을 수 있다. 비전 시스템 프로세스/프로세서(160)는 예시적인 실시예에 따라 기준 파인더 프로세스/프로세서(170)를 더 동작시킨다. 이 기준 파인더 프로세스/프로세서는 아래에서 상세히 설명된다. 비전 시스템 프로세스/프로세서 및 여러 서브-공정/프로세서는 사용자-정의된 정보 및/또는 파라미터(180)를 수신하여 시스템(100) 및 보다 상세하게는 기준 파인더 프로세스/프로세서(170)의 여러 측면을 제어한다.
많은 광학 및 시야각-생성된 왜곡이 카메라 교정에 의해 해결될 수 있으나, 기준 십자형은 형상의 바람직한 대칭에도 불구하고, 암이 불균일한 스트로크 폭(stroke width)을 구비하는 이미지로 비전 시스템에서 보일 수 있는 것으로 인식된다. 이 왜곡은 종종 형상을 객체 표면으로 인쇄하거나/적용한 기술에 관한 다수의 팩터로 인한 것일 수 있다. 이것은 하나 이상의 자유도(즉, 스케일, 종횡비, 병진이동, 회전 및 뒤틀림의 변화)를 따라 아핀 변환 변환의 개념에 의존하는 기본 비전 툴을 사용하여 변환된 기준의 자세를 결정하는 것에 문제를 야기할 수 있다. 그리하여 효율적이고 신뢰가능한 자동화된 공정 및 연관된 프로세서를 제공하여 하나 이상의 아핀 자유도(DOF)를 따라 이동된 기준의 자세(형상)를 식별하고 결정하고 십자형 등의 기하학적 형상의 경우에 변경된 암 스트로크 폭 및/또는 원 또는 환형의 경우에 변경된 반경/반경들과 같은 비선형 왜곡(본 명세서에서 "스플라인 워프(spline warp)"라고 불리운다)을 나타내는 것이 매우 바람직하고, 여기서 예를 들어, O-형상은 부분적으로 평탄화되거나, 또는 규칙적인 외관과 스플라인 워프로 인한 볼드체 외관 사이에 변할 수 있다).
II. 제어 포인트를 사용하여 기준/형상 왜곡을 특성화
이제 도 2를 참조하면, 도시된 이미지(200)는 단위 폭 및 높이의 십자형 기준(210)을 도시한다. 보다 상세하게는, 예시적인 이미지(200) 및 연관된 시스템 및 방법은 단위 한정 박스(240) 내 형상으로서 기준 또는 패턴을 나타낸다. 이들 형상은 "단위 기준(unit fiducial)"이라고 불리울 수 있다. 도시된 X 및 Y 축은 본 명세서에서 박스(240)의 수평 및 수직 방향을 각각 한정되고, 여기서 원점 O은 박스(240)의 중심에 해당한다. 자세를 결정하는 예시적인 시스템 및 방법에 의해 사용하는데 바람직한 형상의 기준은 2D 아핀 변환 및 추가적인 왜곡 세트를 갖는 단위 기준(210)을 변환하는 것에 의해 획득된다. 추가적인 왜곡은 특정 왜곡을 포인트들 중 최소 포인트로 분류될 수 있게 하는 제어 포인트 세트를 사용하여 제어된다. 예시적인 십자형(210)의 경우에, 교차하는 수직 암과 수평 암(220 및 230)의 적절한 코너에 각각 위치된 2개의 DOF를 (즉, X 및 Y 축을 따라) 갖는 단일 제어 포인트(Cc)는 각 암(220, 230)에서 스트로크 폭의 변동에 기초하여 왜곡을 충분히 특성화하고 제어할 수 있다. 마찬가지로, 위치, 배향 및 암 길이는 2D 아핀 변환에 의해 제어된다. 십자형의 제어 포인트(Cc)는 십자형 형상의 우상 사분면(upper right quadrant)에 놓여있다. 아래에 더 설명되는 바와 같이, 십자형의 제어 포인트를 이 우상 사분면으로 제한하는 것에 의해, 시스템 및 방법은 음의 스트로크 폭을 초래할 수 있는 무효 제어 포인트 구성을 방지할 수 있다.
도 3 및 도 4의 이미지(300 및 400)로 각각 도시된 바와 같이, 전술된 십자형은 십자형 형상(310 및 410)으로 왜곡되어 있다. 예로서, 십자형 형상(310)(도 3)에서, 수평 암(330)은 수직 암(320)에 대해 더 좁은 스트로크 폭(WA1)을 나타내고; 십자형 형상(410)에서, 수직 암(420)은 수평 암(430)에 대해 더 좁은 스트로크 폭(WA2)을 나타낸다. 각 표현에서, 각 제어 포인트(Cc1 및 Cc2)는 2개의 DOF를 따라 변위하여 각 암에서 스트로크 폭이 변화하는 것을 특성화한 것을 도시한다. 십자형에서 임의의 상대적인 스트로크 폭은 2개의 DOF를 따라 제어 포인트를 적절히 위치설정함으로써 특성화될 수 있는 것이 분명하다.
이제 도 5를 참조하면, 이 도 5는 조합된 형상에서 왜곡을 한정하는 제어 포인트의 개념을 더 정제한다. 이 예에서, 단위 한정 박스(502) 내 단위 기준의 이미지(500)는 십자형(512) 및 환형(514) 형상(510)을 한정한다. 십자형 피처 및 원 피처를 모두 포함하는 기준/형상을 탐색하는 전통적인 방법은 이들 요소를 독립적으로 탐사하는 것에 의존하였다. 예시적인 실시예는 하나 이상의 2D DOF를 따라 비선형 변환(스트로크 폭 및/또는 스플라인 워프) 및 아핀 변환을 특성화하는 하나 이상의 제어 포인트의 분석을 사용하여 넓은 범위의 가능한 형상 모델에 걸쳐 조합된 피처를 탐사한다. 이 기준은 2D 아핀 변환을 사용하여 형상의 위치, 그 배향, 및 십자형의 암들의 길이의 탐사를 제어한다. 예시적으로, 이 기준은 3개의 제어 포인트를 포함한다. 제어 포인트(Co5)는 외부 환형 원(530)의 반경을 제어한다. 제어 포인트(Ci5)는 내부 환형 원(520)의 반경을 제어한다. 제3 제어 포인트(Cc5)는 전술된 바와 같이 십자형의 암의 스트로크 폭을 제어한다.
각 제어 포인트는 단위 기준에 대해 그 위치를 제한하는 세트를 더 구비한다. 예시적으로, 환형의 외부 원 제어 포인트(Co5)는 라인 세그먼트(OA)에 놓이도록 제한되고, 여기서 O는 형상의 원점을 한정하고, A는 형상 한정 박스(502)의 도착자(comer) 중 하나를 한정한다. 중심 O으로부터 제어 포인트(Co5)까지 OA를 따른 거리는 외부 원의 반경을 나타낸다. 제어 포인트를 라인 세그먼트(OA)에 놓이도록 제한하는 것에 의해, 시스템은 음의 반경들을 갖는 원이 생성되는 것을 방지하고, 및/또는 단위 박스(502) 외부로 연장하는 원이 생성되는 것을 방지하는 것과 같은 특정 규칙을 부과할 수 있다. 유사하게, 제어 포인트(Ci5)는 라인 세그먼트(OB)에 놓이도록 제한된다. 추가적인 제약은 O로부터(Co5)의 거리는 O로부터(Ci5)의 거리보다 더 커서, 외부 원(530)이 내부 원(520)의 반경 미만의 반경을 한정하지 않는 것을 보장한다. 십자형(512)의 제어 포인트(Cc5)는 예시적으로 패턴의 우상 사분면에 존재한다. 전술된 바와 같이, 이 단일 제어 포인트는 십자형의 수평 암과 수직 암의 스트로크 폭을 제어할 수 있다. 십자형의 제어 포인트를 특정 미리 결정된 사분면으로 제한하는 것에 의해, 이 제어 포인트는 음의 스트로크 폭을 초래할 수 있는 무효 제어 포인트 구성을 방지한다. 본 명세서에서 한정된 바와 같이, 각 원의 반경의 제어 포인트(Co5, Ci5)는 하나의 DOF이고, 십자형의 제어 포인트는 2개의 DOF이다. 보다 일반적으로, 예시적인 형상에서, 환형(514)의 외부 원(530)의 제어 포인트(Co5)는 라인 세그먼트(OA) 상에 어디엔가 놓일 수 있다. 내부 원(520)의 제어 포인트(Ci5)는 라인 세그먼트(OB) 상에 어디엔가 놓일 수 있고, 십자형(512)의 제어 포인트(Cc5)는 단위 형상/기준(510)의 (예를 들어) 우상 사분면에 어디엔가 놓일 수 있다.
도 6을 참조하면, 동일한 일반적인 십자형 및 환형 기준(610)의 이미지(600)가 환형 반경들 및 암 스트로크 폭이 도 5의 기준(510)에 대해 변경된 상태로 도시된다. 대응하는 내부 및 외부 원 제어 포인트(Ci6 및 Co6)는 각 라인 세그먼트(OA 및 OB) 상에서 DOF를 따라 이동된다. 마찬가지로, 십자형 제어 포인트(Cc6)는 x 및 y-축 DOF을 따라 이동되어 왜곡된 스트로크 폭을 특성으로 한다. 분명히, 임의의 형상 변동을 갖는 원 및 십자형 기준은 일반적으로 지정된 DOF에 대해 3개의 제어 포인트(Ci, Co 및 Cc)를 병진이동시켜서 한정될 수 있다.
전술된 바로부터, 제어 포인트를 사용하면 가변 스트로크 폭을 갖는 단위 십자형, 및/또는 상이한/가변 외부 반경-대-내부 반경 비를 갖는 단위 환경과 같은 대수적으로 용이하게 모델링될 수 없는 형상을 생성할 수 있는 것이 명백하다. 추가적으로, 본 명세서에서 설명된 기술은 특정 제약이 기준을 탐사하는 것에 기인하는 (즉, 기준에 대해 및 서로에 대해 제어 포인트(들)를 위치시키는) 것에 의해 불법적인 기준이 생성되는 것을 회피하는 간단한 방법을 제공한다.
III. 기준/형상 탐색 공정
형상의 왜곡을 모델링하기 위해 미리 결정된 (알려진) 기준/형상의 이미지를 포함하는 단위 한정 박스에서 제어 포인트를 사용하는 것을 설명하였으나, 이제 기준/형상을 탐색하는 전체 공정(700)을 설명하는 도 7을 참조한다. 일반적으로, 이 공정(700)은, 비전 시스템으로 하여금, 전술된 카메라(110)로 객체(130)의 이미지를 획득하고(단계 710), 이 객체의 이미지에서 객체 상에 있는 것으로 알려진 기준/형상 또는 패턴을 탐사하는 것에 의해 모션 스테이지(122)에서 객체를 탐사하고/자세를 결정할 수 있게 한다. 본 명세서에서 설명된 예시적인 실시예의 시스템 및 방법은 2D 아핀 변환 및 다른 추가적인 왜곡을 조합하는 것에 의해 왜곡된 기준/형상 또는 패턴을 탐사할 수 있다. 가능한 왜곡의 범위 및 추가적인 왜곡 모델은 미리 알려진 것으로 가정된다. 예로서, 본 명세서에서 사용된 기술은 2D 아핀 변환(위치, 사이즈, 뒤틀림 및 배향의 변화와 같은 것) 및 암의 폭의 변화와 같은 추가적인 왜곡을 경험하는 전술된 십자형(140)를 탐사할 수 있다. 공정(700)은, 이것이 없이는, 위치, 사이즈, 뒤틀림, 및 배향과 같은 2D 아핀 파라미터는 동일하지만, 암 폭은 상이한 십자형 세트를 모델링하는 것이 가능하지 않으므로, 십자형 암의 스트로크 폭의 변화를 별개로 모델링한다. 공정(700)은 십자형과 같은 (일반적으로 사용자 지정된 및 미리 결정된) 개략적으로 지정된 기준 형상; 그것의 아핀 파라미터와 제어 포인트의 개략적인 추정치; 최소 및 최대 사이즈와 같은 2D 아핀 검색 파라미터의 범위; 및 추가적인 왜곡 검색 파라미터를 제공하여 기준을 탐사할 수 있다(단계 720).
단계(730)에서, 개략적으로 지정된 기준 형상 및 파라미터에 기초하여, 공정(700)은 2D 아핀 파라미터 및 왜곡 파라미터의 세트를 동시에 (본질적으로 공정에서 동시에) 샘플링한다. 이 샘플링에 기초하여, 공정(700)은 이들 샘플의 모든 조합으로 개략적으로 지정된 형상을 변환한다(단계 740). 일 실시예에서, 파라미터는 균일하게 샘플링되지만, 다른 샘플링 기술이 다른 실시예에서 사용될 수 있는 것으로 이해된다. 변환을 사용하여 이미지 내 변환된 형상에 대한 매칭 메트릭을 연산하여 스코어 표면을 생성할 수 있다.
단계(750)에서, 공정은 이미지에서 잠재적인 후보를 생성하는 스코어 표면에서 피크 세트를 연산한다. 후보 세트가 식별되면, 각각의 후보에 대한 2D 아핀 파라미터 및 왜곡 파라미터가 정제하고, 더 우수한 표현이 생성된다(단계 760). 예시적으로 기준의 이미지와 형상 사이에 유사도를 수치적으로 나타내는 매칭 메트릭이 최대화될 때까지 공정이 상기 최상의 후보에 의해 제공된 개략적인 파라미터 추정을 반복적으로 수정하는 힐 클라임과 같이 이 기술 분야에 언급된 기술이 사용된다. 매칭 메트릭은 아래에서 보다 상세히 설명된다.
단계(770)에서, 공정(700)은 미리 결정된 스코어를 초과하는 후보의 정제된 표현을 리턴한다. 이 미리 결정된 스코어 임계값은 사용자 지정될 수 있다. 단계(780)에서, 리턴된 정제된 표현은 2D 아핀 변환 및 기준으로 모델링된 다른 왜곡에 의해 왜곡되어지는 획득된 런타임 이미지의 하나 이상의 기준의 위치에 대한 잠재적인 기준의 세트로서 사용될 수 있다. 예로서, 전술된 바와 같이, 이 공정은 (예를 들어) 런타임에 인쇄 공정으로 인한 암 폭 변화를 경험하는 십자형-형상의 기준을 탐사하는데 사용될 수 있다.
대안적으로, 단계(780)에서, 리턴된 정제된 표현은 최상의 스코어를 갖는 리턴된 기준을 사용하여 트레이닝 기준을 자동적으로 생성하는데 사용될 수 있다. 예시적으로, 오퍼레이터에 의해 그것의 이미지에 개략적으로 지정되는 기준의 합성 형상이 정제될 수 있다. 이것은 마우스(도 1에서 192) 또는 임의의 다른 균등한 포인팅 디바이스/사용자 인터페이스를 사용하여 오퍼레이터에 의해 수행될 수 있다. 이 정제된 합성 형상을 사용하여 잘 알려진 PatMax
Figure pat00002
도구 또는 CNLSearch 도구와 같은 임의의 패턴 검색 도구를 트레이닝할 수 있는데, 이들 두 도구는 매사추세츠주, 나티크에 소재하는 Cognex사로부터 구입가능하다. 이 공정(700)은 바람직하게는 이 기준을 사용자에 의해 덜 정밀하게 지정될 수 있게 하는 것에 의해 알려진 기준을 포함하는 객체를 탐사하고 정렬하는 비전 시스템의 동작 및 사용자-친화적인 설정(setup)을 개선시킨다. 이 공정은 합성 형상이 이미지에서 실제 형상을 매우 근접하게 미러링하므로 임의의 패턴 검색 도구를 트레이닝하는데 사용된 합성 형상의 품질을 상당히 개선시킨다. 기준의 이미지 및 지정된 형상이 2D 아핀 파라미터 및 제어 포인트에 의해 지정된 검색 범위 내에 있는 경우, 이 형상은 트레이닝 후 후속하는 런타임 동작 동안 이미지 위에 정밀하게 "스냅(snap)"될 수 있다.
IV. 다른 형상
이후는 연관된 제어 포인트 위치에 제약을 부과하는 것에 의해 형상에 다수의 제약을 부과하는 것을 포함하여 개체 형상에 시스템 및 방법을 적용하는 일부 일반적인 가이드라인에 더하여, 본 시스템 및 방법의 원리를 적용할 수 있는 추가적인 형상 유형이 설명된다.
A. 십자형의 원
도 8을 참조하면, 수평 X 축과 수직 Y 축을 따라 단위 폭 및 높이의 한정 박스(802)를 갖는 이미지(800)는 단위 십자형(820)를 갖는 조합된 단위 원(830)으로 구성된 기준/형상(810)을 한정한다. 원점 O는 박스의 중심에 해당한다. 십자형의 제어 포인트(Cc8)는 전술된 다른 십자형-형상과 유사한 패턴의 우상 사분면에 놓여서, 2개의 DOF를 구비한다. 이 단일 제어 포인트(Cc8)는 십자형(830)의 수평 암(822) 및 수직 암(824)의 스트로크 폭을 제어할 수 있다. 전술된 바와 같이, 십자형의 제어 포인트를 이 구역으로 제한하는 것에 의해, 시스템은 음의 스트로크 폭을 초래할 수 있는 무효 제어 포인트 구성을 방지할 수 있다. 2D 아핀 변환은 십자형의 위치, 배향 및 암 길이를 제어한다. 수평 암과 수직 암의 스트로크 폭은 2개의 DOF를 갖는 제어 포인트(Cc8)에 의해 제어된다. 원 반경은 한정 박스(802)와 교차하는 단위 값이다.
B. 십자형의 다이아몬드
도 9를 참조하면, 단위 폭 및 높이의 한정 박스(902)를 갖는 이미지(900)가 도시되고, 이 이미지는 단위 십자형(920)를 갖는 단위 다이아몬드(930)의 형태의 기준/형상(910)으로 구성된다. X 축과 Y 축은 각각 박스(902)의 수평 및 수직 방향이고, 원점 O은 박스의 중심에 해당한다. 십자형(920)의 제어 포인트(Cc9)는 패턴의 우상 사분면에 놓여서, 2개의 DOF를 구비한다. 이 단일 제어 포인트(Cc9)는 십자형(920)의 수평 암(922) 및 수직 암(924)의 스트로크 폭을 제어할 수 있다. 십자형(920)의 제어 포인트(Cc9)를 이 사분면/구역으로 제한하는 것에 의해, 시스템은 음의 스트로크 폭을 초래할 수 있는 무효 제어 포인트 구성을 효과적으로 방지한다. 2D 아핀 변환은 십자형(920)의 위치, 배향 및 암 길이를 제어한다. 수평 암과 수직 암의 스트로크 폭은 제어 포인트(Cc9)에 의해 제어된다. 이 다이아몬드의 라인 세그먼트(940)는 십자형의 스트로크 폭과 교차하고, 이 교차점에서 단위 한정 박스(902)와 연결된다.
C. 내부 십자형의 원
도 10을 참조하면, 이미지(1000)는 단위 폭 및 높이의 한정 박스(1002)에 의해 한정된 기준/형상(1010)을 포함한다. X 축과 Y 축은 각각 박스(1002)의 수평 및 수직 방향이고, 원점 O은 박스(1002)의 중심에 해당한다. 기준/형상(1010)은 박스(1002)로부터 멀리 내부 반경에 존재하는 단위 십자형(1020) 및 원(1030)으로 구성된다. 십자형(1020)의 제어 포인트(Cc10)는 기준/형상 패턴의 우상 사분면/구역에 존재하여 2개의 DOF를 구비한다. 이 단일 제어 포인트(Cc10)는 십자형(1020)의 수평 암(1022) 및 수직 암(1024)의 스트로크 폭을 제어할 수 있다. 제어 포인트(Cc10)는 원(1030)으로 한정된 구역으로 연장하는 2개의 대시 라인(1026)이 합류하는 것으로 표시된, 암들이 교차하는 곳에 위치된다는 것이 주목된다. 십자형(1020)의 제어 포인트(Cc10)를 이 구역으로 제한하는 것에 의해, 시스템은 음의 스트로크 폭을 초래할 수 있는 무효 제어 포인트 구성을 효과적으로 방지한다. 제어 포인트(Co10)는 라인 세그먼트(OA) 상에 있는 것으로 제한되고, 여기서 O는 한정 박스(1002) 및 기준/형상의 원점을 한정하고, A는 한정 박스의 도착자들 중 하나를 한정한다. 중심/원점 O로부터 제어 포인트(Co10)까지의 거리는 원(1030)의 반경을 나타낸다. 제어 포인트를 라인 세그먼트(OA) 상에 놓이도록 제한하는 것에 의해, 시스템은 음의 반경을 갖는 원, 및/또는 단위 박스(1002) 외부로 연장하는 원이 생성되는 것을 방지하는 것과 같은 규칙/제약을 부과할 수 있다. 2D 아핀 변환은 십자형(1020)의 원점, 배향 및 암 길이를 제어한다.
D. 무효 형상
전술된 바와 같이, 무효 형상을 초래하는 제어 포인트 위치는 시스템 및 방법에 의해 회피된다. 이러한 동작은 아래에서 더 설명되는 기준 렌더러에 의해 취해진다. 일반적으로, 제어 포인트 상에 놓이는 제약은 기준 렌더러가 임의의 입력 제어 포인트 위치가 무효 형상을 초래할 수 있는지 여부를 나타내는 것을 보장한다. 예를 들어, 단위 십자형 기준에 대해, 제어 포인트가 (이 실시예에서) 예시적인 우상 사분면에서 밖으로 이동하여, 음의 스트로크 폭을 초래할 수 있는 경우, 기준 렌더러는 무효 제어 포인트 구성을 나타낸다. 도 11은 십자형 기준/형상(1110)의 제어 포인트(Cc11)에 의해 생성된 구성이 무효인 이미지(1100)를 도시한다. 이러한 제어 포인트 배치는 회피된다. 마찬가지로, 도 12에서, 십자형을 통상적으로 지정할 수 있는 형상/기준(1210)의 이미지(1200)가 도시되고, 여기서 제어 포인트(Cc12)는 단위 한정 박스(1202) 외부에 존재한다. 도 11 및 도 12의 구성에서, 분명히 무효인 형상이 생성된다.
V. 기준 렌더러(Renderer), 위치 입력 및 출력
도 13은 기준 렌더러(1310) 및 렌더러 공정(1300)을 나타내는 블록도를 도시한다. 기준 렌더러는 제어 포인트의 위치와 및 2D 아핀 변환이 주어진 경우 기준을 렌더링하도록 동작한다. 추가적으로, 2D 아핀 파라미터의 검색 범위, 제어 포인트 위치 및 기준을 갖는 이미지가 주어진 경우, 기준 렌더러(1310)는 렌더러와 함께 동작하는 형상 탐사 장치(locator)를 사용하여 형상 탐사 공정을 실행하기 전에 이미지를 서브샘플링하는데 사용될 수 있는 서브-샘플링 파라미터(후술됨)를 연산할 수 있다. 그리하여 렌더러는 전체 형상 탐사 공정을 가속시키는 역할을 한다. 더욱이, 렌더러(1310)는 아래에 설명된 계층 기준 탐사에 사용될 수 있고(블록 1312), 전술된 바와 같이, 렌더러는 무효 형상을 초래하는 제어 포인트 구성을 검출할 수 있다(블록 1314).
도 13에 더 도시된 바와 같이, 기준 렌더러(1310)는 복수의 소스로부터 입력 정보를 수신한다. 이 정보는 탐사될 기준/형상의 이미지(블록 1320) 및 단위 기준/형상과 기준의 이미지 사이에 개략적인 맵핑을 기술하는 2D 아핀 변환을 포함한다(블록 1330). 본 명세서에 사용된 바와 같이, 이 변환의 아핀 변환 파라미터의 값은 "명목" 값이라고 불리울 수 있다. 렌더러(1310)에의 입력은 지정된 대략 위치에 대해 2D 아핀 파라미터의 검색 범위를 더 포함한다(블록 1332). 렌더러 입력은 왜곡 제어 포인트의 대략 위치를 더 포함한다(블록 1340). 이 위치는 단위 기준 또는 이미지 상에 지정될 수 있고 DOF(예를 들어 X 및 Y 축 좌표)에 대해 한정된다. 예시적으로, 이 공정은 이미지 내에 위치를 지정한다. 이들 제어 위치는 본 명세서에서 "명목" 위치로 불리울 수 있다. 지정된 대략 위치에 대해 제어 포인트의 검색 범위가 더 입력된다(블록 1342).
기준 유형(예를 들어, 십자형, 십자형을 갖는 원, 십자형을 갖는 다이아몬드, 십자형 내부 원 등)(블록 1350)이 사용자 지정된 소스 또는 다른 메커니즘으로부터 렌더러에 입력된다(예를 들어, 자동 입력). 기준 유형이 주어진 경우, 렌더러(1310)는 단위 기준 및 제어 포인트 위치로부터 이미지까지 맵핑하는 맵핑 공정/프로세서(1352)를 실행한다. 이 맵핑에 기초하여, 렌더러(1310) 및 맵핑 공정(1352)은 이미지 좌표에서의 기준의 형상을 출력으로 연산한다(블록 1360).
V. 상세한 기준 탐색 공정
도 7의 전체 공정(700)을 참조하면, 기준 탐색 공정(1400)의 보다 상세한 설명이 도 14에 도시되고 설명된다. 이미징된 장면 내 적어도 하나의 기준을 포함하는 객체의 이미지를 획득한 후, 구배(gradient) 이미지를 단계(1410)에서 입력 이미지로부터 연산한다. 제어 포인트의 명목 위치, 및 제어 포인트의 검색 범위와 스텝 사이즈를 사용하여, 단계(1414)에서 모든 가능한 제어 포인트 구성을 생성한다. 제어 포인트는 일 실시예에서 하나의 픽셀의 단계씩 이동하여, 스텝 사이즈는 1 픽셀이지만, 서브픽셀 정밀도는 아래에 더 설명된 바와 같이 달성될 수 있는 것으로 이해된다. 예로서, 하나의 DOF를 각각 갖는 n개의 제어 포인트들이 있고, 각 DOF의 검색 범위 내에 m개의 검색 단계들이 있는 경우, m x n개의 제어 포인트 구성들이 있을 수 있다.
각 2D 아핀 파라미터의 스텝 사이즈는 단계(1420)에서 독립적으로 연산되고, 모든 다른 아핀 파라미터는 그 명목 값으로 설정된다. 아핀 파라미터의 각 단계에서, 원점으로부터 가장 먼 기준 상에 있는 포인트는 하나의 픽셀만큼 이동하는 것으로 선택된다. 각각의 검색 범위 및 스텝 사이즈를 사용하여 회전, 종횡비, 뒤틀림 및 스케일의 여러 값의 모든 가능한 2D 아핀 변환이 단계(1424)에서 연산된다. 단계(1414)로부터 제어 포인트의 위치 및 단계(1424)로부터 입력 2D 아핀 변환의 각 구성에서, 기준의 형상은 단계(1430)에서 기준 렌더러(1310)(도 13)를 사용하여 연산된다. (제어 포인트의 무효 조합을 검출하는 것에 의해 도 13에서 블록(1314)에서 기준 렌더러에 의해 수행된 기능인) 제어 포인트 위치의 구성이 무효 형상을 초래하면, 무효 구성은 단계(1434)에서 폐기된다. 유효 형상/구성은 추가적인 공정을 위해 보존된다.
하나 이상의 유효 기준 형상(들)의 아웃라인을 샘플링하고 프로브 세트를 단계(1440)에서 생성하고 프로브는 기준 렌더러를 사용하여 단계(1424)에서 연산된 2D 아핀 변환을 사용하여 맵핑된다. 단계(1444)에서 프로브는 (예를 들어) 하나의 픽셀의 단계로 X 및 Y 이미지 축에 대해 병진이동하고, 각 병진이동 값의 스코어가 연산된다. 이 스코어는 제어 포인트 구성, 단계(1424)로부터 2D 아핀 변환, 및 병진이동 값을 조합하여 생성된 형상에 대한 것이다. 제어 포인트 구성, 2D 아핀 변환 및 병진이동 값의 모든 조합에 대한 스코어는 단계(1450)에서 연산된다. 이것은 단계(1454)에서 2D 아핀 검색 파라미터 및 제어 포인트 DOF에 의해 한정된 공간에 스코어 표면을 생성할 수 있게 한다. 공정(1400)은 이미지에서 기준/형상의 다수의 경우를 나타내는 스코어 표면에서 피크 세트를 더 검출한다. 이 정보를 사용하여 다수의 기준을 정렬하고 및/또는 정렬을 위해 하나의 경우를 선택할 수 있다(단계 1460).
이제 도 15 및 도 16을 더 참조하면, 프로브와 원형 이미지(1500)를 갖는 예시적인 십자형 및 스코어를 생성하는 절차(1600)가 보다 상세히 설명된다. 예시적으로, 형상에 대한 스코어는 형상 사이에 유사성의 수치적 척도이고, 런타임 이미지에서 패턴은 비전 시스템에 의해 위치된다. 스코어 공정(1600)은 스코어를 연산하는 기술이 후속하는 단계를 설명한다. 단계(1410)에서 입력 이미지로부터 연산된 구배 이미지가 공정에 사용된다. 구배 이미지 내 각 픽셀은 제1 성분이 대응하는 픽셀 위치에서 수평 미분(derivative)이고 제2 성분은 수직 미분인 2D 벡터이다. 구배 이미지를 연산하는 기술은 많이 있다. 일실시예에서, 스코어 공정(1600)은 소벨(Sobel) 오퍼레이터로 이 기술 분야에 알려진 2개의 3x3 커널과 입력 이미지를 콘볼루션(convolving)하여 구배 이미지를 연산한다.
수평 구배는 다음 커널(kernel)과 입력 이미지를 컨볼루션하여 연산된다:
Figure pat00003
수직 구배는 다음 커널과 입력 이미지를 컨볼루션하여 연산된다:
Figure pat00004
단계(1610)에서의 후보 형상에 대해 아웃라인이 샘플링되고, 프로브 세트가 생성된다. 각 프로브는 위치, 방향 및 크기를 구비하는 데이터 구조이다. 이 위치는 샘플 위치이고; 이 방향은 형상에 수직이고, 형상의 극성(polarity)에 의해 결정된 방향을 나타낸다. 단계(1620)에서, 스코어 공정(1600) 기술은 단위 크기를 프로브에 할당하지만, 상이한 가중치를 대안적인 실시예에서 프로브에 할당하여 원하는 경우 스코어를 보다 무겁게 일부 프로브를 가중할 수 있는 것으로 이해된다. 도 15에서의 십자형 기준/형상을 갖는 예시적인 원의 이미지(1500)에서, 프로브(1510)는 십자형(1520)의 에지로부터 연장하는 라인으로 그래프로서 도시된다.
프로브에 대한 스코어는 단계(1630)에서 프로브의 위치에서 구배 이미지와 프로브 사이에 내적(dot product)으로 연산된다. 프로브가 픽셀 경계들 사이에 있는 경우, 프로브의 위치에서 구배는 이웃한 픽셀로부터 보간하는 것에 의해 획득된다. 여러 상이한 보간 기술 중 하나 이상을 사용할 수 있는 것으로 이해된다. 예시적인 실시예에서 공정(1600)은 양방향 보간으로 이 기술 분야에 알려진 기술을 사용하여 수평 및 수직 구배를 별개로 보간한다. 형상에 대한 스코어는 구배 이미지 내 대응하는 위치에서 보간된 구배 값과 모든 프로브 사이에 내적의 평균값이다(단계 1640). 그리하여, 방향(xpi, ypj, 0 < i < n)을 각각 갖는 n개의 프로브가 주어지고, 대응하는 위치(xgi, ygi, 0 < i < n)에서 구배 값이 주어진 경우, 스코어는 다음 수식을 사용하여 연산된다:
Figure pat00005
사용자가 극성을 무시하도록 선택된 경우, 형상에 대한 스코어는 아래 변경된 수식으로 제공된 바와 같이 구배 이미지 내 대응하는 위치에서 보간된 구배 값과 모든 프로브 사이에 내적의 절대 값의 평균 값이다:
Figure pat00006
단계1454)에서 스코어표면을 유도하고, 공정(1600)과 연동하여 기준/형상의 다중 인스턴스를 표시할 수 있는 스코어 표면에 대한 피크를 결정하고, 공정(1400)은 이제 선택적으로 서브-픽셀 정밀도를 획득할 수 있다. 이것은 2개의 대안적인 단계(1470 또는 1474)를 사용하여 달성될 수 있다. 선택적 단계(1470)에서, 공정은 시작 포인트로서 기능하는 상기 결과에 힐 클라임 접근법(hill climbing approach)을 사용함으로써 기준 또는 형상의 인스턴스에서 스코어를 최대화한다. 이 힐은 2D 아핀 파라미터 및 제어 포인트 DOF 만큼 스패닝된다.
대안적인 단계(1474)에서, 공정(1400)은 획득된 및 구배 이미지에 대해 다수회 상기 기준 탐색 단계(예를 들어 단계 1414 내지 1460)를 실행하는 것에 의해 단계(1460)으로부터 각각의 기준/형상 인스턴스에 대한 서브-픽셀 정밀도를 획득할 수 있지만, 아핀 변환 및 공정 단계(1400)의 순차적/다음 실행에서의 입력 파라미터로서 이전/과거 실행으로부터 연산된 제어 포인트(결과)를 사용하여 각각의 반복 실행으로 획득할 수 있다. 각각의 연속적인 실행에 대한 스텝 사이즈는 서브-픽셀-정밀한 표현을 균등하게 발생하는, 정제될 각 파리미터에 대해 점진적으로 미세해지는 스텝 사이즈에서 취해진다. 다음에, 단계(1480)에서, 공정(1400)은 미리 결정된, 사용자 지정된 임계값을 초과하는(이상의) 최상의 스코어 도는 스코어 세트(적절한)로 연산된 조합을 식별한다.
VI. 자동 서브-샘플링 파라미터 생성
기준을 더 빨리 탐사하기 위해, 시스템은 서브-샘플링된 이미지에 기준 파인더 프로세스(1400)를 실행하여 기준 위치를 개략적으로 추정할 수 있다. 이 결과는 더 좁은 2D 아핀 파라미터 및 제어 포인트 범위를 사용하여 샘플링되지 않은 이미지의 버전에 도구를 실행하여 정제될 수 있다. 서브-샘플링 사이즈는 기준에서 가장 좁은 피처의 폭에 의해 지배된다. 서브-샘플링 사이즈가 너무 크면, 이 좁은 피처는 손실될 수 있어서 불량한 성능을 초래할 수 있다.
기준 렌더러(1310)는 서브-샘플링 사이즈를 자동적으로 연산하는데 사용될 수 있다. 이것은 이미지와 단위 기준 사이에 2D 아핀 맵핑 및 제어 포인트 위치가 주어진 경우, 기준 렌더러가 기준에서 가장 좁은 피처의 폭을 연산할 수 있기 때문이다. 서브-샘플링 사이즈는 이 좁은 피처가 보존되도록 선택된다. 예로서, 십자형 기준/형상에 대해, 2D 아핀 변환 파라미터 및 제어 포인트 위치를 사용하여 십자형의 암의 스트로크 폭을 연산한다. 공정은 더 좁은 암의 폭을 사용하여 서브-샘플링 사이즈를 생성한다.
VII. 계층 기준 탐사
기준 파인더의 런타임은 사용된 제어 포인트의 개수에 의존한다. 하나의 DOF를 각각 갖는 n개의 제어 포인트가 있고, 각 DOF에 대한 검색 범위 내에 m개의 검색 단계들이 있는 경우, m·n개의 제어 포인트 구성이 있을 수 있다. 그리하여, 런타임이 제어 포인트의 개수에 지수적으로 증가한다. 예시적인 계층 공정은 본 명세서에서 시스템이 기준 탐사를 위해 DOF를 증분적으로 연산할 수 있게 한다. 이것은 기준 렌더러(1310)에 지시하여 기준을 더 간단한 (보다 기본적인) 구성성분 형상으로 분해(단계 1710)하게 함으로써 블록(1312) 및 도 17의 공정(1700)에 지시된 바와 같이 달성된다. 기준을 더 간단한 형상으로 분해함과 함께, 렌더러는 각 단순한 형상에 대해 연산될 수 있는 대응하는 DOF 세트를 리턴한다(단계 1720). 각 단순한 형상에 대한 DOF는 기준을 탐사하기 위해 정제되어야 하는 전체 DOF 세트의 서브세트이다. DOF 값을 증분적으로 연산하면(단계 1730) 더 간단한 형상으로 표현될 수 있는 기준에 대한 런타임을 감소시킨다. 최대 q개의 제어 포인트를 갖는 p개의 더 간단한 형상으로 분해될 수 있는 n개의 제어 포인트를 갖는 형상에서, 런타임은 O(mn)로부터 O(mq)로 감소하고, 여기서 m은 각 DOF에 대한 검색 범위 내 검색 단계의 개수이다. 시스템은 주변(perimeter)을 감소시키는 순서로 더 간단한 형상을 처리한다. 개별 형상이 증분적으로 연산되면, 이 조합된 결과는 다른 단계에서 스코어를 연산하고 기준 후보를 선택하기 위해 사용될 수 있다. 일반적으로, 공정(1700)은 기준 탐사의 로버스트니스를 증가시킨다.
예시적으로, 도 18 및 도 19의 이미지(1800 및 1900)는 동일한 기준 유형(8910, 1910)의 상이한 배열(예를 들어, 십자형(1830, 1930)를 각각 갖는 환형(1820, 1920))을 한정한다. 이 예시적인 기준 탐사의 복잡성은 O(m3)이다. 특히 도 18을 참조하면, 기준 렌더러(1310)는 형상(1810)을 분해하여 이를 암(1840), 외부 원(1850) 및 내부 원(1860)을 갖는 이산 십자형의 조성으로 나타낸다. 이 구성에서 연산된 대응하는 DOF는 회전, 스케일, 종횡비, 뒤틀림, 병진이동(아핀 변환을 통해) 및 십자형 스트로크 폭(X 및 Y에서 2개의 DOF를 갖는 제어 포인트(Cc18)를 통해); 외부 원 반경(하나의 DOF를 갖는 제어 포인트(Co18)를 통해); 및 내부 원 반경(하나의 DOF를 갖는 제어 포인트(Ci18)를 통해)을 이 나열된 순서로 포함한다(단계 1730). 기준 탐사의 복잡성은 O(m)이다.
이제 도 19를 참조하면, 기준 렌더러(1310)는 형상(1910)을, 외부 원(1950), 암(1940)을 갖는 십자형(1930) 및 내부 원(1960)의 보다 기본적인 이산 형상으로 다시 분해한다. 이 구성에서 연산된 대응하는 DOF는 병진이동, 종횡비, 뒤틀림 및 외부 원 반경(하나의 DOF를 갖는 제어 포인트(Co19)를 통해); 회전 및 스트로크 폭(2개의 DOF를 갖는 제어 포인트(Cc19)를 통해); 및 내부 원 반경(하나의 DOF를 갖는 제어 포인트(Ci19)를 통해)을 이 나열된 계층 순서로 다시 포함한다(단계 1730). 이 순서는 도 18의 표현에 비해 각 기본 형상의 상대적인 사이즈에 기초하여 변한 것이 주목된다. 지배적인 형상에 대응하는 DOF를 탐색하는 것은 제일 먼저 일반적으로 기준 파인더에 대한 런타임을 감소시키면서 시스템 로버스트니스를 증가시킬 수 있다. 기준 탐사의 복잡성은 이 예에서는 O(m)이다.
VII. 결론 및 대안적인 실시예
전술된 기준 탐사 및 자세 결정 시스템 및 방법은 아핀 변환에 더하여 변환을 받을 수 있는 기준/형상의 특정 유형/배열을 갖는 객체를 정렬시킬 수 있는 효과적인 및 효율적인 기술을 제공하는 것이 분명하다. 이 기술은 계층 기준 탐사에 더하여 서브-샘플링 절차를 사용하고, 기준 이미지를 구성성분, 더 간단한 기하학적 형상으로 분해하고, 이들 형상에 대해 푸는 것에 의해 보다 정밀하고 더 신속하게 수행될 수 있다.
전술된 내용은 본 발명의 예시적인 실시예의 상세한 설명이다. 본 발명의 사상과 범위를 벗어남이 없이 여러 변환과 추가가 이루어질 수 있다. 전술된 여러 실시예 각각에 있는 특징은 적절한 경우 다른 설명된 실시예에 있는 특징과 조합되어 연관된 새로운 실시예에서 다수의 특징의 조합을 제공할 수 있다. 나아가, 전술된 내용은 본 발명의 장치와 방법의 다수의 별개의 실시예를 설명하고 있으나, 본 명세서에 설명된 것은 본 발명의 응용 원리를 단지 예시하는 것이다. 예를 들어, 본 명세서에 사용된 바와 같이 "프로세스" 및/또는 "프로세서" 라는 용어는 여러 전자 하드웨어 및/또는 소프트웨어에 기초한 기능 및 성분을 포함하는 것으로 넓게 해석되어야 한다. 또한, 본 명세서에 사용된 바와 같이 "수직", "수평", "위로", "아래로", "하부", "상부", "측면", "정면", "후면", "좌측", "우측"등과 같은 여러 방향 및 배향 용어들은 상대적인 규약으로 사용된 것일 뿐 중력과 같은 고정 좌표 시스템에 대한 절대적 배향으로 사용된 것이 전혀 아니다. 더욱이, 도시된 공정 또는 프로세서는 다른 공정 및/또는 프로세서와 조합되거나 또는 여러 서브-공정 또는 프로세서로 분할될 수 있다. 이러한 서브-공정 및/또는 서브-프로세서는 본 명세서의 실시예에 따라 여러 가지로 조합될 수 있다. 마찬가지로, 본 명세서에 있는 임의의 기능, 공정 및/또는 프로세서는 전자 하드웨어, 프로그램 명령의 비-일시적인 컴퓨터-판독가능한 매체로 구성된 소프트웨어, 또는 하드웨어 및 소프트웨어의 조합을 사용하여 구현될 수 있는 것으로 명시적으로 이해된다. 추가적으로, 특정 제어 포인트 제약(예를 들어 우상 사분면에 십자형 제어 포인트를 배치하는 것)이 본 명세서에서 설명되었으나, 예를 들어, 암이 교차하는 실제 위치로부터 하나 이상의 DOF를 따라 지정된 거리에 또는 상이한 사분면에 제어 포인트를 배치하는 것과 같은 대안적인 제한이 사용될 수 있는 것으로 명시적으로 이해된다. 따라서, 본 설명은 단지 예로서 취해진 것일 뿐, 본 발명의 범위를 제한하는 것으로 의도된 것이 전혀 아니다.

Claims (20)

  1. 비전 시스템으로 아핀 변환 및 비선형 변환의 조합을 받은 형상의 자세를 자동적으로 결정하는 방법에 있어서,
    상기 형상을 포함하는 객체의 이미지를 획득하는 단계;
    상기 형상의 개략적인 탐사를 수행하여 미리 결정된 형상과 매칭하는 적어도 하나의 형상 후보를 식별하고 선택하는 단계;
    상기 최상의 매칭 후보 형상에 대한 아핀 파라미터 및 비선형 왜곡 파라미터를 정제하는 단계; 및
    적어도 하나의 정제된 최상의 매칭 후보 형상의 형상 표현을 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 아핀 변환은 하나 이상의 2차원(2D) 아핀 자유도에 의해 한정되고 상기 비선형 변환은 스트로크 폭(stroke width) 및 스플라인 워프(spline warp) 중 적어도 하나에 의해 한정된 것을 특징으로 하는 방법.
  3. 제2항에 있어서,
    개략적인 탐사를 수행하는 단계는,
    미리 결정된 스텝 사이즈 및 검색 범위에 기초하여 복수의 단계에 걸쳐 명목 위치로부터 복수의 제어 포인트 구성으로 반복적으로 미리 결정된 형상에 대해 적어도 하나의 제어 포인트를 이동시키는 단계, 및
    각 제어 포인트 구성에 대해, 적어도 하나의 아핀 자유도(affine degree of freedom: affine DOF)에 대해 미리 결정된 스텝 사이즈 및 검색 범위에 기초하여 복수의 단계에 걸쳐 미리 결정된 형상에 대해 아핀 변환을 반복적으로 연산하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  4. 제3항에 있어서,
    상기 형상은 스트로크 폭을 각각 한정하는 직교 배향된 암을 갖는 십자형을 한정하고, 적어도 하나의 제어 포인트는 상기 암이 교차하는 코어에 위치된 단일 포인트에 의해 한정된 것을 특징으로 하는 방법.
  5. 제4항에 있어서,
    상기 제어 포인트는 상기 암에 대하여 유효 형상을 한정하는 미리 결정된 사분면에 위치되는 것을 특징으로 하는 방법.
  6. 제4항에 있어서,
    상기 형상은 상기 십자형와 조합된 원형 또는 환형을 한정하고, 상기 원형 또는 환형의 각 에지에 각각 위치된 다른 제어 포인트를 더 포함하는 것을 특징으로 하는 방법.
  7. 제3항에 있어서,
    무효 형상을 초래하는 제어 포인트 구성을 폐기하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  8. 제3항에 있어서,
    (a) 상기 형상을 보다 기본적인 구성성분 형상으로 분해하고 미리 결정된 계층에 기초하여 처리 순서를 한정하는 단계 및, (b) 각 보다 기본적인 형상에 대해 및 미리 결정된 스텝 사이즈 및 검색 범위에 기초하여 복수의 단계에 걸쳐 명목 위치로부터 복수의 제어 포인트 구성으로 반복적으로 각 보다 기본적인 형상에 대해 적어도 하나의 제어 포인트를 이동시키는 단계 및, (c) 각 제어 포인트 구성에 대해, 적어도 하나의 아핀 자유도(DOF)에 대해 미리 결정된 스텝 사이즈 및 검색 범위에 기초하여 복수의 단계에 걸쳐 상기 보다 기본적인 형상에 대해 아핀 변환을 반복적으로 연산하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  9. 제8항에 있어서,
    상기 분해하는 단계는 기준 렌더러에 의해 수행되고, 상기 계층은 큰 경계를 갖는 형상으로부터 작은 경계를 갖는 형상을 포함하고, 이 순서로 정렬되는 것을 특징으로 하는 방법.
  10. 제3항에 있어서,
    개략적인 탐사를 수행하는 단계는, 아핀 파라미터 및 비선형 왜곡 파라미터의 사용자 지정된 검색 범위를 검색하는 단계를 포함하는 것을 특징으로 하는 방법.
  11. 제3항에 있어서,
    제어 포인트 구성 및 아핀 변환의 복수의 조합 각각에 대해 스코어를 연산하고, 이로부터 아핀 DOF 및 제어 포인트 DOF에 의해 걸친 공간 내에 스코어 표면을 제공하는 단계, 및 상기 스코어 표면에 대한 피크 세트를 선택하고 각 피크를 정제(refine)하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  12. 제11항에 있어서,
    각각의 피크를 선택하고 정제하는 단계는 상기 이미지에서 상기 형상의 다수의 경우를 탐사하기 위해 또는 상기 형상 표현으로서 상기 조합의 최고 스코어 중 하나 이상을 선택하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  13. 제11항에 있어서,
    상기 스코어를 연산하는 단계는 구배(gradient) 이미지를 생성하는 단계 및 상기 구배 이미지의 에지를 따라 프로브(probe)를 한정하는 단계를 포함하는 것을 특징으로 하는 방법.
  14. 제13항에 있어서,
    상기 스코어를 연산하는 단계는 상기 구배 이미지 내 대응하는 위치에서 보간된 구배 값과 상기 프로브 사이의 내적(dot product)의 평균 값에 기초한 것을 특징으로 하는 방법.
  15. 제14항에 있어서,
    상기 스코어를 연산하는 단계는 힐 클라임 접근법을 사용하여 상기 스코어를 최대화하는 단계를 포함하는 것을 특징으로 하는 방법.
  16. 제3항에 있어서,
    적어도 하나의 서브 샘플링된 이미지 픽셀 후보 형상을 획득하기 위해, 점진적으로 미세해지는 스텝 사이즈에서, 반복적으로 탐사 수행 및 정제 단계를 반복적으로 수행하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  17. 제2항에 있어서,
    상기 형상 표현을, 런타임 기준 탐사 동작 및 합성 기준 이미지 모델을 생성하는 동작 중 적어도 하나에서 모델 이미지로 사용하는 것을 특징으로 하는 방법.
  18. 제1항에 있어서,
    상기 형상 주위에 경계를 수립하는 단계 및 상기 경계에 대해 단위 형상을 수립하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  19. 제1항에 있어서,
    형상 표현은 비전 시스템의 런타임 동작 동안 하나 이상의 기준/형상을 탐사하거나 또는 비전 시스템 툴을 트레이닝하기 위해 기준/형상의 이미지에 기초하여 합성 형상을 정제하는데 사용되는 것을 특징으로 하는 방법.
  20. 비전 시스템으로 아핀 변환 및 비선형 변환의 조합을 받은 형상의 자세를 자동적으로 결정하는 시스템에 있어서,
    상기 형상을 포함하는 객체의 이미지를 획득하는 비전 시스템 카메라 조립체;
    상기 형상의 개략적인 탐사를 수행하여 미리 결정된 형상과 매칭하는 적어도 하나의 형상 후보를 식별하고 선택하는 비전 시스템 프로세서;
    적어도 하나의 정제된 최상의 매칭 후보 형상의 형상 표현을 생성하는 상기 최상의 매칭 후보 형상에 대해 아핀 파라미터 및 비선형 왜곡 파라미터를 정제하는 정제 프로세스를 포함하는 것을 특징으로 하는 시스템.
KR1020140140131A 2013-10-16 2014-10-16 알려진 형상의 기준을 탐사하는 시스템 및 방법 KR101670270B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361891446P 2013-10-16 2013-10-16
US61/891,446 2013-10-16
US14/515,481 2014-10-15
US14/515,481 US9569850B2 (en) 2013-10-16 2014-10-15 System and method for automatically determining pose of a shape

Publications (2)

Publication Number Publication Date
KR20150044415A true KR20150044415A (ko) 2015-04-24
KR101670270B1 KR101670270B1 (ko) 2016-10-28

Family

ID=52809712

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140140131A KR101670270B1 (ko) 2013-10-16 2014-10-16 알려진 형상의 기준을 탐사하는 시스템 및 방법

Country Status (3)

Country Link
US (1) US9569850B2 (ko)
KR (1) KR101670270B1 (ko)
CN (1) CN104574357B (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9569850B2 (en) * 2013-10-16 2017-02-14 Cognex Corporation System and method for automatically determining pose of a shape
CN104972228A (zh) * 2015-07-03 2015-10-14 青岛科瑞特激光设备有限公司 板材用激光切割机的寻边方法
US10769776B2 (en) * 2016-02-12 2020-09-08 Cognex Corporation System and method for efficiently scoring probes in an image with a vision system
CN106774871A (zh) * 2016-12-09 2017-05-31 深圳市虚拟现实技术有限公司 基于图像识别的近眼显示装置空间定位方法和系统
WO2022015297A1 (en) * 2020-07-15 2022-01-20 Purdue Research Foundation Fiducial location
CN112132076A (zh) * 2020-09-28 2020-12-25 天津天地伟业智能安全防范科技有限公司 一种基于计算机视觉的遗忘物寻址方法
CN114913236A (zh) * 2021-02-09 2022-08-16 深圳市汇顶科技股份有限公司 相机标定方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09128550A (ja) * 1995-10-31 1997-05-16 Omron Corp 画像処理方法およびその装置
JPH09304019A (ja) * 1996-05-15 1997-11-28 Ishikawajima Harima Heavy Ind Co Ltd 対象物体の位置・姿勢検出方法
JP2004295223A (ja) * 2003-03-25 2004-10-21 Fanuc Ltd 画像処理装置及びロボットシステム
US20120020573A1 (en) * 2010-07-20 2012-01-26 Lockheed Martin Corporation Image analysis systems using non-linear data processing techniques and methods using same

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3020898B2 (ja) 1997-07-22 2000-03-15 株式会社エイ・ティ・アール人間情報通信研究所 アフィンカメラ補正による三次元位置の線形推定方法
US6336082B1 (en) * 1999-03-05 2002-01-01 General Electric Company Method for automatic screening of abnormalities
US6681057B1 (en) * 2000-02-22 2004-01-20 National Instruments Corporation Image registration system and method implementing PID control techniques
JP3776340B2 (ja) 2000-09-27 2006-05-17 エムヴイテック・ソフトウェア・ゲーエムベーハー 対象物認識システム及び方法
EP1193642B1 (en) 2000-09-27 2005-03-30 MVTec Software GmbH System and method for object recognition
WO2002056241A1 (en) * 2001-01-12 2002-07-18 University Of Florida Computational algorithms for image registration
US6904151B2 (en) 2002-01-17 2005-06-07 Deguillaume Frederic Method for the estimation and recovering of general affine transform
US20040175057A1 (en) 2003-03-04 2004-09-09 Thomas Tsao Affine transformation analysis system and method for image matching
US8090164B2 (en) * 2003-08-25 2012-01-03 The University Of North Carolina At Chapel Hill Systems, methods, and computer program products for analysis of vessel attributes for diagnosis, disease staging, and surgical planning
CN100559397C (zh) * 2004-01-21 2009-11-11 美国西门子医疗解决公司 手术中二维图像与手术前三维图像的仿射配准方法和系统
JP5082637B2 (ja) 2007-07-10 2012-11-28 富士通株式会社 画像処理プログラム、画像処理方法及び画像処理装置
US8103085B1 (en) 2007-09-25 2012-01-24 Cognex Corporation System and method for detecting flaws in objects using machine vision
EP2081133B1 (en) 2008-01-18 2010-05-19 MVTec Software GmbH System and method for deformable object recognition
CN101527039B (zh) * 2008-03-06 2011-12-28 河海大学 基于边缘特征的图像自动配准及快速超分辨率融合方法
US20110080476A1 (en) 2009-10-02 2011-04-07 Lasx Industries, Inc. High Performance Vision System for Part Registration
KR101207127B1 (ko) 2010-03-19 2012-11-30 전남대학교산학협력단 문자 인식 전처리 방법 및 장치
WO2012012576A1 (en) 2010-07-20 2012-01-26 Lockheed Martin Corporation Image analysis systems using non-linear data processing techniques and methods using same
CN103190078B (zh) 2010-09-03 2017-12-08 数字标记公司 用于估计信号间的变换的信号处理器及方法
US9561004B2 (en) * 2013-04-29 2017-02-07 Sectra Ab Automated 3-D orthopedic assessments
US9569850B2 (en) * 2013-10-16 2017-02-14 Cognex Corporation System and method for automatically determining pose of a shape

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09128550A (ja) * 1995-10-31 1997-05-16 Omron Corp 画像処理方法およびその装置
JPH09304019A (ja) * 1996-05-15 1997-11-28 Ishikawajima Harima Heavy Ind Co Ltd 対象物体の位置・姿勢検出方法
JP2004295223A (ja) * 2003-03-25 2004-10-21 Fanuc Ltd 画像処理装置及びロボットシステム
US20120020573A1 (en) * 2010-07-20 2012-01-26 Lockheed Martin Corporation Image analysis systems using non-linear data processing techniques and methods using same

Also Published As

Publication number Publication date
CN104574357A (zh) 2015-04-29
CN104574357B (zh) 2018-09-21
US9569850B2 (en) 2017-02-14
KR101670270B1 (ko) 2016-10-28
US20150104068A1 (en) 2015-04-16

Similar Documents

Publication Publication Date Title
KR101670270B1 (ko) 알려진 형상의 기준을 탐사하는 시스템 및 방법
JP6506731B2 (ja) ビジョンシステムで３ｄポイントクラウドマッチングに使用するクラッタをスコアリングするためのシステム及び方法
JP6271953B2 (ja) 画像処理装置、画像処理方法
JP6573354B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5172010B2 (ja) Ｒｇｂ及び奥行き計測ハイブリッドカメラセンサを使用する長方形テーブル検知
JP5863440B2 (ja) 情報処理装置および方法
JP6899189B2 (ja) ビジョンシステムで画像内のプローブを効率的に採点するためのシステム及び方法
CN107680125B (zh) 在视觉系统中自动选择三维对准算法的系统和方法
KR101638173B1 (ko) 캘리브레이션을 위한 자동 피처 탐지용 기구물 및 그 탐지 방법
CN110176075B (zh) 通过视觉系统同时考虑图像特征中边缘和法线的系统和方法
US6993177B1 (en) Gauging based on global alignment and sub-models
JP5976089B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
Durchon et al. Challenges in applying deep learning to augmented reality for manufacturing
Rink et al. Monte Carlo registration and its application with autonomous robots
Peng et al. An Improved Monocular-Vision-Based Method for the Pose Measurement of the Disc Cutter Holder of Shield Machine
Korkalo et al. Real-time depth camera tracking with CAD models and ICP
Tasneem PATH PLANNING FOR ROBOTIC VISUAL INSPECTION BASED ON THE OBJECT SHAPE
Kim et al. A novel geometric invariant of a pair of conics and its application to eyeglasses-tracking interface
Souto et al. Monocular CAD-based 3D localization for processing large parts for shipbuilding
Potapov et al. Sub-pixel precise image analysis in the industrial environment
Schindler et al. Real-Time Camera Guidance for 3d Scene Reconstruction

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant