KR20140106421A - 적어도 3개의 이산 평면에 따른 머신 비젼 카메라의 보정을 위한 시스템 및 방법 - Google Patents

적어도 3개의 이산 평면에 따른 머신 비젼 카메라의 보정을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20140106421A
KR20140106421A KR1020140020559A KR20140020559A KR20140106421A KR 20140106421 A KR20140106421 A KR 20140106421A KR 1020140020559 A KR1020140020559 A KR 1020140020559A KR 20140020559 A KR20140020559 A KR 20140020559A KR 20140106421 A KR20140106421 A KR 20140106421A
Authority
KR
South Korea
Prior art keywords
correction
plane
motion
coordinate system
camera
Prior art date
Application number
KR1020140020559A
Other languages
English (en)
Other versions
KR101636605B1 (ko
Inventor
강 리우
구루프라새드 시배램
시릴 씨. 마리온
Original Assignee
코그넥스코오포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코그넥스코오포레이션 filed Critical 코그넥스코오포레이션
Publication of KR20140106421A publication Critical patent/KR20140106421A/ko
Application granted granted Critical
Publication of KR101636605B1 publication Critical patent/KR101636605B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 서로 다른 공지의 높이에서의 적어도 2개(예를 들어, 평행한)의 객체 평면을 사용되는 3D 볼륨 공간에서 3개의 이산 평면을 따라 비젼 시스템 카메라에 대한 카메라 보정값을 생성하기 위한 시스템 및 방법을 제공한다. 특정 높이의 임의의 제3(예를 들어, 평행한) 평면에 대해서, 상기 시스템 및 방법은 제1의 2개의 보정으로부터 보간/외삽에 의해 카메라의 보정 데이터를 자동으로 생성한다. 이것은 보정 객체를 2개 이상의 높이에서 설정할 필요를 완화시켜서, 보정 프로세스 속도를 빠르게 하고 사용자의 보정 설정을 단순화시키며, 또한 공간 제약적이고, 보정 객체에 의해 접근 불가능한 높이에 대한 보간/외삽을 허용한다. 보정 플레이트는 각각의 높이에서 풀 2D 핸드-아이 보정을 사용하여, 또는 높이(예를 들어, Z) 방향에 따른 공지의 위치로의 이동으로 제1 높이에서 그리고 제2 높이에서 핸드-아이 보정을 사용하여 보정될 수 있다.

Description

적어도 3개의 이산 평면에 따른 머신 비젼 카메라의 보정을 위한 시스템 및 방법{SYSTEM AND METHOD FOR CALIBRATION OF MACHINE VISION CAMERAS ALONG AT LEAST THREE DISCRETE PLANES}
본 발명은 비젼(vision) 시스템 카메라의 보정(calibrations)에 관한 것으로, 더욱 상세하게는 복수의 이산 객체 평면(discrete object planes)에 대한 비젼 시스템 카메라의 보정을 위한 시스템 및 방법에 관한 것이다.
머신 비젼 시스템(또한 여기에서 "비젼 시스템"이라 칭함)에서, 하나 이상의 카메라가 이미징된 씬(imaged scene) 내의 객체 또는 표면에 대해서 비젼 시스템 프로세스를 수행하기 위해 사용된다. 이러한 프로세스는 검사, 부호(symbology)의 디코딩, 정렬 및 다양한 다른 자동화된 태스크를 포함할 수 있다. 더욱 상세하게는, 비젼 시스템은 이미징된 씬을 통해 평평한 워크피스(flat work piece)를 검사하기 위해 사용될 수 있다. 씬은 전형적으로 하나 이상의 비젼 시스템 카메라에 의해 이미징되며, 그 비젼 시스템 카메라는 결과를 생성하기 위해 관련 비젼 시스템 프로세스를 실행시키는 내부 또는 외부 비젼 시스템 프로세서를 포함할 수 있다. 일반적으로, 하나 이상의 카메라를 보정하는 것이 바람직한데, 이는 카메라/카메라들이 충분한 정확도와 신뢰성으로 비젼 태스크(들)를 수행할 수 있게 한다. 보정 플레이트(plate)가 카메라를 보정하는데 사용될 수 있다.
보정 플레이트는 종종 그것의 표면에 가시적으로 만들어진 독특한 패턴을 가진 평평한 객체로서 제공된다. 사용자가 카메라에 의해 획득된 플레이트의 이미지에서 각각의 가시 특성(feature)을 쉽게 식별할 수 있도록, 독특한 패턴은 일반적으로 주의(care)와 정확도를 가지고 디자인된다. 몇몇 예시적 패턴은 도트 격자, 라인 그리드(grid) 또는 생각할 수 있는 바로는 벌집 패턴, 삼각형의 바둑판 모양 등을 포함하지만, 여기에 한정되지는 않는다. 각각의 가시 특징(visible feature)의 특성은 디자인 내에 내재적으로 규정된 기준 위치 및/또는 좌표계에 대한 위치 및/또는 방향과 같은, 플레이트의 디자인으로 알려져 있다.
바둑판 패턴의 디자인은 다른 비정상의 조건 중에서 시각과 렌즈 왜곡, 패턴에 대한 부분 손상, 및 불균일한 조명의 존재에서도, 보정을 수행함에 있어 정확도와 견고성에서 소정의 장점을 제공한다. 더욱 상세하게는, 정지 객체의 2차원(2D) 보정에서, 보정 바둑판의 에지에 의한 개별적 바둑판 타일 코너의 상대 위치를 결정하는 것은 전형적으로 비젼 시스템의 정확도를 결정하기에 충분하며, 런타임(runtime) 객체가 그런 보정 인자들을 고려하여 측정되도록 카메라의 프로세서에 적절한 보정 인자들을 적절히 제공한다.
어떤 보정 원리의 일반적 이해에 대한 추가적인 배경에 의해서, 보정 플레이트와 같은 강성 본체(rigid body)에 대해, 모션은 한쌍의 포즈:
모션 바로 이전의 스타팅 포즈, 및 모션 바로 이후의 엔딩 포즈에 의해 특징지워질 수 있다. 여기에서 "포즈"는 임의의 어떤 특정 순간에, 어떤 하부 좌표계에서, 본체의 상태 - 본체의 가상 특성 - 를 기술하기 위한 수치 세트로서 규정된다. 보정 플레이트의 맥락에서의 포즈는, 카메라와 보정 플레이트 사이에 상대 이동이 있을 때, 보정 플레이트가 어떻게 카메라에 제공되는지를 기술한다. 전형적으로, 표준의 소위 "핸드-아이(hand-eye) 보정"에서, 보정 플레이트는 카메라(들)에 복수의 다른 포즈로 제공되고, 각각의 카메라는 각각의 그런 포즈에서 보정 플레이트의 이미지를 획득한다. 머신 비젼 핸드-아이 보정을 위해, 보정 플레이트는 전형적으로 카메라가 플레이트의 각각의 이미지를 획득하는 복수의 소정의 포즈로 이동된다. 그런 핸드-아이 보정의 목표는 "모션 좌표계(motion coordinate system)"에서 카메라(들)과 보정 플레이트의 강성 본체 포즈를 결정하는 것이다. 모션 좌표계는 다양한 방법으로 구성될 수 있다. 포즈들에서의 번호(보정 플레이트 및/또는 카메라들이 공간에서 어디에 상주하는지 상세화하는)가 적절한 좌표계에서 해석되어야 한다. 단일의 통합된 좌표계가 선택되면, 포즈와 모션은 그 글로벌 좌표계에서 기술되거나/해석된다. 이 선택된 좌표계는 종종 "모션 좌표계"으로 불린다. 전형적으로, "모션"은 로봇 암과 같은 물리적 모션 또는 갠트리(gantry)와 같은 모션 스테이지를 제공할 수 있는 물리적 장치로 제공된다. 플레이트가 하나 이상의 고정 카메라에 대해 움직일 수 있거나 또는 카메라(들)이 고정 플레이트에 대해 움직일 수 있다는 것에 주의하라. 그런 모션-렌더링(motion-rendering) 장치의 컨트롤러는 장치가 임의의 바람직한 모션을 제공하도록 명령하기 위해 수치(즉, 포즈들)를 사용하고, 이런 값들은 그 장치에 대한 본래의 좌표계에서 해석된다. 임의의 모션 좌표계가 모션-렌더링 장치와 카메라(들)에 대한 공통의 글로벌 좌표계를 제공하기 위해 선택될 수 있더라도, 모션-렌더링 장치의 본래의 좌표계를 전체 모션 좌표계으로서 선택하는 것이 종종 바람직함에 주의하라.
그러므로, 핸드-아이 보정은, 이동 객체에서의 모션의 효과를 결정하기 위해, 모션(보정 플레이트의 이동 또는 카메라의 이동 중 하나)의 렌더링, 및 그 모션 전후의 이미지 획득에 의해 단일의 모션 좌표계에 대해 시스템을 보정한다. 추가적인 배경에 의하면, 이것은 머신 비젼 응용이 일반적으로 임의의 모션 렌더링 장치와 무관한 표준 "넌-핸드-아이(non-hand-eye)" 보정과 다르다. 그런 사례에서, 모든 카메라의 화각(field of view) 내의 특별한 위치에 있는, 플레이트의 획득된 하나의 이미지를 사용하여, 카메라(들)은 전형적으로 보정 플레이트 자체의 좌표계에 대해 모두 보정된다. 머신 비젼 보정 소프트웨어는 각각의 카메라에 의해 획득된 플레이트의 이미지부터 각각의 카메라의 상대 위치를 추론한다. 이런 보정은 "플레이트에 대해 카메라를 캘리브이션한다"고 하는 반면에, 핸드-아이 보정은 "모션 좌표계에 대해 카메라를 보정한다"고 한다.
머신 비젼 시스템이 핸드 아이 보정을 사용할 때, 그것의 소프트웨어는 이미지에서의 관찰된 모션 효과를 요구된 모션(요구된 모션 데이터가 알려진)과 관련시킴으로써 포즈를 해석한다. 보정의 다른 결과는 카메라의 이미지에서의 각각의 화소 위치와 모션 좌표계에서의 물리적인 위치 사이의 매핑이며, 이미지 공간에서의 위치를 발견한 후, 모션 좌표계에서의 위치가 해석될 수 있고, 모션-렌더링 장치가 그에 따라서 작동될 수 있다.
다양한 제조 프로세스에서, 관심 특징들(features of interest)이 종종 평행한 이산 평면에 존재하는 경우에, 평평한 워크피스 또는 더욱 일반적으로 워크피스를 정렬하는 것이 바람직하다. 더욱 상세하게는, 조립체 응용에서, 하나의 워크피스는 다른 워크피스에 정렬된다. 하나의 예시적인 프로세스는 그것의 하우징 내에 휴대 전화 또는 태블릿 컴퓨터의 커버 글라스를 삽입하는 것을 수반한다. 다른 예시적인 프로세스는 휴대 전화, 태블릿 컴퓨터 또는 평면 패널 디스플레이의 커버 글라스의 스크린 프린팅 때와 같은, 워크피스가 프로세스 설비에 정렬되는 프린트 응용을 포함한다. 그런 제조 프로세스에서, 워크피스는 기준 평면의 X-Y-축 방향을 따라, 그리고 또한 서로 다른 높이로(예를 들면, 직각 Z축을 따라) 정렬되어야 한다. 몇몇 워크피스는 다중 높이에 다중 정렬 특징을 보유할 수 있다. 정렬이 비젼 시스템에 의해 적당히 분석되고 검증된다는 것을 확실하게 하기 위해, 정확한 그리고 정밀한 카메라 보정이 각각의 관심 높이에 대해 요구된다.
3차원(3D) 비젼 시스템의 사용은 그런 프로세스들에 적용될 수 있는 반면, 2D 비젼 시스템은 각각의 높이에서 객체의 평면이 평행하게 유지되는 경우에 적당히 실행할 수 있음은 예상된다. 보정은 종종 시간 소비적이고, 공간 제약의 작업 영역 내에서 실행해야 하는 절차이다. 그러므로, 그런 "2.5D" 배치에서, 높이가 평행한 평면에 따라 변하는 경우에(즉, 객체가 다양한 높이 위치 사이의 X 또는 Y 축에 대한 어떤 회전도 경험하지 않는다), 정확하게 그리고 편리하게 비젼 시스템 카메라의 보정을 위한 시스템 및 방법을 제공하는 것이 바람직하다. 이 시스템 및 방법은 바람직하게 복수의 높이 치수(measurement)가 보정 플레이트의 조작과 설정을 최소화하면서 정확하게 보정되도록 허용해야 한다.
본 발명은 서로 다른 공지의 높이에서 적어도 2개(예시적으로 평행한)의 객체 평면을 사용하는 3D 볼륨 공간(volume space)에서 3개 이상(즉, 적어도 3개)의 이산 평면에 따라 비젼 시스템 카메라에 대한 카메라 보정값을 생성하기 위한 시스템 및 방법을 제공함으로써 종래기술의 단점을 극복한다. 임의의 제3 지정된 평면(예시적으로 지정된 높이에 있는 하나 이상의 제1의 2개의 평면에 평행한)에 대해, 상기 시스템 및 방법은 제1의 2개의 보정으로부터 선형 보간/외삽(linear interpolation/extrapolation)에 의해 카메라에 대한 정확한 보정 데이터를 자동적으로 생성한다. 그런 기술은 이론상으로 정확하고, 임의의 명시적 근사값의 사용과 무관하다. 이것은 보정 플레이트 또는 유사한 보정 객체를 2개 이상의 높이에서 설정할 필요를 완화시키며, 보정 프로세스 속도를 빠르게 하고, 사용자의 보정 설정을 간략화시킨다. 더욱이, 예시된 시스템 및 방법은 바람직하게 보정 객체에 의해 일반적으로 접근불가능한(예를 들어, 이미징되는 하우징의 내부 홈과 같은 공간 제약 때문에) 높이에 대한 보정을 가능하게 한다. 보정 플레이트는 풀(full) 2D 핸드-아이 보정을 사용하여 각각의 높이에서, 또는 핸드-아이 보정을 사용하여 제1 높이에서 그리고 높이(Z) 방향(전형적으로 Z 축에 대한 회전이 없는 이동뿐만 아니라 X와 Y축에 대한 임의의 이동 또는 회전)에 따른 배타적 이동으로 제2 높이로 이동하여, 보정될 수 있다.
예시적 실시예에서, 적어도 3개(또는 이상)의 이산 평면에 따른 비젼 시스템 카메라의 보정을 위한 시스템 및 방법이 제공되며, 볼륨 공간 내의 화각을 가지는 비젼 시스템 카메라 조립체를 포함한다. 또한, 플래너(planar) 플레이트 상에 바둑판 패턴으로서 배열될 수 있는 보정 특징을 가지는, 보정 객체가 제공된다. 보정 프로세스는, 보정 객체의 획득된 이미지로, (a) 볼륨 공간의 제1 평면 내의 보정 객체의 제1 보정, 및 (b) 제1 평면으로부터 분리의 축을 따라 분리되는 볼륨 공간의 제2 평면 내의 보정 객체의 제2 보정을 수행한다. 관심의 각 화소 위치와 관련된 각각의 3D 광선을 따라 작동하는, 보간/외삽 프로세스는 제1 보정과 제2 보정으로부터 보정 데이터를 수신한다. 다음에, 그것은 제1 평면과 제2 평면으로부터 상기 축을 따라 분리되는 볼륨 공간 내의 제3 평면에 대한 보정 데이터를 생성한다. 보간/외삽 프로세스는 예시적 실시예에서 종래의 선형 보간/외삽 프로세스일 수 있다. 예시적으로, 제1 평면, 제2 평면 및 제3 평면 중 적어도 2개는 서로 평행할 수 있다. 평행하지 않을 때, 평면들을 규정하는 방정식이 각각의 평면을 통과하는 광선에 대한 각각에서의 교점을 결정하기 위해 보간 프로세스에서 사용된다. 예시적으로, 제1 보정과 제2 보정 중 적어도 하나는 모션 좌표계에 대한 핸드-아이 보정을 포함할 수 있다. 선택적으로, 보정 객체는 객체의 새로운 위치가 이동 뒤에 알려지도록 공지의 방법으로 제1 높이와 제2 높이 사이에서 이동된다. 실시예에 의해서, 그런 공지의 모션은 수직 축을 따라 배타적으로 발생할 수 있고, 제1 보정 또는 제2 보정 중 어느 하나는 모션 좌표계에 매핑되는 보정 객체의 단일 이미지를 사용한다. 모션 좌표계는 제1 객체와 제2 객체 중 하나를 이동시키는 제조 장치내의 모션-렌더링(motion-rendering) 장치의 모션 방향에 대하여 규정될 수 있다. 모션-렌더링 장치는 객체들 중 하나에 작용하는 매니퓰레이터 또는 모션 스테이지일 수 있다. 이와 같이, 제3 평면은 제1 객체와 제2 객체의 조립 동안 제2 객체가 상주하는 축에 따른 위치와 관련된다. 비젼 시스템 카메라 조립체는 각각이 볼륨 공간에 대한 이산 방향으로 이들 자신의 각각의 광축을 가지는 하나 이상의 비젼 시스템 카메라로 구성할 수 있다. 더욱이, 비젼 시스템 카메라와 모션 좌표계는 서로에 대해 고정적이거나, 또는 서로에 대해 상대적으로 이동할 수 있다. 그 모션은 이미징된 객체가 스스로 모션 좌표계에 대해 이동 중에 있는지의 여부와 무관하게 카메라와 모션 좌표계 사이에서 발생할 수 있다는 것은 일반적으로 예상된다.
하기의 발명의 설명은 첨부 도면을 참조한다. 즉:
도 1은 예시적 실시예에 따른 3D 모션 좌표계에 대한 3개 이상의 예시적 평면의 이들의 이산적 높이에서의 위치설정을 도시하는 비젼 시스템 카메라 및 관련 프로세서 장치의 개략도이다;
도 1a는 제1 객체가 도 1의 실시예에 따른 비젼 시스템을 사용한, 예시적 평행 평면 내에서의 그 사이의 상대 이동을 통해 제2 객체와 정렬되는 예시적 제조 장치이다;
도 2는 도 1의 장치에 사용되는 전체적인 보정 프로세스의 흐름도이며, 이는 제3 또는 그 이상의 높이에 대한 보정 파라미터의 보간을 허용하도록 2개의 이산적 높이에 있는 보정 플레이트(또는 유사한 객체)의 이미지를 사용한다;
도 3은 2개의 이산적 높이의 각각에 있는 보정 플레이트를 사용하여 핸드-아이 보정을 수행하기 위한 부속 절차의 흐름도이다; 그리고
도 4는 제2 핸드-아이 보정 단계를 생략하기 위해, 제1 높이에서 보정 플레이트를 사용하고 그리고 나서 정확하게, 그리고 공지의 방식으로, 플레이트를 이동시키는 핸드-아이 보정을 수행하기 위한 다른 부속 절차의 흐름도이다.
도 1은 묘사된 모션 좌표(X, Y와 Z) 축(112)에 의해 표시된 바와 같은 3차원 내에서 씬(110)의 이미지를 획득하는 비젼 시스템 카메라 장치(100)의 개략도를 도시한다. 씬(110)은 평면(120, 122와 124)에 의해 묘사된 바와 같은 3개 이상(적어도 3개)의 이산적 고도(discrete elevations)를 수반한다. 설명의 목적을 위해, 평면(120, 122와 124)의 각각은, Z축 고도 또는 "높이"만이 가변되고, 대응하는 X 또는 Y 축에 대한 어떤 회전도 없다는 점에서, 평행하다. 따라서, 씬은 2.5-차원(2.5D) 공간으로서 규정될 수 있다. 즉, Z축에 따른 객체의 위치 변화가 존재하지만, 규정된 평면(120, 122, 124, 기타 등등) 내에서는 서로 평행한 채로 유지된다. 추가적인 실시예에서, 그리고 하기에 기술된 바와 같이, 평면들은 비-평행일 수 있고, 각각의 평면을 통과하는 일부의 위치에 있는 더욱 일반화된 분리의 축(axis of separation)을 따라 분리된다. 도 1의 예시적인 실시예에서의 이런 분리의 축은 각각의 예시적 평면을 통과하는 수직 축이다.
도시된 바와 같이, 장치(100)는 렌즈 조립체(144)를 통해 씬으로부터 광을 수신하는 CMOS 센서와 같은, 이미지 센서(또는 간단하게 "센서"라고 칭한다)(142)를 가지는 적어도 하나의 비젼 시스템 카메라(140)를 포함한다. 추가로 하기에서 기술된 바와 같이, 렌즈 조립체는 종래의 초점과 개구 셋팅을 갖는 종래의 핀-홀-모델(pin-hole-model) 렌즈(144), 또는 시판중 또는 주문 설계에 따른 텔리센트릭(telecentric) 렌즈(146)(국부 투시도로 도시된)가 될 수 있다. 카메라는 Z 축에 평행하거나 또는 Z 축에 대한 소정 각도(즉, 비-평행한)로 지향되는 광축(OA)을 규정할 수 있다.
예시적으로, 묘사된 일직선(R)은 다르거나 이산적인 (X, Y) 위치에서의 3개의 다양한 예시적인 Z-높이의 평행한 평면, 즉 평면(124) 상의 (X1, Y1), 평면(122) 상의 (X2, Y2), 및 평면(120) 상의 (X3, Y3)을 규정한다. 3개 이상의 평면은 사실상 교차하고, 임의의 평행 평면은 하기에 기술된 바와 같은 보정 동작(보간/외삽)의 대상이 될 수 있다. 핀-홀-모델 카메라에 대해서, 이 광선(R)은 카메라의 광학 중심을 통과한다. 텔리센트릭 카메라에 대해서, 광선은 광축에 평행하다. 둘다의 카메라 모델에 대해서, 카메라의 투영 기하학(projective geometry) 때문에, 3개의 점은 모두 카메라의 센서 상의 동일한 화소 위치에 정확하게 이미징된다. 일반적으로, 센서 상의 각 화소 위치는, 각각의 평면 내의 일반적으로 다른 (X, Y) 위치에서 3개 이상의 평면과 교차하는, 공간을 통과하는 3D 광선에 대응한다. 핀-홀 카메라에 대해서, 다른 화소 위치에 대한 3D 광선은 카메라의 광학 중심에 수렴하는 반면에, 텔리센트릭 카메라에 대해서, 이런 3D 광선은 광축에 평행하다.
카메라 센서(142)는 획득된 이미지 데이터(예를 들어, 컬러 또는 그레이 스케일 화소값)를 비젼 시스템 프로세서/프로세스(150)로 전송한다. 비젼 시스템 프로세서/프로세스(150)는 적당한 유선 또는 무선 링크에 의해 센서 조립체(142)(및 임의의 관련된 처리/전처리 회로)에 연결되는, PC와 같은, 카메라 하우징 내에 완전히 또는 부분적으로 포함될 수 있거나, 또는 분리된, 원격 처리 장치에 제공될 수 있다. 비젼 시스템에 의해 생성된 데이터 - 예를 들어, 에지 검출 및 다른 종래의 정렬 기술을 사용하는, 정렬 데이터 - 는 로봇 조작 처리를 포함하는 다운스트림의 데이터 핸들링 프로세스(154)에 의해 사용될 수 있지만, 이에 한정되지는 않는다. 피드백 루프는, 하나 또는 양쪽의 객체(들)이 이동되어 객체의 이미지가 획득될 때, 로봇 매니플레이터가 객체들 사이의 정확한 결합상태의 경로를 규정하기 위해 조절될 수 있도록 설치될 수 있다. 비젼 시스템 프로세서/프로세스(150) 내에는 또한 보정 프로세스(152)가 포함된다. 보정 프로세스(152)는 공간에서의 및/또는 다른 위치에 관련한 특징들의 정확한 위치를 정확하게 나타내도록 X, Y 및 Z에 따른 다양한 위치에 있는 객체 특징으로부터 카메라에 의해 획득된 이미지 데이터를 수정하기 위해 사용되는 보정 값을 생성하고 저장한다.
비젼 시스템 장치(100)는 예를 들어 도 1a의 제조 장치/프로세스(170)에 도시된 바와 같은 다양한 제조 프로세스에 제공될 수 있으며, 여기에서 커버 글라스(172)가 하우징(예를 들어, 태블릿 컴퓨터, "스마트" 폰 등)(174)에 대해 매니퓰레이터(175)에 의해 조작된다. 이 실시예의 글라스(172)와 하우징(174)은 전형적으로 비젼 시스템(178)이 하우징(174)의 관련 선반(177-국부 투시도로 도시된)과 커버 글라스의 에지(176)를 정렬시키기 위해 시도할 때 평행한 평면으로 각각 유지된다. 상술한 바와 같이, 객체 특징은 선택적으로 비-평행 평면에 상주할 수 있다. 정렬 정보는 적절한 조립을 위해 하우징 상에 글라스(172)를 적당히 안내할 수 있도록 매니퓰레이터의 로봇 제어 조립체(179)로 전송된다. 2개의 객체 사이의 정렬 이동과 회전은 X-Y 평면 내에서 발생한다. 예시적 객체를 감독하는 비젼 시스템(178)은 하우징의 위에 놓이는 위치에서 하우징과 구속되는 위치로 Z 축을 따라 적절하게 커버 글라스를 이동시킬 수 있도록 높이에 대한 정확한 정보를 요구한다. 부품의 적절한 조작 처리를 보조하기 위해 비젼 시스템을 사용하는 다양한 제조 프로세스를 수행함에 있어서, X 및 Y축에서 정확하게(예를 들어, 미크론 이내) 특징 부분을 발견하는 것이 상당히 바람직하며, 정확한 높이 정보를 획득하는 것은 그런 고도의 정밀성을 가능하게 한다. 설명된 실시예에서, 하우징(174)은 모션 스테이지(180)를 사용하여 X 및/또는 Y로 회전되고 이동되며, 커버 글라스(176)는 매니퓰레이터(175)를 사용하여 Z(그리고 X 및/또는 Y로 선택적으로 이동되고 및/또는 회전되는)로 이동된다. 또한 매니퓰레이터(175) 및/또는 모션 스테이지(180)는 Z 축에 대하여 그것의 각각의 부분을 회전시킬 수 있다(곡선 화살표 R2). 더욱 일반적으로, 모션-렌더링 장치의 구성은 그 내부에 포함된 부품의 조립이 (a) 제1 부품(예를 들어, 커버 글라스 )에 제공된 모든 모션; (b) 제2 부품(예를 들어, 하우징), 또는 (c) 도시된 바와 같이, 각각의 부품에 제공된 모든 모션 중 어느 하나로 발생하도록 구성되고 배치될 수 있다. 설명된 실시예에서, 모션 스테이지(180)는 시스템 좌표계(X, Y 및 Z)를 규정한다. 그러나, 이것은 대체 구성에서 매니퓰레이터( XM, YM 및 Z)에 의해 규정될 수 있고, 또는 양쪽의 모션 렌더링 장치가 이동을 경험하는 경우에, 이산 모션 좌표계는 핸드-아이 보정 기술을 사용하여 각각의 장치에 대해 유일하게 규정될 수 있고, 양쪽은 통합된 기준 좌표계에 핸드-아이 기술을 통해 매핑된다. 이 통합된 기준 좌표계는 장치의 모션 좌표계, 또는 완전히 분리된 좌표계의 어느 하나에 기반할 수 있다. 여기에서 사용된 바와 같이, "모션 좌표계"는 통합된(글로벌) 좌표계로 또한 참조할 것이다.
여기에서 사용되는 바와 같은 용어 "프로세스" 및/또는 "프로세서"는 넓게 다양한 전자 하드웨어 및/또는 소프트웨어 기반의 기능과 구성요소로 취급될 수 있음에 주의하라. 더욱이, 설명된 프로세스 또는 프로세서는 다른 프로세스 및/또는 프로세서와 결합되거나 또는 다양한 보조 프로세스 또는 프로세서로 분할될 수 있다. 그러한 보조 프로세스 및/또는 보조 프로세서는 여기에서 실시예에 따라 여러가지로 결합될 수 있다. 마찬가지로, 임의의 기능, 프로세스 및/또는 프로세서가 전자 하드웨어, 프로그램 명령의 비일시적 컴퓨터 판독 가능 매체로 구성하는 소프트웨어, 또는 하드웨어와 소프트웨어의 조합을 사용하여 여기에서 구현될 수 있는 것은 명확히 예상된다.
보정의 목적을 위해, 보정 프로세스(152)를 사용한, 사용자는 공간(예를 들면, 하부 평면 120)의 X-Y 평면 내에 보정 플레이트(160)를 위치시킨다. 보정 플레이트(160)는 기하학적 특징 구조를 규정할 수 있다. 예시적으로, 바둑판 플레이트는 광(162)과 다크부(dark)(164) 스퀘어의 모자이크 패턴(또는 다른 대조적 구조 - 예를 들어, 가시 및 비가시, 스펙큘러(specular) 및 불투명 기타 등등 )으로 구성한다. 이러한 스퀘어는 이들의 경계에 종래의 기술, 예를 들어 콘트라스트 기반 에지 검출을 사용하여 검출될 수 있는 바둑판 타일 코너 세트를 규정하며, 각각의 타일 코너에 대응하는 이미지 화소 위치들은 각각의 획득된 이미지 내에서 규정될 수 있다. 설명된 보정 플레이트는 상당히 단순화되고, 실제로 영역에서 더 크거나 더 작을 수 있고, 전형적으로 현저하게 더 큰 수 또는 작은(밀리미터 사이즈 또는 작은) 바둑판 스퀘어를 포함한다는 것에 주의하라.
광의 세기 이외(또는 부가적으로)의 원리에 기반한 센서가 다른 실시예에서 사용될 수 있고, 적절한 보정 객체 및 관련된 보정 패턴이 사용될 수 있음은 명확히 예상된다. 센서는 그것의 동작 원리와 이미징되는 특징의 특성에 기반한 보정 특징을 분석할 수 있다. 예를 들면, 비가시 파장(UV, IR)으로 이미징하는 센서가 사용될 수 있고, 일부의 특징은 이 비가시 파장의 광을 프로젝션한다. 이 설명의 목적을 위해, 용어 "센서", "카메라" 및 "보정 객체"는 넓게 비-세기(non-intensity) 기반 이미징 시스템과 및 관련 객체 특징을 포함한다고 고려되어야 한다.
도 2와 관련하여, 비젼 시스템의 보정 프로세스(152)를 사용하여 실시되는 예시된 보정 절차(200)가 이제 설명된 보정 플레이트(160)를 사용하여 더욱 상세히 기술된다. 단계(210)에서, 플레이트는 제1 높이(예를 들어, 평면(120) 및 높이(Z3)에서)에서의 카메라 화각 내에 위치되고, 적어도 하나의 이미지가 보정 절차에 사용하기 위해 획득되고 저장된다. 복수의 이미지는, 요구된다면(예를 들어, 하기에 기술된 바와 같은 핸드-아이 보정의 경우에), X-Y 평면에 대해 다른 공지의 위치로 이동된 보정 플레이트로 획득될 수 있다.
보정 플레이트(160)는 단계(220)에서 제2 평행한 평면(예를 들어, 평면(124)와 높이(Z1))으로 이동된다. 이 높이에서, 보정 플레이트(160)의 하나 이상의 이미지가 단계(230)에서 획득되고 단계(230)에서 저장된다.
단계(240)에서, 3D 광선(예를 들어, 도 1에서의 광선 R)이 관심의 각 화소 위치에 대해 연산된다. 제1 높이와 제2 높이에서의 평면과 3D 광선의 교차는 각각 2개의 높이에 대한 보정을 통한 화소 위치의 매핑으로부터 획득된다. 다음에, 단계(250)에서, 공지의 수학 기법에 따른, 선형 보간(또는 외삽) 단계가 공통 Z 축을 따라 관심의 제3 높이(예를 들어, 평면(122)과 높이(Z2))에 대해 수행된다. 이 선형 보간/외삽 단계는, 각각의 화소 위치가 보정에 사용되는 2개의 평면(120 및 124)에 평행한 모든 평면(예를 들어, 평면(124) 상의 교차점(X1, Y1)에서, 평면(122) 상의 교차점(X2, Y2)에서, 평면(120) 상의 교차점(X3, Y3)에서, 기타 등등)에 교차하는 3D 공간에서의 광선(R)에 대응한다는 사실을 이용하여, 관심의 임의의 화소 위치에 대해 수행될 수 있다. 예시적으로, 임의의 제3 평면에 대한 보간/외삽은 광선의 교차점의 X-Y 위치와 평면의 Z 높이 사이의 선형 관계에 기반한다. 이 보간/외삽은 절차(200)가 단계(260)에서 각각의 보간된 높이에 대한 보정값들을 생성하도록 허용하며, 이 보정값들은 카메라 조립체의 파라미터의 일부로서 저장된다. 이런 보정값들은 객체가 그 높이에서 이미징될 때 비젼 시스템이 정확하게 그것을 측정한다는 것을 보장한다. 선택적으로, 보간/외삽 프로세스가 즉시 실시간으로(on-the-fly at runtime) 임의의 주어진 높이에서의 물리적인 위치를 발견하는데 사용될 수 있음은 명확히 예상된다.
보정 절차에서의 각각의 물리적 공간은 공지의 방법으로 선형으로 관련시켜야 한다는 것이 고려된다. 예시적으로, 비젼 시스템 프로세스(예를 들어, 정렬 프로세스)는 제조 프로세스의 모션 좌표계(씬을 통한 객체에 대한 모션의 방향)에 기반한 물리적 공간을 규정할 수 있다. 이 모션 좌표계는 전형적으로 도시된 바와 같이 X-Y 평면을 따라 정렬되는 플랫부(flat parts)에 평행한 2D 평면에 상주한다. 그러므로, 이런 2D 모션 좌표계는 X-Y 모션 좌표 평면에 수직이 되는, 설명된 Z 축을 따라 수직적으로 확장되거나 직각으로 압출된다(extruded). 임의의 규정된 Z-높이에서, 물리적 좌표 공간은 지정된 Z-높이에서의 평행한 평면 상에 있는 2D 모션 좌표계의 직각 투영(orthographic projection)이다.
전술한 바와 같이, 평면은 평행 배치로 지향될 수 있거나, 또는 비-평행(non-parallel)일 수 있다. 비-평행일 때, 보간은 2개의 보정된 평면 및 제3 보정될 평면의 각각을 기술하는 공지의 수식을 사용할 수 있다. 이러한 수식은 당업자들에게 명확한 방법으로 규정된 각각의 평면과 광선의 교차에 사용된다.
제1 높이와 제2 높이의 각각에서의 보정 플레이트의 이동과 위치설정은 다양한 방법으로 수행될 수 있다. 예를 들면, 보정 플레이트는 객체(예를 들어, 하우징)가 지지되는 모션 스테이지에 의해 지지되는 제1 높이에 위치될 수 있고, 제2 높이는 정확한 간격 블록을 사용하여 제1 높이로부터 이격될 수 있으며, 상기 블록은 모션 스테이지에 위치되고, 다음에 제1 높이보다 더 높은 제2 높이에서 보정 플레이트를 지지한다. 선택적으로, 매니퓰레이터는 보정 플레이트를 지지할 수 있고, 정확하게 이동될 수 있다(잠재적으로 단지 제1 높이와 제2 높이 사이의 Z 축을 따라).
도 3의 부속 절차(300)(절차 200의 일부일 수 있는)와 관련하여, 각각의 높이에 모션 좌표계를 설치하고 유지하기 위하여, 하나의 접근법은 각각의 높이에서 보정 플레이트를 사용하는 풀 2D 핸드-아이 보정을 수행하는 것이다. 이것은 상대적인 X-Y 이동 및/또는 제1 높이 대(versus ) 제2 높이에서 X-Y 평면 내의 플레이트 회전을 가능하게 하고, 이는 정확하게 배타적으로 Z-방향으로 모션을 제한할 필요를 감소시킬 수 있다. 많은 제조 장치에서, 이런 유연성은 전체 보정 프로세스의 편의성을 증진시킬 수 있다(하기에서 추가로 기술된 바와 같이). 단계(310)에서, 보정 플레이트는 하나의 평면에서 제1 높이에 위치한다. 단계(320)에서, 이미지는 제조 프로세스에서 평면 내의 각각의 적어도 2개의 이산적 위치에 있는 보정 플레이트에 대해 획득된다. 이러한 이미지는 저장되고, 모션 좌표계 뿐만 아니라 이 좌표계에 대해 플레이트의 상대적인 2D 방향의 맵을 확립하기 위해 2D 핸드-아이 보정 절차에서 사용된다(단계 350). 다음에, 보정 플레이트는 제2 높이에 그것을 유지하기 위해 매니퓰레이터, 스페이서 또는 기타 등등을 사용하여 제2 높이로 이동된다. 제2 높이에 있는 X=Y 평면에서의 플레이트의 상대적인 X-Y 위치 및/또는 회전은 제1 높이에 있는 플레이트의 그것과 동일할 필요는 없다. 다음에, 이미지가 모션(예를 들어, 모션 스테이지 180에 의한) 전후의 모션 방향에 따른 적어도 2개의 다른 위치에 있는 플레이트에 대해 획득되고, 풀 2D 핸드-아이 보정 절차가 모션 좌표계를 재확립하고 이런 좌표계에 보정 플레이트의 방향을 매핑하기 위해 수행된다(단계 350).
절차(200)의 선택적 부속 절차(400)가 도 4에 도시된다. 이 절차(400)에 있어서, 단계(410)에서, 보정 플레이트는 제1 높이에 다시 위치한다. 핸드-아이 보정이 단계(420)에서 제1 높이로 상술한 바와 같이 수행된다. 이 핸드-아이 보정에 기반하여, 단계(430)에서, 모션 좌표계가 확립되고 보정 플레이트의 방향에 매핑된다. 다음에, 단계(440)에서, 보정 플레이트는 X 또는 Y 축에서 또는 그에 대한 임의의 이동 또는 회전 없이 그리고 또한 Z 축에 대한 임의의 회전없이, Z 축을 따라 배타적으로 이동된다. 이것은 그런 스테이지가 제공될 수 있는 제조 장치에서, 제1 높이와 제2 높이 사이에서 이동하는 Z축 모션 스테이지를 사용하여 달성될 수 있다. 선택적으로, 매니퓰레이터는 Z 방향을 따라 보정 플레이트를 홀딩하고 배타적으로 이동할 수 있다. Z 방향으로의 그런 배타적 모션은 하나의 위치에서 다른 위치로의 모션이 공지의 방법으로 발생하여 종료 위치와 방향이 그 시스템에 알려지는 광범위한 컨셉트의 실시예라는 것에 주의하라. 그것은 제1 평면에 대해 제2 평행 또는 비-평행 평면을 정의하는 모션일 수 있다. 보정 플레이트가 제2 높이/위치로 이동되면, 제2 높이에서 보정하는 단계(450)에서, 단일의 이미지가 획득되어 사용된다(또는 복수의 획득된 이미지들로부터 하나의 이미지가 사용된다). 플레이트가 공지의 제2 위치에 있기 때문에(예를 들면, Z 방향에 따른 순수 이동 이외의 임의의 이동이 없는 방식으로 이동되는), 단계(460)에서, 플레이트가 확립된 모션 좌표계에 매핑될 수 있고, 보정값들이 그로부터 생성될 수 있다. 다음에, 절차(200)는 Z 축에 따른 임의의 다른 제3 평행한 평면에 대해 보간/외삽 추정한다.
대체 실시예에서, 보정 플레이트의 본래의 좌표계가 비젼 시스템의 글로벌 좌표계를 규정하기 위해 모션 좌표계에 대한 균등물로서 사용될 수 있다. 각각의 높이에서의 그런 단일의 이미지가 보정 및 후속 보간을 위해 사용될 수 있는 바와 같이, 플레이트가 제1 높이와 제2 높이의 각각의 사이에서 공지의 방법(예를 들어, 배타적으로 Z 축을 따라)으로 이동한다.
상술한 바와 같이, 예시적 실시예의 시스템 및 방법은 핀-홀 렌즈(144), 텔리센트릭 렌즈(146) 모델 중 어느 하나에 따라 구성된 렌즈를 가지는 카메라 조립체(140)로 구현될 수 있다. 텔리센트릭 카메라에 대해, 광선은 광축에 평행하고, 각각의 카메라의 투영 기하학에 기인하여, 양쪽의 핀-홀과 텔리센트릭 카메라 모델, 모든 3개(또는 그 이상)의 포인트는 카메라의 센서 상에 정확하게 동일한 화소 위치에 이미징된다. 그러므로, 각각의 광학 광선을 따른 보간/외삽 프로세스는 각각의 카메라 모델에 대해 유사하다.
복수의 평행한 평면에 위치된 객체를 포함하는 프로세스에서 사용하기 위한 비젼 시스템의 보정을 위한 시스템 및 방법은 2개의 이산적인 높이에 배치된 보정 플레이트 또는 다른 구조를 사용하여, 광범위한 높이에서의 보정 데이터를 자동적으로(예를 들면, 비젼 시스템의 내부 계산 기능에 의해) 생성하기 위한 효율적이고 더욱 편리한 기술을 제공한다는 것은 명확해야 한다. 이것은 보정 프로세스를 단순화시키고 속도를 빠르게 하며, 제조 프로세스에서의 적은 다운 시간과 보정의 물리적 측면에서의 적은 사용자 관여로 이어진다. 또한, 예시적 시스템 및 방법이 정확한 보정 데이터를 생성하기 위해 선형 보간/외삽을 사용하기 때문에, 바람직하게 보정 객체에 의해 전형적으로 접근할 수 없는(예를 들어, 이미징되는 하우징의 내부 홈과 같은, 공간 제약에 기인하여) 높이 및/또는 위치에 대한 보정을 가능하게 한다.
단일 비젼 시스템 카메라에 관련하여 기술되더라도, 여기에서 원리는, 표준 팬드-아이 보정 실례에서와 같이, 분리되어 또는 서로 취급되는, 다중 카메라 조립체 내의 각 카메라에 적용될 수 있다는 것이 추가로 명확해야 한다. 예시적으로, 제1 카메라의 축(OA)에 대한 이산적 방향에서 광축(OA1)을 가지는 제2 카메라(190)(도 1에서 국부 투시도로 도시된)가 도시된다. 이 비젼 시스템 카메라(190)는 내부 및/또는 외부 비젼 시스템 프로세서/프로세스(또한 블록 150에 의해 표현된) 및 관련 보정 프로세스(또한 블록 152에 의해 표현된)를 포함한다. 이 프로세서 및/또는 프로세스는 다중 카메라에 의해 공유될 수 있다(하나(또는 그 이상) 카메라에서의 마스터 프로세서 및 다른 카메라(들)에서의 슬레이브 프로세서를 가지는 PC 기반 프로세서/프로세스 또는 마스터/슬레이브 처리 장치). 선택적으로, 각각의 카메라는 관련 프로세서/프로세스로 그 자체의 보정 데이터를 생성할 수 있고, 모든 데이터는 개별 프로세서(예를 들어, PC)에 제공될 수 있다. 그러므로, 용어 "비젼 시스템 카메라 조립체"는 넓게 하나 이상의 이산적 비젼 카메라(각각 전형적으로 그 자체의 광학 패키지 및 관련 이미지 센서를 포함하는)로 구성하는 다양한 장치를 포함하는 것으로 고려되어야 한다. 그 자체의 정확한 보정 데이터의 버전은 상기에 기술된 외삽/보간 프로세스를 실행함으로써 각각의 카메라에 대해 생성된다. 게다가, 비젼 시스템 카메라(복수의 카메라를 포함한)가 모션 좌표계에 대해 고정 또는 상대 이동(도 1에서 쌍방향 화살표 M) 됨은 명확히 예상된다. 카메라(들)에 대한 그런 상대 이동은 객체가, 그 자체, 고정적 또는 상대 이동되거나 또는 단지 객체가 모션 좌표계에 대해 상대 이동되는지와 무관하게 발생할 수 있다. 카메라 및 객체(런타임 객체, 보정 플레이트 등) 모두가 둘다 상대 이동하거나 또는 단지 객체가 모션 좌표계에 대해 상대 이동한다는 것이 또한 예상된다. 여기에서 기술된 테크닉은 이들이 움직이는 카메라/객체에 적용되기 때문에 핸드-아이 보정의 표준 이론과 테크닉을 사용하는 상대 이동의 존재하에서도 달성될 수 있다.
앞서 언급한 것은 본 발명의 예시적 실시예의 상세한 설명이었다. 다양한 수정과 추가는 본 발명의 사상과 범위를 벗어나지 않으면서 만들어질 수 있다. 상기에 기술된 다양한 실시예의 각각의 특징은 관련된 새로운 실시예에서 복수의 특징 조합을 제공하기 위하여 적절한 것으로 다른 기술된 실시예의 특징과 결합될 수 있다. 게다가, 앞서 언급한 것이 본 발명의 장치 및 방법의 각 실시예를 기술하는 반면에, 여기에서 기술된 것은 단지 본 발명의 원리 응용의 예시이다. 예를 들면, 여기에서 기술된 예시적 제조 프로세스가 하우징에 대한 커버 글라스의 조작 처리와 관련되는 반면에, 2.5D 공간 내에서 수행될 수 있는 다양한 다른 제조 프로세스 -예를 들어 회로 기판 상의 회로 칩의 배치, 프레임 내의 윈도우 글라스의 설치 등이 예상된다. 게다가, 2개의 이산적 높이가 보간/외삽 절차에서 사용되는 반면에, 추가적인 물리적 높이에서의 플레이트 보정이 정확도를 증가시키기 위해 발생할 수 있는 것은 예상된다. 부가적으로, 제1 높이와 제2 높이는 각각 낮고 높은 평면을 규정하지 않을 것이고, 선택적으로 그런 순서로 보정되는, 높고 낮은 평면을 규정할 수 있다. 마찬가지로, 보정 데이터가 보간/외삽에 의해 생성되는 임의의 제3 높이의 평면은 제1 높이와 제2 높이 사이에 상주할 필요가 없고, 그래서 긴 보간은 카메라의 이미지 평면에서 그 거리에서의 평면에 대한 신뢰 결과를 생성할 수 있다. 더욱 일반적으로, 용어 "보간", "외삽" 및/또는 "보간/외삽"은 선형 보간 및/또는 외삽을 언급하기 위해 일반적으로 여기에서 사용되지만, 또한 종래의 선형 보간 및/또는 외삽 프로세스와 관련하여 사용된 비슷한 수학적 절차 및/또는 추가적 절차를 규정할 수 있다. 추가적으로, 하나의 보정 객체의 사용이 기술되는 반면에, 복수의 보정 객체(각각의 유사한/동일한 또는 다른 특징 패턴을 가지는)가 추가적인 실시예에서 사용될 수 있음은 명확히 예상된다. 그러므로, "적어도 하나"의 보정 객체가 여기에서 사용된다. 또한, 여기에서 사용된 바와 같은 "수직", "수평", "위로", "아래로", "하부", "상부", "측면", "후방", "좌측", "우측" 등과 같은 다양한 방향 및 방위 용어는 상대적인 규약으로서만 사용되고, 고정된 좌표계에 대한 절대 방위로서 사용되지 않는다. 따라서, 이 설명은 단지 실시예에 의해서 획득하게 되는 반면에, 본 발명의 범위를 제한하는 것으로 의도되지 않는다.

Claims (21)

  1. 적어도 3개의 이산 평면에 따른 비젼 시스템 카메라의 보정을 위한 시스템에 있어서,
    볼륨 공간 내의 화각을 가지는 비젼 시스템 카메라 조립체;
    보정 특징을 갖는 적어도 하나의 보정 객체;
    상기 보정 객체의 획득된 이미지로,
    (a) 상기 볼륨 공간의 제1 평면 내에서 상기 보정 객체를 사용한 제1 보정, 및 (b) 상기 제1 평면으로부터 축을 따라 분리되는 상기 볼륨 공간의 제2 평면 내에서 상기 보정 객체를 사용한 제2 보정을 실행하는 보정 처리부: 및
    상기 제1 보정 및 상기 제2 보정으로부터 보정 데이터를 수신하고, 상기 제1 평면과 상기 제2 평면으로부터 축을 따라 분리된 상기 볼륨 공간 내의 적어도 제3 평면에 대한 보정 데이터를 생성하는 보정 프로세스와 관련되는 보간/외삽 처리부를 포함하는 것을 특징으로 하는 적어도 3개의 이산 평면에 따른 비젼 시스템 카메라의 보정을 위한 시스템.
  2. 제1항에 있어서,
    상기 제1 보정 및 상기 제2 보정 중 적어도 하나는 모션 좌표계에 대한 핸드-아이 보정을 포함하는 것을 특징으로 하는 적어도 3개의 이산 평면에 따른 비젼 시스템 카메라의 보정을 위한 시스템.
  3. 제2항에 있어서,
    상기 모션 좌표계는 제1 객체와 제2 객체 중 하나를 이동시키는 제조 장치 내의 모션-렌더링 장치의 모션 방향에 대하여 규정되는 것을 특징으로 하는 적어도 3개의 이산 평면에 따른 비젼 시스템 카메라의 보정을 위한 시스템.
  4. 제3항에 있어서,
    상기 모션-렌더링 장치는 매니퓰레이터와 모션 스테이지 중 하나를 포함하는 것을 특징으로 하는 적어도 3개의 이산 평면에 따른 비젼 시스템 카메라의 보정을 위한 시스템.
  5. 제3항에 있어서,
    제3 평면은 제1 객체와 제2 객체의 조립 동안 제1 객체와 제2 객체 중 적어도 하나에 대한 적어도 하나의 정렬 특징이 상주하는 축에 따른 방향과 관련되는 것을 특징으로 하는 적어도 3개의 이산 평면에 따른 비젼 시스템 카메라의 보정을 위한 시스템.
  6. 제2항에 있어서,
    제1 보정 및 제2 보정은 각각 상기 모션 좌표계에 대한 핸드-아이 보정을 포함하는 것을 특징으로 하는 적어도 3개의 이산 평면에 따른 비젼 시스템 카메라의 보정을 위한 시스템.
  7. 제2항에 있어서,
    보정 객체는 제1 보정과 제2 보정 사이에서 공지의 방법으로 이동되고, 제1 보정과 제2 보정 중 어느 하나는 상기 모션 좌표계에 매핑되는 보정 객체의 단일 이미지를 사용하는 것을 특징으로 하는 적어도 3개의 이산 평면에 따른 비젼 시스템 카메라의 보정을 위한 시스템.
  8. 제2항에 있어서,
    비젼 시스템 카메라 조립체는 모션 좌표계에 대해 (a) 고정되거나 또는 (b) 상대 이동하는 것을 특징으로 하는 적어도 3개의 이산 평면에 따른 비젼 시스템 카메라의 보정을 위한 시스템.
  9. 제1항에 있어서,
    상기 보간/외삽은 선형 보간/외삽 프로세스인 것을 특징으로 하는 적어도 3개의 이산 평면에 따른 비젼 시스템 카메라의 보정을 위한 시스템.
  10. 제1항에 있어서,
    상기 비젼 시스템 카메라 조립체는 각각 볼륨 공간에 대한 불연속 방향으로의 광축을 가지는 복수의 비젼 시스템 카메라를 포함하는 것을 특징으로 하는 적어도 3개의 이산 평면에 따른 비젼 시스템 카메라의 보정을 위한 시스템.
  11. 제1항에 있어서,
    카메라 센서는 광 세기를 이미징하고, 적어도 일부의 보정 특징은 카메라 조립체에 의해 이산적 다른 세기로 이미징되는 것을 특징으로 하는 적어도 3개의 이산 평면에 따른 비젼 시스템 카메라의 보정을 위한 시스템.
  12. 제1항에 있어서,
    제2 평면과 제3 평면 중 적어도 하나는 제1 평면에 평행한 것을 특징으로 하는 적어도 3개의 이산 평면에 따른 비젼 시스템 카메라의 보정을 위한 시스템.
  13. 적어도 3개의 이산 평면에 따른 비젼 시스템 카메라의 보정을 위한 방법에 있어서,
    볼륨 공간 내에서의 화각을 가지는 비젼 시스템 카메라 조립체로 이미지를 획득하는 단계;
    보정 특징을 갖는 적어도 하나의 보정 객체를 화각 내에 위치시키는 단계;
    획득된 이미지로, (a) 볼륨 공간의 제1 평면 내에서 보정 객체를 사용한 제1 보정, 및 (b) 상기 제1 평면으로부터 축을 따라 분리되는 볼륨 공간의 제2 평면 내에서 보정 객체를 사용한 제2 보정을 수행하는 단계; 및
    상기 제1 보정 및 상기 제2 보정으로부터 보정 데이터를 수신하고, 보간/외삽을 통하여, 상기 제1 평면 및 상기 제 2 평면으로부터 상기 축을 따라 분리되는 볼륨 공간 내의 적어도 제3 평면에 대한 보정 데이터를 생성하는 단계를 포함하는 것을 특징으로 하는 적어도 3개의 이산 평면에 따른 비젼 시스템 카메라의 보정을 위한 방법.
  14. 제13항에 있어서,
    제1 보정과 제2 보정 중 적어도 하나는 모션 좌표계에 대한 핸드-아이 보정을 포함하는 것을 특징으로 하는 적어도 3개의 이산 평면에 따른 비젼 시스템 카메라의 보정을 위한 방법.
  15. 제14항에 있어서,
    상기 모션 좌표계는 제1 객체와 제2 객체 중 하나를 이동시키는 제조 장치 내의 모션-렌더링 장치의 모션 방향에 대하여 규정되는 것을 특징으로 하는 적어도 3개의 이산 평면에 따른 비젼 시스템 카메라의 보정을 위한 방법.
  16. 제14항에 있어서,
    (a) 모션 좌표계에 대한 고정 위치에 비젼 시스템 카메라 조립체를 유지하는 단계, 또는 (b) 모션 좌표계에 대해 비젼 시스템 카메라 조립체를 이동시키는 단계중 어느 하나를 더 포함하는 것을 특징으로 하는 적어도 3개의 이산 평면에 따른 비젼 시스템 카메라의 보정을 위한 방법.
  17. 제13항에 있어서,
    제3 평면은 제1 객체와 제2 객체의 조립 동안 제1 객체와 제2 객체 중 적어도 하나에 대한 적어도 하나의 정렬 특징이 상주하는 축에 따른 위치와 관련되는 것을 특징으로 하는 적어도 3개의 이산 평면에 따른 비젼 시스템 카메라의 보정을 위한 방법.
  18. 제13항에 있어서,
    제1 보정과 제2 보정은 각각 모션 좌표계에 대한 핸드-아이 보정을 포함하는 것을 특징으로 하는 적어도 3개의 이산 평면에 따른 비젼 시스템 카메라의 보정을 위한 방법.
  19. 제13항에 있어서,
    공지의 방법으로 제1 보정과 제2 보정 사이의 축을 따라 배타적으로 보정 객체를 이동시키고, 제1 보정 또는 제2 보정 중 어느 하나에서 모션 좌표계에 매핑되는 보정 객체의 단일 이미지를 사용하는 단계를 더 포함하는 것을 특징으로 하는 적어도 3개의 이산 평면에 따른 비젼 시스템 카메라의 보정을 위한 방법.
  20. 제13항에 있어서,
    보간/외삽은 선형 보간/외삽인 것을 특징으로 하는 적어도 3개의 이산 평면에 따른 비젼 시스템 카메라의 보정을 위한 방법.
  21. 제13항에 있어서,
    제2 평면과 제3 평면 중 적어도 하나는 제1 평면에 평행한 것을 특징으로 하는 적어도 3개의 이산 평면에 따른 비젼 시스템 카메라의 보정을 위한 방법.
KR1020140020559A 2013-02-25 2014-02-21 적어도 3개의 이산 평면에 따른 머신 비젼 카메라의 보정을 위한 시스템 및 방법 KR101636605B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/776,617 US10664994B2 (en) 2013-02-25 2013-02-25 System and method for calibration of machine vision cameras along at least three discrete planes
US13/776,617 2013-02-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020160080847A Division KR102129103B1 (ko) 2013-02-25 2016-06-28 적어도 3개의 이산 평면에 따른 머신 비젼 카메라의 보정을 위한 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20140106421A true KR20140106421A (ko) 2014-09-03
KR101636605B1 KR101636605B1 (ko) 2016-07-05

Family

ID=51367597

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020140020559A KR101636605B1 (ko) 2013-02-25 2014-02-21 적어도 3개의 이산 평면에 따른 머신 비젼 카메라의 보정을 위한 시스템 및 방법
KR1020160080847A KR102129103B1 (ko) 2013-02-25 2016-06-28 적어도 3개의 이산 평면에 따른 머신 비젼 카메라의 보정을 위한 시스템 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020160080847A KR102129103B1 (ko) 2013-02-25 2016-06-28 적어도 3개의 이산 평면에 따른 머신 비젼 카메라의 보정을 위한 시스템 및 방법

Country Status (3)

Country Link
US (2) US10664994B2 (ko)
KR (2) KR101636605B1 (ko)
CN (2) CN109118543B (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10664994B2 (en) 2013-02-25 2020-05-26 Cognex Corporation System and method for calibration of machine vision cameras along at least three discrete planes
EP2894600B1 (en) * 2014-01-14 2018-03-14 HENSOLDT Sensors GmbH Method of processing 3D sensor data to provide terrain segmentation
TWI517101B (zh) * 2014-12-09 2016-01-11 財團法人工業技術研究院 三維掃描器校正系統及其校正方法
US10223589B2 (en) * 2015-03-03 2019-03-05 Cognex Corporation Vision system for training an assembly system through virtual assembly of objects
US9800866B2 (en) * 2015-04-08 2017-10-24 Algolux Inc. Method for providing an estimation of a point spread function indicative of intrinsic camera blur
US10290118B2 (en) 2015-08-06 2019-05-14 Cognex Corporation System and method for tying together machine vision coordinate spaces in a guided assembly environment
US10157452B1 (en) * 2015-09-28 2018-12-18 Amazon Technologies, Inc. Image processing system for image rectification
US11562502B2 (en) 2015-11-09 2023-01-24 Cognex Corporation System and method for calibrating a plurality of 3D sensors with respect to a motion conveyance
US10812778B1 (en) * 2015-11-09 2020-10-20 Cognex Corporation System and method for calibrating one or more 3D sensors mounted on a moving manipulator
US10757394B1 (en) 2015-11-09 2020-08-25 Cognex Corporation System and method for calibrating a plurality of 3D sensors with respect to a motion conveyance
US10339656B1 (en) * 2016-09-29 2019-07-02 Amazon Technologies, Inc. Inferring count of items using image
CN107883979B (zh) * 2016-09-30 2021-03-12 北京诺亦腾科技有限公司 用于统一惯性传感器坐标系和参考坐标系的方法和系统
JP7179439B2 (ja) * 2016-11-28 2022-11-29 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6989276B2 (ja) * 2017-04-05 2022-01-05 株式会社Soken 位置計測装置
KR20190126458A (ko) * 2017-04-17 2019-11-11 코그넥스코오포레이션 고정밀 교정 시스템 및 방법
CN109672878A (zh) * 2017-10-13 2019-04-23 康耐视公司 对校准物体两相对侧成像的视觉系统的场校准系统和方法
US11072074B2 (en) 2017-12-13 2021-07-27 Cognex Corporation Calibration and operation of vision-based manipulation systems
CN111971529A (zh) * 2018-09-03 2020-11-20 Abb瑞士股份有限公司 用于管理机器人系统的方法和装置
US11254019B2 (en) * 2019-03-05 2022-02-22 The Boeing Company Automatic calibration for a robot optical sensor
US10906184B2 (en) 2019-03-29 2021-02-02 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
CN110517321B (zh) * 2019-07-10 2022-05-17 湖南交工智能技术有限公司 相机标定方法、相机及存储介质
US11393125B1 (en) 2019-12-09 2022-07-19 Gopro, Inc. Systems and methods for dynamic optical medium calibration
CN111975756B (zh) * 2020-05-25 2022-02-15 泉州华中科技大学智能制造研究院 一种3d视觉测量系统的手眼标定系统及方法
US11508089B2 (en) * 2021-03-05 2022-11-22 Black Sesame Technologies Inc. LiDAR assisted wheel encoder to camera calibration

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6542249B1 (en) * 1999-07-20 2003-04-01 The University Of Western Ontario Three-dimensional measurement method and apparatus
US20110280472A1 (en) * 2010-05-14 2011-11-17 Wallack Aaron S System and method for robust calibration between a machine vision system and a robot
US20120148145A1 (en) * 2010-12-08 2012-06-14 Cognex Corporation System and method for finding correspondence between cameras in a three-dimensional vision system

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4682894A (en) * 1985-03-21 1987-07-28 Robotic Vision Systems, Inc. Calibration of three-dimensional space
US5467634A (en) 1993-07-22 1995-11-21 Minnesota Mining And Manufacturing Company Method and apparatus for calibrating three-dimensional space for machine vision applications
DE69407188T2 (de) 1993-07-22 1998-07-09 Minnesota Mining & Mfg Verfahren und gerät zur kalibrierung eines dreidimensionalen raumes für anwendung in maschinenvision
US5978521A (en) 1997-09-25 1999-11-02 Cognex Corporation Machine vision methods using feedback to determine calibration locations of multiple cameras that image a common object
AU2439399A (en) 1998-02-09 1999-08-23 Haim Azaria Video camera computer touch screen system
US7050928B2 (en) * 2004-08-25 2006-05-23 Microsoft Corporation Relative range camera calibration
GB0306467D0 (en) 2003-03-20 2003-04-23 Molins Plc Improvements in or relating to machine vision equipment
WO2004114063A2 (en) 2003-06-13 2004-12-29 Georgia Tech Research Corporation Data reconstruction using directional interpolation techniques
JP3946716B2 (ja) * 2004-07-28 2007-07-18 ファナック株式会社 ロボットシステムにおける3次元視覚センサの再校正方法及び装置
DE102007057093A1 (de) 2007-11-20 2009-05-28 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren zum Kalibrieren eines Koordinatenmessgerätes
CN101216681B (zh) 2007-12-28 2010-10-20 上海微电子装备有限公司 机器视觉动态标定方法
CN101221375A (zh) 2008-01-25 2008-07-16 上海微电子装备有限公司 用于步进光刻机对准系统的机器视觉系统及其标定方法
CN101308018B (zh) * 2008-05-30 2010-09-15 汤一平 基于双目全方位视觉传感器的立体视觉测量装置
CN102119072B (zh) 2008-06-09 2013-09-11 Abb技术有限公司 有助于对离线编程机器人单元进行校准的方法和系统
JP2010152550A (ja) * 2008-12-24 2010-07-08 Canon Inc 作業装置及びその校正方法
TWI379224B (en) * 2009-06-30 2012-12-11 Cheng Uei Prec Ind Co Ltd Optical positing apparatus and positing method thereof
CN101726855B (zh) * 2009-11-13 2011-05-11 河北工业大学 基于立方体投影对鱼眼图像畸变校正方法
US8704903B2 (en) * 2009-12-29 2014-04-22 Cognex Corporation Distributed vision system with multi-phase synchronization
US10664994B2 (en) * 2013-02-25 2020-05-26 Cognex Corporation System and method for calibration of machine vision cameras along at least three discrete planes

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6542249B1 (en) * 1999-07-20 2003-04-01 The University Of Western Ontario Three-dimensional measurement method and apparatus
US20110280472A1 (en) * 2010-05-14 2011-11-17 Wallack Aaron S System and method for robust calibration between a machine vision system and a robot
US20120148145A1 (en) * 2010-12-08 2012-06-14 Cognex Corporation System and method for finding correspondence between cameras in a three-dimensional vision system

Also Published As

Publication number Publication date
CN104006825A (zh) 2014-08-27
US10664994B2 (en) 2020-05-26
CN109118543B (zh) 2023-04-25
KR101636605B1 (ko) 2016-07-05
US11544874B2 (en) 2023-01-03
US20140240520A1 (en) 2014-08-28
KR20160079756A (ko) 2016-07-06
CN109118543A (zh) 2019-01-01
CN104006825B (zh) 2018-07-20
KR102129103B1 (ko) 2020-07-01
US20210012532A1 (en) 2021-01-14

Similar Documents

Publication Publication Date Title
KR101636605B1 (ko) 적어도 3개의 이산 평면에 따른 머신 비젼 카메라의 보정을 위한 시스템 및 방법
US11911914B2 (en) System and method for automatic hand-eye calibration of vision system for robot motion
JP6685199B2 (ja) 案内された組立環境におけるマシンビジョン座標空間を結合するためのシステム及び方法
US9199379B2 (en) Robot system display device
KR101762934B1 (ko) 직선 특징들로부터 비전 시스템 평면 핸드-아이 교정을 실행하기 위한 시스템 및 방법
CN109084681B (zh) 相对接触探针校准视觉系统的系统及方法
KR102062423B1 (ko) 작업재의 가상조립을 통해 어셈블리 시스템을 트레이닝 하기 위한 비전시스템
US11050983B2 (en) System and method for recalibrating a projector system
US10410419B2 (en) Laser projection system with video overlay
US20210291376A1 (en) System and method for three-dimensional calibration of a vision system
JP2015136770A (ja) 視覚センサのデータ作成システム及び検出シミュレーションシステム
US11446822B2 (en) Simulation device that simulates operation of robot
JP6670974B1 (ja) ロボット用の座標系アライメント方法及びアライメントシステム並びにアライメント装置
KR101438514B1 (ko) 다중 영상을 이용한 원자로 내부 로봇 위치 측정 시스템 및 위치 측정방법
WO2021240934A1 (ja) 対象物の位置および姿勢の計測のためのマーカ、装置、システムおよび計測方法
KR100784734B1 (ko) 산업용 로봇 시스템의 타원 보간방법
Yang et al. Beam orientation of EAST visible optical diagnostic using a robot-camera system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190620

Year of fee payment: 4