KR102255017B1 - 시간 코딩된 패턴 타겟을 사용하여 적어도 하나의 센서 카메라를 포함하는 이미지 캡처 센서를 캘리브레이션하는 방법 - Google Patents

시간 코딩된 패턴 타겟을 사용하여 적어도 하나의 센서 카메라를 포함하는 이미지 캡처 센서를 캘리브레이션하는 방법 Download PDF

Info

Publication number
KR102255017B1
KR102255017B1 KR1020197001700A KR20197001700A KR102255017B1 KR 102255017 B1 KR102255017 B1 KR 102255017B1 KR 1020197001700 A KR1020197001700 A KR 1020197001700A KR 20197001700 A KR20197001700 A KR 20197001700A KR 102255017 B1 KR102255017 B1 KR 102255017B1
Authority
KR
South Korea
Prior art keywords
sequence
pattern
screen
image
image capture
Prior art date
Application number
KR1020197001700A
Other languages
English (en)
Other versions
KR20190020086A (ko
Inventor
마르쿠스 그로세
바스티안 하렌트
Original Assignee
코그넥스코오포레이션
코그넥스 엔쉐이프 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코그넥스코오포레이션, 코그넥스 엔쉐이프 게엠베하 filed Critical 코그넥스코오포레이션
Publication of KR20190020086A publication Critical patent/KR20190020086A/ko
Application granted granted Critical
Publication of KR102255017B1 publication Critical patent/KR102255017B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

본 발명은 시간 코딩된 패턴 타겟을 사용하여 적어도 하나의 센서 카메라를 포함하는 이미지 캡처 센서를 캘리브레이션하는 방법에 관련되며, 방법은: 평면 스크린 디스플레이 상에 시간 코딩된 패턴 타겟을 디스플레이하는 단계; 평면 스크린 디스플레이 상에 패턴 시퀀스를 디스플레이하고, 적어도 하나의 센서 카메라에 의해 카메라 이미지의 시퀀스로서 패턴 시퀀스를 캡처하는 단계; 공간에서 평면 스크린 디스플레이의 적어도 하나의 고정된 위치에 대해, 또는 공간에서 평면 스크린 디스플레이의 적어도 2개의 상이한 위치 각각에 대해, 카메라 이미지의 캡처된 이미지 포인트와 시간 코딩된 패턴 타겟의 픽셀 사이의 연관을 수행하는 단계; 대응하는 포인트를 통해 캘리브레이션을 수행하는 단계; 감마 보정을 수행하는 단계 -시간 코딩된 패턴 타겟을 디스플레이하기 전에 평면 스크린 디스플레이의 임의의 위치 및 적어도 하나의 센서 카메라에 의해 패턴 시퀀스를 캡처하는 것에 더하여 평면 스크린 디스플레이의 임의의 위치 중 적어도 하나에서, 평면 스크린 디스플레이의 감마 커브가 캡쳐 및 보정됨-를 포함한다.

Description

시간 코딩된 패턴 타겟을 사용하여 적어도 하나의 센서 카메라를 포함하는 이미지 캡처 센서를 캘리브레이션하는 방법
본 발명은 청구항 1의 특징을 갖는 시간 코딩된 패턴 타겟을 사용하여 적어도 하나의 센서 카메라를 포함하는 이미지 캡처 센서를 캘리브레이션하는 방법에 관한 것이다.
본 발명은 카메라 자체를 캘리브레이션하고, 복수의 카메라를 서로에 대해 캘리브레이션하며, 외부 좌표계와 관련하여 복수의 카메라를 포함하는 센서를 캘리브레이션하는 것에 관한 것이다.
이러한 유형의 방법은, 특히, 다양한 캘리브레이션 방법과 관련이 있다.
캘리브레이션 작업은, 예를 들면, 카메라의 내부/내적 파라미터를 결정하는 것이다. 여기서, 중요한 파라미터는 투영 중심으로부터의 투영면의 거리(초점 길이/이미지 거리/챔버 상수/카메라 상수), 이미지 평면과 광축의 교차점(주점(principal point))과 왜곡 파라미터이다. 다른 실시예는 외부/외적 파라미터를 통한 서로에 대한 2개 이상의 카메라의 방향의 결정이다. 따라서, 카메라들의 좌표계 사이에서 회전 매트릭스와 변환 벡터가 결정된다. 또한, 멀티-카메라 시스템의 방향을 결정하는 것은 외부 기계 좌표계에 대해 수행될 수 있다.
카메라 시스템(센서)의 좌표계는 로봇의 좌표계 또는 측정 기계의 좌표계와 관련하여 결정된다. 센서는 움직일 수 없도록 부착되거나(따라서, 기계 좌표계에 대해 고정됨), 기계의 툴로서 부착된다(따라서, 기계의 툴 좌표계에 대해 고정됨). 이러한 문제는 또한 "핸드-아이 캘리브레이션(hand-eye calibration)"이라는 용어로도 알려져 있다.
다른 애플리케이션은 턴테이블의 회전축, 따라서 멀티-카메라 시스템(3D 센서)의 좌표계에서 회전축의 위치 및 방향을 결정하는 것이다.
이는 3D 센서로 대상의 3D 전체를 측정하는 회전 디스크이다.
다른 애플리케이션은 멀티-카메라 시스템(3D 센서)의 좌표계에서 컨베이어 벨트의 이동 방향을 결정하는 것이다. 이는 컨베이어 벨트 상에서 이동하는 대상을 측정하는데 사용된다.
일반적으로 3차원 마커를 갖는 타겟, 예를 들면, 체커보드 패턴 또는 코딩된 원형 마커가 캘리브레이션 목적으로 사용된다. 그것과는 독립적으로, 3D 측정에서 시간 코딩의 개념이 존재한다. 패턴은 측정될 대상 위에 투영된다. 따라서, 각각의 대상 포인트는 고유의 시간 코딩을 수신한다.
시간 코딩은 또한, 캘리브레이션 타겟에 적용되는 것이 가능하다. 따라서, 시간 코딩 패턴은 프로젝터에 의해 투영되지 않으나, 스크린에 의해 표현된다. 따라서, 스크린은 캘리브레이션 타겟이 된다.
시간 코딩된 패턴 타겟을 사용하여 적어도 하나의 센서 카메라를 포함하는 이미지 캡처 센서를 캘리브레이션하기 위한 본 발명에 따른 방법을 사용하는 것은 평면 스크린 디스플레이 상에 시간 코딩된 패턴 타겟을 디스플레이하는 단계를 포함하고, 패턴 시퀀스는 평면 스크린 디스플레이 상에 디스플레이 되며, 카메라 이미지의 시퀀스로서 적어도 하나의 센서 카메라에 의해 캡처된다. 그리고, 공간에서 평면 스크린 디스플레이의 적어도 하나의 고정된 위치에 대해, 또는 공간에서 평면 스크린 디스플레이의 적어도 2개의 상이한 위치 각각에 대해, 카메라 이미지의 캡처된 이미지 포인트와 시간 코딩된 패턴 타겟의 픽셀 사이의 연관이 수행되며, 캘리브레이션은 대응하는 포인트를 통해 수행된다. 그리고, 감마 보정이 수행되는데, 시간 코딩된 패턴 타겟을 디스플레이하기 전에 평면 스크린 디스플레이의 임의의 위치에서 및/또는 적어도 하나의 센서 카메라에 의해 패턴 시퀀스를 캡처하는 것에 더하여 평면 스크린 디스플레이의 임의의 위치에서, 평면 스크린 디스플레이의 감마 커브가 캡처 및 보정된다.
일 실시예에서, 동질(homogeneous)의 그레이 스케일 이미지의 시간 시퀀스가 감마 보정 동안 평면 스크린 디스플레이 상에 디스플레이되고, 적어도 하나의 센서 카메라에 의해 캡처되며, 평면 스크린 디스플레이의 감마 커브가 결정되고, 보정 감마 커브가 후속하여 생성되며, 평면 스크린 디스플레이 상에서 표현될 패턴 시퀀스의 요소는 보정 감마 커브에 따라 디스플레이된다.
일 실시예에서, 패턴 시퀀스에 추가로 그레이 스케일 이미지의 시간 시퀀스가 평면 스크린 디스플레이 및 이미지 캡처 센서 사이의 각각의 상대 위치에 대해 디스플레이되고, 보정 감마 커브가 센서 카메라 내의 전체 이미지(보다 정확하게는, 평면 스크린 디스플레이의 전체 디스플레이 부분) 또는 각각의 이미지 포인트에 대한 그레이 스케일 이미지의 시퀀스로부터 생성되며, 패턴 시퀀스 내에서 이미지의 감마 보정이 후속하여 수행된다. 감마 보정을 사용하여 센서 카메라에 의해 캡처된 패턴 시퀀스의 이미지 또는 이전에 평면 스크린 디스플레이 상에 표시된 패턴 시퀀스의 이미지가 보정될 수 있다.
일 실시예에서, 공간의 고정된 위치에서 평면 스크린 디스플레이를 캡처할 때, 각각의 센서 카메라에 대해 노출 시간의 추가적인 자동 적응이 수행되며, 동질의 백색 이미지가 평면 스크린 디스플레이 상에 디스플레이되고, 센서 카메라에 의해 캡처되며, 센서 카메라의 노출 시간은 평면 스크린 디스플레이 상의 가장 밝은 포인트가 노출 시간의 최종값에서 센서 카메라에 의해 미리 결정된 강도값으로 캡처되도록 제어된다.
또한, 예를 들면, 센서 카메라에 의해 캡처된 강도값이 미리 결정된 강도값을 초과하는 이미지 포인트의 퍼센티지가 미리 결정된 최대 값을 초과하지 않도록, 다른 대안적인 최적화 기준의 사용이 가능하며, 예를 들면, 그레이 스케일 값이 250보다 큰 것이 이미지 포인트의 최대 10%가 되도록 한다.
일 실시예에서, 캡처된 이미지 포인트와 시간 코딩된 패턴 타겟의 픽셀을 연관시키고 이미지 캡처 센서에 대해 평면 스크린 디스플레이의 각각의 상대 위치에 대한 포인트 대응의 데이터 볼륨을 생성할 때, 픽셀과 캡처된 이미지 포인트 중 일부만이 서로 연관되고, 디스플레이되고 캡처된 패턴 이미지 사이의 호모그래피는 연관으로부터 계산되어 얻어지며, 디스플레이되고 캡처된 패턴 이미지 사이의 추가적인 연관에 대한 관련 검색 부분을 제한한다. 전반적인 아이디어는 대응하는 포인트를 연관시킬 때 계산 시간을 감소시키는 것이다.
일 실시예에서, 연관은 캡처된 이미지와 시간 코딩된 패턴 타겟의 픽셀 사이에서 수행되며, 미리 결정된 그리드 내에서 데이터 볼륨의 생성이 수행된다. 또한, 여기서 배경은 대응하는 포인트를 연관시킬 때 계산 시간을 단축하는 것이다.
일 실시예에서, 태블릿 컴퓨터 상에서 실행되는 프로그램 및/또는 태블릿 컴퓨터와 무선으로 통신하는 외부 제어 유닛 상에서 실행되는 시간 코딩된 패턴 타겟을 생성하고 디스플레이하는 프로그램을 갖는 태블릿 컴퓨터가 평면 스크린 디스플레이로서 사용된다.
일 실시예에서, 시간 코딩된 패턴 타겟의 패턴 시퀀스는 통계적으로 생성된 패턴의 시퀀스로부터 생성된다.
일 실시예에서, 시간 코딩된 패턴 타겟의 패턴 시퀀스는 규칙적인 패턴, 특히, 스트라이프 패턴 또는 체커보드 패턴의 시퀀스를 포함한다. 스트라이프 패턴은 2진 또는 연속적인 강도 분포를 가질 수 있다. 사인(sine) 형태의 (1+cos) 스트라이프 패턴은 소수 패턴에 대해서도 포인트 연관을 높은 정확도로 달성하는 것을 용이하게 하는 것과 특히 관련된다.
일 실시예에서, 평면 스크린 디스플레이는 선형 방식으로 이동하는 이송 장치 상에서 마련되며, 이송 장치의 이동 방향은 이송 장치의 선형 이동에 의해 발생된 평면 스크린 디스플레이의 선형 이동에 의해 이미지 캡처 센서를 참조하여 결정된다.
일 실시예에서, 평면 스크린 디스플레이는 회전 장치 상에 마련되며, 회전 장치의 회전축의 위치 및 방향은 회전하는 어셈블리의 회전에 따른 평면 스크린 디스플레이의 각 운동에 의해 이미지 캡처 센서를 참조하여 결정된다.
일 실시예에서, 평면 스크린 디스플레이는 로봇 장치의 이동 컴포넌트 상에 마련되며, 로봇 장치의 베이스 좌표계의 위치 및 방향은 로봇 장치의 하나 이상의 이동 컴포넌트의 회전 및/또는 선형 이동에 의해 이미지 캡처 센서를 참조하여 결정된다.
일 실시예에서, 이미지 캡처 센서는 로봇 장치의 툴 포인트와 연결되며, 평면 스크린 디스플레이는 로봇 장치와 관련하여 정적으로 마련되어, 로봇 장치의 툴 좌표계의 위치 및 방향은 로봇 장치의 툴 포인트의 회전 및/또는 선형 이동과, 그에 따른 이미지 캡처 센서의 회전 및/또는 선형 이동에 의해 이미지 캡처 센서에 관련하여 결정된다.
일 실시예에서, 평면 스크린 디스플레이는 이미지 캡처 센서에 대한 상이한 상대 위치 및 방향으로 캡처되고, 각각의 개별 센서 카메라의 내부 이미지 파라미터 및/또는 센서 카메라의 위치 및/또는 방향이 서로에 대해 결정된다.
따라서, 설명되고 청구된 방법을 수행하기 위한 태블릿 컴퓨터를 사용하는 것은 본 발명의 사상 및 범위 내에 있다.
이어서, 이 방법은 예시적인 방식으로 보다 상세하게 설명될 것이다.
이 방법과 관련하여, 캘리브레이션 자체가 아니라 캘리브레이션 타겟이 특별하다. 공간 마커에 비해 시간 기반 마커를 갖는 타겟은 다음의 이점을 갖는다.
- 시간 코딩은 많은 수의 마커를 생성한다; 따라서 스크린의 각 픽셀이 마커가 된다.
- 마커는 스크린이 충분히 크기만 하면 카메라의 시야를 완전히 채울 수 있다. 따라서, 마커는 카메라 이미지의 에지에서 등록될 수 있다. 이는 내부 캘리브레이션 동안 왜곡 파라미터를 결정하는 것과 관련된다.
- 고유한 마커의 등록은 시간 기반 코딩으로 인해 매우 신뢰성 있고, 정확하며, 간단하다.
- 예를 들면, 커버리지(coverage)로 인한 캘리브레이션 타겟의 불완전한 가시성은 캘리브레이션 원리에 영향을 미치지 않는다.
캘리브레이션 동안 하나의 카메라가 사용되거나 복수의 카메라가 조합되어 사용되며, PC에 의해 제어된다. 캘리브레이션을 위해, WLAN을 통해 PC와 연결되는 타겟, 예를 들면, 태블릿이 사용된다. 태블릿 상에 디스플레이될 패턴이 사전에 제공된다. 통계적으로 생성된 패턴이 사용되므로, 랜덤 시간 코딩된다. 그러나, 다른 시간 기반 코딩 기술, 예를 들면, 스트라이프 투영도 고려될 수 있다.
다음의 단계가 수행된다.
단계 1: 개략적(coarse) 감마 보정
처음에는 태블릿의 감마 커브가 미리 캡처되어 개략적 방식으로 보정된다. 동질의 그레이 스케일 이미지의 시퀀스가 태블릿 상에 디스플레이되는 동안 카메라가 태블릿을 캡처한다. 따라서, 태블릿의 감마 커브는 캡처된 그레이 스케일 이미지로부터 결정된다. 따라서, 다음의 관계가 성립한다:
gray scalecamera = m × gray scaletablet γ + n
또한, 원칙적으로 다른 비선형 관계도 보정될 수 있다. 그러나, 감마 커브가 실제 애플리케이션에서 가장 중요하다. 태블릿 상에 디스플레이될 패턴 이미지는 결정된 감마 값에 따라 보정된다.
gray scaletablet' = gray scaletablet -γ
따라서, 선형 컨텍스트가 태블릿의 그레이 스케일 값과 적어도 하나의 카메라의 그레이 스케일 값 사이에 유지된다. 실제로 이러한 단계는 개략적 보정만을 제공한다. 미세(fine) 보정은 각각의 측정에 대해 개별적으로 수행된다. 이론적으로, 이러한 유형의 미세 보정으로 충분할 것이다. 그러나, 실제 애플리케이션에서, 이는 센서 노이즈와 양자화 노이즈(quantification noise)에 의해 특히 분명해지는 노이즈로 인해 높은 레벨의 부정확성과 관련될 것이다. 개략적 보정은 이미지 캡처 동안 이미 카메라의 그레이 스케일 범위가 잘 활용되도록 한다. 따라서, 후속의 미세 보정은 이미지를 아주 약간만 변경한다.
단계 2: 평면 스크린 디스플레이의 캡처, 감마 보정 및 포인트 연관
따라서, 태블릿의 캡처는 고정된 위치에서 수행된다. 센서에 대한 태블릿의 위치의 선택은 캘리브레이션 작업에 의존한다.
선택적으로, 노출 시간은 초기에 각각의 카메라에 대해 개별적으로 다음의 단계로 자동 조정된다:
최대 밝기를 갖는 동질의 백색 이미지가 단계 a에서 태블릿 상에 디스플레이 된다. 단계 b에서, 이미지는 카메라에 의해 캡처된다. 결과적으로, 단계 c에서 태블릿의 디스플레이 범위가 과도하게 제어되지 않을 때까지 카메라의 노출 시간의 적응이 수행된다. 이는, 예를 들면, 태블릿의 디스플레이 부분의 가장 밝은 포인트가, 예를 들면, 카메라의 최대 강도값의 95%에 도달하는 최적의 노출 시간에 대한 검색에 대응한다. 또한, 다른 최적화 기준이 사용될 수 있으며, 상이한 알고리즘이 이러한 자동화 방법에 대해 고려될 수 있다. 이는, 예를 들면, 소위 이분법(bisection)일 수 있다.
그 후, 감마 보정을 수행하기 위해 동질의 그레이 스케일의 시퀀스를 캡처할 수 있다.
따라서, 그레이 스케일 시퀀스로부터의 각각의 이미지는 태블릿 상에 디스플레이되고 적어도 하나의 카메라에 의해 캡처된다. 그레이 스케일의 목적은 미세 감마 보정 또는 일반적으로 카메라와 태블릿의 그레이 스케일 사이의 비선형 컨텍스트의 보정이다.
패턴 시퀀스를 캡처하는 것은 이후 다음과 같이 수행된다: 통계적 패턴의 시퀀스로부터의 이미지가 이제 태블릿 상에 순차적으로 디스플레이되고 적어도 하나의 카메라에 의해 캡처된다. 따라서, 다른 패턴 유형, 예를 들면 스트라이프 패턴도 고려될 수 있다.
설명된 패턴의 시퀀스는 초기에는 그레이 스케일 이미지를 의미하고, 다음으로 패턴 이미지, 2개 사이의 교환된 시퀀스 또는 심지어 겹치는 시퀀스를 의미할 수 있는데, 이는 캘리브레이션 원리와 무관하다. 유일하게 중요한 점은 캡처된 이미지가 어느 디스플레이되는 이미지와 대응하는지를 후속 처리 중에 인지하는 것이다.
그 후, 캡처된 이미지의 처리는 각각의 카메라에 대해 개별적으로 수행되며 다음의 단계를 포함한다:
선택적으로 디스플레이의 디스플레이 부분의 결정이 수행된다.
디스플레이된 패턴 이미지 및/또는 그레이 스케일 이미지로부터, 디스플레이의 디스플레이 부분의 위치가 카메라 이미지에서 결정된다. 따라서, 강도의 시간 에 기초한 변화(예를 들면, 강도값의 시간 기반 표준 편차)가 각 이미지 포인트와 각 카메라에 대해 사용된다. 시간에 기초한 강도 변화가 미리 결정된 임계치보다 큰 경우, 대응하는 이미지 포인트는 디스플레이의 디스플레이 부분과 연관된다. 또한, 강도의 시간 기반 평균과 같은 추가적인 통계값이 대안적/보완적 기준으로서 사용될 수 있다. 감마 커브를 결정하고 보정하며 대응하는 이미지 포인트를 연관시키는 후속 단계는 이렇게 결정된 디스플레이의 디스플레이 부분의 이미지 포인트로 제한될 수 있다.
감마 커브를 결정하고 보정하는 것은 반드시 수행되어야 할 필요는 없지만, 수행되는 경우 다음의 단계를 포함한다:
다음 관계가 카메라의 각 픽셀 (u, v)에 대해 결정된다.
gray scalecamera(u, v) = m(u, v) × gray scaletablet(u, v)γ(u, v) + n(u, v)
캡처된 패턴 이미지는 이제 n(u, v), m(u, v) 및 γ(u, v)에 따라 보정된다.
gray scalecamera'(u, v) = [(gray scalecamera(u, v) - n(u, v))/m(u, v)]-γ(u, v)
따라서, 다른 비선형 관계도 원칙적으로 수정될 수 있다.
대안적으로, 감마 커브는 각각의 픽셀 (u, v)에 대해 개별적으로가 아니라 전체 이미지에 대해 개별적으로 결정될 수 있다:
gray scalecamera(u, v) = m × gray scaletablet(u, v)γ + n
이어서, 캡처된 패턴 이미지는 파라미터 n, m, γ에 따라 보정된다.
gray scalecamera'(u, v) = [(gray scalecamera(u, v) - n)/m]-γ
대안적으로, 평면 스크린 디스플레이 상에 이전에 디스플레이된 패턴 이미지는, 감마 커브가 각각의 이미지 포인트에 대해 개별적으로 결정되지 않고, 디스플레이의 전체 디스플레이 부분에 대해 결정되는 이러한 경우, 다음과 같이 보정될 수 있다:
gray scaletablet'(u, v) = m × gray scaletablet(u, v)γ + n
대응하는 이미지 포인트의 필요한 연관은 이제 다음과 같이 수행된다.
태블릿의 각 픽셀은 단계 1에서 카메라에서의 대응하는 이미지 포인트와 연관되는데, 이 카메라는 단계 1에서의 이러한 태블릿 픽셀을 서브 픽셀까지 정확하게 이미징한다. 따라서, 패턴 이미지 시퀀스의 강도값의 유사성이 결정되는데, 강도값은 카메라에 의하여 캡쳐된 또는 태블릿 상의 시간 시퀀스에서의 이러한 포인트에서 디스플레이된다. 표준화된 상호 상관(cross correlation) 또는 차이의 절댓값의 합이, 예를 들면, 유사성의 척도로서 사용될 수 있다. 이는 어떤 유형의 패턴이 사용되는지에 의존하여 수행되지만, 다른 유사성 척도도 고려될 수 있다. 사인 형태의 스트라이프 패턴에 대해, 예를 들면, 소위 위상 처리가 수행될 수 있다. 위상 처리뿐만 아니라 표준 상호 상관 또한 디스플레이되는 강도값과 캡처된 강도값 사이의 선형 관계를 고려할 수 있다.
감마 커브와 같은 비선형 관계는 고려될 수 없다. 본 방법에 따라 사용되는 감마 보정이 없으면 연관된 포인트 대응의 정확도는 매우 나쁘다.
결과적으로, 포인트 대응을 갖는 생성된 리스트가 제공되어, 후속하여 더 처리된다.
필요한 계산 로드를 감소시키기 위해, 여러 방안이 추가로 수행될 수 있다.
초기에는 소수의 포인트만이 연관될 수 있으며, 연관 포인트로부터 태블릿과 카메라의 이미지 평면 사이의 소위 호모그래피가 결정될 수 있어, 추가적인 포인트 연관에 대한 검색 범위를 제한하는 것을 가능하게 한다. 또한, 이미지 포인트가 일반적으로 태블릿의 각 포인트와 연관되지 않고, 미리 결정된 그리드로부터의 오직 소수의 포인트와만 연관되는 것도 가능하다.
계산 로드를 감소시키기 위한 이러한 선택적 방안은 다음 배경을 갖는다: 하나의 평면(여기서는 평면 패널 디스플레이)의 포인트를 다른 평면(즉, 카메라의 이미지 평면)으로 투영하는 것이 소위 호모그래피로 설명될 수 있다. 호모그래피가 카메라에 대한 평면 디스플레이의 특정 위치 및 방향에 대해 알려진 경우, 대응하는 이미지 포인트는 평면 디스플레이의 각 포인트에 대해 카메라에서 직접적으로 계산될 수 있다. 이는 초기에 검색 범위를 제한하지 않는 상대적으로 큰 제1 연관으로 카메라의 이미지 포인트를 예를 들어 미리 결정된 그리드로부터 태블릿의 소수 픽셀에만 연관시키고, 이러한 대응으로부터 개략적 호모그래피를 계산하는 것에 의해 사용될 수 있으며, 개략적 호모그래피는 대응하는 투영을 설명한다.
제2의 더 미세한 포인트 연관으로, 카메라의 대응하는 이미지 포인트는, 예를 들면 미리 결정된 더 미세한 그리드에서, 평면 디스플레이의 훨씬 더 많은 수의 픽셀과 연관되며, 또는 대안적으로 모든 픽셀과 연관된다. 그러나, 이제, 초기 이미지 포인트는 개략적 호모그래피를 사용하여 태블릿의 각 픽셀에 대해 카메라에서 계산되고, 대응하는 이미지 포인트의 검색은 이러한 픽셀에 대해 카메라의 이미지 평면의 부분, 예를 들면, 각각의 초기 이미지 포인트에 대한 미리 결정된 크기의 원 또는 직사각형으로 제한된다.
후속하는 단계 3에서, 태블릿의 위치가 변경된다. 이는 태블릿이 어디에 위치하는지, 그리고 태블릿의 위치가 어떻게 바뀌는지의 캘리브레이션 작업에 따라 달라진다. 컨베이어 벨트를 캘리브레이션할 때, 태블릿은, 예를 들면, 컨베이어 벨트 상에 놓이며, 알 필요가 없는 임의의 양만큼 컨베이어 벨트에 의해 이동된다.
턴테이블을 캘리브레이션할 때, 태블릿은 턴테이블 상에 있으며, 알 필요가 없는 임의의 양만큼 턴테이블에 의해 회전된다.
로봇을 캘리브레이션할 때, 태블릿은 견고한 방식으로 로봇의 툴 포인트에 부착되며, 임의의 양만큼 회전 및/또는 이동된다. 로봇의 베이스 좌표계와 로봇의 툴 좌표계 사이의 현재 변환을 알고 있어야 한다. 그러나, 원칙적으로 로봇의 소프트웨어와 그 제어로부터 이러한 정보를 결정하는 것은 문제가 되지 않는다.
태블릿의 위치 및/또는 카메라의 위치가 변경되는지 여부는 캘리브레이션 작업에 따라 다르다. 따라서, 디스플레이에 대한 카메라의 상대 위치 및/또는 방향이 변경된다는 것이 중요하다. 특히, 청구항 1의 평면 스크린 디스플레이의 상이한 위치가 언급되는 경우, 이는 항상 평면 스크린 디스플레이의 위치 및/또는 방향이 이미지 캡처 센서에 대해 변경되는 것을 의미한다.
다음 단계 4에서, 단계 2 및 3이 여러 차례 반복된다.
따라서, 태블릿은 다양한 위치에서 캡처된다. 위치의 수는 캘리브레이션 작업에 따라 달라진다. 그 결과, 포인트 대응을 갖는 리스트는 태블릿의 각 위치 및 이미지 캡처 센서의 적어도 하나의 카메라 각각에 대해 단계 2 및 3의 몇 번의 적용 이후에 얻어지므로, 리스트는 각각의 카메라의 각 이미지 포인트가 연관된 태블릿의 픽셀을 갖는다.
다음 단계 5에서, 실제 캘리브레이션 작업은 단계 2 및 3을 사용하여 단계 4에서 결정된 포인트 대응의 리스트를 사용하여 수행될 수 있다. 실제 절차는 후속 예시에 의해 강조된 바와 같이 캘리브레이션 작업에 따라 달라진다.
턴테이블을 캘리브레이션할 때, 절차는 다음과 같다:
태블릿이 턴테이블 상에 배치된다. 태블릿은 턴테이블에서 고정되어야 하므로, 턴테이블이 회전할 때 슬라이딩할 필요가 없다. 그 후, 태블릿은 단계 2에서 설명된 바와 같이 2개의 카메라를 포함하는 센서에 의해 캡처된다. 따라서, 센서는 미리 자체적으로 캘리브레이션되어야 한다. 따라서, 턴테이블은 태블릿과 함께 각각의 캡처 이후 가변적인 임의의 양만큼 회전한다. 이어서, 태블릿은, 예를 들면, 턴테이블의 10개의 상이한 각도 위치에서 캡처된다.
따라서, 포인트 대응을 갖는 2개의 리스트가 턴테이블의 각 각도 위치에 대해 생성되며, 이는 각각의 카메라에 대해 리스트가 생성된다는 것을 의미한다. 이제, 태블릿의 각 픽셀에 대한 이러한 리스트에 있어서, 2개의 대응하는 이미지 포인트가 2개의 카메라 모두에서 필터링된다. 센서 자체가 이전에 별도로 캘리브레이션되었기 때문에, 2개의 대응하는 이미지 포인트의 이러한 좌표로부터, 대응하는 태블릿-픽셀의 공간의 위치가 평소와 같이 삼각 측량에 의해 재구성될 수 있다.
전술한 단계 4가 턴테이블의 각각의 각도 위치 및 태블릿의 각 픽셀에 대해 반복될 때, 원형 궤적이 태블릿의 각 픽셀에 대해 얻어지며, 원형 궤적은 턴테이블의 회전 동안의 픽셀을 나타낸다. 각각의 궤적에 대해, 평면은 평면 피팅(plane fitting)에 의해 결정될 수 있으며, 궤적은 평면 내에 위치한다. 마찬가지로, 원의 중심이 원형 피팅(circular fit)에 의해 결정될 수 있다.
궤적의 평면은 항상 턴테이블의 회전축의 방향을 정의하는 동일한 직교 벡터를 갖는다. 회전축의 방향 이외에, 원형 궤적의 중심으로부터, 회전축의 위치가 결정될 수 있다.
핸드-아이 캘리브레이션을 수행할 때, 태블릿이 로봇의 툴 포인트에 고정되며, 2개의 카메라를 포함하는 센서는 로봇의 베이스에 대해 고정된다. 이제 태블릿이 센서에 의해 캡처되며, 센서는 이전에 개별적으로 캘리브레이션 되었어야 하지만, 원칙적으로 핸드-아이 캘리브레이션 동안 카메라 시스템 자체의 내적 및 외적 파라미터를 결정하는 것도 가능하다. 동시에, 로봇의 실제 자세, 즉 로봇의 베이스 좌표계에 대한 툴 포인트의 위치 및 방향이 저장된다.
이제, 태블릿의 위치 및/또는 방향은, 로봇의 자세, 즉 툴 포인트의 위치 및 방향이 조정되므로, 변경된다. 이제, 로봇의 각 자세에 대해, 포인트 대응을 갖는 2개의 리스트가 얻어지며, 이는 각각의 카메라마다 하나씩 리스트가 얻어지는 것을 의미한다. 이제, 2개의 대응하는 이미지 포인트가, 태블릿의 각 픽셀에 대해 이러한 리스트에 있어서, 2개의 카메라 모두에서 필터링된다. 2개의 이미지 포인트의 이러한 좌표로부터, 대응하는 태블릿 픽셀의 공간에서의 위치가 삼각 측량에 의해 평소처럼 재구성될 수 있고, 즉, 센서 자체는 이전에 별도로 보정되었다. 태블릿 픽셀의 2-D 좌표 및 연관된 재구성된 3-D 좌표로부터, 센서 좌표계에 대한 태블릿의 위치 및 방향은 로봇의 각 자세에 대해 공지된 방식으로 계산될 수 있다.
앞의 단계는 로봇의 베이스 좌표계에 대한 툴 포인트의 위치 및 방향뿐 아니라 로봇의 각 자세에 대한 센서 좌표계에 대한 태블릿의 위치 및 방향을 제공한다. 로봇의 베이스 좌표계에 대한 센서의 위치 및 방향은 이러한 대응하는 위치 및 방향으로부터 공지된 방식으로 계산될 수 있다.
본 발명에 따른 방법은 유익한 실시예를 참조하여 설명되었다. 종속항으로부터 또한 명백한 이러한 실시예의 특징들은 통상의 기술자에 의해 추가적인 실시예로 결합될 수 있다.

Claims (16)

  1. 시간 코딩된 패턴 타겟을 사용하여 적어도 하나의 이미징 센서를 포함하는 이미지 캡처 센서를 캘리브레이션하는 방법으로서, 상기 방법은:
    스크린 상에 상기 시간 코딩된 패턴 타겟을 디스플레이하기 위해 생성하는 단계 - 상기 시간 코딩된 패턴 타겟은 상기 스크린의 이미지 평면에 순차적으로 디스플레이하기 위한 시간 코딩된 패턴의 패턴 시퀀스를 포함하고, 상기 시간 코딩된 패턴 타겟의 패턴 시퀀스는 통계적으로 생성된 패턴의 시퀀스를 포함함 -;
    상기 이미지 캡처 센서로부터 상기 패턴 시퀀스를 캡처하는 이미지의 시퀀스를 수신하는 단계 - 상기 이미지의 시퀀스의 각각의 이미지는 상기 통계적으로 생성된 패턴의 시퀀스의 통계적으로 생성된 패턴에 대응함 -;
    상기 이미지의 시퀀스의 하나 이상의 캡처된 이미지 포인트와 상기 시간 코딩된 패턴의 패턴 시퀀스의 하나 이상의 픽셀 사이의 연관을 결정하고, 공간에서 상기 스크린의 적어도 하나의 고정된 위치에 대해 포인트 대응을 생성하는 단계; 및
    상기 포인트 대응에 기초하여 상기 이미지 캡처 센서를 캘리브레이션하는 단계를 포함하는 방법.
  2. 청구항 1에 있어서,
    공간의 상기 고정된 위치에서 상기 스크린을 캡처할 때, 상기 적어도 하나의 이미징 센서에 대해 노출 시간의 자동 적응을 수행하는 단계로서,
    동질(homogenous)의 백색 이미지를 상기 스크린 상에 디스플레이하고, 상기 적어도 하나의 이미징 센서에 의해 상기 스크린을 캡처하는 단계, 및
    상기 적어도 하나의 이미징 센서의 노출 시간을, 상기 적어도 하나의 이미징 센서에 의해 캡처된 상기 스크린의 상기 하나 이상의 이미지 포인트의 강도값이 상기 노출 시간의 최종값에서 미리 결정된 최적화 기준을 따를 때까지 조정하는 단계를 포함하는 단계를 더 포함하는 방법.
  3. 청구항 1에 있어서,
    상기 하나 이상의 캡처된 이미지 포인트와 상기 하나 이상의 픽셀 사이의 연관을 결정하고, 상기 포인트 대응을 생성하는 단계는,
    상기 포인트 대응을 생성하기 위해 상기 하나 이상의 캡처된 이미지 포인트와 상기 하나 이상의 픽셀의 일부 사이의 연관을 결정하는 단계; 및
    상기 시간 코딩된 패턴의 디스플레이된 패턴 시퀀스와 상기 캡처된 이미지의 시퀀스 사이의 호모그래피(homography)를 상기 포인트 대응으로부터 계산하는 단계를 포함하고,
    상기 호모그래피는 상기 시간 코딩된 패턴의 디스플레이된 패턴 시퀀스와 상기 캡처된 이미지의 시퀀스 사이의 추가적인 포인트 대응에 대한 관련 검색 영역을 제한하는 것을 특징으로 하는 방법.
  4. 청구항 1에 있어서,
    상기 시간 코딩된 패턴의 패턴 시퀀스의 하나 이상의 픽셀과 상기 이미지의 시퀀스의 하나 이상의 캡처된 이미지 포인트 사이의 연관을 결정하고, 상기 포인트 대응을 생성하는 단계는,
    상기 이미지의 시퀀스의 하나 이상의 캡처된 이미지 포인트와 상기 시간 코딩된 패턴의 패턴 시퀀스의 하나 이상의 픽셀 사이의 연관을 결정하고, 미리 결정된 그리드(grid) 내에서 상기 포인트 대응을 생성하는 단계, 또는
    상기 이미지의 시퀀스의 하나 이상의 캡처된 이미지 포인트와 상기 시간 코딩된 패턴의 패턴 시퀀스의 하나 이상의 픽셀 사이의 연관을 결정하고, 공간에서 상기 스크린의 적어도 하나의 고정된 위치와 공간에서 상기 스크린의 다른 하나의 위치에 대해 상기 포인트 대응을 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
  5. 청구항 1에 있어서,
    상기 스크린은 상기 시간 코딩된 패턴 타겟의 디스플레이를 위해 생성하기 위해 태블릿 컴퓨터 상에서 실행되는 프로그램 또는 상기 태블릿 컴퓨터와 무선으로 통신하는 외부 제어 유닛 상에서 실행되는 프로그램 중 적어도 하나를 갖는 태블릿 컴퓨터 상에 마련되는 것을 특징으로 하는 방법.
  6. 청구항 1에 있어서,
    상기 시간 코딩된 패턴 타겟의 상기 패턴 시퀀스는 스트라이프 패턴 또는 체커보드(checkerboard) 패턴을 포함하는 규칙적인 패턴의 시퀀스를 포함하는 것을 특징으로 하는 방법.
  7. 청구항 1에 있어서,
    상기 스크린은 선형 이송 장치 상에 마련되며,
    상기 방법은, 상기 이미지 캡처 센서에 대한 상기 선형 이송 장치의 이동 방향을 상기 선형 이송 장치의 선형 이동에 의해 발생된 상기 스크린의 이동에 기초하여 결정하는 단계를 더 포함하거나, 또는
    상기 스크린은 회전 장치 상에 마련되며,
    상기 방법은, 상기 이미지 캡처 센서에 대한 상기 회전 장치의 회전축의 위치 및 방향을 상기 회전 장치의 회전에 의해 발생되는 상기 스크린의 각(angular) 운동에 기초하여 결정하는 단계를 더 포함하거나, 또는
    상기 스크린은 로봇 장치의 이동 컴포넌트 상에 마련되며,
    상기 방법은, 상기 로봇 장치의 하나 이상의 이동 컴포넌트의 회전 또는 선형 이동에 기초하여 상기 이미지 캡처 센서에 대한 상기 로봇 장치의 베이스 좌표계의 위치 및 방향을 결정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  8. 청구항 1에 있어서,
    상기 이미지 캡처 센서는 로봇 장치의 툴 포인트와 연결되고, 상기 스크린은 상기 로봇 장치에 대해 정적으로 마련되며,
    상기 방법은, 상기 이미지 캡쳐 센서와 상기 로봇 장치의 상기 툴 포인트의 회전 또는 선형 이동에 기초하여 상기 이미지 캡처 센서에 관련하여 상기 로봇 장치의 툴 좌표계의 위치 및 방향을 결정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  9. 청구항 1에 있어서,
    상기 방법은,
    상기 스크린을 상기 이미지 캡처 센서에 대한 상이한 상대 위치 및 방향으로 캡처하는 단계; 및
    상기 적어도 하나의 이미징 센서의 내부 이미지 파라미터, 또는 상기 적어도 하나의 이미징 센서 중 둘 이상의 위치 및 방향을 서로에 대해 결정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  10. 시간 코딩된 패턴 타겟을 사용하여 적어도 하나의 이미징 센서를 포함하는 이미지 캡처 센서를 캘리브레이션하는 시스템으로서, 상기 시스템은:
    스크린 상에 상기 시간 코딩된 패턴 타겟을 디스플레이하기 위해 생성하고 - 상기 시간 코딩된 패턴 타겟은 상기 스크린의 이미지 평면에 순차적으로 디스플레이하기 위한 시간 코딩된 패턴의 패턴 시퀀스를 포함하고, 상기 시간 코딩된 패턴 타겟의 패턴 시퀀스는 통계적으로 생성된 패턴의 시퀀스를 포함함 -;
    상기 이미지 캡처 센서로부터 상기 패턴 시퀀스를 캡처하는 이미지의 시퀀스를 수신하고 - 상기 이미지의 시퀀스의 각각의 이미지는 상기 통계적으로 생성된 패턴의 시퀀스의 통계적으로 생성된 패턴에 대응함 -;
    상기 이미지의 시퀀스의 하나 이상의 캡처된 이미지 포인트와 상기 시간 코딩된 패턴의 패턴 시퀀스의 하나 이상의 픽셀 사이의 연관을 결정하고, 공간에서 상기 스크린의 적어도 하나의 고정된 위치에 대해 포인트 대응을 생성하고; 그리고
    상기 포인트 대응에 기초하여 상기 이미지 캡처 센서를 캘리브레이션하도록 구성된 프로세서를 포함하는 시스템.
  11. 적어도 하나의 프로세서에 의해 실행될 때, 시간 코딩된 패턴 타겟을 사용하여 적어도 하나의 이미징 센서를 포함하는 이미지 캡처 센서를 캘리브레이션하는 방법을 수행하는 실행 가능한 명령이 인코딩되어 있는 비일시적 컴퓨터 판독 가능 매체로서, 상기 방법은:
    스크린 상에 상기 시간 코딩된 패턴 타겟을 디스플레이하기 위해 생성하는 단계 - 상기 시간 코딩된 패턴 타겟은 상기 스크린의 이미지 평면에 순차적으로 디스플레이하기 위한 시간 코딩된 패턴의 패턴 시퀀스를 포함하고, 상기 시간 코딩된 패턴 타겟의 패턴 시퀀스는 통계적으로 생성된 패턴의 시퀀스를 포함함 -;
    상기 이미지 캡처 센서로부터 상기 패턴 시퀀스를 캡처하는 카메라 이미지의 시퀀스를 수신하는 단계 - 상기 이미지의 시퀀스의 각각의 이미지는 통계적으로 생성된 패턴의 시퀀스의 통계적으로 생성된 패턴에 대응함 -;
    상기 이미지의 시퀀스의 하나 이상의 캡처된 이미지 포인트와 시간 코딩된 패턴의 패턴 시퀀스의 하나 이상의 픽셀 사이의 연관을 결정하고, 공간에서 상기 스크린의 적어도 하나의 고정된 위치에 대해 포인트 대응을 생성하는 단계; 및
    상기 포인트 대응에 기초하여 상기 이미지 캡처 센서를 캘리브레이션하는 단계를 포함하는 비일시적 컴퓨터 판독 가능 매체.
  12. 청구항 1에 있어서,
    상기 스크린은 평면 스크린 디스플레이를 포함하며, 또는 선택적으로 상기 평면 스크린 디스플레이는 태블릿 컴퓨터 상에 마련되는 방법.
  13. 청구항 1에 있어서,
    상기 스크린의 위치의 감마 커브를 캡처하는 것과 상기 감마 커브를 보정하는 것을 포함하는 감마 보정을 수행하는 단계를 더 포함하는 방법.
  14. 청구항 13에 있어서,
    상기 감마 보정은 상기 시간 코딩된 패턴 타겟을 디스플레이하기 위해 생성하기 전에 수행되는 방법.
  15. 청구항 13에 있어서,
    상기 감마 보정을 수행하는 단계는,
    상기 스크린 상에 동질의 그레이(gray) 스케일 이미지의 시간 시퀀스를 디스플레이하기 위해 생성하고, 상기 적어도 하나의 이미징 센서에 의해 상기 시간 시퀀스를 캡처하는 단계,
    상기 스크린의 상기 감마 커브를 결정하고 보정 감마 커브를 후속하여 생성하는 단계, 및
    상기 패턴 시퀀스의 시간 코딩된 패턴을 상기 보정 감마 커브에 따라 디스플레이하는 단계를 포함하는 것을 특징으로 하는 방법.
  16. 삭제
KR1020197001700A 2016-06-20 2017-06-20 시간 코딩된 패턴 타겟을 사용하여 적어도 하나의 센서 카메라를 포함하는 이미지 캡처 센서를 캘리브레이션하는 방법 KR102255017B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102016111226 2016-06-20
DE102016111226.7 2016-06-20
PCT/EP2017/065120 WO2017220600A2 (de) 2016-06-20 2017-06-20 Verfahren zur kalibrierung eines bilderfassenden sensors aus mindestens einer sensorkamera unter verwendung eines zeitlich kodierten mustertargets

Publications (2)

Publication Number Publication Date
KR20190020086A KR20190020086A (ko) 2019-02-27
KR102255017B1 true KR102255017B1 (ko) 2021-05-24

Family

ID=60481333

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197001700A KR102255017B1 (ko) 2016-06-20 2017-06-20 시간 코딩된 패턴 타겟을 사용하여 적어도 하나의 센서 카메라를 포함하는 이미지 캡처 센서를 캘리브레이션하는 방법

Country Status (5)

Country Link
US (1) US11388375B2 (ko)
KR (1) KR102255017B1 (ko)
CN (1) CN109496265B (ko)
DE (1) DE102017113471A1 (ko)
WO (1) WO2017220600A2 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110809786B (zh) * 2017-06-20 2023-10-27 索尼互动娱乐股份有限公司 校准装置、校准图表、图表图案生成装置和校准方法
US11637973B2 (en) * 2019-08-23 2023-04-25 Ignis Innovation Inc. Pixel location calibration image capture and processing
CN111141311B (zh) * 2019-12-31 2022-04-08 武汉中海庭数据技术有限公司 一种高精度地图定位模块的评估方法及系统
EP4120669B1 (en) * 2021-07-14 2023-12-13 Stereyo BV Methods for improved camera view in studio applications
KR102621599B1 (ko) * 2021-10-01 2024-01-05 주식회사 앤트랩 다중 센서 장치를 위한 캘리브레이션 방법 및 캘리브레이션 시스템
CN116839509A (zh) * 2023-09-01 2023-10-03 南京信息工程大学 一种二值编码结合误差扩散算法的三维测量方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080062164A1 (en) * 2006-08-11 2008-03-13 Bassi Zorawar System and method for automated calibration and correction of display geometry and color
US20090027523A1 (en) * 2007-07-25 2009-01-29 Nelson Liang An Chang System and method for determining a gamma curve of a display device
WO2011143576A2 (en) * 2010-05-14 2011-11-17 Cognex Technology And Investment Corporation System and method for robust calibration between a machine vision system and a robot

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8225863B2 (en) 2009-07-31 2012-07-24 Baker Hughes Incorporated Multi-zone screen isolation system with selective control
EP2400261A1 (de) * 2010-06-21 2011-12-28 Leica Geosystems AG Optisches Messverfahren und Messsystem zum Bestimmen von 3D-Koordinaten auf einer Messobjekt-Oberfläche
US9066087B2 (en) * 2010-11-19 2015-06-23 Apple Inc. Depth mapping using time-coded illumination
US8743214B2 (en) * 2011-05-11 2014-06-03 Intel Corporation Display screen for camera calibration
US8619144B1 (en) * 2012-03-14 2013-12-31 Rawles Llc Automatic camera calibration
US9008352B2 (en) * 2012-12-27 2015-04-14 Panasonic Intellectual Property Corporation Of America Video display method
CN105491315B (zh) * 2016-02-29 2018-05-18 河北工业大学 一种投影仪伽马校正方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080062164A1 (en) * 2006-08-11 2008-03-13 Bassi Zorawar System and method for automated calibration and correction of display geometry and color
US20090027523A1 (en) * 2007-07-25 2009-01-29 Nelson Liang An Chang System and method for determining a gamma curve of a display device
WO2011143576A2 (en) * 2010-05-14 2011-11-17 Cognex Technology And Investment Corporation System and method for robust calibration between a machine vision system and a robot

Also Published As

Publication number Publication date
CN109496265B (zh) 2023-04-28
US20190132560A1 (en) 2019-05-02
DE102017113471A1 (de) 2017-12-21
CN109496265A (zh) 2019-03-19
KR20190020086A (ko) 2019-02-27
WO2017220600A2 (de) 2017-12-28
US11388375B2 (en) 2022-07-12
WO2017220600A3 (de) 2018-03-01

Similar Documents

Publication Publication Date Title
KR102255017B1 (ko) 시간 코딩된 패턴 타겟을 사용하여 적어도 하나의 센서 카메라를 포함하는 이미지 캡처 센서를 캘리브레이션하는 방법
US11386581B2 (en) Multi view camera registration
US10823552B2 (en) Method for the three dimensional measurement of moving objects during a known movement
CN109215108B (zh) 基于激光扫描的全景三维重建系统及方法
TWI489082B (zh) 用於校正雷射量測裝置的方法及其系統
US9858684B2 (en) Image processing method and apparatus for calibrating depth of depth sensor
US8970853B2 (en) Three-dimensional measurement apparatus, three-dimensional measurement method, and storage medium
US10571254B2 (en) Three-dimensional shape data and texture information generating system, imaging control program, and three-dimensional shape data and texture information generating method
JP2015203652A (ja) 情報処理装置および情報処理方法
JP2012215394A (ja) 三次元計測装置および三次元計測方法
US20180180407A1 (en) Image processing apparatus and image processing method
JP2017511038A (ja) ２つの投影手段の改良された位置合わせ方法
JP6282377B2 (ja) ３次元形状計測システムおよびその計測方法
US11259000B2 (en) Spatiotemporal calibration of RGB-D and displacement sensors
CN102628693A (zh) 一种用于摄像机主轴与激光束进行平行配准的方法
CN111047552B (zh) 三维挠度测量方法及相关产品
CN114295331B (zh) 一种多摄模组光轴测试方法、装置、设备和介质
KR101583131B1 (ko) 증강현실 기반 오프셋 캘리브레이션 제공 방법 및 시스템
Westfeld et al. Photogrammetric calibration of range imaging sensors using intensity and range information simultaneously
Schmid et al. High-precision lens distortion correction using smoothed thin plate splines
CN109872368B (zh) 图像处理方法、装置及测试系统
JP2013165344A (ja) 画像処理装置及び画像処理方法
KOCHI et al. Human Body Measurement by Digital Photogrammetry System

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant