KR102261020B1 - 개선된 카메라 캘리브레이션 시스템, 타겟 및 프로세스 - Google Patents

개선된 카메라 캘리브레이션 시스템, 타겟 및 프로세스 Download PDF

Info

Publication number
KR102261020B1
KR102261020B1 KR1020197001581A KR20197001581A KR102261020B1 KR 102261020 B1 KR102261020 B1 KR 102261020B1 KR 1020197001581 A KR1020197001581 A KR 1020197001581A KR 20197001581 A KR20197001581 A KR 20197001581A KR 102261020 B1 KR102261020 B1 KR 102261020B1
Authority
KR
South Korea
Prior art keywords
cameras
camera
target
movable platform
tessellated
Prior art date
Application number
KR1020197001581A
Other languages
English (en)
Other versions
KR20190021342A (ko
Inventor
제프리 스티븐 크란스키
프레데릭 데니스 자이다
그레이스 베솜
그레이스 신-이 츠사이
제레미 에이. 그래타
지헹 지아
리 지앙
Original Assignee
매직 립, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 매직 립, 인코포레이티드 filed Critical 매직 립, 인코포레이티드
Priority to KR1020217016447A priority Critical patent/KR102487546B1/ko
Publication of KR20190021342A publication Critical patent/KR20190021342A/ko
Application granted granted Critical
Publication of KR102261020B1 publication Critical patent/KR102261020B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/247—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G15/00—Conveyors having endless load-conveying surfaces, i.e. belts and like continuous members, to which tractive effort is transmitted by means other than endless driving elements of similar configuration
    • B65G15/28—Conveyors with a load-conveying surface formed by a single flat belt, not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Abstract

카메라 캘리브레이션을 수행하기 위한 개선된 방법, 시스템 및 장치가 제공되며, 여기서 카메라들은 다중-평면 캘리브레이션 타겟의 이미지들을 캡처하기 위해, 이동하는 이송 장치 상에 장착된다. 캘리브레이션 프로세스는 전체 정보 밀도를 보존하는 동시에, 캡처되는 이미지들의 수를 감소시킴으로써 최적화된다.

Description

개선된 카메라 캘리브레이션 시스템, 타겟 및 프로세스
[0001] 본 출원은 일반적으로 하나 또는 그 초과의 사용자들에 대한 인터랙티브 가상 및 증강 현실을 용이하게 하기 위한 카메라 캘리브레이션(camera calibration)을 위한 시스템들 및 방법들에 관한 것이다.
[0002] 카메라는, 이미지들 또는 비디오를 캡처하는 데 종종 사용되는 디바이스이다. 카메라에 의해 캡처된 데이터는 다양한 상이한 목적들 및 맥락들에서 사용된다. 예컨대, 웨어러블 디바이스는 웨어러블 디바이스의 사용자 주위의 주변 환경에 대한 이미지 데이터를 제공하기 위해 하나 또는 그 초과의 온보드 카메라들을 포함할 수 있다. 일 예는 스테레오스코픽 디스플레이(stereoscopic display)들을 통한 사용자에게로의 증강 현실 프리젠테이션을 위한 이미지들을 캡처하도록 구성된 2개의 전방-지향(forward-oriented) 카메라들을 피처링하는 스테레오스코픽 웨어러블 안경이다. 웨어러블 안경은 또한 사용자의 눈들의 이미지들을 캡처하기 위한 후방-지향(backward-oriented) 카메라들을 포함할 수 있다.
[0003] 카메라 캘리브레이션은 종종, 카메라의 정밀도 및 정확성뿐만 아니라 카메라에 의해 캡처된 이미지 데이터로부터 추출된 정보를 보장하도록 수행된다. 카메라 캘리브레이션 프로세스는 이미지를 생성하는 카메라 디바이스의 진정한 파라미터들을 결정하며, 이는 내재적 파라미터들 및 외재적 파라미터들과 같은 카메라의 캘리브레이션 데이터를 결정할 수 있게 한다. 내재적 파라미터들은 초점, 초점 길이, 주점(principal point) 및 왜곡 계수들을 포함(그러나 이에 제한되지 않음)한다. 외재적 파라미터들은 다수의 카메라들 간의 포지션 관계들 및 센서들 간의 병진 및 회전 오프셋들을 포함(그러나 이에 제한되지 않음)한다.
[0004] 통상적으로, 카메라 캘리브레이션 프로세스는 단일 체커보드 타겟(checkerboard target)을 상이한 포즈들의 큰 세트를 통해 수동으로 이동시킴으로써 수행된다. 각각의 포즈에서, 체커보드 타겟은 체커보드 전체가 카메라의 시야 내에 유지되도록 보장하면서, 카메라가 타겟의 이미지를 캡처하는 동안 계속 완전히 정지된 채로 유지된다. 모든 포즈들이 프로세싱될 때까지 사이클이 지속된다.
[0005] 이러한 접근법은 극도로 힘들고 시간 소모적이기 때문에, 이러한 유형의 캘리브레이션 프로세스와 관련하여, 다수의 단점들이 존재한다. 더욱이, 다수의 포즈들을 통해 타겟을 이동시키는 요건은, 비용이 많이 들고 복잡한 타겟 이동 디바이스들이 도입되지 않는 한, 캘리브레이션 프로세스에 상당한 변동성의 가능성을 도입하고, 반복 가능한 결과의 획득 불능을 증가시키며, 이는 캘리브레이션 프로세스에 대한 훨씬 더 많은 비용 및 복잡성들을 일으킨다. 이러한 문제들은, 매우 다수의 카메라들이 시간 효율적이고 반복 가능한 방식으로 캘리브레이팅될 필요가 있는 대량 제조에서 종래의 카메라 캘리브레이션 프로세스가 사용 가능하지 않다는 것을 의미한다.
[0006] 따라서, 카메라 캘리브레이션을 구현하기 위한 개선된 접근법에 대한 필요성이 존재한다.
[0007] 본 개시내용의 실시예들은, 카메라 캘리브레이션을 수행하기 위한 개선된 방법, 시스템 및 장치를 제공하며, 여기서 카메라들은 다중-평면 캘리브레이션 타겟의 이미지들을 캡처하기 위해 이동하는 이송 장치 상에 장착된다. 다중-평면 캘리브레이션 타겟은 일부 실시예들에서 백라이트된 타겟이다. 캘리브레이션 프로세스는 전체 정보 밀도를 보존하는 동시에, 캡처된 이미지들의 수를 감소시킴으로써 최적화된다.
[0008] 일 실시예에서, 카메라 캘리브레이션을 수행하기 위한 방법은 복수의 카메라들을 이동 가능 플랫폼 상에 로딩하는 단계를 포함한다. 복수의 카메라들은 복수의 평면 타겟 구역들을 갖는 모자이크식 오목한 타겟(tessellated concave target)을 향해 배향되는 카메라 이미지 캡처 방향들을 갖는다. 방법은 또한, 복수의 카메라들을 타겟에 대해 지정된 포지션들로 시프트하도록 이동 가능 플랫폼을 동작시키는 단계를 포함한다. 방법은, 복수의 카메라들이 타겟에 대해 지정된 포지션들에 로케이팅될 때, 복수의 카메라들 각각으로부터 이미지를 캡처(capture)하기 위해 이동 가능 플랫폼의 이동을 일시정지시키는 단계를 더 포함한다. 또한, 방법은 지정된 포지션들 각각에서 각각의 카메라에 의해 캡처된 이미지들의 모음(collection)으로부터 관찰되는 시각적 패턴들을 사용하여 복수의 카메라들을 캘리브레이팅하는 단계를 포함한다.
[0009] 하나 또는 그 초과의 실시예들에서, 평면 타겟 구역들의 일부 또는 전부는 복수의 개별화된 마커(individualized marker)들을 포함할 수 있고, 시각적 패턴들은 체커보드 패턴(checkerboard pattern)의 코너 지점들 및 개별화된 마커들의 이미지들을 포함할 수 있다. 이미지들은 필터링을 거칠 수 있다. 복수의 카메라들을 캘리브레이팅하는 단계는 이미지로부터의 개별화된 마커들의 식별을 포함할 수 있다. 개별화된 마커들은 Aruco 또는 Charuco 타겟들에 대응할 수 있다.
[00010] 하나 또는 그 초과의 실시예들에서, 복수의 카메라들을 캘리브레이팅하는 단계는, 복수의 카메라들에 대한 내재적 및 외재적 파라미터들을 유도하는 단계를 포함할 수 있다. 모자이크식 오목한 타겟은 복수의 평면 타겟 구역들로부터 각진 결합(angled join)들에 의해 형성된 곡률의 반경을 포함할 수 있다. 모자이크식 오목한 타겟은 모자이크식 오목한 타겟에 대한 백라이트(backlight)를 포함할 수 있다. 복수의 평면 타겟 구역들 각각은 육각형 형상을 포함할 수 있다.
[00011] 하나 또는 그 초과의 실시예들에서, 모자이크식 오목한 타겟은 또한 고정된 배향으로 모자이크식 오목한 타겟을 장착하기 위한 장착 브래킷(mounting bracket)을 포함할 수 있다. 이동 가능 플랫폼은 컨베이어 벨트일 수 있다. 이동 가능 플랫폼은 복수의 카메라들의 초점 거리에 대응하는 거리로 모자이크식 오목한 타겟으로부터 이격될 수 있다. 입력 스택 메커니즘(input stack mechanism)은 카메라를 이동 가능 플랫폼 상에 로딩할 수 있고, 출력 스택 메커니즘은 이동 가능 플랫폼으로부터 카메라를 오프로딩(offload)할 수 있다.
[00012] 다른 실시예에서, 프로세서 의해 실행될 때, 프로세서로 하여금, 카메라 캘리브레이션을 수행하기 위한 방법을 실행하게 하는 명령들의 시퀀스가 저장되어 있는 컴퓨터 판독 가능 매체가 제공되며, 이 방법은 복수의 카메라들을 이동 가능 플랫폼 상에 로딩하는 단계를 포함한다. 복수의 카메라들은 복수의 평면 타겟 구역들을 갖는 모자이크식 오목한 타겟을 향해 배향되는 카메라 이미지 캡처 방향들을 갖는다. 방법은 또한, 복수의 카메라들을 타겟에 대해 지정된 포지션들로 시프트하도록 이동 가능 플랫폼을 동작시키는 단계를 포함한다. 방법은, 복수의 카메라들이 타겟에 대해 지정된 포지션들에 로케이팅될 때, 복수의 카메라들 각각으로부터 이미지를 캡처하기 위해 이동 가능 플랫폼의 이동을 일시정지시키는 단계를 더 포함한다. 또한, 방법은 지정된 포지션들 각각에서 각각의 카메라에 의해 캡처된 이미지들의 모음으로부터 관찰되는 시각적 패턴들을 사용하여 복수의 카메라들을 캘리브레이팅하는 단계를 포함한다.
[00013] 하나 또는 그 초과의 실시예들에서, 평면 타겟 구역들의 일부 또는 전부는 복수의 개별화된 마커들을 포함할 수 있고, 시각적 패턴들은 개별화된 마커들 및 체커보드 패턴의 코너 지점들의 이미지들을 포함할 수 있다. 이미지들은 필터링을 거칠 수 있다. 복수의 카메라들의 캘리브레이팅은 이미지로부터의 개별화된 마커들의 식별을 포함할 수 있다. 개별화된 마커들은 Aruco 또는 Charuco 타겟들에 대응할 수 있다.
[00014] 하나 또는 그 초과의 실시예들에서, 복수의 카메라들을 캘리브레이팅하는 단계는, 복수의 카메라들에 대한 내재적 및 외재적 파라미터들을 유도하는 단계를 포함할 수 있다. 모자이크식 오목한 타겟은 복수의 평면 타겟 구역들로부터 각진 결합들에 의해 형성된 곡률의 반경을 포함할 수 있다. 모자이크식 오목한 타겟은 모자이크식 오목한 타겟에 대한 백라이트를 포함할 수 있다. 복수의 평면 타겟 구역들 각각은 육각형 형상을 포함할 수 있다.
[00015] 하나 또는 그 초과의 실시예들에서, 모자이크식 오목한 타겟은 또한 고정된 배향으로 모자이크식 오목한 타겟을 장착하기 위한 장착 브래킷을 포함할 수 있다. 이동 가능 플랫폼은 컨베이어 벨트일 수 있다. 이동 가능 플랫폼은 복수의 카메라들의 초점 거리에 대응하는 거리로 모자이크식 오목한 타겟으로부터 이격될 수 있다. 입력 스택 메커니즘은 카메라를 이동 가능 플랫폼 상에 로딩할 수 있고, 출력 스택 메커니즘은 이동 가능 플랫폼으로부터 카메라를 오프로딩할 수 있다.
[00016] 다른 실시예에서, 카메라 캘리브레이션을 수행하기 위한 시스템은, 복수의 카메라를 유지하기 위한 장착 표면을 갖는 이동 가능 플랫폼, 및 (모자이크식 오목한 타겟의 주 축(principle axis)이 이동 가능 플랫폼을 향해 배향되도록) 복수의 평면 타겟 구역들을 갖는 모자이크식 오목한 타겟을 포함한다. 이동 가능 플랫폼은 모자이크식 오목한 타겟으로부터 이격될 수 있다.
[00017] 하나 또는 그 초과의 실시예들에서, 이동 가능 플랫폼은 컨베이어 벨트일 수 있다. 이동 가능 플랫폼은 복수의 카메라들의 초점 거리에 대응하는 거리로 모자이크식 오목한 타겟으로부터 이격될 수 있다. 시스템은 또한 카메라를 이동 가능 플랫폼 상에 로딩하기 위한 입력 스택 메커니즘 및 이동 가능 플랫폼으로부터 카메라를 오프로딩하기 위한 출력 스택 메커니즘을 포함할 수 있다.
[00018] 하나 또는 그 초과의 실시예들에서, 평면 타겟 구역들의 일부 또는 전부는 복수의 개별화된 마커들을 포함할 수 있고, 시각적 패턴들은 개별화된 마커들 및 체커보드 패턴의 코너 지점들의 이미지들을 포함할 수 있다. 이미지들은 필터링을 거칠 수 있다. 복수의 카메라들의 캘리브레이팅은 이미지로부터의 개별화된 마커들의 식별을 포함할 수 있다. 개별화된 마커들은 Aruco 또는 Charuco 타겟들에 대응할 수 있다.
[00019] 하나 또는 그 초과의 실시예들에서, 복수의 카메라들을 캘리브레이팅하는 단계는, 복수의 카메라들에 대한 내재적 및 외재적 파라미터들을 유도하는 단계를 포함할 수 있다. 모자이크식 오목한 타겟은 복수의 평면 타겟 구역들로부터 각진 결합들에 의해 형성된 곡률의 반경을 포함할 수 있다. 모자이크식 오목한 타겟은 모자이크식 오목한 타겟에 대한 백라이트를 포함할 수 있다. 복수의 평면 타겟 구역들 각각은 육각형 형상을 포함할 수 있다. 모자이크식 오목한 타겟은 또한 고정된 배향으로 모자이크식 오목한 타겟을 장착하기 위한 장착 브래킷을 포함할 수 있다.
[00020] 다른 실시예에서, 카메라 캘리브레이션을 위한 타겟은 복수의 평면 구역들을 갖는 모자이크식 오목한 구조를 포함한다. 부가적으로, 평면 구역들 중 일부 또는 전부는 복수의 개별화된 마커들을 갖는다. 또한, 모자이크식 오목한 구조는 복수의 평면 구역들로부터 각진 결합들에 의해 형성된 곡률의 반경을 갖는다.
[00021] 하나 또는 그 초과의 실시예들에서, 타겟의 곡률 반경은 Aruco 또는 Charuco 타겟들에 대응한다. 타겟은 또한 백라이트를 포함할 수 있다. 복수의 평면 구역들 각각은 육각형 형상을 포함할 수 있다. 타겟은 또한 고정된 배향으로 타겟을 장착하기 위한 장착 브래킷을 포함할 수 있다.
[00022] 본원에서 설명되고 예시된 개별 실시예들 각각은 다른 몇몇 실시예들 중 임의의 실시예의 컴포넌트들 및 특징들로부터 쉽게 분리되거나 이들과 결합될 수 있는 이산 컴포넌트들 및 특징들을 갖는다.
[00023] 본 개시내용의 목적들 및 이점들에 대한 추가의 세부사항들은 아래의 상세한 설명, 도면들 및 청구항들에서 설명된다. 위의 일반적인 설명 및 다음의 상세한 설명은 둘 모두 예시적이고 설명적이며, 본 개시내용의 범위에 관해 제한하는 것으로 의도되지 않는다.
[00024] 본 개시내용이 더 잘 이해될 수 있도록 하기 위해, 본 개시내용의 일부 실시예들은 단지 예로서, 첨부 도면들을 참조하여 이제 설명될 것이다.
[00025] 도 1a 및 도 1b는 본 개시내용의 일부 실시예들에 따라 카메라 캘리브레이션을 수행하기 위한 예시적인 시스템을 예시한다.
[00026] 도 2는 본 개시내용의 일부 실시예들에 따른 다중-평면 타겟의 내부의 예시를 제공한다.
[00027] 도 3a는 예시적인 Aruco 마커(marker)들을 도시하고 도 3b는 예시적인 Charuco 타겟을 도시한다.
[00028] 도 4a 내지 도 4c는 본 개시내용의 일부 실시예들에 따른 타겟에 대한 프레임워크를 예시한다.
[00029] 도 5는 백라이트된 타겟을 갖는 캘리브레이션 시스템의 실시예를 예시한다.
[00030] 도 6은 타겟의 이미지들을 캡처하기 위해 카메라들의 다수의 행들의 어레이가 하나 또는 그 초과의 컨베이어 벨트들 상에 배치되는 예시적인 접근법을 예시한다.
[00031] 도 7은 카메라 캘리브레이션을 수행하기 위한 접근법의 흐름도를 도시한다.
[00032] 도 8a 내지 도 8s는 본 개시내용의 일부 실시예들에 따른 캘리브레이션 프로세스에 대한 예시적인 예를 제공한다.
[00033] 도 9는 캘리브레이션을 수행하기 위해 카메라에 의해 캡처된 이미지 데이터를 프로세싱하기 위한 접근법의 흐름도를 도시한다.
[00034] 도 10은 본 개시내용의 일부 실시예들이 구현될 수 있는 컴퓨터화된 시스템을 도시한다.
[00035] 당업자들이 본 개시내용을 실시하는 것을 가능하게 하도록 본 개시내용의 예시적인 예들로서 제공되는 도면들을 참조하여 다양한 실시예들이 이제 상세히 설명될 것이다. 특히, 이하의 도면들 및 예들은 본 개시내용의 범위를 제한하는 것으로 의도되지 않는다. 본 개시내용의 소정의 엘리먼트들이 알려진 컴포넌트들(또는 방법들 또는 프로세스들)을 사용하여 부분적으로 또는 완전히 구현될 수 있는 경우, 본 개시내용의 이해에 필수적인 그러한 알려진 컴포넌트들(또는 방법들 또는 프로세스들)의 부분들만이 설명될 것이며, 그러한 알려진 컴포넌트들(또는 방법들 또는 프로세스들)의 다른 부분들의 상세한 설명들은 본 발명을 모호하게 하지 않도록 생략될 것이다. 또한, 다양한 실시예들은 예시로 본원에서 언급된 컴포넌트들에 대한 현재 알려진 등가물들 및 미래에 알려질 등가물들을 포함한다.
[00036] 도 1a 및 도 1b는 본 개시내용의 일부 실시예들에 따라 카메라 캘리브레이션을 수행하기 위한 예시적인 시스템(100)을 예시한다. 시스템(100)은 캘리브레이션을 수행하기 위한 다중-카메라 접근법을 제공하며, 여기서 이동 가능 플랫폼 디바이스(예컨대, 컨베이어 벨트(104))는 다수의 카메라들에 대한 다수의 배치 포지션들을 포함한다. 도 1a 및 도 1b에 예시된 시스템(100)에서, 컨베이어 벨트(104)는 4개의 카메라들(110a-d)이 시간의 임의의 주어진 순간에 동시성 캘리브레이션을 받기 위한 4개의 포지션들(포지션들(1, 2, 3 및 4))을 포함한다. 그러나, 본 개시내용의 대안적인 실시예들은 캘리브레이션을 동시에 받도록 임의의 수의 카메라들을 유지할 수 있는 다중-카메라 캘리브레이션 플랫폼들을 포함할 수 있으며, 따라서, 본 개시내용은 구체적으로 그러한 것으로 청구되지 않는 한, 동시성 캘리브레이션에 대해 임의의 특정 수의 카메라들로 제한되지 않는다는 것에 주의한다.
[00037] 타겟(102)은 다수의 평면 타겟 부분들이 로케이팅되어 있는, 대체로 부분-구형 형상을 포함한다. 풀(full)-FOV(field of view) 타겟은, 이미저의 모든 섹션들이 검출 가능한 지점들에 의해 커버된다는 것을 보장하며, 여기서 이미저는 인입 광을 디지털 출력 신호들로 변환하는 카메라 내부의 센서(예컨대, CMOS 또는 CCD 센서)에 대응한다. 일부 실시예들에서, 타겟(102)은 카메라들(110a-110d)의 초점 거리로 세팅되는 구형 반경을 갖는 모자이크식-구형 타겟(tessellated-sphere target)을 포함한다.
[00038] 동작에서, 캘리브레이팅될 카메라들은 입력 스택(112)으로부터 컨베이어 벨트(104) 상에 로딩된다. 시간의 임의의 주어진 순간에, 복수의 카메라들이 컨베이어 벨트(104) 상에 포지셔닝된다. 카메라들 각각은, 세팅된 거리로 서로 이격된 지정된 포지션에 로케이팅되며, 카메라들의 이미지 캡처 방향은 타겟(102)을 향한다.
[00039] 컨베이어 벨트(104)는 입력 스택(112)의 방향으로부터 출력 스택(114)의 방향으로 카메라들의 위치를 시프트하도록 동작한다. 컨베이어 벨트(104)의 이동은 카메라들이 캘리브레이션을 위해 세팅된 포지션들에 도달할 때 일시정지된다. 이 도면에 도시된 바와 같이, 컨베이어 벨트(104)는 카메라(110d)가 포지션(1)에 로케이팅되고, 카메라(110c)가 포지션(2)에 로케이팅되고, 카메라(110b)가 포지션(3)에 로케이팅되고, 카메라(110a)가 포지션(4)에 로케이팅될 때 일시정지된다.
[00040] 컨베이어가 일시정지될 때, 그의 각각의 포지션의 각각의 카메라는 그 후 타겟(102)의 이미지를 캡처한다. 이미지가 각각의 카메라에 의해 캡처된 후, 컨베이어는, 타겟(102)의 다른 이미지를 캡처하기 위해 카메라들이 그의 다음 후속 포지션들로 시프트하도록 다시 이동한다. 이러한 방식으로, 각각의 카메라는 포지션들(1, 2, 3 및 4) 각각으로부터 타겟(102)의 이미지를 연속적으로 캡처할 것이다. 카메라가 각각의 포지션(1-4)으로부터 이미지의 촬영을 완료하면, 그것의 다음 포지션 시프팅은 그 카메라가 출력 스택(114) 내에 배치되게 할 것이다.
[00041] 카메라들에 의해 캡처된 이미지들은 타겟(102) 내의 마커 평면들의 일부 또는 전부를 포함한다. 아래에서 보다 상세히 논의되는 바와 같이, 카메라들을 캘리브레이팅하기 위해 캡처된 이미지들의 콘텐츠들로부터, 예컨대, 카메라들에 대한 내재적 및 외재적 파라미터들을 결정함으로써, 계산들이 수행된다.
[00042] 이 접근법은, 매우 다양한 각진 평면들이 각각의 샷(shot)에서 검출 가능하다는 것을 보장하며, 이는 견고한 캘리브레이션 결과들을 위해 소중하다. 그것은 또한, 헤드 장착형 추적 시스템들과 같은 공간-제약 애플리케이션들에 존재하는 것들과 같은 광각 렌즈들에 대해, 최대 수의 타겟 표면들이 샷 마다 인 포커스라는 것을 보장한다. Aquifi 단일 이미지 캘리브레이션 장치와 같은 다중-평면 캡처를 수행하려는 대안적인 시도들은 상당히 더 큰 풋프린트들을 필요로 하며, 테스트 중인 카메라(들)의 FOV를 완전히 커버하지 못한다.
[00043] 도 2는 본 개시내용의 일부 실시예들에 따른 타겟(102)의 내부의 예시를 제공한다. 일부 실시예들에서, 타겟(102)은 다수의 평면 구역들로 구성된 다중-파세트식(multi-faceted) 구조이고 각각의 파세트/평면 구역(202)은 각각의 평면 타겟을 포함한다. 일부 실시예들에서, 평면 타겟은 Charuco 또는 Aruco 타겟으로서 구현된다. 예시적인 Aruco 마커들이 도 3a에서 예시된다. Aruco/Charuco 타겟들과 통상적인 체커보드 타겟 간의 주요 차이는 Aruco/Charuco 타겟들은 서로 다른 개별 마커들을 포함한다는 것이다.
[00044] Aruco/Charuco 타겟들 각각은 주어진 마커 및 공간에서의 그의 포지션을 고유하게 식별하는 패턴들/마커들을 포함한다. Aruco/Charuco 타겟들이 개별 마커들로 구성되기 때문에, 이는, 카메라가 캘리브레이션 지점들을 획득하기 위해 타겟 전체를 그의 완전한 형태로 볼 필요가 없다는 것을 의미한다. 대신에, 카메라는 타겟의 이미지를 단지 부분적으로만 캡처할 수 있고 그 타겟으로부터 캘리브레이션을 여전히 수행할 수 있다.
[00045] Aruco 타겟과는 달리, Charuco 타겟은 Aruco 타겟의 개별 마커 특징을 체커보드의 사용과 결합한다. 이 접근법은 소정의 유형들의 계산들에 대한 로컬화 결정들을 개선하는 역할을 한다. 도 3b는 예시적인 Charuco 타겟(316)을 예시한다.
[00046] Charuco 또는 Aruco 타겟들의 사용은, 전체 타겟이 프레임에 있지 않은 경우에도 이미지 캡처가 유효하게 유지되는 것을 보장한다. 이는, 예컨대, 일련의 카메라들이 도 1a 및 도 1b에 예시된 바와 같이 정적인 타겟을 지나 연속적으로 이동하는 경우에 발생할 수 있다. 따라서, 본 개시내용의 일부 실시예들의 이러한 특징은, 모든 타겟들 및 서브-엘리먼트들이 각각의 샷에서 명확히 시각적이어야 하는 필요성으로 인해, 엄격히 제어되는 조명뿐만 아니라, 카메라(들)의 정밀한 레지스트레이션(registration)을 필요로 하는, 표준 체커보드 타겟들을 사용하는 대안적인 접근법들에 비해 뚜렷한 이점을 제공한다.
[00047] 도 4a 내지 도 4c는 본 개시내용의 일부 실시예들에 따른 타겟(102)에 대한 프레임워크를 예시한다. 도 4a는 타겟(102)의 오목한/구형 내부를 바라보는, 타겟(102)의 정면도이다.
[00048] 복수의 파세트식(faceted)/모자이크식(tessellated) 평면 부분들(404)은 타겟(102)을 형성하기 위해 일정한 각도 트랜지션들로 에지-대-에지로 적층된다. 파세트식 평면 부분들(404) 각각은 육각형 구조로서 형성될 수 있지만, 다른 다각형 형상들이 또한 본 개시내용의 범위 내에 있다. 각각의 파세트식 평면 부분들(404) 사이의 결합의 각도는 타겟(102)에 대한 전반적인 부분-구형 형상의 원하는 반경에 의해 결정된다. 이전에 언급된 바와 같이, 일 실시예에서, 반경은 캘리브레이팅되는 카메라들의 초점 거리와 일반적으로 매칭하도록 구성된다.
[00049] 파세트식 평면 부분들(404)의 크기는 각각의 파세트 상에 배치되는 Charuco 또는 Aruco 타겟의 원하는 전반적인 크기 및/또는 각각의 파세트 상에 배치되는 개별 마커들의 수에 의해 결정된다.
[00050] 도 4b 및 도 4c는 컨베이어 벨트에 대해 주어진 포지션 및 배향으로 타겟(102)을 장착하기 위해 타겟(102)의 배면에 부착되는 장착 브래킷(402)을 도시한다. 컨베이어 벨트 상의 카메라들이 타겟(102)에 대해 이동 가능하므로, 이는, 카메라들이 다수의 포즈들로부터 타겟의 이미지들을 캡처할 수 있도록 캘리브레이션 프로세스 동안 타겟이 위치적으로 조정될 필요가 없음을 의미한다는 것이 주의된다. 그러므로, 장착 브래킷(402)은, 효율적으로 제조 가능할 뿐만 아니라, 구조적으로 강한 로킹-포지션 브래킷(locked-position bracket)으로서 구성될 수 있다.
[00051] 브래킷들(406)은 각각의 평면 부분을 그의 인접한 평면 부분에 부착하기 위해 사용된다. 이들 브래킷들(406)은 하나의 평면 부분을 그의 이웃 평면 부분에 대해 고정된 포지션으로 안전하게 유지하는 역할을 할 수 있는 임의의 적합한 구성을 포함한다. 일부 실시예들에서, 브래킷(406)은 평면 부분들(404)을 그의 이웃 평면 부분에 대해 적절한 결합 각도로 장착하기 위한 각진 치형 형상(angled indented shape)을 포함한다.
[00052] 도 5는 백라이트된 타겟(102)을 갖는 캘리브레이션 시스템(500)의 실시예를 예시하며, 여기서 하나 또는 그 초과의 광 소스들(502)이 타겟(102)에 대한 백라이트로서 제공된다. 상부에 검정색 체커보드/Aruco/Charuco 마커들이 있는 흰색 타겟 뒤에 강한 백라이트를 사용함으로써, 이득 및 노출 세팅들이 테스트 중인 카메라 상에서 그의 최소 세팅으로 감소될 수 있으며, 이는 캘리브레이션을 위해 낮은 노이즈의 모션 안정적인 이미지를 발생시킨다. 강도가 충분하면, 이는 또한 이미지로부터 비-조명 엘리먼트들을 마스킹하는 역할을 하며, 이는 마커 검출의 견고성을 증가시키고 그리고/또는 모션 블러(motion blur)를 감소시킨다. 일부 실시예들에서, 타겟은 불투명하지만, 다른 실시예들은 다양한 상이한 투명도 레벨들을 갖는 타겟들을 사용할 수 있다.
[00053] 이러한 방식으로, 반사성(specularity)이 상당히 감소되고 그리고/또는 완전히 제거된다. 이는, 예컨대, 캘리브레이션 프로세스 동안 이미지에 걸쳐 흰색 "번짐(smear)"이 발생하는 경우, 타겟의 이미지들에 대한 지각을 못하게 할 수 있는 반사성이 일반적으로 외부 리플렉션(reflection)들로부터 발생하기 때문이다. 백라이트된 타겟이 상대적으로 밝기 때문에, 이는 카메라 노출이 충분히 낮은 레벨이 될 수 있게 하여서, 겨우 검출 가능한 조명만이 타겟으로부터 오며, 이는 임의의 반사성을 상당히 감소시킨다. 게다가, 전반적인 캘리브레이션 프로세스는 더 빠른 노출 세팅들로부터의 증가된 검출 속도로 인해 더 빨리 수행될 수 있으며, 이는 전반적인 캘리브레이션 시스템의 쓰루풋을 증가시키는 역할을 한다.
[00054] 캘리브레이션 시스템에 대한 쓰루풋 요건에 의존하여, 본 개시내용의 일부 실시예들에서, 카메라들의 다수의 행들이 캘리브레이션을 받을 수 있다. 도 6은 타겟(102)의 이미지들을 캡처하기 위해 카메라들의 다수의 행들의 어레이(602)가 하나 또는 그 초과의 컨베이어 벨트들 상에 배치되는 예시적인 접근법을 예시한다. 타겟(102)은 어레이(602) 내의 카메라들의 초점이 타겟(602)에 적절히 배향되도록 보장하게 포지셔닝 및/또는 구성된다. 각각의 카메라는 알려진 위치에 있고 타겟(102)의 각각의 평면 타겟 표면으로부터 오프셋되기 때문에, 이는, 본원에서 설명된 기술들이 이 실시예에서 캘리브레이션을 수행하는 데 완전히 이용 가능하다는 것을 의미한다.
[00055] 도 7은 위에서 설명된 장치 및 시스템을 사용하여 카메라 캘리브레이션을 수행하기 위한 접근법의 흐름도를 도시한다. 702에서, 카메라는 컨베이어 장치 상의 설계된 포지션에서 컨베이어 장치 상에 로딩된다. 이전에 언급된 바와 같이, 캘리브레이팅될 카메라는 입력 스택으로부터 컨베이어 벨트 상에 로딩될 수 있으며, 여기서 시간의 임의의 주어진 순간에, 어쩌면, 복수의 카메라들이 컨베이어 장치 상에 포지셔닝된다. 카메라들 각각은, 특정된 거리로 서로 이격된 지정된 포지션에 로케이팅되며, 카메라들의 이미지 캡처 방향은 타겟을 향한다.
[00056] 704에서, 컨베이어 장치 상의 카메라들 각각으로부터 타겟의 이미지가 캡처된다. 컨베이어 장치는 카메라들의 위치(들)를, 이미지 캡처 포지션들 각각으로 순차적으로 이동시키는 데 사용된다. 따라서, 각각의 카메라가 각각의 지정된 포지션으로부터 이미지를 촬영할 때까지, 이동-일시정지-이미지 캡처-재차 이동 사이클이 반복된다.
[00057] 706에서, 캡처된 이미지들은 컴퓨터 판독 가능 매체에 저장된다. 그 후, 캘리브레이션 분석이 이미지 데이터에 대해 수행되어 카메라 디바이스들에 대한 캘리브레이션 파라미터들을 생성할 수 있다. 그 후, 710에서, 캘리브레이팅된 카메라가 컨베이어 장치로부터 출력 스택 상으로 오프로딩될 수 있다.
[00058] 도 8a 내지 도 8s는 본 개시내용의 일부 실시예들에 따라 이러한 캘리브레이션 프로세스에 대한 예시적인 예를 제공한다. 도 8a는 다수의 카메라들에 대한 다수의 배치 포지션들을 갖는 컨베이어 벨트(104)를 포함하는, 카메라 캘리브레이션을 수행하기 위한 예시적인 시스템을 도시한다. 여기서, 컨베이어 벨트(104)는 캘리브레이션을 위해 4개의 카메라들을 동시에 지원하기 위해 4개의 포지션들(1, 2, 3 및 4)을 갖도록 구성된다. 이전에 언급된 바와 같이, 타겟(102)은 다수의 평면 타겟 부분들을 갖는 대체로 부분-구형 형상을 포함하며, 여기서 평면 타겟 부분들 중 일부 또는 전부는 Aruco 및/또는 Charuco 타겟을 포함한다.
[00059] 데이터베이스(622)는 캘리브레이션 시스템에서 캘리브레이션을 받고 있는 카메라들에 의해 캡처되는 이미지 데이터를 유지하도록 구성된다. 데이터베이스(622)는 컨베이어 벨트(104) 상의 각각의 적절한 포지션에서 캡처되는 이미지들에 대한 이미지 데이터 콘텐츠를 개별적으로 저장하기 위한 데이터 부분들을 포함하는 데이터 구조를 포함한다. 여기서, 데이터베이스(622)는 포지션(1)에 대한 이미지 데이터를 유지하기 위한 부분(624-1), 포지션(2)에 대한 이미지 데이터를 유지하기 위한 부분(624-2), 포지션(3)에 대한 이미지 데이터를 유지하기 위한 부분(624-3) 및 포지션(4)에 대한 이미지 데이터를 유지하기 위한 부분(624-4)을 포함한다.
[00060] 도 8b에 도시된 바와 같이, 캘리브레이팅될 카메라(610a)가 (예컨대, 입력 스택으로부터) 컨베이어 벨트(104) 상에 로딩된다. 예시를 위해, 시간의 이 순간에, 이전에 컨베이어 벨트(104) 상에 로딩되었던 다른 카메라들이 없다고 가정한다. 그러나, 다른 카메라들에 대한 캘리브레이션이 이미 진행중이었던 경우, 도 8b에 도시된 시간 프레임에서, 다른 카메라들이 또한 컨베이어 벨트(104) 상에서 보여질 것이란 점에 주의한다.
[00061] 도 8c는 카메라(610a)를 포지션(1)으로 시프트하기 위한 컨베이어 벨트(104)의 이동을 예시한다. 이 때, 도 8d에 도시된 바와 같이, 컨베이어 벨트(104)는 카메라(610a)가 타겟(102)의 이미지를 캡처할 수 있도록 일시정지한다. 카메라들(610a)에 의해 캡처된 이미지는 타겟(102) 내의 Aruco/Charuco 타겟들 내의 마커들 중 일부 또는 전부를 포함한다.
[00062] 도 8e에 도시된 바와 같이, 캡처된 이미지가 데이터베이스(622)에 저장된다. 특히, 카메라(610a)에 대한 엔트리가 데이터베이스(622)에서 생성되고, 카메라(610a)에 대한 그 엔트리 내의 위치(624-1)는 포지션(1)에 대한 캡처된 이미지 데이터를 저장하는데 이용된다.
[00063] 이 때, 도 8f에 도시된 바와 같이, 컨베이어 벨트(104)는 카메라(610a)를 새로운 포지션으로 시프트하도록 재차 이동하기 시작한다. 캘리브레이팅될 다음 카메라(610b)가 또한 컨베이어 벨트(104) 상에 로딩된다. 컨베이어 벨트 상에 동시에 배치되는 카메라들(610a 및 610b) 각각은 미리 결정된 거리로 서로 이격되는 지정된 포지션들에 로케이팅된다.
[00064] 도 8g는 카메라들(610a 및 610b)을 포지션들(1 및 2)로 각각 시프트하기 위한 컨베이어 벨트(104)의 이동을 예시한다. 이 때, 도 8h에 도시된 바와 같이, 컨베이어 벨트(104)는 카메라들(610a 및 610b)이 그들의 각각의 포지션들로부터 타겟(102)의 이미지들을 캡처할 수 있도록 일시정지한다.
[00065] 도 8i에 도시된 바와 같이, 캡처된 이미지들은 그 후 데이터베이스(622)에 저장된다. 카메라(610a)에 의해 캡처된 이미지에 대해, 데이터베이스(622) 내에서 이 카메라에 대해 이미 생성되었던 동일한 엔트리에 새로운 이미지가 저장되지만, 새로운 이미지는 포지션(2)에 대한 캡처된 이미지 데이터를 저장하기 위해 그 엔트리 내의 위치(624-2)에 배치된다. 카메라(610b)에 대해, 이 카메라에 대한 새로운 엔트리가 데이터베이스(622) 내에 생성되고, 캡처된 이미지는 그 새로운 엔트리에 대한 위치(624-1) 내에 저장된다.
[00066] 도 8j에 도시된 바와 같이, 컨베이어 벨트(104)는 카메라들(610a 및 610b)을 새로운 포지션들로 시프트하도록 재차 이동하기 시작한다. 캘리브레이팅될 다음 카메라(610c)가 이 때 컨베이어 벨트(104) 상에 로딩된다. 앞서와 같이, 컨베이어 벨트 상에 동시에 배치되는 카메라들(610a, 610b, 및 610c) 각각은 미리 결정된 거리들로 서로 이격되는 지정된 포지션들에 로케이팅된다.
[00067] 도 8k는 카메라들(610a, 610b, 및 610c)을 포지션들(1, 2 및 3)로 각각 상응하게 이동시키기 위한 컨베이어 벨트(104)의 이동을 도시한다. 이 때, 도 8l에 도시된 바와 같이, 컨베이어 벨트(104)는 카메라들(610a, 610b 및 610c)이 그들의 각각의 포지션들로부터 타겟(102)의 이미지들을 캡처할 수 있도록 일시정지한다.
[00068] 도 8m에 예시된 바와 같이, 카메라들(610a, 610b 및 610c)에 대한 캡처된 이미지들은 그 후 데이터베이스(622)에 저장된다. 카메라(610a)에 의해 캡처된 이미지에 대해, 데이터베이스(622) 내에서 이 카메라에 대해 이미 생성되었던 동일한 엔트리에 새로운 이미지가 저장되지만, 새로운 이미지는 포지션(3)에 대한 캡처된 이미지 데이터를 저장하기 위해 그 엔트리 내의 위치(624-3)에 배치된다. 유사하게, 카메라(610b)에 의해 캡처된 새로운 이미지에 대해, 데이터베이스(622) 내에서 이 카메라(610b)에 대해 이미 생성되었던 동일한 엔트리에 이미지 데이터가 저장되지만, 새로운 이미지는 포지션(2)에 대한 캡처된 이미지 데이터를 저장하기 위해 그 엔트리 내의 위치(624-2)에 배치된다. 카메라(610c)에 대해, 이 카메라에 대한 새로운 엔트리가 데이터베이스(622) 내에 생성되고, 캡처된 이미지는 카메라(610c)에 대한 그 새로운 엔트리에 대한 위치(624-1) 내에 저장된다 .
[00069] 도 8n은 카메라들(610a, 610b 및 610c)을 그들의 새로운 포지션들로 시프트하기 위한 컨베이어 벨트(104)의 이동을 도시한다. 캘리브레이팅될 다음 카메라(610d)가 또한 컨베이어 벨트(104) 상에 로딩된다. 앞서 언급된 바와 같이, 컨베이어 벨트 상에 동시에 배치되는 카메라들(610a, 610b, 610c 및 610d) 각각은 미리 결정된 거리들로 서로 이격되는 지정된 포지션들에 로케이팅된다.
[00070] 도 8o는 카메라들(610a, 610b, 610c 및 610d)을 포지션들(1, 2, 3 및 4)로 각각 이동시키기 위한 컨베이어 벨트(104)의 이동을 도시한다. 이 때, 도 8p에 도시된 바와 같이, 컨베이어 벨트(104)는 카메라들(610a, 610b, 610c 및 610d)이 그들의 각각의 포지션들로부터 타겟(102)의 이미지들을 캡처할 수 있도록 일시정지한다.
[00071] 도 8q에 예시된 바와 같이, 카메라들(610a, 610b, 610c 및 610d)에 대한 캡처된 이미지들은 그 후 데이터베이스(622)에 저장된다. 카메라(610a)에 의해 캡처된 이미지에 대해, 새로운 이미지는 이 카메라에 대해 앞서와 같이 동일한 엔트리에 저장되지만, 새로운 이미지는 포지션(4)에 대한 캡처된 이미지 데이터를 저장하기 위해 그 엔트리 내의 위치(624-4)에 배치된다. 카메라(610b)에 의해 캡처된 새로운 이미지에 대해, 데이터베이스(622) 내에서 이 카메라(610b)에 대해 이미 생성되었던 동일한 엔트리에 이미지 데이터가 저장되지만, 새로운 이미지는 포지션(3)에 대한 캡처된 이미지 데이터를 저장하기 위해 그 엔트리 내의 위치(624-3)에 배치된다. 카메라(610c)에 의해 캡처된 새로운 이미지에 대해, 데이터베이스(622) 내에서 이 카메라(610c)에 대해 이미 생성되었던 동일한 엔트리에 이미지 데이터가 저장되지만, 새로운 이미지는 포지션(2)에 대한 캡처된 이미지 데이터를 저장하기 위해 그 엔트리 내의 위치(624-2)에 배치된다. 카메라(610d)에 대해, 새로운 엔트리가 데이터베이스(622) 내에 생성되고, 캡처된 이미지는 카메라(610d)에 대한 그 새로운 엔트리에 대한 위치(624-1) 내에 저장된다 .
[00072] 컨베이어 벨트가 이제, 캘리브레이션을 받고 있는 카메라의 포지션들을 시프트하기 위해 다시 움직이기 시작한다. 이 때, 카메라(610a)는 포지션들(1-4) 각각으로부터 이미지를 캡처했다. 따라서, 도 8r에 도시된 바와 같이, 카메라(610a)는 이제 컨베이어 벨트(104)로부터 언로딩될 수 있다.
[00073] 따라서, 이 접근법은 타겟(102)의 이미지를 캡처하기 위해 각각의 카메라를 그의 연속적으로 요구되는 포지션으로 자동으로 이동시키도록 동작한다. 이미지가 각각의 카메라에 의해 캡처된 후, 컨베이어는, 타겟(102)의 다른 이미지들을 캡처하기 위해 카메라들이 그들의 다음 후속 포지션들로 시프트하도록 다시 이동한다. 이러한 방식으로, 각각의 카메라는 포지션들(1, 2, 3 및 4) 각각으로부터 타겟(102)의 이미지를 연속적으로 캡처할 것이다. 카메라가 각각의 포지션(1-4)으로부터 이미지의 촬영을 완료했으면, 카메라의 다음 포지션 시프팅은 그 카메라가 출력 스택(114) 내에 배치되게 할 것이다.
[00074] 도 8s에 도시된 바와 같이, 카메라(610a)에 대한 이미지 데이터는 이미지 데이터를 프로세싱하기 위해 캘리브레이션 모듈(802)에 의해 프로세싱될 수 있다. 다양한 각진 평면들로부터 캡처된 상이한 시각적 패턴들(예컨대, 체커보드의 코너 지점들 및 마커 이미지들을 포함함)은 캡처된 이미지들로부터 식별 가능 가능하며, 이들은 내재적 파라미터들 및 외재적 파라미터들과 같은 캘리브레이션 결과들을 생성하는 데 사용된다.
[00075] 하나 또는 그 초과의 사용자들은 제어 시스템(804)을 사용하여 캘리브레이션 시스템 및/또는 캘리브레이션 모듈(802)과 인터페이스하고 이들을 동작시킬 수 있다. 제어 시스템(804) 및 캘리브레이션 모듈(802)은 하나 또는 그 초과의 하드웨어 시스템, 소프트웨어 애플리케이션들, 또는 하드웨어 및 소프트웨어의 조합을 동작시키거나, 이들과 인터페이스하거나, 또는 이들을 구현하는 데 사용될 수 있는 임의의 유형의 컴퓨팅 스테이션을 포함한다. 이러한 컴퓨팅 시스템들의 예들은, 예컨대, 서버들, 워크스테이션들, 개인용 컴퓨터들, 또는 네트워킹된 또는 클라우드-기반 컴퓨팅 플랫폼에 연결된 원격 컴퓨팅 단말들을 포함한다. 컴퓨팅 시스템은 사용자가 시스템의 활동들에 관한 동작 제어를 제공하기 위한 하나 또는 그 초과의 입력 디바이스들, 이를테면, 포인팅 객체를 조작하기 위한 마우스 또는 키보드를 포함할 수 있다. 컴퓨팅 시스템은 또한 분석 결과들을 디스플레이하기 위한 디스플레이 디바이스, 이를테면, 디스플레이 모니터, 또는 제어 인터페이스와 연관될 수 있다.
[00076] 이미지 데이터 및/또는 분석 결과들은 컴퓨터 판독 가능 저장 매체(620)에 저장될 수 있다. 컴퓨터 판독 가능 저장 매체(620)는 컴퓨터 판독 가능 저장 매체(620)에 로케이팅된 데이터에 대한 준비된 액세스를 허용하는 하드웨어 및/또는 소프트웨어의 임의의 조합을 포함한다. 예컨대, 컴퓨터 판독 가능 저장 매체(620)는 운영 체제에 의해 동작 가능하게 관리되는 컴퓨터 메모리 및/또는 하드 드라이브 저장소, 및/또는 네트워킹된 저장 디바이스의 원격 저장소, 이를테면, NAS(networked attached storage), SAN(storage area network) 또는 클라우드 저장소로서 구현될 수 있다. 컴퓨터 판독 가능 저장 매체(620)는 또한 영구적인 저장소 및/또는 비-영구적인 저장소에 저장을 하는 전자 데이터베이스 시스템으로서 구현될 수 있다.
[00077] 도 9는 카메라에 대한 캘리브레이션을 수행하기 위해 그 카메라에 의해 캡처된 이미지 데이터를 프로세싱하기 위한 접근법의 흐름도를 도시한다. 근본적으로, 통상적인 카메라를 캘리브레이팅하기 위해 핀홀 카메라 모델이 사용될 수 있으며, 여기서 캘리브레이션 프로세스의 목표는 그 카메라와 연관된 기본 파라미터들을 식별하는 것이다. 특히, 본 개시내용의 카메라 캘리브레이션 프로세스는, 상이한 포지션들의 카메라에 의해 캡처된 다양한 2D 이미지들과 3D 공간/좌표들 간의 변환(transformation) 파라미터들을 결정한다.
[00078] 따라서, 902에서, 컨베이어 벨트 상의 상이한 포지션들의 카메라에 의해 캡처된 이미지들에 대한 이미지 데이터가 수집된다. 이전에 언급된 바와 같이, 이들 이미지들은 타겟(102)으로부터의 알려진 거리들 및 오프셋들로 컨베이어 벨트 상의 알려져 있는 미리 결정된 위치들에서 캡처되었다. 예시적인 시스템이 4개의 포지션들로부터 캡처된 이미지들을 도시하지만, 캘리브레이션 시스템 및 그의 컴포넌트들의 특정 구성에 의존하여, 임의의 수의 이미지들이 카메라에 의해 적합하게 캡처되고 캘리브레이션에 사용될 수 있다는 것에 주의한다.
[00079] 이미지 데이터의 필터링 및/또는 프로세싱이 이 때 발생할 수 있다. 예컨대, Aruco/Charuco 타겟들 내의 개별 마커들 주변으로부터의 원치 않는 콘텐츠(예컨대, 보더 콘텐츠)가 카메라에 의해 캡처되었을 수 있다. 이러한 콘텐츠는 캘리브레이션 목적들에 불필요하고, 이에 따라 데이터 세트로부터 폐기/필터링될 수 있다. 게다가, 임의의 손상된/에러가 있는 콘텐츠가 또한 이 스테이지에서 필터링될 수 있다.
[00080] 904에서, 마커들이 이미지 데이터로부터 식별된다. Aruco/Charuco 타겟 내의 각각의 마커는 자체의 개별화된 코딩을 갖는 개별화된 마커이다. 예컨대, 타겟들 내의 각각의 마커에 대한 고유한 서명을 생성하기 위해 해밍 코드가 사용될 수 있다. 주어긴 마커 내의 각각의 엘리먼트의 정확한 포지션을 확인하기 위해 마커 내의 특정 패턴이 분석되고, 반-구형 타겟(102)의 특정 평면 타겟 표면 상의 특정 위치에서 특정 마커를 식별하기 위해 패턴이 "디코딩"된다.
[00081] 단계(906)에서, 카메라에 대한 내재적 및 외재적 파라미터들이 프로세싱된 마커 데이터로부터 유도된다. 이는, 시스템이 3D 공간에서의 식별된 마커 지점들의 대응성을 설정할 수 있음을 타겟의 위치에 대한 미리 정의된 지식이 의미하기 때문에 달성된다. 본 개시내용에서, 다수의 타겟 평면들이 존재하고, 이들 평면들 모두의 위치들이 서로에 대해 알려져 있다는 사실은, 좌표 공간 내의 다수의 부가적인 캘리브레이션 지점들을 제공한다. 따라서, 이는 카메라 파라미터들의 정밀하고 정확한 추정을 상당히 용이하게 한다. 예컨대, 카메라 프로젝션 행렬을 추정할 때, 선형 솔루션은 2D-3D 대응성들 각각에 대한 선형 추정들을 수행함으로써 취득될 수 있다. 선형 추정들 대신에 또는 이에 추가하여, 비선형 계산들이 사용될 수 있다는 것에 주의한다. 예컨대, 선형 솔루션들을 최적화하기 위해 비선형 기술들이 사용될 수 있다.
[00082] 카메라 프로젝션 행렬이 알려지면, 예컨대, (a) X 및 Y 축들 둘 모두에서의 카메라의 초점 길이; (b) 카메라(또는 카메라 센서)의 광학 중심; 및/또는 (c) 왜곡 계수들과 같은 내재적 파라미터들이 유도될 수 있다.
[00083] 또한, 외재적 파라미터들이 카메라에 대해 유도될 수 있다. 카메라 외부의 기준 데이터가 획득되고 외재적 파라미터들을 결정하는 데 사용될 것이다. 외재적 파라미터들은 카메라 기준 시스템을, 예컨대, 2-카메라 스테레오스코픽 시스템의 다른 카메라에 대해, 다른 기준 시스템으로 치환하기 위해 3D 회전들 및 3D 병진운동들로서 획득될 수 있다.
[00084] 908에서, 컴퓨터 판독 가능 매체 상의 적절한 저장 위치 내에 캘리브레이션 파라미터들을 저장함으로써 캘리브레이션이 완료된다.
[00085] 따라서, 카메라 캘리브레이션을 수행하기 위한 개선된 방법, 시스템 및 장치가 설명되었으며, 여기서 카메라들은 다중-평면 캘리브레이션 타겟의 이미지들을 캡처하기 위해 이동하는 이송 장치 상에 장착된다. 다중-평면 캘리브레이션 타겟은 일부 실시예들에서 백라이트된 타겟이다. 캘리브레이션 프로세스는 전반적인 정보 밀도를 보존하는 동시에, 캡처된 이미지들의 수를 감소시킴으로써 최적화된다. 따라서, 본 개시내용의 실시예들은 너무 시간 소모적이고, 계산적으로 비싸며, 대량 제조에 정말 명백히 부적합한 종래의 접근법의 문제점들을 해결한다.
시스템 아키텍처 개요
[00086] 도 10은 본 개시내용의 일 실시예를 구현하기에 적합한 예시적인 컴퓨팅 시스템(1400)의 블록도이다. 컴퓨터 시스템(1400)은 버스(1406) 또는 정보를 통신하기 위한 다른 통신 메커니즘을 포함하며, 이는 서브시스템들 및 디바이스들, 이를테면, 프로세서(1407), 시스템 메모리(1408)(예컨대, RAM), 정적 저장 디바이스(1409)(예컨대, ROM), 디스크 드라이브(1410)(예컨대, 자기 또는 광학), 통신 인터페이스(1414)(예컨대, 모뎀 또는 이더넷 카드), 디스플레이(1411)(예컨대, CRT 또는 LCD), 입력 디바이스(1412)(예컨대, 키보드), 및 커서 제어를 상호연결한다.
[00087] 본 개시내용의 일 실시예에 따라, 컴퓨터 시스템(1400)은, 프로세서(1407)가 시스템 메모리(1408)에 포함된 하나 또는 그 초과의 명령들의 하나 또는 그 초과의 시퀀스들을 실행함으로써 특정 동작들을 수행한다. 이러한 명령들은 정적 저장 디바이스(1409) 또는 디스크 드라이브(1410)와 같은 다른 컴퓨터 판독 가능/사용 가능 매체로부터 시스템 메모리(1408)로 판독될 수 있다. 대안적인 실시예들에서, 소프트웨어 명령들을 대신하여 또는 그와 조합하여, 하드-와이어드(hard-wired) 회로가 본 개시내용을 구현하는 데 사용될 수 있다. 따라서, 본 개시내용의 실시예들은 하드웨어 회로 및/또는 소프트웨어의 임의의 특정 조합으로 제한되지 않는다. 일 실시예에서, "로직"이란 용어는 본 개시내용의 전부 또는 일부를 구현하는 데 사용되는, 소프트웨어 또는 하드웨어의 임의의 조합을 의미한다.
[00088] 본원에서 사용되는 바와 같은 "컴퓨터 판독 가능 매체" 또는 "컴퓨터 사용 가능 매체"라는 용어는 실행을 위해 프로세서(1407)에 명령들을 제공하는 데 관여하는 임의의 매체를 지칭한다. 그러한 매체는, 비-휘발성 매체들 및 휘발성 매체들을 포함(그러나 이에 제한되지 않음)하는 다수의 형태들을 취할 수 있다. 비-휘발성 매체들은, 예컨대, 광학 또는 자기 디스크들, 이를테면, 디스크 드라이브(1410)를 포함한다. 휘발성 매체들은 동적 메모리, 이를테면, 시스템 메모리(1408)를 포함한다.
[00089] 일반적인 형태들의 컴퓨터 판독 가능 매체들은, 예컨대, 플로피 디스크, 플렉시블 디스크, 하드 디스크, 자기 테이프, 임의의 다른 자기 매체, CD-ROM, 임의의 다른 광학 매체, 펀치 카드들, 페이퍼 테이프, 홀(hole)들의 패턴들을 갖는 임의의 다른 물리적인 매체, RAM, PROM, EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지 또는 컴퓨터가 판독할 수 있는 임의의 다른 매체를 포함한다.
[00090] 본 개시내용의 실시예에서, 본 개시내용을 실시하기 위한 명령들의 시퀀스들의 실행은 단일 컴퓨터 시스템(1400)에 의해 수행된다. 본 개시내용의 다른 실시예들에 따라, 통신 링크(1415)(예컨대, LAN, PTSN, 또는 무선 네트워크)에 의해 커플링되는 둘 또는 그 초과의 컴퓨터 시스템들(1400)은 서로 협력하여 본 개시내용을 실시하는데 필요한 명령들의 시퀀스를 수행할 수 있다.
[00091] 컴퓨터 시스템(1400)은 통신 링크(1415) 및 통신 인터페이스(1414)를 통해 프로그램, 예컨대, 애플리케이션 코드를 포함하는 메시지들, 데이터 및 명령들을 송신 및 수신할 수 있다. 수신된 프로그램 코드는, 그것이 수신될 때 프로세서(1407)에 의해 실행될 수 있고 그리고/또는 추후 실행을 위해 디스크 드라이브(1410) 또는 다른 비-휘발성 저장소에 저장될 수 있다. 컴퓨터 시스템(1400)은 데이터 인터페이스(1433)를 통해 외부 저장 디바이스(1431) 상의 데이터베이스(1432)와 통신할 수 있다.
[00092] 위의 명세서에서, 본 개시내용은 본 발명의 특정 실시예들을 참조하여 설명되었다. 그러나, 본 개시내용의 더 넓은 사상 및 범위를 벗어나지 않으면서 다양한 수정들 및 변경들이 본 개시내용에 이루어질 수 있다는 것은 명백할 것이다. 예컨대, 위에서-설명된 프로세스 흐름들은, 프로세스 동작들의 특정한 순서를 참조하여 설명된다. 그러나, 설명된 프로세스 동작들 대부분의 순서는 본 개시내용의 범위 또는 동작에 영향을 주지 않으면서 변경될 수 있다. 따라서, 명세서 및 도면들은 제한적인 의미보다는 예시적인 의미로 간주될 것이다.

Claims (19)

  1. 시스템으로서,
    복수의 카메라들을 유지하도록 장착 표면을 갖는 이동 가능 플랫폼;
    복수의 평면 타겟 구역들을 갖는 모자이크식 오목한 타겟(tessellated concave target) ― 상기 모자이크식 오목한 타겟의 주요 축선은 이동 가능 플랫폼을 향해 배향되고, 상기 이동 가능 플랫폼은 상기 모자이크식 오목한 타겟으로부터 이격됨 ― ; 및
    상기 이동 가능 플랫폼 상으로 카메라를 로딩하는 입력 스택 메커니즘 및 상기 이동 가능 플랫폼로부터 카메라를 오프로딩하는 출력 스택 메커니즘;을 포함하는,
    시스템.
  2. 제1항에 있어서,
    상기 이동 가능 플랫폼은 컨베이어 벨트인,
    시스템.
  3. 제1항에 있어서,
    상기 이동 가능 플랫폼은 상기 복수의 카메라들의 초첨 거리에 대응하는 거리로 상기 모자이크식 오목한 타겟으로부터 이격되는,
    시스템.
  4. 제1항에 있어서,
    상기 복수의 카메라들로부터의 각각의 카메라는 이동 가능 플랫폼 상의 포지션에 로케이팅되고, 상기 포지션은 서로 다른 카메라로부터 일정한 설정 거리로 이격되고, 각각의 카메라 이미지 캡처 방향은 상기 모자이크식 오목한 타겟을 향하는,
    시스템.
  5. 제4항에 있어서,
    카메라 캘리브레이션 이미지들을 저장하기 위한 데이터 구조를 더 포함하고, 상기 데이터 구조 내의 행은 상기 이동 가능 플랫폼 상의 상기 포지션에 로케이팅된 복수의 카메라들로부터의 카메라에 대응하고, 열들은 상기 이동 가능 플랫폼을 따라 상기 모자이크식 오목한 타겟에 대해 지정된 위치들에서 상기 카메라에 의해 캡처된 상기 모자이크식 오목한 타겟의 이미지들에 대응하는,
    시스템.
  6. 카메라 캘리브레이션(camera calibration)을 수행하기 위한 방법으로서,
    이동 가능 플랫폼 상에 복수의 카메라들을 로딩하는 단계 ― 상기 복수의 카메라들은 복수의 평면 타겟 구역들을 갖는 모자이크식 오목한 타겟(tessellated concave target)을 향해 배향되는 카메라 이미지 캡처 방향들을 가짐 ― ;
    상기 복수의 카메라들을 상기 타겟에 대해 지정된 포지션들로 시프트하도록 상기 이동 가능 플랫폼을 동작시키는 단계;
    상기 복수의 카메라들이 상기 타겟에 대해 상기 지정된 포지션들에 로케이팅될 때, 상기 복수의 카메라들 각각으로부터 이미지를 캡처(capture)하기 위해 상기 이동 가능 플랫폼의 이동을 일시정지시키는 단계; 및
    상기 지정된 포지션들 각각에서 각각의 카메라에 의해 캡처된 이미지들의 모음(collection)으로부터 관찰되는 시각적 패턴들을 사용하여 상기 복수의 카메라들을 캘리브레이팅하는 단계를 포함하는,
    카메라 캘리브레이션을 수행하기 위한 방법.
  7. 제6항에 있어서,
    상기 평면 타겟 구역들의 일부 또는 전부는 복수의 개별화된 마커(individualized marker)들을 포함하고, 상기 시각적 패턴들은 체커보드 패턴(checkerboard pattern)의 코너 지점들 및 상기 개별화된 마커들의 이미지들을 포함하는,
    카메라 캘리브레이션을 수행하기 위한 방법.
  8. 제6항에 있어서,
    상기 이미지들은 필터링을 거치는,
    카메라 캘리브레이션을 수행하기 위한 방법.
  9. 제6항에 있어서,
    상기 복수의 카메라들을 캘리브레이팅하는 단계는 상기 이미지로부터 개별화된 마커들의 식별을 포함하고, 상기 개별화된 마커들은 Aruco 또는 Charuco 타겟들에 대응하는,
    카메라 캘리브레이션을 수행하기 위한 방법.
  10. 제6항에 있어서,
    상기 복수의 카메라들을 캘리브레이팅하는 단계는, 상기 복수의 카메라들에 대한 내재적 및 외재적 파라미터들을 유도하는 단계를 포함하는,
    카메라 캘리브레이션을 수행하기 위한 방법.
  11. 제6항에 있어서,
    상기 복수의 카메라들로부터의 각각의 카메라는 이동 가능 플랫폼 상의 포지션에 로케이팅되고, 상기 포지션은 서로 다른 카메라로부터 일정한 설정 거리로 이격되고, 각각의 카메라 이미지 캡처 방향은 상기 모자이크식 오목한 타겟을 향하는,
    카메라 캘리브레이션을 수행하기 위한 방법.
  12. 제6항에 있어서,
    데이터 구조에 카메라 캘리브레이션 이미지들을 저장하는 단계를 더 포함하고, 상기 데이터 구조 내의 행은 상기 이동 가능 플랫폼 상의 포지션에 로케이팅된 복수의 카메라들로부터의 카메라에 대응하고, 열들은 상기 이동 가능 플랫폼을 따라 상기 모자이크식 오목한 타겟에 대해 지정된 위치들에서 상기 카메라에 의해 캡처된 상기 모자이크식 오목한 타겟의 이미지들에 대응하는,
    카메라 캘리브레이션을 수행하기 위한 방법.
  13. 프로세서에 의해 수행될 때, 상기 프로세서가 카메라 캘리브레이션을 수행하기 위한 방법을 수행하게 하는 명령들의 시퀀스가 저장되어 있는 컴퓨터 판독 가능 매체로서, 상기 방법은:
    이동 가능 플랫폼 상에 복수의 카메라들을 로딩하는 단계 ― 상기 복수의 카메라들은 복수의 평면 타겟 구역들을 갖는 모자이크식 오목한 타겟(tessellated concave target)을 향해 배향되는 카메라 이미지 캡처 방향들을 가짐 ― ;
    상기 복수의 카메라들을 상기 타겟에 대해 지정된 포지션들로 시프트하도록 상기 이동 가능 플랫폼을 동작시키는 단계;
    상기 복수의 카메라들이 상기 타겟에 대해 상기 지정된 포지션들에 로케이팅될 때, 상기 복수의 카메라들 각각으로부터 이미지를 캡처(capture)하기 위해 상기 이동 가능 플랫폼의 이동을 일시정지시키는 단계; 및
    상기 지정된 포지션들 각각에서 각각의 카메라에 의해 캡처된 이미지들의 모음(collection)으로부터 관찰되는 시각적 패턴들을 사용하여 상기 복수의 카메라들을 캘리브레이팅하는 단계를 포함하는,
    컴퓨터 판독 가능 매체.
  14. 제13항에 있어서,
    상기 평면 타겟 구역들의 일부 또는 전부는 복수의 개별화된 마커(individualized marker)들을 포함하고, 상기 시각적 패턴들은 체커보드 패턴(checkerboard pattern)의 코너 지점들 및 상기 개별화된 마커들의 이미지들을 포함하는,
    컴퓨터 판독 가능 매체.
  15. 제13항에 있어서,
    상기 이미지들은 필터링을 거치는,
    컴퓨터 판독 가능 매체.
  16. 제13항에 있어서,
    상기 복수의 카메라들을 캘리브레이팅하는 단계는 상기 이미지로부터 개별화된 마커들의 식별을 포함하고, 상기 개별화된 마커들은 Aruco 또는 Charuco 타겟들에 대응하는,
    컴퓨터 판독 가능 매체.
  17. 제13항에 있어서,
    상기 복수의 카메라들을 캘리브레이팅하는 단계는, 상기 복수의 카메라들에 대한 내재적 및 외재적 파라미터들을 유도하는 단계를 포함하는,
    컴퓨터 판독 가능 매체.
  18. 제13항에 있어서,
    상기 복수의 카메라들로부터의 각각의 카메라는 이동 가능 플랫폼 상의 포지션에 로케이팅되고, 상기 포지션은 서로 다른 카메라로부터 일정한 설정 거리로 이격되고, 각각의 카메라 이미지 캡처 방향은 상기 모자이크식 오목한 타겟을 향하는,
    컴퓨터 판독 가능 매체.
  19. 제13항에 있어서,
    상기 방법은 데이터 구조에 카메라 캘리브레이션 이미지들을 저장하는 단계를 더 포함하고, 상기 데이터 구조 내의 행은 상기 이동 가능 플랫폼 상의 포지션에 로케이팅된 복수의 카메라들로부터의 카메라에 대응하고, 열들은 상기 이동 가능 플랫폼을 따라 상기 모자이크식 오목한 타겟에 대해 지정된 위치들에서 상기 카메라에 의해 캡처된 상기 모자이크식 오목한 타겟의 이미지들에 대응하는,
    컴퓨터 판독 가능 매체.
KR1020197001581A 2016-06-28 2017-06-27 개선된 카메라 캘리브레이션 시스템, 타겟 및 프로세스 KR102261020B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020217016447A KR102487546B1 (ko) 2016-06-28 2017-06-27 개선된 카메라 캘리브레이션 시스템, 타겟 및 프로세스

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662355805P 2016-06-28 2016-06-28
US62/355,805 2016-06-28
PCT/US2017/039600 WO2018005561A1 (en) 2016-06-28 2017-06-27 Improved camera calibration system, target, and process

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020217016447A Division KR102487546B1 (ko) 2016-06-28 2017-06-27 개선된 카메라 캘리브레이션 시스템, 타겟 및 프로세스

Publications (2)

Publication Number Publication Date
KR20190021342A KR20190021342A (ko) 2019-03-05
KR102261020B1 true KR102261020B1 (ko) 2021-06-03

Family

ID=60675698

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020217016447A KR102487546B1 (ko) 2016-06-28 2017-06-27 개선된 카메라 캘리브레이션 시스템, 타겟 및 프로세스
KR1020197001581A KR102261020B1 (ko) 2016-06-28 2017-06-27 개선된 카메라 캘리브레이션 시스템, 타겟 및 프로세스

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020217016447A KR102487546B1 (ko) 2016-06-28 2017-06-27 개선된 카메라 캘리브레이션 시스템, 타겟 및 프로세스

Country Status (5)

Country Link
US (2) US10547833B2 (ko)
JP (2) JP6821714B2 (ko)
KR (2) KR102487546B1 (ko)
CN (2) CN109416744B (ko)
WO (1) WO2018005561A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210066031A (ko) * 2016-06-28 2021-06-04 매직 립, 인코포레이티드 개선된 카메라 캘리브레이션 시스템, 타겟 및 프로세스

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006004197A1 (de) * 2006-01-26 2007-08-09 Klett, Rolf, Dr.Dr. Verfahren und Vorrichtung zur Aufzeichnung von Körperbewegungen
US10675761B2 (en) 2016-10-14 2020-06-09 Magic Leap, Inc. Mode architecture for general purpose robotics
DE102018215491A1 (de) * 2018-09-12 2020-03-12 Robert Bosch Gmbh Verfahren zur Kalibrierung eines Erfassungssystems
WO2020101895A1 (en) 2018-11-12 2020-05-22 Magic Leap, Inc. Event-based camera with high-resolution frame output
WO2020101892A1 (en) 2018-11-12 2020-05-22 Magic Leap, Inc. Patch tracking image sensor
US20220014689A1 (en) * 2018-11-13 2022-01-13 Magic Leap, Inc. Event-based ir camera
WO2020102554A1 (en) * 2018-11-15 2020-05-22 Magic Leap, Inc. Deep neural network pose estimation system
DE102018222796A1 (de) * 2018-12-21 2020-06-25 Conti Temic Microelectronic Gmbh Aufbau und Vermessung des Aufbaus zur Kalibrierung einer Kamera
CN113711587A (zh) 2019-02-07 2021-11-26 奇跃公司 具有无源深度提取的轻型交叉显示设备
IL264797B (en) * 2019-02-12 2021-06-30 Agent Video Intelligence Ltd A method for spatial registration of a camera
US10925687B2 (en) * 2019-07-12 2021-02-23 Synaptive Medical Inc. System and method for optical axis calibration
KR200491660Y1 (ko) * 2019-09-30 2020-05-13 (주)이즈미디어 Tof 카메라용 오차 보정 장치
KR200491661Y1 (ko) * 2019-09-30 2020-05-14 (주)이즈미디어 Tof 카메라용 유효성 검증 장치
CN110611770B (zh) * 2019-10-08 2021-07-30 凌云光技术股份有限公司 线阵相机行频与物体运动速度是否匹配的判断方法及系统
CN111758120A (zh) * 2019-10-18 2020-10-09 深圳市大疆创新科技有限公司 摄像装置的标定方法、系统、立体标定装置及存储介质
WO2021134219A1 (zh) * 2019-12-30 2021-07-08 华为技术有限公司 参数标定方法及装置
USD918944S1 (en) * 2020-05-01 2021-05-11 3M Innovative Properties Company Display screen with transitional graphical user interface
CN115516513A (zh) * 2020-05-06 2022-12-23 奇跃公司 基于卷积的相机和显示器校准
CN111815719B (zh) * 2020-07-20 2023-12-22 阿波罗智能技术(北京)有限公司 图像采集设备的外参数标定方法、装置、设备及存储介质
IL300043A (en) * 2020-07-29 2023-03-01 Magic Leap Inc External calibration of a camera using ray cuts
US11582375B2 (en) * 2020-09-28 2023-02-14 Argo AI, LLC Enhanced pointing angle validation
DE102020212279B3 (de) * 2020-09-29 2021-10-28 Myestro Interactive Gmbh Vorrichtung zum Kalibrieren einer räumlichen Lage eines Zentrums einer Eintrittspupille einer Kamera, Kalibrierverfahren hierfür sowie System zur Bestimmung relativer Position von Zentren von Eintrittspupillen mindestens zweier Kameras, die an einem gemeinsamen Tragrahmen montiert sind, zueinander sowie Bestimmungsverfahren hierfür
DE102020212635A1 (de) 2020-10-07 2022-04-07 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Kalibrieren einer Kamera
US20240095955A1 (en) * 2020-11-30 2024-03-21 Nec Corporation Calibration method, calibration apparatus, calibration system, and recording medium
CN116701501B (zh) * 2022-11-21 2024-04-12 荣耀终端有限公司 相机标定数据的加载方法、装置及终端设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004159151A (ja) 2002-11-07 2004-06-03 Fujitsu Ltd パノラマ動画生成装置およびハイライトシーンの抽出装置
JP2014089168A (ja) 2012-10-30 2014-05-15 Hal-Design Laboratory Co Ltd カメラのキャリブレーション方法及びカメラのキャリブレーション装置
US20160182903A1 (en) 2014-12-19 2016-06-23 Disney Enterprises, Inc. Camera calibration

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6009359A (en) * 1996-09-18 1999-12-28 National Research Council Of Canada Mobile system for indoor 3-D mapping and creating virtual environments
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
JP3735344B2 (ja) 2002-12-27 2006-01-18 オリンパス株式会社 キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム
CN1771741A (zh) * 2003-02-14 2006-05-10 李宗琦 3d照相机系统及其方法
WO2006084385A1 (en) 2005-02-11 2006-08-17 Macdonald Dettwiler & Associates Inc. 3d imaging system
US7796154B2 (en) * 2005-03-07 2010-09-14 International Business Machines Corporation Automatic multiscale image acquisition from a steerable camera
JP2006121750A (ja) * 2006-01-06 2006-05-11 Olympus Corp キャリブレーションパターンユニット
JP2007135218A (ja) * 2006-11-22 2007-05-31 Matsushita Electric Ind Co Ltd カメラ装置、カメラ校正システムおよびカメラ校正方法
US20110222757A1 (en) * 2010-03-10 2011-09-15 Gbo 3D Technology Pte. Ltd. Systems and methods for 2D image and spatial data capture for 3D stereo imaging
US9001226B1 (en) 2012-12-04 2015-04-07 Lytro, Inc. Capturing and relighting images using multiple devices
US10032273B2 (en) * 2013-03-15 2018-07-24 Cognex Corporation Machine vision system calibration using inaccurate calibration targets
JP2014204198A (ja) * 2013-04-02 2014-10-27 キヤノン株式会社 画像処理装置、その制御方法及びプログラム
US9430822B2 (en) * 2013-06-14 2016-08-30 Microsoft Technology Licensing, Llc Mobile imaging platform calibration
US9210417B2 (en) * 2013-07-17 2015-12-08 Microsoft Technology Licensing, Llc Real-time registration of a stereo depth camera array
WO2015134958A1 (en) 2014-03-07 2015-09-11 Magic Leap, Inc. Virtual and augmented reality systems and methods
US9251598B2 (en) 2014-04-10 2016-02-02 GM Global Technology Operations LLC Vision-based multi-camera factory monitoring with dynamic integrity scoring
US9641830B2 (en) 2014-04-08 2017-05-02 Lucasfilm Entertainment Company Ltd. Automated camera calibration methods and systems
US9894350B2 (en) * 2015-02-24 2018-02-13 Nextvr Inc. Methods and apparatus related to capturing and/or rendering images
JP6569742B2 (ja) * 2016-01-13 2019-09-04 株式会社リコー 投影システム、画像処理装置、投影方法およびプログラム
WO2018005561A1 (en) * 2016-06-28 2018-01-04 Magic Leap, Inc. Improved camera calibration system, target, and process

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004159151A (ja) 2002-11-07 2004-06-03 Fujitsu Ltd パノラマ動画生成装置およびハイライトシーンの抽出装置
JP2014089168A (ja) 2012-10-30 2014-05-15 Hal-Design Laboratory Co Ltd カメラのキャリブレーション方法及びカメラのキャリブレーション装置
US20160182903A1 (en) 2014-12-19 2016-06-23 Disney Enterprises, Inc. Camera calibration

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210066031A (ko) * 2016-06-28 2021-06-04 매직 립, 인코포레이티드 개선된 카메라 캘리브레이션 시스템, 타겟 및 프로세스
US11503275B2 (en) 2016-06-28 2022-11-15 Magic Leap, Inc. Camera calibration system, target, and process
KR102487546B1 (ko) * 2016-06-28 2023-01-10 매직 립, 인코포레이티드 개선된 카메라 캘리브레이션 시스템, 타겟 및 프로세스

Also Published As

Publication number Publication date
JP2019530261A (ja) 2019-10-17
JP2021072634A (ja) 2021-05-06
CN109416744A (zh) 2019-03-01
KR20210066031A (ko) 2021-06-04
JP6821714B2 (ja) 2021-01-27
US11503275B2 (en) 2022-11-15
WO2018005561A1 (en) 2018-01-04
US20170374360A1 (en) 2017-12-28
CN117596385A (zh) 2024-02-23
KR102487546B1 (ko) 2023-01-10
US20200128235A1 (en) 2020-04-23
KR20190021342A (ko) 2019-03-05
JP7057454B2 (ja) 2022-04-19
US10547833B2 (en) 2020-01-28
CN109416744B (zh) 2023-12-15

Similar Documents

Publication Publication Date Title
KR102261020B1 (ko) 개선된 카메라 캘리브레이션 시스템, 타겟 및 프로세스
CN111179358B (zh) 标定方法、装置、设备及存储介质
US10924729B2 (en) Method and device for calibration
JP6507730B2 (ja) 座標変換パラメータ決定装置、座標変換パラメータ決定方法及び座標変換パラメータ決定用コンピュータプログラム
CN105453546B (zh) 图像处理装置、图像处理系统和图像处理方法
KR101121034B1 (ko) 복수의 이미지들로부터 카메라 파라미터를 얻기 위한 시스템과 방법 및 이들의 컴퓨터 프로그램 제품
CN111750820B (zh) 影像定位方法及其系统
CN110809786B (zh) 校准装置、校准图表、图表图案生成装置和校准方法
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
CN109584307B (zh) 改进摄像机固有参数校准的系统和方法
US8797387B2 (en) Self calibrating stereo camera
CN108734738B (zh) 相机标定方法及装置
JP5442721B2 (ja) 形状の不変量アフィン認識方法及びデバイス
EP3144894B1 (en) Method and system for calibrating an image acquisition device and corresponding computer program product
CN111383252A (zh) 多相机目标追踪方法、系统、装置及存储介质
CN113362441A (zh) 三维重建方法、装置、计算机设备和存储介质
CN114913308A (zh) 摄像机跟踪方法、装置、设备及存储介质
CN116524022B (zh) 偏移数据计算方法、图像融合方法、装置及电子设备
US9948926B2 (en) Method and apparatus for calibrating multiple cameras using mirrors
CN111489384A (zh) 基于互视角的遮挡评估方法及装置、设备、系统和介质
WO2023063088A1 (en) Method, apparatus, system and non-transitory computer readable medium for adaptively adjusting detection area
US20230031480A1 (en) System for tracking camera and control method thereof
CN111080689B (zh) 确定面部深度图的方法和装置
CN112053406A (zh) 成像装置参数标定方法、装置及电子设备

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant