KR20180050363A - 합성 이미지를 이용한 카메라 교정 - Google Patents

합성 이미지를 이용한 카메라 교정 Download PDF

Info

Publication number
KR20180050363A
KR20180050363A KR1020187009442A KR20187009442A KR20180050363A KR 20180050363 A KR20180050363 A KR 20180050363A KR 1020187009442 A KR1020187009442 A KR 1020187009442A KR 20187009442 A KR20187009442 A KR 20187009442A KR 20180050363 A KR20180050363 A KR 20180050363A
Authority
KR
South Korea
Prior art keywords
pixels
model parameters
camera
composite image
intensities
Prior art date
Application number
KR1020187009442A
Other languages
English (en)
Other versions
KR102044695B1 (ko
Inventor
데이비드 고소우
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20180050363A publication Critical patent/KR20180050363A/ko
Application granted granted Critical
Publication of KR102044695B1 publication Critical patent/KR102044695B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

카메라(105, 610, 611, 612, 613)는 타겟 패턴(120, 625)의 실제 이미지(500)를 캡처한다. 교정 디바이스(125, 630)는 카메라에 대한 모델 파라미터들에 기초하여 픽셀들로부터 타겟 패턴 상의 상응하는 지점들까지 광선(230, 235)을 추적함으로써 타겟 패턴의 합성 이미지(300, 505)에서 픽셀들(205)을 렌더링한다. 교정 디바이스는, 또한 합성 이미지에서의 픽셀들의 강도들과 실제 이미지에서의 픽셀들의 강도들 사이의 거리의 측정치를 최소화하도록 모델 파라미터들을 수정한다.

Description

합성 이미지를 이용한 카메라 교정
본 발명은 일반적으로 카메라에 관한 것으로, 보다 상세하게는 카메라의 교정에 관한 것이다.
3 차원(3D) 카메라 비전 시스템은 카메라의 모델을 이용해서 3 차원 공간의 객체들을 카메라의 이미지 평면에 있는 객체들에 의해 형성된 2 차원(2D) 이미지에 연관시킨다. 모델 파라미터들에는 각 개별 카메라를 특정하는 데 이용되는 고유 파라미터들이 포함된다. 고유 파라미터들은 카메라 렌즈의 초점 길이, 렌즈의 투영 중심, 하나 또는 그 초과의 왜곡 계수, 및 X 방향 및 Y 방향에서의 이미지의 스케일링을 포함한다. 모델 파라미터들은, 또한 교정 타겟들에 대하여 하나 또는 그 초과의 카메라의 이동 및 회전을 특정하는 외인성 파라미터들(포즈(pose)로 인용될 수 있음)을 포함한다. 예를 들어, 개별 카메라(또는 다수의 카메라를 포함하는 카메라 리그(rig))의 외인성 파라미터들은 타겟에 대하여 카메라의 이동을 정의하는 X, Y, 및 Z 좌표와, 카메라의 회전을 정의하는 피치(pitch) 값, 롤(roll) 값 및 요(yaw) 값을 포함한다. 카메라 리그에서 서로에 대하여 견고하게 부착되는 다수의 카메라들의 상대 이동 또는 회전을 특정하기 위해 추가적인 외인성 파라미터들이 이용될 수 있다. 추가의 외인성 파라미터들에는 서로에 대하여 견고하게 부착되는 다수의 교정 타겟들의 상대 위치 및 방위를 기술하는 파라미터들이 포함된다. 외인성 파라미터들은, 또한 주변 조명 상태, 시간, 기상 상태 등과 같은 상황 정보를 포함할 수도 있다.
본 개시물은 첨부 도면을 참조하는 것에 의해 당업자에게 보다 잘 이해될 수 있고, 그 많은 특징 및 이점이 분명해질 수 있다. 서로 다른 도면들에서 동일한 참조 부호를 사용하는 것은 유사하거나 동일한 항목을 나타낸다.
도 1은 일부 실시예에 따른 카메라의 모델 파라미터들을 교정하기 위한 교정 시스템의 다이어그램이다.
도 2는 일부 실시예에 따른 카메라의 모델 파라미터들에 기초하여 합성 이미지를 생성하기 위해 광선 추적을 수행하는 데 사용되는 교정 시스템의 다이어그램이다.
도 3은 일부 실시예에 따른 광선 추적 및 상응하는 픽셀에 의해 형성된 타원의 합성 이미지의 다이어그램이다.
도 4는 일부 실시예에 따른 교정 알고리즘의 순차 반복에서 실제 이미지와 합성 이미지의 비교 시퀀스를 묘사하는 다이어그램이다.
도 5는 일부 실시예에 따른 어안 렌즈를 이용해서 카메라로 촬영한 교정 타겟의 실제 이미지를 도시한다.
도 6은 일부 실시예에 따른 카메라 리그의 모델 파라미터들을 교정하기 위한 교정 시스템의 다이어그램이다.
도 7은 일부 실시예에 따른 카메라를 특정하는 모델 파라미터들을 교정하는 방법의 흐름도이다.
도 8은 일부 실시예에 따른 조대-미세(coarse-to-fine) 스케일링 기술을 이용해서 카메라를 특정하는 모델 파라미터들을 교정하는 방법의 흐름도이다.
카메라(또는 카메라 리그)의 모델 파라미터들은 교정 패턴(또는 타겟 패턴)을 이용해서 교정된다. 교정 패턴은 상이한 크기들을 갖는 원들로 이루어진 그리드와 같은 평면 패턴, 동일 또는 상이한 패턴들을 포함하는 상이한 평면들에서의 다수의 평면 패턴들, 강체 구조에 부착되는 동일 또는 상이한 크기들의 다수의 구체들, 또는 카메라 또는 카메라 리그에 의해 촬상될 수 있는 다른 유형의 패턴들일 수 있다. 한 가지 접근법은 타겟 검출 알고리즘을 이용해서 평면 교정 패턴 내의 원들에 대응하는 이미지 평면에서 타원들의 중심들을 식별한다. 별도의 교정 알고리즘은 타겟 검출 알고리즘으로부터 검출된 중심들의 추정 위치들을 수신하고, 모델 파라미터들의 값들에 기초하여 예측되는 검출된 중심들과 원 중심들 사이의 픽셀 공간에서 거리를 최소화(또는 적어도 감소)함으로써 모델 파라미터들을 추정한다. 타원 중심들이 교정 알고리즘에 전달되면 검출된 중심들의 위치들에서 불확실성을 나타내는 정보가 손실되어 모델 파라미터들을 추정하는 데 사용될 수 없다. 또한, 원근 왜곡은 투영된 원의 실제 중심을 관찰하는 것을 어렵거나 불가능하게 만드는 편향을 유발한다. 예를 들어, 180 ° 또는 그 초과의 시야를 가질 수 있는 어안 렌즈는 어안 렌즈에 의한 이미지의 방사상 왜곡 때문에 원들을 타원 상으로 투영하지 않는다.
다른 접근법은 타겟의 렌더링된 합성 이미지를 카메라에 의해 캡처된 타겟의 이미지에서의 픽셀들의 강도 값들과 비교한다. 이 접근법은 카메라를 이상적인 핀홀 카메라로서 모델링하고, 결과적으로 모델은 왜곡되지 않은 이미지에 수정을 적용함으로써 처리될 수 있게 상대적으로 작다고 가정되는 기하학적 렌즈 왜곡들을 기술하는 고유 파라미터들을 포함하지 않는다. 그러나, 많은 렌즈 시스템들(예컨대, 어안 렌즈)은 이상적인 핀홀 카메라에 기초하여 렌더링된 이미지에 수정을 적용함으로써 정확하게 모델링될 수 없는 심각한 왜곡을 유발한다.
본 명세서에 기술된 바와 같이, 카메라의 모델을 정의하는 파라미터들의 교정의 정확도는 카메라에 대한 모델 파라미터들에 기초하여 픽셀들로부터 타겟 패턴상의 상응하는 지점들까지 광선을 추적하는 것에 의해 타겟 패턴의 합성 이미지에서 픽셀들을 렌더링함으로써 증가될 수 있다. 예를 들어, 광선들은 픽셀들의 중심 지점들로부터 타겟 패턴의 교차 지점까지 추적될 수 있고, 픽셀들의 강도들은 타겟 패턴의 피쳐(feature)에 대한 교차 지점의 근접성에 기초하여 결정될 수 있다. 다른 예시로서, 합성 이미지에서 각 픽셀에 의해 표현되는 영역은 256 개의 요소로 이루어진 16 Х 16 어레이로 세분될 수 있다. 각 요소와 연관된 강도는 모델 파라미터들에 기초하여 해당 요소로부터 타겟 패턴상의 상응하는 지점까지 광선을 추적하고 상응하는 지점의 강도를 해당 요소에 적용하는 것에 의해 결정된다. 각 픽셀의 전체 강도는 픽셀을 표현하는 요소들 각각에 대한 강도들을 평균화하여 결정된다. 모델 파라미터들은 합성 이미지에서의 픽셀들의 강도들과 카메라에 의해 생성된 타겟 패턴의 실제 이미지에서의 픽셀들의 강도들 사이에서 거리의 측정치를 감소시키거나 최소화하는 값들로 업데이트된다. 일부 실시예에서, 거리의 측정치는 실제 이미지에서의 픽셀들과 합성 이미지에서의 상응하는 픽셀들의 강도들간의 차의 제곱이다. 이어서, 모델 파라미터들은 최소-제곱 최소화 기술(예컨대, 가우스-뉴턴(Gauss-Newton))을 각 픽셀에 대한 거리 측정치들에 적용함으로써 업데이트될 수 있다. 이어서, 상이한 이미지들에 대한 타겟 포즈들은 모델 파라미터 세트에 포함될 수 있으며, 이 세트는 상이한 이미지들에서의 픽셀들의 강도들에 대한 거리 측정치를 감소시키거나 최소화함으로써 결정될 수 있다. 다수의 카메라들(예를 들어, 고정식 카메라 어레이의 카메라들 또는 플라이-아이(fly-eye) 타입 카메라)은 카메라들 중 하나에 대하여 상이한 카메라들에 대해 결정된 타겟 포즈들을 포함시킴으로써 교정될 수 있다.
도 1은 일부 실시예에 따른 카메라(105)의 모델 파라미터들을 교정하기 위한 교정 시스템(100)의 다이어그램이다. 카메라(105)는 어안 렌즈 또는 다른 광각 렌즈를 갖는 광각 촬상 카메라로서 구현되어 국부적인 환경의 더 넓은 각도의 시야를 제공한다. 예를 들어, 카메라(105)는 180 ° 또는 그 초과의 화각 내의 시야에서 이미지들을 캡처하는 데 사용될 수 있다. 카메라(105)는 위치 검출을 목적으로 머신 비전 이미지 캡처를 위해 주로 구성될 수 있다. 예를 들어, 카메라(105)는 헤드 마운트 디스플레이(HMD) 또는 다른 가상 현실/증강 현실 이미지 캡처 및 디스플레이 시스템에 사용될 수 있다. 카메라 (105)의 머신-비전-특정 구성은, 예를 들어 픽셀 해상도에 초점을 둔 사용자 중심의 카메라 구성에 비해 이미지 센서로부터의 광-감도, 렌즈 왜곡, 프레임 레이트, 글로벌 셔터 능력 및 더 빠른 데이터 판독을 우선시할 수 있다. 카메라(105)의 다른 실시예들은 국부적인 환경의 더 좁은 각도의 시야를 제공하기 위해 전형적인 화각 렌즈를 갖는 협각 촬상 카메라로서 구현된다.
카메라(105)는 카메라(105)의 내부 특성들을 나타내는 고유 모델 파라미터들을 포함하는 모델 파라미터 세트로 특정된다. 예를 들어, 카메라(105)는 카메라(105) 내의 초점 평면 또는 촬상 평면 상에 이미지를 투영하는 데 사용되는 렌즈(또는 다수의 렌즈를 포함하는 광학 시스템)를 포함한다. 따라서, 고유 모델 파라미터들은 카메라 렌즈 또는 광학 시스템의 초점 길이 및 투영 중심을 포함할 수 있다. 카메라(105)의 렌즈 또는 광학 시스템은 이미지를 왜곡하거나 이미지를 확대할 수 있다. 설명하자면, 카메라 렌즈들은 통상적으로 방사상으로 대칭이며, 배럴 왜곡(barrel distortion), 핀쿠션 왜곡(pincushion distortion), 또는 머스태쉬 왜곡(mustache distortion)과 같은 방사상 왜곡을 유발한다. 따라서, 고유 모델 파라미터들은 하나 또는 그 초과의 왜곡 계수를 포함할 수 있다. 예를 들어, 왜곡되지 않은 이미지 지점
Figure pct00001
와 상응하는 왜곡 지점
Figure pct00002
사이의 관계는 다음 식에 따라 방사상 변위 모델 파라미터
Figure pct00003
에 의해 기술될 수 있다:
Figure pct00004
여기서, r은 정규화된 좌표에서의 방사상 변위이다. 더 높은 차수의 왜곡을 특정하기 위해 추가적인 고유 모델 파라미터들이 포함될 수 있다. 카메라 렌즈는, 또한 이미지들을 하나 또는 그 초과의 방향을 따라 확대할 수도 있기 때문에, 고유 모델 파라미터들은 카메라(105)의 렌즈 또는 광학 시스템에 의해 야기된 X 방향 및 Y 방향에서의 이미지의 스케일링을 나타내는 파라미터들을 포함할 수 있다. 고유 모델 파라미터들은, 또한 렌즈 또는 광학 시스템에 의해 도입된 색수차를 특정하는 하나 또는 그 초과의 파라미터들을 포함할 수도 있다.
모델 파라미터 세트는, 또한 카메라(105)의 위치 및 방위를 특정하는 외인성 모델 파라미터들(포즈로 인용될 수도 있음)을 포함한다. 예를 들어, 카메라(105)의 외인성 파라미터들은 카메라(105)의 위치를 정의하는 X, Y, 및 Z 좌표(110, 111, 112)를 포함한다. 좌표(110, 111, 112)를 식별하는 데 사용되는 좌표계의 위치 및 방위는 임의적이며, 일부 실시예에서는, 후술되는 바와 같이 좌표계의 기점이 교정 시스템(100)의 특정 엔티티에 대응하도록 선택된다. 외인성 모델 파라미터들은 또한 고정된 중력 기준에 대하여 또는 다른 상대 또는 절대 기준에 대하여 모두 좌/우 회전(즉, 요 각도(115)), 전/후 틸트(즉, 피치 각도(116)), 및 사이드-투-사이드 피봇(즉, 롤 각도(117))과 같은 하나 또는 그 초과의 회전의 정도를 가리키는 파라미터들을 포함할 수도 있다. 카메라 리그에서 서로에 대하여 견고하게 부착되는 다수의 카메라들을 특정하기 위해 추가적인 외인성 파라미터들이 이용될 수 있다. 예를 들어, 외인성 모델 파라미터들은, 또한 후술되는 바와 같이, 하나 또는 그 초과의 다른 카메라들에 대하여 카메라(105)의 상대 위치 및 방위를 포함할 수도 있다. 외인성 모델 파라미터들은, 또한 주변 조명 상태, 시간, 기상 상태 등과 같은 상황 정보를 포함할 수도 있다.
교정 시스템(100)은 하나 또는 그 초과의 교정 타겟(120)을 포함한다. 교정 타겟(120)은 상이한 크기들을 갖는 원들 또는 타원들로 형성된 타겟 패턴을 포함한다. 그러나, 본 명세서에서 논의되는 바와 같이, 교정 타겟의 일부 실시예는 동일 평면 또는 상이한 평면들에 배치된 동일 또는 상이한 패턴들, 강체 구조에 부착되는 동일 또는 상이한 크기들의 다수의 구체들, 또는 카메라(105)에 의해 촬영될 수 있는 다른 유형의 패턴들을 포함하는 다수의 평면 패턴들과 같은 2 차원 또는 3 차원의 다른 타겟 패턴으로 구현된다. 교정 타겟(120)의 위치는 X, Y, Z 좌표(121, 122, 123)로 표현된다. 본 명세서에서 논의되는 바와 같이, 카메라(105)는 교정 타겟(120)의 실제 이미지를 카메라(105)의 모델 파라미터들에 기초하여 생성되는 합성 이미지와 비교함으로써 교정된다. 따라서, 교정 프로세스 동안 카메라(105)를 특정하는 데 사용되는 모델 파라미터 세트는 좌표(110, 111, 112)와 좌표(121, 122, 123)를 비교함으로써 결정될 수 있는 교정 타겟(120)에 대한 카메라(105)의 위치를 나타내는 외인성 모델 파라미터들을 포함한다. 일부 실시예에서, 좌표계의 기점은 카메라(105)의 위치를 나타내는 외인성 모델 파라미터들이 카메라(105)의 X, Y, Z 좌표(110, 111, 112)를 나타내는 외인성 모델 파라미터들과 동일하도록 교정 타겟(120)의 위치에 대응하는 것으로 정의될 수 있다. 도 1에는 단일의 교정 타겟(120)이 도시되어 있지만, 교정 시스템(100)의 일부 실시예는 다수의 교정 타겟들을 포함할 수 있다. 또한, 나선 패턴 또는 별 패턴과 같은 다른 타겟 패턴들이 교정 타겟(120)으로서 사용될 수 있다. 타겟 패턴들은 흑백 패턴, 회색조 패턴, 또는 컬러 패턴일 수 있다.
교정 디바이스(125)는 카메라(105)를 특정하는 모델 파라미터들을 교정하는 데 사용된다. 교정 디바이스(125)는 하드웨어, 펌웨어, 소프트웨어, 또는 그 임의의 조합으로서 구현될 수 있다. 예를 들어, 교정 디바이스(125)는 소프트웨어 또는 펌웨어를 저장하는 메모리 요소를 포함할 수 있다. 교정 디바이스(125)는, 또한 카메라(105)의 교정을 수행하기 위해 소프트웨어 또는 펌웨어에 포함된 명령들을 실행하는 프로세서를 포함할 수도 있다. 이어서, 교정 모델 파라미터들은 메모리 요소에 저장되거나 카메라(105)에 제공될 수 있다. 교정 디바이스(125)는 카메라(105)의 외부에 있는 독립형 엔티티일 수 있거나 또는 교정 디바이스(125)는 카메라(105)의 통합된 부분으로서 구현될 수 있다.
교정 디바이스(125)는 카메라(105)에 의해 캡처된 교정 타겟(120)의 실제 이미지와 모델 파라미터들에 기초하여 렌더링되는 교정 타겟(120)의 합성 이미지와의 비교에 기초하여 모델 파라미터들을 교정한다. 실제 이미지와 합성 이미지는 이미지들을 캡처하는 데 사용되는 카메라(105) 내의 센서들에 대응하는 픽셀들의 어레이에 대한 강도 값들에 의해 표현된다. 실제 이미지에서의 강도 값들은 노출 동안 카메라(105) 내의 상응하는 센서 상으로 떨어지는 광의 강도들을 나타낸다. 합성 이미지에서의 강도 값들은, 후술되는 바와 같이 모델 파라미터들에 기초하여 예측되거나 시뮬레이트되는 추정된 강도 값들을 나타낸다. 교정 디바이스(125)의 일부 실시예는 픽셀들 각각으로부터 교정 타겟(120) 상의 상응하는 지점들까지 복수의 광선을 추적함으로써 교정 타겟(120)의 합성 이미지에서 픽셀들을 렌더링한다. 광선 추적은 카메라(105)의 모델 파라미터들에 기초하여 수행된다. 이어서, 교정 디바이스(125)는 합성 이미지에서의 픽셀들의 강도들과 카메라(105)에 의해 생성된 실제 이미지에서의 픽셀들의 강도들 사이의 거리의 측정치를 감소시키거나 최소화하도록 모델 파라미터들을 수정한다. 교정 프로세스는 하나 또는 그 초과의 수렴 기준이 충족될 때까지 반복될 수 있다.
교정 디바이스(125)의 일부 실시예는 카메라(105)를 특정하는 고유 모델 파라미터와 외인성 모델 파라미터를 동시에 추정함으로써 교정 타겟(120)의 합성 이미지를 카메라(105)에 의해 캡처된 실제 이미지와 정합시킨다. 예를 들어, 고유 및 외인성 모델 파라미터들은 파라미터 벡터 p 로 나타내질 수 있다. 교정 디바이스(125)는 최소-제곱 최소화 함수에 따라 합성 이미지에서의 픽셀들의 강도들과 실제 이미지에서의 픽셀들의 강도들 사이의 차이의 제곱들의 합을 최소화하는 파라미터 벡터 p 의 값을 결정한다:
Figure pct00005
(1)
여기서:
Figure pct00006
는 교정 타겟에 대한 예상 강도를 나타내고 (0=흑색, 1=백색)
Figure pct00007
는 타겟 좌표, 예를 들어 미터 단위이고
I 는 픽셀 u 에서의 실제 이미지의 강도이고
Figure pct00008
는 픽셀 좌표이고
w, h 는 이미지 차원이고
Figure pct00009
는 모델 파라미터들(또는 와프 파라미터들)이고
Figure pct00010
는 외인성 모델 파라미터들 또는 타겟 포즈, 즉
Figure pct00011
Figure pct00012
는 고유 모델 파라미터들이고
Figure pct00013
는 벡터
Figure pct00014
를 변환 A를 이용해서 타겟 좌표로부터 카메라 좌표로 변환하고 나서 투영 함수 P를 이용해서 벡터를 픽셀 좌표로 투영하는 와프 함수, 즉,
Figure pct00015
이다.
Figure pct00016
는 회전이 뒤따르는 이동이고
Figure pct00017
는 3-D 지점들을 픽셀 좌표에 맵핑하고 카메라 모델 파라미터들에 의존하는 함수이다.
Figure pct00018
은 관찰된 이미지에서 픽셀(미-투영 또는 재-투영) 내의 위치에 대한 상응하는 속도를 계산하고 광선을 타겟 평면과 교차시킨다. 따라서, 와프 함수의 역수
Figure pct00019
은 모델 파라미터들
Figure pct00020
에 기초하여 픽셀 위치 (u) 를 타겟의 평면 내의 위치 u 로 변환한다.
교정 디바이스(125)는 카메라(105)를 나타내는 모델 파라미터들의 초기 추측 또는 추정을 반복적으로 개선함으로써 식 (1)에 의해 정의된 최소-제곱 최소화 문제를 해결한다.
교정 디바이스(125)의 일부 실시예는 비선형 최소-제곱 최적화 문제를 반복적으로 해결하기 위해 가우스-뉴턴 최소 제곱 최적화 알고리즘을 이용한다. 식 (1)의 1차 테일러 전개(Taylor expansion)는 다음과 같이 파라미터 벡터
Figure pct00021
의 현재 추정치를 파라미터 벡터
Figure pct00022
의 수정된 추정치와 관련시키기 위해 사용될 수 있다:
Figure pct00023
(2)
여기서,
Figure pct00024
는 파라미터 벡터에서의 변화의 벡터이고,
Figure pct00025
는 픽셀 위치에서의 파라미터 벡터의 함수로서 교정 타겟(120) 상의 강도의 구배이다. 후술되는 바와 같이, 강도 구배들은 강도가 파라미터 벡터들의 연속 함수임을 보장하는 평활 함수의 적용 및 광선 추적에 의해 결정된 강도 값들을 이용하여 합성 이미지로부터 수치적으로 계산될 수 있다. 예를 들어, 렌더링된 이미지(T)의 강도는 현재의 모델 파라미터 세트에 대해 먼저 결정되고 나서(
Figure pct00026
), 파라미터 벡터를 소량씩 각 방향으로 변경한 후에 렌더링된 제 2 이미지에 대하여 해당 강도가 재계산된다(
Figure pct00027
). 이어서, 자코비안
Figure pct00028
는 두 렌더링된 이미지들에서의 강도들간의 차이로부터 계산된다. 가우스-뉴턴 알고리즘은 식 (2)를 사용하여 수렴 기준에 도달할 때까지 파라미터 벡터들의 값들을 반복적으로 수정한다. 예를 들어, 알고리즘은 정해진 반복 동안 파라미터 벡터들에서의 변화가 임계값을 하회할 때 수렴할 수 있다.
교정 디바이스(125)의 일부 실시예는 비선형 최소-제곱 최적화 문제를 반복적으로 해결하기 위해 루카스-카나데(Lucas-Kanade) 광학 흐름 알고리즘을 이용한다. 광학 흐름 알고리즘은 구배
Figure pct00029
를 이미지 구배:
Figure pct00030
및 와프 함수의 자코비안
Figure pct00031
으로 분해한다. 이어서, 식 (2)에 의해 정의된 선형화된 최소화 문제가 아래와 같이 다시 쓰여질 수 있으며:
Figure pct00032
(3)
여기서, W 는 좌표 변환 A 및 투영 P 로 구성된다. 자코비안들은 모델 파라미터들
Figure pct00033
및
Figure pct00034
에 대하여 개별적으로 계산되고 나서, 단일의 매트릭스로 결합된다:
Figure pct00035
Figure pct00036
후술되는 바와 같이, 자코비안들은 강도가 파라미터 벡터들의 연속 함수임을 보장하는 평활 함수의 적용 및 광선 추적에 의해 결정된 강도 값들을 이용하여 합성 이미지로부터 수치적으로 계산될 수 있다. 루카스-카나데 알고리즘은 식 (3)을 사용하여 수렴 기준에 도달할 때까지 파라미터 벡터들의 값들을 반복적으로 수정한다. 예를 들어, 알고리즘은 정해진 반복 동안 파라미터 벡터들에서의 변화가 임계값을 하회할 때 수렴할 수 있다.
루카스-카나데 광학 흐름 알고리즘에 있어서, 와프 함수의 역수
Figure pct00037
은 이미지를 재-투영해서 교정 타겟(120)의 평면과 교차함으로써 실제 이미지에서의 픽셀들을 타겟 좌표로 변환한다. 최적화 알고리즘의 각각의 반복에 있어서, 와프 함수의 역수
Figure pct00038
은 타겟 포즈라고 인용될 수도 있는, 고유 모델 파라미터들
Figure pct00039
및 외인성 모델 파라미터들
Figure pct00040
의 현재의 최상의 추정치에 기초하여 실제 이미지에서의 각 픽셀
Figure pct00041
에 대하여 교정 타겟(120) 상에서 샘플링 위치를 선택하는 데 사용된다. 타겟 상의 각 샘플에 대하여, 자코비안
Figure pct00042
는 고유 모델 파라미터
Figure pct00043
및 외인성 모델 파라미터
Figure pct00044
의 변화에 대해 이미지에서 재-투영된 픽셀 좌표가 어떻게 움직이는지를 나타낸다. 자코비안
Figure pct00045
는
Figure pct00046
에서 평가되므로, 그 재-투영은 픽셀 u의 근방에서 이루어진다. 이어서, 고유 모델 파라미터
Figure pct00047
및 외인성 모델 파라미터
Figure pct00048
에서의 변화에 대하여 실제 이미지와 렌더링된 이미지 사이의 차이의 변화는 픽셀 u 에서의 자코비안
Figure pct00049
및 이미지 구배
Figure pct00050
을 결합함으로써 결정될 수 있다.
교정 시스템(100)의 일부 실시예는 다수의 교정 타겟들(120)을 포함한다. 다수의 교정 타겟들(120)의 실제 이미지 및 합성 이미지는 카메라(105)의 파라미터들을 교정하는 데 사용될 수 있다. 이미지들의 강도들은
Figure pct00051
로 표현되고 추가적인 모델 파라미터들
Figure pct00052
은 각각의 이미지에 대하여 포함된다. 예를 들어, 교정 디바이스(125)는 최소-제곱 최소화 함수에 따라 합성 이미지들에서의 픽셀들의 강도들과 실제 이미지들에서의 픽셀들의 강도들 사이의 차이를 최소화하는 파라미터 벡터 p 의 값을 결정할 수 있다:
Figure pct00053
(4)
여기서:
i, u 는 제각기 상이한 이미지들 및 이미지들에 내의 픽셀들에 대한 인덱스이다.
Figure pct00054
는 카메라(105)에 대한 모델 파라미터 세트를 나타내는 벡터이다.
식 (4)에서의 다른 변수들은 식 (2)에 대하여 위에서 정의한 변수들에 대응한다.
도 2는 일부 실시예에 따른 카메라의 모델 파라미터들에 기초하여 합성 이미지를 생성하기 위해 광선 추적을 수행하는 데 사용되는 교정 시스템(200)의 다이어그램이다. 교정 시스템(200)은 카메라에서 구현된 복수의 픽셀들 중 하나의 픽셀(205)을 포함한다. 교정 시스템(200)은, 또한 도 1에 도시된 교정 타겟(120)과 같은 교정 타겟의 부분(210)을 포함한다. 명료함을 위해, 교정 타겟의 부분(210)에서 타겟 패턴을 형성하는 원들 또는 타원들은 점선으로 표시되지만, 실제로는 도 1에 도시된 바와 같이, 원들 또는 타원들이 채워질 수 있다. 타원(215)은 초점 길이, 투영 중심, 왜곡, 배율 스케일링 등과 같은 카메라의 고유 모델 파라미터들을 나타내기 위해 사용된다. 카메라의 X, Y, Z 좌표, 카메라의 피치, 요, 및 롤, 그리고 픽셀(205)과 교정 타겟의 부분(210)과의 상대 위치들과 같은 카메라의 외인성 모델 파라미터들은 양방향 화살표(220)에 의해 표현된다.
교정 타겟(부분(210)을 포함)의 합성 이미지는 픽셀(205)을 포함하는 복수의 픽셀들의 강도 값들로 형성된다. 그러므로, 합성 이미지는 픽셀(205)로부터 교정 타겟의 부분(210)까지의 광선 추적을 이용해서 모델 파라미터들(215, 220)에 기초하여 렌더링될 수 있다. 일부 실시예에서, 합성 이미지는 도 1에 도시된 교정 디바이스(125)와 같은 교정 디바이스에 의해 결정된다. 픽셀(205)에 대한 강도 값은 픽셀(205) 내의 하나 또는 그 초과의 위치로부터 교정 타겟의 부분(210)의 평면까지 하나 또는 그 초과의 광선을 추적함으로써 결정된다.
일부 실시예에서, 픽셀(205)은 픽셀(205)의 영역 내의 중심 지점에 의해 표현되고, 단일 광선은 픽셀(205)로부터 교정 타겟의 부분(210)까지 추적된다. 평활 함수(후술되는 바와 같음)는 픽셀(205)의 영역과 교정 타겟의 피쳐들 사이의 오버랩에 기초하여 픽셀(205)에 할당된 강도 값을 평활화하기 위해 적용된다. 오버랩의 정도는 교정 타겟의 피쳐에 대한 픽셀(205) 내의 중심 지점의 근접성에 의해 결정될 수 있다. 평활 함수는 강도가 모델 파라미터들의 연속 함수임을 보장한다.
일부 실시예에서, 픽셀(205)은 복수의 픽셀 엘리먼트들(225)(명료함을 위해 하나만 도면 번호로 표시됨)로 세분될 수 있다. 이어서, 모델 파라미터(215, 220)를 이용하여 광선들을 각각의 픽셀 요소(225)로부터 교정 타겟의 부분(210)까지 추적하여 픽셀(205)로부터 부분(210)까지의 광선들의 경로를 결정한다. 강도 값은 광선에 의해 교차되는 부분(210) 상의 지점에서의 강도에 기초하여 각 픽셀 요소(225)에 할당된다. 예를 들어, 광선(230)은 타겟 패턴을 형성하는 데 사용된 타원들 중 하나의 외부의 위치에서 부분(210)과 교차한다. 따라서, 광선(230)에 대응하는 픽셀 요소(225)의 강도는 0의 강도 값과 같이, 부분(210)의 백색 구역에 대응하는 강도 값이 할당된다. 다른 예시로서, 광선(235)은 타겟 패턴의 큰 타원 내측의 위치에서 부분(210)과 교차한다. 따라서, 광선(235)에 대응하는 픽셀 요소(225)의 강도는 1의 강도 값과 같이, 부분(210)의 흑색 영역에 대응하는 강도 값이 할당된다. 각 픽셀(205)의 전체 강도는 상응하는 픽셀(205)에서 픽셀 요소들(225) 각각에 대한 강도들을 평균화하여 결정된다. 평활 함수는, 또한 강도가 모델 파라미터들의 연속 함수임을 보장하기 위해 강도 값들에 적용될 수도 있다.
도 3은 일부 실시예에 따른 광선 추적 및 상응하는 픽셀(310)에 의해 형성된 타원(305)의 합성 이미지(300)의 다이어그램이다. 명료화를 위해, 타원(305)은 채워지지 않은 타원으로 표현되지만, 실제로는 도 1에 도시된 바와 같이 타원이 채워질 수 있다. 식 (2) 및 (3)의 구배들은 합성 이미지에서의 픽셀들에 대한 강도 값들을 이용해서 수치적으로 계산된다. 따라서, 렌더링 함수는 모델 파라미터들에 대하여 수치 도함수들이 0이 아닌지 보장하기 위해 모델 파라미터들의 연속 함수인 강도들을 생성해야 한다. 교정 디바이스(예컨대, 도 1에 도시된 교정 디바이스(125))는 합성 이미지에서의 픽셀들에 할당된 강도 값들에 평활 함수를 적용할 수 있다. 평활 함수는 도 2에 대하여 기술된 광선 추적 알고리즘의 실시예들에 더하여 또는 대신하여 사용될 수 있다.
평활 함수의 일부 실시예는, 교정 타겟 이미지의 피쳐들에 대한 픽셀의 근접성에 기초하여 픽셀을 백색, 흑색, 또는 회색 값으로서 렌더링해야 하는지의 여부를 결정한다. 예를 들어, 교정 디바이스는 모델 파라미터들에 기초한 광선 추적을 이용해서 픽셀(310) 내의 중심 지점으로부터 나오는 광선에 대한 교정 타겟 평면에서의 교차 지점(315)을 결정할 수 있다. 이어서, 교정 디바이스는 교차 지점(315)에 대한 타원(305) 상의 가장 가까운 지점(320)을 결정해서, 교차 지점(315)과 해당 가장 가까운 지점(320) 사이의 픽셀 거리 δ 를 계산한다. 픽셀 거리 δ 가 임계치
Figure pct00055
보다 작으면, 픽셀의 강도는 회색 값으로 렌더링된다 :
Figure pct00056
; 교차 지점(315)이 타원(305)의 안에 있는 경우, 및
Figure pct00057
; 교차 지점(315)이 타원(305)의 밖에 있는 경우.
Figure pct00058
이고 교차 지점(315)이 타원(305)의 외측이면 픽셀들은 백색(I=1)으로 렌더링된다.
Figure pct00059
이고 교차 지점(315)이 타원(305)의 내측이면 픽셀들은 흑색(I=0)으로 렌더링된다. 이에 의해 평활 함수는 타원(305)과 픽셀(310) 사이의 교차 영역을 근사화하고 교차 영역에 대략 비례하여 강도를 스케일링한다.
도 4는 일부 실시예에 따른 교정 알고리즘의 순차 반복에서 실제 이미지와 합성 이미지의 비교 시퀀스(400)를 묘사하는 다이어그램이다. 비교들(405, 410, 415)은 카메라에 의해 캡처된 실제 이미지 및 모델 파라미터 세트에 기초하여 교정 디바이스에 의해 생성된 합성 이미지를 도시한다. 카메라에 의해 캡처된 실제 이미지는 흑색으로 채워진 원들로 표시된다. 실제 이미지는 비교들(405, 410, 415) 각각에서 동일하게 유지된다. 점선의 원들은 교정 디바이스에 의해 생성된 합성 이미지를 표시하기 위해 사용된다. 합성 이미지는 교정 디바이스에 의해 모델 파라미터들의 수정에 응답하여 비교들(405, 410, 415) 사이에서 변화된다.
비교(405)는 실제 이미지와, 카메라를 나타내는 모델 파라미터들의 초기 추정치에 기초하여 생성되는 초기 합성 이미지를 도시한다. 초기 추정치는 디폴트 모델 파라미터 세트에 기초하여, 또는 모델 파라미터들을 초기화하는 다른 교정 기술을 이용해서 생성될 수 있다. 교정 디바이스는, 예를 들어 본 명세서에서 논의된 바와 같은 식 (2) 또는 식 (3)에 기초하여 최소-제곱 최소화를 수행함으로써, 모델 파라미터들에 대한 수정들을 결정한다. 이어서, 모델 파라미터들이 업데이트될 수 있다.
비교(410)는 실제 이미지와, 교정 디바이스에 의해 결정된 수정된 모델 파라미터들에 기초하여 생성되는 수정된 합성 이미지를 도시한다. 교정 디바이스는, 예를 들어 본 명세서에서 논의된 바와 같은 식 (2) 또는 식 (3)에 기초하여 최소-제곱 최소화의 다른 반복을 수행함으로써, 모델 파라미터들에 대한 추가적인 수정들을 결정하기 위해 최소-제곱 최소화의 다른 반복을 수행한다. 이어서, 모델 파라미터들이 업데이트될 수 있다.
비교(415)는 실제 이미지와, 비교(410)에 도시된 실제 이미지 및 수정된 합성 이미지를 이용해서 교정 디바이스에 의해 결정된 수정된 모델 파라미터들에 기초하여 생성되는 수정된 합성 이미지를 도시한다. 비교(415)는 반복적인 최소-제곱 최소화가 수렴했음을 나타낸다. 수렴은 실제 이미지에서의 강도와 임계치를 하회하는 수정된 합성 이미지에서의 강도 사이의 최소-제곱 차이들에 의해 나타내질 수 있다. 수렴은, 또한 임계치를 하회하는 모델 파라미터들에서의 변화들의 진폭에 의해 나타내질 수도 있다.
도 5는 일부 실시예에 따른 어안 렌즈를 이용해서 카메라로 촬영한 교정 타겟의 실제 이미지(500)를 도시한다. 교정 타겟은, 도 1에 도시된 교정 타겟(120)과 같이, 크고 작은 원들로 이루어진 패턴을 포함하는 평면 타겟이다. 어안 렌즈의 넓은 시야는 실제 이미지(500)에서 상당한 방사상 왜곡을 생성한다. 교정 타겟의 합성 이미지(505)는 실제 이미지(500)를 캡처하는 데 사용된 카메라를 특정하는 모델 파라미터들에 기초하여 교정 디바이스에 의해 생성된다. 차이 이미지(510)는 실제 이미지(500)와 합성 이미지(505)에서의 픽셀들 각각에서의 강도들간의 차이들을 나타낸다. 510 에 의해 예시된 강도 차이들은, 본 명세서에서 논의된 바와 같이 카메라의 모델 파라미터들을 교정하는 데 사용될 수 있다.
도 6은 일부 실시예에 따른 카메라 리그(605)의 모델 파라미터들을 교정하기 위한 교정 시스템(600)의 다이어그램이다. 카메라 리그(605)는 리그 또는 다른 구조에 의해 견고하게 상호연결되는 다수의 개별 카메라들(610, 611, 612, 613)("카메라들(610-613)"로 통칭함)을 포함한다. 카메라들(610-613)은 국부적인 환경의 더 넓은 각도의 시야를 제공하는 광각 촬상 카메라일 수 있거나, 국부적인 환경의 더 좁은 각도의 시야를 제공하는 협각 촬상 카메라일 수 있다. 카메라들(610-613)은 카메라들(610-613)의 내부 특성들을 나타내는 고유 모델 파라미터들을 포함하는 모델 파라미터 세트로 특정된다. 예를 들어, 카메라들(610-613) 각각은 초점 길이, 투영 중심, 하나 또는 그 초과의 왜곡 계수, 및 하나 또는 그 초과의 스케일링/배율 파라미터를 포함하는 별도의 고유 모델 파라미터 세트로 특정될 수 있다.
카메라 리그(605)는, 또한 카메라 리그(605)의 위치를 정의하는 X, Y, 및 Z 좌표(615, 616, 617)를 포함하는 외인성 모델 파라미터들에 의해 특정된다. 카메라 리그(605) 및 개별 카메라들(610-613) 각각은 피치 값, 요 값, 및 롤 값(명료화를 위해 도 6에는 도시되지 않음)에 의해 특정될 수도 있다. 외인성 모델 파라미터들은, 또한 개별 카메라들(610-613)의 상대 위치들을 특정하는 데 사용될 수도 있다. 예를 들어, X, Y, 및 Z 좌표(615, 616, 617)는 카메라(613)의 위치를 나타낼 수 있고, 추가적인 외인성 모델 파라미터들(620, 621, 622)은 카메라(613)에 대한 카메라들(610, 611, 612)의 위치들을 나타내는 데 사용될 수 있다. 외인성 모델 파라미터들은, 또한 피치 값, 요 값, 및 롤 값과 같이, 카메라들(610-613)의 상대적인 회전 방위들을 나타내는 데 사용될 수도 있다.
교정 시스템(600)은 상이한 크기들을 갖는 원들 또는 타원들로 형성된 타겟 패턴을 포함하는 하나 또는 그 초과의 교정 타겟들(625)을 포함한다. 교정 타겟(625)의 위치는 X, Y, Z 좌표(626, 627, 628)로 표현된다. 본 명세서에서 논의되는 바와 같이, 교정 디바이스(630)는 교정 타겟(625)의 실제 이미지들을 카메라들(610-613)의 모델 파라미터들에 기초하여 생성되는 합성 이미지들과 비교함으로써 카메라 리그(605)를 교정한다. 예를 들어, 교정 디바이스(630)는 최소-제곱 최소화 함수에 따라 합성 이미지들에서의 픽셀들의 강도들과 실제 이미지에서의 픽셀들의 강도들 사이의 차이를 최소화하는 파라미터 벡터 p 의 값을 결정할 수 있다:
Figure pct00060
(5)
여기서:
i, j, u 는 각각 카메라 리그(605) 내의 상이한 카메라들(610-613), 상이한 이미지들, 및 이미지들에서의 픽셀들에 대한 인덱스이다.
Figure pct00061
, 는 베이스 카메라(613)와 연관된 베이스 좌표 프레임으로부터 다른 카메라들(610-612)로의 변환을 나타내는 모델 파라미터들이고, N j 는 카메라 리그 내의 카메라들(610-613)의 번호이고,
Figure pct00062
는 항등 변환이다.
Figure pct00063
는 카메라 리그(605)에 대한 모델 파라미터 세트를 나타내는 벡터이다.
식 (5)에서의 다른 변수들은 식 (4)에 대하여 위에서 정의한 변수들에 대응한다.
도 7은 일부 실시예에 따른 카메라를 특정하는 모델 파라미터들을 교정하는 방법(700)의 흐름도이다. 방법(700)은 도 1에 도시된 교정 디바이스(125) 또는 도 6에 도시된 교정 디바이스(630)의 일부 실시예에서 구현될 수 있다. 블록(705)에서, 카메라는 교정 타겟의 실제 이미지를 캡처한다. 실제 이미지는 카메라의 이미지 평면에서의 픽셀들에 의해 수신된 강도 값들에 의해 표현되고, 강도 값들을 나타내는 정보는, 예를 들어 카메라에 구현된 메모리 또는 외부 메모리에 저장될 수 있다. 블록(710)에서, 교정 디바이스는 카메라 모델 파라미터들에 기초하여 교정 타겟의 합성 이미지를 렌더링한다. 예를 들어, 교정 디바이스는 픽셀들과 연관된 위치들로부터 교정 타겟의 상응하는 위치들까지 광선을 추적하고 나서 교정 타겟 상의 위치들에서의 강도 값들을 픽셀 위치들에 연관시킴으로써 교정 타겟의 합성 이미지를 렌더링할 수 있다.
블록(715)에서, 교정 디바이스는 실제 이미지 및 합성 이미지에서의 픽셀들에서의 강도 값들간의 거리 측정치에 대한 최소-제곱 최소화를 수행함으로써 카메라의 모델 파라미터들을 수정한다. 교정 디바이스의 일부 실시예는 식 (1)에서 정의된 최소-제곱 최소화 함수에 근거하여 모델 파라미터들의 값들을 수정한다. 교정 디바이스의 일부 실시예는, 예를 들어 식 (2)에서 정의된 바와 같이, 업데이트된 모델 파라미터들을 해결하기 위해 가우스-뉴턴 알고리즘을 이용한다. 교정 디바이스의 일부 실시예는, 예를 들어 식 (3)에서 정의된 바와 같이, 루카스-카나데 광학 흐름 알고리즘을 이용해서 업데이트된 모델 파라미터들을 해결한다. 모델 파라미터들은, 또한 식 (4)에서 정의된 최소-제곱 최소화 함수를 이용해서 다수의 이미지들에 근거하여 결정될 수도 있으며, 다수의 카메라들로 이루어진 어레이의 모델 파라미터들은 식 (5)에서 정의된 최소-제곱 최소화 함수를 이용해서 결정될 수 있다.
결정 블록(720)에서, 교정 디바이스는 수정된 모델 파라미터들이 수렴 기준을 충족시키는지의 여부를 결정한다. 예를 들어, 교정 디바이스는 모델 파라미터들의 분율(또는 백분율) 변화가 임계 값보다 낮은지의 여부를 결정할 수 있다. 분율 또는 백분율 변화는 각각의 모델 파라미터에 대하여 또는 모델 파라미터들의 조합들에 대하여 결정될 수 있다. 다른 예시로서, 교정 디바이스는 실제 이미지와 합성 이미지간의 최소-제곱 차이가, 예를 들어 식 (1)에 의해 표시된 바와 같이 임계 값보다 낮은지의 여부를 결정할 수 있다. 교정 디바이스의 일부 실시예는 이들 수렴 기준 또는 다른 수렴 기준의 조합들을 이용할 수 있다. 수렴 기준이 충족되지 않는 한, 방법(700)은 수렴 기준이 충족될 때까지 모델 파라미터들이 반복적으로 업데이트되도록 블록(710)으로 진행한다. 수렴 기준이 충족되면, 방법(700)은 블록(725)으로 진행한다.
블록(725)에서, 교정된 모델 파라미터들이 저장된다. 교정 디바이스의 일부 실시예는 카메라에 의한 후속 사용을 위해 교정된 모델 파라미터들을 외부 위치에 또는 다른 비-일시적 컴퓨터-판독 가능 저장 매체에 저장한다. 교정 디바이스는, 또한 카메라가 이 정보에 직접 액세스할 수 있도록, 교정된 모델 파라미터들을 카메라에 구현된 비-일시적 컴퓨터-판독 가능 저장 매체에 저장할 수도 있다.
도 8은 일부 실시예에 따른 조대-미세 스케일링 기술을 이용해서 카메라를 특정하는 모델 파라미터들을 교정하는 방법(800)의 흐름도이다. 방법(800)은 도 1에 도시된 교정 디바이스(125) 또는 도 6에 도시된 교정 디바이스(630)의 일부 실시예에서 구현될 수 있다. 블록(805)에서, 교정 디바이스는 이미지에 대한 스케일링을 선택한다. 예를 들어, 교정 디바이스는 초기에 각각의 픽셀이 교정 타겟의 더 큰 부분과 연관된 강도 값을 캡처하거나 나타내도록 조대 스케일링을 선택할 수 있다. 조대 스케일링을 이용하면, 방법(800)이 최소-제곱 최소화 알고리즘에서 국부적인 최소치들을 회피하는 것을 돕는 고-해상도 피쳐들이 평활화된다. 예를 들어, 도 1에 도시된 교정 타겟(120)으로부터 실제 이미지를 캡처하기 위해 상대적으로 조대 스케일링을 선택하면, 실제 이미지에서 더 작은 원들이 실질적으로 제거될 수 있으며, 또한 교정 타겟(120)에서 더 큰 원들로 이루어진 패턴에 실질적으로 기초하여 최소-제곱 최소화가 수행되는 것이 허용될 수 있다. 따라서, 최소화 알고리즘은 실제 이미지 및 합성 이미지에서 작은 원들이 큰 원들과 정렬될 때 발생하는 국부적인 최소치들을 회피할 수 있다.
블록(810)에서, 카메라는 블록(805)에서 결정된 스케일링에서 교정 타겟의 실제 이미지를 캡처한다. 실제 이미지는 카메라의 이미지 평면에서의 픽셀들에 의해 수신된 강도 값들에 의해 표현되고, 강도 값들을 나타내는 정보는, 예를 들어 카메라에 구현된 메모리 또는 외부 메모리에 저장될 수 있다. 블록(815)에서, 교정 디바이스는 카메라 모델 파라미터들 및 블록(805)에서 결정된 스케일링에 기초하여 교정 타겟의 합성 이미지를 렌더링한다. 예를 들어, 교정 디바이스는 픽셀들과 연관된 위치들로부터 교정 타겟의 상응하는 위치들까지 광선을 추적하고 나서 교정 타겟 상의 위치들에서의 강도 값들을 픽셀 위치들에 연관시킴으로써 교정 타겟의 합성 이미지를 렌더링할 수 있다.
블록(820)에서, 교정 디바이스는 실제 이미지 및 합성 이미지에서의 픽셀들에서의 강도 값들간의 거리 측정치에 대한 최소-제곱 최소화를 수행함으로써 카메라의 모델 파라미터들을 수정한다. 본 명세서에서 논의된 바와 같이, 교정 디바이스의 일부 실시예는, 예를 들어 식 (2)에서 정의된 바와 같이 업데이트된 모델 파라미터들을 해결하기 위한 가우스-뉴턴 알고리즘, 또는 예를 들어 식 (3)에서 정의된 바와 같이 루카스-카나데 광학 흐름 알고리즘을 이용해서 식 (1)에서 정의된 최소-제곱 최소화 함수에 근거하여 모델 파라미터들의 값들을 수정한다. 모델 파라미터들은, 또한 식 (4)에서 정의된 최소-제곱 최소화 함수를 이용해서 다수의 이미지들에 근거하여 결정될 수도 있다. 다수의 카메라들로 이루어진 어레이의 모델 파라미터들은 식 (5)에서 정의된 최소-제곱 최소화 함수를 이용해서 결정될 수 있다.
결정 블록(825)에서, 교정 디바이스는 수정된 모델 파라미터들이 수렴 기준을 충족시키는지의 여부를 결정한다. 본 명세서에서 논의되는 바와 같이, 수렴 기준은 모델 파라미터들에서의 분율(또는 백분율) 변화가 임계 값보다 낮은지의 여부 또는 실제 이미지와 합성 이미지간의 최소-제곱 차이가, 예를 들어 식 (1)에 의해 나타내진 바와 같이 임계 값보다 낮은지의 여부를 나타낼 수 있다. 교정 디바이스의 일부 실시예는 이들 수렴 기준 또는 다른 수렴 기준의 조합들을 이용할 수 있다. 수렴 기준이 충족되지 않는 한, 방법(800)은 수렴 기준이 충족될 때까지 모델 파라미터들이 반복적으로 업데이트되도록 블록(815)으로 진행한다. 수렴 기준이 충족되면, 방법(800)은 블록(830)으로 진행한다.
결정 블록(830)에서, 교정 디바이스는 실제 이미지와 합성 이미지가 가능한 최고 해상도로 되고 실제 이미지 및 합성 이미지의 픽셀들이 교정 타겟의 가능한 최소 부분을 나타내도록 실제 이미지와 합성 이미지가 풀-스케일(full-scale)로 되는지의 여부를 결정한다. 풀-스케일이 아니면, 방법(800)은 블록(835)으로 진행하고, 스케일 팩터가 다음의 최고 해상도를 가진 다음 최고 스케일 팩터로 증가된다. 예를 들어, 방법(800)은 1/8, 1/4, 1/2, 및 풀 스케일과 같은 소정의 스케일 팩터 세트를 이용할 수 있다. 따라서, 방법(800)은 수정된 카메라 모델 파라미터들이 실제 이미지 및 합성 이미지에 기초하여 풀-스케일로 결정된 카메라 모델 파라미터들을 나타낼 때까지 스케일 팩터 세트를 통해 반복할 수 있다. 교정 디바이스가 카메라 모델 파라미터들이 실제 이미지 및 합성 이미지에 기초하여 풀 스케일로 결정되었다고 결정하면, 방법(800)은 블록(840)으로 진행한다.
블록(840)에서, 교정된 모델 파라미터들이 저장된다. 교정 디바이스의 일부 실시예는 카메라에 의한 후속 사용을 위해 교정된 모델 파라미터들을 외부 위치에 또는 다른 비-일시적 컴퓨터-판독 가능 저장 매체에 저장한다. 교정 디바이스는, 또한 카메라가 이 정보에 직접 액세스할 수 있도록, 교정된 모델 파라미터들을 카메라에 구현된 비-일시적 컴퓨터-판독 가능 저장 매체에 저장할 수도 있다.
일부 실시예에서, 전술한 기술들의 특정 양태들은 소프트웨어를 실행하는 프로세싱 시스템의 하나 또는 그 초과의 프로세서에 의해 구현될 수 있다. 소프트웨어는 비-일시적 컴퓨터 판독 가능 저장 매체에 저장되거나, 그렇지 않으면 유형적으로 구체화된 하나 또는 그 초과의 실행 가능 명령 세트를 포함한다. 소프트웨어는, 하나 또는 그 초과의 프로세서에 의한 실행시에, 하나 또는 그 초과의 프로세서를 조작하여 전술한 기술들의 하나 또는 그 초과의 양태들을 수행하는 명령들 및 특정 데이터를 포함할 수 있다. 비-일시적 컴퓨터 판독 가능 저장 매체는, 예를 들어 자기 또는 광학 디스크 저장 장치나, 플래시 메모리, 캐시, 랜덤 액세스 메모리(RAM) 또는 다른 비-휘발성 메모리 장치 또는 장치들과 같은 솔리드 스테이트 저장 장치 등을 포함할 수 있다. 비-일시적 컴퓨터 판독 가능 저장 매체에 저장된 실행 가능 명령들은 소스 코드, 어셈블리 언어 코드, 오브젝트 코드, 또는 하나 또는 그 초과의 프로세서에 의해 해석되거나 달리 실행 가능한 다른 명령 포맷으로 될 수 있다.
컴퓨터 판독 가능 저장 매체는 명령들 및/또는 데이터를 컴퓨터 시스템에 제공하기 위해 사용 중에 컴퓨터 시스템에 의해 액세스 가능한 임의의 저장 매체, 또는 저장 매체의 조합을 포함할 수 있다. 이러한 저장 매체는, 한정되는 것은 아니지만, 광학 매체(예를 들어, 콤팩트 디스크(CD), 디지털 다기능 디스크(DVD), 블루-레이(Blu-Ray) 디스크), 자기 매체(예를 들어, 플로피 디스크, 자기 테이프, 또는 자기 하드 드라이브), 휘발성 메모리(예를 들어, 랜덤 액세스 메모리(RAM) 또는 캐시), 비-휘발성 메모리(예를 들어, 리드-온리 메모리(ROM) 또는 플래시 메모리), 또는 마이크로 전자 기계 시스템(MEMS)-기반의 저장 매체를 포함할 수 있다. 컴퓨터 판독 가능 저장 매체는 컴퓨팅 시스템에 내장되거나(예를 들어, 시스템 RAM 또는 ROM), 컴퓨팅 시스템에 견고하게 부착되거나(예를 들어, 자기 하드 드라이브), 컴퓨팅 시스템에 착탈식으로 부착되거나(예를 들어, 광학 디스크 또는 범용 직렬 버스(USB)-기반의 플래시 메모리), 또는 유선 또는 무선 네트워크를 통해 컴퓨터 시스템에 연결될 수 있다(예를 들어, 네트워크 액세스 가능 스토리지(NAS)).
일반적인 설명에서 위에 기술된 활동이나 요소가 모두 필요한 것은 아니며, 특정 활동 또는 디바이스의 일부가 필요없을 수도 있고, 또한 기술된 것들에 더하여, 하나 또는 그 초과의 추가의 활동이 수행되거나 요소가 포함될 수 있다는 점에 유의한다. 또한, 활동들이 나열되는 순서가 반드시 수행되는 순서는 아니다. 또한, 특정 실시예들을 참조하여 개념이 기술되었다. 그러나, 당업자는 이하의 청구 범위에 설명된 바와 같이 본 개시물의 범위를 벗어나지 않으면서 다양한 수정 및 변경이 이루어질 수 있음을 이해할 것이다. 따라서, 명세서 및 도면은 제한적인 의미라기보다는 오히려 예시적인 것으로 간주되어야 하며, 이러한 모든 수정은 본 개시물의 범위 내에 포함되는 것으로 의도된다.
이점들, 다른 장점들, 및 문제점들에 대한 해법들이 특정 실시예들과 관련하여 위에서 기술되었다. 그러나, 이점들, 장점들, 문제점들에 대한 해법들, 및 임의의 이점, 장점, 또는 해법이 발생되게 하거나 또는 더욱 표명되게 할 수 있는 임의의 특징(들)은 청구항들 중 어느 한 항 또는 전체 청구항들의 중요하거나, 필요하거나, 또는 필수적인 특징으로서 해석되지 않아야 한다. 또한, 본 개시물의 청구 대상은, 상이하긴 하지만 본 명세서의 기술들에 이점이 있는 당업자에게는 분명한 동등한 방식으로 수정 및 실시될 수 있기 때문에, 위에서 개시된 특정 실시예들은 예시일 뿐이다. 아래의 청구항들에 기재된 것 외에는, 도시된 본 명세서의 구성 또는 디자인의 세부 사항에는 제한이 없다. 따라서, 위에서 개시된 특정 실시예는 변경되거나 수정될 수 있으며 그러한 모든 변형들은 개시된 청구 대상의 범위 내의 것으로 고려됨이 명백하다. 결국, 본 명세서에서 요구되는 보호는 아래의 청구항들에서 설명되는 바와 같다.

Claims (16)

  1. 방법으로서,
    카메라(105, 610, 611, 612, 613)에 대한 모델 파라미터들에 기초하여 픽셀들(205)로부터 타겟 패턴(120) 상의 상응하는 지점들까지 복수의 광선(230, 235)을 추적함으로써 상기 타겟 패턴(120)의 합성 이미지(300, 505)에서 상기 픽셀들(205)을 렌더링하는 단계; 및
    합성 이미지에서의 픽셀들의 강도들과 상기 카메라에 의해 생성된 상기 타겟 패턴의 실제 이미지에서의 픽셀들의 강도들 사이에서 거리의 측정치를 감소시키기 위해 상기 모델 파라미터들을 수정하는 단계를 포함하는,
    방법.
  2. 제 1 항에 있어서,
    상기 복수의 광선을 추적하는 것은, 각각의 픽셀에서의 중심 지점으로부터 상기 타겟 패턴의 평면(210)까지 광선을 추적하고, 상기 타겟 패턴에서의 피쳐에 대한 상기 픽셀의 근접성에 기초하여 상기 픽셀에 대한 강도를 결정하는 것을 포함하는,
    방법.
  3. 제 1 항에 있어서,
    상기 합성 이미지에서 픽셀들을 렌더링하는 단계는:
    픽셀을 요소들(225)의 어레이로 세분하는 단계;
    상기 모델 파라미터들에 기초하여 각각의 요소로부터 상기 타겟 패턴 상의 상응하는 지점까지 광선을 추적하는 단계;
    상기 상응하는 지점의 강도를 상기 요소와 연관시키는 단계; 및
    상기 픽셀과 연관된 상기 어레이의 상기 요소들 각각에 대하여 상기 강도들을 평균화함으로써 상기 픽셀에 대한 전체 강도를 결정하는 단계를 더 포함하는,
    방법.
  4. 제 1 항에 있어서,
    상기 거리의 측정치를 최소화하기 위해 상기 모델 파라미터들을 수정하는 단계는 상기 합성 이미지에서의 픽셀들의 강도들과 상기 실제 이미지에서의 픽셀들의 강도들 사이의 차이들의 제곱들의 합의 최소-제곱 최소화를 수행하는 단계를 포함하는,
    방법.
  5. 제 4 항에 있어서,
    상기 최소-제곱 최소화를 수행하는 단계는 상기 모델 파라미터들의 함수로서 상기 합성 이미지에서의 픽셀들의 강도들의 구배들을 결정하는 단계를 포함하는,
    방법.
  6. 제 5 항에 있어서,
    상기 강도들의 구배들을 결정하는 단계는 상기 모델 파라미터들에 대하여 연속적인 강도들을 생성하기 위해 상기 합성 이미지에서 상기 픽셀들을 렌더링하는 단계를 포함하는,
    방법.
  7. 제 4 항에 있어서,
    상기 최소-제곱 최소화를 수행하는 단계는 가우스-뉴턴(Gauss-Newton) 최소-제곱 최적화 알고리즘 및 루카스-카나데(Lucas-Kanade) 광학 흐름 알고리즘 중 적어도 하나를 이용해서 상기 최소-제곱 최소화를 수행하는 단계를 포함하는,
    방법.
  8. 제 4 항에 있어서,
    상기 모델 파라미터들을 수정하는 단계는 모델 파라미터 세트로부터의 적어도 하나의 모델 파라미터를 수정하는 단계를 포함하고,
    상기 모델 파라미터 세트는:
    상기 카메라의 렌즈의 초점 길이;
    상기 카메라의 렌즈의 투영 중심;
    상기 카메라의 렌즈에 의해 야기된 왜곡을 나타내는 적어도 하나의 왜곡 계수;
    X 방향에서의 스케일링;
    Y 방향에서의 스케일링;
    상기 타겟 패턴에 대한 상기 카메라의 이동을 정의하는 좌표;
    상기 타겟 패턴에 대한 상기 카메라의 회전을 정의하는 피치 값, 롤 값, 또는 요 값;
    적어도 하나의 다른 카메라에 대한 상기 카메라의 이동을 정의하는 좌표;
    상기 적어도 하나의 다른 카메라에 대한 상기 카메라의 회전을 정의하는 피치 값, 롤 값, 또는 요 값; 및
    상기 카메라의 렌즈에 의해 야기된 색수차를 나타내는 적어도 하나의 컬러 파라미터를 포함하는,
    방법.
  9. 제 1 항에 있어서,
    상기 실제 이미지를 스케일 팩터로 스케일링하는 단계 ― 상기 합성 이미지에서 상기 픽셀들을 렌더링하는 단계가 상기 합성 이미지에서 상기 픽셀들을 상기 스케일 팩터에 기초하여 렌더링하는 단계를 포함함 ―;
    상기 합성 이미지에서의 상기 픽셀들의 강도들과 상기 스케일링된 실제 이미지에서의 픽셀들의 강도들 사이에서 거리의 측정치를 최소화하기 위해 상기 모델 파라미터들을 수정하는 단계; 및
    상기 스케일 팩터를 증가시키는 단계, 상기 합성 이미지에서 상기 픽셀들을 렌더링하는 단계, 및 상기 모델 파라미터들을 수정하는 단계를 반복하는 단계를 더 포함하는,
    방법.
  10. 장치(100, 600)로서,
    타겟 패턴(120, 625)의 실제 이미지(500)를 캡처하는 카메라(105, 610, 611, 612, 613); 및
    상기 카메라에 대한 모델 파라미터들에 기초하여 픽셀들(205)로부터 상기 타겟 패턴 상의 상응하는 지점들까지 복수의 광선들(230, 235)을 추적함으로써 상기 타겟 패턴의 합성 이미지(300, 505)에서 상기 픽셀들(205)을 렌더링하고, 상기 합성 이미지에서의 픽셀들의 강도들과 상기 실제 이미지에서의 픽셀들의 강도들 사이에서 거리의 측정치를 감소시키기 위해 상기 모델 파라미터들을 수정하는 교정 디바이스(125, 630)를 포함하는,
    장치.
  11. 제 10 항에 있어서,
    상기 교정 디바이스는 상기 픽셀들 중 하나의 중심 지점으로부터 상기 타겟 패턴의 평면(210)까지 광선을 추적하고 상기 타겟 패턴의 피쳐에 대한 상기 픽셀의 근접성에 기초하여 상기 픽셀에 대한 강도를 결정하는 것인,
    장치.
  12. 제 10 항에 있어서,
    상기 교정 디바이스는 상기 픽셀들 중 하나를 요소들(225)의 어레이로 세분하고, 상기 모델 파라미터들에 기초하여 각 요소로부터 상기 타겟 패턴 상의 상응하는 지점까지 광선(230, 235)을 추적하고, 상기 상응하는 지점의 강도를 상기 요소와 연관시키고, 또한 상기 픽셀과 연관된 상기 어레이 내의 상기 요소들 각각에 대한 강도들을 평균화함으로써 상기 픽셀에 대한 전체 강도를 결정하는 것인,
    장치.
  13. 제 10 항에 있어서,
    상기 교정 디바이스는 상기 합성 이미지에서의 픽셀들의 강도들과 상기 실제 이미지에서의 픽셀들의 강도들 사이의 차이들의 제곱들의 합의 최소-제곱 최소화를 수행하는 것인,
    장치.
  14. 제 13 항에 있어서,
    상기 교정 디바이스는 상기 모델 파라미터들의 함수로서 상기 합성 이미지에서 픽셀들에서의 강도들의 구배들을 결정하는 것인,
    장치.
  15. 제 14 항에 있어서,
    상기 교정 디바이스는 상기 모델 파라미터들에 대하여 연속적인 강도들을 생성하기 위해 상기 합성 이미지에서 상기 픽셀들을 렌더링하는 것인,
    장치.
  16. 제 10 항에 있어서,
    상기 교정 디바이스는:
    상기 실제 이미지를 스케일 팩터로 스케일링하고;
    상기 스케일 팩터에 기초하여 상기 합성 이미지에서 상기 픽셀들을 렌더링하고;
    상기 스케일링된 합성 이미지에서의 상기 픽셀들의 강도들과 상기 스케일링된 실제 이미지에서의 픽셀들의 강도들 사이에서 거리의 측정치를 최소화하기 위해 상기 모델 파라미터들을 수정하고; 또한
    상기 스케일 팩터를 증가시키고, 상기 합성 이미지에서 상기 픽셀들을 렌더링하고, 또한 상기 모델 파라미터들을 수정하는 것을 반복하는 것인,
    장치.
KR1020187009442A 2015-10-05 2016-09-21 합성 이미지를 이용한 카메라 교정 KR102044695B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562237513P 2015-10-05 2015-10-05
US62/237,513 2015-10-05
PCT/US2016/052862 WO2017062177A1 (en) 2015-10-05 2016-09-21 Camera calibration using synthetic images

Publications (2)

Publication Number Publication Date
KR20180050363A true KR20180050363A (ko) 2018-05-14
KR102044695B1 KR102044695B1 (ko) 2019-11-14

Family

ID=57137246

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187009442A KR102044695B1 (ko) 2015-10-05 2016-09-21 합성 이미지를 이용한 카메라 교정

Country Status (10)

Country Link
US (1) US10176554B2 (ko)
EP (1) EP3338247B1 (ko)
JP (1) JP6439078B1 (ko)
KR (1) KR102044695B1 (ko)
CN (1) CN108140247B (ko)
AU (1) AU2016335123B2 (ko)
CA (1) CA2999133C (ko)
DE (1) DE112016004540T5 (ko)
GB (1) GB2556824A (ko)
WO (1) WO2017062177A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102642665B1 (ko) * 2023-07-11 2024-03-04 주식회사 비브스튜디오스 가상 카메라를 조정하는 방법

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016172388A2 (en) * 2015-04-21 2016-10-27 Joseph Paul Robinson Culture detection and measurement over time
US10488192B2 (en) 2015-05-10 2019-11-26 Magik Eye Inc. Distance sensor projecting parallel patterns
KR101729165B1 (ko) 2015-09-03 2017-04-21 주식회사 쓰리디지뷰아시아 타임 슬라이스 영상용 오차교정 유닛
KR101729164B1 (ko) * 2015-09-03 2017-04-24 주식회사 쓰리디지뷰아시아 멀티 구 교정장치를 이용한 멀티 카메라 시스템의 이미지 보정 방법
EP3264360A1 (en) * 2016-06-28 2018-01-03 Dassault Systèmes Dynamical camera calibration
US10337860B2 (en) 2016-12-07 2019-07-02 Magik Eye Inc. Distance sensor including adjustable focus imaging sensor
US10777018B2 (en) * 2017-05-17 2020-09-15 Bespoke, Inc. Systems and methods for determining the scale of human anatomy from images
FR3070085B1 (fr) * 2017-08-11 2019-08-23 Renault S.A.S. Procede d’etalonnage d’une camera d’un vehicule automobile
US10771776B2 (en) * 2017-09-12 2020-09-08 Sony Corporation Apparatus and method for generating a camera model for an imaging system
JP2020537242A (ja) * 2017-10-08 2020-12-17 マジック アイ インコーポレイテッド 複数の可動センサを含むセンサシステムの校正
JP2020537237A (ja) 2017-10-08 2020-12-17 マジック アイ インコーポレイテッド 縦グリッドパターンを使用した距離測定
US10679076B2 (en) 2017-10-22 2020-06-09 Magik Eye Inc. Adjusting the projection system of a distance sensor to optimize a beam layout
US10607370B1 (en) * 2017-10-31 2020-03-31 Edge 3 Technologies, Inc. Coarse to fine calibration parameter validation and temperature mitigation
JP7011711B2 (ja) * 2017-11-15 2022-01-27 マジック リープ， インコーポレイテッド カメラおよび回折光学要素の外因性較正のためのシステムおよび方法
US20190180475A1 (en) * 2017-12-08 2019-06-13 Qualcomm Incorporated Dynamic camera calibration
EP3769121A4 (en) 2018-03-20 2021-12-29 Magik Eye Inc. Distance measurement using projection patterns of varying densities
US10931883B2 (en) 2018-03-20 2021-02-23 Magik Eye Inc. Adjusting camera exposure for three-dimensional depth sensing and two-dimensional imaging
WO2019236563A1 (en) 2018-06-06 2019-12-12 Magik Eye Inc. Distance measurement using high density projection patterns
WO2020033169A1 (en) 2018-08-07 2020-02-13 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
CN109242914B (zh) 2018-09-28 2021-01-01 上海爱观视觉科技有限公司 一种可动视觉系统的立体标定方法
CN109636874B (zh) * 2018-12-17 2023-05-26 浙江科澜信息技术有限公司 一种三维模型透视投影方法、系统及相关装置
US10832045B2 (en) 2019-01-10 2020-11-10 Microsoft Technology Licensing, Llc Camera environment mapping
US20200226787A1 (en) * 2019-01-14 2020-07-16 Sony Corporation Information processing apparatus, information processing method, and program
EP3911920A4 (en) 2019-01-20 2022-10-19 Magik Eye Inc. THREE-DIMENSIONAL SENSOR INCLUDING A BANDPASS FILTER WITH MULTIPLE PASSBANDS
WO2020161799A1 (ja) * 2019-02-05 2020-08-13 日本電気株式会社 学習装置、学習方法、及び制御プログラムが格納された非一時的なコンピュータ可読媒体、並びに、推定装置
DE102019103441A1 (de) * 2019-02-12 2020-08-13 Voith Patent Gmbh Verfahren zur Kalibrierung einer PIV Messanordnung
US11474209B2 (en) 2019-03-25 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
CN114073075A (zh) * 2019-05-12 2022-02-18 魔眼公司 将三维深度图数据映射到二维图像上
GB2584122B (en) * 2019-05-22 2024-01-10 Sony Interactive Entertainment Inc Data processing
US20200380725A1 (en) * 2019-05-28 2020-12-03 GM Global Technology Operations LLC Calibration for vehicle cameras
CA3046609A1 (en) * 2019-06-14 2020-12-14 Wrnch Inc. Method and system for extrinsic camera calibration
US10944898B1 (en) * 2019-09-19 2021-03-09 Capital One Services, Llc Systems and methods for guiding image sensor angle settings in different environments
WO2021113135A1 (en) 2019-12-01 2021-06-10 Magik Eye Inc. Enhancing triangulation-based three-dimensional distance measurements with time of flight information
CN111047650B (zh) * 2019-12-02 2023-09-01 北京深测科技有限公司 一种用于飞行时间相机的参数标定方法
CN114830190A (zh) 2019-12-29 2022-07-29 魔眼公司 将三维坐标与二维特征点相关联
EP4097681A4 (en) 2020-01-05 2024-05-15 Magik Eye Inc TRANSFER OF THE COORDINATE SYSTEM OF A THREE-DIMENSIONAL CAMERA TO THE IMPACT POINT OF A TWO-DIMENSIONAL CAMERA
US11508088B2 (en) 2020-02-04 2022-11-22 Mujin, Inc. Method and system for performing automatic camera calibration
CN111862051B (zh) * 2020-02-04 2021-06-01 牧今科技 执行自动相机校准的方法和系统
JP2023526212A (ja) * 2020-05-20 2023-06-21 マジック リープ， インコーポレイテッド コヒーレントコンテキストを用いた、ピース毎の漸次的かつ持続的な較正
CN113034614B (zh) * 2021-03-30 2022-05-10 上海久航电子有限公司 一种五圆标定板的五圆心标定方法
US11651518B2 (en) 2021-06-03 2023-05-16 Meta Platforms Technologies, Llc System for determining an expected field of view
DE102022208259A1 (de) 2022-08-09 2024-02-15 Continental Autonomous Mobility Germany GmbH Vorrichtung und Verfahren zur Kalibration eines optischen Sensors

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130176392A1 (en) * 2012-01-09 2013-07-11 Disney Enterprises, Inc. Method And System For Determining Camera Parameters From A Long Range Gradient Based On Alignment Differences In Non-Point Image Landmarks
US20140002452A1 (en) * 2010-06-11 2014-01-02 Lucasfilm Entertainment Company Ltd. Adjusting stereo images

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19727281C1 (de) * 1997-06-27 1998-10-22 Deutsch Zentr Luft & Raumfahrt Verfahren und Vorrichtung zur geometrischen Kalibrierung von CCD-Kameras
JP4501239B2 (ja) * 2000-07-13 2010-07-14 ソニー株式会社 カメラ・キャリブレーション装置及び方法、並びに、記憶媒体
US6639594B2 (en) * 2001-06-03 2003-10-28 Microsoft Corporation View-dependent image synthesis
US7212664B2 (en) * 2003-08-07 2007-05-01 Mitsubishi Electric Research Laboratories, Inc. Constructing heads from 3D models and 2D silhouettes
WO2006026354A2 (en) * 2004-08-25 2006-03-09 Newport Imaging Corporation Apparatus for multiple camera devices and method of operating same
JP4726194B2 (ja) * 2005-04-01 2011-07-20 キヤノン株式会社 キャリブレーション方法及び装置
CN100550996C (zh) * 2006-07-31 2009-10-14 株式会社理光 图像处理装置，成像装置以及图像处理方法
US8022990B2 (en) * 2006-08-18 2011-09-20 General Electric Company Systems and methods for on-line marker-less camera calibration using a position tracking system
JP5341789B2 (ja) * 2010-01-22 2013-11-13 富士通テン株式会社 パラメータ取得装置、パラメータ取得システム、パラメータ取得方法、及び、プログラム
US8463073B2 (en) * 2010-11-29 2013-06-11 Microsoft Corporation Robust recovery of transform invariant low-rank textures
EP2715669A4 (en) * 2011-05-25 2015-03-18 Third Dimension Ip Llc ALIGNMENT, CALIBRATION AND RESTITUTION SYSTEMS AND METHODS FOR TOTAL 3D ANGLED DISPLAY
JP5989113B2 (ja) * 2011-07-25 2016-09-07 ウニベルシダデ デ コインブラ １つまたは複数のチェッカーボードパターンの画像を用いた自動カメラキャリブレーションの方法および装置
US20130121559A1 (en) * 2011-11-16 2013-05-16 Sharp Laboratories Of America, Inc. Mobile device with three dimensional augmented reality
WO2014013393A2 (en) * 2012-07-17 2014-01-23 Koninklijke Philips N.V. Imaging system and method for enabling instrument guidance
EP3869797B1 (en) * 2012-08-21 2023-07-19 Adeia Imaging LLC Method for depth detection in images captured using array cameras
US8976239B2 (en) * 2012-08-24 2015-03-10 Datacolor Holding Ag System and apparatus for color correction in transmission-microscope slides
US9210404B2 (en) * 2012-12-14 2015-12-08 Microsoft Technology Licensing, Llc Calibration and registration of camera arrays using a single circular grid optical target
JP6223685B2 (ja) * 2013-01-30 2017-11-01 富士通テン株式会社 画像処理装置および画像処理方法
US8903186B2 (en) * 2013-02-28 2014-12-02 Facebook, Inc. Methods and systems for differentiating synthetic and non-synthetic images
US20140341465A1 (en) 2013-05-16 2014-11-20 The Regents Of The University Of California Real-time pose estimation system using inertial and feature measurements
US9418424B2 (en) * 2013-08-09 2016-08-16 Makerbot Industries, Llc Laser scanning systems and methods
CN106489170B (zh) 2013-08-12 2020-03-31 苹果公司 基于视觉的惯性导航
CN103839233B (zh) * 2014-01-20 2017-05-10 左旺孟 一种相机抖动造成的模糊图像复原方法
CN105740846A (zh) * 2016-03-02 2016-07-06 河海大学常州校区 一种基于深度相机的水平视角估计及校准方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140002452A1 (en) * 2010-06-11 2014-01-02 Lucasfilm Entertainment Company Ltd. Adjusting stereo images
US20130176392A1 (en) * 2012-01-09 2013-07-11 Disney Enterprises, Inc. Method And System For Determining Camera Parameters From A Long Range Gradient Based On Alignment Differences In Non-Point Image Landmarks

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
High accuracy and robust localization on of laege control markers for geometric camera calibration *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102642665B1 (ko) * 2023-07-11 2024-03-04 주식회사 비브스튜디오스 가상 카메라를 조정하는 방법

Also Published As

Publication number Publication date
JP6439078B1 (ja) 2018-12-19
WO2017062177A1 (en) 2017-04-13
EP3338247A1 (en) 2018-06-27
CA2999133A1 (en) 2017-04-13
EP3338247B1 (en) 2019-11-06
DE112016004540T5 (de) 2018-07-12
CN108140247B (zh) 2022-07-05
GB201804372D0 (en) 2018-05-02
AU2016335123B2 (en) 2019-11-21
AU2016335123A1 (en) 2018-04-12
JP2019502181A (ja) 2019-01-24
US20170098305A1 (en) 2017-04-06
CA2999133C (en) 2021-02-16
GB2556824A (en) 2018-06-06
KR102044695B1 (ko) 2019-11-14
CN108140247A (zh) 2018-06-08
US10176554B2 (en) 2019-01-08

Similar Documents

Publication Publication Date Title
KR102044695B1 (ko) 합성 이미지를 이용한 카메라 교정
US10643347B2 (en) Device for measuring position and orientation of imaging apparatus and method therefor
US9965870B2 (en) Camera calibration method using a calibration target
JP6363863B2 (ja) 情報処理装置および情報処理方法
JP6172495B2 (ja) 校正装置、装置、プロジェクタ、３次元スキャナ、校正方法、方法、プログラム、及び記憶媒体
KR20140027468A (ko) 깊이 측정치 품질 향상
KR101592798B1 (ko) 배향 센서들에 기초한 호모그래피 분해 모호성의 해결
JP2009017480A (ja) カメラキャリブレーション装置およびそのプログラム
JP6061770B2 (ja) カメラ姿勢推定装置及びそのプログラム
CN113096183B (zh) 一种基于激光雷达与单目相机的障碍物检测与测量方法
JP6396499B2 (ja) 三次元情報の規模測定
US20200007843A1 (en) Spatiotemporal calibration of rgb-d and displacement sensors
JP2011155412A (ja) 投影システムおよび投影システムにおける歪み修正方法
JP2000155831A (ja) 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体
Rosebrock et al. Generic camera calibration and modeling using spline surfaces
Claus et al. A Plumbline Constraint for the Rational Function Lens Distortion Model.
Paganoni et al. 2D DIC from single moving camera by homographies compensation
JP6991700B2 (ja) 情報処理装置、情報処理方法、プログラム
Meißner Determination and improvement of spatial resolution obtained by optical remote sensing systems
CN116912334B (zh) 基于光栅条纹投影的相位映射高精度投影仪标定方法
Shahbazi Hybrid 3D dynamic measurement by particle swarm optimization and photogrammetric tracking
JP2001148020A (ja) 対応点探索における信頼性の判定方法および装置
JP6604934B2 (ja) 点群画素位置決定装置、方法、及びプログラム
KR20140068444A (ko) 다층 평면 물체 영상을 이용하여 카메라를 보정하기 위한 장치 및 그 방법
CN117685905A (zh) 一种多模融合的三维成像方法、装置、设备和存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right