KR20180103657A - 스테레오 카메라 모듈의 캘리브레이션 방법 및 장치, 및 컴퓨터 판독 가능한 저장매체 - Google Patents

스테레오 카메라 모듈의 캘리브레이션 방법 및 장치, 및 컴퓨터 판독 가능한 저장매체 Download PDF

Info

Publication number
KR20180103657A
KR20180103657A KR1020170092767A KR20170092767A KR20180103657A KR 20180103657 A KR20180103657 A KR 20180103657A KR 1020170092767 A KR1020170092767 A KR 1020170092767A KR 20170092767 A KR20170092767 A KR 20170092767A KR 20180103657 A KR20180103657 A KR 20180103657A
Authority
KR
South Korea
Prior art keywords
chart
calibration
distance
camera module
stereo camera
Prior art date
Application number
KR1020170092767A
Other languages
English (en)
Other versions
KR102295987B1 (ko
Inventor
알렉산더 겟뜨만
김덕수
정성영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20180103657A publication Critical patent/KR20180103657A/ko
Application granted granted Critical
Publication of KR102295987B1 publication Critical patent/KR102295987B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

본 발명의 실시예에 따른 스테레오 카메라 모듈의 캘리브레이션 방법은, 적어도 두 개의 카메라를 포함하는 스테레오 카메라 모듈의 캘리브레이션을 위한 캘리브레이션 차트를 생성하는 단계; 상기 캘리브레이션 차트와 상기 스테레오 카메라 모듈 사이의 거리를 나타내는 차트 거리, 상기 캘리브레이션 차트상의 원 사이의 거리를 나타내는 차트 기간, 및 상기 두 개의 카메라의 중점 사이의 거리를 나타내는 기준선 정보를 획득하는 단계; 상기 스테레오 카메라 모듈에 의해 상기 캘리브레이션 차트의 이미지를 캡쳐하는 단계; 캡쳐된 적어도 한쌍의 이미지에서 대응 지점을 탐색하는 단계; 및 상기 적어도 한쌍의 이미지 및 상기 차트 거리, 상기 차트 기간 및 상기 기준선 정보를 기초로 정류 파라미터를 추정하는 단계를 포함할 수 있다.

Description

스테레오 카메라 모듈의 캘리브레이션 방법 및 장치, 및 컴퓨터 판독 가능한 저장매체 {CALIBRATION METHOD AND APPARATUS OF STEREO CAMERA MODULE, COMPUTER READABLE STORAGE MEDIUM}
본 출원은 스테레오 카메라 모듈의 캘리브레이션 방법, 장치 및 컴퓨터 판독 가능한 저장매체에 관한 것이다.
모바일 이미징에서 두 개 이상의 집적된 카메라를 갖는 스테레오 카메라 모듈이 널리 활용되고 있다. 스테레오 카메라 모듈은 단일 카메라와 비교하여 개선된 사용자 경험 및 이점을 제공할 수 있다.
스테레오 카메라 모듈은 서로 다른 카메라의 조합을 사용할 수 있다. 동일한 카메라들을 갖는 스테레오 카메라 모듈은 대칭이라 하고, 서로 상이한 렌즈 또는 센서 등을 갖는 스테레오 카메라 모듈은 비대칭이라 한다. 비대칭 스테레오 카메라 모듈은 다음과 같은 이점이 있어 널리 사용되고 있다. 예를 들어, 고해상도 및 저해상도 카메라를 포함하는 모듈은 최소의 에너지 소비 및 계산 자원으로 장면 깊이를 생성하는 데 사용할 수 있다. 흑백 및 컬러 카메라를 포함하는 모듈은 야간 촬영의 화질을 향상시키기 위해 사용할 수 있다. 상이한 FOV(Fields of Views)를 갖는 카메라를 포함하는 모듈은 모듈 높이를 희생하지 않고 광학 줌을 에뮬레이트하기 위해 사용할 수 있다.
이와 같은 스테레오 카메라 모듈의 이점은 좌측 및 우측 이미지가 정확하게 정렬된 경우에만 얻을 수 있다. 스테레오 비전에서 적절하게 정렬된 이미지들은 정류(rectify)된 것으로 본다. 그러나 다양한 물리적 제약으로 인해 모듈에서 필요한 카메라 정렬 정도를 달성하는 것은 불가능하다. 다른 방법으로, 이미지 왜곡(warp)을 사용하는 가상 정렬이 있으며, 이미지 정렬을 위해 이미지를 왜곡하는 과정을 정류라고 한다. 정류 왜곡(rectification warp)을 정의하는 파라미터는 스테레오 캘리브레이션을 사용하여 얻을 수 있다.
캘리브레이션의 목표는 각 카메라의 내재적 파라미터(예를 들어, 초점 길이, 스큐 계수, 주요 점 위치 및 광학 왜곡)뿐만 아니라 외인성(두 카메라의 상대적 배향)을 추정하는 것이다.
고해상도 스테레오 카메라 및 작업량이 방대한 경우에 종래의 캘리브레이션 방법은 정확성과 수치 안정성이 부족하거나, 절차가 복잡하고 오랜 시간이 소요되므로 만족스러운 성능을 보여주지 못한다.
본 발명의 기술적 사상이 이루고자 하는 과제 중 하나는, 방대한 작업량 및 자동화된 환경에서도 적합한 스테레오 카메라 모듈의 캘리브레이션 방법 및 장치, 및 컴퓨터 판독 가능한 저장매체를 제공하는 데 있다.
본 발명의 실시예에 따른 스테레오 카메라 모듈의 캘리브레이션 방법은, 적어도 두 개의 카메라를 포함하는 스테레오 카메라 모듈의 캘리브레이션을 위한 캘리브레이션 차트를 생성하는 단계; 상기 캘리브레이션 차트와 상기 스테레오 카메라 모듈 사이의 거리를 나타내는 차트 거리, 상기 캘리브레이션 차트상의 원 사이의 거리를 나타내는 차트 기간, 및 상기 두 개의 카메라의 중점 사이의 거리를 나타내는 기준선 정보를 획득하는 단계; 상기 스테레오 카메라 모듈에 의해 상기 캘리브레이션 차트의 이미지를 캡쳐하는 단계; 캡쳐된 적어도 한쌍의 이미지에서 대응 지점을 탐색하는 단계; 및 상기 적어도 한쌍의 이미지 및 상기 차트 거리, 상기 차트 기간 및 상기 기준선 정보를 기초로 정류 파라미터를 추정하는 단계를 포함할 수 있다.
본 발명의 실시예에 따른 스테레오 카메라 모듈의 캘리브레이션 장치는, 적어도 두 개의 카메라를 포함하는 스테레오 카메라 모듈에 의해 캘리브레이션 차트를 캡쳐한 이미지와, 상기 캘리브레이션 차트와 상기 스테레오 카메라 모듈 사이의 거리를 나타내는 차트 거리, 상기 캘리브레이션 차트상의 원 사이의 거리를 나타내는 차트 기간, 및 상기 두 개의 카메라의 중점 사이의 거리를 나타내는 기준선 정보를 기초로 정류 파라미터를 추정하는 프로세서; 및 상기 프로세서에 의해 추정된 정류 파라미터를 출력하는 출력부를 포함할 수 있다.
본 발명의 실시예에 따른 컴퓨터 판독 가능한 저장매체는, 적어도 두 개의 카메라를 포함하는 스테레오 카메라 모듈의 캘리브레이션을 위한 캘리브레이션 차트를 생성하는 단계; 상기 캘리브레이션 차트와 상기 스테레오 카메라 모듈 사이의 거리를 나타내는 차트 거리, 상기 캘리브레이션 차트상의 원 사이의 거리를 나타내는 차트 기간, 및 상기 두 개의 카메라의 중점 사이의 거리를 나타내는 기준선 정보를 획득하는 단계; 상기 스테레오 카메라 모듈에 의해 상기 캘리브레이션 차트의 이미지를 캡쳐하는 단계; 캡쳐된 적어도 한쌍의 이미지에서 대응 지점을 탐색하는 단계; 및 상기 적어도 한쌍의 이미지 및 상기 차트 거리, 상기 차트 기간 및 상기 기준선 정보를 기초로 정류 파라미터를 추정하는 단계를 포함하는 스테레오 카메라 모듈의 캘리브레이션 방법을 실행하기 위한 프로세서에 의해 실행 가능한 명령들이 기록될 수 있다.
본 발명의 일 실시예에 따르면, 방대한 작업량 및 자동화된 환경에서도 적합한 스테레오 카메라 모듈의 캘리브레이션 방법 및 장치, 및 컴퓨터 판독 가능한 저장매체를 제공할 수 있다.
본 발명의 다양하면서도 유익한 장점과 효과는 상술한 내용에 한정되지 않으며, 본 발명의 구체적인 실시 형태를 설명하는 과정에서 보다 쉽게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 스테레오 캘리브레이션을 위한 캘리브레이션 차트의 개략도이다.
도 2는 본 발명의 일 실시예에 따른 스테레오 카메라 모듈 및 이의 기준선을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 캘리브레이션 차트와 스테레오 카메라 모듈의 상대적인 배향 및 차트 거리를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 캘리브레이션 방법의 흐름도이다.
도 5는 본 발명의 일 실시예에 따라 원을 인덱싱하는 일 예를 도시하는 도면이다.
도 6은 본 발명의 일 실시예에 따라 원의 3차원 위치를 복원하는 일 예를 도시하는 도면이다.
도 7은 본 발명의 일 실시예에 따른 캘리브레이션 장치의 구성도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 형태들을 다음과 같이 설명한다.
우선, 본 발명의 실시예를 설명하기에 앞서 종래 기술에 따른 스테레오 캘리브레이션을 간단히 설명한다.
스테레오 캘리브레이션의 안정성 및 단순성을 개선하기 위한 다양한 시도가 이루어졌다. 예를 들어, 일반적인 카메라 조작 동안 캡쳐된 이미지를 분석함으로써 정열불량이 추정될 때 수행되는 온라인 캘리브레이션, 특정 차트를 캡쳐함으로써 공장 환경에서 수행될 수 있는 오프라인 캘리브레이션 등을 포함한다.
종래 기술에서는 오프라인 캘리브레이션을 위해 원 그리드 차트를 사용한다. 원은 서로 상이한 색상(예를 들어, 빨간색 및 검은색)을 가지며, 이는 차트에서 각각의 원을 고유하게 식별하는데 사용된다. 이 방법에서는, 상응하는 카메라가 원의 색상을 구별할 수 있고 동일한 센서와 광학 특성을 가지는 경우에만 정류 파라미터가 추정될 수 있다.
이러한 종래 기술에 따르면 캘리브레이션 과정이 크게 단순화되지만 제한 요소가 된다. 예를 들어, 하나의 카메라가 컬러이고 다른 카메라가 흑백인 스테레오 카메라 모듈은 이 방법으로 캘리브레이션을 수행할 수 없다.
도 1은 본 발명의 일 실시예에 따른 스테레오 캘리브레이션을 위한 캘리브레이션 차트의 개략도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 캘리브레이션 차트(10)는 흰색 배경에 수 많은 검은색 원이 일정 간격으로 배열된 등거리 그리드일 수 있다. 또는, 캘리브레이션 차트(10)의 색상이 반전된 것, 검은색 배경상에 흰색 원을 배열한 형태로 구성할 수도 있고, 흰색 원이 램프나 LED와 같은 점 광원으로 대체될 수도 있다. 이처럼, 본 발명의 일 실시예에 따르면 캘리브레이션 차트는 색상에 의해 인코딩된 정보를 갖지 않는다. 이에 따라, 흑백 카메라들을 포함하는 스테레오 카메라 모듈에도 본 발명이 적용될 수 있다.
캘리브레이션 차트(10)에서 검은색 원은 수평 행과 수직 열을 따라 배열되며, 캘리브레이션 차트(10)는 스테레오 카메라 모듈을 구성하는 두 카메라의 FOV(Field of View)를 모두 커버할 수 있는 크기를 가질 수 있다.
또한, 캘리브리이션 차트(10) 상의 일 지점(예를 들어, 차트의 중앙부)에는 대응 지점의 검출을 용이하게 하기 위한 태그(11)가 포함될 수 있다. 도 1은 태그(11)로서 누락된 원을 사용하는 일 예를 도시한다. 그러나, 태그가 이로 한정되는 것은 아니고, 대응 지점의 검출을 용이하게 하는 다양한 태그가 사용될 수 있다. 예를 들어, 태그는 누락된 요소 또는 규칙적인 그리드에서 고유의 결함을 형성하는 단일 요소 또는 복수의 요소들의 그룹일 수 있으며, 직사각형, 교차선 또는 선과 같이 더 복잡한 결함 형상으로 구성될 수도 있다.
상술한 캘리브레이션 차트(10)는 인쇄되거나 디스플레이 장치에 표시될 수 있다. 캘리브레이션 절차를 보다 효율적으로 하고 상이한 거리에 위치한 물체를 캡쳐할 수 있도록 하기 위해 디스플레이가 투명할 수 있다.
도 2는 본 발명의 일 실시예에 따른 스테레오 카메라 모듈 및 이의 기준선을 설명하기 위한 도면이다.
도 2를 참조하면, 스테레오 카메라 모듈(20)는 서로 중첩된 시야를 갖는 두 개의 카메라(21, 22)를 포함한다. 두 개의 카메라(21, 22)는 예를 들어 해상도, 픽셀 크기, 컬러 필터 어레이 종류, 초점 길이가 상이한 컬러 및/또는 흑백 카메라의 임의의 조합을 포함할 수 있다. 두 개의 카메라(21, 22)는 선택적으로 자동초점(AF) 기능이 구비될 수도 있다.
스테레오 카메라 모듈(20)에서 두 개의 카메라(21, 22)의 중점 사이의 거리를 기준선이라 한다.
도 3은 본 발명의 일 실시예에 따른 캘리브레이션 차트와 스테레오 카메라 모듈의 상대적인 배향 및 차트 거리를 설명하기 위한 도면이다.
도 3을 참조하면, 캘리브레이션 차트(10)와 스테레오 카메라 모듈(20) 사이의 거리를 차트 거리라 한다.
캘리브레이션의 정확도를 보다 향상시키기 위해 도 3에 도시된 바와 같이 캘리브레이션 차트(10)의 평면과 광축을 직각으로 하는 것이 필요하다.
도 4는 본 발명의 일 실시예에 따른 캘리브레이션 방법의 흐름도이다.
도 4를 참조하면, 우선, 캘리브레이션 리그를 생성할 수 있다(S40).
여기서, 캘리브레이션 리그는 카메라로부터 기 설정된 거리만큼 이격되어 위치한 캘리브레이션 차트일 수 있다. 캘리브레이션 차트는 도 1을 참조하여 상술한 바와 같이 형성될 수 있다.
이후, 차트 거리, 차트 기간(period) 및 기준선 정보를 획득할 수 있다(S41).
본 발명의 실시예에 따르면, 캘리브레이션 차트의 이미지에 더하여, 차트 기간이라고도 불리는 캘리브레이션 차트상의 원 사이의 거리, 도 2에 도시된 바와 같은 기준선 및 도 3에 도시된 바와 같은 차트 거리에 대한 정보를 획득하여야 한다. 해당 값들은 측정될 수도 있고, 모델 설계 사양 등을 통해 입력될 수도 있다.
상술한 정보들은 카메라의 초점 길이와 광축들의 상대적인 배향을 정확하게 추정하기 위해 필요하다. 또한, 거리 추정 오차의 영향을 감소시키기 위해 차트 평면은 가능한 한 스트레오 카메라 모듈의 광축들과 직각이 되도록 위치하여야 한다.
본 발명의 실시예에 따르면, 초점이 고정된 렌즈를 갖는 카메라를 포함하는 스테레오 카메라 모듈의 경우 한 쌍의 캡쳐된 이미지가 필요하고, 자동 초점 기능을 구비한 렌즈를 갖는 스테레오 카메라 모듈의 경우 2쌍 이상의 캡쳐된 이미지가 필요할 수 있다.
이후, 필요한 양의 캘리브레이션 차트의 이미지를 캡쳐하고(S42), 원을 인덱싱할 수 있다(S43).
도 5는 본 발명의 일 실시예에 따라 원을 인덱싱하는 일 예를 도시하는 도면이다. 예를 들어, 인덱싱은 특수 태그로 제공되는 누락 원에 대해 행 및 열 인덱스를 0으로 할당하여 시작할 수 있다.
도 5에 도시된 바와 같이 임의의 원(i, j)(51)에 대해 가장 가까운 좌측 이웃 원(52)은 열 인덱스 i-1을 갖고, 가장 가까운 우측 이웃 원(53)은 열 인덱스 i + 1을 가지며, 가장 가까운 원이 위에 있으면(54) 이의 행 인덱스는 j-1이고 아래에 있으면(55) 행 인덱스는 j + 1이다.
모든 원은 동일하므로, 좌측 및 우측 이미지 사이에서 대응 지점을 결정하는 것은 불가능할 수 있다. 그러나, 본 발명의 실시예에 따르면, 캘리브레이션 차트 상의 원 배열에서 원의 누락 등과 같은 태그를 위치시킴으로써 이 문제를 해결할 수 있다. 이러한 태그가 발견되고 좌측 및 우측 이미지 모두에 존재하는 경우, 이를 공통 인덱스 원점으로 사용할 수 있다.
이후, 매칭 원들을 탐색할 수 있다(S44).
본 발명의 실시예에서, 누락된 원과 같은 태그는 가장 가까운 4개의 이웃을 검사함으로써 검출될 수 있다. 예를 들어, 인덱스 (i, j)를 갖는 원이 없으면서, 인덱스 (i-1, j), (i + 1, j), (i, j-1) 및 (i, j + 1)을 갖는 4개의 원이 존재하면 원 (i, j)가 탐색된 태그이다. 이와 같은 과정은 캘리브레이션 차트 분석을 완료하기 위해 좌측 및 우측 이미지 모두에 적용될 수 있다.
이후, S41 단계에서 획득한 정보와 S42 단계에서 캡쳐한 캘리브레이션 차트의 이미지를 기초로 후술하는 과정에 따라 정류 파라미터를 추정할 수 있다.
구체적으로, 광학 왜곡 보정을 수행할 수 있다(S45).
광학 왜곡으로 인해 직선의 이미지는 곡선으로 보일 수 있다. 이는 상대적인 카메라 위치를 추정하기 전에 보정되어야 하는 바람직하지 않은 카메라 속성이다.
광학 왜곡 보정은 해당 기술분야에서 널리 알려진 다양한 방식이 존재한다. 일반적으로 광학 왜곡을 측정하고 보정하기 위해, 직선 상에 놓여진 이미지 점 세트를 식별하여야 한다. 이러한 이미지 점들이 직선에서 얼마나 벗어났는지를 측정함으로써, 광학 왜곡 모델(즉, 관찰된 이미지 좌표와 왜곡이 없는 경우의 대응되는 좌표 사이의 관계)을 추정하고 왜곡되지 않은(undistortion) 왜곡 파라미터를 계산할 수 있다.
예를 들어, 수학식 1과 같은 하기 모델이 컴퓨터 비전 애플리케이션에 널리 사용된다.
Figure pat00001
수학식 1에서, xu 및 yu는 왜곡되지 않은 좌표를 나타내고, xd 및 yd는 왜곡에 의해 영향을 받는 픽셀의 좌표를 나타내며, K1, K2... P1, P2는 왜곡 계수이다. 계수는 OpenCV 프레임 워크와 같이 사용 가능한 임의의 방법을 사용하여 캘리브레이션 차트의 이미지로부터 추정할 수 있다.
이후, 좌측 및 우측 카메라 모두에 대해, 원의 3차원 위치를 복원하고(S46), 원의 중심의 3D 좌표 및 이들의 왜곡되지 않은 이미지 좌표 사이에서 투영 관계(즉, 호모그래피 H)를 추정할 수 있다(S47).
도 6은 본 발명의 일 실시예에 따라 원의 3차원 위치를 복원하는 일 예를 도시하는 도면으로, 도 6의 (a) 및 (b)에 도시된 바와 같이 기준선 및 차트거리를 알면 수학식 2에 따라 원의 중심의 3차원 위치를 복원할 수 있다.
Figure pat00002
수학식 2에서, 차트 기간(period)은 원의 중심 사이의 거리이고, i 및 j는 원의 열 및 행 인덱스이다. 또한,
Figure pat00003
는 모듈 조립체에 대한 캘리브레이션 차트의 회전을 보상하는 행렬이다. 이는 측정에 의해 또는 캡쳐된 이미지로부터의 추정에 의해 획득될 수 있다. 또한,
Figure pat00004
및
Figure pat00005
는 각 카메라에 대해서 결과적인 카메라 보상 행렬의 스큐 파라미터를 최소화하기 위해 조절될 수 있는 프리 파라미터이다.
이후, 호모그래피 행렬 H는 수학식 3과 같이 RQ 분해를 사용하여 상위 삼각형(K) 및 직교(Rot) 행렬들의 프로덕트(product)로 고유하게 분해될 수 있다(S48).
Figure pat00006
여기서, 행렬 K는 카메라 캘리브레이션 행렬의 추정치이고, Rot는 캘리브레이션 차트 평면과 카메라 광축 간의 상대 회전을 정의하는 회전 행렬이다. 이는 수학식 2의 차트 회전 보상 행렬을 추정하는데 사용될 수 있다. 광학 왜곡 계수, 캘리브레이션 행렬 및 회전 행렬은 좌측 및 우측 이미지 모두에 대해 독립적으로 추정될 수 있다.
이후, 정류 호모그래피를 추정할 수 있다(S49).
정류 호모그래피는 에피폴라 선들을 수평으로 만드는 좌측 및 우측 이미지 간의 맵핑 규칙이다. 일반적인 방식은 두 이미지의 x 축에 평행한 기준선을 만드는 방식으로 두 카메라의 가상 회전을 수행하는 것이다. 회전의 양은 카메라 오정렬도에 따라 달라지며 왜곡을 최소화하기 위해 가능한 한 작게 하는 것이 바람직하다. 이 때문에, 모듈은 가능한 한 작은 카메라 정렬 오차를 유지하도록 설계되었고, 따라서 ±1°내의 미세한 보정만이 필요하다. 이 범위 내의 정렬은 좌측 또는 우측 이미지에만 왜곡되고 다른 이미지는 변하지 않을 때, 단일 이미지 왜곡을 위한 가능성을 열어둔다.
정류 호모그래피를 추정하는 다양한 방법이 존재한다. 본 발명은 추정 방법 및 구현 상세에 대해서는 특정하지 않으나, 추정에 사용되는 기준선 파라미터가 측정에 의해 또는 모듈 설계 사양으로부터 획득될 것을 필요로 한다.
본 발명의 실시예에 따르면, 수평 기준선이 수학식 2로부터의
Figure pat00007
에 대해 가능한 값의 세트를 제한함으로써 고려될 수 있다.
Figure pat00008
이는 일반적으로 기준선이 캡쳐된 스트레오 이미지로부터 획득될 수 있다고 가정되기 때문에 본 발명과 종래 기술의 중요한 차이이다. 차트 거리 및 차트 기간 뿐만 아니라 직접 측정된 기준선의 사용은 하나의 평면 객체의 이미지를 필요로 하면서도 캘리브레이션의 안정성을 크게 향상시킬 수 있다.
이후, 정류 파라미터를 추정할 수 있다(S50).
최종 정류 파라미터는 광학적 왜곡(수학식 1)과 정류 호모그래피 왜곡의 중첩이다. 이미지 정류를 단순화하기 위해 이러한 왜곡은 벡터 필드로 표시될 수 있는 단일 작업으로 결합된다. 벡터 필드는 수학식 5에 나타낸 바와 같이, 입력 이미지 Iin 과 정류된 이미지 Irect 사이의 픽셀 대응을 결정하는 2 개의 변수 (VX (x, y) 및 VY (x, y))의 벡터 함수이다.
Figure pat00009
스테레오 카메라 모듈의 캘리브레이션의 궁극적인 목적은 벡터 필드로 표시된 정류 파라미터를 획득하는 것이다. 벡터 필드는 양자화될 수 있고, 선택적으로 압축되어 추후의 사용을 위해 이미지 장치의 메모리에 저장될 수 있다.
본 발명의 일 실시예에 따르면, 적어도 2개의 상이한 거리에 초점을 맞춘 카메라로 캘리브레이션 절차를 반복하고 렌즈 위치에 따라 정류 파라미터를 보간함으로써 상술한 캘리브레이션 방법이 AF 기능을 갖는 스테레오 카메라 모듈에도 적용될 수 있다.
또한, 두 카메라의 렌즈가 독립적으로 움직이는 경우, 정류 파라미터 보정은 2 개의 변수(즉, 좌측 및 우측 카메라의 렌즈 위치)의 함수일 수 있고, 모든 카메라의 렌즈가 동기화된 AF의 경우, 정류 파라미터 보정은 단일 메타 파라미터의 함수일 수 있다.
도 4를 참조하여 상술한 캘리브레이션 방법은 이미지 처리 프로세서 등과 같은 적합한 컴퓨팅 장치에 의해 수행될 수 있다.
한편, 본 발명의 일 실시예에 따르면, 도 4에 도시된 바와 같은 캘리브레이션 방법의 각 단계를 실행하기 위한 프로세서에 의해 실행 가능한 명령들이 기록된 컴퓨터 판독 가능한 저장매체가 제공될 수 있다.
도 7은 본 발명의 일 실시예에 따른 캘리브레이션 장치의 구성도이다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 캘리브레이션 장치(70)는, 입력부(71), 프로세서(72) 및 출력부(73)를 포함하여 구성될 수 있으며, 캘리브레이션 차트(10)를 캡쳐하는 스테레오 카메라 모듈(20)로부터 캡쳐된 이미지를 입력받을 수 있다.
입력부(71)는 캘리브레이션에 필요한 정보를 입력받을 수 있다.
일 실시예에서, 입력부(71)를 통해 차트 거리, 차트 기간 및 기준선 정보를 입력받을 수 있다.
프로세서(72)는 스테레오 카메라 모듈(20)를 이용하여 캡쳐된 캘리브레이션 차트(10)의 캡쳐 이미지와 입력부(71)를 통해 입력된 추가 정보를 이용하여 스테레오 카메라 모듈(20)의 캘리브레이션을 수행할 수 있다.
일 실시예에서, 프로세서(72)는 차트 거리, 차트 기간 및 기준선 정보를 입력부(71)를 통해 입력받는 것이 아니라 스테레오 카메라 모듈(20) 등의 측정 수단에 의해 직접 측정된 정보를 활용할 수도 있다.
프로세서(72)에 의해 캘리브레이션을 수행하는 구체적인 방법은 도 4 내지 도 6을 참조하여 상술한 바와 동일하므로, 이에 대한 중복적인 설명은 생략한다.
출력부(73)는 프로세서(72)에 의한 캘리브레이션 수행 결과, 즉 벡터 필드로 표시된 정류 파라미터를 출력할 수 있다.
일 실시예에서, 출력부(73)는 정류 파라미터를 타 프로세서로 출력하거나, 필요에 따라 메모리에 저장할 수도 있다.
본 발명은 상술한 실시형태 및 첨부된 도면에 의해 한정되는 것이 아니며 첨부된 청구범위에 의해 한정하고자 한다. 따라서, 청구범위에 기재된 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 당 기술분야의 통상의 지식을 가진 자에 의해 다양한 형태의 치환, 변형 및 변경이 가능할 것이며, 이 또한 본 발명의 범위에 속한다고 할 것이다.
10: 캘리브레이션 차트
11: 태그
20: 스테레오 카메라 모듈
21: 좌측 카메라
22: 우측 카메라
70: 캘리브레이션 장치
71: 입력부
72: 프로세서
73: 출력부

Claims (10)

  1. 적어도 두 개의 카메라를 포함하는 스테레오 카메라 모듈의 캘리브레이션을 위한 캘리브레이션 차트를 생성하는 단계;
    상기 캘리브레이션 차트와 상기 스테레오 카메라 모듈 사이의 거리를 나타내는 차트 거리, 상기 캘리브레이션 차트상의 원 사이의 거리를 나타내는 차트 기간, 및 상기 두 개의 카메라의 중점 사이의 거리를 나타내는 기준선 정보를 획득하는 단계;
    상기 스테레오 카메라 모듈에 의해 상기 캘리브레이션 차트의 이미지를 캡쳐하는 단계;
    캡쳐된 적어도 한쌍의 이미지에서 대응 지점을 탐색하는 단계; 및
    상기 적어도 한쌍의 이미지 및 상기 차트 거리, 상기 차트 기간 및 상기 기준선 정보를 기초로 정류 파라미터를 추정하는 단계를 포함하는 스테레오 카메라 모듈의 캘리브레이션 방법.
  2. 제 1 항에 있어서,
    상기 캘리브레이션 차트는 흰색 배경에 복수의 검은색 원이 열 및 행 방향으로 기 설정된 간격으로 배열된 등거리 그리드를 포함하는 스테레오 카메라 모듈의 캘리브레이션 방법.
  3. 제 2 항에 있어서,
    상기 복수의 원은 점 광원으로 대체되는 스테레오 카메라 모듈의 캘리브레이션 방법.
  4. 제 2 항에 있어서,
    상기 캘리브레이션 차트에는 상기 적어도 한쌍의 이미지에서 대응되는 지점의 발견을 용이하게 하는 태그가 포함되는 스테레오 카메라 모듈의 캘리브레이션 방법.
  5. 제 4 항에 있어서,
    상기 태그는 누락된 원을 포함하는 스테레오 카메라 모듈의 캘리브레이션 방법.
  6. 제 4 항에 있어서,
    상기 태그는 요소의 규칙적인 배열에서 누락되거나 결함을 형성하는 단일 요소 또는 복수의 요소들의 그룹을 포함하는 스테레오 카메라 모듈의 캘리브레이션 방법.
  7. 제 1 항에 있어서,
    상기 카메라가 초점이 고정된 렌즈를 갖는 경우,
    상기 캘리브레이션 차트의 이미지를 캡쳐하는 단계는 상기 캘리브레이션 차트를 1회 캡쳐하는 스테레오 카메라 모듈의 캘리브레이션 방법.
  8. 제 1 항에 있어서,
    상기 카메라 중 적어도 하나가 자동 초점 렌즈를 포함하는 카메라인 경우,
    상기 캘리브레이션 차트의 이미지를 캡쳐하는 단계는 상기 렌즈가 적어도 2개의 상이한 거리에 초점을 맞춘 상태에서 상기 캘리브레이션 차트를 적어도 2회 캡쳐하는 스테레오 카메라 모듈의 캘리브레이션 방법.
  9. 제 1 항에 따른 스테레오 카메라 모듈의 캘리브레이션 방법을 실행하기 위한 프로세서에 의해 실행 가능한 명령들이 기록된 컴퓨터 판독 가능한 저장 매체.
  10. 적어도 두 개의 카메라를 포함하는 스테레오 카메라 모듈에 의해 캘리브레이션 차트를 캡쳐한 이미지와, 상기 캘리브레이션 차트와 상기 스테레오 카메라 모듈 사이의 거리를 나타내는 차트 거리, 상기 캘리브레이션 차트상의 원 사이의 거리를 나타내는 차트 기간, 및 상기 두 개의 카메라의 중점 사이의 거리를 나타내는 기준선 정보를 기초로 정류 파라미터를 추정하는 프로세서; 및
    상기 프로세서에 의해 추정된 정류 파라미터를 출력하는 출력부를 포함하는 스테레오 카메라 모듈의 캘리브레이션 장치.
KR1020170092767A 2017-03-10 2017-07-21 스테레오 카메라 모듈의 캘리브레이션 방법 및 장치, 및 컴퓨터 판독 가능한 저장매체 KR102295987B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170030485 2017-03-10
KR1020170030485 2017-03-10

Publications (2)

Publication Number Publication Date
KR20180103657A true KR20180103657A (ko) 2018-09-19
KR102295987B1 KR102295987B1 (ko) 2021-09-01

Family

ID=63719261

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170092767A KR102295987B1 (ko) 2017-03-10 2017-07-21 스테레오 카메라 모듈의 캘리브레이션 방법 및 장치, 및 컴퓨터 판독 가능한 저장매체

Country Status (1)

Country Link
KR (1) KR102295987B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024007654A1 (zh) * 2022-07-06 2024-01-11 惠州Tcl移动通信有限公司 摄像头对焦方法、装置、电子设备和计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003307466A (ja) * 2002-02-18 2003-10-31 Topcon Corp キャリブレーション装置、方法及び結果診断装置、並びにキャリブレーション用チャート
JP2011112401A (ja) * 2009-11-24 2011-06-09 Omron Corp ３次元計測のためのキャリブレーション方法および３次元視覚センサ
JP2013174547A (ja) * 2012-02-27 2013-09-05 Sharp Corp ステレオ３次元計測装置
KR20160103076A (ko) * 2014-01-28 2016-08-31 가부시키가이샤 리코 교정 방법 및 계측 용구

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003307466A (ja) * 2002-02-18 2003-10-31 Topcon Corp キャリブレーション装置、方法及び結果診断装置、並びにキャリブレーション用チャート
JP2011112401A (ja) * 2009-11-24 2011-06-09 Omron Corp ３次元計測のためのキャリブレーション方法および３次元視覚センサ
JP2013174547A (ja) * 2012-02-27 2013-09-05 Sharp Corp ステレオ３次元計測装置
KR20160103076A (ko) * 2014-01-28 2016-08-31 가부시키가이샤 리코 교정 방법 및 계측 용구

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024007654A1 (zh) * 2022-07-06 2024-01-11 惠州Tcl移动通信有限公司 摄像头对焦方法、装置、电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
KR102295987B1 (ko) 2021-09-01

Similar Documents

Publication Publication Date Title
US11985293B2 (en) System and methods for calibration of an array camera
JP4095491B2 (ja) 距離測定装置、距離測定方法、及び距離測定プログラム
US10043290B2 (en) Image processing to enhance distance calculation accuracy
JP6590792B2 (ja) ３ｄ映像を補正する方法、装置及び表示システム
JP3983573B2 (ja) ステレオ画像特性検査システム
US10679380B2 (en) Method for calibration of a stereo camera
JP5493900B2 (ja) 撮像装置
KR102160340B1 (ko) 이동하는 물체의 3차원 데이터를 생성하는 방법 및 장치
US20190108617A1 (en) Image processing apparatus, system, image processing method, calibration method, and computer-readable recording medium
KR102295987B1 (ko) 스테레오 카메라 모듈의 캘리브레이션 방법 및 장치, 및 컴퓨터 판독 가능한 저장매체
KR102156998B1 (ko) 비디오 시퀀스에서 모션을 감지하기 위한 방법
CN111857623A (zh) 校准设备、校准系统和显示设备校准方法
CN114757849A (zh) 一种具有高动态范围的成像方法
KR100852093B1 (ko) 오차를 최소화하는 선형광 형상검출 시스템 및 방법
JP2018081378A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
KR20000060731A (ko) 다수의 촬상소자를 이용한 고해상도 촬영 장치의 보정 방법
CN109089100A (zh) 一种双目立体视频的合成方法
TW201310985A (zh) 被拍攝物體之影像定位系統及方法
JP2006059270A (ja) 画像の歪み補正方法
CN111243028B (zh) 一种电子设备及镜头关联方法、装置
CN117557657A (zh) 基于ChArUco标定板的双目鱼眼相机标定方法及系统
CN116563382A (zh) 一种鲁棒的高精度相机标定系统
TWM594320U (zh) 立體相機之校正品質的檢測系統
CN116112656A (zh) 一种获取点云图的方法
CN115437206A (zh) 一种多目摄像头测试方法、系统及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant