KR101597163B1 - 스테레오 카메라 교정 방법 및 장치 - Google Patents

스테레오 카메라 교정 방법 및 장치 Download PDF

Info

Publication number
KR101597163B1
KR101597163B1 KR1020140105911A KR20140105911A KR101597163B1 KR 101597163 B1 KR101597163 B1 KR 101597163B1 KR 1020140105911 A KR1020140105911 A KR 1020140105911A KR 20140105911 A KR20140105911 A KR 20140105911A KR 101597163 B1 KR101597163 B1 KR 101597163B1
Authority
KR
South Korea
Prior art keywords
camera
image
cameras
distortion
parameters
Prior art date
Application number
KR1020140105911A
Other languages
English (en)
Inventor
최장욱
류혁수
하수영
전현환
정의태
김병익
김진경
이재우
김근홍
이득권
Original Assignee
아진산업(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아진산업(주) filed Critical 아진산업(주)
Priority to KR1020140105911A priority Critical patent/KR101597163B1/ko
Application granted granted Critical
Publication of KR101597163B1 publication Critical patent/KR101597163B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras

Abstract

본 발명은 차량용 스테레오 카메라용 고정밀 정렬 방법을 개발하여 스테레오 카메라를 차량에 탑재하기 이전에 제조되는 스테레오 카메라 모듈에서 카메라를 기구적으로 정렬하는데 기여하도록 함과 동시에 기구적인 정렬이 가지는 한계를 극복할 수 있도록 하는 스테레오 카메라 교정 방법 및 장치에 관한 것으로,
상기 스테레오 카메라 교정 방법은 좌우 카메라를 통해 다수의 자세를 가지는 체스보드 평면 교정판에 대한 좌우 영상들을 획득하는 단계; 상기 좌우 영상들의 특징점을 추출하는 단계; 상기 추출된 특징점들을 기반으로 단안 카메라 알고리즘을 이용하여 좌우 카메라를 각각 교정하면서, 좌우 카메라의 내외부 매개변수와 왜곡 매개변수를 획득 및 저장하는 단계; 상기 좌우 카메라의 외부 매개변수를 기반으로 상기 좌우 카메라 사이의 상대적인 이동과 회전을 계산하고, 상기 계산 결과를 기반으로 상기 좌우 카메라를 기구적으로 정렬하는 단계; 상기 좌우 카메라의 내외부 매개변수와 왜곡 매개변수를 이용하여, 방사 및 접선 왜곡이 제거된 무왜곡 영상을 생성하는 단계; 및 상기 좌우 카메라 사이의 상대적인 이동과 회전을 이용하여 상기 무왜곡 영상의 좌우 영상의 수직 위치를 정렬하는 단계를 포함할 수 있다.

Description

스테레오 카메라 교정 방법 및 장치{METHOD AND CAMERA APPARATUS FOR CALIBRATION OF STEREO CAMERA}
본 발명은 차량에 설치된 스테레오 카메라를 보다 정확하고 효과적으로 교정할 수 있도록 하는 스테레오 카메라 교정 방법 및 장치에 관한 것이다.
최근에 들어, HD 급 스테레오 카메라를 차량에 탑재하여 차량 전방 100m 이내의 보행자, 차량, 노면 상태 등을 정확하게 인식하는 시스템을 구미 선진국에서 경쟁적으로 개발되고 있다. 특히, 운전자의 부주의로 인한 교통사고를 감소시키기 위하여 차량 주위의 상황을 실시간으로 모니터링하고 운전자의 부주의를 자동으로 차단하도록 하는 최첨단 차량용 센서들을 융합하는 기술이 개발되고 있다. 이러한 센서 융합은 레이다, 라이다, 스테레오 카메라 등을 포함한다.
독일, 일본, 미국 등에서는 2014년 현재를 기준으로 스테레오 카메라를 이용한 운전자 조력 시스템을 일부 상용화했으며, 의무 장착을 골자로 하는 안전 규제 법규를 충족시키기 위한 연구 개발에 집중하고 있으며, PCT/JP2010/073263와 같은 특허도 다수 출원되고 있다.
다만, 운전자 조력 시스템에 채용되는 스테레오 카메라는 차량 내부의 룸 미러를 사이에 두고 약 15cm이상으로 이격시켜서 좌우에 각각 장착하게 되는 데, 이 경우에 스테레오 카메라는 각각 다른 기울기, 회전, 이동 등을 가지게 된다. 차량의 전방에 위치하는 특정한 특징에 대해서 스테레오 카메라로부터 획득되는 영상에서 이 특징들은 반드시 동일한 수평선상에 위치해야 이후 스테레오 영상 분석을 통하여 추정되는 거리 등의 데이터가 높은 정밀도를 가지게 되는 특징이 있다.
Figure 112015097021942-pat00001
그런데 좌우의 카메라를 기구적으로 정확하게 고정밀로 정렬(Alignment)하기는 매우 어렵다. 특히 대량 생산 체제를 갖추어야 하는 차량용 스테레오 비젼에서 기구적으로 고정밀의 정렬은 카메라가 설치되는 기구부의 정밀한 가공과 작업자의 숙련된 장착 작업이 요구되어 시간과 비용을 크게 증가시키게 된다.
이에 본 발명은 차량용 스테레오 카메라용 고정밀 정렬 방법을 개발하여 스테레오 카메라를 차량에 탑재하기 이전에 제조되는 스테레오 카메라 모듈에서 카메라를 기구적으로 정렬하는데 기여하도록 함과 동시에 기구적인 정렬이 가지는 한계를 극복할 수 있도록 하는 스테레오 카메라 교정 방법 및 장치를 제공하고자 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따르면, 좌우 카메라를 통해 다수의 자세를 가지는 체스보드 평면 교정판에 대한 좌우 영상들을 획득하는 단계; 상기 좌우 영상들의 특징점을 추출하는 단계; 상기 추출된 특징점들을 기반으로 단안 카메라 알고리즘을 이용하여 좌우 카메라를 각각 교정하면서, 좌우 카메라의 내외부 매개변수와 왜곡 매개변수를 획득 및 저장하는 단계; 상기 좌우 카메라의 외부 매개변수를 기반으로 상기 좌우 카메라 사이의 상대적인 이동과 회전을 계산하고, 상기 계산 결과를 기반으로 상기 좌우 카메라를 기구적으로 정렬하는 단계; 상기 좌우 카메라의 내외부 매개변수와 왜곡 매개변수를 이용하여, 방사 및 접선 왜곡이 제거된 무왜곡 영상을 생성하는 단계; 및 상기 좌우 카메라 사이의 상대적인 이동과 회전을 이용하여 상기 무왜곡 영상의 좌우 영상의 수직 위치를 정렬하는 단계를 포함하는 것을 특징으로 하는 스테레오 카메라 교정 방법을 제공한다.
상기 단안 카메라 알고리즘은 장(Zhang) 알고리즘이며, 상기 좌우 카메라의 내외부 매개변수와 왜곡 매개변수를 획득 및 저장하는 단계는 영상 평면에서의 스케일 팩터(α,β), 수평과 수직 축 사이의 기울어진 정도(γ), 영상 평면에서의 중심 좌표(u0,v0)에 의해 결정되는 내부 매개 변수, 회전 행렬(R)과 이동(t) 변환으로 구성되는 카메라 외부 매개 변수, 방사 왜곡, 접속 왜곡 값을 획득 및 저장하는 것을 특징으로 한다.
상기 좌우 영상의 수직 위치를 정렬하는 단계는 회전 행렬(R)로부터 좌우 영상 평면의 회전 행렬을 생성하고, 상기 좌우 영상 평면의 회전 행렬을 이용하여 새로운 좌우 영상 평면 좌표를 생성한 후, 상기 새로운 좌우 영상 평면 좌표에 상기 카메라 내부 매개 변수를 적용하여 상기 새로운 좌우 영상 좌표에서 화소 좌표를 획득하여, 수직 위치가 정렬된 좌우 영상을 생성하는 것을 특징으로 한다.
상기 좌우 영상 평면의 회전 행렬은 "
Figure 112014077143506-pat00002
,
Figure 112014077143506-pat00003
,
Figure 112014077143506-pat00004
"의 식으로 표현되고, 상기 e1는
Figure 112014077143506-pat00005
, 상기 e2는
Figure 112014077143506-pat00006
, 상기 e3는 e1×e2, 상기 Rl은 좌 영상 평면의 회전 행렬, 상기 Rr은 우영상 평면의 회전 행렬인 것을 특징으로 한다.
상기 새로운 좌우 영상 평면 좌표는 "
Figure 112014077143506-pat00007
,
Figure 112014077143506-pat00008
"의 식으로 표현되고, 상기
Figure 112014077143506-pat00009
는 새로운 좌 영상 평면의 좌표, 상기
Figure 112014077143506-pat00010
은 새로운 우 영상 평면의 좌표, 상기
Figure 112014077143506-pat00011
은 좌 영상 평면의 좌표, 상기
Figure 112014077143506-pat00012
은 우 영상 평면의 좌표인 것을 특징으로 한다.
상기 새로운 좌우 영상 좌표에서 화소 좌표는 "
Figure 112014077143506-pat00013
,
Figure 112014077143506-pat00014
"의 식으로 표현되고, 상기
Figure 112014077143506-pat00015
는 상기 새로운 좌 영상 평면에서의 화소 좌표, 상기
Figure 112014077143506-pat00016
은 상기 새로운 우 영상 평면에서의 화소 좌표, 상기
Figure 112014077143506-pat00017
은 좌영상에 대한 카메라 내부 매개 변수, 및 상기
Figure 112014077143506-pat00018
은 우영상에 대한 카메라 내부 매개 변수인 것을 특징으로 한다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 다른 실시 형태에 따르면, 좌우 카메라를 기구적으로 정렬한 후, 스테레오 정렬 방법을 통해 좌우 카메라를 통해 획득된 영상을 수학적으로 정류하는 스테레오 카메라 교정부; 상기 스테레오 카메라 교정부의 제어 하에 좌우 카메라의 위치 조정 동작을 수행하는 카메라 정렬부를 포함하는 스테레오 카메라 교정 장치를 제공한다.
상기 스테레오 카메라 교정부는 상기 좌우 카메라를 통해 다수의 자세를 가지는 체스보드 평면 교정판에 대한 좌우 영상들을 획득하는 좌우 영상 획득부; 상기 좌우 영상들의 특징점을 추출한 후, 상기 추출된 특징점들을 기반으로 단안 카메라 알고리즘을 이용하여 좌우 카메라를 각각 교정하면서, 좌우 카메라의 내외부 매개변수와 왜곡 매개변수를 획득 및 저장하는 단안 카메라 교정부; 상기 좌우 카메라의 외부 매개변수를 기반으로 상기 좌우 카메라 사이의 상대적인 이동과 회전을 계산하고, 상기 계산 결과를 기반으로 상기 좌우 카메라를 기구적으로 정렬하는 카메라 정렬 제어부; 상기 좌우 카메라의 내외부 매개변수와 왜곡 매개변수를 이용하여, 방사 및 접선 왜곡이 제거된 무왜곡 영상을 생성하는 무왜곡 영상 생성부; 및 상기 좌우 카메라 사이의 상대적인 이동과 회전을 이용하여 상기 무왜곡 영상의 좌우 영상의 수직 위치를 정렬하는 좌우 영상 정류부를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 차량용 스테레오 카메라 모듈의 최종 제조 공정인 조립 단계, 이 모듈을 완성차에 탑재하기 이전에 합격 불합격 검사에 본 발명의 스테레오 카메라 교정 방법을 적용하면, 대량 생산이 요구되는 차량용 스테레오 카메라 제조 시 좌우 카메라가 장착되는 기구부의 고정밀 가공을 요구하지 않게 되고 작업자의 숙련도를 증대하지 않도록 하고, 이에 따라 차량 생산성이 크게 증대될 수 있도록 해준다.
도1는 본 발명의 일 실시예에 따른 스테레오 카메라 교정 방법을 설명하기 위한 도면이다.
도2는 본 발명의 일 실시예에 따른 스테레오 카메라 교정 방법을 위해 획득되는 좌우 영상들의 일례를 도시한 도면이다.
도3은 본 발명의 일 실시예에 따른 스테레오 카메라 교정 방법에 적용되는 왜곡 카메라 모델이다.
도4는 본 발명의 일 실시예에 따른 스테레오 카메라 교정 방법을 위해 획득된 좌우 영상들의 특징점 검출의 일례를 도시한 도면이다.
도5는 본 발명의 일 실시예에 따른 스테레오 카메라 교정 방법의 스테레오 정류 원리를 설명하기 위한 도면이다.
도6은 본 발명의 일 실시예에 따른 스테레오 카메라 교정 장치를 도시한 도면이다.
도7은 본 발명의 일 실시예에 따른 스테레오 카메라 교정 방법의 적용 예를 도시한 도면이다.
본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도1는 본 발명의 일 실시예에 따른 스테레오 카메라 교정 방법을 설명하기 위한 도면이다.
도1을 참고하면, 본 발명의 스테레오 카메라 교정 방법은 좌우 영상 획득 단계(S10), 특징점 추출 단계(S20), 단안 카메라 교정 단계(S30), 좌우 카메라의 기구적 정렬 단계(S40), 및 무왜곡 영상 생성 단계(S50), 좌우 영상 정류 단계(S60) 등을 포함하여 구성될 수 있다.
이하, 각 단계를 보다 상세히 살펴보면 다음과 같다.
단계 S10에서는, 스테레오 카메라를 구성하는 좌우 2개의 카메라를 통해 다수의 자세를 가지는 체스보드 평면 교정판에 대한 스테레오 영상(즉, 좌우 영상)을 획득한다.
이때, 체스보드 평면 교정판은 도2과 같이 정사각형의 흑색 또는 흰색 사각형이 반복적으로 교차되는 형태를 가지며, 흑색 및 흰색 사각형의 접점에 대응되는 다수의 특징점들을 구비한다. 이때, 사각형 크기는 inch 또는 cm 단위로 정의될 수 있으며, 이는 추후에 계산되는 이동 벡터(T) 등의 단위를 결정한다. 스테레오 카메라를 통해서 체스보드 교정판 영상들을 획득하는 경우에 체스보드는 스테레오 카메라의 FOV(Field Of View)내에 반드시 존재하도록 한다. 그리고 보다 정확한 교정을 보장할 수 있도록, 다수의 다양한 자세를 가지는 영상을 획득하도록 한다. 그리고 좌측 및 우측 영상들을 순서대로 정렬하여 각각의 영상을 구별하는 파일명 리스트도 사전에 획득 및 구비하도록 한다.
참고로, 본 발명의 카메라가 CCD 카메라로 구현되는 경우, CCD 카메라는 3차원 공간의 물체로부터 방사되는 광을 렌즈를 통해 초점에 모아주므로, 영상에는 방사 왜곡(radial distortion), 접선 왜곡(tangential distortion)과 같은 렌즈 왜곡 값이 포함되게 된다. 렌즈 왜곡이 고려된 필름 또는 CCD 칩 평면의 좌표는 수학식1로 표현된다.
Figure 112014077143506-pat00019
그리고 카메라와 물체의 위치가 직교되지 않는 경우, 카메라가 물체에 대해서 상대적인 회전(R)과 이동(t) 변환이 존재하는 데, 이 경우 카메라의 좌표(
Figure 112014077143506-pat00020
)는 수학식2로 표현된다.
Figure 112014077143506-pat00021
도3에 도시된 바와 같이, 3차원 공간상 물체의 좌표는 회전(R)과 이동(t) 변환으로 카메라 좌표로 변환된 후(이때에는 카메라와 물체는 직교한다고 가정함), 왜곡이 존재하는 렌즈를 거쳐 최종적으로 필름 또는 CCD 칩 평면의 좌표로 변환되게 된다. 그리고 CCD 좌표계에서 영상 좌표계로 변환하는 행렬을 내부(intrinsic) 행렬로 칭한다.
이때, 카메라 외부 매개 변수(Extrinsic Parameters)는 회전(R)과 이동(t) 변환이고, 카메라 내부 매개 변수(Intrinsic Parameters)는 카메라 초점(f),(sx,sy),(u0,v0),(k1,k2,…),(p1,p2,…),(α,β)이며, (sx,sy)는 카메라 영상의 단일 셀의 가로/세로 크기이고, (u0,v0)는 영상 평면에서의 중심 좌표, (k1,k2,…)는 방사 왜곡이고, (p1,p2,…)는 접선 왜곡이고, (α,β)는 영상 평면에서의 스케일 팩터로 α는 f/sx로, β는 f/sy 이다.
단계 S20에서는, 특징점 검출 알고리즘을 통해 좌측 영상들과 우측 영상들 각각을 분석하여, 도4에 도시된 바와 같은 영상내 특징점들을 자동 추출하도록 한다.
단계 S30에서는, 추출된 특징점들을 기반으로 단안 카메라 알고리즘을 이용하여 좌우 카메라를 각각 교정하면서, 좌우 카메라의 내외부 매개변수와 왜곡 매개변수를 획득 및 저장한다.
본 발명에서는 "Zhang, Z., A Flexible New Technique for Camera Calibration, Technical Report, Microsoft Research, Mar. 1999" 및 "Zhengyou Zhang, "A Flexible New Technique for Camera Calibration," IEEETransactions on Pattern Analysis and Machine Intelligence, vol. 22, no. 11, pp. 1330-1334, 2000"에 개시된 장(Zhang) 알고리즘을 단안 카메라 알고리즘의 일례로 채택하여 활용하도록 한다.
장 알고리즘은 2차원 영상 평면의 한 점을
Figure 112014077143506-pat00022
로, 3차원 공간에서의 한 점을
Figure 112014077143506-pat00023
로, m과 M에 해당하는 동차 좌표는 각각
Figure 112014077143506-pat00024
와
Figure 112014077143506-pat00025
로 가정한 상태에서, 카메라가 별도의 렌즈 왜곡 값을 가지지 않는다면, m과 M 사이의 관계는 이하의 수학식3로 표현될 수 있다.
Figure 112014077143506-pat00026
A는 카메라 내부 매개변수(intrinsic parameters)이며, 이하의 수학식4로 표현된다.
Figure 112014077143506-pat00027
이때,
Figure 112014077143506-pat00028
는 수평과 수직 축 사이의 기울어진 정도이다.
장 알고리즘은 카메라 내부 매개변수 추정, 외부 매개 변수 추정, 내외부 매개변수 재추정, 방사 왜곡 추정, 접선 왜곡 추정, 모든 매개 변수 재추정 동작을 수행할 수 있는 데, 이는 이하에서 보다 상세히 설명하기로 한다.
1) 카메라 내부 매개변수와 평면 호모그래피(planar homography)의 기하학적인 관계
만약 3차원 공간에서 물체가 평면이라면 "
Figure 112014077143506-pat00029
"이 된다. 평면 호모그래피 H를 이용하면, m과 M 사이의 관계는 수학식5로 표현된다.
Figure 112014077143506-pat00030
이때, 여기서 ri는 R 행렬의 i번째 열을 나타낸다. 따라서 H는 3×3 행렬이 되고, 수학식5로부터
Figure 112014077143506-pat00031
이 도출된다. 이때, λ는 스케일 팩터(scale factor)이다. r1과 r2는 직교되므로, 수학식6가 도출된다.
Figure 112014077143506-pat00032
그리고 B=A-T A-1로 두면, B는 수학식7으로 표현될 수 있다.
Figure 112014077143506-pat00033
수학식7의 B는 대칭행렬이므로, B는
Figure 112014077143506-pat00034
로 표현될 수 있다. 그리고 H 행렬의 i번째 열(column) 벡터를
Figure 112014077143506-pat00035
로 두면, 수학식6는 수학식8으로 변환되고, 만약 N개의 영상이 주어진다면, N개의 수학식8로 구성되는 수학식9이 생성된다.
Figure 112014077143506-pat00036
이때,
Figure 112014077143506-pat00037
이다.
Figure 112014077143506-pat00038
이때, V는 2N×6 크기의 행렬이고, b는 VTV의 최소 고유치(eigenvalue)에 해당되는 고유벡터(eigenvector)이다. 만약 N??3 이면 b는 유일한 해를 가지게 된다. 만약, N=2이면, 유일한 해를 가지는 b를 계산하기 위해서
Figure 112014077143506-pat00039
=0의 조건을 두어야 한다. 그리고 N=1이면
Figure 112014077143506-pat00040
=0와 (u0,v0)는 사전에 알려져 있다는 조건을 두면 α와 β만을 수학식7로부터 계산할 수 있게 되고, 최종적으로 카메라 내부 매개변수 A를 산출할 수 있게 된다.
2) 카메라 내부 매개변수 초기 추정
임의의 스케일 팩터(scale factor)인 λ를 이용하면
Figure 112014077143506-pat00041
이 된다. 이 관계와 수학식9을 이용하여 b가 계산되면, 카메라 내부 매개변수들은 다음의 수학식10에서와 같이 추정될 수 있다.
Figure 112014077143506-pat00042
Figure 112014077143506-pat00043
3) 카메라 외부 매개변수 초기 추정
수학식10로부터 내부 매개변수가 추정되면, 외부 매개변수(R,t)는 수학식11에 따라 추정될 수 있다.
Figure 112014077143506-pat00044
이때,
Figure 112014077143506-pat00045
,
Figure 112014077143506-pat00046
이 된다. 그런데
Figure 112014077143506-pat00047
을 만족해야 한다. 이 조건을 만족시키기 위해서 수학식11로부터 계산된 R을 SVD를 이용하여
Figure 112014077143506-pat00048
로 분해한다. 그리고 대각 행렬인 W의 구성 요소들이 모두 1이면 초기 R을 이용한다. 만약 하나의 구성 요소도 1이 아니면
Figure 112014077143506-pat00049
로 계산한다.
4) 최대 공산(Maximum-likelihood) 추정을 통한 내외부 매개변수 재추정
영상 평면에서 추출된 특징점들은 iid(independent and identically distributed) 잡음에 오염되어 있다. 따라서 초기 추정된 내외부 매개변수들은 최대공산 추정을 통해 잡음을 제거하는 것이 바람직하다.
Figure 112014077143506-pat00050
이때, N은 영상의 수이며, 각 영상에서 추출된 특징점의 개수는 M이다. 그리고 mij는 i번째 영상에서 j번째 추출된 특징점 좌표이며,
Figure 112014077143506-pat00051
는 수학식3을 이용하여 계산된 영상 평면의 좌표이다. 이 경우에 A, Ri, 그리고 ti는 수학식10과 수학식11에서 초기 추정된 값을 이용한다. 수학식12는 비선형 최소 자승 방법인 LM(Levenberg-Marquardt) 방법이다. 이때, R은 로드게리스(Rodrigues) 공식을 이용하여
Figure 112014077143506-pat00052
의 벡터로 변환하여 이용한다. 그 관계식은 수학식13이 되고, 이를 다시 쓰면 수학식14가 된다.
Figure 112014077143506-pat00053
Figure 112014077143506-pat00054
이때,
Figure 112014077143506-pat00055
이다.
5) 방사 왜곡 초기 추정
방사 왜곡 매개변수 (k1,k2)는 다음과 같이 추정될 수 있다. 렌즈 왜곡이 발생하지 않는 CCD 좌표
Figure 112014077143506-pat00056
는 카메라 좌표
Figure 112014077143506-pat00057
로부터 수학식15로 표현되고, 렌즈 왜곡이 발생하지 않는 CCD 좌표
Figure 112014077143506-pat00058
는 수학식16로 표현된다.
Figure 112014077143506-pat00059
Figure 112014077143506-pat00060
이때,
Figure 112014077143506-pat00061
이다.
무왜곡 영상 좌표
Figure 112014077143506-pat00062
는 수학식17로부터, 왜곡 영상 좌표
Figure 112014077143506-pat00063
는 수학식18로부터 계산되며, 수학식17로부터 수학식18을 다시 쓰면 수학식19과 같이 표현되고, 이를 다시
Figure 112014077143506-pat00064
항으로 다시 정리하면 수학식20와 같이 표현된다.
Figure 112014077143506-pat00065
Figure 112014077143506-pat00066
Figure 112014077143506-pat00067
Figure 112014077143506-pat00068
만약, 영상의 수가 N이고 각 영상에서 특징점의 수가 M이면 2NM개의 수학식20이 생성된다. 수학식20를 "Dk=d"로 표현하면 D는 2NM×2행렬이 되며, k는 2×1벡터, 그리고 d는 2NM×1벡터가 된다. 선형 최소 자승(linear least-square) 방법으로 수학식21의 k의 해를 계산된다. 즉, 방사 왜곡이 계산될 수 있다.
Figure 112014077143506-pat00069
6) 접선 왜곡 초기 추정
접선 왜곡은 비선형이므로 선형적으로 그 값을 추정하기는 매우 어렵다. 따라서 본 발명에서는 최종적으로 모든 매개변수를 재 추정하는 과정에서 접선 왜곡 매개변수 p1과 p2를 추정하도록 한다. 다만, 이 경우에 필요한 초기 값은 주의 깊게 선정하여야 한다. 그렇지 않으면 최대 공산 추정을 하는 경우에 발산하게 된다.
7) 최대 공산 추정을 통한 모든 매개변수 재추정
그리고 카메라 내외부 및 왜곡 매개변수를 더욱더 정확하게 추정하기 위해서 최종적으로 모든 추정된 매개변수를 다음의 수학식22에 대입한다.
Figure 112014077143506-pat00070
매개변수 재추정시에도 수학식12와 마찬가지로 비선형 최소 자승 방법인 LM 방법을 이용하여 수학식22을 최소로 하는 모든 매개변수를 재 추정하도록 한다.
단계 S40에서는, 장 알고리즘을 통해 산출된 카메라 외부 매개변수를 이용하여 좌우 카메라 사이의 상대적인 이동과 회전을 계산하고, 계산 결과를 반영하여 좌우 카메라를 기구적으로 정렬한다.
즉, 카메라 교정을 통해 획득된 좌우 카메라의 내부 매개변수(A)와 좌우 카메라 왜곡 계수(
Figure 112014077143506-pat00071
,
Figure 112014077143506-pat00072
)를 수학식11에 반영하여 좌우 카메라의 상대적인 이동과 회전을 파악한다. 즉, 각 카메라의 이동-Tl과 Tr-과 회전-Rl과 Rr-들을 각각 산출한다.
이 경우에 3차원 공간에 존재하는 한 점 P에 대응되는 좌 카메라의 한 점
Figure 112014077143506-pat00073
이 되며, 우 카메라의 한 점
Figure 112014077143506-pat00074
이 된다. 그리고 좌우 카메라 사이의 관계는
Figure 112014077143506-pat00075
이다.
따라서 회전값(R)과 이동값(T)은 다음의 수학식23로 표현된다.
Figure 112014077143506-pat00076
그리고 회전과 이동이 최종적으로 계산된 좌우 카메라 사이의 회전과 이동이다. 좌우 카메라를 기구적(기하학적)으로 정렬한다는 것은, 회전 R 이 I가 되고, T가
Figure 112014077143506-pat00077
가 되도록 하는 것이다. 이에 본 발명에서는
Figure 112014077143506-pat00078
이 만족되도록, 좌우 카메라를 기구적(기하학적)으로 정렬한다.
장 알고리즘으로 단안 카메라를 교정하는 경우에 필요한 영상의 수는 최소한 2장 이상이다. 만약 10장의 좌우 영상 쌍을 이용하여 좌우 카메라 각각을 교정하면 각 영상 쌍에 대해서 각각의 이동과 회전이 산출된다. 즉, 이동과 회전이 각각 10개가 계산된다. 이들 가운데에서 중간 값을 초기치로 선택한다. 그리고 체스보드 특징점들의 재투영(reprojection) 오차가 최소가 되도록 LM 방법으로 이동과 회전을 최적화 한다. 최종적으로 계산된 회전 행렬 R의 요소들로부터 오일러 각을 계산하여, 좌우 카메라를 기구적으로 정렬한다.
예를 들어, 이동 벡터가
Figure 112014077143506-pat00079
의 값을 가지면, 우 카메라가 좌 카메라로부터 이동된
Figure 112014077143506-pat00080
가 3.338인치(=8.478cm) 떨어져 있다는 것을 의미한다. 이때, 나머지
Figure 112014077143506-pat00081
와
Figure 112014077143506-pat00082
는 소수점 이하의 값을 가지는데 이를 기구적으로 정확하게 정렬하기에는 매우 어렵다. 이에 본 발명에서는 다음의 스테레오 정류 단계에서 이를 수학적으로 정렬하도록 한다. 그리고 회전 행렬 R로부터 오일러 각 Ψ,θ, 그리고 Φ를 각도로 계산하면,
Figure 112014077143506-pat00083
,
Figure 112014077143506-pat00084
이 된다. 이때, 각도의 단위는 도(degree)이다. 이 값에 따라서 우 카메라를 좌 카메라에 대해서 기구적으로 정렬한다. 다시 말하면 y축에 대해서 CCW(Counter ClockWise)방향으로 약 1도 회전시킨 이후에 z축으로도 CCW 방향으로 약 1도 회전시키면 좌우 카메라는 기구적으로 정렬됨을 뜻한다. 이에 소수점 이하 각도를 가지는 x축 또한 다음 단계의 스테레오 정류 단계에서 정렬하도록 한다.
단계 S50에서는, 단계 S30을 통해 획득 및 저장된 좌우 카메라의 내외부 매개변수와 왜곡 매개변수를 이용하여 방사 및 접선 왜곡이 제거된 무왜곡 영상을 생성한다.
단계 S60에서는, 단계 S40을 통해 계산된 카메라의 상대적인 회전과 이동을 이용하여, 무왜곡 영상의 좌우 영상의 수직 위치를 정렬한다.
앞서 설명한 바와 같이, 기구적으로 최대한 좌우 카메라를 정렬하더라도 완전하게 좌우 카메라를 정렬하는 것은 거의 불가능하며. 이에 따라 3차원 공간에 존재하는 한 점에 대응되는 좌 영상 평면의 한 점과 우 영상 평면의 한 점은 동일한 에피폴라 직선(epipolar lines) 위에 위치하지 않는다. 이에 이 두 점을 동일한 에피폴라 직선 위에 위치시키는 영상 변환, 즉 스테레오 정류(rectification)가 필요하다.
이 영상 정렬은 단안 카메라 교정 단계에서 계산된 좌우 카메라의 회전과 이동을 이용하여, 좌우 영상 평면에서 에피폴라 직선들이 영상의 수평축과 평행하도록 영상을 수학적으로 변환하는 것이다. 이는 에피폴라 직선이 수평선이 되도록 하는 것이며, 에피폴(epipole)을 무한대
Figure 112014077143506-pat00085
에 존재하도록 하는 것이다.
본 발명은 "E. Trucco and A. Verri, Introductory Techniques for 3-D Computer Vision, Prentice Hall, 1st Ed., Mar. 1998"에 개시된 Bouget's 알고리즘을 채택하여 스테레오 정류 동작을 수행하도록 한다. 스테레오 카메라 교정을 통해서 앞서 계산된 이동 T과 회전 R을 이용한다. 도5의 (a)에 나타낸 바와 같이 R은 우 카메라를 회전하여 좌 카메라에 맞추는 것이다. 스테레오 정류는 기구적인 회전을 하는 대신에 좌우 영상 평면에 대해서 수학적으로 회전하는 것이다. 회전량은 좌우로 각각
Figure 112014077143506-pat00086
씩 되도록 회전 행렬의 요소 값들을
Figure 112014077143506-pat00087
로 나눈다. 그리고 좌 영상 평면에 대한 회전 행렬
Figure 112014077143506-pat00088
은 회전 행렬 R의 각 요소 값들을
Figure 112014077143506-pat00089
로 나눈 이후에 역 행렬이다.
도5의 (b)에 나타낸 바와 같이 좌우 영상 평면들을 각각
Figure 112014077143506-pat00090
과
Figure 112014077143506-pat00091
만큼 회전하면 좌우 영상 평면은 동일한 평면에 존재하게 된다. 이 경우에 로우(row) 정렬은 되지 않는다.
도5의 (c)에 나타낸 바와 같이 좌 영상 평면을 주점에 대해서 회전시켜 좌 영상 평면의 에피폴이 무한대로 이동되도록 하는 회전 행렬은 수학식22으로 표현된다.
Figure 112014077143506-pat00092
이때,
Figure 112014077143506-pat00093
,
Figure 112014077143506-pat00094
, 그리고
Figure 112014077143506-pat00095
이다.
Figure 112014077143506-pat00096
은 에피폴의 방향 그 자체이다. 즉, 좌우 카메라의 투영 중심을 연결하는 이동 벡터 T의 방향과 동일하다.
Figure 112014077143506-pat00097
는
Figure 112014077143506-pat00098
과 직교(orthogonal)해야 한다. 광 축(optical axis)에 직교하는 방향이다.
Figure 112014077143506-pat00099
는
Figure 112014077143506-pat00100
과
Figure 112014077143506-pat00101
에 직교한다.
좌 영상 평면을 주점을 중심으로 회전시켜서 에피폴라 직선이 수평선이 되고 에피폴이 무한대로 이동되고 로우(row) 정렬이 되도록 하는 좌우 영상 평면의 회전 행렬은 수학식25로 표현된다.
Figure 112014077143506-pat00102
좌우 정류는 좌우 영상 평면의 좌표에 각각의 카메라 내부 매개변수와 수학식23을 이용하여 최종적으로 로우 정렬된 좌우 영상들을 생성하는 것이다. 좌우 영상 평면의 좌표를 동차 좌표계로 표현하면 각각
Figure 112014077143506-pat00103
와
Figure 112014077143506-pat00104
로 두면, 수학식25를 통해 새로운 좌우 영상 평면의 좌표는 수학식26로 표현되게 된다.
Figure 112014077143506-pat00105
이때, 영상 평면 좌표에서 화소 좌표
Figure 112014077143506-pat00106
과
Figure 112014077143506-pat00107
는 각각 수학식27으로 표현된다.
Figure 112014077143506-pat00108
이때,
Figure 112014077143506-pat00109
,
Figure 112014077143506-pat00110
이며, 이는 단안 카메라 교정 단계에서 계산된 결과를 이용하여 산출될 수 있다.
수학식27의 화소 좌표는
Figure 112014077143506-pat00111
과
Figure 112014077143506-pat00112
이다.
이때,
Figure 112014077143506-pat00113
는 일반적으로 정수가 아닌 실수인데, 이는 역방향(backward) 사상을 이용하여 정수로 변환된다. 그리고 새로운 정수 화소 좌표에서 2중 선형 보간법(bilinear Interpolation) 또는 큐빅 보간법(cubic interpolation)으로 최종적인 화소 값을 계산한다.
도6은 본 발명의 일 실시예에 따른 스테레오 카메라 교정 장치를 도시한 도면이다.
도6을 참고하면, 본 발명의 스테레오 카메라 교정 장치는 크게 좌우 카메라를 기구적으로 정렬한 후, 스테레오 정렬 방법을 통해 좌우 카메라를 통해 획득된 영상을 수학적으로 정류하는 스테레오 카메라 교정부(20)와 스테레오 카메라 교정부(20)의 제어 하에 좌우 카메라(11,12)의 위치를 기구적으로 조정하는 카메라 정렬부(30)를 포함하여 구성될 수 있다.
본 발명의 스테레오 카메라 교정부(10)는 다시 좌우 카메라(31,32)를 통해 다수의 자세를 가지는 체스보드 평면 교정판에 대한 좌우 영상들을 획득하는 좌우 영상 획득부(11), 좌우 영상들의 특징점을 추출한 후, 추출된 특징점들을 기반으로 단안 카메라 알고리즘을 이용하여 좌우 카메라를 각각 교정하면서, 좌우 카메라의 내외부 매개변수와 왜곡 매개변수를 획득 및 저장하는 단안 카메라 교정부(12), 좌우 카메라의 외부 매개변수를 기반으로 좌우 카메라 사이의 상대적인 이동과 회전을 계산하고, 계산 결과를 기반으로 카메라 정렬부(20)를 제어하여 좌우 카메라가 기구적으로 정렬되도록 하는 카메라 정렬 제어부(13), 좌우 카메라의 내외부 매개변수와 왜곡 매개변수를 이용하여, 방사 및 접선 왜곡이 제거된 무왜곡 영상을 생성하는 무왜곡 여상 생성부(14), 및 좌우 카메라 사이의 상대적인 이동과 회전을 이용하여 상기 무왜곡 영상의 좌우 영상의 수직 위치를 정렬하는 좌우 영상 정류부(15) 등을 포함하여 구성된다.
이와 같이 구성되는 스테레오 카메라 교정 장치는 별도의 하드웨어 장치로 구성될 수도 있으며, ECU(electronic control unit)와 같은 차량내 프로세싱 장치에 임베디드 모듈 형태 또는 프로그램 형태로 내장될 수도 있을 것이다.
도7은 본 발명의 일 실시예에 따른 스테레오 카메라 교정 방법의 적용 예를 도시한 도면으로, 이는 스테레오 카메라 교정 방법을 이용한 도로 상태 모니터링 방법에 관한 것이다.
먼저, 스테레오 카메라를 구성하는 좌우 2개의 카메라를 이용하여 좌 영상과 우 영상을 획득한 후, 좌 영상을 기준으로 우영상의 밝기를 보정한다(S100).
그리고 앞서 설명된 스테레오 카메라 교정 방법을 통해 좌우 카메라를 기구적으로 정렬한 후, 좌우 영상을 수학적으로 추가 정렬해준다(S200).
단계 S200을 통해 수직으로 정렬 완료된 좌우 영상을 이용하여 스테레오 매칭 동작을 수행하여 깊이 맵을 생성한다. 즉, 좌우 영상간의 정합점을 찾아 깊이 맵을 작성하도록 한다(S300).
그리고 좌 영상(또는 우 영상)을 이용해서는 차선, 램프, 표지판을 인식하도록 하고(S400), 단계 S200을 통해 깊이 맵을 통해서는 차량, 보행자 등과 같은 객체를 검출하고, 차량과 객체간 거리를 정확하게 산출하도록 한다(S500).
그리고 단계 S400의 인식 결과와 단계 S500의 산출 결과를 모두 취합하여 사용자에게 안내하거나 차량내 각종 장치를 동작 제어함으로써, 사용자 및 차량의 현재의 도로 상태에 최적화된 운전을 할 수 있도록 해준다(S600).
즉, 본 발명의 도로 상태 모니터링 방법은 좌우 카메라를 통해 획득되는 좌우 영상을 완벽하게 정렬한 후, 이들을 이용한 깊이 맵 생성 동작을 수행함으로써, 정확도가 높은 깊이 맵을 생성할 수 있도록 해준다. 그리고 이 깊이 맵에 의해 차량의 전방 객체 검출 및 인식의 정확도 또한 획기적으로 향상될 수 있도록 해준다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (9)

  1. 좌우 카메라를 통해 다수의 자세를 가지는 체스보드 평면 교정판에 대한 좌우 영상들을 획득하는 단계;
    상기 좌우 영상들의 특징점들을 추출하는 단계;
    상기 추출된 특징점들을 기반으로 단안 카메라 알고리즘을 이용하여 좌우 카메라를 각각 교정하면서, 좌우 카메라의 내외부 매개변수와 방사 및 접선 왜곡 매개 변수를 획득 및 저장하는 단계;
    상기 좌우 카메라의 외부 매개변수를 기반으로 상기 좌우 카메라 사이의 상대적인 이동과 회전을 계산하고, 상기 계산 결과를 기반으로 상기 좌우 카메라를 기구적으로 정렬하는 단계;
    상기 좌우 카메라의 내외부 매개변수와 방사 및 접선 왜곡 매개 변수를 이용하여, 방사 및 접선 왜곡이 제거된 무왜곡 영상을 생성하는 단계; 및
    상기 좌우 카메라 사이의 상대적인 이동과 회전을 이용하여 상기 무왜곡 영상의 좌우 영상의 수직 위치를 정렬하는 단계를 포함하며,
    상기 좌우 카메라를 기구적으로 정렬하는 단계는
    n개(n은 2 이상의 자연수)의 좌우 영상 쌍을 기반으로 장 알고리즘에 따라 좌우 카메라 각각을 교정하여 상기 n개 영상 쌍 각각에 대응되는 이동 벡터와 회전 행렬들을 산출하고, 상기 산출된 이동 벡터와 회전 행렬들의 중간값을 초기치로 선택한 후 LM(Levenberg-Marquardt) 방법에 따라 상기 초기치로 선택된 이동 벡터와 회전 행렬을 최적화하고, 상기 최적화된 회전 행렬로부터 오일러 각을 계산한 후, 상기 계산된 오일러 각에 따라 상기 우 카메라를 상기 좌 카메라에 대해 기구적으로 정렬하는 것을 특징으로 하는 스테레오 카메라 교정 방법.
  2. 제1항에 있어서, 상기 단안 카메라 알고리즘은
    장(Zhang) 알고리즘인 것을 특징으로 하는 스테레오 카메라 교정 방법.
  3. 제2항에 있어서, 상기 좌우 카메라의 내외부 매개변수와 왜곡 매개변수를 획득 및 저장하는 단계는
    영상 평면에서의 스케일 팩터(α,β), 수평과 수직 축 사이의 기울어진 정도(γ), 영상 평면에서의 중심 좌표(u0,v0)에 의해 결정되는 내부 매개 변수, 회전 행렬(R)과 이동(t) 변환으로 구성되는 카메라 외부 매개 변수, 방사 왜곡, 접속 왜곡 값을 획득 및 저장하는 것을 특징으로 하는 스테레오 카메라 교정 방법.
  4. 제3항에 있어서, 상기 좌우 영상의 수직 위치를 정렬하는 단계는
    회전 행렬(R)로부터 좌우 영상 평면의 회전 행렬을 생성하고, 상기 좌우 영상 평면의 회전 행렬을 이용하여 새로운 좌우 영상 평면 좌표를 생성한 후, 상기 새로운 좌우 영상 평면 좌표에 상기 카메라 내부 매개 변수를 적용하여 상기 새로운 좌우 영상 좌표에서 화소 좌표를 획득하여, 수직 위치가 정렬된 좌우 영상을 생성하는 것을 특징으로 하는 스테레오 카메라 교정 방법.
  5. 제4항에 있어서, 상기 좌우 영상 평면의 회전 행렬은
    "
    Figure 112014077143506-pat00114
    ,
    Figure 112014077143506-pat00115
    ,
    Figure 112014077143506-pat00116
    "의 식으로 표현되고,
    상기 e1는
    Figure 112014077143506-pat00117
    , 상기 e2는
    Figure 112014077143506-pat00118
    , 상기 e3는 e1×e2, 상기 Rl은 좌 영상 평면의 회전 행렬, 상기 Rr은 우 영상 평면의 회전 행렬인 것을 특징으로 하는 스테레오 카메라 교정 방법.
  6. 제5항에 있어서, 상기 새로운 좌우 영상 평면 좌표는
    "
    Figure 112014077143506-pat00119
    ,
    Figure 112014077143506-pat00120
    "의 식으로 표현되고,
    상기
    Figure 112014077143506-pat00121
    는 새로운 좌 영상 평면의 좌표, 상기
    Figure 112014077143506-pat00122
    은 새로운 우 영상 평면의 좌표, 상기
    Figure 112014077143506-pat00123
    은 좌 영상 평면의 좌표, 상기
    Figure 112014077143506-pat00124
    은 우 영상 평면의 좌표인 것을 특징으로 하는 스테레오 카메라 교정 방법.
  7. 제6항에 있어서, 상기 새로운 좌우 영상 좌표에서 화소 좌표는
    "
    Figure 112014077143506-pat00125
    ,
    Figure 112014077143506-pat00126
    "의 식으로 표현되고,
    상기
    Figure 112014077143506-pat00127
    는 상기 새로운 좌 영상 평면에서의 화소 좌표, 상기
    Figure 112014077143506-pat00128
    은 상기 새로운 우 영상 평면에서의 화소 좌표, 상기
    Figure 112014077143506-pat00129
    은 좌영상에 대한 카메라 내부 매개 변수, 및 상기
    Figure 112014077143506-pat00130
    은 우영상에 대한 카메라 내부 매개 변수인 것을 특징으로 하는 스테레오 카메라 교정 방법.
  8. 좌우 카메라를 기구적으로 정렬한 후, 스테레오 정렬 방법을 통해 좌우 카메라를 통해 획득된 영상을 수학적으로 정류하는 스테레오 카메라 교정부;
    상기 스테레오 카메라 교정부의 제어 하에 좌우 카메라의 위치 조정 동작을 수행하는 카메라 정렬부를 포함하며,
    상기 스테레오 카메라 교정부는
    상기 좌우 카메라를 통해 다수의 자세를 가지는 체스보드 평면 교정판에 대한 좌우 영상들을 획득하는 좌우 영상 획득부;
    상기 좌우 영상들의 특징점을 추출한 후, 상기 추출된 특징점들을 기반으로 단안 카메라 알고리즘을 이용하여 좌우 카메라를 각각 교정하면서, 좌우 카메라의 내외부 매개변수와 방사 및 접선 왜곡 매개 변수를 획득 및 저장하는 단안 카메라 교정부;
    상기 좌우 카메라의 외부 매개변수를 기반으로 상기 좌우 카메라 사이의 상대적인 이동과 회전을 계산하고, 상기 계산 결과를 기반으로 상기 좌우 카메라를 기구적으로 정렬 하는 카메라 정렬 제어부;
    상기 좌우 카메라의 내외부 매개변수와 방사 및 접선 왜곡 매개 변수를 이용하여, 방사 및 접선 왜곡이 제거된 무왜곡 영상을 생성하는 무왜곡 영상 생성부; 및
    상기 좌우 카메라 사이의 상대적 인 이동과 회전을 이용하여 상기 무왜곡 영상의 좌우 영상의 수직 위치를 정렬하는 좌우 영상 정류부를 포함하며,
    상기 카메라 정렬 제어부는
    n개(n은 2 이상의 자연수)의 좌우 영상 쌍을 기반으로 장 알고리즘에 따라 좌우 카메라 각각을 교정하여 상기 n개 영상 쌍 각각에 대응되는 이동 벡터와 회전 행렬들을 산출하고, 상기 산출된 이동 벡터와 회전 행렬들의 중간값을 초기치로 선택한 후 LM(Levenberg-Marquardt) 방법에 따라 상기 초기치로 선택된 이동 벡터와 회전 행렬을 최적화하고, 상기 최적화된 회전 행렬로부터 오일러 각을 계산한 후, 상기 계산된 오일러 각에 따라 상기 우 카메라를 상기 좌 카메라에 대해 기구적으로 정렬하는 것을 특징으로 하는 스테레오 카메라 교정 장치.
  9. 삭제
KR1020140105911A 2014-08-14 2014-08-14 스테레오 카메라 교정 방법 및 장치 KR101597163B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140105911A KR101597163B1 (ko) 2014-08-14 2014-08-14 스테레오 카메라 교정 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140105911A KR101597163B1 (ko) 2014-08-14 2014-08-14 스테레오 카메라 교정 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101597163B1 true KR101597163B1 (ko) 2016-02-24

Family

ID=55449878

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140105911A KR101597163B1 (ko) 2014-08-14 2014-08-14 스테레오 카메라 교정 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101597163B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101756350B1 (ko) * 2016-02-25 2017-07-10 현대오트론 주식회사 영상 보정 장치 및 방법
KR101794311B1 (ko) 2017-09-11 2017-11-07 공간정보기술 주식회사 지피에스(gps) 좌표를 3차원 공간좌표로 투영하여 목표 지점으로 피티젯(ptz) 카메라를 이동시키는 스테레오 카메라 시스템
KR102044639B1 (ko) * 2018-10-25 2019-11-14 공간정보기술 주식회사 스테레오 카메라 정렬 방법 및 장치
CN113891059A (zh) * 2019-03-09 2022-01-04 核心光电有限公司 对双摄像机进行立体校准的方法
CN116091610A (zh) * 2021-11-08 2023-05-09 南京理工大学 一种基于三维塔式棋盘格的雷达与相机的联合标定方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040053877A (ko) * 2002-12-16 2004-06-25 한국전자통신연구원 디지털 카메라의 렌즈 왜곡 보정과 정사영상 생성방법 및이를 이용한 디지털 카메라
KR100755450B1 (ko) * 2006-07-04 2007-09-04 중앙대학교 산학협력단 평면 호모그래피를 이용한 3차원 재구성 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040053877A (ko) * 2002-12-16 2004-06-25 한국전자통신연구원 디지털 카메라의 렌즈 왜곡 보정과 정사영상 생성방법 및이를 이용한 디지털 카메라
KR100755450B1 (ko) * 2006-07-04 2007-09-04 중앙대학교 산학협력단 평면 호모그래피를 이용한 3차원 재구성 장치 및 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101756350B1 (ko) * 2016-02-25 2017-07-10 현대오트론 주식회사 영상 보정 장치 및 방법
KR101794311B1 (ko) 2017-09-11 2017-11-07 공간정보기술 주식회사 지피에스(gps) 좌표를 3차원 공간좌표로 투영하여 목표 지점으로 피티젯(ptz) 카메라를 이동시키는 스테레오 카메라 시스템
KR102044639B1 (ko) * 2018-10-25 2019-11-14 공간정보기술 주식회사 스테레오 카메라 정렬 방법 및 장치
CN113891059A (zh) * 2019-03-09 2022-01-04 核心光电有限公司 对双摄像机进行立体校准的方法
CN113891059B (zh) * 2019-03-09 2024-02-13 核心光电有限公司 对双摄像机进行立体校准的方法
CN116091610A (zh) * 2021-11-08 2023-05-09 南京理工大学 一种基于三维塔式棋盘格的雷达与相机的联合标定方法
CN116091610B (zh) * 2021-11-08 2023-11-10 南京理工大学 一种基于三维塔式棋盘格的雷达与相机的联合标定方法

Similar Documents

Publication Publication Date Title
CN111243002A (zh) 应用于高精度三维测量的单目激光散斑投影系统标定及深度估计方法
EP2751521B1 (en) Method and system for alignment of a pattern on a spatial coded slide image
CN109859272B (zh) 一种自动对焦双目摄像头标定方法及装置
KR101597163B1 (ko) 스테레오 카메라 교정 방법 및 장치
US20150279016A1 (en) Image processing method and apparatus for calibrating depth of depth sensor
US20090299684A1 (en) Method for calibrating cameras installed on vehicle
CN111220126A (zh) 一种基于点特征和单目相机的空间物体位姿测量方法
CN109827521B (zh) 一种快速多线结构光视觉测量系统标定方法
Strelow et al. Precise omnidirectional camera calibration
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
Zhou et al. A two-step calibration method of lenslet-based light field cameras
CN110779491A (zh) 一种水平面上目标测距的方法、装置、设备及存储介质
CN103983186A (zh) 双目视觉系统校正方法及校正设备
CN110415286B (zh) 一种多飞行时间深度相机系统的外参标定方法
JP2013002820A (ja) カメラキャリブレーション装置
KR20150125767A (ko) 차량용 카메라의 교정판 제공 방법
JP6186431B2 (ja) キャリブレーション装置、キャリブレーションシステム、及び撮像装置
Hansard et al. Projective alignment of range and parallax data
WO2023201578A1 (zh) 单目激光散斑投影系统的外参数标定方法和装置
Ohashi et al. Fisheye stereo camera using equirectangular images
CN111738971B (zh) 一种基于线激光双目立体视觉的电路板立体扫描检测方法
KR20150002995A (ko) Ｆｏｖ왜곡 보정 모델에 2ｄ패턴을 적용한 왜곡중심 보정 방법
WO2019087253A1 (ja) ステレオカメラのキャリブレーション方法
CN111998834B (zh) 一种裂缝监测方法及系统
Oniga et al. Metric and Non-Metric Cameras Calibration for the Improvement of Real-Time Monitoring Process Results.

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190218

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200213

Year of fee payment: 5