KR20150125767A - 차량용 카메라의 교정판 제공 방법 - Google Patents

차량용 카메라의 교정판 제공 방법 Download PDF

Info

Publication number
KR20150125767A
KR20150125767A KR1020140052214A KR20140052214A KR20150125767A KR 20150125767 A KR20150125767 A KR 20150125767A KR 1020140052214 A KR1020140052214 A KR 1020140052214A KR 20140052214 A KR20140052214 A KR 20140052214A KR 20150125767 A KR20150125767 A KR 20150125767A
Authority
KR
South Korea
Prior art keywords
camera
image
matrix
calibration
calibration plate
Prior art date
Application number
KR1020140052214A
Other languages
English (en)
Other versions
KR101583663B1 (ko
Inventor
하수영
나경진
정의태
김진경
최일
Original Assignee
아진산업(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아진산업(주) filed Critical 아진산업(주)
Priority to KR1020140052214A priority Critical patent/KR101583663B1/ko
Publication of KR20150125767A publication Critical patent/KR20150125767A/ko
Application granted granted Critical
Publication of KR101583663B1 publication Critical patent/KR101583663B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof

Abstract

본 발명은 차량용 카메라의 교정판 제공 방법에 관한 것으로서, 다수의 패턴이 배열되어 이루어지는 차량용 카메라의 교정판 제공 방법에 있어서, 상기 차량용 카메라에 관련된 카메라 내부 파라미터, 카메라의 설치 위치 또는 자세 정보를 포함하는 카메라 외부 파라미터, 격자 무늬를 갖는 평면 교정판 정보를 저장하는 단계; 상기 평면 교정판에 대한 평면 영상을 카메라 모델 시뮬레이션을 이용하여 원근 영상을 생성하는 단계; 상기 생성한 원근 영상에 상기 카메라 내부 파라미터 또는 카메라 외부 파라미터를 적용하고, 상기 원근 영상에 원근 투영 변환을 위한 변환 행렬을 적용하여 왜곡 영상을 생성하는 단계; 상기 왜곡 영상에서 상기 평면 교정판 정보에 대응되는 기준 교정판 영상을 추출하여 스케일링 변환하는 단계; 및 상기 변환한 기준 교정판 영상에 상기 변환 행렬의 역행렬에 해당하는 호모그래피 행렬을 이용하여 비등간격 교정판을 생성하는 단계를 포함하는 것을 특징으로 한다. 따라서, 본 발명은 비등간격 패턴을 가지는 교정판을 제공함으로써 왜곡 영상 내 특징점 좌표를 보다 정확하게 검출할 수 있도록 하여 카메라 교정 성능이 향상되고, 동일한 알고리즘을 사용하면서도 특징점 좌표 검출 정확도를 높일 수 있다.

Description

차량용 카메라의 교정판 제공 방법{METHOD FOR GENERATING CALIBRATION INDICATOR OF CAMERA FOR VEHICLE}
본 발명은 차량용 카메라의 교정판 제공 방법에 관한 것으로, 보다 상세하게는 왜곡 영상에서 특징점 추출이 용이한 형태의 비등간격 패턴을 가지는 교정판을 생성할 수 있는 차량용 카메라의 교정판 제공 방법에 관한 것이다.
이미지 센서 기반 카메라들은 차량에 널리 사용되고 있다. 차량을 둘러싼 주위 환경의 일부분을 켭쳐하고, 그것을 운전자 앞의 모니터 상에 디스플레이함으로써, 이러한 시스템은 다른 대상물들(다른 차량, 보행자, 사이클리스트, 빌딩, 나무, 도로 및 주차장 표시 등)에 대해 차량의 위치 및 방위의 더 양호한 감지를 가능하게 하고, 교통 상황 전반의 제어를 향상시키며, 이에 따라 차량 운행 안정성을 향상시킨다.
운전자로 하여금 차량의 모든 주위를 동시에 관찰할 수 있도록 하기 위하여, 복수의 카메라를 포함하는 시스템이 사용된다. 카메라는, 차량의 주위 영역 내의 임의의 포인트가 적어도 하나 이상의 카메라의 광역 시야(FOV: Field Of View) 내에 있도록, 차량에 장착된다.
많은 공보들, 가령, 일본등록특허 제4765649호에 기재된 차량용 영상 처리 장치, 차량 주위 감시 시스템 및 영상 처리 방법은 가장 일반적으로 사용되는 시스템 구조 중 하나로서, 도 1의 (a)에 도시된 바와 같이, 4 개의 카메라, 즉 차량 그릴 영역의 전방 시야 카메라(Front View Camera; 1)와 후방 패널 또는 부트 리드의 후방 시야 카메라(Rear View Camera; 2) 및 좌우측 사이드 미러 영역의 측방 시야 카메라들(3,4)을 지니고 있다.
각각의 카메라에 의하여 켭쳐된 이미지는 이미지 프로세싱 수단을 포함하는 전자 제어 유닛(ECU)으로 전송된다. ECU는 이미지들을 변환("피시-아이(fish-eye)" 효과, 왜곡 등을 제거)하고, 디스플레이된 이미지가 차량 위로부터 촬영된 것과 같은 느낌을 주도록 이미지들을 하나의 시야(single view)로 서로 합친다. ECU는 합성된 이미지를 디스플레이 장치로 전송한다(도 1의 (b) 참조).
이러한 방식의 장점으로서, 디스플레이된 이미지가 운전자로 하여금 차량 주위 전체를 동시에 볼 수 있도록 해주며 또한 매우 간단하고 자연스러운 형식으로 주차 마커 및 외부 물체에 대한 차량의 상대적 위치를 관찰할 수 있도록 하여 운전을 더욱 쉽고 안전하게 하도록 해준다.
그러나, 이러한 카메라들이 차량 및 서로에 대하여 오정렬된다면, 디스플레이된 이미지는 운전자의 눈에 불편하게 보일 뿐만 아니라 외부 물체에 대한 거리의 혼동 및 오해를 야기하여 결국 안전을 저해할 수 있다. 도 2는 전방 카메라(1)의 오정렬의 경우에 있어서의 예시적 결과를 나타낸다.
이러한 문제점을 해결하기 위하여, 카메라의 고정된 위치의 영상의 특징점의 올바른 인식이 요구된다. 만약, 특징점을 제대로 인식하지 못 하게 되면, 작업자가 수동으로 작업을 진행 하여야 한다. 이러한 조작은 차량 조립 라인에서 사용되기에 너무 노동 집약적(labor-intensive)이다.
또한, 수동으로 작업을 진행 할 시에 작업자의 숙련도에 따라 작업 시간이 차이가 나게 된다. 작업 시간의 차이는 제품 생산력이 차이를 나타나게 되므로 매출에 집적적인 영향을 미치게 된다.
종래의 카메라 교정 방법에 관해서는 여러 가지가 제안되어 있으며, 이 중 하나로, 형상이 미리 알려진 것으로서 특징 있는 입체물을 교정용 지표로서 3차원 공간 상에 놓고, 그 입체물의 특징적인 점이 카메라의 화상 좌표계에서 어떻게 표시되는지에 따라 카메라 파라미터를 산출하는 방법이 알려져 있다.
예를 들어, 특징 있는 입체물 교정 지표를 이용하여 11 자유도의 카메라 파라미터를 산출하는 방법이 제시된 바가 있다. 여기에서는, 카메라 파라미터를 결정하기 위해서 특징 있는 입체물을 카메라로 촬상 가능한 위치에 놓고, 입체물이 카메라의 화상 좌표계에서 어느 점으로 표시되는지를 기하학적으로 산출하여, 3차원 공간에서 카메라 파라미터를 결정하는 방법을 취하고 있다.
이와 같이 차량에 카메라를 부착한 후에 카메라의 교정을 수행하는 방법에 있어서, 교정을 수행하는 대상물이 차량에 부착된 카메라인 경우, 공장 등의 차량 조립 라인에서 교정을 수행하게 된다. 생산 현장에서는 특징 있는 입체물을 놓고 교정하는 방법을 취하면 교정 지표로서 입체물을 그때마다 놓는 것은 효율적이지 않고, 또한 재해 방지의 관점에서 교정용으로 주위에 3차원적인 입체물을 놓는 것은 피하는 것이 바람직하며, 카메라의 교정을 수행하는 교정 지표는 공장의 바닥면에 그려진 바닥패턴과 같이 작업자가 밟아도 문제없는 지표인 것이 바람직하다.
이러한 문제점을 해결하기 위하여 도 3에 도시된 바와 같이, 차량용 카메라의 교정을 위한 다양한 바닥패턴 형태의 교정지표가 개발되어 있다.
이러한 교정지표는 (a)와 같은 체스판 무늬나 (b)와 같은 바둑판 무늬의 격자 패턴을 이용하여 격자 패턴의 교차점을 특징점으로 추출한 후, 추출된 특징점을 이용하여 투영변환 파라미터를 산출하여 부감영상(Top-down view)을 생성하게 된다.
다른 방식으로는 (c)와 같이 등방 간격으로 배치된 다수의 점패턴 형태의 교정지표를 이용하여 점패턴의 중심점을 특징점으로 추출하는 방식도 사용된다.
도 4는 후방 시야 카메라가 일반적인 등간격 패턴의 교정 지표를 촬영한 영상의 일례를 도시한 것이다.
도 4를 참조하면, 종래의 교정지표들을 이용하여 교정 작업이 수행되는 경우 카메라로부터 먼 외곽 부분은 원근 왜곡과 어안 렌즈의 카메라에 의한 방사 왜곡으로 인해 바닥패턴의 형태가 왜곡되어 보여 특징점이 제대로 인식되기 어려운 문제점이 발생하고 있다.
즉, 외곽 부분은 영상이 압축된 형태로 나타나므로 격자패턴 또는 점패턴의 특징점 간격이 좁아 정확한 특징점 추출이 어려운 문제점이 있으며, 도 4에 도시된 바와 같이, 점 패턴의 경우 외곽에서 원을 인식하게 되면 광각 렌즈의 왜곡으로 인하여 원이 타원으로 나타나게 되어 특징점 추출이 더욱 어려워지는 문제점이 있다.
한편, 한국등록특허 제10-1245906호는 소정의 영역을 둘러싸는 곡선에 의해 형성된 곡선도형과, 곡선도형으로 둘러싸인 영역 내에 교차점을 형성하는 적어도 2개의 직선으로 이루어진 직선도형이 동일평면상에 형성되어 곡선도형을 형성하는 곡선과, 직선도형을 형성하는 직선에 의하여 구분되는 영역이 선으로 분할되어 서로 이웃하는 영역이 다른 색으로 채색되어 있어 차량 탑재 카메라의 병진량을 교정하기 위해 사용되는 교정 지표수단을 제공하고 있다.
이 경우에, 체크 무늬의 교정용 마커 대신에 사용하는 직선 도형과 곡선 도형으로 이루어진 교정 지표 수단은 에지 검출, 곡선 도형 검출, 직선 도형 검출 및 교차점 검출 등의 특징점 검출 과정이 복잡하다는 문제점이 있다. 또한, 차량 탑재 카메라가 어안 렌즈 카메라인 경우에, 직선 도형과 곡선 도형으로 이루어진 교정 지표 수단을 촬영한 영상도 원근 왜곡과 방사 왜곡으로 인해 왜곡되므로 이 왜곡 영상에서 특징점을 추출하기 어렵다는 문제점이 있다.
일본등록특허 제10-4765649호 " 차량용 영상 처리 장치, 차량 주위 감시 시스템 및 영상 처리 방법 " 한국등록특허 제10-1245906호 " 차량 탑재 카메라의 교정에 사용할 수 있는 교정 지표와, 교정 지표를 사용한 차량 탑재 카메라의 교정 방법, 및 교정 지표를 사용한 차량 탑재 카메라의 교정 장치를 위한 프로그램 "
본 발명은 카메라 모델, 어안 렌즈의 투영 모델, 카메라 내부 파라미터 및 카메라 외부 파라미터를 포함한 시뮬레이션 정보를 이용하여 평면 교정판의 평면 영상을 왜곡 영상으로 변환하고, 왜곡 영상에서 평면 교정판의 정보에 대응되는 기준 교정판 영상을 추출한 후 스케일링 변환을 통해 특징점 추출이 용이한 형태의 비등간격 패턴을 가지는 교정판을 생성할 수 있는 차량용 카메라의 교정판 제공 방법을 제공한다.
실시예들 중에서, 차량용 카메라의 교정판 제공 방법은, 다수의 패턴이 배열되어 이루어지는 차량용 카메라의 교정판 제공 방법에 있어서, 상기 차량용 카메라에 관련된 카메라 내부 파라미터, 카메라의 설치 위치 또는 자세 정보를 포함하는 카메라 외부 파라미터, 격자 무늬를 갖는 평면 교정판 정보를 저장하는 단계; 상기 평면 교정판에 대한 평면 영상을 카메라 모델 시뮬레이션을 이용하여 원근 영상을 생성하는 단계; 상기 생성한 원근 영상에 상기 카메라 내부 파라미터 또는 카메라 외부 파라미터를 적용하고, 상기 원근 영상에 원근 투영 변환을 위한 변환 행렬을 적용하여 왜곡 영상을 생성하는 단계; 상기 왜곡 영상에서 상기 평면 교정판 정보에 대응되는 기준 교정판 영상을 추출하여 스케일링 변환하는 단계; 및 상기 변환한 기준 교정판 영상에 상기 변환 행렬의 역행렬에 해당하는 호모그래피 행렬을 이용하여 비등간격 교정판을 생성하는 단계를 포함하는 것을 특징으로 한다.
상기 카메라 내부 파라미터는 상기 차량용 카메라가 어안 렌즈를 장착한 경우에, 초점거리(focal length), 영상 센서의 1픽셀의 물리적 크기, 주 점(Principal point), 영상 센서의 해상도, 출력 해상도, 어안렌즈의 맵핑 기능 중 적어도 하나 이상의 정보를 포함하는 것을 특징으로 한다.
상기 카메라 외부 파라미터는 양각(Elevation angle), 수평각(Azimuth angle), 카메라 높이, 카메라 위치, 교정판의 폭, 교정판의 높이 중 적어도 하나 이상의 정보를 포함하는 것을 특징으로 한다.
상기 평면 교정판 정보는 상기 평면 교정판의 전체 크기, 상기 평면 교정판 내의 격자 크기 정보 중 적어도 하나 이상의 정보를 포함하는 것을 특징으로 한다.
상기 변환 행렬(Tcw)은 양각에 의한 X축 회전을 수행하고, 상기 평면 교정판의 경우에 Z=0이므로 하기한 수학식을 이용해 구하고, 상기 왜곡 영상에서 상기 평면 교정판 정보에 대응되는 기준 교정판 영상을 추출하여 스케일링 변환하는 단계는, 하기한 수학식을 이용해 원근 투영 행렬(TDD)과 스케일링 변환 행렬(Tsc)을 이용하는 것을 특징으로 한다.
한편, 상기 호모그래피 행렬(H)은 변환 행렬(Tcw), 원근 투영 행렬(TDD), 스케일링 변환 행렬(Tsc)을 이용하여 하기한 수학식과 같은 표현되는 것을 특징으로 한다.
본 발명의 차량용 카메라의 교정판 제공 방법은 카메라 모델, 어안 렌즈의 투영 모델, 카메라 내부 파라미터 및 카메라 외부 파라미터를 포함한 시뮬레이션 정보를 이용하여 특징점 추출이 용이한 형태의 비등간격 패턴을 가지는 교정판을 생성함으로써 왜곡 영상 내 특징점 좌표를 보다 정확하게 검출할 수 있도록 하여 카메라 교정 성능이 향상되고, 동일한 알고리즘을 사용하면서도 특징점 좌표 검출 정확도를 높일 수 있는 효과가 있다.
그에 따라 본 발명의 차량용 카메라의 교정판 제공 방법은 비등간격 교정판을 이용한 카메라 교정 시스템에 적용되어 카메라 교정의 정확도를 높이도록 할 수 있고, 그로 인해 정확한 영상 정합이 가능하여 차량 주위를 정확하게 보여줌으로써 운전자의 시인성이 향상되고 외부 물체에 대한 상대적 위치를 정확하게 인식할 수 있어 운전시의 안전성을 향상시킬 수 있는 효과도 있다.
도 1은 4대의 카메라가 차량에 설치되는 위치 및 이를 이용하여 생성된 탑뷰 영상을 도시한 것이다.
도 2는 전방 카메라의 오정렬시의 탑뷰 영상을 도시한 것이다.
도 3은 종래 차량용 카메라 교정을 위해 사용되는 교정지표들을 도시한 것이다.
도 4는 후방 시야 카메라가 일반적인 체크패턴 및 점패턴의 교정 지표를 촬영한 영상의 일례를 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 차량용 카메라의 교정판 제공 방법을 설명하는 순서도이다.
도 6은 도 5에 적용되는 월드 좌표계와 영상 좌표계를 설명하는 도면이다.
도 7은 도 5에 의해 생성되는 평면 영상, 왜곡 영상, 기준 교정판 영상 및 비등간격 교정판을 설명하는 도면이다.
도 8은 영상 좌표계에 방사 왜곡을 적용한 상태를 설명하는 도면이다.
도 9는 도 5에 의해 생성된 비등간격 교정판을 설명하는 도면이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 5는 본 발명의 일 실시예에 따른 차량용 카메라의 교정판 제공 방법을 설명하는 순서도이고, 도 6은 도 5에 적용되는 월드 좌표계 및 영상 좌표계를 설명하는 도면이며, 도 7은 도 5에 의해 생성되는 평면 영상, 왜곡 영상, 기준 교정판 영상 및 비등간격 교정판을 설명하는 도면이다. 도 8은 영상 좌표계에 방사 왜곡을 적용한 상태를 설명하는 도면이고, 도 9는 도 5에 의해 생성된 비등간격 교정판을 설명하는 도면이다.
도 5 내지 도 9를 참고하면, 차량용 카메라의 교정판 제공 방법은, 차량용 카메라에 관련된 카메라 내부 파라미터, 카메라의 설치 위치 또는 자세 정보를 포함하는 카메라 외부 파라미터, 격자 무늬를 갖는 평면 교정판 정보를 저장한다.(S1)
카메라 내부 파라미터는 차량용 카메라가 어안 렌즈를 장착한 경우에, 초점거리(focal length), 영상 센서의 1픽셀의 물리적 크기, 주 점(Principal point), 영상 센서의 해상도, 출력 해상도, 어안렌즈의 맵핑 기능 중 적어도 하나 이상의 정보를 포함하고, 어안렌즈의 맵핑 기능은 등거리 투영 방식을 채용하고 방사 왜곡이 발생한다.
카메라 외부 파라미터는 양각(Elevation angle), 수평각(Azimuth angle), 카메라 높이, 카메라 위치, 교정판의 폭, 교정판의 높이 중 적어도 하나 이상의 정보를 포함한다. 이러한 카메라 외부 파라미터는 핀홀(Ponhole) 카메라 모델과 카메라 내부 파라미터를 포함한 교정판 생성 작업에 사용되는 시뮬레이션 정보들을 이용하여 계산할 수 있다.
카메라 외부 파라미터는 카메라 좌표계와 월드 좌표계 사이의 변환 관계를 설명하는 파라미터로서, 두 좌표계 사이의 회전 및 이동 변환으로 표현될 수 있다. 이러한 카메라 외부 파라미터는 카메라 내부 파라미터와 달리 카메라의 위치 정보와 자세 정보에 따라 달라지고, 월드 좌표계의 정의에 따라 달라질 수 있다.
핀홀 카메라 모델은 카메라 초점이 핀홀에 해당되고, 모든 빛은 한 점(초점)을 직선으로 통과하여 이미지 평면(영상 센서)에 투영된다는 모델이다.
평면 교정판 정보는 평면 교정판의 전체 크기, 평면 교정판 내의 격자의 한변의 길이를 포함한 격자 크기 정보를 포함한다.
차량용 카메라의 교정판 제공 방법은 월드좌표계 상의 평면 교정판에 핀홀 카메라 모델 시뮬레이션을 이용하여 원근 영상을 생성한다.(S2) 이렇게 생성한 원근 영상에 어안 렌즈에 의한 방사 왜곡을 적용하기 위해 카메라 내부 파라미터 또는 카메라 외부 파라미터를 적용하고, 원근 투영 변환을 위한 변환 행렬을 적용하여 도 7에 도시된 바와 같은 왜곡 영상을 생성한다.(S3) 이때, 도 7의 왜곡 영상은 양각이 75도 인 경우에 이동 및 회전 변환이 적용된 영상이다.
도 6에 도시된 바와 같이, 월드 좌표계의 한 점(X, Y, Z)을 픽셀 좌표계 상의 점(x, y)로 변환하기 위해서는 평면 교정판의 영상을 원근 투영 변환하는 회전 및 이동 행렬을 적용해야 한다. 초점으로부터 거리가 1(unit distance)인 평면을 정규 이미지 평면(normalized image plane)이라고 하고, 이 평면은 실제 존재하지 않는 가상의 이미지 평면이다.
x축 회전 변환 행렬(Trx)은 수학식 1과 같고, y축 회전 변환 행렬(Try)은 수학식 2와 같으며, z축 회전 변환 행렬(Trz)은 수학식 3과 같고, 이동 변환 행렬(Tt)은 수학식 4와 같다.
Figure pat00001
Figure pat00002
Figure pat00003
Figure pat00004
수학식 4에서 이동 변환 행렬(T t )은 4x4 크기의 행렬을 가지고, x축으로 t x 단위, y축으로 t y 단위, z축으로 t z 만큼 이동시킬 수 있다.
수학식 1 내지 수학식 4를 이용하면, [R/t]는 월드 좌표계를 카메라 좌표계로 바꾸는 변환 행렬로서, 수학식 5와 같다.
Figure pat00005
차량용 카메라의 교정판 제공 방법에 적용되는 회전은 양각(elevation angle)에 의한 x축 회전이 유일하므로 원근 투영 변환을 위한 회전 및 이동 행렬(Twc)은 수학식 6과 같다.
Figure pat00006
평면 교정판의 평면 영상을 원근 영상으로 변환하기 위해서는 회전 및 이동 행렬(Twc)의 역행렬을 이용하면 된다. 이때, 평면 교정판이 평면이므로 변환 이전 좌표 [X, Y, Z, 1]-t 중에 z=0 이므로 변환 행렬(Tcw)은 다음과 수학식 7과 같다.
Figure pat00007
카메라는 원근 영상을 어안 렌즈를 통해 영상 센서로 투영하게 되고, 영상 센서에 투영된 상은 영상 좌표계로 스케일링 변환이 필요하다. 따라서, 차량용 카메라의 교정판 제공 방법은 왜곡 영상에서 평면 교정판 정보에 대응되는 기준 교정판 영상을 추출하고, 수학식 8의 원근 투영 행렬 및 수학식 9의 스케일링 변환 행렬을 이용하여 스케일링 변환을 수행한다.(S4)
Figure pat00008
Figure pat00009
수학식 8 및 수학식 9에서, f는 초점거리이고, ku, kv, u0, v0은 크기 변환 값을 각각 나타낸다.
차량용 카메라의 교정판 제공 방법은 변환한 기준 교정판 영상에 수학식 7의 변환 행렬의 역행렬에 해당하는 호모그래피 행렬(H)을 이용하여 도 9에 도시된 바와 같이 비등간격 교정판을 생성한다.(S5)
호모그래피 행렬(H)은 월드 좌표(xw, yw)를 방사 왜곡이 적용되지 않은 영상 좌표(xu, yu)로 변환시키는 행렬이다. 이러한 호모그래피 행렬(H)은 수학식 1 내지 수학식 9를 이용하여 계산하면 다음 수학식 10 및 수학식 11과 같다.
Figure pat00010
Figure pat00011
도 8에 도시된 바와 같이, 어안 렌즈 카메라는 렌즈 투영 모델 중 등거리 투영 모델을 채용하고 있고, 주 점(principal point)은 어안 렌즈의 광학축이 영상 센서와 만나는 점의 영상 좌표이다.
왜곡 영상은 주 점(cx, cy)에서 특징 점 (xd, yd)까지의 거리를 rd, 방사 왜곡이 제거된 영상에서 주 점과 특징 점(xu, yu) 사이의 거리를 ru라고 할 경우에, 기하학적인 관계를 이용하면 rd와 ru는 다음 수학식 12와 같고, 수학식 12를 이용하여 수학식 13을 구할 수 있다.
Figure pat00012
Figure pat00013
Figure pat00014
이며, fr=rd/ru일 때, 방사 왜곡을 제거한 좌표는 다음 수학식 14와 같다.
Figure pat00015

이와 같이, 본 발명의 실시예에 따른 차량용 카메라의 교정판 제공 방법은 카메라 교정을 위해 바닥면에 비등간격 교정판을 공장의 바닥면에 형성되도록 한다.
그러면, 차라용 카메라의 교정 시스템은 미리 설정된 위치에서 카메라를 이용하여 비등간격 교정판을 촬용하고, 이렇게 촬영된 영상으로부터 비등간격 패턴에 대응되는 다수 개의 패턴을 검출하고, 패턴의 중심점을 특징점으로 추출하며, 추출된 특징점을 이용하여 카메라의 교정을 수행할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (7)

  1. 다수의 패턴이 배열되어 이루어지는 차량용 카메라의 교정판 제공 방법에 있어서,
    상기 차량용 카메라에 관련된 카메라 내부 파라미터, 카메라의 설치 위치 또는 자세 정보를 포함하는 카메라 외부 파라미터, 격자 무늬를 갖는 평면 교정판 정보를 저장하는 단계;
    상기 평면 교정판에 대한 평면 영상을 카메라 모델 시뮬레이션을 이용하여 원근 영상을 생성하는 단계;
    상기 생성한 원근 영상에 상기 카메라 내부 파라미터 또는 카메라 외부 파라미터를 적용하고, 상기 원근 영상에 원근 투영 변환을 위한 변환 행렬을 적용하여 왜곡 영상을 생성하는 단계;
    상기 왜곡 영상에서 상기 평면 교정판 정보에 대응되는 기준 교정판 영상을 추출하여 스케일링 변환하는 단계; 및
    상기 변환한 기준 교정판 영상에 상기 변환 행렬의 역행렬에 해당하는 호모그래피 행렬을 이용하여 비등간격 교정판을 생성하는 단계를 포함하는 차량용 카메라의 교정판 제공 방법.
  2. 제1항에 있어서,
    상기 카메라 내부 파라미터는 상기 차량용 카메라가 어안 렌즈를 장착한 경우에, 초점거리(focal length), 영상 센서의 1픽셀의 물리적 크기, 주 점(Principal point), 영상 센서의 해상도, 출력 해상도, 어안렌즈의 맵핑 기능 중 적어도 하나 이상의 정보를 포함하는 것을 특징으로 하는 차량용 카메라의 교정판 제공 방법.
  3. 제1항에 있어서,
    상기 카메라 외부 파라미터는 양각(Elevation angle), 수평각(Azimuth angle), 카메라 높이, 카메라 위치, 교정판의 폭, 교정판의 높이 중 적어도 하나 이상의 정보를 포함하는 것을 특징으로 하는 차량용 카메라의 교정판 제공 방법.
  4. 제1항에 있어서,
    상기 평면 교정판 정보는 상기 평면 교정판의 전체 크기, 상기 평면 교정판 내의 격자 크기 정보 중 적어도 하나 이상의 정보를 포함하는 것을 특징으로 하는 차량용 카메라의 교정판 제공 방법.
  5. 제1항에 있어서,
    상기 변환 행렬(Tcw)은 양각에 의한 X축 회전을 수행하고, 상기 평면 교정판의 경우에 Z=0이므로 하기한 수학식을 이용해 구하는 것을 특징으로 하는 차량용 카메라의 교정판 제공 방법.
    Figure pat00016

    여기서, Tt는 이동 변환 행렬(
    Figure pat00017
    ), Trx는 X축 회전 변환 행렬(
    Figure pat00018
    ), Twc는 회전 및 이동 행렬(
    Figure pat00019
    )을 각각 나타냄.
  6. 제1항에 있어서,
    상기 왜곡 영상에서 상기 평면 교정판 정보에 대응되는 기준 교정판 영상을 추출하여 스케일링 변환하는 단계는, 하기한 수학식을 이용해 원근 투영 행렬(TDD)과 스케일링 변환 행렬(Tsc)을 이용하는 것을 특징으로 하는 차량용 카메라의 교정판 제공 방법.
    Figure pat00020
    ,
    Figure pat00021

    여기서, f는 초점거리이고, ku, kv, u0, v0은 크기 변환 값을 각각 나타냄.
  7. 제5항 또는 제6항에 있어서,
    상기 호모그래피 행렬(H)은 변환 행렬(Tcw), 원근 투영 행렬(TDD), 스케일링 변환 행렬(Tsc)을 이용하여 하기한 수학식과 같은 표현되는 것을 특징으로 하는 차량용 카메라의 교정판 제공 방법.
    Figure pat00022
KR1020140052214A 2014-04-30 2014-04-30 차량용 카메라의 교정판 제공 방법 KR101583663B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140052214A KR101583663B1 (ko) 2014-04-30 2014-04-30 차량용 카메라의 교정판 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140052214A KR101583663B1 (ko) 2014-04-30 2014-04-30 차량용 카메라의 교정판 제공 방법

Publications (2)

Publication Number Publication Date
KR20150125767A true KR20150125767A (ko) 2015-11-10
KR101583663B1 KR101583663B1 (ko) 2016-01-12

Family

ID=54605218

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140052214A KR101583663B1 (ko) 2014-04-30 2014-04-30 차량용 카메라의 교정판 제공 방법

Country Status (1)

Country Link
KR (1) KR101583663B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017200289A1 (ko) * 2016-05-17 2017-11-23 (주)유비크마이크로 360도 이미지를 형성할 수 있는 렌즈 모듈, 360도 이미지 형성 방법, 이 방법을 실행하는 컴퓨터 프로그램, 및 이 컴퓨터 프로그램을 저장하는 저장 매체
WO2017200290A1 (ko) * 2016-05-17 2017-11-23 (주)유비크마이크로 360도 이미지를 형성할 수 있는 카메라
KR101877548B1 (ko) * 2016-11-15 2018-07-11 멀티펠스 주식회사 곡면 투사용 영상 생성 시스템 및 그 생성 방법
CN110580723A (zh) * 2019-07-05 2019-12-17 成都智明达电子股份有限公司 一种利用深度学习和计算机视觉进行精准定位的方法
KR102083522B1 (ko) 2018-11-28 2020-04-20 아진산업(주) 차량 어라운드 뷰 영상 제공 장치
KR20200063898A (ko) 2018-11-28 2020-06-05 아진산업(주) 차량 어라운드 뷰 생성을 위한 다중 카메라 교정 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111559314B (zh) * 2020-04-27 2021-08-24 长沙立中汽车设计开发股份有限公司 深度与图像信息融合的3d增强全景环视系统及实现方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4453119B2 (ja) 1999-06-08 2010-04-21 ソニー株式会社 カメラ・キャリブレーション装置及び方法、画像処理装置及び方法、プログラム提供媒体、並びに、カメラ
JP2006295626A (ja) 2005-04-12 2006-10-26 Canon Inc 魚眼像処理装置及びその方法並びに魚眼像撮像装置
JP4743538B2 (ja) 2006-11-17 2011-08-10 アイシン精機株式会社 カメラ校正装置
JP5091902B2 (ja) 2009-03-31 2012-12-05 アイシン精機株式会社 車載カメラの校正に用いられる校正指標と、当該校正指標を用いた車載カメラの校正方法と、システムと、当該システムのためのプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017200289A1 (ko) * 2016-05-17 2017-11-23 (주)유비크마이크로 360도 이미지를 형성할 수 있는 렌즈 모듈, 360도 이미지 형성 방법, 이 방법을 실행하는 컴퓨터 프로그램, 및 이 컴퓨터 프로그램을 저장하는 저장 매체
WO2017200290A1 (ko) * 2016-05-17 2017-11-23 (주)유비크마이크로 360도 이미지를 형성할 수 있는 카메라
KR101877548B1 (ko) * 2016-11-15 2018-07-11 멀티펠스 주식회사 곡면 투사용 영상 생성 시스템 및 그 생성 방법
KR102083522B1 (ko) 2018-11-28 2020-04-20 아진산업(주) 차량 어라운드 뷰 영상 제공 장치
KR20200063898A (ko) 2018-11-28 2020-06-05 아진산업(주) 차량 어라운드 뷰 생성을 위한 다중 카메라 교정 방법
CN110580723A (zh) * 2019-07-05 2019-12-17 成都智明达电子股份有限公司 一种利用深度学习和计算机视觉进行精准定位的方法
CN110580723B (zh) * 2019-07-05 2022-08-19 成都智明达电子股份有限公司 一种利用深度学习和计算机视觉进行精准定位的方法

Also Published As

Publication number Publication date
KR101583663B1 (ko) 2016-01-12

Similar Documents

Publication Publication Date Title
KR101583663B1 (ko) 차량용 카메라의 교정판 제공 방법
JP7054803B2 (ja) カメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラム
US9858639B2 (en) Imaging surface modeling for camera modeling and virtual view synthesis
JP5455124B2 (ja) カメラ姿勢パラメータ推定装置
KR101892595B1 (ko) 서라운드뷰 시스템 카메라 자동 보정 전용 외부 변수
JP5739584B2 (ja) 車両周辺視角化のための３次元映像合成装置およびその方法
JP5898475B2 (ja) 車載カメラシステム及びその較正方法、及びその較正プログラム
US8872920B2 (en) Camera calibration apparatus
WO2017135081A1 (ja) 車載カメラ用校正システム
CN103852060B (zh) 一种基于单目视觉的可见光图像测距方法
JP7255718B2 (ja) 情報処理装置、認識支援方法およびコンピュータプログラム
WO2010113672A1 (ja) 車載カメラの校正に用いられる校正指標と、当該校正指標を用いた車載カメラの校正方法と、当該校正指標を用いた車載カメラの校正装置のためのプログラム
JP4857143B2 (ja) カメラ姿勢算出用ターゲット装置およびこれを用いたカメラ姿勢算出方法ならびに画像表示方法
CN112655024A (zh) 一种图像标定方法及装置
KR102057021B1 (ko) 패널 변환
JP5959311B2 (ja) データ導出装置、及び、データ導出方法
CN112135120A (zh) 基于抬头显示系统的虚像信息测量方法及系统
KR101427181B1 (ko) 가변형 타원 패턴을 갖는 차량용 카메라의 교정 지표 및 이를 이용한 교정방법
CN101980292B (zh) 一种基于正八边形模板的车载摄像机内参数的标定方法
KR101597163B1 (ko) 스테레오 카메라 교정 방법 및 장치
TW201605247A (zh) 影像處理系統及方法
JP2018528514A (ja) 後方交差交通のクイックルック
CN111664839A (zh) 车载抬头显示虚像距离测量方法
KR20180127671A (ko) Avm 시스템의 자동 캘리브레이션 방법
JP2013024712A (ja) 複数カメラの校正方法及び校正システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181212

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191204

Year of fee payment: 5