KR101705558B1

KR101705558B1 - Avm 시스템의 공차 보정 장치 및 방법

Info

Publication number: KR101705558B1
Application number: KR1020150090167A
Authority: KR
Inventors: 조상현; 한정수
Original assignee: (주)캠시스
Priority date: 2015-06-25
Filing date: 2015-06-25
Publication date: 2017-02-13
Also published as: KR20170001765A; CN106296646B; CN106296646A

Abstract

AVM 시스템의 공차 보정 장치 및 방법이 개시된다. 본 발명의 일 실시예에 따른 공차 보정 장치는, 상기 차량에 구비된 카메라가 촬영한 상기 차량의 주변에 배치된 원형 패턴에 대한 영상 신호를 각각의 카메라 영상 데이터로 변환하는 영상 입력부; 및 상기 카메라 영상 데이터에서 상기 원형 패턴에 상응하는 타원을 추출하고, 상기 타원과 상기 원형 패턴 사이의 상관관계를 이용하여 상기 카메라 영상 데이터와 탑뷰 영상 사이의 호모그라피를 산출하며, 상기 카메라의 외부 변수를 산출하여 세계좌표 상에서 상기 카메라의 위치를 추정하는 공차 보정부를 포함할 수 있다.

Description

AVM 시스템의 공차 보정 장치 및 방법{Top view creating method for camera installed on vehicle and AVM system}

본 발명은 AVM 시스템의 공차 보정 장치 및 방법에 관한 것이다.

일반적으로, 차량 내부에 탑승한 운전자의 시계(視界)는 주로 전방을 향하게 되고, 운전자의 좌우측과 후방 시계는 차체에 의하여 상당부분 가려지기 때문에 매우 한정된 시계를 가진다.

이러한 문제를 해결하기 위하여, 통상적으로 운전자의 한정된 범위의 시계를 보완하기 위한 사이드 미러 등의 시계 보조수단이 사용되고 있으며, 최근에는 차량의 외부 영상을 촬영하여 운전자에게 제공하는 카메라 수단을 포함하는 기술들이 차량에 적용되고 있는 추세이다.

그 중에서 현재 차량 주위에 복수의 카메라를 설치하여 차량 주변의 360° 전방향의 영상을 보여주는 어라운드 뷰 모니터링(AVM, Around View Monitoring)(이하, AVM이라 칭함) 시스템이 있다. AVM 시스템은 차량 주변을 촬영하는 복수의 카메라를 통하여 촬상된 각 개별 뷰(view)뿐 아니라, 차량 주변의 영상을 조합하여 운전자가 하늘에서 차량을 바라보는 듯한 탑뷰(Top View) 이미지를 제공함으로써, 차량 주변 장애물을 표시하고 사각지대를 해소할 수 있게 한다.

도 1에는 AVM 시스템의 개념이 개략적으로 도시되어 있다.

도 1을 참조하면, 차량(100)의 전후방, 좌우측면에는 각각 카메라(110a, 110b, 110c, 110d)(이하 110으로 통칭함)가 설치된다. 카메라들(110) 각각은 차량(100)의 전후방 및 좌우측면의 영상(A, B, C, D)을 촬영하고, 촬영된 영상을 차량(100)을 상방향에서 내려다보는 형태의 영상(도 1의 (b) 참조)으로 재구성하여 차량(100)에 장착된 각종 디스플레이 장치에 출력한다.

여기서, 도 1의 (b)에 도시된 것과 같은 탑뷰를 생성하는 과정에서, 복수의 카메라를 이용하여 촬영한 주변 영상을 조합할 때 카메라들의 장착 오차는 개별 카메라에서 찍힌 영상들 간에 부정합과 같은 결함을 발생시키게 되는데, 이처럼 차량에의 카메라 장착 과정에서 발생하는 오차를 공차라 한다.

탑뷰 생성 과정에서의 결함을 소프트웨어적으로 제거하기 위한 영상 보정 방법이 연구되고 있으며, 미국특허공개 US2009/0010630호에도 카메라 시스템의 영상 보정 방법이 개시되어 있다.

종래 차량에 설치된 카메라를 이용해 차량 주변영상의 탑뷰를 생성하는 과정에서 공차 보정을 위해 사각형, 삼각형, 체커보드 형태의 다각형 패턴이 사용되어 왔다. 영상에 나타나는 다각형 패턴에 대해서 꼭지점이나 X자 마크 등과 같은 특징을 찾아 특징에 대한 세계좌표(world coordinate)와 영상좌표를 이용하여 공차를 보정함으로써 탑뷰를 생성해 왔다.

이때 다각형 패턴에 대해서 임의로 세계좌표를 부여해야 하는데, 세계좌표를 부여하기 위해서는 꼭지점 사이의 거리나 꼭지점들의 위치관계 등 다각형 패턴이 세계좌표에서 위치하는 상대적인 정보를 모두 알고 있어야 하는 제약이 있었다. 이러한 제약은 탑뷰 생성을 위해서 다각형 패턴을 정해진 규격에 맞춰 설치해야 하고 패턴 정보를 입력하거나 파악하는데 많은 수고가 들어가는 불편함이 있다.

미국특허공개 US2009/0010630호 (공개일자 2009년1월8일) - Camera system and method of correcting camera fitting errors

따라서, 본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, 다각형 패턴이 아닌 원형 패턴을 이용하여 패턴의 세계좌표를 입력하지 않으면서도 패턴이 영상이 나타나는 조건을 만족하면 탑뷰 생성이 가능하고, 탑뷰 생성을 위해 계산한 호모그라피(homography)를 이용하여 카메라의 외부 파라미터를 정확하게 추정할 수 있는 AVM 시스템의 공차 보정 장치 및 방법을 제공하기 위한 것이다.

본 발명은 패턴을 임의의 위치에 위치시켜도 공차 보정이 가능하여 패턴 설치에 걸리는 시간을 단축할 수 있고, 카메라와 패턴의 상대적 및 절대적 위치를 모르더라도 복수의 카메라의 영상 합성이 가능하며, 원형 패턴을 자동으로 찾음으로써 자동 공차 보정에도 사용 가능한 AVM 시스템의 공차 보정 장치 및 방법을 제공하기 위한 것이다.

본 발명의 다른 목적들은 이하에 서술되는 바람직한 실시예를 통하여 보다 명확해질 것이다.

본 발명의 일 측면에 따르면, 차량에 설치된 카메라의 공차 보정 장치에 있어서, 상기 차량에 구비된 카메라가 촬영한 상기 차량의 주변에 배치된 원형 패턴에 대한 영상 신호를 각각의 카메라 영상 데이터로 변환하는 영상 입력부; 및 상기 카메라 영상 데이터에서 상기 원형 패턴에 상응하는 타원을 추출하고, 상기 타원과 상기 원형 패턴 사이의 상관관계를 이용하여 상기 카메라 영상 데이터와 탑뷰 영상 사이의 호모그라피(homography)를 산출하며, 상기 카메라의 외부 변수(extrinsic parameter)를 산출하여 세계좌표 상에서 상기 카메라의 위치를 추정하는 공차 보정부를 포함하는 공차 보정 장치가 제공된다.

상기 카메라는 상기 차량의 전방, 우측, 좌측 및 후방에 설치되는 제1 카메라, 제2 카메라, 제3 카메라 및 제4 카메라를 포함하고, 상기 원형 패턴은 상기 카메라 중에서 서로 이웃하는 카메라의 화각이 중첩되는 구역 내의 임의의 위치에 놓여지도록 하는 위치 조건을 충족하도록 배치된 제1 원형 패턴을 포함할 수 있다.

또는 상기 카메라는 상기 차량의 전방, 우측, 좌측 및 후방에 설치되는 제1 카메라, 제2 카메라, 제3 카메라 및 제4 카메라를 포함하고, 상기 원형 패턴은 적어도 둘 이상의 뷰에서 획득한 상기 카메라 영상 데이터에 포함되도록 배치된 제1 원형 패턴을 포함할 수 있다.

상기 원형 패턴은 상기 차량의 좌우측 바퀴와 수평이 되도록 배치되는 제2 원형 패턴을 더 포함할 수 있다.

상기 공차 보정부는, 상기 카메라 영상 데이터에서 타원을 추출하는 단계; 상기 타원의 외곽을 추출하는 단계; 상기 카메라의 내부 변수에 의한 왜곡을 보정하는 단계; 왜곡 보정된 타원의 외곽 좌표에 기초하여 타원 방정식을 산출하는 단계; 상기 타원 방정식을 이용하여 세계좌표와 카메라 영상 데이터 사이의 호모그라피를 산출하는 단계를 수행할 수 있다.

상기 공차 보정부는 서큘러 포인트(circular point)가 변환된 상기 타원들의 교점을 구해 투영성 행렬의 역행렬 P^-1과 아핀성 행렬의 역행렬 A^-1을 구하고, 하기 수학식에 따라 호모그라피 H를 산출할 수 있다.

수학식은

이고,

이며,

는 회전각(rotational angle),

는 앙각(elevation angle)이다.

상기 공차 보정부는 상기 세계좌표를 상기 카메라 영상 데이터의 영상좌표로 변환시켜주는 행렬 P와, 상기 카메라의 내부 변수 K와 세계좌표와 카메라 좌표 사이의 회전 변환인 R, 세계좌표에 카메라 좌표 사이의 이동량인 C 사이의 상관관계를 이용하여 호모그라피 H와 미리 알고 있는 K를 이용하여 세계좌표에서 카메라의 위치를 추정할 수 있다.

한편 본 발명의 다른 측면에 따르면, 차량에 설치된 카메라의 공차 보정 방법 및 이를 수행하기 위한 프로그램이 기록된 기록매체가 제공된다.

일 실시예에 따른 공차 보정 방법은, 영상 입력부에 의해 상기 차량에 구비된 카메라가 촬영한 상기 차량의 주변에 배치된 원형 패턴에 대한 영상 신호가 각각의 카메라 영상 데이터로 변환되는 단계; 상기 카메라 영상 데이터에서 상기 원형 패턴에 상응하는 타원을 추출하는 단계; 상기 타원과 상기 원형 패턴 사이의 상관관계를 이용하여 상기 카메라 영상 데이터와 탑뷰 영상 사이의 호모그라피를 산출하는 단계; 및 상기 카메라의 외부 변수를 산출하여 세계좌표 상에서 상기 카메라의 위치를 추정하는 단계를 포함할 수 있다.

상기 호모그라피 산출 단계는, 상기 타원의 외곽을 추출하는 단계; 상기 카메라의 내부 변수에 의한 왜곡을 보정하는 단계; 왜곡 보정된 타원의 외곽 좌표에 기초하여 타원 방정식을 산출하는 단계; 및 상기 타원 방정식을 이용하여 세계좌표와 카메라 영상 데이터 사이의 호모그라피를 산출하는 단계를 포함할 수 있다.

서큘러 포인트가 변환된 상기 타원들의 교점을 구해 투영성 행렬의 역행렬 P^-1과 아핀성 행렬의 역행렬 A^-1을 구하고, 지정된 수학식에 따라 호모그라피 H를 산출할 수 있다.

상기 카메라 위치 추정 단계는, 상기 세계좌표를 상기 카메라 영상 데이터의 영상좌표로 변환시켜주는 행렬 P와, 상기 카메라의 내부 변수 K와 세계좌표와 카메라 좌표 사이의 회전 변환인 R, 세계좌표에 카메라 좌표 사이의 이동량인 C 사이의 상관관계를 이용하여 호모그라피 H와 미리 알고 있는 K를 이용하여 세계좌표에서 카메라의 위치를 추정할 수 있다.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.

본 발명에 따르면, 다각형 패턴이 아닌 원형 패턴을 이용하여 패턴의 세계좌표를 입력하지 않으면서도 패턴이 영상이 나타나는 조건을 만족하면 탑뷰 생성이 가능하고, 탑뷰 생성을 위해 계산한 호모그라피를 이용하여 카메라의 외부 파라미터를 정확하게 추정할 수 있는 효과가 있다.

또한, 패턴을 임의의 위치에 위치시켜도 공차 보정이 가능하여 패턴 설치에 걸리는 시간을 단축할 수 있고, 카메라와 패턴의 상대적 및 절대적 위치를 모르더라도 복수의 카메라의 영상 합성이 가능하며, 원형 패턴을 자동으로 찾음으로써 자동 공차 보정에도 사용 가능한 효과가 있다.

도 1은 AVM 시스템의 개념이 개략적으로 도시된 도면,
도 2는 본 발명의 일 실시예에 따른 AVM 시스템의 구성을 개략적으로 도시한 블록 구성도,
도 3은 본 발명의 실시예에 따른 공차 보정을 하기 위한 원형 패턴 배치의 일례를 설명하기 위한 개략도,
도 4는 본 발명의 일 실시예에 따른 AVM 시스템에서의 공차 보정 과정을 도시한 흐름도,
도 5는 공차 보정 과정 중에서 호모그라피 산출 과정을 상세하게 도시한 흐름도,
도 6은 원형 패턴을 촬영한 영상,
도 7은 영상 내에서 타원을 찾은 모습을 나타낸 도면,
도 8은 타원 외곽을 추출한 도면,
도 9는 왜곡 보정 전후의 타원 외곽 좌표를 나타낸 도면,
도 10은 계산된 호모그라피를 이용하여 재구성한 탑뷰 영상,
도 11은 카메라의 추정 위치를 표시한 탑뷰 영상.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

도 2는 본 발명의 일 실시예에 따른 AVM 시스템의 구성을 개략적으로 도시한 블록 구성도이다.

본 발명의 일 실시예에 따른 AVM 시스템(200)은 차량에 설치된 카메라를 통해 촬영된 영상을 보정 처리하여 생성된 주변 영상을 화면 상에 표시하여, 차량의 주변 상황을 운전자가 확인할 수 있도록 하는 시스템이다. 본 실시예에서는 특히 카메라를 차량에 장착할 때 발생하는 공차를 보정하기 위해 원형 패턴을 이용함으로써, 패턴을 임의의 위치에 위치시켜도 공차 보정이 가능하고, 카메라와 패턴의 상대적 및 절대적 위치를 모르더라도 복수의 카메라의 영상 합성이 가능한 것을 특징으로 한다.

도 2를 참조하면, 본 실시예에 따른 AVM 시스템(200)은 영상 입력부(210), 저장부(220), 공차 보정부(230), 영상 합성부(240), 디스플레이부(250)를 포함한다. 도시되지는 않았으나, AVM 시스템(200)에 포함된 하나 이상의 구성요소의 동작을 제어하기 위한 제어부가 더 포함될 수 있다.

영상 입력부(210)는 차량(100)의 복수 개소(예를 들어, 전방, 후방, 좌측 및 우측을 각각 촬영하도록 지정된 위치)에 각각 설치된 카메라(110)로부터 촬상되어 입력되는 각 카메라 영상 신호를 각각의 카메라 영상 데이터로 생성하여 저장부(220)에 저장한다. 여기서, 카메라(110)는 적은 수량으로 차량 주변 환경을 촬상할 수 있도록 하기 위해 화각이 큰 광각 카메라로 구현될 수 있다.

저장부(220)에는 예를 들어 AVM 시스템(200)의 운용 프로그램, 영상 입력부(210)에 의해 생성된 카메라 영상 데이터, 후술될 영상 합성부(240)에 의해 합성 처리된 AVM 영상 데이터(특히 탑뷰) 등이 저장될 수 있다. 저장부(220)는 데이터를 영구 저장하는 영구 저장 메모리와 동작 시 필요한 데이터를 임시 저장하여 운용하는 임시 저장 메모리로 분리되어 운용될 수 있다.

공차 보정부(230)는 저장부(220)에 저장된 카메라 영상 데이터들을 분석하여 원형 패턴(영상 내에서는 타원 형태를 가짐)을 찾아내고, 미리 지정된 외부 변수 추정 알고리즘에 따라 패턴 정보(영상 내의 원형 패턴에 대한 정보)를 가공하여 호모그라피(homography)를 산출한다. 또한, 호모그라피를 산출하는 과정에서 카메라(110)의 외부 변수(extrinsic parameter)도 산출될 수 있어, 세계좌표 상에서 카메라(110)의 위치를 추정할 수 있다.

영상 합성부(240)는 공차 보정부(230)에서 추정된 카메라의 위치 및 패턴 정보를 이용하여 카메라 영상 데이터를 변환함으로써 차량의 주변 환경에 대해 차량의 위쪽에서 내려다보는 듯한 탑뷰(Top View)를 생성하고 AVM 영상 데이터로 합성한다. 즉, 차량(100) 주변의 영상에 대한 카메라 영상 데이터를 탑뷰 영상으로 변환한 이후 공차 보정부(230)에서 추정된 카메라 위치에 기초하여 탑뷰 영상의 위치 및 방향을 조정하여 합성함으로써, 차량(100)의 주변 전체에 대한 탑뷰에 해당하는 AVM 영상 데이터가 생성될 수 있다.

영상 합성부(240)에 의해 생성된 AVM 영상 데이터는 디스플레이부(250)를 통해 출력될 수 있을 것이다.

도 3은 본 발명의 실시예에 따른 공차 보정을 하기 위한 원형 패턴 배치의 일례를 설명하기 위한 개략도이다.

도 3에 도시된 바와 같이 차량이 놓여질 보정 영역 주변에는 제1 원형 패턴(311, 313, 315, 317)이 임의로 설치될 수 있다.

공차 보정을 위해 이용되는 제1 원형 패턴(311, 313, 315, 317)은 그 형상이 원형이어서 도 3에 도시된 것처럼 그 중심점을 중심으로 회전한 각도에 상관없이 항상 동일한 형상을 나타낸다. 즉, 패턴 설치 과정에서 기존의 다각형 패턴과 같이 미리 정해진 위치에 정확한 각도로 설치될 필요가 없어 패턴 설치에 소요되는 시간을 단축시킬 수 있게 된다.

또한, 제1 원형 패턴(311, 313, 315, 317)은 기존의 다각형 패턴과 같이 미리 정해진 위치에 위치시키는 것이 아니라 소정의 위치 조건을 충족하는 경우 임의의 위치에 위치시켜도 공차 보정이 가능한 장점을 가진다.

제1 원형 패턴(311, 313, 315, 317)의 위치 조건으로는 최소한 2개의 패턴이 하나의 영상에 나타나도록 차량에 설치된 카메라(110)를 이용하여 촬영될 수 있어야 한다는 것이다. 즉, 카메라 영상 데이터마다 최소한 2개의 패턴이 나타나야 하는데, 이는 같은 제1 원형 패턴이 적어도 서로 다른 뷰에서 획득된 카메라 영상 데이터에서 보여져야 하기 때문이다.

예를 들면, 도면에 도시된 것처럼, 전방에 설치된 제1 카메라(110a)에 의해 촬영된 영상에는 2개의 제1 원형 패턴(311, 313)이 포함되고, 우측에 설치된 제2 카메라(110b)에 의해 촬영된 영상에는 2개의 제1 원형 패턴(313, 317)이 포함되며, 좌측에 설치된 제3 카메라(110c)에 의해 촬영된 영상에는 2개의 제1 원형 패턴(311, 315)이 포함되고, 후방에 설치된 제4 카메라(110d)에 의해 촬영된 영상에는 2개의 제1 원형 패턴(315, 317)이 포함된다.

따라서, 본 실시예에서 제1 원형 패턴(311, 313, 315, 317)의 위치 조건은 이웃하는 두 카메라의 화각이 중첩되는 구역 내에 놓여질 것으로, 화각 중첩 구역 내라면 임의의 위치에 놓여져도 무방할 것이다.

또한, 제1 원형 패턴(311, 313, 315, 317)은 그 사이즈가 모두 동일할 수 있다. 또한, 지름 정보를 알고 있다면, 영상 합성부(240)에서 탑뷰 생성 시 정확한 픽셀 피치(pixel pitch)(mm/pixel) 계산이 가능하다. 하지만, 지름 정보는 한정되어 있지는 않다. 즉, 경우에 따라 지름이 다른 제1 원형 패턴을 사용하는 것도 가능하다.

본 실시예에서 제1 원형 패턴(311, 313, 315, 317)만 있는 경우, 원은 기본적으로 방향성이 없어 후술할 영상 합성부(240)에서 AVM 영상 데이터 생성 시에 탑뷰가 돌아가는 현상(회전되어 보이는 현상)이 발생할 수 있다.

이를 보완하기 위해, 차량(100)의 좌우측 바퀴와 수평이 되도록 제2 원형 패턴(321, 323, 325, 327)을 위치시키고, 좌측 영상 데이터 및 우측 영상 데이터에서 검출된 패턴 정보를 이용하여 좌우측 영역에 관한 탑뷰 영상의 수평을 맞춘 후 전후방 영역을 맞추어 줌으로써, 탑뷰가 돌아가 보이는 현상을 방지할 수도 있다.

이하에서는 이러한 원형 패턴을 이용하여 공차를 보정하고 탑뷰를 생성하는 과정에 대하여 관련 도면을 참조하여 설명하기로 한다.

도 4는 본 발명의 일 실시예에 따른 AVM 시스템에서의 공차 보정 및 탑뷰 생성 과정을 도시한 흐름도이고, 도 5는 공차 보정 과정 중에서 호모그라피 산출 과정을 상세하게 도시한 흐름도이며, 도 6은 원형 패턴을 촬영한 영상이고, 도 7은 영상 내에서 타원을 찾은 모습을 나타낸 도면이며, 도 8은 타원 외곽을 추출한 도면이고, 도 9는 왜곡 보정 전후의 타원 외곽 좌표를 나타낸 도면이며, 도 10은 계산된 호모그라피를 이용하여 재구성한 탑뷰 영상이고, 도 11은 카메라의 추정 위치를 표시한 탑뷰 영상이다.

도 3에 도시된 것처럼 제1 원형 패턴(311, 313, 315, 317) 및/또는 제2 원형패턴(312, 323, 325, 327)의 배치가 완료되면, 차량에 장착된 카메라(110)를 이용하여 원형 패턴을 포함하는 차량의 주변 환경을 촬영하고(단계 S410), 영상 입력부(210)는 원형 패턴이 촬영된 카메라 영상 데이터를 입력받는다. 여기서, 카메라 영상 데이터는 저장부(220)에 저장되거나 영상 입력부(210)로 바로 전달될 수 있다. 카메라 영상 데이터의 예시가 도 6에 도시되어 있다.

공차 보정부(230)는 영상 입력부(210)에서 직접 전달받거나 혹은 저장부(220)에 저장되어 있는 카메라 영상 데이터를 이용하여 호모그라피를 계산한다(단계 S420).

호모그라피의 계산 과정에 대해서는 도 5에 상세하게 도시되어 있다.

공차 보정부(230)는 카메라 영상 데이터에서 타원을 추출한다(단계 S510). 이는 원형 패턴이 촬영될 경우, 수직 상방에서 촬영한 경우를 제외하고는 타원 형태로 나타나기 때문이다. 도 7을 참조하면, 영상 데이터에서 찾아진 타원이 흰색으로 표시되어 있다.

카메라 영상 데이터에서 타원을 추출하는 방법으로는 영상 분할(segmentation) 기법, 허프 변환(hough transform) 기법 등이 이용될 수 있다. 영상 분할 기법은 영상 내에서 특정 영역을 분리하는 기법이며, 허프 변환 기법은 영상 내의 특징을 추출하는 기법으로, 투표(voting) 기법을 이용하여 영상에서 직선이나 원 성분을 추출하게 된다. 영상에서 타원을 추출하는 기법은 당업자에게 자명한 사항이므로 이에 대한 상세한 설명은 생략하기로 한다.

다음으로 타원의 외곽을 추출한다(단계 S520). 도 8을 참조하면, 영상에서 추출된 타원의 외곽선이 도시되어 있다.

타원 외곽은 캐니(Canny), 소벨(soble), 프리윗(prewitt) 등과 같이 일반적으로 영상의 에지(edge)를 검출하는 방법을 사용하여 추출될 수 있다. 타원 외곽 추출 과정 역시 당업자에게 자명한 사항이므로 이에 대한 상세한 설명은 생략하기로 한다.

다음으로 차량에 설치된 카메라의 영상에는 카메라의 내부 변수(intrinsic parameter)에 의한 왜곡이 존재하므로, 왜곡 보정을 수행하여(단계 S530) 추출된 타원의 외곽 좌표를 왜곡이 없는 영상의 좌표로 변환한다. 카메라의 내부 변수로는 렌즈의 형상에 의한 렌즈 왜곡(lens distortion)이 있을 수 있으며, 이는 테일러 급수로 표현이 가능하다. 또 다른 내부 변수로는 CCD 패널과 렌즈 중심까지의 거리를 의미하는 초점 거리(focal length)과, CCD 패널에 상이 맺힐 때 실제 영상의 중심점을 의미하는 이미지 중심(image center)이 있을 수 있다.

카메라 내부 변수에 의한 왜곡 계수는 카메라마다 미리 계산되어 있을 수 있으며, 이러한 카메라 내부 변수에 의한 왜곡 보정 전후 타원의 외곽 좌표가 도 9에 도시되어 있다. 빨간색이 왜곡 보정 전 타원의 외곽 좌표이고, 파란색이 왜곡 보전 후 타원의 외곽 좌표이다.

도 8과 비교할 때 타원의 크기 및 형상이 달라 보이는 것은 도 8의 영상에서는 기준점이 되는 왼쪽 모서리 위가 (0, 0)인데 비해, 도 9에서는 왼쪽 모서리 아래가 (0, 0)이기 때문이다. 또한, 그 범위도 Y축 기준으로 도 8에서는 0~480인데, 도 9에서는 270~370으로 표현되었기 때문이다.

다음으로 타원 외곽 좌표에 기초하여 타원 방정식을 산출한다(단계 S540). 타원 방정식을 산출하는 방법으로는 ellipsefit과 같이 영상의 에지 정보를 이용하여 해당 영역의 외곽(contour) 정보를 이용하여 외곽에 가장 잘 맞는 타원을 계산하는 방법으로 SVD 혹은 RANSAC 알고리즘 등이 이용될 수 있다. 타원 방정식 산출 방법 역시 당업자에게 자명한 사항이므로 이에 대한 상세한 설명은 생략하기로 한다.

타원 방정식을 이용하여 세계좌표와 영상 사이의 호모그라피를 산출한다(단계 S550). 호모그라피 산출 과정에 대해 보다 상세히 설명하면 다음과 같다.

동차좌표(homogeneous coordinates)에서 모든 원은 다음과 같이 표현된다.

[수학식 1]

여기서, (x, y, w)는 동차좌표, (a, b, 1)은 원의 중심, r은 원의 반지름이다.

그러면 (1, i, 0)^T와 (1,- i, 0)^T는 a, b, r에 상관없이 항상 위 수학식 1을 만족하므로, 모든 원에 포함되어 있는 점이 된다. 따라서, 이 두 점은 복소평면 상에서 임의의 두 원이 교차하는 점이고, 이 점을 서큘러 포인트(circular point)라 한다.

따라서, 영상에서 타원 형태로 나타나는 원은 항상 서큘러 포인트인 I와 J에서 교점을 가진다.

I와 J는 다음과 같은 좌표로 표현된다. I = (1, i, 0)^T, J = (1,- i, 0)^T. 여기서, 여기서, i는

이다.

세계좌표와 촬영된 영상 사이에는 호모그라피 H와 H^-1가 존재하고, H와 H^-1은 다음과 같이 S, A, P의 곱으로 나타낼 수 있다.

[수학식 2]

여기서, S는 유사성(similarity) 행렬, A는 아핀성(affinity) 행렬, P는 투영성(projectivity) 행렬을 나타낸다.

여기서,

,

로 표현된다.

와

는 아핀성 변환의 계수로, 다음과 같이 계산된다.

여기서 ㅣ=(

,

) 은 소실선(vanishing line)이다.

[수학식 3]

여기서,

는 회전각(rotational angle),

는 앙각(elevation angle)이다.

는 서큘러 포인트의 변환에 영향을 주지 않으므로 생략가능하다. 여기서, s는 스케일(scale), r₁~r₄는 회전, t_x, t_y는 이동량을 나타낸다.

서큘러 포인트 I와 J는 임의의 두 원이 만나는 점이고, 따라서 영상에서 만나는 점도 서큘러 포인트 I와 J가 변환된 점인 HI와 HJ이므로, 다음과 같이 표현된다.

[수학식 4]

HJ는 HI의 켤레복소수이다. 영상에 나타나는 타원들은 모두 영상 위의 두점 HI와 HJ에서 교점을 가진다.

편의상 2개의 타원을 이용하면 두 타원은 아래와 같은 식으로 표현할 수 있다.

[수학식 5]

수학식 5의 두 타원의 교점을 구해, 앞에서 언급한 HI에 대입하면 P^-1과 A^-1을 구할 수 있고, 영상에서 탑뷰 영상으로의 호모그라피 H를 구할 수 있다.

이 경우 촬영된 원형 패턴의 지름을 알고 있으면, S^-1의 s(스케일)도 알 수 있다.

다시 도 4를 참조하면, 전술한 것과 같이 호모그라피 H를 산출한 경우 다음 과정을 통해 세계좌표에 존재하는 카메라의 위치를 추정할 수 있다(단계 S430).

세계좌표 X와 영상좌표 x 사이에는 서로를 맵핑(mapping) 시켜주는 투영 행렬(projection matrix) P가 존재한다. 이를 식으로 나타내면 아래와 같다.

[수학식 6]

여기서, P는 세계좌표를 카메라 영상 데이터의 영상좌표로 변환시켜주는 행렬을 의미하며, 수학식 7과 같이 카메라의 내부 변수 K와 세계좌표와 카메라 좌표 사이의 회전 변환인 R, 세계좌표에 카메라 좌표 사이의 이동량인 C로 표현이 가능하다. 여기서, 내부 변수 K로는 X축 방향으로의 스케일 팩터(scale factor), Y축 방향으로의 스케일 팩터, 스큐(skew), 주점(principal point) 위치 등이 포함될 수 있다.

[수학식 7]

여기서, 호모그라피 H는 탑뷰 영상(2차원 영상)과 카메라 영상 데이터 간의 변환행렬이므로 Z축 변환이 없기에 P에서 r₃가 제외된 특수한 경우로 볼 수 있고, 다음과 같이 표현될 수 있다.

[수학식 8]

이때 r₃는 r₁과 r₂의 외적으로 구할 수 있으므로,

의 관계를 가진다.

이 관계를 이용하여 r₃를 유추함으로써 P를 유추할 수 있다. P에서 K와 R을 알고 있으므로, 앞서 구한 호모그라피 H와 미리 알고 있는 K를 이용하여 세계좌표에서 카메라가 위치하는

를 유추할 수 있게 된다.

다음으로는 영상 합성부(240)에서 앞서 추정한 카메라 위치 정보와 패턴 정보를 이용하여 카메라 영상 데이터를 탑뷰 영상으로 변환하고, 전방, 후방, 좌측 및 우측의 탑뷰 영상을 합성하여 AVM 영상 데이터를 생성할 수 있다(단계 S440).

여기서, 탑뷰 영상의 합성 과정에서 제2 원형 패턴(321, 323, 325, 327)으로부터 추출된 타원에 관한 패턴 정보의 해석을 통해 좌우측 영역의 탑뷰 영상의 수평을 맞추고, 이후 전후방 영역의 탑뷰 영상을 맞추어 줄 수 있다.

도 10을 참조하면 단계 S420에서 계산한 호모그라피를 이용하여 재구성한 탑뷰 영상이 도시되어 있고, 도 11을 참조하면 단계 S430에서 추정한 카메라 위치가 빨간색 *로 표시되어 있다.

상술한 본 발명에 따른 AVM 시스템에서 탑뷰를 생성하고 외부 변수를 추정하는 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

또한, 상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100: 차량 110a, 110b, 110c, 110d: 카메라
200: AVM 시스템 210: 영상 입력부
220: 저장부 230: 공차 보정부
240: 영상 합성부 250: 디스플레이부
311, 313, 315, 317: 제1 원형 패턴
321, 323, 325, 327: 제2 원형 패턴

Claims

차량에 설치된 카메라의 공차 보정 장치에 있어서,
상기 차량에 구비된 카메라가 촬영한 상기 차량의 주변에 배치된 공차 보정을 위한 원형 패턴에 대한 영상 신호를 각각의 카메라 영상 데이터로 변환하는 영상 입력부; 및
상기 카메라 영상 데이터에서 상기 원형 패턴에 상응하는 타원을 추출하고, 상기 타원과 상기 원형 패턴 사이의 상관관계를 이용하여 상기 카메라 영상 데이터와 탑뷰 영상 사이의 호모그라피(homography)를 산출하며, 상기 카메라의 외부 변수(extrinsic parameter)를 산출하여 세계좌표 상에서 상기 카메라의 위치를 추정하는 공차 보정부를 포함하되,
상기 공차 보정부는,
상기 카메라 영상 데이터에서 타원을 추출하는 단계;
상기 타원의 외곽을 추출하는 단계;
상기 카메라의 내부 변수에 의한 왜곡을 보정하는 단계;
왜곡 보정된 타원의 외곽 좌표에 기초하여 타원 방정식을 산출하는 단계;
상기 타원 방정식을 이용하여 세계좌표와 카메라 영상 데이터 사이의 호모그라피를 산출하는 단계를 수행하며,
상기 공차 보정부는 서큘러 포인트(circular point)가 변환된 상기 타원들의 교점을 구해 투영성 행렬의 역행렬 P^-1과 아핀성 행렬의 역행렬 A^-1을 구하고, 하기 수학식에 따라 호모그라피 H를 산출하는 것을 특징으로 하는 공차 보정 장치-
수학식은
이고,

이며,
는 회전각(rotational angle),
는 앙각(elevation angle)임-.
제1항에 있어서,
상기 카메라는 상기 차량의 전방, 우측, 좌측 및 후방에 설치되는 제1 카메라, 제2 카메라, 제3 카메라 및 제4 카메라를 포함하고,
상기 원형 패턴은 상기 카메라 중에서 서로 이웃하는 카메라의 화각이 중첩되는 구역 내의 임의의 위치에 놓여지도록 하는 위치 조건을 충족하도록 배치된 제1 원형 패턴을 포함하는 것을 특징으로 하는 공차 보정 장치.
제1항에 있어서,
상기 카메라는 상기 차량의 전방, 우측, 좌측 및 후방에 설치되는 제1 카메라, 제2 카메라, 제3 카메라 및 제4 카메라를 포함하고,
상기 원형 패턴은 적어도 둘 이상의 뷰에서 획득한 상기 카메라 영상 데이터에 포함되도록 배치된 제1 원형 패턴을 포함하는 것을 특징으로 하는 공차 보정 장치.
삭제
삭제
제1항에 있어서,
상기 공차 보정부는 상기 세계좌표를 상기 카메라 영상 데이터의 영상좌표로 변환시켜주는 행렬 P와, 상기 카메라의 내부 변수 K와 세계좌표와 카메라 좌표 사이의 회전 변환인 R, 세계좌표에 카메라 좌표 사이의 이동량인 C 사이의 상관관계를 이용하여 호모그라피 H와 미리 알고 있는 K를 이용하여 세계좌표에서 카메라의 위치를 추정하는 것을 특징으로 하는 공차 보정 장치.
제2항 또는 제3항에 있어서,
상기 원형 패턴은 상기 차량의 좌우측 바퀴와 수평이 되도록 배치되는 제2 원형 패턴을 더 포함하는 공차 보정 장치.
차량에 설치된 카메라의 공차 보정 방법에 있어서,
영상 입력부에 의해 상기 차량에 구비된 카메라가 촬영한 상기 차량의 주변에 배치된 공차 보정을 위한 원형 패턴에 대한 영상 신호가 각각의 카메라 영상 데이터로 변환되는 단계;
상기 카메라 영상 데이터에서 상기 원형 패턴에 상응하는 타원을 추출하는 단계;
상기 타원과 상기 원형 패턴 사이의 상관관계를 이용하여 상기 카메라 영상 데이터와 탑뷰 영상 사이의 호모그라피(homography)를 산출하는 단계; 및
상기 카메라의 외부 변수(extrinsic parameter)를 산출하여 세계좌표 상에서 상기 카메라의 위치를 추정하는 단계를 포함하되,
상기 호모그라피 산출 단계는,
상기 타원의 외곽을 추출하는 단계;
상기 카메라의 내부 변수에 의한 왜곡을 보정하는 단계;
왜곡 보정된 타원의 외곽 좌표에 기초하여 타원 방정식을 산출하는 단계; 및
상기 타원 방정식을 이용하여 세계좌표와 카메라 영상 데이터 사이의 호모그라피를 산출하는 단계를 포함하며,
서큘러 포인트(circular point)가 변환된 상기 타원들의 교점을 구해 투영성 행렬의 역행렬 P^-1과 아핀성 행렬의 역행렬 A^-1을 구하고, 하기 수학식에 따라 호모그라피 H를 산출하는 것을 특징으로 하는 공차 보정 방법-
수학식은
이고,

이며,
는 회전각(rotational angle),
는 앙각(elevation angle)임-.
제8항에 있어서,
상기 카메라는 상기 차량의 전방, 우측, 좌측 및 후방에 설치되는 제1 카메라, 제2 카메라, 제3 카메라 및 제4 카메라를 포함하고,
상기 원형 패턴은 상기 카메라 중에서 서로 이웃하는 카메라의 화각이 중첩되는 구역 내의 임의의 위치에 놓여지도록 하는 위치 조건을 충족하도록 배치된 제1 원형 패턴을 포함하는 것을 특징으로 하는 공차 보정 방법.
제8항에 있어서,
상기 카메라는 상기 차량의 전방, 우측, 좌측 및 후방에 설치되는 제1 카메라, 제2 카메라, 제3 카메라 및 제4 카메라를 포함하고,
상기 원형 패턴은 적어도 둘 이상의 뷰에서 획득한 상기 카메라 영상 데이터에 포함되도록 배치된 제1 원형 패턴을 포함하는 것을 특징으로 하는 공차 보정 방법.
삭제
삭제
제8항에 있어서,
상기 카메라 위치 추정 단계는,
상기 세계좌표를 상기 카메라 영상 데이터의 영상좌표로 변환시켜주는 행렬 P와, 상기 카메라의 내부 변수 K와 세계좌표와 카메라 좌표 사이의 회전 변환인 R, 세계좌표에 카메라 좌표 사이의 이동량인 C 사이의 상관관계를 이용하여 호모그라피 H와 미리 알고 있는 K를 이용하여 세계좌표에서 카메라의 위치를 추정하는 것을 특징으로 하는 공차 보정 방법.
제9항 또는 제10항에 있어서,
상기 원형 패턴은 상기 차량의 좌우측 바퀴와 수평이 되도록 배치되는 제2 원형 패턴을 더 포함하는 공차 보정 방법.
제8항 내지 제10항, 제13항 중 어느 한 항의 방법을 수행하기 위한 프로그램이 컴퓨터가 읽을 수 있도록 기록된 기록 매체.