KR20140007212A - 후방 카메라의 영상 왜곡 보정 장치 및 방법 - Google Patents

Abstract

본 발명은 후방 카메라의 영상 왜곡 보정 장치 및 방법에 관한 것으로, 후방 카메라의 영상 왜곡 보정 장치는 차량 후면에 부착된 카메라의 특성을 분석하여 카메라의 특성값으로부터 카메라에 대응하는 가상 카메라의 촬영 영역별 틸팅(tilting) 각도를 설정하는 틸팅 각도 설정부, 가상 카메라의 촬영 영역별 틸팅 각도를 적용하여 보정 모델을 생성하는 보정 모델 생성부, 보정 모델에 근거하여 가상 카메라를 틸팅하며, 카메라를 통해 촬영된 촬영 영상을 가상 카메라의 촬영 영역별로 설정된 틸팅 각도에 따라 뷰 변환하여 보정 영상을 생성하는 영상 보정부, 및 영상 보정부에 의해 생성된 보정 영상을 출력하는 영상 출력부를 포함한다.

Description

후방 카메라의 영상 왜곡 보정 장치 및 방법{Apparatus and method for correcting image distortion of rear camera}

본 발명은 후방 카메라의 영상 왜곡 보정 장치 및 방법에 관한 것으로, 더욱 상세하게는 후방 카메라의 특성값에 따라 복수의 촬영 영역별로 설정한 가상 카메라의 틸팅(tilting) 각도를 적용하여 영상 보정을 위한 보정 모델을 생성하고, 보정 모델에 근거하여 후방 카메라의 촬영 영상에 대한 왜곡을 보정하는 장치 및 방법에 관한 것이다.

자동차의 후방 카메라는 운전자가 눈으로 확인하기 힘든 후방 영역에 대한 영상을 제공한다. 특히, 후방 카메라는 큰 화각을 갖는 광각렌즈나 어안렌즈(fish-eye lens)를 이용하여 보다 넓은 영역을 포함하는 정보를 운전자에게 사용자에게 제공한다. 여기서, 광각렌즈는 표준 렌즈보다 초점 거리가 짧고, 60°에서 120°정도의 화각을 가지며, 어안렌즈(fish-eye lens)는 초광각렌즈로서 180°또는 그 이상의 화각을 가진다. 특히, 어안렌즈는 의도적으로 통모양의 왜곡을 생기게 하여 180°이상의 화각 전면에 걸쳐 균일한 밝기와 선예도를 유지할 수 있게 만든 렌즈로서, 렌즈 중심점부의 피사체는 극단적으로 크게 찍히고 주변의 것은 아주 작게 찍히게 된다. 즉, 어안 렌즈는 광역의 영상을 획득할 수 있으며, 자동차의 경우 어안렌즈의 큰 화각은 운전자에게 보다 많은 차량 후방의 정보를 제공할 수 있다. 또한, 어안렌즈를 영상폰에 적용할 경우 짧은 거리에서 넓은 시야각을 확보할 수 있다.

그러나, 광각렌즈 또는 어안렌즈를 장착한 후방 카메라를 통해 촬영된 영상의 경우, 영상의 왜곡이 심하며, 특히 영상의 중심부에서 외곽으로 갈수록 왜곡 정도가 심해진다. 따라서, 후방 카메라를 통해 제공되는 왜곡된 영상은 운전자의 현실감을 저하시키고, 이로 인해 운전자는 차량 후방의 상황을 정확하게 인식하지 못하는 문제가 발생하게 된다.

이러한 렌즈 왜곡을 보정하기 위한 방법은 물리적 보정 방법으로 렌즈 왜곡을 보정하기 위한 보정렌즈를 추가로 설치하거나, 소프트웨어적으로 왜곡된 영상을 보정하는 방법이 있다. 여기서 물리적 보정 방법은 보정 렌즈를 추가하여야 한다는 점에서 카메라의 제조 비용을 상승시키는 단점이 있어 소프트웨어적인 보정이 주로 이용되고 있다.

종래 기술에 따르면, 그리드 형태의 테스트 패턴을 선택하고 이미지가 왜곡되지 않게 표시될 때까지 카메라의 왜곡 보정 계수를 수동으로 보정할 수 있었다. 즉, 이미지의 중심에서 테스트 이미지의 코너를 방사상으로 드래깅하여 이미지의 윤곽을 변형시키고 이미지의 내용을 보정하는 것을 왜곡이 없어지는 지점까지 반복하도록 하였다. 다른 종래 기술에 따르면, 임의의 영상을 입력 받아 영상의 렌즈 왜곡 변수(k)의 범위를 증감시키면서 가장 작은 대표값을 가지는 k를 렌즈 왜곡 변수로 설정하여, 왜곡된 원영상으로부터 왜곡 보정된 영상을 획득하도록 하였다.

그러나, 종래의 디지털 이미지의 기하학적 왜곡 보정에 따른 기술은, 테스트 패턴 또는 임의의 영상으로 이미지가 왜곡되지 않게 표시될 때까지 운전자가 화면상에서 조작하거나 선택해야하므로, 운전자가 왜곡 보정 상수를 수동으로 보정해야 하는 번거로움이 있으며, 운전자의 선택 기준에 따라 이미지의 기하학적 왜곡 보정의 수준이 변하는 문제점이 있었다.

본 발명의 목적은, 후방 카메라를 통해 촬영된 영상의 광학특성과 후방 카메라의 장착특성에 따른 카메라 특성값을 적용하여 영상 보정을 위한 보정 모델을 생성하고, 촬영 영상을 보정 모델에 적용하여 후방 카메라의 영상 왜곡을 보정하도록 하는 후방 카메라의 영상 왜곡 보정 장치 및 방법을 제공함에 있다.

본 발명의 다른 목적은, 후방 카메라에 대응하는 가상 카메라의 촬영 영역을 복수의 영역으로 분리하여 각 영역별로 틸팅 각도를 설정함으로써, 후방 카메라의 사각지대를 최소화하여 운전자의 가시영역을 확장시키는 후방 카메라의 영상 왜곡 보정 장치 및 방법을 제공함에 있다.

상기의 목적을 달성하기 위한 본 발명에 따른 후방 카메라의 영상 왜곡 보정 장치는, 차량 후면에 부착된 카메라의 특성을 분석하여 상기 카메라의 특성값으로부터 상기 카메라에 대응하는 가상 카메라의 촬영 영역별 틸팅(tilting) 각도를 설정하는 틸팅 각도 설정부, 상기 가상 카메라의 촬영 영역별 틸팅 각도를 적용하여 보정 모델을 생성하는 보정 모델 생성부, 상기 보정 모델에 근거하여 상기 가상 카메라를 틸팅하며, 상기 카메라를 통해 촬영된 촬영 영상을 상기 가상 카메라의 촬영 영역별로 설정된 틸팅 각도에 따라 뷰 변환하여 보정 영상을 생성하는 영상 보정부, 및 상기 영상 보정부에 의해 생성된 보정 영상을 출력하는 영상 출력부를 포함하는 것을 특징으로 한다.

상기 틸팅 각도는, 지평선에 수평한 방향을 0도로 하고, 지평선에서 상측 방향(-) 또는 하측 방향(+)으로 기울어진 각도인 것을 특징으로 한다.

상기 틸팅 각도 설정부는, 기 설정된 기준 각도를 기준으로, 상측의 고정 영역에 대해 틸팅 각도를 상기 기준 각도로 고정하고, 하측의 가변 영역에 대해 틸팅 각도를 상기 기준 각도에서 기 설정된 최대 각도의 범위 내에서 가변적으로 설정하는 것을 특징으로 한다.

상기 틸팅 각도 설정부는, 상기 가변 영역의 틸팅 각도 설정 시, 상기 가변 영역을 수직방향으로 복수 개의 영역으로 분류하여 상부 영역에서 하부 영역 순서로 틸팅 각도를 증가시키는 것을 특징으로 한다.

상기 보정 모델은, 상기 가상 카메라의 촬영 영역별로 구분된 형태를 가지며, 각 영역별로 대응하는 촬영 영역의 픽셀값 및 틸팅 각도 중 적어도 하나의 설정값이 저장되는 것을 특징으로 한다.

상기 카메라의 특성값은, 상기 카메라가 배치된 위치 및 촬영 방향, 상기 카메라의 렌즈에 대한 초점거리, 화각 및 광학 중심점 중 적어도 하나를 포함하는 것을 특징으로 한다.

한편, 상기의 목적을 달성하기 위한 본 발명에 따른 후방 카메라의 영상 왜곡 보정 방법은, 차량 후면에 부착된 카메라의 특성을 분석하여 상기 카메라의 특성값으로부터 상기 카메라에 대응하는 가상 카메라의 촬영 영역별 틸팅(tilting) 각도를 설정하는 단계, 상기 가상 카메라의 촬영 영역별 틸팅 각도를 적용하여 보정 모델을 생성하는 단계, 상기 보정 모델에 근거하여 상기 가상 카메라를 틸팅하며, 상기 카메라를 통해 촬영된 촬영 영상을 상기 가상 카메라의 촬영 영역별로 설정된 틸팅 각도에 따라 뷰 변환하여 보정 영상을 생성하는 단계, 및 상기 보정 영상을 생성하는 단계에서 생성된 보정 영상을 출력하는 단계를 포함하는 것을 특징으로 한다.

상기 틸팅 각도는, 지평선에 수평한 방향을 0도로 하고, 지평선에서 상측(-) 방향 또는 하측(+) 방향으로 기울어진 각도인 것을 특징으로 한다.

상기 틸팅 각도를 설정하는 단계는, 기 설정된 기준 각도를 기준으로, 상측의 고정 영역에 대해 틸팅 각도를 상기 기준 각도로 고정하고, 하측의 가변 영역에 대해 틸팅 각도를 상기 기준 각도에서 기 설정된 최대 각도의 범위 내에서 가변적으로 설정하는 것을 특징으로 한다.

상기 틸팅 각도를 설정하는 단계는, 상기 가변 영역의 틸팅 각도 설정 시, 상기 가변 영역을 수직방향으로 복수 개의 영역으로 분류하여 상부 영역에서 하부 영역 순서로 틸팅 각도를 증가시키는 것을 특징으로 한다.

본 발명에 따르면, 후방 카메라를 통해 촬영된 영상의 광학특성과 후방 카메라의 장착특성에 따른 카메라 특성값을 적용하여 영상 보정을 위한 보정 모델을 생성함으로써, 촬영 영상을 보정 모델에 적용하는 것으로 촬영 영상의 왜곡을 용이하게 보정할 수 있는 이점이 있다.

또한, 본 발명은, 후방 카메라에 대응하는 가상 카메라의 촬영 영역을 복수의 영역으로 분류하여 각 영역별로 틸팅 각도를 설정하고, 설정된 틸팅 각도에 따라 각 영역별로 가상 카메라를 틸팅함으로써, 수평방향의 지평선 또는 수평선이나 수평방향의 선 성분에 대한 휘어짐을 보정함으로 인해 수직물의 왜곡을 최소화하고, 원본 영상의 외곽 부분의 시야가 넓어져 사각영역을 최소화할 수 있는 이점이 있다.

도 1은 본 발명에 따른 후방 카메라의 영상 왜곡 보정 기법을 도시한 도이다.
도 1은 본 발명에 따른 후방 카메라의 영상 왜곡 보정 장치의 구성을 설명하는데 참조되는 블록도이다.
도 2는 본 발명에 따른 후방 카메라의 특성값을 추출하는 동작 설명에 참조되는 예시도이다.
도 3은 본 발명에 따른 보정 모델에 대한 실시예를 도시한 예시도이다.
도 4는 본 발명에 따른 보정 모델을 적용하여 촬영 영상을 뷰 변환하는 실시예를 도시한 예시도이다.
도 5 및 도 6은 본 발명에 따른 보정 모델을 적용하여 촬영 영상의 왜곡을 보정하는 실시예를 도시한 예시도이다.
도 7은 본 발명에 따른 후방 카메라의 영상 왜곡 보정 방법에 대한 동작 흐름을 도시한 순서도이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하도록 한다.

도 1은 본 발명에 따른 후방 카메라의 영상 왜곡 보정 장치의 구성을 설명하는데 참조되는 블록도이다.

도 1을 참조하면, 본 발명에 따른 후방 카메라의 영상 왜곡 보정 장치(이하, '영상 왜곡 보정 장치'라 칭한다)(10)는, 제어부(11), 영상 입력부(12), 영상 출력부(13), 저장부(14), 카메라 특성 추출부(15), 틸팅 각도 설정부(16), 보정 모델 생성부(17), 및 영상 보정부(18)를 포함한다. 여기서, 제어부(11)는 영상 왜곡 보정 장치(10)의 각 부의 동작을 제어한다.

영상 입력부(12)는 차량의 후면에 배치된 카메라, 즉, 후방 카메라(1)와 연결되어, 후방 카메라(1)를 통해 촬영되는 영상을 실시간으로 입력 받는다. 이때, 영상 입력부(12)를 통해 입력되는 영상은 후방 카메라(1)를 통해 촬영된 원본 영상이다.

영상 출력부(13)는 차량에 구비된 모니터, 내비게이션 등의 디스플레이 수단(5)과 연결되어, 영상 보정부(18)에 의해 최종 생성된 보정 영상을 디스플레이 수단(5)으로 출력한다.

저장부(14)는 차량에 장착된 후방 카메라(1)의 특성 정보, 영상 왜곡을 보정하기 위한 보정 계수 및 설정값 등이 저장된다. 또한, 저장부(14)에는 보정 모델 생성부(17)에 의해 생성된 보정 모델이 저장된다.

카메라 특성 추출부(15)는 기 설정된 수학적 모델을 기반으로 차량 후면에 부착된 카메라의 특성을 분석하여, 해당 카메라에 대한 카메라의 특성값을 추출한다.

여기서, 카메라 특성 추출부(15)는 해당 카메라에 대한 특성값을 추출함에 있어서, 카메라의 장착 특성(예를 들어, 카메라 장착 위치 및 촬영 방향에 대한 방향좌표(x,y,z) 등) 및 광학 특성(예를 들어, 후방 카메라의 렌즈 화각, 초점 거리 및 광학 중심점 등)을 고려하여 카메라의 특성값을 추출한다. 이때 추출된 카메라의 특성값은 카메라에 대응하는 가상 카메라를 생성하는데 이용되며, 가상 카메라의 촬영 영역별 틸팅 각도를 설정하는데 이용된다.

틸팅 각도 설정부(16)는 카메라 특성 추출부(15)에서 추출된 카메라의 특성값을 적용하여 가상 카메라의 촬영 영역별로 틸팅 각도를 설정한다.

여기서, 가상 카메라의 촬영 영역은 기 설정된 기준 각도를 기준으로, 상측의 고정 영역과 하측의 가변 영역으로 구분할 수 있으며, 가변 영역은 다시 복수 개의 영역으로 구분할 수 있다. 한편, 틸팅 각도는 지평선에 수평한 방향을 0도로 하고, 지평선에서 상측 방향(-) 또는 하측 방향(+)으로 기울어진 각도이다.

이때, 틸팅 각도 설정부(16)는 고정 영역의 틸팅 각도를 기 설정된 기준 각도로 고정되도록 설정하고, 가변 영역의 틸팅 각도를 기준 각도 내지 기 설정된 최대 각도의 범위 내에서 가변적으로 설정한다. 여기서, 기준 각도는 -10도 내지 5도 사이에서 어느 하나의 각도로 설정되는 것이 바람직하나, 이에 한정되는 것은 아니다. 다만, 이하의 실시예에서는 기준 각도가 0도인 것을 예로 하여 설명한다.

이 경우, 가상 카메라의 촬영 영역 중 상측에 해당하는 고정 영역의 틸팅 각도는 기준 각도로 고정되기 때문에, 촬영 영상 상의 수직물의 왜곡을 최소화할 수 있으며 수평방향의 선 성분에 대한 휘어짐을 최소화하고, 외곽 부분의 시야가 넓어지게 된다.

틸팅 각도 설정부(16)는 가변 영역의 틸팅 각도를 설정함에 있어서, 복수 개의 영역으로 구분된 가변 영역에 대해 상부 영역에서 하부 영역 순서로 틸팅 각도를 증가시키도록 한다. 따라서, 가상 카메라의 촬영 영역 중 하측에 해당하는 가변 영역은 하부 영역으로 갈 수록 틸팅 각도가 커지기 때문에 짧은 거리에서 넓은 시야각을 확보할 수 있게 된다.

일 예로서, 기준 각도가 0도이고, 가변 영역이 세 개의 영역으로 구분된 상태에서 최상위 영역은 1영역, 그 아래 영역은 2영역, 그리고 최하위 영역은 3영역이라고 가정하면, 고정 영역의 틸팅 각도는 기준 각도인 0도로 고정되고, 가변 영역에서 1영역은 5도, 2영역은 11도, 그리고 3영역은 18도로 설정될 수 있다. 물론, 최대 각도는 18도 이상이며, 틸팅 각도는 차량의 후방에 구비된 카메라의 특성값에 따라 달라질 수 있다.`

보정 모델 생성부(17)는 틸팅 각도 설정부(16)에 의해 설정된 촬영 영역별 틸팅 각도에 대응하여 보정 모델을 생성한다. 여기서, 고정 영역의 틸팅 각도는 기준 각도인 0도로 고정되고, 가변 영역은 하측으로 갈 수록 틸팅 각도가 커지기 때문에, 보정 모델은 하측이 구부러진 실린더 형태를 갖는다. 만일, 기준 각도가 0도 미만인 경우, 보정 모델은 하측뿐만 아니라 상측도 함께 구부러진 실린더 형태가 될 수도 있다. 보정 모델에 대한 구체적인 실시예는 도 3을 참조하도록 한다.

영상 보정부(18)는 후방 카메라(1)를 통해 촬영된 촬영 영상을 보정 모델 생성부(17)에 의해 생성된 보정 모델에 적용하여 촬영 영상의 뷰를 변환하고, 뷰 변환된 보정 영상을 생성한다. 이때, 영상 보정부(18)는 보정 모델에 근거하여 후방 카메라(1)에 대응하여 생성된 가상 카메라를 제어하고, 영상 보정부(18)의 제어에 의해 가상 카메라는 각각의 촬영 영역별로 설정된 틸팅 각도에 따라 틸팅함으로써 촬영 영역별로 뷰 변환된 보정 영상을 획득한다.

일 예로서, 기준 각도가 0도이고, 최대 각도가 25도인 것으로 가정했을 때 후방 카메라(1)를 통해 촬영된 촬영 영상이 수직 방향으로 6개의 영역으로 구분된 상태에서, 가상 카메라는 1, 2 영역에 대해서는 틸팅 각도를 0도로 하여 뷰 변환하고, 3 영역에 대해서는 틸팅 각도를 5도로 하여 뷰 변환하고, 4 영역에 대해서는 틸팅 각도를 11도로 하여 뷰 변환하고, 5 영역에 대해서는 틸팅 각도를 17도로 하여 뷰 변환하고, 6 영역에 대해서는 틸팅 각도를 25도로 하여 뷰 변환한다. 따라서, 영상 보정부(18)는 1 내지 6 영역에 대해 각각 뷰 변환된 보정 영상을 획득하게 된다.

영상 보정부(18)에서 획득된 보정 영상은 영상 출력부(13)를 통해 자동차의 디스플레이 수단(5)으로 출력되게 되며, 운전자는 영상 출력부(13)를 통해 디스플레이 된 보정 영상을 확인함으로써 차량 후방의 상태를 정확하게 파악할 수 있게 된다.

도 2는 본 발명에 따른 후방 카메라의 특성값을 추출하는 동작 설명에 참조되는 예시도이다.

도 2를 참조하면, (a)는 자동차의 후면에 장착되는 후방 카메라를 나타낸 것이다. 이때, 영상 왜곡 보정 장치는 (a)의 후방 카메라를 (b)에 도시된 수학적 모델을 기반으로 하여 (c)와 같이 카메라의 장착 위치 및 자세 정보에 따른 특성을 분석한다. 또한, 영상 왜곡 보정 장치는 (d)와 같이 광각 카메라의 센서 및 렌즈에 대한 특성을 분석한다.

영상 왜곡 보정 장치는 (c)와 (d)의 분석 결과를 토대로 하여 (e)와 같이 해당 카메라의 특성값을 추출한다. 여기서, 카메라의 장착 위치 및 자세 정보에 따른 특성값은 좌표 정보 (x, y, z) 및 촬영 방향 정보 등을 포함할 수 있으며, 카메라의 센서 및 렌즈에 대한 특성은 렌즈 화각, 초점 거리 및 광학 중심점 정보 등을 포함할 수 있다.

도 3은 본 발명에 따른 보정 모델의 실시예를 도시한 예시도이다.

도 3을 참조하면, 보정 모델은 실린더형 모델로, 기준 각도가 0도로 설정되어 하측이 구부러진 형태를 갖는다. 다시 말해, 영상 왜곡 보정 장치는 가상 카메라의 촬영 영역별로 틸팅 각도를 설정하는데, 고정 영역은 틸팅 각도를 기준 각도인 0도로 설정하고, 가변 영역은 0도에서 기 설정된 최대 각도인 α 사이에서 가변적으로 설정한다.

이때, 가변 영역은 다시 복수 개의 영역으로 구분하여 각 영역별로 다른 틸팅 각도를 설정할 수 있는데, 상부에서 하부 방향으로 갈수록 틸팅 각도를 크게 설정한다. 일 예로서, 최대 각도인 α가 25도인 것으로 가정하였을 때, 가변 영역을 네 개의 촬영 영역으로 구분하여, 상부에서 하부 방향으로 1 영역의 틸팅 각도는 0도, 2 영역의 틸팅 각도는 5도, 3 영역의 틸팅 각도는 15도, 그리고 4 영역의 틸팅 각도는 25도로 설정할 수 있다. 따라서, 보정 모델은 하측으로 갈수록 점점 기울기가 커지기 때문에, 하측이 구부러진 실린더 형태를 갖게 된다. 물론, 앞서 설명한 바와 같이 기준 각도가 0도 미만인 경우, 보정 모델은 하측뿐만 아니라 상측도 함께 구부러진 실린더 형태가 될 수도 있다.

보정 모델은 가상 카메라의 촬영 영역별로 구분된 형태를 가지며, 각 영역별로 대응하는 촬영 영역의 픽셀값, 틸팅 각도 등의 설정값이 저장된다.

도 4는 도 3의 보정 모델을 적용하여 촬영 영역별 뷰 변환 동작에 대한 실시예를 나타낸 것이다.

도 4를 참조하면, 영상 왜곡 보정 장치는 후방 카메라를 통해 영상이 촬영되면, 도 3의 보정 모델(M)에 근거하여 가상 카메라를 틸팅하며 촬영 영상을 영역별로 뷰 변환한다.

일 예로서, 가변 영역 중 상부에서 하부 방향으로 1 영역의 틸팅 각도는 0도, 2 영역의 틸팅 각도는 5도, 3 영역의 틸팅 각도는 15도, 그리고 4 영역의 틸팅 각도는 25도로 설정된 것으로 가정하면, 가상 카메라는 보정 모델(M)에 근거하여 촬영 영상 중 고정 영역에 해당하는 영역의 영상을 기울기가 0도가 되도록 뷰 변환한다.

한편, 가상 카메라는 보정 모델(M)에 근거하여 촬영 영상에서 가변 영역의 1 영역에 해당하는 영상을 기울기가 0도가 되도록 뷰 변환한다. 또한, 가상 카메라는 보정 모델(M)에 근거하여 촬영 영상에서 가변 영역의 2 영역에 해당하는 영역의 영상을 기울기가 5도가 되도록 뷰 변환하고, 가변 영역의 3 영역에 해당하는 영역의 영상을 기울기가 15도가 되도록 뷰 변환한다. 또한, 가상 카메라는 보정 모델(M)에 근거하여 촬영 영상에서 가변 영역의 4 영역에 해당하는 영역의 영상을 기울기가 25도가 되도록 뷰 변환한다.

따라서, 영상 왜곡 보정 장치는 촬영 영상에 대하여 고정 영역, 가변 영역의 1 영역, 2 영역, 3 영역 및 4 영역에서 뷰 변환된 최종 영상을 보정 영상으로서 획득하게 된다.

도 5 및 도 6은 본 발명에 따른 보정 모델을 적용하여 촬영 영상의 왜곡을 보정하는 실시예를 도시한 예시도이다.

도 5 및 도 6을 참조하면, (a)는 후방 카메라를 통해 촬영된 원본 영상이고, (b)는 원본 영상에 대한 보정 영상이다. 여기서, 도 5는 보정 영상의 세부 보정 항목을 나타낸 것이다.

도 5 및 도 6의 (a)와 같이, 원본 영상 내의 수직 물체(예를 들어, 사람, 안전대, 삼각대 등)는 지표면 혹은 바닥면을 기준으로 수직하게 서있는 것이 정상이나, 광각렌즈의 특성상 원본 영상에서는 사람이 지평면 혹은 바닥면에 수직하게 서 있는 것이 아니라 기울어진 상태로 휘어져 표시된다. 마찬가지로, 지표면의 경계선, 즉, 지평선은 수평방향으로 직선을 이루고 있는 것이 정상이나, 중심부에서 좌우 측면으로 진행될수록 휘어진 상태로 표시된다.

이 경우, 중심부는 시야가 확보되지만, 좌측 및 우측 끝단은 시야가 좁아져 운전자가 정확한 상태를 확인할 수 없게 된다. 따라서, 영상 왜곡 보정 장치는 도 5 및 도 6의 (a)와 같은 원본 영상에서 발생하는 문제를 해결하고자, 원본 영상의 수직 물체, 지평선 등의 형상 및 위치를 보정하기 위한 보정 모델을 생성한다.

이를 위해, 영상 왜곡 보정 장치는 후방 카메라에 대응하는 가상 카메라의 촬영 영역을 복수 개의 영역으로 분류하고, 후방 카메라의 특성값, 즉, 위치 및 자세에 의한 특성값과 광학 특성값 등에 근거하여 각 촬영 영역별로 틸팅하기 위한 각도를 설정한다. 이때, 영상 왜곡 보정 장치는 가상 카메라의 촬영 영역별로 설정된 틸팅 각도에 근거하여 보정 모델을 생성하도록 한다.

결국, 영상 왜곡 보정 장치는 보정 모델에 따라 후방 카메라에 대응하는 가상 카메라를 틸팅하며 원본 영상을 각 촬영 영역별로 뷰 변환함으로써 도 5및 도 6의 (b)와 같이 왜곡이 보정된 영상을 획득하게 된다.

이때, 영상 왜곡 보정 장치는 보정 모델에서 가상 카메라의 촬영 영역별로 틸팅 각도를 다르게 설정, 구체적으로 고정 영역은 틸팅 각도를 기준 각도로 고정되도록 설정함으로써, 고정 영역에 대해서 원본 영상에 비해 수직물과 지평선 등의 기울어짐 및 휘어짐 등을 보완한 보정 영상을 획득하게 된다. 즉, 도 5의 (b)와 같이, 보정 영상에서는 ①과 같이 수직물, 즉, 사람이 수직하게 서 있는 형태로 보정되고, ②와 같이 지평선이 수평한 일직선 형태로 보정되었음을 확인할 수 있다.

또한, 영상 왜곡 보정 장치는 고정 영역의 틸팅 각도를 기준 각도로 고정되도록 설정하는 한편, 기준 각도를 기준으로 하측의 가변 영역에 대해서는 틸팅 각도를 기준 각도 내지 최대 각도 사이에서 가변적으로 설정하되, 아래 방향으로 갈 수록 틸팅 각도를 크게 함으로써 광학 카메라의 장점인 넓은 화각의 영상을 획득할 수 있도록 한다. 즉, 도 5의 (b)와 같이, 보정 영상에서는 ③과 같이 원본 영상에 비해 좌, 우측의 외곽 부분에 대한 시야가 넓어진 형태로 보정되었음을 확인할 수 있다. 이 경우, 운전자에게 보다 넓은 범위의 영상을 제공할 수 있어 사각지대를 최소화할 수 있게 된다.

따라서, 운전자는 도 5 및 도 6의 (b)에 도시된 보정 영상을 통해 후방 상황을 보다 정확하게 확인할 수 있다.

상기와 같이 구성되는 본 발명에 따른 후방 카메라의 영상 왜곡 보정 장치의 동작 흐름을 보다 상세히 설명하면 다음과 같다.

도 7은 본 발명에 따른 후방 카메라의 영상 왜곡 보정 방법에 대한 동작 흐름을 도시한 순서도이다.

도 7을 참조하면, 본 발명에 따른 후방 카메라의 영상 왜곡 보정 장치는, 기 설정된 수학적 모델을 기반으로 차량 후면에 부착된 카메라의 특성을 분석하여(S100), 후방 카메라에 대한 카메라의 특성값을 추출한다(S110). 이때, 'S100' 과정에서는 후방 카메라의 카메라 장착 위치 및 방향에 따른 장착 특성과, 광각 렌즈 및 센서 등의 장비에 대한 광학 특성을 분석한다. 따라서, 'S110' 과정에서 원본 영상에 대한 영역별 뷰 변환 각도 산출을 위한 카메라의 특성값을 추출한다.

이후, 영상 왜곡 보정 장치는 'S110' 과정에서 추출된 카메라 특성값들을 적용하여 후방 카메라에 대응하는 가상 카메라의 촬영 영역별 틸팅 각도를 설정한다(S120).

여기서, 가상 카메라의 촬영 영역별 틸팅 각도는 지평선에 수평한 방향을 0도로 하고, 지평선에서 상측(-) 방향 또는 하측(+) 방향으로 기울어진 각도를 말한다. 이때, 'S120' 과정은 가상 카메라의 촬영 영역을 기준 각도를 기준으로 고정 영역과 가변 영역으로 분류한 상태에서, 고정 영역의 틸팅 각도는 기준 각도, 가변 영역의 틸팅 각도는 기준 각도에서 기 설정된 최대 각도의 범위 내에서 가변적으로 설정한다. 더욱 상세하게, 가변 영역의 틸팅 각도 설정 시, 가변 영역을 수직방향으로 복수 개의 영역으로 분류하여 상부 영역에서 하부 영역 순서로 틸팅 각도를 증가시키도록 한다.

'S120' 과정에서 산출된 가상 카메라의 촬영 영역별 틸팅 각도를 적용하여 촬영 영상을 보정하기 위한 보정 모델을 생성한다(S130).

따라서, 영상 왜곡 보정 장치는 카메라의 촬영 영상을 'S130' 과정에서 생성된 보정 모델에 적용하여(S140), 촬영 영상의 왜곡을 보정한다(S140). 여기서, 'S150' 과정은 보정 모델에 근거하여 가상 카메라를 촬영 영역별로 틸팅하고, 가상 카메라의 틸팅에 의해 촬영 영상을 각 촬영 영역별로 뷰 변환하는 것으로서 촬영 영상을 보정하게 된다.

이후, 영상 왜곡 보정 장치는 'S150' 과정에서 획득된 보정 영상을 차량의 구비된 디스플레이 수단 등을 통해 출력한다(S160).

도 7에는 도시하지 않았으나, 영상 왜곡 보정 장치는 'S150' 과정에서 촬영 영상의 왜곡을 보정하는 경우에 발생하는 이질감을 보상하기 위한 보상 모델을 추가로 생성하고, 보정 영상을 보상 모델에 적용함으로써 최종 출력 영상을 생성할 수도 있다.

이상과 같이 본 발명에 의한 후방 카메라의 영상 왜곡 보정 장치 및 방법은 예시된 도면을 참조로 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않고, 기술사상이 보호되는 범위 이내에서 응용될 수 있다.

1: 후방 카메라 5: 디스플레이 수단
10: 영상 왜곡 보정 장치 11: 제어부
12: 영상 입력부 13: 영상 출력부
14: 저장부 15: 카메라 특성 추출부
16: 틸팅 각도 설정부 17: 보정 모델 생성부
18: 영상 보정부 M: 보정 모델

Claims (10)

1. 차량 후면에 부착된 카메라의 특성을 분석하여 상기 카메라의 특성값으로부터 상기 카메라에 대응하는 가상 카메라의 촬영 영역별 틸팅(tilting) 각도를 설정하는 틸팅 각도 설정부;
   상기 가상 카메라의 촬영 영역별 틸팅 각도를 적용하여 보정 모델을 생성하는 보정 모델 생성부;
   상기 보정 모델에 근거하여 상기 가상 카메라를 틸팅하며, 상기 카메라를 통해 촬영된 촬영 영상을 상기 가상 카메라의 촬영 영역별로 설정된 틸팅 각도에 따라 뷰 변환하여 보정 영상을 생성하는 영상 보정부; 및
   상기 영상 보정부에 의해 생성된 보정 영상을 출력하는 영상 출력부를 포함하는 것을 특징으로 하는 후방 카메라의 영상 왜곡 보정 장치.
2. 청구항 1에 있어서,
   상기 틸팅 각도는,
   지평선에 수평한 방향을 0도로 하고, 지평선에서 상측 방향(-) 또는 하측 방향(+)으로 기울어진 각도인 것을 특징으로 하는 것을 특징으로 하는 후방 카메라의 영상 왜곡 보정 장치.
3. 청구항 1에 있어서,
   상기 틸팅 각도 설정부는,
   기 설정된 기준 각도를 기준으로, 상측의 고정 영역에 대해 틸팅 각도를 상기 기준 각도로 고정하고, 하측의 가변 영역에 대해 틸팅 각도를 상기 기준 각도에서 기 설정된 최대 각도의 범위 내에서 가변적으로 설정하는 것을 특징으로 하는 후방 카메라의 영상 왜곡 보정 장치.
4. 청구항 3에 있어서,
   상기 틸팅 각도 설정부는,
   상기 가변 영역의 틸팅 각도 설정 시, 상기 가변 영역을 수직방향으로 복수 개의 영역으로 분류하여 상부 영역에서 하부 영역 순서로 틸팅 각도를 증가시키는 것을 특징으로 하는 후방 카메라의 영상 왜곡 보정 장치.
5. 청구항 1에 있어서,
   상기 보정 모델은,
   상기 가상 카메라의 촬영 영역별로 구분된 형태를 가지며, 각 영역별로 대응하는 촬영 영역의 픽셀값 및 틸팅 각도 중 적어도 하나의 설정값이 저장되는 것을 특징으로 하는 후방 카메라의 영상 왜곡 보정 장치.
6. 청구항 1에 있어서,
   상기 카메라의 특성값은,
   상기 카메라가 배치된 위치 및 촬영 방향, 상기 카메라의 렌즈에 대한 초점거리, 화각 및 광학 중심점 중 적어도 하나를 포함하는 것을 특징으로 하는 후방 카메라의 영상 왜곡 보정 장치.
7. 차량 후면에 부착된 카메라의 특성을 분석하여 상기 카메라의 특성값으로부터 상기 카메라에 대응하는 가상 카메라의 촬영 영역별 틸팅(tilting) 각도를 설정하는 단계;
   상기 가상 카메라의 촬영 영역별 틸팅 각도를 적용하여 보정 모델을 생성하는 단계;
   상기 보정 모델에 근거하여 상기 가상 카메라를 틸팅하며, 상기 카메라를 통해 촬영된 촬영 영상을 상기 가상 카메라의 촬영 영역별로 설정된 틸팅 각도에 따라 뷰 변환하여 보정 영상을 생성하는 단계; 및
   상기 보정 영상을 생성하는 단계에서 생성된 보정 영상을 출력하는 단계를 포함하는 것을 특징으로 하는 후방 카메라의 영상 왜곡 보정 방법.
8. 청구항 7에 있어서,
   상기 틸팅 각도는,
   지평선에 수평한 방향을 0도로 하고, 지평선에서 상측(-) 방향 또는 하측(+) 방향으로 기울어진 각도인 것을 특징으로 하는 것을 특징으로 하는 후방 카메라의 영상 왜곡 보정 방법.
9. 청구항 7에 있어서,
   상기 틸팅 각도를 설정하는 단계는,
   기 설정된 기준 각도를 기준으로, 상측의 고정 영역에 대해 틸팅 각도를 상기 기준 각도로 고정하고, 하측의 가변 영역에 대해 틸팅 각도를 상기 기준 각도에서 기 설정된 최대 각도의 범위 내에서 가변적으로 설정하는 것을 특징으로 하는 후방 카메라의 영상 왜곡 보정 방법.
10. 청구항 9에 있어서,
    상기 틸팅 각도를 설정하는 단계는,
    상기 가변 영역의 틸팅 각도 설정 시, 상기 가변 영역을 수직방향으로 복수 개의 영역으로 분류하여 상부 영역에서 하부 영역 순서로 틸팅 각도를 증가시키는 것을 특징으로 하는 후방 카메라의 영상 왜곡 보정 방법.

Images