KR101713244B1

KR101713244B1 - 왜곡된 영상정보를 보정하고 업데이트하는 영상신호 보정 처리장치

Info

Publication number: KR101713244B1
Application number: KR1020160146812A
Authority: KR
Inventors: 정공운
Original assignee: 서광항업 주식회사
Priority date: 2016-11-04
Filing date: 2016-11-04
Publication date: 2017-03-09

Abstract

본 발명은 영상신호 보정 처리장치에 관한 것으로, 보다 상세하게는 카메라로부터 획득한 영상을 통해 차량에 장착된 카메라의 장착 오차를 자동으로 보정하여 영상을 처리할 수 있는 왜곡된 영상정보를 보정하고 업데이트하는 영상신호 보정 처리장치에 관한 것이다.

Description

왜곡된 영상정보를 보정하고 업데이트하는 영상신호 보정 처리장치{Image processing apparatus for correcting a distorted picture, and update the information}

본 발명은 영상처리 기술 분야 중 왜곡된 영상정보를 보정하고 업데이트하는 영상신호 보정 처리장치에 관한 것으로, 보다 상세하게는 카메라로부터 획득한 영상을 통해 차량에 장착된 카메라의 장착 오차를 자동으로 보정하여 영상을 처리할 수 있는 왜곡된 영상정보를 보정하고 업데이트하는 영상신호 보정 처리장치에 관한 것이다.

근래 들어 정보통신 기술의 발달과 인터넷 사용인구의 증가로 인하여 다양한 카메라가 널리 보급되어 왔고 더불어 이를 이용한 영상 분석 및 활용에 대한 요구가 점차 증가하고 있다.

하지만 카메라 렌즈의 특성으로 인하여 카메라로부터 획득한 영상은 왜곡이 발생하는데, 영상을 분석하고 활용하기 위해서는 이와 같은 영상의 왜곡을 보정하여야만 한다.

그중에서도 자동차에 장착되는 카메라 등과 같이 넓은 화각을 가지는 광각 카메라의 경우에는 촬영 영상이 일반카메라로 촬영한 영상보다 왜곡이 더욱 심하게 되어서 카메라의 영상을 영상 출력장치 내에 모두 표현하게 되면 영상이 수평과 수직으로 압축된 왜곡 영상이 나타나게 된다.

특히 렌즈의 중심에서 멀어질수록 원래 위치보다 안쪽 또는 바깥쪽으로 이동하는 방사형 왜곡을 보정하는 것이 필요하다.

이와 같은 영상의 왜곡 현상은 렌즈를 사용하는 모든 카메라에서 나타나므로 오래전부터 다양한 분야에서 왜곡된 영상을 보정하기 위한 기술들이 연구 개발 되어 왔다.

그중에서도 차량에 사용되는 카메라는 그 기능과 목적에 있어서 매우 다양하게 사용되고 있으므로 더욱 이러한 기술들이 많이 활용되어 왔다.

차량에 사용되는 카메라는 후방 카메라가 대표적인데, 후방 카메라는 외부의 카메라와 그 카메라의 영상을 단순히 그대로 출력해주는 출력 장치만이 필요하지만 최근에는 첨단운전자보조시스템(ADAS)의 개발 및 발전과 더불어 단순히 카메라의 영상을 그대로 출력하는 것이 아닌 카메라의 영상을 사용자의 요구나 제어 시스템의 요구에 적합한 형태로 가공 표현해야 할 필요성이 대두 되었다.

즉, 파노라마 형식의 뷰를 요구하거나 탑뷰 형식의 뷰를 요구하는 것과 같이 사용자나 시스템의 요구에 맞춰서 카메라의 영상을 가공 표현할 수 있어야 한다.

이렇게 차량에 필요한 영상을 가공 표현할 수 있으려면 상술한 바와 같이 왜곡된 카메라 영상에 대한 보정이 선결되어야 하는데, 그 왜곡 보정을 위한 대표적인 방법은 대략적으로 다음과 같은 과정을 따른다.

즉, 카메라 모델을 정의하고, 보정 패턴으로부터 모델의 내부 및 외부 파라미터를 추정한 다음 모델의 역변환을 통해 복원하는 방법이다.

여기서 보정 패턴으로부터 파라미터를 추정하는 과정에서는 카메라 보정을 위해 특정 패턴 도구를 사용하게 된다.

이렇게 패턴 도구를 사용하게 되면 패턴 상의 특정 마커의 상대적인 위치를 미리 정확하게 알 수 있어 정밀한 결과를 얻을 수 있는 장점이 있으나, 무거운 특정 패턴 도구를 늘 가지고 다녀야 하므로 번거로움이 있는 단점이 있다.

대한민국 특허 등록번호 제10-1666959호(2016.10.11.) '카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법'

본 발명은 상술한 바와 같은 종래 기술상의 제반 문제점들을 감안하여 이를 해결하고자 창출된 것으로, 카메라로부터 획득한 영상의 왜곡을 보정할 때, 자동보정패턴으로부터 카메라의 렌즈 왜곡 보정을 수행함과 동시에 카메라의 위치 및 자세에 대한 오차 보정도 수행할 수 있도록 하는 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 왜곡된 영상정보를 보정하고 업데이트하는 영상신호 보정 처리장치를 제공함에 그 주된 목적이 있다.

본 발명은 상기한 목적을 달성하기 위한 것으로 카메라(10)가 지면에 설치된 자동보정패턴(100)을 촬영하여 획득한 영상을 입출력모듈(200)로 전송하면 영상처리모듈(300)이 상기 영상을 수신하여 왜곡된 영상을 보정하는 자동보정기능을 구비한 영상신호 보정 처리장치에 있어서; 카메라(10) 주변의 임의의 장소에 상기 카메라(10) 하나 당 하나일 경우에는 단독으로 또는 복수 개일 경우에는 서로 이격 되도록 지면에 설치될 수 있는 자동보정패턴(100); 상기 카메라(10)로부터 영상을 입력받아 상기 영상처리모듈(300)로 전송하는 입출력모듈(200); 및 상기 카메라(10)로부터 획득된 영상의 왜곡을 보정하기 위한 알고리즘이 수록된 처리부인 영상처리모듈(300);을 포함하되, 상기 자동보정패턴(100)은 내부에 무늬 모양이 없는 다각형의 형상이고, 상기 자동보정패턴(100)의 크기, 모양, 색상의 도형 규격 정보와, 모서리, 코너, 모멘트의 기하정보는 기지의 정보이고; 상기 입출력모듈(200)은 상기 카메라(10)와 상기 영상처리모듈(300) 사이에서 데이터를 송수신하는 영상입출력부(210)와, 상기 영상처리모듈(300)에서 처리된 정보가 저장되는 저장부(220)를 포함하고; 상기 영상처리모듈(300)은 먼저 수신한 영상 내에서 윤곽선을 찾아 후보군을 만든 후에 자동보정패턴(100)에서 기지의 모서리, 코너, 꼭지점, 모멘트, 콘백스 또는 제한된 종횡비의 윤곽선 정보를 이용하여 상기 자동보정패턴(100)을 찾고, 이후에 모서리, 코너 및 모멘트의 특징점을 추출하고, 추출된 특징점들에 대한 기지의 정보(기하정보 및 윤곽선 정보임)를 이용하여 상기 카메라(10)의 절대적 위치와 설치각을 추정하고, 상기 저장부(220)에 저장된 내부 파라미터를 이용하여 렌즈 왜곡 보정을 수행하는 왜곡보정부(310): 상기 왜곡보정부(310)에서 추정된 카메라(10)의 절대적 위치와 설치각에 대한 정보를 이용하여 영상에서 변경 파라미터로서 카메라 설치위치 및 회전오차를 추정하는 이미지정렬추정부(320): 및 상기 이미지정렬추정부(320)에서 추정된 변경 파라미터를 이용하여 영상의 3차원 위치 및 크기를 보정하는 이미지정렬생성부(330):를 포함하며; 상기 카메라(10)는 사각박스 타입의 카메라케이스(12)와, 상기 카메라케이스(12)의 전면 중앙에 형성된 모듈설치공(14)과, 상기 모듈설치공(14)에 내장된 반사판(16)과, 상기 모듈설치공(14)에 설치된 카메라모듈(18)로 이루어지되 상기 모듈설치공(14)의 둘레에는 간격을 두고 다수의 구멍(HOL)이 형성되며, 상기 구멍(HOL)에는 엘이디램프(LED)가 끼워지고, 상기 엘이디램프(LED)는 상기 반사판(16)의 테두리(TRD) 후측에 둘레를 따라 형성되며, 상기 카메라케이스(12)의 내부에는 상기 카메라모듈(18)의 직경방향으로 대칭되게 한 쌍의 가이드홈(GR)이 형성되고, 상기 카메라모듈(18)의 둘레에는 상기 가이드홈(GR)에 결합되어 슬라이딩되는 돌기 형상의 모듈가이더(GD)가 돌출되며, 상기 카메라케이스(12)의 내부에는 상기 카메라모듈(18)이 조립된 상태에서 직선왕복운동되게 슬라이딩가능한 작동홈(HOM)이 일정길이 형성되고, 상기 카메라모듈(18)의 후면 중앙에는 래크바(LKB)가 일체로 형성되며, 상기 작동홈(HOM)의 후면벽을 관통한 래크바(LKB)에는 피니언(PIN)이 치결합되고, 상기 피니언(PIN)은 구동모터(MOT)에 연결되어 회전구동 가능하게 구성되며; 상기 카메라케이스(12)는 전방이 개방되고 후방은 막혀있는 사각박스 형상의 완충부재(20)에 삽입되되, 상기 완충부재(20)는 폴리우레탄수지 50중량%, 2-3cm 길이를 갖는 유리섬유 40중량%, 폴리옥시메틸렌 수지 10중량%로 조성된 조성물이 성형된 것이고, 상기 완충부재(20)의 둘레에는 일정간격을 두고 격자상으로 배열되며 내경에는 2-3피치의 나사산이 형성된 다수의 체결공(22)이 형성되며, 상기 체결공(22)에는 스프링볼트(24)가 체결되는데 상기 스프링볼트(24)는 스프링과 볼트가 결합된 형태로서 헤드부는 상기 체결공(22)에 볼트체결될 수 있도록 외주면에 나사산이 2-3피치 형성되고, 선단부는 코일스프링 형태로 이루어져 상기 카메라케이스(12)의 둘레 4면을 탄성지지할 수 있다.

본 발명에 따르면, 카메라로부터 획득한 영상의 왜곡을 보정할 때, 자동보정패턴으로부터 카메라의 렌즈 왜곡 보정을 수행함과 동시에 카메라의 위치 및 자세에 대한 오차 보정도 수행할 수 있도록 하는 카메라로부터 획득한 영상에 대한 자동보정 효과를 얻을 수 있다.

도 1은 본 발명의 실시예에 따른 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치를 나타낸 다이어그램이다.
도 2는 본 발명의 실시예에 따른 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리방법을 나타낸 순서도이다.
도 3은 도 1에 도시된 자동보정패턴이 지면에 설치된 일예를 나타낸 도면이다.
도 4는 도 3에 도시된 자동보정패턴을 촬영한 예시도이다.
도 5는 본 발명의 실시예에 따른 최적화 알고리즘 기법의 흐름도이다.
도 6은 도 5의 최적화 알고리즘 기법의 결과를 나타낸 그래프이다.
도 7은 룩업테이블의 표를 보인 예시도이다.
도 8은 본 발명에 따른 카메라의 예시도이다.
도 9는 도 8의 예시적인 측단면도이다.
그리고
도 10은 본 발명에 따른 카메라의 다른 예를 보인 예시도이다.

이하에서는, 첨부도면을 참고하여 본 발명에 따른 바람직한 실시예를 보다 상세하게 설명하기로 한다.

본 발명 설명에 앞서, 이하의 특정한 구조 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며, 본 명세서에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니된다.

또한, 본 발명의 개념에 따른 실시예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로, 특정 실시예들은 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시 형태에 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경물, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 발명은 상술한 등록특허 제10-1666959호의 구성 대부분을 활용하므로 도 1 내지 도 7의 구성에 대한 내용은 등록특허를 그대로 인용하기로 한다.

도 1 및 도 2에 도시된 바와 같이, 본 발명에 따른 영상신호 보정 처리장치는 카메라(10), 자동보정패턴(100), 입출력모듈(200) 및 영상처리모듈(300)을 포함한다.

이때, 카메라(10)는 임의의 위치에 설치되어서, 지면에 설치된 자동보정패턴(300)과 지상면을 촬영한 후 이를 전기적신호로 변환하여 영상입출력부(210)를 통해 영상처리장치(100)로 전송한다(도 2 참조).

그리고, 자동보정패턴(300)은 반드시 지면에 형성될 필요는 없고 자동보정패턴(300)에 대한 기지의 정보를 제공할 수 있다면 지면 또는 구조물 등과 같이 임의의 장소에 설치가 가능하다.

아울러, 카메라(10)는 단순한 광학기구 뿐만 아니라 광학신호를 전기적 신호로 변환하는 이미지센서 등의 전기적 장치를 포함하는 개념이다.

또한, 차량에 장착되는 카메라(100)는 보다 넓은 시야각 확보를 위해 초광각 렌즈를 주로 사용하지만, 본 발명에서 자동보정 기능을 수행할 수 있는 카메라(100)의 종류는 화각에 상관없이 적용이 가능하다.

뿐만 아니라, 자동보정패턴(100)은 기지의 패턴으로서 카메라에서 시야가 확보되는 지면에 설치되며 하나 이상이 설치될 수 있다.

이때, 자동보정패턴(100)의 형상은 사각형일 수 있으나 삼각형이나 원형 또는 그 외의 다각형도 가능하다.

이러한 자동보정패턴(100)은 설치된 카메라(10)의 절대적 위치 및 설치각을 구함과 동시에 왜곡된 영상을 보정할 수 있는 매개수단이 되는 장치로서 지면에 설치된 후에 카메라로 촬영하여 사용하게 된다.

자동보정패턴(100)의 설치 위치는 카메라(10) 주변이라면 어느 곳이든 설치가 가능하고 시인성을 확보하기 위해서 각각의 자동보정패턴(100)은 지면의 배경과 명도차가 큰 색을 선택하는 것이 바람직하다.

그리고, 자동보정패턴(100)의 모양, 크기, 또는 색상 등과 같은 해당 패턴의 규격과 모서리, 모멘트 등의 기하정보는 기지의 정보이여야 한다.

즉, 자동보정패턴(100)을 사용하여 영상을 보정하는 단계에서, 자동보정패턴(100)의 특징점들에 대한 물리적 위치정보는 미리 알고 있는 것으로 가정하여 이를 바탕으로 왜곡된 영상을 보정하게 된다.

아울러, 입출력모듈(200)은 카메라(10)로부터 영상을 입력받아 영상처리모듈(300)로 출력하는 영상입출력부(210)와 영상처리모듈(300)로부터 출력되는 보정이 완료된 영상정보를 저장하는 저장부(220)를 포함한다.

영상입출력부(210)는 지면에 설치된 자동보정패턴(100)과 주변 지상면이 촬영된 영상을 차량에 설치된 카메라(10)로부터 입력 받아 입력된 영상을 영상처리모듈(300)로 전송한다.

이때, 필요한 경우 영상입출력부(210)에서는 필터 등에 의해 영상 전처리 과정을 수행할 수도 있다.

그리고, 저장부(220)는 카메라(10) 렌즈의 고유 특성에 해당하는 초점거리, 주점, 왜곡계수 등과 같은 내부 파라미터에 대한 정보와, 영상처리모듈(300)에서 추정된 카메라(10)의 3차원 위치, 자세 또는 설치각 등과 같은 외부 파라미터에 대한 정보 및 영상처리모듈(300)에서 영상을 보정할 때 추정된 결과들에 대한 정보가 저장된다.

또한, 저장된 정보는 다양한 장치에 제공될 수 있는데, 특히 보정이 완료된 영상에 대한 정보는 자동차 탑뷰 시스템, 파노라마 뷰 시스템 등과 같은 다양한 장치들에서 가공 활용되기 위해 제공될 수 있다.

뿐만 아니라, 영상처리모듈(300)은 카메라(10)에서 획득된 영상의 왜곡을 보정하기 위한 알고리즘이 수록된 모듈로서, 왜곡보정부(310), 이미지정렬추정부(320) 및 이미지정렬생성부(330)를 포함할 수 있다.

이때, 왜곡보정부(310)는 카메라(10)를 통해 촬영된 자동보정패턴(100)의 영상을 영상입출력부(210)에서 입력받아 자동보정패턴(100)의 특징점들을 추출하여 추출된 특징점들의 기지의 물리적 위치정보를 이용하여 카메라의 절대적 위치와 설치각을 추정한 후, 이러한 정보를 저장부(220)에 저장한다.

즉, 왜곡보정부(310)에서는 지면의 기준패턴(10)을 바탕으로 카메라가 놓인 절대적 위치와 카메라의 기울어진 각도를 추정하여 저장한다.

또한, 왜곡보정부(310)는 렌즈의 왜곡보정을 위하여 저장부(220)에 저장된 광중심과 같은 내부 파라미터를 획득하여, 획득된 내부 파라미터를 이용하여 렌즈 왜곡 보정을 수행한다.

여기서, 렌즈 왜곡 보정을 위한 내부 파라미터 또는 광학 파라미터는 광중심(optical center), 종횡비(aspect ratio), 투영 유형 및 초점거리(focal length) 중 적어도 어느 하나 이상을 포함할 수 있다.

그리고, 종횡비 및 초점거리는 센서의 데이터 시트를 통해 얻을 수 있으며, 광중심은 촬영된 영상의 렌즈 서클 또는 타원의 중심으로 파악할 수 있다.

또한, 이미지정렬추정부(320)는 왜곡보정부(310)에서 추정된 카메라의 절대적 위치와 설치각에 대한 정보를 이용하여, 왜곡보정부(310)에서 보정된 영상을 최적화 알고리즘으로 처리하여 카메라 설치위치 (X,Y,Z) 및 회전오차 (Φ,Θ,Ψ)를 추정한다.

이러한 추정 과정은, 왜곡보정부(310)에서 보정되어 이미지정렬추정부(320)로 전송된 렌즈 왜곡 보정영상에 나타난 자동보정패턴(100)과 실제의 자동보정패턴(100)이 모양과 간격 등에서 서로 일치될 수 있도록 각도와 거리를 변경하여 정렬하는 과정이다.

즉, 이미지정렬추정부(320)에서는 최적화 알고리즘 기법을 사용하여 렌즈 왜곡 보정영상 내의 자동보정패턴(100)과 실제 자동보정패턴(100)을 비교하여 둘 사이의 오차인 거리 정보 등이 최소가 되도록 하는 변경 파라미터인 설치위치 (X,Y,Z) 및 회전오차 (Φ,Θ,Ψ)를 추정해낸다.

이러한 최적화 알고리즘은 LM(Levenberg-Marquadts), LMS(Least Mean Square), ACO(Ant Colony Optimization), PSO(Particle Swarm Optimization) 중 어느 하나일 수 있다.

이미지정렬생성부(330)는 이미지정렬추정부(320)에서 추정된 정보인 변경 파라미터 등을 이용하여 왜곡보정부(310)에서 렌즈 왜곡 보정 영상을 다시 보정하는 처리부이다.

이와 같이 이미지정렬생성부(330)에서 영상을 보정할 때 추정된 정보들은 저장부(220)에 저장될 수 있으며, 다양한 형식으로 저장될 수 있다.

저장 형식은 단순 좌표 매핑 방법에 의한 LUT(Look-up Table)를 생성하여 저장하거나, GPU texture 좌표 매핑 방법에 의한 Vertex를 생성하여 저장하거나, 사용자 정의 메타 데이터 포맷(meta-data format, e.g. XML format)을 생성하여 저장할 수 있다.

이와 같은 구성을 이용하여 영상을 보정하는 방법을 설명하면 다음과 같다.

도 2의 예시와 같이, 영상 보정방법은 자동보정패턴 영상수신 단계(S310), 특징점 추출 단계(S320), 절대적 위치와 설치각 추정 단계(S330), 내부 파라미터 획득 단계(S340), 렌즈 왜곡 보정 수행 단계(S350), 변경 파라미터 추정 및 영상 보정수행 단계(S360)를 포함한다.

먼저, 기지의 자동보정패턴(100)을 지면에 설치한다.

도 3과 도 4에 자동보정패턴(100)이 지면에 설치된 일예와 실제 자동보정패턴(100)을 촬영한 것을 나타내었다.

이와 같이 설치된 자동보정패턴(100)에서 각 패턴의 크기, 모양 또는 색상 등과 같은 규격과 카메라와 패턴과의 거리 등은 영상처리모듈(300)에서 미리 알고 있다고 가정한다.

또한, 패턴의 모양은 기지의 사항이라면 삼각형, 사각형, 원형 또는 다각형 등과 같이 그 형태는 상관이 없다.

각각의 패턴을 차량에 설치된 카메라에서 관측이 가능한 위치에 설치한다.

도 3은 자동보정패턴(100) 설치의 실시예로서 패턴의 모양은 정사각형이며 그 크기는 70-70cm 이고 차량과 중앙에 위치한 패턴과의 거리는 30cm이다.

이때의 크기와 패턴과의 거리는 정해진 것이 아니며 차량 혹은 설치대와 패턴 크기에 따라서 변경 가능하다.

자동보정패턴 영상수신 단계(S310)는, 카메라(10)가 지면에 설치된 자동보정패턴(100)을 촬영하여 영상입출력부(210)로 촬영된 영상을 전송하고, 영상처리모듈(300)은 영상입출력부(210)로부터 자동보정패턴(100)이 촬영된 영상을 수신하는 단계이다.

특징점 추출 단계(S320)는, 영상입출력부(210)의 왜곡보정부(310)는 자동보정패턴(100)에 대한 기지의 정보를 이용하여 수신한 영상에서 자동보정패턴(100)을 찾아 자동보정패턴(100)의 특징점들을 추출하는 단계이다.

구체적으로, 먼저 수신한 영상 내에서 윤곽선을 찾아 후보군을 만든 후에, 자동보정패턴(100)이 사각형일 경우 4개의 꼭짓점, 콘벡스(convex), 제한된 종횡비 내의 윤곽선 등과 같은 기지의 정보를 이용하여 수신한 영상에서 자동보정패턴(100)을 찾고 찾아낸 자동보정패턴(100)에 대하여 특징점들을 추출하게 된다.

절대적 위치와 설치각 추정 단계(S330)는, 왜곡보정부(310)가 특징점 추출 단계(S320)에서 추출된 자동보정패턴(100)의 특징점인 모서리, 모멘트 등과 같은 정보를 이용하여 영상을 획득할 당시의 카메라의 절대적 위치와 설치각을 추정하는 단계이다.

여기서, 영상처리모듈(300)는 추정된 카메라의 절대적 위치와 설치각에 대한 정보를 저장부(220)에 저장한다.

즉, 영상처리모듈(300)은 지면의 자동보정패턴(100)을 바탕으로 카메라가 놓인 절대적 위치와 카메라의 기울어진 각도만을 추정한다.

내부 파라미터 획득 단계(S340)는, 왜곡보정부(310)가 촬영된 영상을 이용하여 렌즈의 왜곡 보정을 위하여 광학파라미터인 내부 파라미터를 획득하는 단계이다.

여기서, 광학 파라미터는 광중심(optical center), 종횡비(aspect ratio), 투영 유형 및 초점거리(focal length) 중 적어도 어느 하나 이상을 포함할 수 있다.

즉, 절대적 위치와 설치각 추정 단계(S330)에서 카메라의 절대적 위치와 설치각을 추정하고 나면 영상처리모듈(300)은 촬영된 영상을 이용하여 렌즈 왜곡 보정을 위한 렌즈의 광중심을 포함한 광학 파라미터를 획득하게 된다.

렌즈 왜곡 보정 수행 단계(S350)는, 왜곡보정부(310)가 내부 파라미터 획득 단계(S340)에서 획득된 내부 파라미터를 이용하여 왜곡 보정 알고리즘을 통하여 렌즈 왜곡된 영상을 보정하는 단계로서, 다양한 왜곡 보정 방법이 사용 가능하다.

렌즈 왜곡에는 크게 방사형 왜곡과 접선왜곡이 있는데, 특히, 넓은 범위를 촬영할 수 있는 광각 렌즈의 경우에는 일반 렌즈로 촬영한 영상보다 렌즈의 중심에서 멀어질수록 원래 위치보다 안쪽 또는 바깥쪽으로 이동하는 방사형 왜곡을 보정하는 것이 필요하다.

그리고, 렌즈 왜곡 보정은 일반적으로 핀홀 카메라가 아닌 광각 렌즈를 사용하는 카메라에서 렌즈의 곡률을 역연산하고 이를 바탕으로 입사점을 광중심으로 균일화시킴으로써 곡률의 차이에서 발생하는 렌즈의 왜곡 현상을 제거하는 것이다.

따라서, 왜곡 보정 과정에서는 렌즈 곡률에 대한 모형식(투영식)이 주어질 경우 이를 바탕으로 왜곡 정도를 파악하게 되고, 보정 단계를 거쳐 영상 내 원근 왜곡만을 남기게 된다.

이러한 렌즈 왜곡을 보정하는 방법으로는 비선형 왜곡 보정 방법을 통한 방법과 가우시안 구 매핑을 통한 왜곡보정 방법이 있다.

그리고, 비선형 왜곡 보정 방법으로는 핀홀 기반 방법(pinhole based)과 광선 캡처 기반 방법(captured ray based) 등이 있다.

특히, 핀홀 기반 방법은 영상 내 공간 좌표와 광축 (principal axis)을 이용하여 왜곡을 보정하는 방법으로서 실제 계산은 다항식 (polynomial)으로 구성된 함수가 활용될 수 있다.

또한, 광선 캡처 기반 방법은 광축과 입사광의 각도를 이용하여 왜곡을 보정하는 방법으로서, 광선 캡처 기반에 의한 방사형 왜곡을 보정하는 것은 렌즈의 굴절을 없애는 의미에서 핀홀 투영(Pin-hole projection)과 동일한 것으로 볼 수 있다.

이에 사용되는 투영 방정식(Projection equation)으로는 수학식 1에 기술된 등거투영(Equidistant projection), 직각투영(Orthographic projection), 등방각투영(Equisolid angle projection) 및 입체촬영투영(Stereographic projection)의 방정식이 주로 사용될 수 있다.

이때 Rf 는 평판 이미지(image plane)에서의 투영 거리(projected distance)이며, f는 초점거리, ω는 입사광선(incident ray)의 입사각을 나타낸다. 이외에 도 다양한 수식이 이용될 수 있다.

[수학식 1]

그리고, 광중심은 촬영된 영상의 렌즈 서클 또는 타원의 중심으로 파악할 수 있다.

초점거리는 렌즈 제조시에 주어지는 값과 이미지센서의 데이터 시트를 참고해서 구할 수 있다.

다른 방법으로는 초점거리는 투영 방정식에 맞춰 영상의 왜곡을 제거했을 때 직선이 왜곡 없이 나타날 때의 초점거리 값으로 정의할 수 있기 때문에 이를 추정하여 초점거리를 획득할 수 있다.

변경 파라미터 추정 및 영상 보정 수행 단계(360)는, 이미지정렬추정부(320)가 왜곡보정부(310)에서 추정된 카메라의 절대적 위치와 설치각에 대한 정보를 이용하여 왜곡보정부(310)에서 보정된 영상이 자동보정패턴(100)을 기준으로 하였을 때 어느 위치에 어느 정도로 기울어진 상태로 놓여 있는지를 계산하여 이를 변경 파라미터로서 추정하고, 이미지정렬생성부(330)는 추정된 값으로 최종적으로 영상 보정을 수행하는 단계이다.

여기서 변경 파라미터는 카메라 설치위치 (X,Y,Z) 및 회전오차 (Φ,Θ,Ψ)로 표현된다.

구체적으로, 이와 같은 변경 파라미터 추정 및 영상 보정을 수행하는 과정은, 먼저 3차원 가상의 구에 패턴 매칭을 수행한 다음, 3차원 가상의 구에 매핑된 영상속의 자동보정패턴(100)의 모양이 원래의 자동보정패턴(100) 형태가 되도록 3차원 가상의 구를 회전시켜 실제 자동보정패턴(100)과의 차이를 변경 파라미터로 추정하고 영상보정을 수행한다.

이때, 실제 자동보정패턴(100)과의 차이를 최소화하기 위한 방법으로 최적화 알고리즘 기법이 사용된다(도 5의 두 번째 그림 참조).

그리고, 여기서 자동보정패턴(100)을 이용한다는 것은 자동보정패턴(100)의 모서리, 코너, 모멘트(moment) 등의 추출된 정보를 이용한다는 것이다(도 5의 첫 번째 그림 참조).

또한, 위와 같은 추출된 정보를 이용하여 영상속의 모든 패턴의 모양이 원래의 정사각형 형태가 될 때까지 반복적으로 3차원 가상의 구를 회전시켜 최종적으로 자동보정패턴(100)의 영상이 위치와 스케일이 일치되도록 한다(도 5의 두 번째 및 세 번째 그림 참조).

즉, 영상처리모듈(300)의 왜곡보정부(310)에서 렌즈 왜곡 보정된 영상을 3차원 가상의 구에 매핑한 후, 이미지정렬추정부(320)는 추정된 카메라의 절대적 위치와 설치각을 이용하여 3차원 가상의 구를 실제 자동보정패턴(100)과 일치되도록 각도와 거리를 변경하여 최종적으로 이미지정렬생성부(330)가 이미지를 3차원 가상공간에 배열하게 된다.

그리고, 이와 같이 이미지정렬생성부(330)가 이미지를 3차원 가상공간에 배열하는 과정은 카메라를 상징하는 3차원 가상의 구들이 지면의 자동보정패턴(100)을 바탕으로 어느 위치에 어떻게 기울어진 상태로 놓여 있는지 추정한 다음, 추정된 값으로 가상공간에 배열하는 것이다.

가상의 구들은 가상의 3차원 공간상에 배열되어 실제 차량에 설치된 카메라를 묘사한다.

추정과정은 가상의 구를 회전 및 이동시킨 다음에 가상의 구에 매핑되어 있는 영상을 다시 지면에 매핑했을 때, 실제 자동보정패턴(100)과의 일치정도를 높이는 방향으로 회전각도와 이동거리를 바꾸는 형태로 진행한다.

가상의 구는 수학식 2에 의해 실제 자동보정패턴(100)과 매칭될 수 있다.

[수학식 2]

여기서, XYc는 왜곡 보정된 영상의 한 점의 직교 좌표로서 (Xc, Yc, Zc)와 같이 나타낼 수 있으며, XYp는 XYc를 지면에 매핑한 점의 2차원 좌표이다.

Sc는 스케일 요소(scale factor)이고, fpc는 3차원의 좌표를 평면의 한 점으로 매핑하는 함수이고, R(θ) 및 R(ψ)은 수학식 3과 같이 3차원 좌표의 회전 행렬로 나타낼 수 있다.

카메라가 바라보는 시점을 y축, 그 직교 방향을 x축, 차량의 수직 방향을 z축으로 정의 하였을 때, φ는 x축을 중심으로 회전된 각을, θ는 y축을 중심으로 회전된 각을, ψ는 z축을 중심으로 회전된 각을 각각 의미한다.

[수학식 3]

수학식 2와 수학식 3을 모두 다 전개하여 정리하면 아래 수학식 4와 같다. 이 때, Xpd는 가상의 구가 x축 방향으로 이동한 거리를 나타내고, Ypd는 가상의 구가 y축 방향으로 이동한 거리를 나타낸다.

[수학식 4]

수학식 2 내지 수학식 4를 이용하여 패턴 매칭을 수행한 다음, 회전각도와 이동거리인 변경 파라미터를 바꿔가는 방법으로 영상 내의 자동보정패턴(100)과 실제 자동보정패턴(100)과의 차이를 최소화하기 위한 방법으로 최적화 알고리즘 기법을 적용할 수 있다.

최적화 알고리즘은 LM(Levenbeig-Marquadts), LMS(Least Mean Square), LMSE(Least mean square estimation), ACO(Ant-Colony Optimization), PSO(Particle Swarm Optimization), GD(Gradient descent) 등과 같은 최적화 알고리즘이 사용될 수 있다.

이와 같은 최적화 알고리즘 기법을 통해 오차가 최소가 되는 변경 파라미터로서 카메라 설치위치 (X,Y,Z) 및 회전오차 (Φ,Θ,Ψ)를 추정할 수 있게 되고, 이미지정렬생성부(330)는 추정된 변경 파라미터를 이용하여 최종적으로 영상 보정하게 된다.

도 6을 참조하면, 이와 같이 최적화 알고리즘의 반복적인 적용을 통해 자동보정패턴(100)의 상대적인 최소한의 제한조건인 위치와 크기가 만족되어 최종적인 영상 보정이 수행 결과를 그래프로 도시하였다.

이상과 같이 3차원 영상의 왜곡을 보정한 후 영상처리모듈(300)은 영상의 화소에 대한 카메라와 원좌표를 추적하여 룩업테이블(LUT)을 생성하거나 GPU texture 좌표 매핑 방법에 의한 Vertex를 생성하거나, 사용자 정의 메타 데이터 포맷 (meta-data format, e.g. XML format)을 생성하여 저장할 수 있다.

도 7에서는 룩업테이블 표에 대한 일례를 나타낸 것으로, 룩업테이블은 카메라(10)로부터 획득되는 입력 영상을 구성하는 각각의 화소들이 모니터와 같은 영상출력장치로 보내질 영상의 화소에 대응되는 관계에 대한 영상 매핑데이터를 저장하는 수단이다.

도 7을 참조하면, 룩업테이블은 광각카메라(10)로부터 획득되는 입력 영상을 구성하는 각각의 화소들의 원좌표(x,y)에 대하여 출력될 영상의 화소의 최종좌표(t11, t12, ..., tmn)로 대응시킨 관계를 규정하는 일종의 매핑테이블로 볼 수 있다.

출력될 영상의 최종좌표(t11, t12, ..., tmn) 각각은 입력되는 영상에 대응된다.

이는 카메라(10)가 광각 렌즈를 사용할 경우에 획득되는 영상은 넓은 시야각을 갖는 왜곡된 영상이므로, 이를 평면화된 영상으로 대응 시킬 때, 각 영상의 화소는 1:1이 아닌 N:1의 관계로 대응되는 경우가 있기 때문이다.

예컨대, 최종좌표인 T11은 3곳의 입력 원좌표((x1,y2),(x3,y5),(x4,y6))에 대응 될 수도 있다.

이러한 룩업테이블은 카메라(10)가 다수일 경우, 획득되는 입력 영상의 개수, 즉 카메라(10)의 개수만큼 구비하고 각각의 입력 영상별로 대응되는 합성영상의 좌표값을 포함하도록 한다.

이러한 룩업테이블을 생성하는 과정은, 룩업테이블을 생성하기 위한 샘플 영상의 각각의 화소에 대한 출력을 얻기 위해 필요한 연산의 역연산(inverse operation)을 수행하여 영상의 각 화소에 대응하는 입력 영상의 각 화소의 좌표를 구하게 된다.

예컨대, 영상을 구성하는 화소 중 어느 하나의 화소를 선택하면, 이러한 화소는 좌표를 기준으로 선택되고, 좌표는 출력될 영상의 최종좌표가 된다.

선택된 화소의 최종좌표가 카메라에 의해 획득되는 입력 영상에서의 원좌표가 어디인지를 알 수 있게 된다.

따라서, 특정 화소의 최종좌표에 대응되는 원좌표를 획득하여 기록해 둔다.

이와 같은 과정을 영상의 모든 화소에 대해서 순차적으로 수행하여 임의 화소의 최종좌표에 대응된 원좌표를 획득할 수 있다.

획득된 원좌표를 해당 화소의 최종좌표와 매핑시켜 도 7과 같은 룩업테이블(LUT)을 생성할 수 있게 된다.

여기에서, 입력 영상의 모든 화소가 영상처리모듈(300)이 3차원 영상의 왜곡을 보정한 후의 영상의 최종좌표와 매핑되는 것은 아니다.

이는 입력 영상 중에서 불필요한 화소는 최종좌표에 대응되지 않고 버려질 수 있다는 것을 의미한다.

일반적으로 입력 영상의 일정 영역에 있는 화소만, 즉 20% 내지 50% 정도만 최종적으로 영상처리모듈(300)이 처리하는 영상으로 변환되므로, 룩업테이블을 참조하여 변환되는 입력 영상의 화소에 대해서만 매핑 과정을 수행하여 그만큼 영상처리시의 부하와 시간을 줄일 수 있게 된다.

영상처리모듈(300)은 룩업테이블을 생성한 후, 생성된 룩업테이블을 입출력모듈(200)로 전송하여 저장부(220)에 저장한다.

이후, 저장부(220)에 저장된 룩업테이블을 참조함으로써 카메라(10)를 통해 입력된 영상을 본 발명과 같은 합성 과정을 실시하지 않고 입력 영상의 화소를 최종 출력 영상에 바로 매핑시켜 간단하고 신속하게 3차원 영상을 생성 및 디스플레이 할 수 있다.

이러한 구성에 더하여, 본 발명에서는 도 8 및 도 9에서와 같이, 왜곡 발생을 최소화시키도록 카메라(10) 자체의 구조도 개선된다.

예컨대, 카메라(10)는 사각박스 타입의 카메라케이스(12)와, 상기 카메라케이스(12)의 전면 중앙에 형성된 모듈설치공(14)과, 상기 모듈설치공(14)에 내장된 반사판(16)과, 상기 모듈설치공(14)에 설치된 카메라모듈(18)을 포함하여 구성된다.

이때, 상기 카메라(10)를 구성하는 요소들은 모두 소형이다.

특히, 상기 모듈설치공(14)의 둘레에는 간격을 두고 다수의 구멍(HOL)이 형성되는데, 상기 구멍(HOL)에는 엘이디램프(LED)가 끼워진다.

이 경우, 상기 엘이디램프(LED)는 상기 반사판(16)의 테두리(TRD) 후측에 둘레를 따라 형성되며, 상기 카메라모듈(18)을 제어하는 제어부(미도시)의 제어신호에 따라 점등 또는 소등이 제어된다.

또한, 상기 카메라케이스(12)의 내부에는 상기 카메라모듈(18)의 직경방향으로 대칭되게 한 쌍의 가이드홈(GR)이 형성되고, 상기 카메라모듈(18)의 둘레에는 상기 가이드홈(GR)에 결합되어 슬라이딩되는 돌기 형상의 모듈가이더(GD)가 돌출된다.

뿐만 아니라, 상기 카메라케이스(12)의 내부에는 상기 카메라모듈(18)이 조립된 상태에서 직선왕복운동되게 슬라이딩가능한 작동홈(HOM)이 일정길이 형성되며, 상기 카메라모듈(18)의 후면 중앙에는 래크바(LKB)가 일체로 형성된다.

그리고, 상기 작동홈(HOM)의 후면벽을 관통한 래크바(LKB)에는 피니언(PIN)이 치결합되며, 상기 피니언(PIN)은 구동모터(MOT)에 연결되어 회전구동 가능하게 구성되고, 상기 구동모터(MOT)는 상기 카메라케이스(12)의 내부에 내장됨과 동시에 도시하지 않은 제어부에 의해 구동 제어되도록 설계된다.

이에 따라, 카메라(10) 촬영시 왜곡발생이 최소화되도록 카메라모듈(18)의 위치를 제어하게 되는데, 이를 테면 광각이 커져 왜곡발생이 심할 것으로 예측되는 근거리 촬영시에는 피니언(PIN)을 구동시켜 카메라모듈(18)를 최대한 깊숙히 인입시킨다.

그러면, 작동홈(HOM)의 선단과 카메라모듈(18)의 선단 사이의 거리가 멀어져 입사되는 광각이 작아지므로 촬상 범위가 줄어들게 되어 그 만큼 왜곡변형 발생확률이 줄어들게 된다.

반대로, 원거리 촬상이 필요할 때에는 카메라모듈(18)를 최대한 작동홈(HOM)의 선단에 가깝게 전진시킴으로써 충분한 반경내에서 왜곡변형을 줄이면서 촬상할 수 있게 된다.

이와 같이, 본 발명은 영상신호를 보정할 때 보정할 양, 즉 보정범위를 최소화시키도록 영상 촬상시 광각 자체를 카메라모듈(18)의 위치 가변을 통해 조절함으로써 왜곡발생을 사전에 줄이도록 구성할 수 있다.

뿐만 아니라, 본 발명은 도 10과 같이 완충부재(20)를 더 구비할 수 있다.

상기 완충부재(20)는 상기 카메라케이스(12)가 삽입될 수 있도록 앞쪽은 개방되고 뒷쪽은 밀폐된 사각박스 형상이며, 완충기능을 강화시키면서 일정한 강도를 유지시키기 위해 폴리우레탄수지 50중량%, 2-3cm 길이를 갖는 유리섬유 40중량%, 폴리옥시메틸렌 수지 10중량%로 조성된다.

이때, 폴리옥시메틸렌 수지는 대전방지성을 높이기 위해 첨가된다.

특히, 상기 완충부재(20)의 둘레에는 일정간격을 두고 격자상으로 배열되는 다수의 체결공(22)이 형성되는데, 상기 체결공(22)은 내경에 2-3피치의 나사산이 형성된 일종의 나사탭이다.

그리고, 상기 체결공(22)에는 스프링볼트(24)가 체결되는데, 상기 스프링볼트(24)는 스프링과 볼트가 결합된 형태로서 헤드부는 상기 체결공(22)에 볼트체결될 수 있도록 비교적 짧은 길이로 외주면에 나사산이 2-3피치 형성되고, 선단부는 코일스프링 형태로 이루어진 것으로 본 발명에 따라 창안된 것이다.

따라서, 상기 카메라케이스(12)를 상기 완충부재(20) 속에 삽입한 상태에서 완충부재(20)의 4면에 형성된 상기 체결공(22)에 상기 스프링볼트(24) 다수개를 체결하게 되면 상기 카메라케이스(12)는 상기 스프링볼트(24)의 코일스프링에 의해 밀려 완충부재(20)의 내면과 이격되면서 코일스프링이 탄성지지하는 형태가 된다.

때문에, 외부 충격이 가해졌을 때 완충부재(20)가 1차 완충하고, 스프링볼트(24)의 코일스프링이 2차 완충하기 때문에 카메라케이스(12)까지 충격이 전달되지 않아 안전하게 보호될 수 있다.

나아가, 상기 카메라케이스(12)의 외표면에는 이물부착방지제가 일정두께, 바람직하게는 0.1mm 이하의 두께로 코팅되어 이물질이 쉽게 부착되지 않도록 구성된다.

이를 위한 이물부착방지제는 불포화 폴리에스테르 수지 100중량부에 대해, 에틸렌-옥텐 러버(EOR) 4중량부, 폴리락트산 4중량부, 알루미나 분말 2중량부, 이트리아 1중량부, 2-히드록시에틸메타크릴산(2-HEMA) 2중량%, 실리콘 2중량%, CZ(N-cyclohexybenzothiazole-2-sulfenamide) 2중량부, 아미노프로필트리에톡시실란 1중량부, 몬모릴로나이트 1중량부, Ds(Dichlorodimethylsilane) 4중량부, 스테아린산칼슘 3중량부, 에틸렌글리콜모노메틸에테르 2중량부, 아크릴노니트릴 1중량부, N,N-디메틸에탄올아민(N,NDimethylethanol amine) 4중량부, 질화알루미늄 2중량부, 올레인산 3중량부를 혼합하여 코팅액을 이룬 것이다.

이때, 불포화 폴리에스테르 수지는 베이스 수지이며; 상기 에틸렌-옥텐 러버는 충격 특성을 향상시키고, 광투과율을 높이면서 성형 수축을 억제하여 기계적 물성을 증대시키기 위해 첨가된다.

또한, 상기 폴리락트산은 합성고분자 타입의 수지로서 내습성, 가공성이 우수한 물성이 있으며, 용융온도는 150-200℃이고, 연성에 의한 연질화, 인장강도, 신장율을 향상시키는 특성이 있다.

그리고, 상기 알루미나는 알루미늄과 산소의 화합물로서, 상기 이트리아와 결합하여 복합산화물막을 형성함으로써 강도 향상을 위해 사용된다.

아울러, 상기 2-히드록시에틸메타크릴산(2-HEMA)은 빛과 수분에 민감하고 모노머는 친수성을 띠는데 본 발명에서는 조성물의 안정화를 위해 첨가된다.

또한, 상기 실리콘은 대표적인 발수기능을 수행하는 것으로, 여기에서 발수는 투습의 개념이 아니라, 코팅 표면에서 수분이 표면장력에 의해 몽글 몽글하게 뭉쳐 구형상이 되도록 유도하여 흘러내리도록 하기 위한 것이다. 때문에, 방습성이 높아진다.

뿐만 아니라, 상기 CZ(N-cyclohexybenzothiazole-2-sulfenamide)는 방오층(70)의 표면 슬립성을 증대시켜 이물 부착성을 극대화시키기 위해 첨가된다.

아울러, 상기 아미노프로필트리에톡시실란은 수지와 무기계 첨가물들의 커플링성을 증대시키기 위해 첨가되며, 특히 결합성, 접착성, 표면강도를 높이는데 기여한다.

또한, 상기 몬모닐로나이트는 일종의 무기필러로서 기계적 물성을 증대시키기 위해 첨가되며, 상기 Ds(Dichlorodimethylsilane)는 강한 소수성을 가진 물질로서, 방오기능 향상을 위해 첨가된다.

그리고, 상기 스테아린산칼슘은 분산제로서 윤활기능을 촉진하여 첨가물들의 균질한 분산성을 유도하기 위해 첨가된다.

또한, 상기 에틸렌글리콜모노메틸에테르는 접착성을 강화시키기 위해 첨가되며, 부착력을 강하게 하여 내구성을 높이기 위해 첨가된다.

아울러, 상기 아크릴로니트릴은 경화를 촉진하기 위해 첨가되며, 과량 첨가되면 과경화가 일어나고 미량 첨가되면 미경화가 일어나므로 상기 범위로 한정하여야 한다.

또한, 상기 N,N-디메틸에탄올아민(N,NDimethylethanol amine)은 부착력, 즉 접착력을 강화시키기 위해 첨가되는 물질이다.

뿐만 아니라, 상기 질화알루미늄은 내열성도 유지하면서 필러로서 기능하는 물질이다.

덧붙여, 상기 올레인산은 겔화를 촉진하여 표면 안정화에 기여하고, 점성을 유지하기 위해 첨가된다.

이러한 코팅면을 가질 때 이물부착성이 억제되는지를 확인하기 위해 플라스틱 판에 상기 이물부착방지제를 0.1mm 두께로 코팅한 후 충분히 건조시켰다.

그런 다음, 더스트를 강제로 코팅면에 분사한 후 더스트 부착정도를 확인하였다.

확인 결과, 더스트가 거의 다 흘러내려 눈에 띄게 부착된 경우는 발생하지 않았다. 이를 통해, 이물부착억제력이 큰 것으로 확인되었다.

100: 자동보정패턴 200: 입출력모듈
210: 영상입출력부 220: 저장부
300: 영상처리모듈 310: 왜곡보정부
320: 이미지정렬추정부 330: 이미지정렬생성부

Claims

카메라(10)가 지면에 설치된 자동보정패턴(100)을 촬영하여 획득한 영상을 입출력모듈(200)로 전송하면 영상처리모듈(300)이 상기 영상을 수신하여 왜곡된 영상을 보정하는 자동보정기능을 구비한 영상신호 보정 처리장치에 있어서;
카메라(10) 주변의 임의의 장소에 상기 카메라(10) 하나 당 하나일 경우에는 단독으로 또는 복수 개일 경우에는 서로 이격 되도록 지면에 설치될 수 있는 자동보정패턴(100); 상기 카메라(10)로부터 영상을 입력받아 상기 영상처리모듈(300)로 전송하는 입출력모듈(200); 및 상기 카메라(10)로부터 획득된 영상의 왜곡을 보정하기 위한 알고리즘이 수록된 처리부인 영상처리모듈(300);을 포함하되, 상기 자동보정패턴(100)은 내부에 무늬 모양이 없는 다각형의 형상이고, 상기 자동보정패턴(100)의 크기, 모양, 색상의 도형 규격 정보와, 모서리, 코너, 모멘트의 기하정보는 기지의 정보이고; 상기 입출력모듈(200)은 상기 카메라(10)와 상기 영상처리모듈(300) 사이에서 데이터를 송수신하는 영상입출력부(210)와, 상기 영상처리모듈(300)에서 처리된 정보가 저장되는 저장부(220)를 포함하고; 상기 영상처리모듈(300)은 먼저 수신한 영상 내에서 윤곽선을 찾아 후보군을 만든 후에 자동보정패턴(100)에서 기지의 모서리, 코너, 꼭지점, 모멘트, 콘백스 또는 제한된 종횡비의 윤곽선 정보를 이용하여 상기 자동보정패턴(100)을 찾고, 이후에 모서리, 코너 및 모멘트의 특징점을 추출하고, 추출된 특징점들에 대한 기지의 정보(기하정보 및 윤곽선 정보임)를 이용하여 상기 카메라(10)의 절대적 위치와 설치각을 추정하고, 상기 저장부(220)에 저장된 내부 파라미터를 이용하여 렌즈 왜곡 보정을 수행하는 왜곡보정부(310): 상기 왜곡보정부(310)에서 추정된 카메라(10)의 절대적 위치와 설치각에 대한 정보를 이용하여 영상에서 변경 파라미터로서 카메라 설치위치 및 회전오차를 추정하는 이미지정렬추정부(320): 및 상기 이미지정렬추정부(320)에서 추정된 변경 파라미터를 이용하여 영상의 3차원 위치 및 크기를 보정하는 이미지정렬생성부(330):를 포함하며;
상기 카메라(10)는 사각박스 타입의 카메라케이스(12)와, 상기 카메라케이스(12)의 전면 중앙에 형성된 모듈설치공(14)과, 상기 모듈설치공(14)에 내장된 반사판(16)과, 상기 모듈설치공(14)에 설치된 카메라모듈(18)로 이루어지되 상기 모듈설치공(14)의 둘레에는 간격을 두고 다수의 구멍(HOL)이 형성되며, 상기 구멍(HOL)에는 엘이디램프(LED)가 끼워지고, 상기 엘이디램프(LED)는 상기 반사판(16)의 테두리(TRD) 후측에 둘레를 따라 형성되며, 상기 카메라케이스(12)의 내부에는 상기 카메라모듈(18)의 직경방향으로 대칭되게 한 쌍의 가이드홈(GR)이 형성되고, 상기 카메라모듈(18)의 둘레에는 상기 가이드홈(GR)에 결합되어 슬라이딩되는 돌기 형상의 모듈가이더(GD)가 돌출되며, 상기 카메라케이스(12)의 내부에는 상기 카메라모듈(18)이 조립된 상태에서 직선왕복운동되게 슬라이딩가능한 작동홈(HOM)이 일정길이 형성되고, 상기 카메라모듈(18)의 후면 중앙에는 래크바(LKB)가 일체로 형성되며, 상기 작동홈(HOM)의 후면벽을 관통한 래크바(LKB)에는 피니언(PIN)이 치결합되고, 상기 피니언(PIN)은 구동모터(MOT)에 연결되어 회전구동 가능하게 구성되며;
상기 카메라케이스(12)는 전방이 개방되고 후방은 막혀있는 사각박스 형상의 완충부재(20)에 삽입되되, 상기 완충부재(20)는 폴리우레탄수지 50중량%, 2-3cm 길이를 갖는 유리섬유 40중량%, 폴리옥시메틸렌 수지 10중량%로 조성된 조성물이 성형된 것이고, 상기 완충부재(20)의 둘레에는 일정간격을 두고 격자상으로 배열되며 내경에는 2-3피치의 나사산이 형성된 다수의 체결공(22)이 형성되며, 상기 체결공(22)에는 스프링볼트(24)가 체결되는데 상기 스프링볼트(24)는 스프링과 볼트가 결합된 형태로서 헤드부는 상기 체결공(22)에 볼트체결될 수 있도록 외주면에 나사산이 2-3피치 형성되고, 선단부는 코일스프링 형태로 이루어져 상기 카메라케이스(12)의 둘레 4면을 탄성지지하는 것을 특징으로 하는 왜곡된 영상정보를 보정하고 업데이트하는 영상신호 보정 처리장치.