KR101719595B1

KR101719595B1 - 영상정보의 오류를 보정하는 영상처리장치

Info

Publication number: KR101719595B1
Application number: KR1020160123240A
Authority: KR
Inventors: 권순철
Original assignee: 주식회사 우주공간정보
Priority date: 2016-09-26
Filing date: 2016-09-26
Publication date: 2017-04-05

Abstract

본 발명은 영상처리장치에 관한 것으로, 보다 상세하게는 차량을 이용한 지상촬영시 촬영영상의 왜곡에 따른 지도 제작 부정확성을 해소할 수 있도록 왜곡된 영상을 보정하여 정확한 지상촬영 영상을 확보함은 물론 항공촬영 영상과의 일치점을 구비하여 항공촬영과 지상촬영 영상을 매칭시킴으로써 보다 정교한 지도 제작이 가능토록 한 영상정보의 오류를 보정하는 영상처리장치에 관한 것이다.

Description

영상정보의 오류를 보정하는 영상처리장치{Image processing apparatus for correcting a distorted picture, and update the information}

본 발명은 영상처리장치에 관한 것으로, 보다 상세하게는 차량을 이용하여 촬영된 영상의 왜곡에 따른 부정확성을 해소할 수 있도록 영상보정 등의 영상신호 보정처리를 통하여 정확한 지상촬영 영상을 확보하고 업데이트 처리함은 물론 항공촬영 영상과의 일치점을 구비하여 항공촬영과 지상촬영 영상을 매칭시킴으로써 보다 정교한 영상신호 확보와 업데이트하는 영상정보의 오류를 보정하는 영상처리장치에 관한 것이다.

주지된 바와 같이, 지도를 제작하기 위해서는 영상신호의 도화 작업을 위한 해당 지면의 영상이미지 수집과, 수집된 영상이미지를 기초로 이미지를 도화하는 작업과, 도화이미지에 설정된 기준점에 GPS 좌표를 맞춰 좌표 정보를 합성하는 작업이 순차 진행된다.

그런데 영상이미지는 통상적으로 항공촬영을 통해 수집되므로, 원격지에 대한 영상이미지는 광학적으로 그 변형이 불가피하다.

결국, 일정한 격자형상의 GPS 좌표를 상기 영상이미지에 그대로 적용하면, 영상이미지의 가장자리 지점과 GPS 좌표 간의 오차가 발생할 수밖에 없다.

한편, 영상이미지를 기초로 도화 작업된 도화이미지는 도심지의 건물이나 각종 인공구조물(이하, "건물"이라 함)을 영상이미지의 해당 인공구조물의 형상 및 모습을 따라 다각형상의 개략적인 모습으로 도시되었다. 즉, 상기 광학적인 한계가 드러난 영상이미지 내 인공구조물의 형상 및 모습에 따라 도시된 다각형상의 모습 및 크기는 실제와 상이하므로, 도로 등의 주변시설과 비교해 정확도를 신뢰할 수 없었다. 게다가, 일반적으로 널리 활용되는 지도가 GPS 좌표를 근거로 사용자의 현위치 또는 특정 건물의 위치를 단순 확인하는 용도로 활용되면서, 건물의 사실감 표현이 요구되지 않아, 전술한 문제점에 대한 해결방안이 전혀 제시되지 못하고 있었다.

그러나, GPS 좌표의 실제 지점과, 지도에 표시된 상기 GPS 좌표의 해당 지점이 개략적으로 도시된 건물이미지와 서로 일치하지 않는다면, 사용자는 지도 이용에 큰 혼란과 불편을 경험할 수밖에 없다.

즉, 사용자 자신이 위치한 보도 지점의 GPS 좌표가 특정 건물이미지 내인 것으로 표기된다면, 사용자는 현위치에 대한 혼동을 일으킬 수밖에 없고, 결국 지도에 대한 신뢰도가 떨어질 수밖에 없는 것이다.

따라서, 지도에 표시되는 건물의 형상과 그 위치도 지도의 기준점인 GPS 좌표에 맞게 도시됨이 요구되었고, 그에 맞는 보정절차를 거쳐 오차를 최소화시키고 있다.

한편, 지도 제작을 위한 영상정보는 항공촬영 외에도 차량에 CCD(Charge Coupled Device) 카메라 또는 CMOS(Complementary Metal Oxide Semiconductor) 카메라를 탑재한 상태에서 주행하면서 촬영한 영상을 활용하기도 한다.

이때, 가급적 촬상되는 각도, 즉 화각을 최대한 넓히기 위해 시야각이 매우 넓은 초광각 렌즈를 사용하여 촬상하는 것이 보편적이다.

그런데, 시야각이 넓은 렌즈를 채용한 카메라로 촬상할 경우, 렌즈의 특성상 영상의 바깥부분이 중심부 쪽으로 휘어지는 왜곡현상이 발생하게 된다.

이러한 현상은 영상의 크기, 원근감 등이 실제와 차이를 갖기 때문에 영상을 취합하여 분석할 때 왜곡에 따른 정확한 영상 정보를 취득할 수 없어 이에 대한 보정 및 업데이트가 요구된다.

다른 한편, 항공촬영 영상과 차량을 이용한 지상촬영 영상이 동일 지역을 촬상하였음에도 불구하고, 영상이나 사진(화면) 판독만으로는 서로 동일 지역의 매칭이 부정확하여 정교한 영상 자료를 확보하는데 아직까지 한계가 있는 실정이다.

때문에, 항공촬영 영상만을 단독처리하고 보정하여 활용하거나 혹은 지상촬영 영상만을 단독처리하고 보정하여 활용하고 있어 양쪽에서 얻은 영상의 결합을 통한 시너지 효과를 얻지 못하고 있는 실정이다.

대한민국 특허 등록번호 제10-0956228호(2010.04.27.) '왜곡 영상 보정 기능을 갖는 영상처리 장치'

본 발명은 상술한 바와 같은 종래 기술상의 제반 문제점들을 감안하여 이를 해결하고자 창출된 것으로, 차량을 이용한 지상촬영시 촬영영상의 왜곡에 따른 지도 제작 부정확성을 해소할 수 있도록 왜곡된 영상을 보정하여 정확한 지상촬영 영상을 확보함은 물론 항공촬영 영상과의 일치점을 구비하여 항공촬영과 지상촬영 영상을 매칭시킴으로써 보다 정교한 지도 제작이 가능토록 한 영상정보의 오류를 보정하는 영상처리장치를 제공함에 그 주된 목적이 있다.

본 발명은 상기한 목적을 달성하기 위한 수단으로, 초광각렌즈를 통해 검출된 영상의 왜곡을 보정하는 영상처리 장치의 사전 설정된 최종 출력 영상의 화소보다 더 많은 수의 화소로 영상을 검출하여 출력하는 이미지센서; 상기 이미지센서에서 출력되는 베이어 포멧의 영상신호로부터 RGB 영상 신호를 생성하는 영상신호 전처리부; 상기 RGB 영상 신호를 YCbCr 영상 신호로 변환하는 색신호 처리부; 상기 YCbCr 영상 신호를 이용하여 영상의 왜곡을 보정하는 왜곡보정부; 상기 왜곡 보정된 영상신호의 Y 영상 신호를 이용하여 노이즈 제거 및 윤곽선 강조처리를 수행하고, 상기 왜곡 보정된 영상신호의 CbCr 영상 신호를 이용하여 색상 조정처리를 수행하는 영상신호 후처리부; 및 상기 영상신호 후처리부에서 출력되는 영상 신호를 상기 사전 설정된 최종 출력 영상의 화소수로 변환하도록 왜곡보정 IC로 형태로 구현되어 지상촬영 카메라(100)에 탑재된 해상도 변환부;를 포함하는 영상처리 장치에 있어서,
상기 지상촬영 카메라(100)는 지상에서 움직이는 이동차량(C)의 상면에 설치된 지지포스트((110) 상에 고정되고;
상기 이동차량(C)의 운전석에는 컨트롤패널(200)이 설치되며;
상기 컨트롤패널(200)에는 내장메모리를 갖춘 카메라제어기(210)가 탑재되고;
상기 지상촬영 카메라(100)에는 GPS수신기(260)와, 지도관리서버(300)와의 무선통신을 위한 안테나(ANT)가 설치되고, 상기 안테나(ANT)는 업데이트통신부(270)와 연결되며, 상기 업데이트통신부(270)와 GPS수신기(260)는 상기 카메라제어기(210)와 연결되고;
상기 카메라제어기(210)에는 제1,2,3,4거리측정기(220,230,240,250)가 각각 전기적으로 연결되는데, 상기 제1,2,3,4거리측정기(220,230,240,250)는 지상촬영 카메라(100)의 렌즈경(102) 보다 큰 직경을 갖는 렌즈플랜지(104) 상에 원주방향으로 90°간격을 두고 4개 설치되며;
상기 카메라제어부(210)에는 측정 정보를 토대로 피사체의 실제 위치정보를 산출하는 좌표연산부(280)가 더 연결되고;
상기 카메라제어부(210)에는 산출된 실제 좌표값이 표시된 영상을 저장하는 좌표표시 영상저장부(290)가 더 연결되어 상기 왜곡보정 IC로부터 얻은 왜곡이 보정되고 해상도 변환부를 거쳐 변환된 영상에 그 영상의 실제 좌표값을 표시하여 지도제작서버(300)로 송신토록 구성된 것을 특징으로 하는 영상정보의 오류를 보정하는 영상처리장치를 제공한다.

본 발명에 따르면, 차량을 이용한 지상촬영시 촬영영상의 왜곡에 따른 지도 제작 부정확성을 해소할 수 있도록 왜곡된 영상을 보정 처리하여 정확한 지상촬영 영상을 확보함은 물론 항공촬영 영상과의 일치점을 구비하여 항공촬영과 지상촬영 영상을 매칭시킴으로써 보다 정교한 지도 제작이 가능토록 한 효과를 얻을 수 있다.

도 1은 본 발명의 일실시형태에 따른 왜곡 영상 보정 기능을 갖는 영상처리 장치를 도시한 블록 구성도이다.
도 2는 본 발명의 일실시형태에 따른 왜곡 영상 보정 기능을 갖는 영상처리 장치에 포함된 왜곡 보정부를 더욱 상세하게 도시한 블록구성도이다.
도 3은 본 발명의 일실시형태에 따른 왜곡 영상 보정이 수행되기 위한 좌표의 일례를 도시한 예시도이다.
도 4는 본 발명의 일실시형태에 따른 왜곡 영상 보정 기능을 갖는 영상처리 장치에 포함된 왜곡 보정부 내의 라인 메모리부의 구조를 더욱 상세하게 도시한 구성도이다.
도 5는 본 발명의 왜곡보정 기법이 적용되는 일례를 설명하기 위한 보정대상 위치와 보정에 사용되는 주변 데이터의 배치를 도시한 예시도이다.
도 6은 본 발명의 일실시형태에 따른 왜곡 영상 보정 기능을 갖는 영상처리 장치에 포함된 해상도 변환부의 출력을 예시적으로 도시한 도면이다.
도 7 내지 도 10은 본 발명에 따른 다른 실시예를 보인 예시도이다.

이하에서는, 첨부도면을 참고하여 본 발명에 따른 바람직한 실시예를 보다 상세하게 설명하기로 한다.

본 발명 설명에 앞서, 이하의 특정한 구조 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며, 본 명세서에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니된다.

또한, 본 발명의 개념에 따른 실시예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로, 특정 실시예들은 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시 형태에 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경물, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

도 1은 본 발명의 일실시형태에 따른 왜곡 영상 보정 기능을 갖는 영상처리 장치를 도시한 블록 구성도이다.

도 1을 참조하면, 본 발명의 일실시형태에 따른 왜곡 영상 보정 기능을 갖는 영상처리 장치는, 초광각렌즈(11)를 통해 이미지센서(12)에서 검출되어 출력되는 베이어 포멧의 영상신호로부터 RGB 영상 신호를 생성하는 영상신호 전처리부(13)와, 상기 RGB 영상 신호를 YCbCr 영상 신호로 변환하는 색신호 처리부(14)와, 상기 YCbCr 영상 신호를 이용하여 영상의 왜곡을 보정하는 왜곡보정부(15) 및 상기 왜곡 보정된 영상신호의 Y 영상 신호를 이용하여 노이즈 제거 및 윤곽선 강조처리를 수행하고, 상기 왜곡 보정된 영상신호의 CbCr 영상 신호를 이용하여 색상 조정처리를 수행하는 영상신호 후처리부(16)를 포함한다.

이에 더하여, 상기 영상신호 후처리부(16)에서 출력되는 영상신호의 해상도를 디스플레이 출력방식에 따라 변환하는 해상도 변환부(17) 및 변환된 영상신호를 디스플레이 출력 방식에 따른 아날로그 신호로 변환하는 인코더(18)을 더 포함할 수 있다.

본 발명에 따른 왜곡 영상 보정 기능을 갖는 영상처리 장치의 구성요소들, 즉, 영상신호 전처리부(13), 색신호 처리부(14), 왜곡보정부(15), 영상신호 후처리부(16), 해상도 변환부(17) 및 인코드(18)는 하나의 왜곡보정 IC(집적회로)로 구현되어 지상촬영 카메라(100, 도 7 참조)에 탑재된다.

여기에서, 상기 IC로 구현된 구성중 상기 영상신호 전처리(13)부는 이미지센서(12)로부터 출력되는 베이어 포맷의 디지털 영상 신호를 처리할 수 있다.

예컨대, 상기 영상신호 전처리부(13)는 화상의 주변부 광량 저하 현상을 보정하기 위한 렌즈 쉐이딩 보정회로, 이미지센서(12)의 다크 픽셀에 의한 영상 열화를 보정하기 위한 검정색 레벨 보정회로, 오류가 발생한 픽셀을 보상하기 위한 결함 픽셀 보상회로, 주변 화소들과의 색상을 고려하여 베이어 포맷의 영상을 RGB 포맷의 영상으로 변환하는 색보간 회로 등을 포함할 수 있다.

아울러, 상기 색신호 처리부(14)는 RGB 매트릭스(RGB Matrix), 오토 화이트 밸런스(Auto White Balance), 감마 보정회로, 오토 콘트라스트 회로(Auto RGB Contrast)와 같은 영상의 색을 재현하기 위한 회로들을 포함할 수 있다.

또한, 상기 색신호 처리부(14)는 RGB 영상 신호를 휘도 신호(Y)와 색 신호(CbCr)가 분리된 YCbCr 데이터로 변환하여 출력할 수 있다.

특히, 상기 색신호 처리부(14)에서 출력되는 YCbCr 신호는 Y:Cb:Cr을 4:2:2 포맷으로 작성하여 색신호의 데이터량을 감소시킴으로써 이후 왜곡 보정부에서 수행되는 영상의 왜곡 보정에 소요되는 연산량을 감소시키는 것이 바람직하다.

뿐만 아니라, 상기 색신호 처리부(14)에 포함된 오토 콘트라스트 회로는 통상적인 영상 처리 회로에 포함되지 않은 영상처리회로로서, 전장용 카메라 시스템에 있어서 역광 환경이나 야간 저조도 환경에서도 사용자가 영상을 인지 할 수 있도록 영상의 밝기와 색을 보정하는 기능을 수행할 수 있다.

이를 테면, 상기 오토 콘트라스트 회로는 입력되는 RGB 영상 신호로 얻어진 휘도 신호(Y)의 히스토그램을 분석하고, 분석된 히스토그램의 분포에 따라서 사전에 설정된 색보정을 위한 보정 데이터 테이블을 변경할 수 있다.

이어, 상기 오토 콘트라스트 회로는, 입력되는 영상 신호에 대해 상기　수정된 보정 데이터 테이블을 참조하여 색레벨 보정(Color Level Correcction)과 색대비보정(Color Contrast)의 두가지 영상처리를 수행하고, 상기 색레벨 및 색대비가 보정된 영상 신호를 출력할 수 있다.

이를 통해, 다양한 조도 환경에서도 선명하고 고품질의 영상을 확보할 수 있다.

그리고, 상기 왜곡 보정부(15)는 색신호 처리부(14)에서 출력되는 YCbCr 영상 신호를 이용하여 영상의 왜곡을 보정할 수 있다.

도 2는 상기 왜곡 보정부(15)를 더욱 상세하게 도시한 블록구성도이다.

도 2를 참조하면, 상기 왜곡 보정부(15)는 입력된 휘도와 채도 신호를 저장하는 라인 메모리(line Memory)를 포함하는 라인 메모리부(152)와, 미리 결정된 왜곡 보정 파라미터를 기록한 왜곡보정 테이블(155)과, 영상에서 보정하고자 하는 위치의 좌표를 산출하는 거리좌표 산출부(151), 보정 테이블로부터 왜곡 정보를 산출하여 해당 좌표의 보정 파라미터를 연산하는 보정 파라미터 산출부(154)와, 보정 파라미터를 이용하여 보정하고자 하는 위치의 보정량을 산출하는 보정량 산출부(156)와, 상기 보정량을 참조하여 상기 라인 메모리부(152)로부터 데이터를 취득하는 데이터 취득부(157) 및 취득한 데이터를 이용하여 보정하고자 하는 위치에 대한 보간을 수행하여 보정 데이터를 산출 및 출력하는 데이터 보간부(158)를 포함한다.

이때, 상기 왜곡보정 테이블(155)은 미리 결정된 왜곡 보정 파라미터를 기록할 수 있다.

일반적으로 보정에 사용되는 테이블은 영상의 전 화소에 대응되는 보정 파라미터를 테이블에 저장하고 있으며, 왜곡 보정 알고리듬을 통해 보정 테이블에 저장된 보정 정보를 이용하여 화상 메모리로부터 필요한 영상 신호를 취득하여 보간하는 방식으로 왜곡을 보정이 수행된다.

이러한 일반적인 방식은 보정 테이블에 저장되어야 하는 데이터 양이 방대하여 보정 테이블을 구성하기 위한 회로 규모가 커지고 테이블을 갱신하는 데에 어려움이 있다.

그러나, 본 발명에 따른 왜곡보정 테이블(155)에 저장되는 왜곡 보정을 위한 파라미터는 영상의 중심점을 기준으로 각 (x,y)좌표와의 거리에 따른 수직과 수평 방향의 렌즈의 왜곡 변화율을 고려하여 미리 측정되어지고, 측정된 왜곡 보정 파라미터는 수평과 수직 방향에 대하여 고정 분할(Fixed Partitioning) 방법으로 기록함으로써 보정 테이블을 위한 회로 규모를 최소화 할 수 있다.

그리고, 상기 라인메모리부(152)는 복수의 라인 메모리를 포함할 수 있다.

도 4는 상기 라인 메모리부의 구조를 더욱 상세하게 도시한 도면이다.

도 4를 참조하면, 상기 라인 메모리는 영상신호가 갖는 YCbCr 데이터를 저장하기 위한 것으로 SPSRAM(Single Port SRAM)을 이용하여 라인 메모리 형태로 구성함으로써 회로 규모 축소와 함께 실시간 처리가 가능하다.

일반적으로, 라인 메모리의 수는 수직 방향으로의 최대 왜곡 보정량(MAX △y)이 가지는 크기와 동일할 수 있다. 즉, 수직 방향으로 왜곡 보정이 수행될 입력 영상신호의 행(row) 수와 동일할 수 있다.

하지만, 도 3에 도시된 바와 같이 영상 중심의 수직 좌표보다 보정할 수직 좌표가 더 큰 경우,왜곡 보정을 위하여 필요한 라인 메모리의 참조 방향은 역방향이 됨으로 왜곡 보정의 실시간 처리가 불가능해질 수 있다.

이러한 문제의 해결을 위하여, 본 발명은 최대 왜곡 보정량(MAX △y)의 2배의 라인 메모리를 사용하도록 설계할 수 있다.

더하여, 왜곡 데이터들의 수평 방향 좌표, 즉 열(colume)이 짝수 또는 홀수 인지에 따라서 서로 다른 라인 메모리에 저장하도록 설계할 수 있다.

이를 통해, 이후 수행되는 데이터 취득부(157) 데이터 취득 시, 하나의 동작 클럭(CLK)에서 지연없이 동시에 데이터 보간에 필요한 4개의 데이터를 취득할 수 있다.

다시 설명하면, 하나의 동일한 수직 좌표에 해당하는 데이터들은 2개의 라인 메모리를 사용하여 저장된다.

결론적으로, 라인 메모리의 총 갯수는 수직 방향으로의 최대 왜곡 보정량의 4배가 될 수 있으며, 각각의 라인 메모리는 FIFO(First Input First Output) 메모리 형태로 메모리 제어부(153)에 의해 제어되어 필요한 메모리만이 선택되고 동시에 쓰기와 읽기 동작을 수행할 수 있다.

또한, 상기 거리좌표 산출부(151)는 상기 영상에서 왜곡보정이 수행될 위치의 수평 및 수직 방향에 대해 영상의 중심좌표를 기준으로 한 거리 좌표를 산출한다.

그리고, 상기 보정파라미터 산출부(154)는 상기 거리좌표 산출부(151)에 의해 산출된 좌표 정보를 이용하여 상기 왜곡보정 테이블(155)로부터 수평 방향의 보정 파라미터 테이블과 수직 방향의 보정 파라미터 테이블에서 수평방향 보정 파라미터 및 수직방향 보정 파라미터를 구한다.

뿐만 아니라, 상기 보정량 산출부(156)는 상기 보정 파라미터 산출부(154)에서 구한 수평방향 보정 파라미터 및 수직방향 보정 파라미터를 이용하여 영상에서 왜곡보정이 수행될 위치에 대한 수평방향 보정량(△x) 및 수직방향 보정량(△y)을 산출한다.

이렇게 산출된 수평, 수직방향 보정량은, 이후에 설명되는 데이터 취득부(157)가 상기 라인메모리부(152)로부터 데이터 취득하는데 사용되는 라인메모리 위치 및 라인메모리 주소를 산출하는데 이용될 수 있다.

아울러, 상기 데이터 취득부(157)는 상기 수직방향 보정량의 정수부를 이용하여 보정에 사용될 픽셀(보정하고자 하는 위치에 수평방향 및 수직방향으로 각각 인접한 2 개씩의 픽셀)이 저장된 연속된 4 개의 라인메모리를 결정하고, 상기 왜곡보정이 수행될 위치의 수평 좌표와 상기 수평방향 보정량을 합산하고 합산 결과의 정수부의 1/2에 해당하는 값을 갖는 상기 선택된 라인메모리의 어드레스에 저장된 값을 읽어들인다.

예를 들어, 영상에서 보정하고자 하는 위치(보정값을 산출하고자 하는 위치)의 x좌표(수평좌표)가 1.0, y좌표(수직좌표)가 3.0이라고 하고, 보정량 산출부(156)에서 산출된 수평방향 보정량(△x)이 3.45, 수직방향 보정량(△y)이 2.25가 산출되었다고 할 때 이 경우, 보정값을 얻고자 하는 위치에 대응하는 보정 이전 영상에서의 위치는 상기 x좌표에 △x를 가산한 4.45가 요구된다.

이 보정 이전 영상에서 대응되는 위치의 x좌표의 정수 성분인 4.0을 2로 나눈 값이 라인 메모리에 보정 전 화상에 있어서 그 데이터가 저장되어 있는 주소값이 될 수 있으며, 소수 성분인 0.45는 이후 데이터 보간부(158)의 수평방향 데이터 보간에 사용되는 가중치가 될 수 있다.

또한, 보정 이전 영상에서 대응되는 위치의 y좌표는 △y의 정수 성분인 2.0을 이용하여 보정 전 화상에 대응되는 라인 메모리를 포함한 연속된 4개의 라인 메모리 선택 신호를 출력할 수 있으며, 소수 성분인 0.25는 이후 데이터 보간부(158)의 수직방향 데이터 보간에 사용되는 가중치가 될 수 있다.

즉, 보정값을 찾고자 하는 좌표(1,3)에 대응되는 보정 데이터는, 수직방향 보정량에 의해 결정되는 라인 메모리 선택 신호와 x좌표와 수평방향 보정량에 의해 결정되는 어드레스에 의해 출력되는 4개의 보정 전 데이터를 이후 데이터 보간부에서 가중치 연산을 통해 산출될 수 있다.

그리고, 상기 데이터 보간부(158)는 상기 데이터 취득부(157)로부터 읽어들인 네 개의 값에 대해 상기 수평방향 보정량의 소수부를 가중치로 이용하여 수평방향 보간을 수행하고, 상기 수직방향 보정량의 소수부를 가중치로 이용하여 수직방향 보간을 수행하여 상기 왜곡보정이 수행될 위치의 YCbCr값을 결정한다.

도 5을 참조하여 상기 데이터 보간부(158)의 보간 연산 방법에 대해 설명하면 다음과 같다.

도 5에 도시된 것과 같이, 보정하고자 하는 위치, 즉 보정값을 산출하고자 하는 위치의 보정값이 Y이고, 상기 데이터 취득부(157)에 의해 읽어들인 네 개의 데이터가 A, B, C, D 이며, 수평방향 보정량의 소수부가 a이고, 수직방향 보정량의 소수부가 b라고 한다.

도 5에서 도시된 것과 같은 예시에서, 상기 보정값을 산출하고자 하는 위치의 보정값 Y는 하기 식 1과 같이 산출될 수 있다.

[식 1]

X1 = (1-a)A + aB = A + a(B-A)

X2 = (1-a)C + aD = C + a(D-C)

Y = (1-b)X1 + bX2 = X1 + b(X2-X1)

다시, 도 1을 참조하면, 영상신호 후처리부(16)는 왜곡 보정된 영상을 입력받아서 휘도 신호(Y신호)와 채도 신호(CbCr신호)을 분리하여 처리한다.

이때, 휘도 신호 처리부는 왜곡 보정된 영상의 노이즈를 제거하는 노이즈 저감기와 영상의 윤곽선을 보정하고 강조하는 윤곽선 강조 장치를 포함할 수 있으며, 채도 신호 처리부는 색 신호의 노이즈와 위조 신호를 제거하는 위조색 신호 저감기와 색상을 가변하는 색조(Hue)/포화(Saturation) 조정기 등을 포함할 수 있다.

일반적인 왜곡 보정 기법은 상기와 같은 영상신호 후처리부의 최종 출력 신호를 받아서 왜곡 보정을 수행하고 화면 표시장치에 출력하는 방식을 채택하였다.

이에 따라, 영상의 왜곡을 보정하면서 발생하는 노이즈와 위색신호를 제거하지 못하고 데이터를 보간하는 과정에서 영상이 흐려지거나 몽롱해지는 현상이 발생하는 문제점이 발생할 수 있다.

이에 비해, 본 발명은 왜곡 보정회로로부터 출력되는 영상신호에 대해 영상 신호 후처리를 수행함으로써 왜곡 보정 과정에서 발생하는 문제점을 개선할 수 있으며, 이를 통해 우수한 고화질의 영상을 출력할 수 있다.

또한, 상기 해상도 변환부(17)는 상기 영상신호 후처리부(16)에서 출력되는 영상신호의 해상도를 디스플레이 출력방식에 따라 변환할 수 있다.

도 6은 상기 해상도 변환부(17)의 출력 예를 도시한 도면이다.

본 발명에서는 영상의 확대와 변형시 영상의 화질 열화를 방지하기 위하여 통상의 해상도를 갖는 이미지센서보다 더욱 고화소인 160만 화소 이상의 센서를 사용할 수 있다.

따라서, 최종 데이터 처리를 위한 출력방식에 따른 인코더, 예를 들어 NTSC 인코더의 입력을 위하여 720×480 해상도로 변환이 필요할 수 있다.

도 6의 (a)는 초광각렌즈를 통해 이미지센서에 검출된 왜곡 영상을 나타내고, 도 6의 (b)는 본 발명의 왜곡보정 기능을 갖는 영상처리 장치에 의하여 왜곡 보정을 수행하고 스케일러를 거쳐 화면을 3분할 하여 표시한 영상이다.

도시한 바와 같이 영상은 180°이상의 시야각을 가진다.

이러한 영상의 왜곡 보정시 영상의 중심 영역은 왜곡 보정을 모두 수행하나 좌/우 주변부는 사용자의 시각 인지의 편의성을 도모하기 위하여 수직 방향의 왜곡은 70% 정도 보정할 수 있다.

도 6의 (c)는 카메라에서 촬영되는 영상을 해상도 변환부를 거쳐 시야각 140°영상만을 화면에 표시한 영상이다.

사용자의 요구나 표시장치의 형식에 따라 해상도 변환부는 시야각 120°내지 180°범위에서 영상을 자르거나 확대하여 필요한 영역만을 표시할 수 있으며 중심 영역의 영상을 제외한 좌/우 주변부 화상만을 선택하여 표시하거나 사용자가 필요한 일부 영역을 확대하여 표시할 수 있다.

도 6의 (d), (e)는 촬영된 영상의 좌,우 영역만을 화면에 표시하고 또한 필요한 영역만을 확대하여 표현하였다.

도시한 바와 같이 좌,우의 작고 왜곡된 영상은 크고 왜곡이 없는 영상이 얻어지기 때문에 사용자는 대상물을 보다 정확히 파악할 수 있고 차량과 대상물과의 거리도 정확히 파악이 가능하다.

아울러, 상기 인코더(18)는 상기 해상도 변환된 영상신호를 디스플레이 출력 방식에 따른 아날로그 신호로 변환할 수 있다.

예를 들어, 디스플레이 출력 방식이 NTSC 방식인 경우 해상도 변환부에 의하여 720×480 크기로 변환되어 출력되는 휘도 및 채도 데이터가 최종 처리 회로인 NTSC 인코터의 입력으로 들어가 동기신호 및 아날로그 신호로 디스플레이(Display) 장치에 전송될 수 있다.

이에 더하여, 본 발명에서는 도 7 및 도 8의 예시와 같이, 왜곡된 영상정보가 보정된 영상에 좌표값을 표시한 상태로 지도관리서버(300)로 전송할 수 있도록 구성된다.

이때, 지도관리서버(300)는 항공촬영된 항공촬영 영상에 좌표값을 표시한 상태로 영상을 저장하고 있으며, 본 발명에 따라 지상촬영 영상에 좌표값이 표시된 영상정보를 수신하여 상호 매칭시킴으로써 정확한 위치기반 지도 제작이 가능하도록 처리하게 된다.

그리고, 지도 제작과 관련된 처리프로세서는 본 발명의 범주를 벗어나는 것이므로 여기에서는 설명을 생략한다.

본 발명에 따라 지상촬영 영상에 좌표값을 표시하기 위한 처리를 위해 이동차량(C)을 포함한다.

이동차량(C)은 지상에서 움직이면서 지도 제작에 필요한 공간정보를 확보하기 위한 수단이다.

아울러, 상기 이동차량(C)의 상면에는 지지포스트(110)가 설치되고, 상기 지지포스트(110)의 상단에는 지상촬영 카메라(100)가 설치된다.

또한, 상기 이동차량(C)의 운전석에는 컨트롤패널(200)이 설치되고, 상기 컨트롤패널(200)에는 카메라제어기(210)가 탑재되며, 상기 카메라제어기(210)는 상기 지상촬영 카메라(100)와 전기적으로 연결되어 촬영에 관한 모든 것을 제어하게 된다.

특히, 상기 지상촬영 카메라(100)에는 GPS수신기(260)와, 지도관리서버(300)와의 무선통신을 위한 안테나(ANT)가 설치되고, 상기 안테나(ANT)는 업데이트통신부(270)와 연결되며, 상기 GPS수신기(260)는 상기 카메라제어기(210)와 연결된다.

뿐만 아니라, 상기 카메라제어기(210)에는 제1,2,3,4거리측정기(220,230,240,250)가 각각 전기적으로 연결된다.

이때, 상기 제1,2,3,4거리측정기(220,230,240,250)는 레이저거리측정기로서, 도 9의 예시와 같이, 지상촬영 카메라(100)의 렌즈경(102) 보다 크게 렌즈플랜지(104)를 구성하고, 상기 렌즈플랜지(104) 상에 원주방향으로 90°간격을 두고 4개의 레이저거리측정기, 즉 제1,2,3,4거리측정기(220,230,240,250)가 설치된다.

여기에서, 제1,2,3,4거리측정기(220,230,240,250)를 설치하는 이유는 GPS수신기(260)가 수신한 좌표는 지상촬영 카메라(100)의 위치이고, 지상촬영 카메라(100)가 촬상하는 영상은 지상촬영 카메라(100)로부터 일정거리 떨어진 지점이기 때문에 좌표값 표시시 이격거리만큼 보상할 필요가 있기 때문이다.

이 경우, 상기 렌즈경(102)의 크기는 알고 있는 상태이고, 그 중심을 기준으로 촬상시 포커스되기 때문에 포커스될 때 제1,2,3,4거리측정기(220,230,240,250)를 구동시켜 확인되는 거리값을 보상하여 영상의 제1,2,3,4거리측정기(220,230,240,250) 지점에 좌표값을 표시하도록 구성한다.

이때에도 렌즈경(102)의 중심으로부터 각 거리측정기까지의 거리는 이미 알고 있는 상태이므로 이를 반영하여 연산하게 되면 정확한 좌표값을 표시하는데 전혀 문제가 없다.

이를 위해, 상기 카메라제어부(210)에는 좌표연산부(280)가 더 연결되며, 또한 좌표 표시된 영상을 저장하는 좌표표시 영상저장부(290)가 상기 카메라제어부(210)에 더 연결되고, 지도관리서버(300)와의 통신을 위한 업데이트 통신부(270)가 더 연결되는데, 상기 업데이트 통신부(270)에는 안테나(ANT)가 또한 연결된다.

아울러, 상기 카메라제어부(210)에는 도시하지 않았지만, 내장메모리가 탑재되어 있기 때문에 연산, 저장, 갱신 등을 원활하게 수행하게 된다.

이러한 구성으로 이루어진 본 발명은 지상촬영 카메라(100)가 지상 영상을 촬영하면, 상기 지상촬영 카메라(100)에 탑재된 왜곡보정 IC가 왜곡을 보정하고, 보정된 영상정보는 카메라제어기(210)의 내장메모리에 저장된다.

이와 함께, GPS수신기(250)는 위성으로부터 지상촬영 카메라(100)의 위치정보, 즉 좌표정보를 수신하여 카메라제어부(210)로 송신한다.

또한, 상기 지상촬영 카메라(100)가 지상 영상을 촬상할 때 그와 함께 제1,2,3,4거리측정기(220,230,240,250)는 렌즈경(102)을 통한 촬영지점이 포커싱되는 지점까지의 거리를 측정하여 카메라제어기(210)로 송신하고, 카메라제어기(210)는 이 정보를 내장메모리에 저장한다.

이후, 상기 카메라제어기(210)는 좌표연산부(280)를 구동시켜 내장메모리로부터 거리측정 데이터를 꺼내 GPS수신기(250)로부터 수신한 좌표값을 보정하여 촬상된 영상내 정보의 실제 위치에 대한 좌표값을 산출하게 된다.

그리고, 산출된 좌표값은 내장메모리에 저장되며, 연산은 앞서 설명하였듯이 렌즈경(102)의 중심으로부터 이격된 각 거리측정기까지의 거리(높이차, 좌우폭 등의 정보로 활용), 거리측정기가 계측한 촬상대상물과 지상촬영 카메라(100) 사이의 거리 정보를 이용하여 GPS수신기(250)가 수신한 좌표값을 보정하게 된다.

이렇게 하여, 보정된 좌표값이 산출되면 카메라제어기(210)는 해당 영상의 거리측정기 위치에 대응되는 지점(이미 프로그램적으로 설정되게 함)에 좌표값을 표시하고, 좌표값이 표시된 상태로 지상촬영 영상을 좌표표시 영상저장부(280)에 순차로 저장한다.

이렇게 하여, 좌표 표시가 완료되면 카메라제어기(210)는 업데이트 통신부(270)를 통해 지도관리서버(300)와 무선통신하게 하고, 무선통신시 수신된 제어신호에 따라 좌표표시 영상저장부(280)에 저장된 지상촬영 영상을 송신한다.

그러면, 지도관리서버(300)는 좌표가 표시된 지상촬영 영상과, 또한 좌표가 표시된 항공촬영 영상을 서로 오버랩 등 여러가지 매칭기술을 통해 매칭시켜 촬상 대상물에 대한 정확한 위치정보를 얻고, 두 영상을 통해 보다 더 정확하고 정교한 입체영상을 얻으며, 이를 기반으로 정확도가 높은 지도를 제작할 수 있게 된다.

이에 더하여, 도 10의 예시와 같이, 지지포스트(110)를 승하강시킴으로써 장애물 간섭회피는 물론 보관유지성을 좋게 하되, 아주 간단하고 단순하지만 효율적인 동작과 관리가 가능하도록 더 구현할 수 있다.

이를 위해, 본 발명에서는 이동차량(C)의 상면에 고정원통(120)을 고정하고, 상기 고정원통(120)의 내경에는 반원형상의 전자석(130) 두 개를 내장하며, 상기 전자석(130)은 앞서 설명한 카메라제어기(210)와 전기적으로 연결된다.

그리고, 상기 고정원통(120)을 관통하여 끼워지는 지지포스트(110)는 상기 이동차량(C)의 상면을 관통하여 이동차량(C) 내부로 하단이 진입되어 노출되게 배치되며, 전자석(130)에 반응할 수 있도록 금속재, 특히 경금속으로 제조된다.

이때, 상기 지지포스트(110)의 하단부에는 하단면으로부터 일정거리 떨어진 지점에 스프링고정플랜지(112)가 형성된다.

또한, 상기 지지포스트(110)와 일직선을 이루는 직하방지점인 이동차량(C)의 바닥면에는 스프링수납통(140)이 고정된다.

아울러, 상기 스프링수납통(140)에는 스프링(150)의 일단이 고정되고, 상기 스프링(150)의 타단은 상기 지지포스트(110)의 하단에 끼워진 다음 상기 스프링고정플랜지(112) 상에 걸려 고정된다.

때문에, 상기 지지포스트(110)는 스프링(150)의 미는 힘에 의해 항상 상승하려고 하게 된다.

그러나, 상기 지지포스트(110)의 하단 중심에는 와이어고리(114)가 구비되고, 상기 와이어고리(114)에는 높이조절와이어(W)가 결속되어 당기고 있기 때문에 지지포스트(110)는 임의로 상승하지 못한다.

그리고, 상기 높이조절와이어(W)의 타단은 상기 스프링수납통(140)의 원중심을 관통하여 이동차량(C) 하부로 노출되고, 이동차량(C)의 저면에 설치된 제1,2안내롤(160,170)을 경유한 후 다시 이동차량(C) 내부로 들어온 뒤 이동차량(C)의 내부 바닥면에 설치된 드럼모터(190)의 모터축에 고정된 와이어드럼(180) 상에 감기도록 연결된다.

아울러, 상기 드럼모터(190)는 상기 카메라제어기(210)와 연결되어 제어를 받게 된다.

따라서, 지상촬영 카메라(100)의 위치를 높이고자 할 때는 와이어드럼(180)을 풀고, 낮추고자 할 때는 와이어드럼(180)을 감아줌으로써 스프링(150)의 탄성을 조절하여 지상촬영 카메라(100)의 높낮이를 쉽고 빠르게 조절할 수 있다.

한편, 상기 지상촬영 카메라(100)는 외부에 노출된 상태로 유지되기 때문에 방습성, 방오성, 내부식성이 높은 코팅제로 표면이 코팅처리된다.

이러한 코팅제는 폴리에스테르 수지와, 상기 폴리에스테르 수지 100중량부에 대해 징크플레이크(Zinc flake) 6중량부, 멜라민수지 2중량부, 알킬아크릴레이트 3중량부, 에틸렌글리콜모노메틸에테르 5중량부, 프로피온산(Propionic acid) 4중량부, 메틸렌비스스테아릴아미드 5중량부, 산화아연(Zinc chloride) 8중량부, 옥토크릴렌(Octocrylene) 5중량부를 포함하여 이루어진다.

이때, 상기 징크플레이크는 아연산화피막을 형성하여 도장면의 내부식성을 강화한다.

뿐만 아니라, 상기 멜라민수지는 상기 폴리에스테르 수지를 경화시켜 도막 안정성을 높이면서 이를 통해 피착면에 대한 밀착력을 높여 도막 내부로의 투습방지 효과를 증대시키고 내열성을 강화하기 위해 첨가된다.

때문에, 이 특성을 가장 잘 구현하기 위해서는 멜라민수지 중에서도 부톡시계 멜라민수지가 가장 바람직하다.

또한, 상기 알킬아크릴레이트도 도막의 밀착력을 높여 수분 침투를 막고 내식성을 강화시키기 위해 첨가된다.

그리고, 상기 에틸렌글리콜모노메틸에테르는 접착성을 강화시키기 위해 첨가되며, 부착력을 강하게 하여 내구성을 높이는데 기여하며, 신축변형성이 우수하여 굴신시에도 박리성을 억제하는 특징이 있다.

뿐만 아니라, 상기 프로피온산은 코팅층 보존력을 증대시키면서 염해 저항성을 높이기 위해 첨가된다.

또한, 상기 메틸렌비스스테아릴아미드는 윤활성을 증대시키기 코팅액의 점도를 조절하고 코팅특성을 향상시키기 위해 첨가된다.

아울러, 상기 산화아연은 자외선을 반사 산란시켜 차단시키는 우수한 자외선 차단력을 갖는 성분이며, 본 발명에서는 자외선 차단을 통해 외표면의 변색, 들뜸, 국부 탈락 현상 등을 억제하기 위해 첨가된다.

또한, 상기 옥토크릴렌은 2-에칠헥실2-시아노-3-페닐신나메이트를 말하는 맑은 황색의 액체로서, 강한 방수성을 함께 갖기 때문에 본 발명에서는 내식성을 증대시키기 위한 주요성분중 하나로 포함된다.

이와 같이 조성된 코팅제에 대한 특성을 평가하기 위해 사각판상의 플라스틱 표면에 두께 1mm로 스프레이 코팅하여 코팅막을 형성한 후 코팅막에 대한 내부식성을 테스트하였다.

내부식성 테스트는 시료를 15℃에서 0℃까지 변화시키면서 물과 흙탕물 및 모래를 번갈아가면서 비산 혹은 투석하는 실험을 5일간 2시간씩 연속적으로 수행하였다.

실험결과, 코팅막에서 부식성이 전혀 보이지 않았고, 도막 밀착성도 뛰어나 도막이 박리되는 현상도 없었다.

또한, 염해저항성을 확인하기 위해, 염수분무시험도 병행하였는데, 시험결과 부식이 발생되지 않았고, 염해 피해도 없었으며, 변색도 발생하지 않았다.

11: 초광각렌즈 12: 이미지센서
13: 영상신호 전처리부 14: 색신호 처리부
15: 왜곡보정부 16: 영상신호 후처리부
17: 해상도 변환부 18: 인코더

Claims

초광각렌즈를 통해 검출된 영상의 왜곡을 보정하는 영상처리 장치의 사전 설정된 최종 출력 영상의 화소보다 더 많은 수의 화소로 영상을 검출하여 출력하는 이미지센서; 상기 이미지센서에서 출력되는 베이어 포멧의 영상신호로부터 RGB 영상 신호를 생성하는 영상신호 전처리부; 상기 RGB 영상 신호를 YCbCr 영상 신호로 변환하는 색신호 처리부; 상기 YCbCr 영상 신호를 이용하여 영상의 왜곡을 보정하는 왜곡보정부; 상기 왜곡 보정된 영상신호의 Y 영상 신호를 이용하여 노이즈 제거 및 윤곽선 강조처리를 수행하고, 상기 왜곡 보정된 영상신호의 CbCr 영상 신호를 이용하여 색상 조정처리를 수행하는 영상신호 후처리부; 및 상기 영상신호 후처리부에서 출력되는 영상 신호를 상기 사전 설정된 최종 출력 영상의 화소수로 변환하도록 왜곡보정 IC로 형태로 구현되어 지상촬영 카메라(100)에 탑재된 해상도 변환부;를 포함하는 영상처리 장치에 있어서,
상기 지상촬영 카메라(100)는 지상에서 움직이는 이동차량(C)의 상면에 설치된 지지포스트((110) 상에 고정되고;
상기 이동차량(C)의 운전석에는 컨트롤패널(200)이 설치되며;
상기 컨트롤패널(200)에는 내장메모리를 갖춘 카메라제어기(210)가 탑재되고;
상기 지상촬영 카메라(100)에는 GPS수신기(260)와, 지도관리서버(300)와의 무선통신을 위한 안테나(ANT)가 설치되고, 상기 안테나(ANT)는 업데이트통신부(270)와 연결되며, 상기 업데이트통신부(270)와 GPS수신기(260)는 상기 카메라제어기(210)와 연결되고;
상기 카메라제어기(210)에는 제1,2,3,4거리측정기(220,230,240,250)가 각각 전기적으로 연결되는데, 상기 제1,2,3,4거리측정기(220,230,240,250)는 지상촬영 카메라(100)의 렌즈경(102) 보다 큰 직경을 갖는 렌즈플랜지(104) 상에 원주방향으로 90°간격을 두고 4개 설치되며;
상기 카메라제어기(210)에는 측정 정보를 토대로 피사체의 실제 위치정보를 산출하는 좌표연산부(280)가 더 연결되고;
상기 카메라제어기(210)에는 산출된 실제 좌표값이 표시된 영상을 저장하는 좌표표시 영상저장부(290)가 더 연결되어 상기 왜곡보정 IC로부터 얻은 왜곡이 보정되고 해상도 변환부를 거쳐 변환된 영상에 그 영상의 실제 좌표값을 표시하여 지도제작서버(300)로 송신토록 구성된 것을 특징으로 하는 영상정보의 오류를 보정하는 영상처리장치.