KR20110116387A

KR20110116387A - 촬상 장치 및 영상 왜곡 보정 방법

Info

Publication number: KR20110116387A
Application number: KR1020100035771A
Authority: KR
Inventors: 박창진
Original assignee: 클레어픽셀 주식회사
Priority date: 2010-04-19
Filing date: 2010-04-19
Publication date: 2011-10-26

Abstract

촬상 장치 및 영상 왜곡 보정 방법이 개시된다. 촬상 장치는 영상 왜곡을 보정하기 위한 왜곡보정 매핑 테이블이 출력 영상의 해상도 크기를 분할하도록 구획된 복수의 영역들에 각각 대응되도록 분할된 부분 왜곡보정 매핑 테이블이 저장되는 저장부; 및 촬상 소자부로부터 입력되는 원시 영상 정보에 대해 상기 부분 왜곡보정 매핑 테이블을 이용하여 영상 왜곡 보정 처리를 수행하는 왜곡 보정부를 포함한다. 본 발명에 의해, 광각 렌즈가 구비된 촬상 장치에서 발생되는 영상 왜곡이 보다 효과적이고 효율적으로 보정 처리될 수 있다.

Description

촬상 장치 및 영상 왜곡 보정 방법{Image pickup device and image distortion correction method}

본 발명은 촬상 장치에 관한 것으로, 특히 촬상 장치 및 영상 왜곡 보정 방법에 관한 것이다.

최근 출시되는 차량에는 전방 카메라, 후방 카메라, 차량용 블랙박스형 카메라 등 자동차 카메라 장착이 점차 필수 옵션으로 채택되고 있다. 또한, 기존 차량에 전술한 카메라를 장착하고자 하는 다양한 시도들도 이루어지고 있다.

참고로, 전방 카메라는 운전자 전방 사각지대를 모니터링하여 안전한 주행을 돕기 위한 용도로 활용되고, 후방 카메라는 차량 후진시 운전자의 시야확보가 어려운 영역을 보여주거나 주차시 가이드라인을 제공하기 위한 용도로 활용되며, 차량용 블랙박스형 카메라는 차량의 사고 당시 상황을 촬영하거나 주차시 외부 상황을 촬영하기 위한 용도로 활용된다.

이와 같은 차량용 카메라는 운전자의 안전 운전을 도모하고, 주차시의 편리성을 높여주며, 사고시의 시시비비를 조기에 확정할 수 있다는 장점으로 인해 빠르게 시장을 확대해가고 있다.

그러나, 차량용 카메라가 전술한 장점을 가질 수 있도록 하기 위해서는 보다 확실한 영상 데이터의 확보가 중요하지만, 렌즈의 구면 수차 및 촬상 소자의 구조적인 문제로 인해 화면 또는 이미지의 주변이 일그러지는 왜곡이 발생할 수 있다.

도 1에는 렌즈의 구면 수차 등의 요인으로 인해 모니터 상에 표시된 디지털 영상에 발생되는 기하학적 왜곡(geometrical distortion)의 유형들이 예시되어 있다.

도 1의 (a)는 정사각형 그리드(rectangular grid)로 표현되는 피사체를 도시한 도면이고, 도 1의 (b)는 (a)에 도시된 정사각형 그리드 이미지의 (-) 왜곡인 배럴 왜곡(barrel distortion)을 도시한 도면이며, 도 1의 (c)는 (a)에 도시된 정사각형 그리드 이미지의 (+) 왜곡인 핀 쿠션 왜곡(pincushion distortion)을 도시한 도면이다.

이와 같은 기하학적 왜곡은 피사체가 카메라 렌즈 시스템의 광 축에 위치하지 않을 때 발생되는 광 수차(optical aberration)의 일종이라 할 수 있다.

기하학적 왜곡을 감소시키기 위해서는 보다 정교하고 성능이 우수한 렌즈 시스템을 촬상 장치(즉, 카메라)에 장착할 필요가 있으나, 성능이 보다 우수한 렌즈를 이용하는 경우 카메라의 무게, 크기 및 비용이 증가될 수 있다.

특히 소형 카메라의 사용 빈도가 증가함에 따라 촬상 소자 및 기타 부품의 소형화와 화소수의 증가에 따라 왜곡 정도가 점점 더 심해지고 있는 실정이며, 이외에도 주행, 감시, 의료 영상 등의 요구에 따라 광각 카메라 영상의 필요성이 증대되고 있는데, 광각 카메라의 경우에는 배럴 왜곡이 발생되는 문제점이 있다.

따라서, 촬상 장치에 의해 촬영되는 영상에 발생되는 왜곡을 보다 효율적으로 보정하기 위한 방안이 요구된다.

전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.

본 발명은 광각 렌즈(어안 렌즈)가 구비된 촬상 장치에서 발생되는 영상 왜곡이 보다 효과적이고 효율적으로 보정 처리될 수 있도록 하는 촬상 장치 및 영상 왜곡 보정 방법을 제공하기 위한 것이다.

또한, 본 발명은 다 분할된 왜곡보정 매핑 테이블을 이용하여 영상 왜곡에 대한 보정 처리시 작업 메모리의 활용도가 극대화되고, 처리 시간을 단축시킬 수 있으며, 전력 소모를 감소시킬 수 있어 발열 특성이 개선될 수 있도록 하는 촬상 장치 및 영상 왜곡 보정 방법을 제공하기 위한 것이다.

또한, 본 발명은 차량 운전자의 편의와 안전을 위해 차량용 카메라에 구비된 광각 렌즈에 의해 왜곡된 영상을 보정하여 실시간으로 표시함으로써 운전자에게 보다 직관적이고 편리한 주변정보를 제공할 수 있도록 하는 촬상 장치 및 영상 왜곡 보정 방법을 제공하기 위한 것이다.

본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.

본 발명의 일 측면에 따르면, 촬상 장치에 있어서, 영상 왜곡을 보정하기 위한 왜곡보정 매핑 테이블(LUT)이 출력 영상의 해상도 크기를 분할하도록 구획된 복수의 영역들에 각각 대응되도록 분할된 부분 왜곡보정 매핑 테이블이 저장되는 저장부; 및 촬상 소자부로부터 입력되는 원시 영상 정보에 대해 상기 부분 왜곡보정 매핑 테이블을 이용하여 영상 왜곡 보정 처리를 수행하는 왜곡 보정부를 포함하는 촬상 장치가 제공된다.

상기 영상 왜곡 보정 처리는 출력 영상의 해상도 크기를 분할하기 위해 구획된 영역별로 순차적 수행될 수 있다.

상기 왜곡 보정부는 상기 원시 영상 정보를 상기 부분 왜곡보정 매핑 테이블에 대응되는 영역들로 분할하여 영상 왜곡 보정 처리를 수행할 수 있다.

상기 촬상 소자부는 110도 이상의 시야각을 가지는 광각 렌즈를 포함할 수 있다.

상기 왜곡 보정부는 상기 영상 왜곡 보정 처리된 영상 정보를 표시부를 통해 출력될 표시 데이터로 변환하여 출력할 수 있다.

상기 부분 왜곡보정 매핑 테이블들은 상기 왜곡보정 매핑 테이블이 상기 해상도 크기를 수직적 또는 수평적으로 분할하여 생성된 n개의 영역에 각각 대응되도록 생성되되, 상기 n은 임의의 자연수일 수 있다.

상기 영상 왜곡은 배럴 왜곡(barrel distortion) 또는 핀 쿠션 왜곡(pincushion distortion)일 수 있다.

본 발명의 다른 측면에 따르면, 촬상 장치의 왜곡 보정부에서 수행되는 영상 왜곡 보정 방법에 있어서, 촬상 소자부로부터 입력되는 원시 영상 정보에 대해 미리 지정된 크기의 영역들로 분할하는 단계; 및 저장부에 미리 저장된 부분 왜곡보정 매핑 테이블을 이용하여 상기 원시 영상 정보에 대한 영상 왜곡 보정 처리를 수행하는 단계를 포함하되, 상기 부분 왜곡보정 매핑 테이블은 영상 왜곡을 보정하기 위한 왜곡보정 매핑 테이블이 출력 영상의 해상도 크기를 분할하도록 미리 지정된 크기로 구획된 복수의 영역들에 각각 대응되도록 분할된 것을 특징으로 하는 영상 왜곡 보정 방법이 제공된다.

상기 영상 왜곡 보정 처리는 상기 원시 영상 정보에 대해 출력 영상의 해상도 크기를 분할하기 위해 구획된 영역별로 순차적 수행될 수 있다.

상기 영상 왜곡 보정 방법은, 상기 영상 왜곡 보정 처리된 영상 정보를 표시부를 통해 출력될 표시 데이터로 변환하여 출력하는 단계를 더 포함할 수 있다.

본 발명의 실시예에 따르면, 광각 렌즈(어안 렌즈)가 구비된 촬상 장치에서 발생되는 영상 왜곡이 보다 효과적이고 효율적으로 보정 처리될 수 있도록 하는 효과가 있다.

또한, 다 분할된 왜곡보정 매핑 테이블을 이용하여 영상 왜곡에 대한 보정 처리시 작업 메모리의 활용도가 극대화되고, 처리 시간을 단축시킬 수 있으며, 전력 소모를 감소시킬 수 있어 발열 특성이 개선될 수 있도록 하는 효과도 있다.

또한, 차량 운전자의 편의와 안전을 위해 차량용 카메라에 구비된 광각 렌즈에 의해 왜곡된 영상을 보정하여 실시간으로 표시함으로써 운전자에게 보다 직관적이고 편리한 주변정보를 제공할 수 있도록 하는 효과도 있다.

도 1은 디지털 영상에 발생되는 기하학적 왜곡(geometrical distortion)의 유형들을 예시한 도면.
도 2는 본 발명의 일 실시예에 따른 촬상 장치의 구성을 개략적으로 나타낸 도면.
도 3은 출력 해상도에 따른 픽셀을 상대 위치를 나타낸 도면.
도 4는 본 발명의 일 실시예에 따른 양선형 보간법(Bilinear Interpolation)을 나타낸 도면.
도 5는 본 발명의 일 실시예에 따른 왜곡보정 매핑 테이블(LUT, Look-Up Table)의 분할 형태를 예시한 도면.
도 6은 본 발명의 일 실시예에 따른 왜곡 보정 과정을 개략적으로 나타낸 도면.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 명세서에 기재될 수 있는 "…부", "…기", "모듈", "유닛" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명한다.

도 2는 본 발명의 일 실시예에 따른 촬상 장치의 구성을 개략적으로 나타낸 도면이고, 도 3은 출력 해상도에 따른 픽셀을 상대 위치를 나타낸 도면이며, 도 4는 본 발명의 일 실시예에 따른 양선형 보간법(Bilinear Interpolation)을 나타낸 도면이고, 도 5는 본 발명의 일 실시예에 따른 왜곡보정 매핑 테이블(LUT, Look-Up Table)의 분할 형태를 예시한 도면이다.

도 2를 참조하면, 촬상 장치(200)는 촬상 소자부(210), 이미지 센서부(220), 왜곡 보정부(230), 제1 메모리(240), 작업 메모리(250) 및 제2 메모리(260)을 포함할 수 있다. 촬상 장치(200)는 입력부, 표시부 등을 더 포함할 수 있으나, 본 발명의 요지와는 다소 거리감이 있으므로 이에 대한 설명은 생략하기로 한다. 또한, 후술되는 바와 같이, 제1 메모리(240)는 착탈식 저장매체로 구현될 수도 있다.

촬상 소자부(210)는 촬상 장치(200)의 촬영 동작시 반사광을 입사받고, 입사된 광신호의 세기(즉, 빛의 세기)에 상응하는 전기적인 신호(이하, 원시 영상 정보라 칭함)를 생성하여 출력한다. 촬상 소자부(210)는 렌즈(215) 및 이미지 센서(220)을 포함할 수 있으며, 렌즈(215)는 110도 이상의 시야각을 가지는 광각 렌즈일 수 있다.

또한, 도시되지는 않았으나, 촬상 소자부(210)는 원시 영상 정보에서 불필요한 전기신호인 노이즈 성분을 제거하기 위한 노이즈 제거부, 아날로그 신호인 원시 영상 정보를 디지털 신호로 변환하기 위한 신호 변환부 등을 더 포함할 수도 있다.

왜곡 보정부(230)는 미리 설정된 그리드 패턴을 구성하는 각 픽셀(즉, 이미지 센서(220)의 개체 단위)에 대한 좌표값과 이에 대한 변위값이 저장된 왜곡보정 매핑 테이블(LUT, Look-Up Table)과 미리 저장된 보간 알고리즘을 이용하여 원시 영상 정보에 대한 왜곡 보정 처리를 수행한다.

왜곡보정 매핑 테이블은 후술되는 바와 같이, 설정된 출력 해상도 기준으로 예를 들어, 2분할, 3분할, 4분할 등과 같이 복수 영역으로 분할되어질 수 있으며, 왜곡 보정부(230)는 촬상 소자부(210)로부터 입력되는 원시 영상 정보를 왜곡보정 매핑 테이블이 분할된 기준에 부합하도록 분할한 후 왜곡보정 매핑 테이블을 적용할 수 있다. 왜곡보정 매핑 테이블 및 보간 알고리즘 각각은 제1 메모리(240) 및 제2 메모리 중 하나 이상에 각각 저장될 수 있다.

예를 들어, 왜곡 보정부(230)는 원시 영상 정보에서 왜곡보정 매핑 테이블에 저장된 좌표값에 해당되는 픽셀에 대한 좌표값을 변경함으로써 렌즈의 왜곡 수차 특성에 의해 왜곡된 영상의 픽셀 좌표값을 보정한 후, 보간 알고리즘을 이용하여 픽셀에 대한 색을 보간 처리한다.

왜곡 보정부(230)는 도 5에 예시된 분할된 왜곡보정 매핑 테이블과 촬상 소자부(210)로부터 입력되는 원시 영상 정보를 분할된 왜곡보정 매핑 테이블과 동일한 크기로 분할하여 왜곡보정 처리를 수행함으로써 신속하고 안정성 높은 처리가 가능하다.

즉, 광각 렌즈를 이용하여 입력되는 영상의 왜곡을 보정하기 위해 후술되는 보간 처리(얘를 들어 양선형 보간 등)가 수행되는데, 이때 다수의 픽셀 데이터를 작업 메모리(250)에 저장하고 삭제하는 등의 과정에서 소요되는 시간이 결과적으로 처리 속도를 저하시키는 원인이 된다.

일반적으로, 원시 영상 정보는 예를 들어 Unwrap 함수를 이용하여 4 픽셀을 이용한 보간 처리가 수행되므로 같은 픽셀 데이터를 네 번 반복하여 읽어야 한다.

그러나, 종래 기술에 따른 왜곡보정 매핑 테이블 적용 방식에서는 출력 영상의 해상도가 640x480인 경우 가로 1 라인을 처리할 때 보간 처리를 위해 640개 이상의 픽셀 데이터가 작업 메모리(250)에 저장되어 후속하는 라인에 대한 보간 처리시 기존에 저장된 픽셀 데이터들이 삭제된(저장 공간 비움) 후 다시 필요한 픽셀 데이터들이 저장되는 과정이 필요하다. 즉, 첫 번째 라인 및 두 번째 라인을 이용하여 보간 처리를 수행하는 경우 1280개의 픽셀 데이터가 작업 메모리(250)에 저장되어 보간 처리된 후, 후속 라인에 대한 보간 처리를 위해 작업 메모리(250)의 저장 용량 제한 등의 이유로 이미 저장된 데이터를 모두 제거한 후 다시 두 번째 라인 및 세 번째 라인에 대한 픽셀 데이터들이 다시 저장되어야 한다. 따라서, 작업 메모리(250)에 저장된 데이터의 재활용이 불가능하게 되어, 처리 시간이 증가되며 또한 오처리의 가능성이 높아지는 문제점이 있다.

그러나 전술한 비효율적 문제를 개선한 본 발명의 실시예에 따르면, 복수의 영역들로 분할된 왜곡보정 매핑 테이블(Look-up Table)을 적용하는 방안이 제시되고 있다.

분할된 왜곡보정 매핑 테이블의 크기에 부합하도록 촬상 소자부(210)로부터 입력되는 원시 영상 정보도 분할되며, 각 픽셀 데이터에 대한 보간 처리는 분할된 영역별로 처리된다. 다만, 분할된 영역의 마지막 열 또는 행에 위치하는 픽셀 데이터에 대한 보간 처리를 위해 4개의 픽셀 데이터가 요구되므로 인접된 후속 분할 영역의 첫 번째 열 또는 행에 위치하는 픽셀 데이터가 작업 메모리(250)에 추가적으로 저장될 필요는 있을 것이다.

즉, 도 5에 예시된 바와 같이, 왜곡보정 매핑 테이블을 복수의 영역으로 분할하여 이용하는 경우, 작업 메모리(250)에 저장된 픽셀 데이터를 순차적으로 보간 처리할 때 작업 메모리(250)의 저장 용량 제한 등의 이유로 기존에 저장된 데이터를 삭제할 필요없이 저장된 데이터의 재활용이 가능해질 수 있어 처리 속도의 증진, 효율적 처리에 따른 전력소모 절감 및 발열특성이 개선되는 장점이 있다.

참고로, 본 출원인은 도 5의 (a)와 같이 가로 4분할 왜곡보정 매핑 테이블을 이용하는 경우 약 10%의 처리 속도 개선 효과를, (b)와 같이 가로 2분할 왜곡보정 매핑 테이블을 이용하는 경우 약 5%의 처리 속도 개선 효과가 얻어짐을 실험적으로 확인하였다.

왜곡 보정부(230)에 의해 보정 처리된 원시 영상 정보는 표시부(도시되지 않음)를 통해 출력되거나 임의의 저장 매체에 저장될 수 있다. 원시 영상 정보를 표시부를 통해 출력 가능한 영상 정보로 변환하기 위한 영상 처리부(도시되지 않음)가 왜곡 보정부(230)에 포함되거나 왜곡 보정부(230) 후단에 결합되어 포함될 수 있다.

제1 메모리(240)는 LUT(왜곡보정 매핑 테이블) 생성기(270)에 의해 생성된 왜곡보정 매핑 테이블을 저장한다. 제1 메모리(240)에 저장되는 왜곡보정 매핑 테이블은 도 5에 예시된 바와 같이 미리 지정된 수량으로 분할될 수 있다. 도 5를 참조하면, (a)는 가로 4분할된 왜곡보정 매핑 테이블을, (b)는 가로 2분할된 왜곡보정 매핑 테이블을, (c)는 세로 4분할된 왜곡보정 매핑 테이블을, (d)는 세로 4분할된 왜곡보정 매핑 테이블을 각각 예시한다. 왜곡보정 매핑 테이블은 LUT 생성기(270)에 의해 복수의 영역들로 분할되어 제1 메모리(240)에 저장되거나, LUT 생성기(270)에 의해 생성되어 제1 메모리(240)에 저장된 왜곡보정 매핑 테이블이 왜곡 보정부(230)에 의해 복수의 영역으로 분할되어 제1 메모리(240)에 재저장될 수도 있다.

제1 메모리(240)는 촬상 장치(200) 내의 내장형 저장 매체이거나, 착탈식 저장매체일 수 있고, 예를 들어 플래시 메모리일 수 있다. LUT 생성기(270)는 촬상 장치와 유선 또는/및 무선 통신망 통해 연결되어 제1 메모리(240)로 왜곡보정 매핑 테이블이 다운로드되어 저장되도록 하거나, 착탈식 저장매체인 제1 메모리(240)에 직접 접속되어 왜곡보정 매핑 테이블이 저장되도록 할 수도 있다.

제1 메모리(240)에는 보간 알고리즘이 더 저장될 수 있다. 물론, 보간 알고리즘은 별도로 구비된 프로그램 메모리에 저장될 수도 있음은 당연하다. 왜곡 보정부(230)에서 이용되도록 하기 위해 저장되는 보간 알고리즘은 예를 들어 양선형 보간(bilinear interpolation), 가장 인접한 이웃 화소 보간(nearest neighbor interpolation), 패턴 일치 보간(pattern matching based interpolation) 및 경계값 보존 보간(edge sensing interpolation) 등 중 하나 이상에 관한 것일 수 있다.

이하, 본 발명의 실시예에 따른 양선형 보간에 대해 간단히 설명한다.

도 3에는 출력 해상도에 따른 픽셀을 상대 위치가 도시되어 있고, 도 4에는 양선형 보간법(Bilinear Interpolation)이 도시되어 있다.

양선형 보간은 가장 인접한 이웃 화소 보간과 달리 결과값에서 역으로 추적한 입력값의 좌표가 떨어진 곳의 주변 4픽셀간의 거리를 구하여 그 값을 가지고 보간하는 방법이다. 가장 인접한 이웃 화소 보간의 경우 가장 가까운 픽셀 자체를 복사하여 가져오는 방법으로서 계단 현상이 발생하는 문제점이 있으나, 양선형 보간의 경우에는 주변 4픽셀간의 거리에 따라 픽셀값이 달라지기 때문에 계단 현상이 감소될 수 있는 장점이 있다.

도 4의 I_new는 I1 x (1-sx) x (1-sy) + I2 x (sx) x (1-sy) + I3 x (sx) x (sy) + I4 x (1-sx) x (sy)로서 양선형 보간에 의해 연산되어진다.

이하, LUT 생성기(270)에 의한 왜곡보정 매핑 테이블 생성 방법을 간단히 설명한다. 왜곡보정 매핑 테이블 생성 방법 및 왜곡보정 매핑 테이블의 구성하는 데이터 형식은 당업자에게 자명한 사항이므로 이에 대해 간단히 설명하기로 한다.

왜곡보정 매핑 테이블 생성을 위해, 먼저 촬상 소자부로부터 제공되는 원시 영상 정보(이는, 촬상 장치(200)에 적용될 촬상 소자부에 대한 테스트 패턴에 따른 정보일 수 있음)의 격자무늬 패턴에서 에지(edge) 영상을 추출한다. 에지 추출을 위해 예를 들어 라플라시안, 소벨, 프리위트 등의 방식이 이용될 수 있다.

이어서, 추출된 에지 영상 중 수평축의 최외곽 에지선의 픽셀 좌표 값을 추출하고, 추출된 최외곽 에지선에서 카메라 렌즈의 중심과 가장 가까운 점을 선택(추출)한다.

이어서, 선택된 점을 기준으로 카메라의 중심과 직각을 이루는 직선을 생성하고, 생성된 직선과 영상 왜곡된 왜곡선간의 각 픽셀에 대한 수직 변위를 추출하여 왜곡변환 테이블에 저장한다.

전술한 과정에 의해 수직 변위에 대한 정보가 생성될 수 있으며, 수평 변위에 대한 정보도 전술한 과정과 같은 방식으로 생성될 수 있다. 이러한 과정들에 따라 모든 에지에 대한 좌표 값을 구하여 왜곡변환 테이블을 생성한다.

LUT(왜곡보정 매핑 테이블) 데이터 개수는 출력 영상의 해상도(예를 들어, 640x480)와 같다. 영상 왜곡을 보정하기 위해 LUT 및 LUT 데이터 구성 방식은 당업자에게 자명하므로 이에 대한 자세한 설명은 생략한다. 예를 들어, LUT 데이터는 각각 4바이트(byte)로 구성될 수 있으며, 1바이트는 X 오프셋 및 Y 오프셋으로 구성되고, 3바이트는 해당되는 입력 영상 기준점의 상대 위치로서 구성될 수 있다. 여기서, 해당되는 입력 영상 기준점은 보간을 수행하기 위한 기준위치로서 해당 점에서 소수점을 버림한 점이 된다. 각각의 오프셋은 기준점으로부터 떨어진 정도를 나타낸다.

다시 도 1을 참조하면, 작업 메모리(250)는 왜곡 보정부(230)가 촬상 소자부(210)로부터 입력되는 원시 영상 정보를 왜곡보정 매핑 테이블 및 보간 알고리즘을 이용하여 보정 처리를 위한 이용하는 저장 공간이다. 작업 메모리(250)에는 예를 들어 보간 처리(예를 들어 양선형 보간)를 위해 각 픽셀들에 대한 정보가 저장될 수 있다.

작업 메모리(250)는 예를 들어 캐시 메모리(cache memory)일 수 있으며, 왜곡 보정부(230) 내의 일 구성요소로 포함될 수 있다.

제2 메모리(260)에는 왜곡 보정부(230)에 의해 보정 처리된 영상 정보가 저장된다. 제2 메모리(260)에 저장된 영상 정보는 표시부를 통해 출력하기 위한 영상 정보로 변환하거나 저장 매체에 저장하기 위한 영상 정보로 변환하기 위해 영상 처리부에 의해 이용될 수 있다. 제2 메모리(260)는 예를 들어 SDRAM일 수 있다.

도 6은 본 발명의 일 실시예에 따른 왜곡 보정 과정을 개략적으로 나타낸 도면이다. 도 6의 (a)는 본 발명의 실시예에 따른 촬상 장치(200)에서 수행되는 영상 왜곡 보정 과정을 개략적으로 나타내고, (b)는 영상 왜곡 보정에 의해 보정 처리된 영상 정보의 실 예를 나타낸다.

도 6에 도시된 바와 같이, 광각 렌즈에 의해 배럴 왜곡되어 입력되는 원시 영상 정보는 왜곡 보정부(230)에 의해 왜곡 보정 처리되어 제2 메모리(260)에 저장된다. 제2 메모리(260)에 저장된 보정 처리된 영상 정보는 보정된 영상 정보의 생성을 위해 에지(edge)가 왜곡된 형태로 생성된다.

이후, 제2 메모리(260)에 저장된 보정 처리된 영상 정보 중 표시 영역(610)이 표시부의 디스플레이 화면에 부합되도록 매핑되어 출력되도록 함으로써, 왜곡 보정된 사각형의 이미지가 표시부를 통해 디스플레이된다.

상술한 영상 왜곡 보정 방법은 촬상 장치 또는/및 영상 처리용 프로세서 칩에 내장된 소프트웨어 프로그램 등에 의해 시계열적 순서에 따른 자동화된 절차로 수행될 수도 있음은 당연하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 전자 장치가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 전자 장치에 의하여 읽혀지고 실행됨으로써 상기 방법을 구현한다. 상기 정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체 등과 같은 일체의 저장 매체를 포함할 수 있다.

상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

200 : 촬상 장치 210 : 촬상 소자부
220 : 이미지 센서부 230 : 왜곡 보정부
240 : 제1 메모리 250 : 작업 메모리
260 : 제2 메모리

Claims

촬상 장치에 있어서,
영상 왜곡을 보정하기 위한 왜곡보정 매핑 테이블(LUT)이 출력 영상의 해상도 크기를 분할하도록 구획된 복수의 영역들에 각각 대응되도록 분할된 부분 왜곡보정 매핑 테이블이 저장되는 저장부; 및
촬상 소자부로부터 입력되는 원시 영상 정보에 대해 상기 부분 왜곡보정 매핑 테이블을 이용하여 영상 왜곡 보정 처리를 수행하는 왜곡 보정부를 포함하는 촬상 장치.
제1항에 있어서,
상기 영상 왜곡 보정 처리는 출력 영상의 해상도 크기를 분할하기 위해 구획된 영역별로 순차적 수행되는 것을 특징으로 하는 촬상 장치.
제1항에 있어서,
상기 왜곡 보정부는 상기 원시 영상 정보를 상기 부분 왜곡보정 매핑 테이블에 대응되는 영역들로 분할하여 영상 왜곡 보정 처리를 수행하는 것을 특징으로 하는 촬상 장치.
제1항에 있어서,
상기 촬상 소자부는 110도 이상의 시야각을 가지는 광각 렌즈를 포함하는 것을 특징으로 하는 촬상 장치.
제1항에 있어서,
상기 왜곡 보정부는 상기 영상 왜곡 보정 처리된 영상 정보를 표시부를 통해 출력될 표시 데이터로 변환하여 출력하는 것을 특징으로 하는 촬상 장치.
제1항에 있어서,
상기 부분 왜곡보정 매핑 테이블들은 상기 왜곡보정 매핑 테이블이 상기 해상도 크기를 수직적 또는 수평적으로 분할하여 생성된 n개의 영역에 각각 대응되도록 생성되되, 상기 n은 임의의 자연수인 것을 특징으로 하는 촬상 장치.
제1항에 있어서,
상기 영상 왜곡은 배럴 왜곡(barrel distortion) 또는 핀 쿠션 왜곡(pincushion distortion)인 것을 특징으로 하는 촬상 장치.
촬상 장치의 왜곡 보정부에서 수행되는 영상 왜곡 보정 방법에 있어서,
촬상 소자부로부터 입력되는 원시 영상 정보에 대해 미리 지정된 크기의 영역들로 분할하는 단계; 및
저장부에 미리 저장된 부분 왜곡보정 매핑 테이블을 이용하여 상기 원시 영상 정보에 대한 영상 왜곡 보정 처리를 수행하는 단계를 포함하되,
상기 부분 왜곡보정 매핑 테이블은 영상 왜곡을 보정하기 위한 왜곡보정 매핑 테이블이 출력 영상의 해상도 크기를 분할하도록 미리 지정된 크기로 구획된 복수의 영역들에 각각 대응되도록 분할된 것을 특징으로 하는 영상 왜곡 보정 방법.
제8항에 있어서,
상기 영상 왜곡 보정 처리는 상기 원시 영상 정보에 대해 출력 영상의 해상도 크기를 분할하기 위해 구획된 영역별로 순차적 수행되는 것을 특징으로 하는 영상 왜곡 보정 방법.
제8항에 있어서,
상기 촬상 소자부는 110도 이상의 시야각을 가지는 광각 렌즈를 포함하는 것을 특징으로 하는 영상 왜곡 보정 방법.
제8항에 있어서,
상기 영상 왜곡 보정 처리된 영상 정보를 표시부를 통해 출력될 표시 데이터로 변환하여 출력하는 단계가 더 포함되는 것을 특징으로 하는 영상 왜곡 보정 방법.
제8항에 있어서,
상기 부분 왜곡보정 매핑 테이블들은 상기 왜곡보정 매핑 테이블이 상기 해상도 크기를 수직적 또는 수평적으로 분할하여 생성된 n개의 영역에 각각 대응되도록 생성되되, 상기 n은 임의의 자연수인 것을 특징으로 하는 영상 왜곡 보정 방법.
제8항에 있어서,
상기 영상 왜곡은 배럴 왜곡(barrel distortion) 또는 핀 쿠션 왜곡(pincushion distortion)인 것을 특징으로 하는 영상 왜곡 보정 방법.
제8항 내지 제13항 중 어느 하나에 기재된 영상 왜곡 보정 방법을 수행하기 위하여 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며 디지털 처리 장치에 의해 판독될 수 있는 프로그램을 기록한 기록매체.