KR20150067707A

KR20150067707A - 영상 처리 장치, 영상 처리 방법, 및 촬영 장치

Info

Publication number: KR20150067707A
Application number: KR1020140051908A
Authority: KR
Inventors: 히라노 마리코
Original assignee: 삼성테크윈 주식회사
Priority date: 2013-12-10
Filing date: 2014-04-29
Publication date: 2015-06-18
Also published as: JP2015115720A; KR102138331B1; JP6275468B2

Abstract

본 발명의 일 실시예의 영상 처리 장치는 영역 판정부 및 데이터 압축부를 포함한다. 영역 판정부는, 촬상 소자로부터의 영상 데이터에 포함되어 있는 화소들이 왜곡수차의 보정에 사용되는지의 여부를 판정한다. 데이터 압축부는, 영역 판정부의 판정 결과에 따라 영상 데이터를 부호화 처리에 의해 압축하여, 외부의 저장부에 저장될 압축 영상 데이터로서 출력한다.

Description

영상 처리 장치, 영상 처리 방법, 및 촬영 장치{Image processing apparatus, image processing method, and photographing apparatus}

본 발명은 영상 처리 장치, 영상 처리 방법 및 촬영 장치에 관한 것이다.

일반적으로, 감시 카메라, 캠코더, 및 디지털 카메라 등의 촬영 장치에 의해 촬영된 영상에는 광학계의 왜곡수차의 영향에 의해 왜곡이 생긴다. 영상의 중심부와 주변부에서 결상 배율이 다른 것이 원인으로, 예를 들어, 정방 격자 영상을 촬영한 경우에 주변으로 갈수록 결상 배율이 작아지면 도 5에 도시한 "통형 왜곡"이 생기고, 주변으로 갈수록 결상 배율이 커지면 도 6에 도시한 "스풀(spool)형 왜곡"이 생긴다.

도 5 및 도 6에 도시한 왜곡수차의 보정에 있어서, 예를 들어, 도 7에 도시한 착안점(AP)에 대응하는 원 영상의 좌표(이하, 대응점(CP)의 좌표라고 부르기로 함)를 구하고 이 대응점(CP)의 주변의 화소들의 화소값들을 보간 처리함으로써 구한 대응점(CP)의 화소값을 착안점(AP)의 화소값으로 설정한다. 여기에서, 착안점(AP)의 좌표(hu,vu)에 대응하는 원 영상의 대응점(CP)의 좌표(hd,vd)는 아래의 수학식 1 및 2에 의하여 구해진다.

상기 수학식 1 및 2에서, (h0,v0)는 왜곡 중심의 좌표, (hu,vu)는 착안점(AP)의 좌표, r은 왜곡 중심으로부터 착안점(AP) 사이의 거리, k1 및 k2는 상수를 가리킨다.

상술한 왜곡수차를 보정하기 위한 기술의 일례가 특허문헌(일본 특허공개 제2003-333588호 공보)에 기재되어 있다. 이 특허문헌에 기재되어 있는 보정 장치는, 촬상 소자가 출력한 영상 신호를 A/D(아날로그-디지털) 변환하여 신호 처리 처리부로써 소정의 신호 처리를 한 후, 보정 전(즉, 왜곡의 보정 처리 전)의 영상 데이터를 일단 주 메모리에 저장한다. 다음에, 왜곡(distortion) 보정부는, 주 메모리에 저장되어 있는 보정 전의 영상 데이터를 독출하여 왜곡수차의 보정 처리를 하고, 보정 후의 영상 데이터를 주 메모리에 저장한다. 여기에서, 신호 처리 처리부, 왜곡 보정부, 및 주 메모리는 시스템 버스를 통해 서로 접속되어 있다.

일본 특허공개 제2003-333588호 공보

상술한 바와 같이, 특허문헌에 기재되어 있는 보정 장치에서는, 왜곡수차의 보정 처리에 따라, 버스를 통해 접속되어 있는 메모리에 대하여 여러 번의 데이터 읽고 쓰기가 수행된다. 일반적으로 버스를 통하지 않는 프로세서 등의 신호 처리 장치 내부의 데이터 전송에 비해, 버스를 통해 접속되어 있는 외부 메모리와의 사이의 데이터 전송으로는 동작 시의 소비 전력이 커진다. 이 메모리 엑세스에 의한 소비 전력은 데이터의 전송량이 많아질수록 커진다. 또한, 데이터의 전송량이 많아지면 버스 대역폭이 문제가 되는 경우가 있다. 이러한 문제의 해결에는 왜곡 보정 처리에 따른 외부 메모리와의 사이의 데이터 전송량 삭감이 과제가 된다.

본 발명의 실시예는, 상기 사정을 고려하여 이루어진 것으로서, 왜곡수차 보정에 따른 영상 데이터의 전송량을 삭감할 수 있는 영상 처리 장치, 영상 처리 방법 및 촬영 장치를 제공하고자 한다.

본 발명의 제1 측면에 의한 영상 처리 장치는 영역 판정부 및 데이터 압축부를 포함한다.

상기 영역 판정부는, 촬상 소자로부터의 영상 데이터에 포함되어 있는 화소들이 왜곡수차의 보정에 사용되는지의 여부를 판정한다.

상기 데이터 압축부는, 상기 영역 판정부의 판정 결과에 따라 상기 영상 데이터를 부호화 처리에 의해 압축하여, 외부의 저장부에 저장될 압축 영상 데이터로서 출력한다.

바람직하게는, 상기 영역 판정부가, 적어도 한 화소마다 상기 왜곡수차의 보정 여부의 정보를 가진 테이블을 참조하여, 영상의 중심 화소를 제외한 각각의 화소가 상기 왜곡수차의 보정에 사용되는지의 여부를 판정한다.

바람직하게는, 상기 데이터 압축부가, 상기 영역 판정부에서 상기 왜곡수차의 보정에 사용되지 않는다고 판정된 화소들의 화소값들 각각을 동일한 값으로 치환한 후, 가변-길이 부호들을 사용하는 부호화 처리에 의해 상기 영상 데이터를 압축한다.

바람직하게는, 상기 데이터 압축부가, 상기 영역 판정부에서 상기 왜곡수차의 보정에 사용되지 않는다고 판정된 화소들의 화소값들 각각을 동일한 값으로 치환한 후, 인접-화소들 차이값을 구하고 상기 차이값들을 가변-길이 부호들로 변환시키는 부호화 처리에 의해 상기 영상 데이터를 압축한다.

본 발명의 제2 측면에 의한 영상 처리 방법은,

촬상 소자로부터의 영상 데이터에 포함되어 있는 화소들이 왜곡수차의 보정에 사용되는지의 여부를 판정함; 및

상기 판정의 결과에 따라 상기 영상 데이터를 부호화 처리에 의해 압축하여, 저장부에 저장될 압축 영상 데이터로서 출력함;을 포함한다.

본 발명의 제3 측면에 의한 촬영 장치는 광학계, 촬상 소자, 영역 판정부, 데이터 압축부, 및 저장부를 포함한다.

상기 촬상 소자는 상기 광학계를 통해 입력된 광 신호를 영상 데이터로 변환시킨다.

상기 영역 판정부는 상기 촬상 소자로부터의 영상 데이터에 포함되어 있는 화소들이 왜곡수차의 보정에 사용되는지의 여부를 판정한다.

상기 데이터 압축부는, 상기 영역 판정부의 판정 결과에 따라 상기 영상 데이터를 부호화 처리에 의해 압축하여, 압축 영상 데이터로서 출력한다.

상기 저장부는 상기 데이터 압축부로부터의 압축 영상 데이터를 저장한다.

본 발명의 실시예의 상기 영상 처리 장치, 영상 처리 방법, 및 촬영 장치에 의하면, 영상 데이터에 포함되어 있는 화소들이 왜곡수차의 보정에 사용되는지의 여부가 판정되고, 이 판정 결과에 따라 상기 영상 데이터가 부호화 처리에 의해 압축된다.

이에 따라, 영상 데이터의 압축율을 높임으로써 영상 데이터의 전송량을 삭감할 수 있다. 예를 들어, 왜곡수차의 보정에 사용되지 않는 화소들의 화소값들을 무효화하는 부호화 처리를 할 수 있다.

도 1은 본 발명의 일 실시예의 촬영 장치의 구성을 보여주는 블록도이다.
도 2는 도 1에서의 데이터 압축부와 영역 판정부의 구성의 예를 보여주는 블록도이다.
도 3은 도 2에서의 지정 영역 트리밍부의 입력 및 출력 영상 데이터가 나타내는 영상들을 모형적으로 보여주는 도면이다.
도 4는 도 2에서의 룩업 테이블의 구성의 예를 설명하기 위한 도면이다.
도 5는 "통형 왜곡"을 설명하기 위한 도면이다.
도 6은 "스풀형 왜곡"을 설명하기 위한 도면이다.
도 7은 왜곡수차의 보정을 설명하기 위한 도면이다.

하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다.

본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.

본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우, 그 상세한 설명이 생략된다.

본 발명은, 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 언어 또는 스크립팅 언어로 구현될 수 있다.

또한, 본 발명은 전자적 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다.

본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대하여 동일한 부호를 부여함으로써 중복 설명을 생략한다.

이하 첨부된 도면을 참조하면서 본 발명의 실시예에 대하여 상세하게 설명한다.

도 1은 본 발명의 일 실시예의 촬영 장치의 구성을 보여준다.

도 1에 도시된 촬영 장치(1)는 감시 카메라, 캠코더, 디지털 카메라 등을 구성하거나 정보처리 단말의 내부에 구성된다. 이 경우, 촬영 장치(1)는 광학계(11), 촬상 소자(12), 아날로그-디지털 변환부(13), 영상 처리 장치(14), 시스템 버스(15), CPU(중앙 처리 소자, 16), 및 프레임 메모리(17)를 포함한다.

광학계(11)는, 적어도 한 개의 렌즈를 가지고 구성되어, 촬상 소자(12)에 입사되는 광 신호를 집광하거나 굴절시킨다. 촬상 소자(12)는, 광학계(11)를 통해 입사된 광 신호를 전기적 신호로 변환하는 반도체 센서로서, 다수의 화소들을 가지고 있다. 아날로그-디지털 변환부(13)는 촬상 소자(12)가 출력한 아날로그 영상 신호를 디지털 영상 신호로 변환한다.

영상 처리 장치(14)는, 아날로그-디지털 변환부(13)가 출력한 영상 신호나 프레임 메모리(17)에 저장한 영상 데이터에 대하여, 소정의 영상 처리를 한다. 본 발명의 일 실시예에 의한 영상 처리 장치(14)는 영상 신호 처리부(20), 데이터 압축부(21), 영역 판정부(22), 왜곡수차 보정부(23), 및 데이터 압축-신장부(24)를 포함한다.

영상 신호 처리부(20)는, 아날로그-디지털 변환부(13)가 출력한 영상 신호에 대하여 예를 들어, RGB 신호(색상을 적, 녹, 청의 3 색상으로써 표현하는 방식의 신호)에서 Y/C신호(색상을 휘도와 색상으로 표현하는 방식의 신호)로 변환하는 처리를 하고, 처리 결과의 영상 데이터를 데이터 압축부(21)에 출력한다.

데이터 압축부(21)는, 후술하는 영역 판정부(22)의 판정 결과에 따라, 영상 신호 처리부(20)로부터의 영상 데이터를 소정의 부호화 처리에 의해 압축한다. 압축 결과의 영상 데이터는 외부의 프레임 메모리(17)에 저장될 압축 영상 데이터로서 출력된다. 즉, 데이터 압축부(21)로부터의 압축 영상 데이터는 시스템 버스(15)를 통해 프레임 메모리(17)에 저장된다.

영역 판정부(22)는, 영상 신호 처리부(20)가 출력한 영상 데이터의 화소들이 왜곡수차의 보정에 사용되는지의 여부를 판정하고, 판정된 결과를 데이터 압축부(21)에 출력한다.

왜곡수차 보정부(23)는, 영상 처리 장치(14) 내의 소정 저장부에 미리 저장되어 있는 설정 값들(즉, 파라미터들)을 참조하여, 데이터 압축-신장부(24)에서 신장된 영상 데이터에 대하여 왜곡수차를 보정한다. 이 설정 값들은 광학계(11)나 촬상 소자(12)의 사양, 설정 상태나 동작 상태, 및 왜곡수차 보정의 강약 설정 상태 등에 따라 계산이나 측정에 기초하여 미리 설정된 값들이다. 왜곡수차 보정부(23)는, 예를 들어, 도 7에 도시된 착안점에 대응하는 원 영상의 좌표(즉 대응점의 좌표)를 구하고, 그 대응점의 주변 화소들의 화소값들을 보간 처리한다. 즉, 왜곡수차 보정부(23)는 구해진 대응점의 화소값이 착안점의 화소값이 되도록 처리를 함으로써, 왜곡수차를 보정한다. 왜곡수차 보정부(23)에 의하여 왜곡수차가 보정된 영상 데이터는 데이터 압축-신장부(24)에 의하여 압축된다.

데이터 압축부(21)에 의하여 압축된 압축 영상 데이터는 시스템 버스(15)를 통하여 프레임 메모리(17)에 저장된다. 데이터 압축-신장부(24)는, 프레임 메모리(17)에 저장되어 있는 압축 영상 데이터를 시스템 버스(15)를 통해 프레임 메모리(17)로부터 독출한다. 그리고, 데이터 압축-신장부(24)는, 데이터 압축부(21)에서의 부호화 처리(즉 압축 처리)에 대응한 복호화 처리(즉 신장 처리)를 하여, 복호화된(즉 신장된) 영상 데이터를 왜곡수차 보정부(23)에 대하여 출력한다. 또한, 데이터 압축-신장부(24)는, 왜곡수차 보정부(23)에 의해 왜곡수차가 보정된 영상 데이터를 압축하고, 압축 결과의 영상 데이터를 시스템 버스(15)를 통하여 프레임 메모리(17)에 저장한다.

왜곡수차 보정부(23) 및 데이터 압축-신장부(24)의 동작에 있어서, 왜곡수차의 보정이나 압축 및 신장 처리는, 영상 데이터의 프레임 단위로 수행되거나, 단일 프레임의 분할 영역들 각각에 대하여 수행된다.

시스템 버스(15)는 CPU(16), 프레임 메모리(17), 데이터 압축부(21), 및 데이터 압축-신장부(24) 등의 각 부를 서로 접속하여 영상 데이터 등의 데이터를 전송한다.

CPU(16)는, 예를 들어, 불휘발성 저장장치를 내부에 구비하고, 그 불휘발성 저장장치에 저장되어 있는 프로그램을 실행함으로써, 광학계(11), 촬상 소자(12), 아날로그-디지털 변환부(13), 영상 처리 장치(14), 및 프레임 메모리(17) 등의 각 부를 제어한다.

프레임 메모리(17)는 예를 들어, DRAM(Dynamic Random Access Memory), SRAM(Static Random Access Memory) 등으로 이루어지고, 적어도 한 프레임의 영상 데이터를 저장한다. 이 프레임 메모리(17)는 영상 처리 장치(14)의 외부 저장부의 일 예이다.

도 1에는 주요 구성 요소들만이 도시되어 있다. 촬영 장치(1)는 전원 회로, 표시부, 조작부, 외부 기록 매체의 제어 장치, 통신 장치, 및 배터리 등의 구성 요소들의 일부 또는 전부를 구비할 수 있다.

다음으로, 도 2 내지 도 4를 참조하여 도 1에 도시된 데이터 압축부(21)와 영역 판정부(22)의 구성 예에 대해 설명하기로 한다. 도 2에 도시된 데이터 압축부(21)는, 지정 영역 트리밍부(31), 화소값 치환부(32), 차이값 산출부(33), 및 가변-길이 부호화부(34)를 포함한다. 영역 판정부(22)는 트리밍 영역 지정부(41)와 화소 판정부(42)를 포함한다.

지정 영역 트리밍부(31)는, 도 1에서의 영상 신호 처리부(20)로부터의 영상 데이터에서 트리밍 영역 지정부(41)에 의해 지정된 영역을 트리밍하여, 트리밍 후의 영상 데이터를 출력한다. 여기에서, 도 3을 참조하여 지정 영역 트리밍부(31)의 동작 예에 대해 설명하기로 한다. 도 3은, 지정 영역 트리밍부(31)에 입력되는 영상 데이터(51)의 일 예 및 지정 영역 트리밍부(31)로부터의 트리밍 후의 영상 데이터(52)의 일 예를 화면상에서 보여준다.

도 3에서의 영상 데이터(51)의 영상의 경우, "통형 왜곡"을 가진다. 도 1의 왜곡수차 보정부(23)는 사선으로 도시된 영역(61) 안의 화소들에 대하여 왜곡을 보정한다. 즉, 사선으로 도시된 영역(61)의 바깥쪽 영역(62)의 화소들은 왜곡수차 보정부(23)에 의해 사용되지 않는 화소들이 된다.

이에 따라, 지정 영역 트리밍부(31)는 입력 영상 데이터(51)에 대하여 상하 좌우의 단부 영역들(62) 각각과 각 단부 사이의 최소 거리에 상응하는 화소 개수Y1, Y2, X1 및 X2의 정보를 트리밍 영역 지정부(41)로부터 취득한다. 그리고, 지정 영역 트리밍부(31)는, 입력 영상 데이터(51)에 대하여 화소 개수 Y1, Y2, X1 및 X2만큼 상하 좌우의 단부를 트리밍하고, 트리밍 후의 영상 데이터(52)를 생성하여 화소값 치환부(32)에 출력한다.

화소값 치환부(32)는, 트리밍 후의 영상 데이터(52)의 화소들 중에서 왜곡수차 보정에 사용되지 않는다고 판정된 화소들의 화소값들 각각을 동일한 값 예를 들어, '0'으로 치환한다. 즉, 도 3을 참조하면, 트리밍 후의 영상 데이터(52)에 대하여, 왜곡수차 보정에 사용되지 않는 영역(62)의 화소들의 화소값들 각각이 동일한 값으로 치환된다. 물론, 왜곡수차 보정에 사용된 영역(61)의 화소들의 화소값들은 변하지 않는다.

다음으로, 화소 판정부(42)에 대해 설명하기로 한다.

화소 판정부(42)는 복수의 룩업 테이블들(43, 이하, LUT라고 기재함)을 포함한다. LUT(43)는, 처리 대상이 되는 트리밍 후의 영상 데이터(52)에서 각각의 화소가 왜곡수차 보정에 사용되는지의 여부를 나타내는 정보를 가진 테이블이다.

도 5 및 도 6을 참조하여 설명한 왜곡수차는 광학계(11)나 촬상 소자(12)의 사양이나 설정 상태, 동작 상태 등에 따라 여러 형태로 변화된다. 따라서, 도 1의 왜곡수차 보정부(23)의 동작에 필요한 설정 파라미터는 왜곡수차 및 왜곡수차의 보정 강약의 설정 형태에 맞추어 미리 여러 개 준비되어 있다. 또한, 각각의 설정 파라미터에 대응하는 화소 판정부(42)의 설정 파라미터가 미리 준비되어 있다. 이 실시예에서 화소 판정부(42)의 설정 파라미터는 LUT(43)와 3 종류의 설정 값들을 포함하고 있다. 여기에서, 도 4를 참조하여 화소 판정부(42)의 설정 파라미터에 대해 설명하기로 한다.

도 4는, 도 3에 도시한 트리밍 후의 영상 데이터(52)에 대응하는 설정 파라미터의 일 예를 설명하기 위한 도면이다.

화소 판정부(42)의 설정 파라미터에 포함되어 있는 3 종류의 설정 값들 중에서 제1 종류의 설정 값들은, 도 3을 참조하여 설명한 트리밍 영역 지정부(41)가 불필요 영역을 지정할 때에 이용하는 정보인 상하 좌우의 트리밍 폭을 나타낸 화소 개수 Y1, Y2, X1 및 X2를 나타내는 정보이다. 트리밍 영역 지정부(41)는 이 설정 값을 참조하여 트리밍 대상이 되는 영역을 나타내는 정보를 지정 영역 트리밍부(31)에 대해 출력한다.

제2 종류의 설정 값들은, LUT(43)의 각 데이터가 몇 개의 화소들을 단위로 하여 각 화소의 사용 또는 미사용의 판정 결과를 나타내고 있는지를 나타내는 정보이다. 이 설정 값들은 예를 들어, 각 데이터가 대응하는 수직 방향의 화소 개수와 수평 방향의 화소 개수를 나타내는 정보이다. LUT(43)에서 각 데이터가, 1 화소마다 사용되는지 여부의 판정 결과를 나타내는 것인 경우(즉 각 화소에 대해 데이터를 부여하는 경우), 수직 방향의 화소 개수가 1, 그리고 수평 방향의 화소 개수가 1이 된다. 예를 들어, 수직 2 화소들 및 수평 2 화소들의 4 화소들마다 사용되는지 여부의 판정 결과를 나타내는 경우(즉, 수직 2 화소들 및 수평 2 화소들의 간격으로 데이터를 부여하는 경우), 수직 방향의 화소 개수가 2, 그리고 수평 방향의 화소 개수가 2가 된다. 또한, 수직 4 화소들 및 수평 4 화소들의 16 화소들마다 사용되는지 여부의 판정 결과를 나타내는 경우(즉, 수직 4 화소들 및 수평 4 화소들의 간격으로 데이터를 부여하는 경우), 수직 방향의 화소 개수가 4, 그리고 수평 방향의 화소 개수가 4가 된다.

제3 종류의 설정 값들은, 도 4에 도시한 트리밍 후의 영상 데이터(52) 중에서 LUT(43)에서 사용 또는 미사용의 정보를 포함시키지 않는 화소들의 영역인 제외 영역(522)에 대하여, 좌상(左上) 화소의 수직 및 수평 좌표 V1 및 H1과, 제외 영역(522)의 우하(右下) 화소의 수직 및 수평 좌표 V2 및 H2를 나타내는 정보를 포함하고 있다. 왜곡수차의 보정에 사용되지 않는 화소들은 영상 외연부로 한정된다. 따라서, 영상 중심부를 제외 영역(522)으로서 설정함으로써, LUT(43)의 데이터 개수를 줄여서 LUT(43)의 회로 규모를 작게 할 수 있다. 물론, 제외 영역(522) 내의 화소들에 대해서는 화소값 치환부(32)에 의한 화소의 치환이 이루어지지 않는다.

LUT(43)는, 트리밍 후의 영상 데이터(52)에서 제외 영역(522)이 아닌 영역에 있어서, 적어도 한 화소를 가진 분할 영역들(521) 각각에 대하여, 왜곡수차 보정에 사용되는 화소가 포함되어 있는지의 여부를 나타내는 1 비트의 정보 A0, A1, A2, A3, ....., An을 포함한다. 도 4를 참조하면, 수평 2 화소들 및 수직 2 화소들의 4 화소들로 이루어진 영역(521)마다, 해당 영역(521)에서 왜곡수차 보정에 사용되는 화소가 포함되어 있는지의 여부를 나타내는 정보 A0, A1, A2, A3, ....., An이 대응되어 있다. LUT(43)의 데이터에는 각각 1 비트의 값 A0, A1, A2, A3, ....., An이 저장되어 있다. 그 값이 '0'인 경우, 해당 영역(521)에서 왜곡수차 보정에 사용되는 화소가 하나도 포함되어 있지 않다. 그 값이 '1'인 경우, 해당 영역(521)에서 왜곡수차 보정에 사용되는 화소가 적어도 하나 포함되어 있다. 해당 화소가 왜곡수차 보정에 사용되는지 여부의 판단은, 미리 계산에 의해 구하거나, 실제 측정 값들에 기초하여 결정할 수 있다.

결정 방법의 일 예로서, LUT(43)의 데이터 산출 방법의 예를 설명하면 다음과 같다.

먼저, LUT(43)의 모든 데이터를 '0'으로 초기화한다.

다음에, 도 1의 왜곡수차 보정부(23)에서 실행되는 처리의 소프트웨어 시뮬레이션을 1 화소씩 실행하여, 상기 수학식 1 및 2를 사용하여 착안점에 대응하는 원 영상의 좌표를 구한다. 대응점의 화소값은 주변 화소의 화소값을 보간함으로써 구할 수 있고, 보간 방법에 따라 필요한 주변 화소의 범위가 바뀐다. 예를 들어, 4×4의 바이큐빅 보간을 한다면, 대응점의 주변 16 화소들이 사용된다. 대응점의 주변 화소 위치가 구해지면, 그 화소가 포함되는 LUT(43)의 데이터에 '1'을 설정한다. 이와 같은 과정은 모든 착안점에 대하여 각각 수행된다. 아울러, LUT(43)는 왜곡수차 보정의 설정이나 광학계(11) 내의 렌즈의 줌(zoom) 위치 등에 따라 복수 개가 작성된다.

화소 판정부(42)는, 왜곡수차 보정부(23)의 설정 파라미터에 대응한 설정 파라미터(즉 LUT(43)와 3 종류의 설정 값들의 조(組) 중에서 하나를 선택하여, 트리밍 후의 영상 데이터(52)의 각 화소의 판정 결과를 예를 들어, 1 비트의 정보로서 생성하여 화소값 치환부(32)에 출력한다. 상기한 바와 같이, 왜곡수차 보정부(23)의 설정 파라미터는 광학계(11)나 촬상 소자(12)의 사양이나 설정 상태, 동작 상태 등 및 왜곡수차의 보정 강약의 설정 상태 등에 따라 결정된다.

도 2에서의 차이값 산출부(33)는, 화소값 치환부(32)로부터의 화소값 치환 후 영상 데이터에 대하여, 화소마다 인접 화소와의 화소값의 차이를 산출하고, 화소 개수만큼의 차이값들로 이루어진 데이터(도 2에서는 "인접-화소들 차이값"으로서 도시한 데이터)를 출력한다. 여기에서, 차분 값을 직전 화소의 화소값과 해당 화소의 화소값과의 차이로써 인접-화소들 차이값을 구하는 경우, 최초의 화소에 대해서는 예를 들어, 해당 화소의 화소값을 차이값으로 한다.

가변-길이 부호화부(34)는, 차이값 산출부(33)로부터의 각각의 인접-화소들 차이값을, 미리 설정된 변환표를 참조하여 가변-길이의 부호화 데이터로 변환한다. 변환표에서는, 인접-화소들 차이값 중 출현 빈도가 큰 것에 길이가 짧은 부호를 할당하고, 출현 빈도가 비교적 작은 것에는 부호 길이가 비교적 긴 부호를 할당해 둔다. 본 실시예에서는, 화소값 치환부(32)가 왜곡수차 보정에서 사용되지 않는 화소의 화소값을 모두 동일한 값으로 치환하였기 때문에, 사용되지 않는 화소들이 인접한 영역에서 차분 값은 '0'이 된다. 따라서 예를 들어, 차분 값 '0'에 대응하는 부호의 길이를 짭게 설정해 두면, 사용되지 않는 화소들이 존재하는 영역에 대응하는 부호들의 비트 수를 적게 할 수 있다. 가변-길이 부호화부(34)는 부호화 처리에 의해 산출한 영상 데이터를 압축 영상 데이터로 하여 도 1의 프레임 메모리(17)에 저장한다.

이상 설명된 바와 같이, 도 2에 도시한 구성 예에서는, 데이터 압축부(21)는, 영역 판정부(22)의 판정 결과에 따라, 영상 신호 처리부(20)로부터 입력한 영상 데이터를 가변-길이 부호를 이용한 부호화 처리에 의해 압축하여, 외부의 프레임 메모리(17)에 저장될 압축 영상 데이터로서 출력한다.

본 실시예에 의하면, 영상 처리 장치(14) 외부의 프레임 메모리(17)에 저장될 영상 데이터의 화소들이 왜곡수차의 보정에 사용되는지 여부의 판정 결과에 따라, 데이터 압축부(21)에 의해 영상 데이터가 소정의 부호화 처리를 이용하여 압축된다. 이러한 구성에 의하면, 예를 들어, 왜곡수차의 보정에 사용되지 않는 화소들의 화소값들을 동일하게 치환하여, 해당 화소들의 화소값들을 무효화하는 부호화 처리를 할 수 있다. 이에 따라, 영상 데이터의 압축율을 높이고 영상 데이터의 전송량을 삭감할 수 있다. 아울러, 이러한 부호화 처리에서는, 왜곡수차 보정부(23)에서 사용되지 않는 영역의 화소값들만을 무효화하기 때문에, 이러한 처리를 추가함에 따른 화질 열화는 발생하지 않는다.

아울러 본 발명의 실시예는 상기의 것으로 한정되지 않는다. 예를 들어, 데이터 압축부(21)와 영역 판정부(22)의 내부 구성은, 도 1에 도시한 것으로 한정되지 않는다. 즉, 도 2를 참조하여 설명한 지정 영역 트리밍부(31), 트리밍 영역 지정부(41), 화소값 치환부(32), 화소 판정부(42)의 각 기능을 일체적인 것으로 하여, 각 블록의 구성을 통합하는 등의 변경이 가능하다. 즉, 데이터 압축부(21)와 영역 판정부(22)는 일체적인 구성으로 할 수 있다.

또한, 도 4에 도시된 제외 영역(522)을 마련하지 않고, LUT(43) 내에서 모든 화소들에 대하여 사용 또는 미사용을 나타내는 정보를 대응시키도록 할 수도 있다. 또한, LUT(43)의 데이터 개수를 삭감하는 대신에 적어도 한 수학식에 의한 계산 결과를 이용하여 각 화소의 사용 또는 미사용을 판정할 수도 있다.

이상 설명된 바와 같이, 본 발명의 실시예의 영상 처리 장치, 영상 처리 방법, 및 촬영 장치에 의하면, 영상 데이터에 포함되어 있는 화소들이 왜곡수차의 보정에 사용되는지의 여부가 판정되고, 이 판정 결과에 따라 상기 영상 데이터가 부호화 처리에 의해 압축된다.

이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다.

그러므로 상기 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.

촬상 소자로부터의 영상 데이터의 처리 뿐만 아니라, 외부로부터의 영상 데이터의 처리에도 이용될 가능성이 있다.

1 : 촬영 장치, 11 : 광학계,
12 : 촬상 소자, 13 : 아날로그-디지털 변환부,
14 : 영상 처리 장치, 15 : 시스템 버스,
16 : CPU, 17 : 프레임 메모리,
21 : 데이터 압축부, 22 : 영역 판정부,
23 : 왜곡수차 보정부, 24 : 데이터 압축-신장부,
31 : 지정 영역 트리밍부, 32 : 화소값 치환부,
33 : 차이값 산출부, 34 : 가변-길이 부호화부,
41 : 트리밍 영역 지정부, 42 : 화소 판정부,
43 : 룩업 테이블.

Claims

촬상 소자로부터의 영상 데이터에 포함되어 있는 화소들이 왜곡수차의 보정에 사용되는지의 여부를 판정하는 영역 판정부; 및
상기 영역 판정부의 판정 결과에 따라 상기 영상 데이터를 부호화 처리에 의해 압축하여, 외부의 저장부에 저장될 압축 영상 데이터로서 출력하는, 데이터 압축부;를 포함한, 영상 처리 장치.
제1항에 있어서, 상기 영역 판정부가,
적어도 한 화소마다 상기 왜곡수차의 보정 여부의 정보를 가진 테이블을 참조하여, 영상의 중심 화소를 제외한 각각의 화소가 상기 왜곡수차의 보정에 사용되는지의 여부를 판정하는, 영상 처리 장치.
제1항 또는 제2항에 있어서, 상기 데이터 압축부가,
상기 영역 판정부에서 상기 왜곡수차의 보정에 사용되지 않는다고 판정된 화소들의 화소값들 각각을 동일한 값으로 치환한 후, 가변-길이 부호들을 사용하는 부호화 처리에 의해 상기 영상 데이터를 압축하는, 영상 처리 장치.
제3항에 있어서, 상기 데이터 압축부가,
상기 영역 판정부에서 상기 왜곡수차의 보정에 사용되지 않는다고 판정된 화소들의 화소값들 각각을 동일한 값으로 치환한 후, 인접-화소들 차이값을 구하고 상기 차이값들을 가변-길이 부호들로 변환시키는 부호화 처리에 의해 상기 영상 데이터를 압축하는, 영상 처리 장치.
촬상 소자로부터의 영상 데이터에 포함되어 있는 화소들이 왜곡수차의 보정에 사용되는지의 여부를 판정함; 및
상기 판정의 결과에 따라 상기 영상 데이터를 부호화 처리에 의해 압축하여, 저장부에 저장될 압축 영상 데이터로서 출력함;을 포함한, 영상 처리 방법.
광학계;
상기 광학계를 통해 입력된 광 신호를 영상 데이터로 변환시키는 촬상 소자;
상기 촬상 소자로부터의 영상 데이터에 포함되어 있는 화소들이 왜곡수차의 보정에 사용되는지의 여부를 판정하는 영역 판정부;
상기 영역 판정부의 판정 결과에 따라 상기 영상 데이터를 부호화 처리에 의해 압축하여, 압축 영상 데이터로서 출력하는, 데이터 압축부; 및
상기 데이터 압축부로부터의 압축 영상 데이터를 저장하는 저장부;를 포함한, 촬영 장치.