KR101556931B1

KR101556931B1 - 영상 데이터 처리 장치 및 방법

Info

Publication number: KR101556931B1
Application number: KR1020090015432A
Authority: KR
Inventors: 김영걸
Original assignee: 삼성전자주식회사
Priority date: 2009-02-24
Filing date: 2009-02-24
Publication date: 2015-10-02
Also published as: US8682024B2; KR20100096523A; US20100214306A1

Abstract

본 발명은, 영상 데이터를 복수의 블록들로 분할하여 각각의 블록들에 속한 픽셀 데이터 값들을 라인 메모리를 통해 순차적으로 접근하여 서브샘플링을 위한 데이터 패치를 생성할 수 있는 영상 데이터 처리 장치 및 방법에 관한 것이다. 본 발명은 영상 데이터를 복수의 블록으로 분할하여 라인 메모리들 각각에 저장하고, 라인 메모리들 각각에 저장된 픽셀 데이터 값들에 순차적으로 접근하여 영상 데이터의 서브샘플링을 위한 데이터 패치를 생성하는 영상 데이터 처리 장치 및 방법을 제공한다.

서브샘플링, 라인 메모리

Description

영상 데이터 처리 장치 및 방법{Apparatus and method for processing image data}

본 발명은 영상 데이터 처리 장치 및 방법에 관한 것으로서, 보다 상세하게는, 영상 데이터를 복수의 블록들로 분할하여 각각의 블록들에 속한 픽셀 데이터 값들을 라인 메모리를 통해 순차적으로 접근하여 서브샘플링을 위한 데이터 패치를 생성할 수 있는 영상 데이터 처리 장치 및 방법에 관한 것이다.

통상적으로, 영상 데이터 처리 기술이 적용될 수 있는 디지털 영상 처리 장치는 디지털 카메라, PDA(personal digital assistant), 폰 카메라, PC 카메라 등의 영상을 처리하거나 영상 인식 센서를 사용하는 모든 장치를 포함한다.

디지털 영상 처리 장치는 촬상 소자를 통하여 입력받은 영상을 디지털 신호 처리기에서 이미지 프로세싱하고 이를 압축하여 이미지 파일을 생성하고, 그 이미지 파일을 메모리에 저장할 수 있다.

또한, 디지털 영상 처리 장치는 촬상 소자를 통하여 입력받거나 저장매체에 저장된 이미지 파일의 이미지를 LCD(Liquid Crystal Display)와 같은 표시장치에 표시하여 보여줄 수 있다.

이러한 디지털 영상 처리 장치에 있어서, 고 화소 경쟁이 포화상태로 감에 따라, 제조사간 경쟁이 고감도의 촬영으로 영역이 넓어지고 있다. 이에 CCD, CMOS의 열로 인한 잡음(노이즈, Noise)이나 전자 회로상의 간섭으로 생기는 저주파 잡음이 고감도 촬영시 신호 증폭으로 인해 그 세기가 증폭되어 문제되고 있는 바, 출력영상에 생기게 되는 잡음의 효과적인 제거가 상당히 중요한 이슈가 되고 있다.

종래에는 간단하게 잡음 제거(Noise Reduction, NR)를 위해 저역 통과 필터(Low pass Filter, LPF)를 많이 사용하였다. 이 필터는 잡음(Noise)의 성분이 영상의 면(Plane)부분에서 고주파 성분으로 발생하기 때문에, 이 고주파 성분을 차단하면 잡음이 제거 되었기 때문이다.

하지만 이 방법은 영상의 선(Edge) 성분마저 제거를 하였기 때문에, 이미지 자체의 선예도가 떨어지는 결과를 만들었고, 선 성분은 그대로 유지하면서 노이즈만 제거할 수 있는 기술의 필요성이 제기되었다.

이와 관련하여, 영상을 샘플링하여 소프트웨어적으로 처리하여 노이즈 제거를 수행하는 기술이 도입되었다.

그러나, 이러한 소프트웨어적인 처리를 기반의 노이즈 제거 기술로는 고속처리가 불가능하다는 단점이 있다. 즉, 모든 연산은 중앙처리 장치에서 하게 됨으로 인해 처리속도는 중앙처리 장치에 의존하게 되고, 중앙처리 장치는 이미지 처리뿐만 아니라 다른 작업도 동시에 해야 하기 때문에, 처리속도에 제한이 있다. 또, 소프트웨어 처리 전의 영상 데이터는 메모리나 SD/CF/SM 카드 등의 저장장치에 저장되는데, 소프트웨어 처리를 위해 이를 불러오기 위한 속도의 제약이 매우 크다.

특히, 이러한 노이즈 제거 기술은 영상 처리를 위해 서브샘플링을 위한 데이터 값을 읽어옴에 있어서, 영상 데이터가 저장된 장치에 임의 접근(Random Access) 방법을 사용하게 되는 데, 이러한 접근방법을 사용할 경우에는 비연속적으로 메모리 로드(load)가 발생함에 따라 부하가 크게 걸리고 그로 인해 시간이 더 오래 걸리게 되는 단점이 있다.

본 발명은, 영상 데이터를 복수의 블록들로 분할하여 각각의 블록들에 속한 픽셀 데이터 값들을 복수 개의 라인 메모리들을 통해 순차적으로 접근할 수 있도록 하여 보다 신속하고 용이하게 서브샘플링을 위한 데이터 패치를 생성할 수 있는 영상 데이터 처리 장치 및 방법을 제공하는 것을 목적으로 한다.

상기의 기술적 과제를 이루기 위한, 본 발명에 의한 영상 데이터 처리 장치는 복수의 라인 메모리들; 영상 데이터를 복수의 블록들로 분할하는 분할부; 분할된 블록들을 라인 메모리들 각각에 저장하는 라인메모리제어부; 및 라인 메모리들 각각에 저장된 픽셀 데이터 값들에 순차적으로 접근하여 영상 데이터의 서브샘플링을 위한 데이터 패치를 생성하는 데이터패치생성부를 포함한다.

바람직하게, 분할부는 영상데이터의 행렬의 행 단위로 분할할 수 있다.

바람직하게, 데이터패치생성부는 라인 메모리들 각각에 저장된 픽셀 데이터 값들을 기준 클럭 마다 한 비트씩 쉬프트시켜 저장하는 복수의 딜레이 레지스터들; 및 딜레이 레지스터들 각각으로부터 기정의된 주소들에 위치한 픽셀 데이터 값들을 추출하는 픽셀데이터추출부를 포함할 수 있다.

바람직하게, 라인메모리제어부는 복수의 블록들 중 데이터 패치의 행렬에 속한 열의 개수의 블록들을 선택하여 라인 메모리들의 각각에 저장하고, 데이터패치생성부는 라인 메모리들 각각으로부터 데이터 패치의 행렬에 속한 행의 개수의 픽 셀 데이터 값들을 추출하고, 동일한 라인 메모리로부터 추출된 픽셀 데이터 값들을 동일한 행으로 하는 행렬 형태의 데이터 패치를 생성할 수 있다.

바람직하게, 라인메모리제어부는 복수의 블록들 중 서로 일정한 간격으로 이격된 블록들을 선택하고, 데이터패치생성부는 라인 메모리들 각각에 저장된 픽셀 데이터 값들 중 서로 일정한 간격으로 이격된 복수의 픽셀 데이터 값들을 추출할 수 있다.

바람직하게, 복수의 라인 메모리들은 적어도 데이터 패치의 행렬에 속한 열의 개수 이상의 라인 메모리들을 포함할 수 있다.

바람직하게, 라인메모리제어부는 선택된 블록들 중에 라인메모리들에 저장된 블록이 있는지를 확인하여 라인메모리들에 저장된 블록을 제외한 나머지만을 새로 저장할 수 있다.

바람직하게, 분할부, 라인메모리제어부 및 데이터패치생성부는 ASIC(application-specific integrated circuit), 기판 및 FPGA(field-programmable gate array) 중 적어도 하나 이상을 포함할 수 있다.

상기의 기술적 과제를 이루기 위한, 본 발명에 의한, 영상 데이터 처리 방법은 영상 데이터를 복수의 블록들로 분할하는 분할단계; 분할된 블록들을 라인 메모리들 각각에 저장하는 라인메모리저장단계; 라인 메모리들 각각에 저장된 픽셀 데이터 값들에 순차적으로 접근하여 영상 데이터의 서브샘플링을 위한 데이터 패치를 생성하는 데이터패치생성단계를 포함한다.

바람직하게, 분할단계는 영상데이터의 행렬의 행 단위로 분할할 수 있다.

바람직하게, 데이터패치생성단계는 라인 메모리들 각각에 저장된 픽셀 데이터 값들을 기준 클럭 마다 복수의 딜레이 레지스터들 각각에 한 비트씩 쉬프트시켜 저장하는 단계; 및 딜레이 레지스터들 각각으로부터 기정의된 주소들에 위치한 픽셀 데이터 값들을 추출하는 단계를 포함할 수 있다.

바람직하게, 라인메모리저장단계는 데이터 패치의 행렬에 속한 열의 개수의 블록들을 선택하여 라인 메모리들 각각에 저장하는 단계를 포함하고, 데이터패치생성단계는 라인 메모리들 각각으로부터 데이터 패치의 행렬에 속한 행의 개수의 픽셀 데이터 값들을 추출하고, 동일한 라인 메모리로부터 추출된 픽셀 데이터 값들을 동일한 행으로 하는 행렬 형태의 데이터 패치를 생성할 수 있다.

바람직하게, 라인메모리저장단계는 복수의 블록들 중 서로 일정한 간격으로 이격된 블록들을 선택하는 단계를 포함하고, 데이터패치생성부는 라인 메모리들 각각에 저장된 픽셀 데이터 값들 중 서로 일정한 간격으로 이격된 복수의 픽셀 데이터 값들을 추출하는 단계를 포함할 수 있다.

바람직하게, 라인메모리저장단계는 선택된 블록들 중에 라인메모리들에 저장된 블록이 있는지를 확인하여 라인메모리들에 저장된 블록을 제외한 나머지만을 새로 저장하는 단계를 포함할 수 있다.

본 발명에 따른 영상 데이터 처리 장치 및 방법에 의하면, 디지털 영상 처리 장치에서 영상 데이터를 복수 개의 블록들로 분할하여 복수 개의 라인 메모리들 각각에 저장하고, 라인 메모리들 각각에 저장된 픽셀 데이터 값들을 순차적으로 읽어 와 보다 신속하고 용이하게 서브 샘플링을 위한 데이터 패치를 생성할 수 있다. 이와 같이 생성된 데이터 패치는 노이즈 제거뿐만 아니라, 데이터 크기 축소, 자동 노출, 자동 화이트 밸런스 등의 영상 처리에 유용하게 사용될 수 있다.

상술한 목적, 특징 및 장점들은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 더욱 분명해 질 것이다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략하거나 간략하게 설명하는 것으로 한다.

한편 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하, 첨부된 도면을 참조하여 바람직한 실시예에 따른 본 발명을 상세히 설명하기로 한다.

도 1은 본 발명에 따른 영상 데이터 처리 장치 및 방법이 적용되는 디지털 영상 처리 장치의 일 실시예인 디지털 카메라(100)의 구성을 도시한 블럭도이다.

도 1을 참조하면, 디지털 카메라(100)는 피사체로부터의 광학 신호를 입력하는 광학부(11), 광학부(11)를 통해 입력된 광학 신호를 전기 신호로 변환하는 촬상 소자(12), 촬상 소자(12)로부터 제공된 전기 신호에 대해 노이즈 저감 처리, 디지털 신호로 변환 처리 등의 신호 처리를 행하는 입력 신호 처리부(13)를 구비한다. 광학부(11)를 구동하는 모터(14) 및 모터(14)의 동작을 제어하는 구동부(15)를 구 비한다. 또한, 디지털 카메라(100)는 사용자의 조작 신호를 입력하는 사용자 입력부(UI, 20), 입력 영상의 데이터, 연산 처리를 위한 데이터, 처리 결과 등을 임시 저장하는 SDRAM(30), 디지털 카메라(100)의 동작에 필요한 알고리즘, 설정 데이터 등을 저장하는 플래시 메모리(40), 영상 파일을 저장하는 기록 장치로서 SD/CF/SM 카드(50)를 구비할 수 있다. 그리고 디지털 카메라(100)는 디스플레이 장치로서 액정 디스플레이 장치(LCD, 60)가 장착되어 있다. 또한, 소리를 디지털 신호로 변환하거나 또는 음원의 디지털 신호를 아날로그 신호를 변화하는 처리, 오디오 파일을 생성하는 처리 등을 수행하는 오디오 신호 처리부(71), 소리를 출력하는 스피커(72), 소리를 입력하는 마이크(73)를 구비할 수 있다. 그리고, 디지털 카메라(100)는 디지털 카메라(100)의 동작을 제어하는 디지털 신호 처리부(DSP, 80)를 구비한다.

각 구성부에 대해 더욱 구체적으로 살펴본다.

광학부(11)는 광학 신호를 집광하는 렌즈, 광학 신호의 양(광량)을 조절하는 조리개, 광학 신호의 입력을 제어하는 셔터 등을 포함할 수 있다. 렌즈는 초점 거리(focal length)에 따라 화각이 좁아지거나 또는 넓어지도록 제어하는 줌 렌즈 및 피사체의 초점을 맞추는 포커스 렌즈 등을 포함하며, 이들 렌즈들은 각각 하나의 렌즈로 구성될 수도 있지만, 복수 렌즈들의 군집으로 이루어질 수도 있다. 셔터로 가리개가 위아래로 움직이는 기계식 셔터를 구비할 수 있다. 또는 별도의 셔터 장치 대신 촬상 소자(11)에 전기 신호의 공급을 제어하여 셔터 역할을 행할 수도 있다.

광학부(11)를 구동하는 모터(14)는 오토 포커스, 자동 노출 조정, 조리개 조정, 줌, 초점 변경 등의 동작을 실행하기 위하여 렌즈의 위치, 조리개의 개폐, 셔터의 동작 등을 구동할 수 있다.

모터(14)는 구동부(15)에 의해 제어된다. 구동부(15)는 DSP(80)로부터 입력된 제어 신호에 따라 모터(14)의 동작을 제어한다.

촬상 소자(12)는 광학부(11)로부터 입력된 광학 신호를 수광하여, 피사체의 상을 결상한다. 촬상 소자(12)로 CMOS(Complementary Metal Oxide Semiconductor) 센서 어레이, CCD(Charge coupled device) 센서 어레이 등을 사용할 수 있다.

입력 신호 처리부(13)는 CCD로부터 공급된 전기 신호는 아날로그 신호로서 이를 디지털화하는 A/D 컨버터를 더 구비할 수 있다. 또한, 촬상 소자(12)로부터 제공된 전기 신호에 대해 게인(gain) 조정이나 파형을 정형화하는 신호 처리를 행하는 회로를 구비할 수 있다.

UI(20)는 사용자가 디지털 카메라(10)를 조작하거나 촬영 시 각종의 설정을 행하기 위한 부재를 포함할 수 있다. 예를 들어, 버튼, 키, 터치 패널, 터치 스크린, 다이얼 등의 형태로 구현될 수 있으며, 전원 온/오프, 촬영 개시/정지, 재생 개시/정지/서치, 광학계의 구동, 모드 변환, 메뉴 조작, 선택 조작 등의 사용자 제어 신호를 입력할 수 있다.

SDRAM(30)은 입력 신호 처리부(13)로부터 제공된 영상의 RAW 데이터(RGB 데이터)를 임시 저장할 수 있으며, 임시 저장된 RAW 데이터는 DSP(80)의 연산에 따라 소정의 영상 신호 처리가 행해지기도 하고, 다른 필요한 구성부로 전달되기도 한 다. 또한, SDRAM(30)에는 플래시 메모리(40)에 저장된 알고리즘을 구성하는 데이터를 실행 가능한 데이터로 변환하여 임시 저장할 수도 있다. SDRAM(30)에 저장된 데이터를 이용하여 DSP(80)에서 연산 처리하여 알고리즘에 따른 동작을 수행할 수 있다. 아울러, 플래시 메모리(40)에 저장한 영상 파일을 압축 해제하여 변환한 영상 데이터를 임시 저장할 수도 있다. 이렇게 임시 저장된 영상 데이터는 LCD(60)로 전송되어 소정의 영상을 디스플레이 할 수도 있다. SDRAM(30)는 일 예로서, 전원 공급 동안 데이터를 임시 기억하는 다양한 휘발성 메모리를 사용할 수 있으며, 복수의 메모리 소자들을 집적한 반도체 소자를 사용할 수도 있다.

플래시 메모리(40)는 디지털 카메라(100)를 작동하는 필요한 OS, 응용 프로그램, 본 발명에 관한 영상 데이터 처리 방법의 알고리즘을 실행하는 데이터 등을 저장할 수 있다. 플래시 메모리(40)는 일 예로서, ROM 등의 다양한 비휘발성 메모리로 사용할 수 있다.

SD/CF/SM 카드(50)에는 입력 신호 처리부(13)로부터 제공된 영상 데이터를 압축 처리하여 생성한 영상 파일을 기록할 수 있다. SD/CF/SM 카드(50)는 일 예로서, HDD(Hard Disk Driver), 광 디스크, 광 자기 디스크, 홀로그램 메모리 등을 사용할 수도 있다.

LCD(60)는 입력 신호 처리부(13)로부터 제공되는 영상 데이터에 대응하는 영상을 실시간으로 구현할 수 있으며, 또는 SD/CF/SM 카드(50)에 저장된 영상 파일로부터 복원한 영상 데이터에 대응하는 영상을 디스플레이 할 수 있다. 본 실시 예에서는 LCD(60)를 예시하였지만, 이에 한정되는 것은 아니며 유기 전계 발광 디스플 레이 장치, 전기 영동 디스플레이 장치 등을 채용할 수 있다.

오디오 신호 처리부(71)는 DSP(80)로부터 제공되는 음원의 디지털 신호를 소리로 변환하고, 소리를 증폭하여 스피커(72)로 전달하여 출력한다. 또는 마이크(73)를 통해 소리를 입력하고, 소리를 디지털 신호로 변환하여 압축하여 오디오 파일을 생성할 수 있다. 그리고 DSP(80)로 전달하여 연산 처리를 수행하도록 할 수 있다.

DSP(80)는 입력된 영상 데이터에 대해 노이즈를 저감하고, 감마 컬렉션(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 영상 신호 처리를 수행할 수 있다. 또한, 영상 신호 처리하여 생성한 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축 형식은 가역 형식 또는 비 가역 형식이어도 된다. 적절한 형식의 예로서, JPEG(Joint Photographic Experts Group)형식이나 JPEG 2000 형식 등으로 변환도 가능하다. 또한, DSP(80)에서는 기능적으로 불선명 처리, 색체 처리, 블러 처리, 엣지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 행할 수 있다. 영상 인식 처리로 장면 인식 처리를 행할 수 있다. 또한, DSP(80)에서는 LCD(60)에 디스플레이 하기 위한 표시 영상 신호 처리를 행할 수 있다. 예를 들어, 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 등 생성 및 영상의 합성 처리 등을 행할 수 있다. DSP(80)는 외부 모니터(120)와 연결되어, 외부 모니터(120)에 디스플레이 되 도록 소정의 영상 신호 처리를 행할 수 있으며, 이렇게 처리된 영상 데이터를 전송하여 외부 모니터(120)에서 해당 영상이 디스플레이 되도록 제어할 수 있다.

DSP(80)는 상술한 바와 같은 영상 신호 처리를 수행하며, 처리 결과에 따라 각 구성부를 제어할 수 있다. 또한 UI(20)를 통해 입력된 사용자의 제어 신호에 따라 각 구성부를 제어할 수 있다. 영상 신호 처리를 수행하기 위한 알고리즘은 플래시 메모리(40)에 저장되어 있으며, 연산 처리를 위해 실행 가능한 데이터로 변환하여 SDRAM(30)에 저장하여 이에 따라 DSP(80)에서 해당 연산을 수행할 수 있다.

디지털 영상 처리 장치의 일 실시예인 디지털 카메라(100)의 DSP(80)에는 도 2에 도시된 영상 데이터 처리 장치가 포함될 수 있다.

도 2는 본 발명에 따른 바람직한 실시예인 디지털 영상 처리 장치의 영상 데이터 처리 장치(200)의 구성을 도시한 도면이다. 본 실시예에 따른 디지털 영상 처리 장치의 영상 데이터 처리 장치(200)는 도 1에 도시된 디지털 카메라(100)의 DSP(80)의 내부에 장착될 수 있다.

도 2를 참조하면, 본 실시예에 따른 영상 데이터 처리 장치(200)는 분할부(210), 라인메모리제어부(220), 복수의 라인 메모리들(231~233), 데이터패치생성부(240) 및 노이즈제거필터(250)를 포함한다.

분할부(210)는 영상 데이터를 복수의 블록들로 분할한다. 일반적으로, 영상 데이터는 픽셀 데이터 값이 행렬 형상으로 2차원 배치되어 구성된다. 이러한 영상 데이터를 분할함에 있어서, 영상 데이터의 행렬 상의 각 행들을 각 블록들로 분할할 수 있다. 이러한 경우 영상 데이터의 가로 크기(width)만큼의 길이를 가진 블록 들이 영상 데이터의 행렬에 속한 열의 개수만큼 생성된다.

라인메모리제어부(220)는 분할부(210)에서 분할된 복수의 블록들을 라인 메모리들(231~233) 각각에 저장한다.

복수의 라인메모리들은 외부에 버스를 통해 연결된 메인 메모리 등의 다른 저장장치와 달리 내부 회로로 장착되는 것으로 메인 메모리에 비해 용량 등에 있어 제한적이나, 저장된 데이터를 신속하고 용이하게 접근할 수 있다. 바람직하게, 본 실시예에서의 라인 메모리들은 분할된 블록의 크기 이상의 용량을 가져야 할 것이다.

일반적으로, 분할된 블록보다 작은 개수의 라인 메모리들을 갖게 되므로, 분할된 블록들 중 라인 메모리의 개수만큼의 블록들을 기정의된 서브샘플링 규칙에 따라 선택하여 저장한다. 바람직하게는, 라인메모리제어부(220)는 선택된 블록들 중에 현재 라인메모리들에 저장된 블록이 있는지를 확인하여 현재 라인메모리들에 저장된 블록을 제외한 나머지만을 새롭게 저장하도록 구현하여 메모리 로드 및 전체 수행시간을 줄일 수 있다.

그리고, 데이터패치생성부(240)는 라인 메모리들(231~233) 각각에 저장된 픽셀 데이터 값에 순차적으로 접근하여 서브샘플링을 위한 데이터패치를 생성한다. 일반적으로 서브샘플링을 위한 데이터 패치로는 3×3 행렬이나 5×5 행렬 형태의 데이터 패치가 사용된다.

데이터패치생성부(240)는 라인 메모리들(231~233) 각각에 저장된 픽셀 데이터 값에 순차적으로 접근하기 위해 복수의 딜레이 레지스터들 및 픽셀 데이터 추출 부를 포함하여 구현할 수 있다.

딜레이 레지스터들은 라인 메모리들 각각에 저장된 픽셀 데이터 값들을 기준 클럭 마다 한 비트씩 쉬프트시켜 저장한다.

픽셀데이터추출부는 딜레이 레지스터들로부터 서브샘플링 규칙에 따라 기정의된 주소들에 위치한 픽셀 데이터 값들을 추출한다.

라인메모리제어부(220)는 생성될 데이터 패치의 행렬에 속한 열의 개수의 블록들을 선택하여 라인 메모리들 각각에 하나씩 저장하고, 데이터패치생성부(240)는 라인 메모리들 각각으로부터 생성될 데이터 패치의 행렬의 행의 개수의 픽셀 데이터 값들을 추출하여 데이터 패치 각 열과 행에 들어갈 픽셀 데이터 값을 추출할 수 있다. 이 때의 데이터 패치의 행렬의 각 행은 라인 메모리들 각각으로부터 추출된 픽셀 데이터 값들로 구성된다. 즉, 동일한 라인 메모리로부터 추출된 픽셀 데이터 값들을 동일한 행으로 하는 행렬 형태의 데이터 패치를 생성한다.

여기에서 데이터 패치의 행렬에 속한 열의 개수나 행의 개수는 커널 필터의 크기를 가리킨다.

예컨대, 3×3 행렬의 데이터 패치를 사용하는 경우 즉, 3×3 커널 필터를 위한 데이터 패치를 사용하는 경우에는, 라인메모리제어부(220)는 분할부(210)에서 분할된 복수의 블록들 중 3개의 블록들을 선택하여 라인 메모리 각각(231~233)에 저장한다. 바람직하게, 영상 데이터 처리 장치(400)는 한 개의 블록이 하나의 라인 메모리에 저장될 수 있어야 하므로 적어도 3개 이상의 라인 메모리를 포함하여야 할 것이다.

본 실시예에서 적용되는 서브샘플링 규칙에 따라 영상 데이터의 행렬 상에서 가로 및 세로로 한 칸씩 이격되어 위치한 픽셀 데이터 값들로 3×3 행렬 형태의 데이터 패치를 구성해야 하는 경우에는, 라인메모리제어부(220)는 첫 번째 행, 세 번째 행, 다섯 번째 행을 선택하여 하나씩 각각 제1라인 메모리(231), 제2라인 메모리(232), 제3라인 메모리(233)에 저장한다.

데이터패치생성부(240)의 제1 내지 제3 딜레이 레지스터들은 각각 제1라인 메모리(231), 제2라인 메모리(232), 제3라인 메모리(233)에 저장된 픽셀 데이터 값들을 기준 클럭 마다 한 비트씩 쉬프트시켜 저장한다.

데이터패치생성부(240)의 픽셀데이터추출부는 딜레이 레지스터가 다 차면, 각 딜레이 레지스터의 첫 번째, 네 번째, 일곱 번째 주소에 저장된 픽셀 데이터 값들을 추출하여, 동일한 딜레이 레지스터로부터 추출된 픽셀 데이터 값들을 동일한 행으로 하는 행렬 형태의 데이터 패치를 생성한다.

즉, 데이터패치생성부(240)는 제1딜레이 레지스터의 첫 번째, 세 번째, 다섯 번째 주소로부터 추출한 3개의 픽셀 데이터 값들로 구성된 행, 제2딜레이 레지스터의 첫 번째, 세 번째, 다섯 번째 주소로부터 추출한 3개의 픽셀 데이터 값들로 구성된 행, 제2딜레이 레지스터의 첫 번째, 세 번째, 다섯 번째 주소로부터 추출한 3개의 픽셀 데이터 값으로 구성된 행으로 이루어진 3×3 행렬 형태의 데이터 패치를 생성하게 된다.

노이즈제거필터(250)는 데이터패치생성부(240)에서 생성된 데이터패치를 기초로 영상 데이터를 필터링하여 노이즈 제거된 영상 데이터를 출력한다. 바람직하 게, 노이즈제거필터(250)는 저역 통과 필터(251) 및 양방향 필터(252)를 포함하여 구현될 수 있다.

도 3a 내지 도 3e는 본 실시예에 따른 영상 데이터 처리 장치(200)의 노이즈제거필터(250)에서 영상 데이터의 노이즈 제거를 위한 필터링을 수행하는 과정을 도시한 도면이다.

저역 통과 필터(Low Pass Filter, 251)는 데이터패치생성부(240)에서 생성된 3×3 데이터 패치(301)와 가중치 필터링 계수들로 구성된 행렬 K(302)를 기초로 하여 가중치 필터링 결과값을 생성하고(도 3a 참조), 이러한 생성 과정을 영상 데이터의 각 픽셀에 대하여 반복한다(도 3b 내지 도 3c 참조).

이와 같은 과정을 거쳐 저역 통과 필터(Low Pass Filter, 251)는 영상 데이터의 각 픽셀에 대한 가중치 필터링 결과값들(303)로 서브샘플링된 영상 데이터를 생성한다.

도 3d 내지 도 3e를 참조하면, 양방향 필터(Bilateral Filter, 252)는 서브샘플링된 영상 데이터(304)를 구성하는 픽셀 데이터 값들을 소정의 기준값(threshold)들과 비교하여 노이즈 필터링을 수행하여 최종 노이즈 제거된 영상데이터(305)를 생성한다.

아울러, 데이터패치생성부(240)에서 생성된 데이터 패치는 본 실시예와 같이 노이즈 제거뿐만 아니라, 데이터 크기 조정이나, 자동 노출, 자동 화이트 밸런스(white-balance) 기능을 구현함에 있어서도 사용될 수 있다.

여기에서 영상 데이터 처리 장치(200)는 여러 회로를 일체적으로 구성하는 모듈로서, 바람직하게는, 영상 데이터 처리장치(200)의 각 구성요소들은 ASIC(application-specific integrated circuit)으로 구성되어 영상 데이터를 보다 고속으로 서브샘플링을 하도록 구현할 수 있다. 그러나 ASIC에 한정되지는 않으며, 디지털 영상 처리 장치(100) 내에 실장된 회로 기판이나, FPGA(field-programmable gate array)와 같은 하드웨어(hardware)로 구현될 수 있으며, 또한 메모리 상의 소정 영역에서 수행되는 태스크, 클래스, 서브 루틴, 프로세스, 오브젝트, 실행 쓰레드, 프로그램과 같은 소프트웨어(software) 및 하드웨어의 조합으로 이루어질 수도 있다. 또한, 영상 데이터 처리장치(200)의 각 구성요소들은 컴퓨터로 판독 가능한 저장 매체에 포함되어 있을 수도 있고, 복수의 컴퓨터에 그 일부가 분산되어 분포될 수도 있을 것이다.

도 4은 ASIC 에서 영상 신호가 처리되는 과정을 예시한 도면이다. 도 4를 참조하면, 영상 신호는 수직동기신호(VD or v-sync, 401), 수평동기신호(HD, h-sync, 402) 및 데이터(403)로 구성되며, 수직동기신호(401)은 프레임 별로 동기를 맞추기 위한 신호이며, 수평동기신호(402)는 프레임의 단위 블록 별로 동기를 맞추기 위한 신호이며, 데이터(403)은 프레임을 구성하는 각각의 픽셀 데이터 값을 나타낸다.

일반적인 ASIC 에서의 영상 처리에서는 영상 데이터가 저장되어 있는 메모리나 센서 등에 영상 데이터가 저장된 주소와 영상 데이터의 크기 등을 포함하는 REQ 신호(data request signal)를 전송하여 영상 데이터를 읽어오는 임의 접근(random access) 방식을 취한다. 이러한 방식으로 영상 데이터를 읽어와서 영상 데이터를 처리하는 경우에 그 성능 면에 있어서 제약이 심하다.

예컨대, ASIC 에서 영상 데이터의 서브샘플링을 위해 메모리에 연결된 버스를 통해 REQ 신호를 보내도록 구현된다면, 영상 데이터의 모든 픽셀 데이터 값을 위해서 REQ를 보내고, 메모리에서 데이터를 불러오고, 이에 대한 ACK 신호를 보내는 과정을 매번 반복하게 되어 영상 데이터를 메모리 등으로부터 읽어오는 과정에 영상 처리에 소요되는 시간의 대부분을 소비하게 된다.

그리고, 이때의 영상 처리 회로의 다른 부분들은 영상 데이터를 메모리 등으로부터 읽어오기 전까지는 처리할 데이터가 없기 때문에 일을 할 수가 없으므로 그 효율이 매우 떨어진다.

또한, 영상 처리 과정에서 x×x(x by x) 필터를 사용하는 경우에 하나의 픽셀에 대한 데이터 패치를 생성하기 위해 x² 개에 해당하는 픽셀 데이터 값들을 메인 메모리로부터 읽어와야 하는데, 일반적인 ASIC 회로에서와 같이 임의 접근 방식을 사용하는 경우에 읽어왔던 픽셀 데이터 값들을 다음 픽셀을 위해 사용할 수 없으므로 영상 처리 효율이 떨어진다.

본 실시예의 영상 처리 장치(200)는 필터의 크기(x)만큼의 라인 메모리를 포함하고, 이를 이용하여 데이터 패치를 생성하도록 하고, 또 다음 픽셀에 대한 데이터 패치 생성 시 기존의 라인 메모리에 저장된 픽셀 데이터 값들을 재활용하도록 함으로써, 그 효율을 극대화하고 있다.

도 5는 본 발명에 따른 바람직한 실시예에 따른 디지털 영상 처리 장치의 영상 데이터 처리방법(S500)의 흐름을 도시한 도면이고 도 6a 내지 도 6f는 도 5에 도시된 영상 데이터 처리방법의 각 단계에서 수행되는 데이터 처리과정을 예시한 도면이다. 본 실시예에 따른 디지털 영상 처리 장치의 영상 데이터 처리방법(S500)은 도 2에 도시된 디지털 영상 처리 장치의 영상 데이터 처리 장치(200)에서 구현될 수 있다. 이를 위하여, 본 실시예에 따른 디지털 영상 처리 장치의 디지털 영상 처리 방법(S500)이 도 2에 도시된 영상 데이터 처리 장치(200)의 저장 수단에 저장되거나 펌웨어(Firmware) 등의 반도체 칩의 형태로 구현된 프로그램 또는 알고리즘이 될 수 있다.

또한, 본 실시예에 따른 디지털 영상 처리 장치의 영상 데이터 처리방법(S500)은 도 2에 도시된 디지털 영상 처리 장치의 영상 데이터 처리 장치(200)에서 수행될 수 있다. 따라서, 도 2의 영상 데이터 처리 장치(200)에 관한 설명에서와 동일한 사항에 대해서는 이를 참조한다.

도 6a에서 도시된 바와 같이, 본 실시예에 따른 영상 데이터 처리 장치(200)는 메인 메모리 상에서 영상 데이터를 L1 내지 L11까지의 라인 블록들로 분할한다(S510). 분할된 각각의 라인 블록에 속한 픽셀 데이터 값들은 메인 메모리 상에서 순차적으로 저장된다.

본 실시예에 따른 영상 데이터 처리 장치(200)는 기정의된 서브샘플링 규칙에 따라 분할된 라인 블록들 중 L1, L4, L7을 메인 메모리로부터 읽어와서 라인 메모리 A, B, C에 각각 저장한다(S520).

보다 구체적으로 살펴보면, 도 6b에 도시된 바와 같이, 제1라인블록(L1)을 메인 메모리로부터 먼저 읽어와서 라인 메모리 C에 저장한다. 그리고, 도 6c에 도 시된 바와 같이, 라인 메모리 C에 저장된 제1라인블록(L1)을 라인 메모리 B로 옮기고, 제3라인블록(L3)를 메인 메모리로부터 읽어와서 라인 메모리 C에 저장한다.

마지막으로 도 6d에 도시된 바와 같이, 라인 메모리 B, C에 각각 저장된 제1라인블록(L1) 및 제3라인블록(L3)를 각각 라인 메모리 A, B로 옮기고, 제5라인블록(L5)을 메인 메모리로부터 읽어와서 라인 메모리C에 저장한다.

도 6e에 도시된 바와 같이, 본 실시예에 따른 영상 데이터 처리 장치(200)는 라인 메모리 A, B, C에 저장된 제1, 제3, 제5 라인블록(L1, L3, L5)에 속한 픽셀 데이터 값들을 기준 클럭 마다 한 비트씩 쉬프트시켜 각 라인블록 별로 딜레이 레지스터들 각각에 저장한다(S530). 그리고, 딜레이 레지스터들 각각으로부터 서브샘플링 규칙에 따라 기정의된 주소들 예컨대, 딜레이 레지스터의 첫 번째, 세 번째, 다섯 번째 주소에 위치한 픽셀 데이터 값들을 추출한다(S540).

본 실시예에 따른 영상 데이터 처리 장치(200)는 추출된 픽셀 데이터 값들로 구성된 행렬 형태의 데이터 패치를 생성한다(S550). 본 실시예에서는, 도 6f에 도시된 바와 같이, 동일한 딜레이 레지스터에서 추출한 픽셀 데이터 값들을 동일한 행으로 묶어서 3×3 행렬 행태의 데이터 패치를 생성한다.

본 실시예에서는 제1라인블록(L1), 제3라인블록(L3) 및 제5라인블록(L5)을 기초로 하는 데이터 패치의 생성이 완료되면, 제3라인블록(L3), 제5라인블록(L5) 및 제7라인블록(L7)을 기초로 하는 데이터 패치 생성을 위해 S520~S560 과정을 수행하게 되는데, 이러한 경우에 S540 단계에서는 제1라인블록(L1) 대신 제7라인블록(L7)만 읽어오면 되므로, 메모리 로드 및 전체 수행 시간을 줄일 수 있게 된다.

본 실시예에 따른 영상 데이터 처리 장치(200)는 영상 데이터를 구성하는 각각의 픽셀 데이터 값에 대한 데이터 패치들을 기초로 영상 데이터의 노이즈 제거를 위한 필터링을 수행하고, 필터링된 영상 데이터를 메인 메모리에 저장한다.

본 발명에 따르면, 디지털 영상 처리 장치에서 영상 데이터를 복수 개의 블록들로 분할하여 복수 개의 라인 메모리들 각각에 저장하고, 라인 메모리들 각각에 저장된 픽셀 데이터 값들을 순차적으로 읽어와 보다 신속하고 용이하게 서브 샘플링을 위한 데이터 패치를 생성할 수 있다. 이와 같이 생성된 데이터 패치는 영상 데이터의 노이즈 제거뿐만 아니라, 데이터 크기 축소, 자동 노출, 자동 화이트 밸런스 등의 영상 처리에 유용하게 사용될 수 있다.

본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.

도 1은 본 발명에 따른 영상 데이터 처리 장치 및 방법이 적용되는 디지털 영상 처리 장치의 일 실시예인 디지털 카메라의 구성을 도시한 블럭도이다.

도 2는 본 발명에 따른 바람직한 실시예인 디지털 영상 처리 장치의 영상 데이터 처리 장치의 구성을 도시한 도면이다.

도 3a 내지 도 3e는 영상 데이터의 노이즈 제거를 위한 필터링을 수행하는 과정을 예시한 도면이다.

도 4는 ASIC 에서 영상 신호가 처리되는 과정을 예시한 도면이다.

도 5는 본 발명에 따른 바람직한 실시예에 따른 디지털 영상 처리 장치의 영상 데이터 처리방법의 흐름을 도시한 도면이다.

도 6a 내지 도 6f는 본 발명에 따른 바람직한 실시예에 따른 디지털 영상 처리 장치의 영상 데이터 처리방법의 각 단계에서 수행되는 데이터 처리과정을 예시한 도면이다.

Claims

복수의 라인 메모리들;

영상 데이터를 복수의 블록들로 분할하는 분할부;

상기 분할된 블록들을 상기 라인 메모리들 각각에 저장하는 라인메모리제어부; 및

상기 라인 메모리들 각각에 저장된 픽셀 데이터 값들 중 서로 일정한 간격으로 이격된 복수의 픽셀 데이터 값들을 추출하여 상기 영상 데이터의 서브샘플링을 위한 데이터 패치를 생성하는 데이터패치생성부를 포함하는 것을 특징으로 하는 영상데이터처리장치.
제1항에 있어서,

상기 분할부는 상기 영상 데이터의 행렬의 행 단위로 분할하는 것을 특징으로 하는 영상 데이터 처리 장치.
제1항에 있어서,

상기 데이터패치생성부는

상기 라인 메모리들 각각에 저장된 픽셀 데이터 값들을 기준 클럭 마다 한 비트씩 쉬프트시켜 저장하는 복수의 딜레이 레지스터들; 및

상기 딜레이 레지스터들 각각으로부터 기정의된 주소들에 위치한 픽셀 데이터 값들을 추출하는 픽셀데이터추출부를 포함하는 것을 특징으로 하는 영상 데이터 처리 장치.
제1항에 있어서,

상기 라인메모리제어부는 상기 복수의 블록들 중 상기 데이터 패치의 행렬에 속한 열의 개수의 블록들을 선택하여 상기 라인 메모리들의 각각에 저장하고,

상기 데이터패치생성부는 상기 라인 메모리들 각각으로부터 상기 데이터 패치의 행렬에 속한 행의 개수의 픽셀 데이터 값들을 상기 일정한 간격으로 추출하고, 동일한 라인 메모리로부터 추출된 픽셀 데이터 값들을 동일한 행으로 하는 행렬 형태의 데이터 패치를 생성하는 것을 특징으로 하는 영상 데이터 처리 장치.
제4항에 있어서,

상기 라인메모리제어부는 상기 복수의 블록들 중 서로 일정한 간격으로 이격된 블록들을 선택하는 것을 특징으로 하는 영상 데이터 처리 장치.
제1항에 있어서,

상기 복수의 라인 메모리들은 적어도 상기 데이터 패치의 행렬에 속한 열의 개수 이상의 라인 메모리들을 포함하는 것을 특징으로 하는 영상 데이터 처리 장 치.
제1항에 있어서,

상기 라인메모리제어부는

상기 분할된 블록들 중에 상기 라인메모리들에 저장된 블록이 있는지를 확인하여 상기 라인메모리들에 저장된 블록을 제외한 나머지만을 새로 저장하는 것을 특징으로 하는 것을 특징으로 하는 영상 데이터 처리 장치.
제1항에 있어서,

상기 분할부, 라인메모리제어부 및 데이터패치생성부는 ASIC(application-specific integrated circuit), 기판 및 FPGA(field-programmable gate array) 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 영상 데이터 처리 장치.
복수의 라인 메모리들을 포함하는 영상 데이터 처리 장치의 영상 데이터 처리 방법에 있어서,

상기 영상 데이터를 복수의 블록들로 분할하는 분할단계;

상기 분할된 블록들을 상기 라인 메모리들 각각에 저장하는 라인메모리저장단계;

상기 라인 메모리들 각각에 저장된 픽셀 데이터 값들 중 서로 일정한 간격으로 이격된 복수의 픽셀 데이터 값들을 추출하여 상기 영상 데이터의 서브샘플링을 위한 데이터 패치를 생성하는 데이터패치생성단계를 포함하는 것을 특징으로 하는 영상 데이터 처리 방법.
제9항에 있어서

상기 분할단계는 상기 영상데이터의 행렬의 행 단위로 분할하는 것을 특징으로 하는 영상 데이터 처리 방법.
제9항에 있어서,

상기 데이터패치생성단계는

상기 라인 메모리들 각각에 저장된 픽셀 데이터 값들을 기준 클럭 마다 복수의 딜레이 레지스터들 각각에 한 비트씩 쉬프트시켜 저장하는 단계; 및

상기 딜레이 레지스터들 각각으로부터 기정의된 주소들에 위치한 픽셀 데이터 값들을 추출하는 단계를 포함하는 것을 특징으로 하는 영상 데이터 처리 방법.
제9항에 있어서,

상기 라인메모리저장단계는 상기 데이터 패치의 행렬에 속한 열의 개수의 블록들을 선택하여 상기 라인 메모리들 각각에 저장하는 단계를 포함하고,

상기 데이터패치생성단계는 상기 라인 메모리들 각각으로부터 상기 데이터 패치의 행렬에 속한 행의 개수의 픽셀 데이터 값들을 상기 일정한 간격으로 추출하고, 동일한 라인 메모리로부터 추출된 픽셀 데이터 값들을 동일한 행으로 하는 행렬 형태의 데이터 패치를 생성하는 단계를 포함하는 것을 특징으로 하는 영상 데이터 처리 방법.
제12항에 있어서,

상기 라인메모리저장단계는 상기 복수의 블록들 중 서로 일정한 간격으로 이격된 블록들을 선택하는 단계를 포함하는 것을 특징으로 하는 영상 데이터 처리 방법.
제9항에 있어서,

상기 라인메모리저장단계는 상기 분할된 블록들 중에 상기 라인메모리들에 저장된 블록이 있는지를 확인하여 상기 라인메모리들에 저장된 블록을 제외한 나머지만을 새로 저장하는 단계를 포함하는 것을 특징으로 하는 것을 특징으로 하는 영상 데이터 처리 방법.