KR20060029826A

KR20060029826A - 영상의 화이트 노이즈 감소장치 및 감소방법

Info

Publication number: KR20060029826A
Application number: KR1020040078672A
Authority: KR
Inventors: 김형일
Original assignee: 엘지전자 주식회사
Priority date: 2004-10-04
Filing date: 2004-10-04
Publication date: 2006-04-07
Also published as: CN1758713A

Abstract

촬상된 영상의 데이터를 RAW 형식으로 출력하는 카메라 모듈(camera module)과; 상기 카메라 모듈로부터 제공되는 RAW 형식의 영상 프레임을 저장하는 영상 버퍼(image buffer) 와; 상기 영상 버퍼의 출력 경로를 전환하는 모드 셀렉터(mode selector)와; 상기 영상 버퍼에 저장되는 프레임의 개수를 산출하는 프레임 계수기 모듈(frame counting module)과; 상기 영상 버퍼에 저장된 프레임의 픽셀끼리 더한 값을 산출하는 프레임 가산 모듈(frame adding module)과; 상기 프레임 가산 모듈에 의해 생성된 영상 데이터를 상기 프레임 계수기 모듈에 저장된 프레임 수로 나누어 영상을 노말라이징하여 출력하는 프레임 노말라이즈 모듈(frame normalizing module)과; 상기 프레임 노말라이즈 모듈에 의해 노말라이즈된 영상 프레임을 인코딩하여 출력하는 코덱(codec)과; 상기 코덱에 의해 인코딩된 영상 프레임을 파일형태로 변환하여 저장하는 메모리를 포함하여 이루어지는 영상의 화이트 노이즈 감소장치 및 이를 이용한 화이트 노이즈 감소방법.

영상, 화이트노이즈, 노말라이즈, 이동 통신 단말기

Description

영상의 화이트 노이즈 감소장치 및 감소방법 {A white noise reducing device and the method thereof}

도 1은 종래 기술에 의한 영상 프레임 추출을 위한 구성을 나타낸 블럭도이다.

도 2는 종래 기술에 따른 영상 프레임 추출과정을 나타낸 흐름도이다.

도 3은 본 발명에 따른 화이트 노이즈 감소 기능을 구비한 영상 프레임 추출을 위한 구성을 나타낸 블럭도이다.

도 4는 본 발명에 따른 화이트 노이즈 감소 방법이 반영된 영상 프레임 추출 과정을 나타낸 흐름도이다.

본 발명은 카메라 모듈이 장착된 디지털 영상 처리 장치에 관한 것으로서, 보다 상세하게는 디지털 영상 프레임의 화이트 노이즈 감소장치 및 감소장치에 관한 것이다.

기술의 발달에 힘입어, 필름을 사용하는 종래의 카메라를 영상 정보를 디지털 데이터로 처리하는 디지털 영상 처리장치로 대체되고 있는 실정이다. 디지털 카메라를 비롯하여 카메라 모듈을 장착한 이동 통신 단말기도 많이 사용되고 있다. 근래에는 카메라 모듈을 장착한 MP3 플레이어도 등장하고 있다.

이러한, 디지털 영상처리장치에서 영상 프레임 추출을 위한 구성은 도 1의 블럭도에 나타난 바와 같다. 도시된 바와 같이, 촬영 개시를 제어하기 위한 셔터(15)와, 영상정보를 추출하여 RAW 형식의 화상자료를 출력하는 카메라 모듈(11)과, 상기 카메라 모듈(11)로부터 제공되는 화상자료를 저장하는 영상버퍼(12)와, 상기 영상버퍼(12)에 저장된 데이터를 지정된 형식의 화일 데이터로 변환하는 코덱(CODEC)(13)과, 상기 코덱(13)에 의해 변환된 데이터를 저장하는 메모리(14)를 포함하여 이루어진다.

도 2는 종래 기술에 따른 영상 프레임 추출과정을 나타낸 흐름도이다. 사용자가 셔터(15)를 누르면 카메라 모듈(11)에서는 RAW 형식의 화상 자료가 출력된다(S11). 카메라 모듈(11)은 상기 RAW 형식의 화상 자료를 영상 버퍼(12)로 한 프레임(frame)을 이동시킨다(S12). 영상 버퍼(12)는 7~8 프레임 이상의 화상 자료를 수납할 수 있는 크기이다. 영상 버퍼(12)에 상기 화상 자료가 들어오면 이미지 CODEC(13)은 이것을 JPG나 TIFF, BMP와 같은 표준 형식의 파일 형태로 인코딩(encoding)하게 된다(S13). 이 과정에서 정지 영상 압축이 일어나기도 하고, 압축은 하지 않고 형식만 바꾸기도 한다. 영상 버퍼(12)에 한 프레임 이상의 빈 공간이 있는 한 사용자가 셔터(15)를 누르면 카메라 모듈(11)은 화상 자료를 계속해서 영상 버퍼(12)로 옮기게 된다. 하지만, 카메라 모듈(11)이 영상 버퍼(12)로 화상 자료를 옮기는 속도보다 이미지 CODEC(13)이 인코딩하는 속도가 느리다. 따라서, 가능한 많은 연속촬영을 위해서 영상 버퍼의 크기는 점점 커지는 추세이다. 이미지 CODEC(13)에서 인코딩된 화상 자료는 파일 형태로 변환되어 메모리(14)에 저장된다(S14).

조도가 낮은 피사체를 촬영하는 경우 영상신호의 레벨이 감소하므로 노이즈가 증가하게 된다. 일반적으로 디지털 영상처리의 카메라 모듈은 일반 광학 카메라에 비해 잡음대신호비(Signal to Noise Ratio: SNR)가 상대적으로 낮은 편이다. 조도가 낮아 영상신호의 레벨이 감소하므로 이를 적정수준으로 증폭시키고, 이 과정에서 영상신호에 포함된 잡음 성분도 영상신호와 함께 증폭된다. 이로 인하여, 디지털 영상처리 장치로 촬영한 사진은 일반 광학 카메라로 찍은 사진에 비해 조도가 낮은 피사체를 촬영했을 경우, 품질이 조악하게 느껴진다. 따라서, 잡음(noise)의 증폭도를 억압할 필요가 있다. 카메라 모듈에서 조도가 낮은 피사체를 촬영할 경우, SNR비가 상대적으로 낮아 노이즈도 함께 증폭된다. 노이즈를 줄이려면 SNR비가 높은 우수한 성능의 카메라 모듈을 사용해야 하는데, 현실적으로 카메라 기능을 갖는 이동 통신 단말기에 그러한 카메라 모듈을 적용시키기에는 무리가 있다.

본 발명은 디지털 영상처리 장치에 의해 촬상된 영상의 화이트 노이즈를 제거하기 위한 장치 및 방법을 제공하는 것을 목적으로 한다.

본 발명의 다른 목적은 조도가 낮은 피사체의 촬영시 발생하는 화이트 노이즈를 제거하기 위한 장치 및 방법을 제공하는 것이다.

본 발명의 또 다른 목적은 SNR비가 낮은 카메라 모듈을 내장하고도 일정 수 준의 SNR비를 유지할 수 있는 장치 및 방법을 제공하는 것이다.

이러한 목적들을 달성하기 위한 본 발명에 따른 영상의 화이트 노이즈 감소장치는 촬상된 영상의 데이터를 RAW 형식으로 출력하는 카메라 모듈(camera module)과; 상기 카메라 모듈로부터 제공되는 RAW 형식의 영상 프레임을 저장하는 영상 버퍼(image buffer)와; 상기 영상 버퍼의 출력 경로를 전환하는 모드 셀렉터(mode selector)와; 상기 영상 버퍼에 저장되는 프레임의 개수를 산출하는 프레임 계수기 모듈(frame counting module)과; 상기 영상 버퍼에 저장된 프레임의 픽셀끼리 더한 값을 산출하는 프레임 가산 모듈(frame adding module)과; 상기 프레임 가산 모듈에 의해 생성된 영상 데이터를 상기 프레임 계수기 모듈에 저장된 프레임 수로 나누어 영상을 노말라이징하여 출력하는 프레임 노말라이즈 모듈(frame normalizing module)과; 상기 프레임 노말라이즈 모듈에 의해 노말라이즈된 영상 프레임을 인코딩하여 출력하는 코덱(CODEC)과; 상기 코덱에 의해 인코딩된 영상 프레임을 파일형태로 변환하여 저장하는 메모리를 포함하여 이루어지는 것을 특징으로 한다.

본 발명에 따른 영상의 화이트 노이즈 감소장치의 세부적 특징은 디지털 카메라 또는 카메라 기능을 갖는 이동 통신 단말기에 적용 가능한 점이다.

본 발명에 따른 영상의 화이트 노이즈 감소방법은 연속 촬영 모드로 설정된 촬상기에 의해 촬영된 영상 정보를 버퍼에 저장하는 과정과; 촬영된 영상의 프레임 수를 프레임 계수 모듈에 저장하는 과정과; 프레임 가산기 모듈을 이용하여 상기 영상버퍼에 저장된 프레임의 픽셀끼리 더하는 과정과; 합산된 프레임을 상기 프레 임 계수기 모듈에 저장된 프레임 수로 나누어 영상을 노말라이징(normalizing)하는 과정과; 노말라이징된 프레임 데이터를 요구되는 형식의 파일로 인코딩하는 과정과; 인코딩된 영상파일을 메모리 장치에 저장하는 과정을 포함하여 이루어지는 점을 특징으로 한다.

이하, 첨부된 도면을 참조로 본 발명에 따른 영상의 화이트 노이즈 감소 장치 및 감소방법에 대하여 설명하기로 한다. 본 발명에 따른 화이트 노이즈 감소장치는 디지털 카메라 또는 카메라 모듈을 장착한 이동 통신 단말기에 적용 가능하다. 이하에서는 소위 "카메라폰"이라고 불리는 이동통신 단말기에 적용하는 것을 예로 한다.

도 3은 본 발명에 따른 화이트 노이즈 감소 기능을 구비한 영상 프레임 추출을 위한 구성을 나타낸 블럭도이다. 촬상된 영상의 데이터를 RAW 형식으로 출력하는 카메라 모듈(camera module)(21)과; 상기 카메라 모듈(21)의 동작을 제어하는 셔터(26)와; 상기 카메라 모듈(21)로부터 제공되는 RAW 형식의 영상 프레임을 저장하는 영상 버퍼(image buffer)(22)와; 상기 영상 버퍼(22)의 출력 경로를 전환하는 모드 셀렉터(mode selector)(23)와; 상기 영상 버퍼(22)에 저장되는 프레임의 개수를 산출하는 프레임 계수기 모듈(frame counting module)(28)과; 상기 영상 버퍼(22)에 저장된 프레임의 픽셀끼리 더한 값을 산출하는 프레임 가산 모듈(frame adding module)(27)과; 상기 프레임 가산 모듈(27)에 의해 생성된 영상 데이터를 상기 프레임 계수기 모듈(28)에 저장된 프레임 수로 나누어 영상을 노말라이징하여 출력하는 프레임 노말라이즈 모듈(frame normalizing module)(29)과; 상기 프레임 노말라이즈 모듈(29)에 의해 노말라이즈된 영상 프레임을 인코딩하여 출력하는 코덱(CODEC)(24)과; 상기 코덱(24)에 의해 인코딩된 영상 프레임을 파일형태로 변환하여 저장하는 메모리(25)를 포함하여 이루어진다.

도시되지 않았으나, 화이트 노이즈 제거 모드를 선택하기 위한 스위치가 디지털 영상을 촬영하기 위한 기기 본체의 소정 부위에 구비되거나, 소프트웨어적으로 처리될 수 있다. 상기 모드 셀렉터(23)는 일반 모드일 때와 화이트 노이즈 제거 모드에 따라 상기 영상 버퍼(22)의 출력 경로를 전환한다. 즉, 일반모드인 경우에는 영상버퍼의 프레임을 코덱(24)으로 제공하고, 화이트 노이즈 제거 모드인 경우 프레임 가산기 모듈(27) 및 프레임 노말라이즈 모듈(28)을 경유하여 코덱(24)에 전달될 수 있도록 한다.

일반적으로 카메라 모듈에서 발생하는 노이즈는 화이트 노이즈 성분이 90% 이상이다. SNR비가 떨어지는 저급의 카메라 모듈을 사용할수록 픽셀의 다이내믹 레인지가 감소하므로 암전류(dark current)의 영향과 열 잡음의 영향을 받아 화이트 노이즈가 발생하게 된다. 이러한 화이트 노이즈는 비규칙적(random)한 특성이 있다. 따라서, 여러 장의 사진 프레임에 분포한 화이트 노이즈를 줄이려면 픽셀끼리(pixel-by-pixel) 평균하는 방법이 가장 간단하고 효과적이다. 불규칙한(random)한 값은 평균을 내면 "0"으로 수렴하는 성질이 있기 때문이다. 여러 장의 사진 프레임을 겹쳐 평균을 내기 위해서 노이즈 감소 기능을 선택할 경우, 프레임 데이터가 이동하는 경로는 조금 달라진다.

사용자가 화이트 노이즈 억제 기능을 선택하면(S21) 카메라폰은 연속촬영 모드로 전환된다(S22). 연속촬영 모드는 영상 버퍼(22)가 가득 차거나, 사용자가 정지 버튼을 누를 때까지 동일한 장면을 계속해서 촬영한다(S23).

카메라 모듈(21)에서 촬상된 영상 프레임을 영상 버퍼로 이동시킨다(S24). 이때, 프레임 계수기 모듈(28)에서는 이렇게 얻은 프레임의 개수를 보관하게 된다(S25).

프레임 가산 모듈에서 영상 버퍼(22)로부터 제공된 프레임의 픽셀끼리(pixel-by-pixel) 서로 더하게 된다(S26). 모두 더하고 나면 프레임 노말라이즈 모듈(29)을 통과하는데, 이때 계수기 모듈(28)에 저장된 프레임 수로 나누어 영상을 노말라이즈하게 된다. 이것이 노이즈가 제거된 하나의 사진 프레임이 된다.

코덱(24)을 이용하여 사진 프레임을 변환하고(S28), 저장 메모리에 저장한다(S29).

촬상 조건은 촬영 대상 물체가 정적인 상태를 유지하고 있어야 하며, 촬영하는 동안 가능하면 카메라폰도 움직이지 말아야 한다. 본 발명을 적용하기 위해서는 가능한 많은 프레임의 사진을 겹칠수록 노이즈는 더욱 더 감소되므로 영상버퍼의 크기가 상대적으로 클 필요가 있다. 메모리 부품단가 증가로 인한 생산비용의 증가될 수 있다. 그러나, SNR비가 높은 카메라 모듈 장착으로 증가되는 생산비용 증가가 훨씬 크므로 전체적으로 볼 때 생산비용은 감소하게 된다.

이상에서 설명한 바와 같이, 본 발명은 고가의 카메라 모듈을 카메라폰에 내장시키지 않고도 획기적으로 조도가 낮은 피사체에 발생한 노이즈를 감소시킬 수 있는 효과를 갖는다. SNR비가 낮은 카메라 모듈을 내장하여도 일정 수준의 SNR을 유지할 수 있으므로 부품 원가절감 효과가 있다.

Claims

연속 촬영 모드로 설정된 촬상기에 의해 촬영된 영상 정보를 버퍼에 저장하는 과정과;

촬영된 영상의 프레임 수를 프레임 계수 모듈에 저장하는 과정과;

프레임 가산기 모듈을 이용하여 상기 영상버퍼에 저장된 프레임의 픽셀끼리 더하는 과정과;

합산된 프레임을 상기 프레임 계수기 모듈에 저장된 프레임 수로 나누어 영상을 노말라이징(normalizing)하는 과정과;

노말라이징된 프레임 데이터를 요구되는 형식의 파일로 인코딩하는 과정과;

인코딩된 영상파일을 메모리 장치에 저장하는 과정을 포함하여 이루어지는 영상의 화이트 노이즈 감소 방법.
제 1 항에 있어서, 노이즈 억제 기능의 설정 여부를 판단하고, 기능이 활성화된 경우 연속 촬영 모드로 전환하는 과정이 부가된 것을 특징으로 하는 영상의 화이트 노이즈 감소 방법.
제 1 항에 있어서, 상기 연속 촬영 모드는 영상버퍼의 잔량이 남아있지 않거나, 사용자가 정지 버튼을 누를 때까지 계속되는 것을 특징으로 하는 영상의 화이트 노이즈 감소 방법.
제 1 항에 있어서, 상기 인코딩 과정은 영상 데이터를 소정 형식의 파일 형태로 압축하는 과정을 포함하는 특징으로 하는 영상의 화이트 노이즈 감소 방법.
제 1 항에 있어서, 상기 촬상장치는 디지털 카메라인 것을 특징으로 하는 영상의 화이트 노이즈 감소 방법.
제 1 항에 있어서, 상기 촬상장치는 카메라가 장착된 이동 통신 단말기인 것을 특징으로 하는 영상의 화이트 노이즈 감소 방법.
촬상된 영상의 데이터를 RAW 형식으로 출력하는 카메라 모듈(camera module)과;

상기 카메라 모듈로부터 제공되는 RAW 형식의 영상 프레임을 저장하는 영상 버퍼(image buffer) 와;

상기 영상 버퍼의 출력 경로를 전환하는 모드 셀렉터(mode selector)와;

상기 영상 버퍼에 저장되는 프레임의 개수를 산출하는 프레임 계수기 모듈(frame counting module)과;

상기 영상 버퍼에 저장된 프레임의 픽셀끼리 더한 값을 산출하는 프레임 가산 모듈(frame adding module)과;

상기 프레임 가산 모듈에 의해 생성된 영상 데이터를 상기 프레임 계수기 모 듈에 저장된 프레임 수로 나누어 영상을 노말라이징하여 출력하는 프레임 노말라이즈 모듈(frame normalizing module)과;

상기 프레임 노말라이즈 모듈에 의해 노말라이즈된 영상 프레임을 인코딩하여 출력하는 코덱(CODEC)과;

상기 코덱에 의해 인코딩된 영상 프레임을 파일형태로 변환하여 저장하는 메모리를 포함하여 이루어지는 영상의 화이트 노이즈 감소장치.
제 7 항에 있어서, 화이트 노이즈 억제 기능의 사용 여부를 선택할 수 있는 스위치가 부가된 것을 특징으로 하는 영상의 화이트 노이즈 감소 장치.
제 7 항에 있어서, 상기 카메라 모듈은 디지털 카메라에 장착된 것을 특징으로 하는 영상의 화이트 노이즈 감소 장치.
제 7 항에 있어서, 상기 카메라 모듈은 이동 통신 단말기에 장착된 것을 특징으로 하는 영상의 화이트 노이즈 감소 장치.