KR20140145447A - 영상처리장치 및 이의 동작방법 - Google Patents

Abstract

영상처리장치 및 이의 동작방법에 개시된다. 본 발명의 실시예들은, 주변을 촬영하여 이미지 데이터를 획득하는 이미지 센서부와, 저조도 촬영 모드시, 숏 셔처 주기 또는 노멀 셔터 주기로 상기 이미지 센서부로부터 획득되는 제1 이미지 데이터의 프레임을 제1버퍼로 출력하고, 롱 셔터 주기로 상기 이미지 센서부에 광량을 축적하면서 획득되는 제2 이미지 데이터를 제2버퍼로 출력하는 이미지 데이터 처리부와, 상기 제1버퍼에 입력된 제1이미지 데이터의 프레임으로부터 피사체의 모션을 추출하는 모션 추출부와, 상기 모션 추출부에 의해 피사체의 모션이 추출된 프레임의 픽셀들을 상기 제2버퍼에 입력된 상기 제2 이미지 데이터상에 합성하여 출력시키는 이미지 합성부를 포함하여 이루어진다.

Description

영상처리장치 및 이의 동작방법{IMAGE PROCESSING DEVICE AND OPERATION METHOD THEREOF}

본 발명은 영상처리장치 및 이의 동작방법에 관한 것으로, 보다 구체적으로 CMOS 타입의 이미지 센서를 사용하여 이미지 데이터를 획득하는 영상처리장치 및 이의 동작방법에 관한 것이다.

일반적으로 동영상을 촬영하기 위한 이미지센서는 크게 빛에 의해 발생한 전자를 그대로 게이트 펄스를 이용해서 출력부까지 이동하는 CCD(Charge Coupled Device) 이미지센서와, 빛에 의해 발생한 전자를 각 화소 내에서 전압으로 변환한 후에 여러 CMOS 스위치를 통해 출력하는 CMOS(Complementary Metal-Oxide Semiconductor) 이미지센서로 구분될 수 있다.

이중, CMOS 이미지센서는 단위 셀마다 증폭기를 갖고 광변환된 전기신호를 읽기 때문에 전기 노이즈의 발생이 적고 소자의 크기가 작아서 소비전력이 적다는 장점 때문에 최근에는 디지털 비디오 카메라, CCTV, DSLR 카메라 등에까지 널리 사용되고 있다.

한편, CMOS 이미지센서를 적용한 카메라에서, 저조도(Low illuminance) 촬영 모드가 설정되면, 카메라를 예를 들어 1 필드 주기의 셔터 스피드를, 2 필드 주기 또는 3 필드 주기의 롱(Long) 셔터 스피드로 조절하여, 피사체 영상을 밝게 촬영한다.

그러나, 저조도 촬영 모드에서, 이와 같이 롱 셔터 스피드로 촬영을 하게 되면 광량의 축적 시간이 길어져서, 피사체의 움직임(Motion) 성분이 없어지거나 모션 블러(motion blur)가 발생하게 된다. 이를 해결하기 위해 저조도 촬영 모드에서도 카메라의 셔터주기를 그대로 유지하거나 짧게 하면, 영상에서 피사체 및 피사체의 움직임을 식별하기 어려워지는 문제가 있었다.

따라서, 본 발명의 실시예들은 CMOS 타입의 이미지 센서를 이용하여 동영상 촬영시, 저조도 촬영 모드에서도 피사체 모션의 블러는 해소하면서 화면은 최대한 밝은 상태로 유지할 수 있도록 한 영상처리장치 및 이의 동작방법을 제공하는데 그 목적이 있다.

이에, 본 발명의 실시예에 따른 영상처리장치는, 주변을 촬영하여 이미지 데이터를 획득하는 이미지 센서부와; 저조도 촬영 모드시, 숏 셔터 주기 또는 노멀 셔터 주기로 상기 이미지 센서부로부터 획득되는 제1 이미지 데이터의 프레임을 제1버퍼로 출력하고, 롱 셔터 주기로 상기 이미지 센서부에 광량을 축적하면서 획득되는 제2 이미지 데이터를 제2버퍼로 출력하는 이미지 데이터 처리부와; 상기 제1버퍼에 입력된 제1이미지 데이터의 프레임으로부터 피사체의 모션을 추출하는 모션 추출부와; 상기 모션 추출부에 의해 피사체의 모션이 추출된 프레임의 픽셀들을 상기 제2버퍼에 입력된 상기 제2 이미지 데이터상에 합성하여 출력시키는 이미지 합성부를 포함하여 이루어진다.

일 실시예에서, 상기 이미지 데이터 처리부는, 상기 제1버퍼에 입력된 상기 제1 이미지 데이터의 프레임에 대해 디지털 잡음 제거(DNR)를 적용하는 것을 특징으로 한다.

일 실시예에서, 상기 이미지 데이터 처리부는, 상기 프레임에서 피사체의 픽셀 휘도값과 상기 제2 이미지 데이터에서 피사체 주변의 픽셀 휘도값을 이용하여, 상기 피사체 및 피사체 주변의 픽셀들의 콘트라스트(contrast)와 게인(gain)을 조절하는 것을 특징으로 한다.

일 실시예에서, 상기 모션 추출부는, 상기 이미지 데이터의 이전 프레임의 픽셀 휘도값과 상기 이미지 데이터의 현재 프레임의 픽셀 휘도값을 비교하여 상기 이미지 데이터에서 피사체의 모션을 추출하는 것을 특징으로 한다.

일 실시예에서, 상기 모션 추출부는, 상기 이미지 데이터의 이전 프레임의 픽셀 휘도값과 상기 이미지 데이터의 현재 프레임의 픽셀 휘도값의 차를 이용하여 상기 이미지 데이터의 픽셀들의 모션값을 획득하고, 상기 획득된 모션값이 기설정된 임계값을 초과하면 피사체의 모션이 추출된 것으로 판단하는 것을 특징으로 한다.

일 실시예에서, 상기 이미지 합성부는, 상기 획득된 모션값이 제1임계값을 초과하면 해당 픽셀을 제1 이미지 데이터로부터 독출하고, 이를 상기 제2 이미지 데이터에 합성하는 것을 특징으로 한다.

일 실시예에서, 상기 이미지 합성부는, 상기 획득된 모션값이 제1임계값보다 작고 제2임계값을 초과하는 경우, 해당 픽셀을 제1 이미지 데이터에서의 픽셀 휘도값과 제2 이미지 데이터에서의 픽셀 휘도값을 이용하여 보간하고, 이를 상기 제2 이미지 데이터의 픽셀들과 합성하는 것을 특징으로 한다.

또한, 본 발명의 실시예에 따른 영상처리장치의 동작방법은, 주변을 촬영하여 이미지 데이터를 획득하는 단계와; 저조도 촬영 모드시, 숏 셔터 주기 또는 노멀 셔터 주기로 상기 이미지 센서부로부터 획득되는 제1 이미지 데이터의 프레임을 제1버퍼로 출력하고, 롱 셔터 주기로 상기 이미지 센서부에 광량을 축적하면서 획득되는 제2 이미지 데이터를 제2버퍼로 출력하는 단계와; 상기 제1버퍼에 입력된 제1이미지 데이터의 프레임으로부터 피사체의 모션을 추출하는 단계와; 피사체의 모션이 추출된 프레임의 픽셀들을 상기 제2버퍼에 입력된 상기 제2 이미지 데이터에 합성하여 출력시키는 단계를 포함하여 이루어진다.

따라서, 본 발명의 실시예들에 따른 영상처리장치 및 이의 동작방법에 의하면, CMOS 타입의 이미지 센서를 이용하여 저조도(Low illuminance)에서 동영상 촬영시, 피사체의 움직임이 있는 부분과 움직임이 감지되지 않는 부분을 셔터주기를 서로 다르게 적용하여 합성시킴으로써, 저조도 촬영모드에서도 피사체의 모션 블러는 없애면서 최대한 밝은 영상을 획득할 수 있게 된다.

도 1은 일반적인 이미지 센서를 사용하는 경우 셔터주기에 따라 이미지 데이터를 획득하는 방법을 설명하기 위한 개념도이다.
도 2는 본 발명의 실시예에 따른 영상처리장치에서 셔터주기에 따라 이미지 데이터를 획득하는 방법을 설명하기 위한 개념도이다.
도 3은 본 발명의 실시예에 따른 영상처리장치의 동작방법의 예시 흐름도이다.
도 4는 본 발명의 실시예에 따른 영상처리장치에서 각 픽셀의 모션값을 획득하고 획득된 모션값에 따라 이미지 데이터를 합성하는 방법을 설명하기 위한 개념도이다.
도 5는 본 발명의 실시예에 따른 영상처리장치의 세부 구성을 개략적으로 보인 도면이다.

이하, 본 발명의 실시예에 따른 영상처리장치 및 이의 동작방법에 대하여 도면을 참조하여 보다 상세하게 설명한다. 본 명세서에서는 서로 다른 실시예라도 동일·유사한 구성에 대해서는 동일·유사한 참조번호를 부여하고, 그 설명은 처음 설명으로 갈음한다. 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 발명에 따른 실시예에서는, CMOS 타입의 이미지 센서를 사용하는 것을 전제로 설명하기로 한다. 또한, 이하에 설명되는 본 발명에 따른 실시예들은 CMOS 타입 이미지 센서를 이용하는 카메라라면 종류에 관계없이 채용될 수 있다.

도 1은 일반적인 이미지 센서, 예를 들어 CCD 이미지 센서를 사용하는 경우 셔터주기에 따라 이미지 데이터를 획득하는 방법을 설명하기 위한 개념도이다. 도 1에 도시된 바와 같이, 셔터 주기가 빠른 경우, 예를 들어 1/60인 경우나, 셔터 주기가 느린 경우, 예를 들어 1/30인 경우나 셔터의 축적 시간과 이미지 데이터를 독출하는 타이밍이 일치함을 알 수 있다. 셔터 주기가 빨라지면 피사체의 모션 블러(motion blur)가 적지만 광량의 축적이 적어서 밝은 화면을 얻기 어렵고, 셔터 주기가 느려지면 광량의 축적은 길어지지만 움직이는 피사체가 있는 경우 모션 블러가 발생하게 된다.

한편, 도 2는 본 발명의 실시예에 따라 CMOS 이미지 센서를 사용하는 영상처리장치에서 셔터주기에 따라 이미지 데이터를 획득하는 방법을 설명하기 위한 개념도이다. 도 1과 비교하면, 셔터주기와 이미지 데이터를 획득하는 타이밍이 반드시 일치할 필요가 없음을 알 수 있다. 즉, 셔터를 오픈하여 광량은 계속 축적하면서 1/60과 1/30 타이밍에 각각 데이터 이미지를 획득할 수 있다.

예를 들어, 도 2에서는 1/60 타이밍에 A 이미지 데이터의 프레임을 독출하고, 1/30 타이밍에 광량이 축적된 B 이미지 데이터의 프레임을 독출하는 것이 가능하다. 다시 말해서, 도 1에서는 셔터주기당 1프레임의 이미지 데이터를 획득하지만, 도 2에서는 예를 들어 셔터주기당 2프레임(보다 많은 프레임의 독출이 가능함)의 이미지 데이터를 획득할 수 있다.

또한, 도 2에서는 1차 웰(well)을 통해 획득된 이미지 데이터를 디지털변환하여 임시 저장하고, 이후 2차 웰(well)에서는 획득된 이미지 데이터에 대해 지속적으로 MFI(Multi Frame Integration)를 수행함으로써, 광량을 지속적으로 축적해나간다.

한편, 상기한 CMOS 이미지 센서를 사용하는 영상처리장치에서 저조도 촬영 모드로 움직이는 피사체를 촬영하는 경우에는, 움직이는 피사체는 모션 블러를 되도록 없애기 위해 노광타임을 적절히 하고, 그외의 부분은 노광타임을 길게 가져가서 밝은 화면 상태를 유지하도록 하는 것이 바람직하다.

여기서, 저조도(Low illuminance) 상태란, 카메라의 아이리스(IRIS) 오픈 량을 증가시키고 아날로그 게인(Gain) 값을 증가시킨 상태에서도, 피사체 촬영 이미지의 평균 밝기가, 기설정된 기준 값 이상이 되지 않아서, 카메라의 셔터 속도 조절이 필요한 상태를 의미한다. 한편, 다른 예에서는, 카메라 조리개(aperture stop)를 통해 들어오는 광량의 세기로부터 외부의 조도 정보를 획득할 수도 있다.

일반적으로 저조도 촬영 모드에서는, CMOS 이미지 센서의 셔터 주기가 1필드 주기의 노멀(Normal) 셔터 주기에서, 2필드 또는 3필드 주기의 롱(Long) 셔터 주기로 변경된다.

이하, 도 5를 참조하여, 저조도 촬영모드에서, 본 발명의 실시예에 따른 영상처리장치의 개략적인 동작을 살펴보면 다음과 같다. 이와 관련하여, 도 5는 본 발명의 실시예에 따른 영상처리장치의 세부 구성을 개략적으로 보여준다.

도 5를 참조하면, 본 발명의 실시예에 따른 영상처리장치는, 이미지 센서부(10)를 통해 주변을 촬영하여 이미지 데이터를 획득하고, 이미지 데이터 처리부(60)는 저조도 촬영 모드에서, 숏(short) 셔터 주기 또는 노멀(Normal) 셔터 주기로 상기 이미지 센서부로부터 제1 이미지 데이터를 획득하고, 롱(Long) 셔터 주기로 상기 이미지 센서부로부터 광량이 축적된 제2 이미지 데이터를 각각 획득한다. 획득된 제1 이미지 데이터의 프레임들은 제1버퍼에 임시 저장되고, 제2 이미지 데이터는 제2버퍼에 임시 저장된다. 즉, 셔터주기를 다르게 하여 획득한 이미지 데이터를 구별되게 저장한다.

모션 추출부(50)는 제1버퍼에 입력된 제1이미지 데이터의 프레임으로부터 피사체의 모션을 추출하고, 이미지 합성부(80)는 모션 추출부에 의해 피사체의 모션이 추출된 프레임의 픽셀들을 제2버퍼에 입력된 상기 제2 이미지 데이터상에 합성하여 출력시킨다. 즉, 피사체의 모션이 추출된 프레임의 픽셀들은 숏 셔터 주기 또는 노멀 셔터 주기로 촬영한 프레임을 사용하고, 피사체의 모션을 제외한 다른 픽셀들은 롱 셔터 주기로 촬영한 프레임을 사용한다.

이상에서 설명한 바와 같이, CMOS 타입의 이미지 센서를 사용하여 저조도 촬영 모드로 촬영하는 경우, 피사체의 움직임이 있는 부분과 움직임이 감지되지 않는 부분을 셔터주기를 서로 다르게 적용하여 합성시킴으로써, 저조도 촬영모드에서도 피사체의 모션 블러(motion blur)는 없으면서 최대한 밝은 영상을 획득할 수 있다.

이하에서는, 도 3 및 도 5를 참조하여 본 발명의 실시예에 따른 영상처리장치의 동작방법을 구체적으로 설명하기로 한다. 이와 관련하여, 도 3은 본 발명의 실시예에 따른 영상처리장치의 동작방법의 예시 흐름도이다.

도 3을 참조하면, 먼저, 상기 영상처리장치는, CMOS 이미지 센서부(10, 도 5)를 통해 주변을 촬영하여 이미지 데이터를 획득한다(S31).

획득된 이미지 데이터는 적색(R), 녹색(G), 청색(B)의 파장 정보를 포함하는 아날로그 신호로 출력된다. 이러한 RGB 아날로그 신호는 도 5에 도시된 아날로그-디지털 변환기(Analog to Digital Converter, ADC)처리부(20a, 20b)를 거쳐서, 각각 RGB 디지털 신호로 변환된다.

저조도 촬영 모드시, 영상처리장치의 이미지 데이터 처리부(60)는, 숏 셔터 주기 또는 노멀 셔터 주기로 상기 이미지 센서부로부터 획득되는 제1 이미지 데이터의 프레임을 신호 처리하여 제1버퍼(30)로 출력한다. 또한, 상기 이미지 데이터 처리부(60)는 롱 셔터 주기로 상기 이미지 센서부에 광량을 축적하면서 획득되는 제2 이미지 데이터를 신호 처리하여 제2버퍼(40)로 출력한다(S32).

여기서, 이미지 센서부의 셔터 주기, 즉 노광 축적 타임을 제어하는, 타이밍 펄스는 DSP(Digital Signal Processor, 디지털 신호 처리부)의 제어신호에 의하여TG(Timing Generator, 타이밍 제너레이터)로부터 발생된다. 즉, 타이밍 펄스에 의해 이미지 센서부의 광량에의 노출 시작 및 종료 시점이 결정되게 된다.

본 발명에 따른 실시예에서는, DSP에서 숏 셔터 주기 또는 노멀 셔터 주기(도 5에서 a)를 제어하기 위한 제1제어신호와 롱 셔터 주기(도 5에서 b)를 제어하기 위한 제2제어신호를 각각 출력할 수 있다. 또한, 숏 셔터 주기, 노멀 셔터 주기, 롱 셔터 주기는 클럭 펄스 간격은 경우에 따라 더 좁아지거나 또는 더 넓어질 수 있다.

또한, 상기 이미지 데이터 처리부(60)는, 상기 제1 이미지 데이터의 프레임에 대해 디지털 잡음 제거(DNR)를 수행하여 상기 제1버퍼로 출력시킬 수 있다. 이를 위해, 디지털 필터(Digital Filter)가 사용될 수 있는데, 이는 디지털 신호에 필터링 알고리즘을 적용하는 하드웨어 또는 소프트웨어로서, 피사체 영상에 끌림이 나타나는 잔상 노이즈(Ghost Noise) 등을 효율적으로 제거한다.

또한, 상기 이미지 데이터 처리부(60)는, 상기 제1 이미지 데이터의 프레임에서 피사체의 픽셀 휘도값과 상기 제2 이미지 데이터에서 피사체 주변의 픽셀 휘도값을 이용하여, 상기 피사체 및 피사체 주변의 픽셀들의 콘트라스트(contrast)와 게인(gain)을 조절할 수 있다.

예를 들어, 상기 이미지 데이터 처리부(60)는 제1 및 제2 이미지 데이터의 입력 픽셀마다 주변 휘도값을 보간(interpolation)할 수 있다. 이때, 제1 및 제2 이미지 데이터의 모든 픽셀에 해당하는 위치에 주변 휘도값이 반복해서 보간될 수 있다. 이와 같은 보간 작업을 통해, 제1 및 제2 이미지 데이터의 각 픽셀은 고유 휘도값과 보간된 주변 휘도값을 쌍으로 가질 수 있다. 이러한 고유 휘도값과 보간한 주변 휘도값을 이용하여 제1 및 제2 이미지 데이터의 픽셀에서 고유 휘도값을 증가시킬 수 있다. 이때, 고유 휘도값이 주변 휘도값보다 큰 경우에는, 해당 픽셀이 주변에 있는 픽셀들보다 상대적으로 밝은 것을 의미하므로, 해당 픽셀의 고유 휘도값을 많이 증기시켜서 콘트라스트를 향상시킬 수 있다. 한편, 고유 휘도값이 주변 휘도값보다 작은 경우에는, 해당 픽셀이 그 주변에 있는 픽셀들보다 상대적으로 어두운 것을 의미하므로, 해당 픽셀의 고유 휘도값의 증가량을 작게하거나 0으로 유지하여서 콘트라스트를 향상시킬 수 있다.

한편, 본 발명의 실시예와 같이 저조도 촬영 모드에서 획득된 제1 이미지 데이터의 경우, 어두운 영역에 해당할 것이므로 추출된 모션 픽셀을 고유 휘도값을 증가시킨다.

모션 추출부(50)는 제1버퍼에 입력된 제1이미지 데이터의 프레임으로부터 피사체의 모션 성분을 추출한다(S33).

구체적으로, 모션 추출부(50)는 제1이미지 데이터의 이전 프레임(예, 도 2에서 A 이미지 데이터)의 픽셀 휘도값과 현재 프레임(예, 도 2에서 B 이미지 데이터)의 픽셀 휘도값을 비교하여 피사체의 모션을 추출할 수 있다. 즉, 인접한 프레임들을 픽셀단위로 비교하여, 픽셀 휘도값의 변화정도가 기설정된 임계값을 초과하면, 모션 성분에 의한 것으로 추정함으로써, 피사체의 모션 픽셀을 추출할 수 있다.

이와 같이 피사체의 모션이 추출되면, 모션이 추출된 프레임의 픽셀들을 제2버퍼에 입력된 제2 이미지 데이터위에 합성한다(S34). 그런 다음, 합성시킨 영상을 출력한다. 이에 의하여, 피사체의 모션이 추출된 프레임의 픽셀들은 숏 셔터 주기 또는 노멀 셔터 주기로 촬영한 프레임을 사용하여 모션 블러를 없애고, 피사체의 모션을 제외한 다른 픽셀들은 롱 셔터 주기로 촬영한 프레임을 사용하여 최대한 밝은 영상을 획득할 수 있다.

도 4는 본 발명의 실시예에 따른 영상처리장치에서 각 픽셀의 모션값을 획득하고 획득된 모션값에 따라 이미지 데이터를 합성하는 방법을 설명하기 위한 개념도이다.

각 픽셀의 모션값은 모션 추출부(50, 도 5)를 통해 산출된다. 구체적으로, 모션 추출부(50)는, 이미지 데이터의 이전 프레임의 픽셀 휘도값과 현재 프레임의 픽셀 휘도값을 비교하여 피사체의 모션을 추출한다.

즉, 상기 모션 추출부(50)는, 이미지 데이터의 이전 프레임의 픽셀 휘도값과 이미지 데이터의 현재 프레임의 픽셀 휘도값의 차를 이용하여 상기 이미지 데이터의 픽셀들의 모션값을 획득하고, 획득된 모션값이 기설정된 임계값을 초과하면 해당 픽셀은 피사체의 모션이 추출된 것으로 판단한다.

이와 같이 각 픽셀의 모션값이 산출되고, 그에 따라 피사체의 모션이 추출되면 모션이 추출된 픽셀들과 나머지 픽셀들이 합성된다.

이를 위해, 이미지 합성부(80, 도 5)는, 획득된 모션값이 제1임계값을 초과하면 해당 픽셀을 제1 이미지 데이터로부터 독출한다. 그리고 독출된 픽셀을 제2 이미지 데이터위에 합성한다. 즉, 모션값이 제1임계값을 초과하는 픽셀들은 제1 이미지 데이터의 해당 픽셀들을 사용하고, 모션값이 제1임계값 미만인 픽셀들은 제2 이미지 데이터의 해당 픽셀들을 사용한다.

한편, 모션이 추출된 픽셀들의 주변 픽셀들, 즉 모션값이 제1임계값 미만인 픽셀과 모션값이 제1임계값을 초과하는 픽셀의 경계에 위치한 픽셀(이하, '경계 픽셀'로 칭하기로 함)은 다음과 같이 처리한다.

즉, 이미지 합성부(80)는, 획득된 모션값이 제1임계값보다 작고 제2임계값을 초과하는 경우, 즉 경계 픽셀의 경우 제1 이미지 데이터에서의 픽셀 휘도값과 제2 이미지 데이터에서의 픽셀 휘도값을 이용하여 보간한다. 예를 들어, 제1 이미지 데이터에서의 픽셀 휘도값과 제2 이미지 데이터에서의 픽셀 휘도값을 평균한 값으로 경계 픽셀의 휘도값을 정의할 수 있다. 또한, 이미지 합성부(80)는, 이와 같이 보간된 픽셀을 제2 이미지 데이터에 합성시킨다.

예를 들어, 도 4를 참조하면, 모션 픽셀로 판단된 부분은 제1버퍼에 저장된 제1 이미지 데이터로부터 추출된 것을 사용한다. 그리고, 모션이 아닌 픽셀은 제2버퍼에 저장된 제2 이미지 데이터의 것을 사용한다. 또한, 경계 픽셀로 판단된 부분은 상기와 같은 보간을 통해 정의된 픽셀 휘도값을 적용한다. 이에 의하면, 모션 픽셀은 블러가 없으면서 나머지 피사체 및/또는 배경은 밝은 화면 상태를 유지할 수 있다.

한편, 다른 예에서, 상기 경계 픽셀은 모션이 추출된 픽셀들에 더 가까이 위치하였는가 또는 더 멀리 위치하였는가에 따라 픽셀 휘도값이 달라질 수 있다. 이는, 다음과 같은 수식으로 표현될 수 있다.

(모션이 추출된 픽셀의 휘도값 * K + 제2 이미지 데이터의 픽셀의 휘도값 * (1-K)), 0<K<1

이상에서 설명한 바와 같이, 본 발명의 실시예에 따른 영상처리장치는 CMOS 타입의 이미지 센서를 이용하여 저조도(Low illuminance)에서 동영상 촬영시, 피사체의 움직임이 있는 부분과 움직임이 감지되지 않는 부분을 셔터주기를 서로 다르게 적용하여 합성시킴으로써, 저조도 촬영모드에서도 피사체의 모션 블러는 없애면서 최대한 밝은 영상을 획득할 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 또한 설명하였으나, 본 발명은 상기한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시 가능한 것은 물론이고, 그와 같은 변경은 기재된 청구범위 내에 있게 된다.

Claims (8)

1. 주변을 촬영하여 이미지 데이터를 획득하는 이미지 센서부;
   저조도 촬영 모드시, 숏 셔터 주기 또는 노멀 셔터 주기로 상기 이미지 센서부로부터 획득되는 제1 이미지 데이터의 프레임을 제1버퍼로 출력하고, 롱 셔터 주기로 상기 이미지 센서부에 광량을 축적하면서 획득되는 제2 이미지 데이터를 제2버퍼로 출력하는 이미지 데이터 처리부;
   상기 제1버퍼에 입력된 제1이미지 데이터의 프레임으로부터 피사체의 모션을 추출하는 모션 추출부; 및
   상기 모션 추출부에 의해 피사체의 모션이 추출된 프레임의 픽셀들을 상기 제2버퍼에 입력된 상기 제2 이미지 데이터상에 합성하여 출력시키는 이미지 합성부를 포함하는 것을 특징으로 하는 영상처리장치.
2. 제1항에 있어서,
   상기 이미지 데이터 처리부는,
   상기 제1버퍼에 입력된 상기 제1 이미지 데이터의 프레임에 대해 디지털 잡음 제거(DNR)를 적용하는 것을 특징으로 하는 영상처리장치.
3. 제2항에 있어서,
   상기 이미지 데이터 처리부는,
   상기 프레임에서 피사체의 픽셀 휘도값과 상기 제2 이미지 데이터에서 피사체 주변의 픽셀 휘도값을 이용하여, 상기 피사체 및 피사체 주변의 픽셀들의 콘트라스트(contrast)와 게인(gain)을 조절하는 것을 특징으로 하는 영상처리장치.
4. 제1항에 있어서,
   상기 모션 추출부는,
   상기 이미지 데이터의 이전 프레임의 픽셀 휘도값과 상기 이미지 데이터의 현재 프레임의 픽셀 휘도값을 비교하여 상기 이미지 데이터에서 피사체의 모션을 추출하는 것을 특징으로 하는 영상처리장치.
5. 제4항에 있어서,
   상기 모션 추출부는,
   상기 이미지 데이터의 이전 프레임의 픽셀 휘도값과 상기 이미지 데이터의 현재 프레임의 픽셀 휘도값의 차를 이용하여 상기 이미지 데이터의 픽셀들의 모션값을 획득하고,
   상기 획득된 모션값이 기설정된 임계값을 초과하면 피사체의 모션이 추출된 것으로 판단하는 것을 특징으로 하는 영상처리장치.
6. 제5항에 있어서,
   상기 이미지 합성부는,
   상기 획득된 모션값이 제1임계값을 초과하면 해당 픽셀을 제1 이미지 데이터로부터 독출하고, 이를 상기 제2 이미지 데이터에 합성하는 것을 특징으로 하는 영상처리장치.
7. 제5항 또는 제6항에 있어서,
   상기 이미지 합성부는,
   상기 획득된 모션값이 제1임계값보다 작고 제2임계값을 초과하는 경우, 해당 픽셀을 제1 이미지 데이터에서의 픽셀 휘도값과 제2 이미지 데이터에서의 픽셀 휘도값을 이용하여 보간하고, 이를 상기 제2 이미지 데이터의 픽셀들과 합성하는 것을 특징으로 하는 영상처리장치.
8. 주변을 촬영하여 이미지 데이터를 획득하는 단계;
   저조도 촬영 모드시, 숏 셔터 주기 또는 노멀 셔터 주기로 상기 이미지 센서부로부터 획득되는 제1 이미지 데이터의 프레임을 제1버퍼로 출력하고, 롱 셔터 주기로 상기 이미지 센서부에 광량을 축적하면서 획득되는 제2 이미지 데이터를 제2버퍼로 출력하는 단계;
   상기 제1버퍼에 입력된 제1이미지 데이터의 프레임으로부터 피사체의 모션을 추출하는 단계; 및
   피사체의 모션이 추출된 프레임의 픽셀들을 상기 제2버퍼에 입력된 상기 제2 이미지 데이터에 합성하여 출력시키는 단계를 포함하는 것을 특징으로 하는 영상처리장치의 동작방법.
   
   

Images