KR102058860B1 - 카메라의 이미지 처리 장치 및 방법 - Google Patents

Abstract

카메라 이미지의 처리방법이, 프리뷰모드시 이미지처리부를 표시이미지 처리 경로로 제어하여 카메라 이미지를 버퍼링하고, 이미지를 표시이미지로 변환하여 처리 및 표시하는 표시이미지 처리과정과, 캡쳐 모드시 프레임 구간에서 상기 이미지처리부를 시분할 제어하여 표시이미지 처리 경로 및 캡쳐 이미지 처리 경로를 순차적으로 설정하며, 표시이미지 처리경로시 표시이미지 처리과정을 수행하며, 캡쳐 이미지 처리 경로가 설정되면 버퍼링된 카메라 이미지에서 설정된 프레임의 카메라 이미지를 선택하여 처리하는 캡쳐 이미지 처리과정을 수행한다.

Description

카메라의 이미지 처리 장치 및 방법{APPARATUS AND MEHOD FOR PROCESSING A IMAGE IN CAMERA DEVICE}

본 발명은 카메라의 이미지처리 장치 및 방법에 관한 것으로, 특히 셔터 지연을 보상할 수 있는 이미지처리 장치 및 방법에 관한 것이다.

카메라 장치 및 카메라를 포함하는 휴대단말 장치는 고화질 이미지를 제공하며, 또한 다양한 사용자 편의 기능을 제공하고 있다. 현재 카메라 장치의 이미지 센서(image sensor 또는 카메라 센서라 칭할 수도 있다)는 풀 HD급 이상의 해상도(full High Definition resolution)를 가지는 이미지들을 센싱할 수 있다.

이때 상기 카메라 장치는 프리뷰 모드에서 카메라로부터 감지되는 이미지로 프리뷰 이미지(preview image)를 표시하고, 사용자가 셔터 버튼(shutter button)을 누르면 상기 카메라 센서에서 획득되는 이미지를 저장한다. 이때, 사용자가 셔터 버튼을 누르면(shutter on), 카메라에서 이미지를 센싱하여 캡쳐(capture)하기까지 지연 시간(shutter delay 또는 shutter lag)이 존재한다. 즉, 사용자의 셔터 온 시점으로부터 카메라 센서가 피사체를 촬영하는 시점까지의 시간 차가 존재하며, 이런 시간 차는 피사체의 촬영환경 및 이미지처리장치의 처리 시간 등에 의해 발생될 수 있다. 따라서 사용자는 셔터 딜레이(셔터 렉)에 의해 원하는 시점에서의 이미지를 획득할 수 없었던 문제점이 있었다.

또한 상기 이미지를 캡쳐하는 시점에서, 카메라가 흔들렸거나 또는 피사체의 인물이 눈을 감는 등의 불필요한 동작이 촬영된 경우, 상기 캡쳐된 이미지를 수정하는데 한계가 있으며, 이런 경우 촬영시의 상황은 다시 재현할 수가 없으므로, 카메라 촬영의 한계를 가지는 문제점이 있었다

따라서 본 발명은 카메라장치 또는 카메라를 포함하는 단말장치에서 셔터 지연없이 촬영 시점의 이미지를 캡쳐할 수 있는 장치 및 방법을 제안한다.

이를 위하여 본 발명의 실시예에 따른 카메라장치 또는 카메라를 포함하는 단말장치는 카메라로부터 획득되는 이미지를 처리하여 매 프레임에서 복수의 이미지들을 생성하고, 생성되는 이미지들을 각각 프리뷰 이미지 및 캡쳐 이미지로 사용할 수 있는 장치 및 방법을 제안한다.

또한 본 발명의 실시예에 따른 카메라장치 또는 카메라를 포함하는 단말장치는 매 프레임에서 카메라로부터 획득되는 이미지를 프리뷰 이미지로 생성 및 캡쳐용 이미지로 버퍼링하고, 프리뷰모드 시 프리뷰 이미지를 표시하며 캡쳐 이미지를 버퍼링하고, 캡쳐요구시 상기 표시이미지 및 버퍼링된 캡쳐이미지를 시분할 처리하여 셔터지연이 보상된 캡쳐이미지를 저장할 수 있는 장치 및 방법을 제안한다.

본 발명의 실시예에 따른 이미지 처리장치가, 카메라 이미지를 스케일링하여 표시이미지로 변환하는 이미지스케일러와, 상기 카메라 이미지를 버퍼링하는 버퍼와, 상기 이미지스케일러 및 버퍼의 출력을 다중화하는 다중화부와, 상기 다중화부의 출력 이미지를 처리하는 이미지처리부와, 상기 이미지처리부의 출력을 역다중화하여 표시이미지를 표시부에 출력하는 역다중화부와, 상기 역다중화부에서 출력되는 카메라 이미지를 부호화하여 캡쳐이미지로 출력하는 코덱으로 구성되며, 캡쳐 모드시 상기 다중화부 및 역다중화부를 시분할 제어하여 프레임 구간에서 상기 이미지처리부가 표시이미지 및 카메라 이미지를 순차적으로 처리하도록 제어하는 제어부로 구성된 것을 특징으로 한다.

또한 본 발명의 실시예에 따른 카메라 이미지의 처리방법이, 프리뷰모드시 이미지처리부를 표시이미지 처리 경로로 제어하여 카메라 이미지를 버퍼링하고, 상기 이미지를 표시이미지로 변환하여 처리 및 표시하는 표시이미지 처리과정과, 캡쳐 모드시 프레임 구간에서 상기 이미지처리부를 시분할 제어하여 표시이미지 처리 경로 및 캡쳐 이미지 처리 경로를 순차적으로 설정하며, 표시이미지 처리경로시 상기 표시이미지 처리과정을 수행하며, 상기 캡쳐 이미지 처리 경로가 설정되면 버퍼링된 카메라 이미지에서 설정된 프레임의 카메라 이미지를 선택하여 처리하는 캡쳐 이미지 처리과정을 수행하는 것을 특징으로 한다.

또한 본 발명의 실시예에 따른 카메라장치가, 카메라 구동시 동작되어 풀해상도 이미지를 발생하는 카메라와, 표시이미지를 표시하는 표시부와, 프리뷰 모드 및 캡쳐모드 신호를 발생하는 입력부와, 캡쳐이미지를 저장하는 저장부와, 프리뷰모드 신호 감지시 표시이미지 처리 경로 설정을 제어하며, 상기 캡쳐모드 신호 감지시 프레임 구간을 시분할 제어하여 상기 표시이미지 처리 경로 및 캡쳐이미지 처리 경로를 순차적으로 설정하는 제어부와, 상기 제어부의 제어에 의해 프리뷰모드시 표시이미지 처리 경로를 설정하여 상기 카메라 이미지를 버퍼링 및 표시이미지로 변환 및 처리하여 상기 표시부에 출력하며, 캡쳐모드시 프레임 구간에서 상기 표시이미지 처리 경로를 설정하여 상기 카메라 이미지를 버퍼링 및 표시이미지 변환 및 처리하여 상기 표시부에 출력한 후, 상기 캡쳐 이미지 경로를 설정하여 버퍼링된 카메라 이미지에서 설정된 프레임의 카메라를 억세스 및 처리하여 캡쳐 이미지로 압축 부호화한 후 상기 저장부에 출력하는 이미지처리부로 구성된 것을 특징으로 한다.

또한 본 발명의 실시예에 따른 휴대단말 장치가, 카메라 구동시 동작되어 풀해상도 이미지를 발생하는 카메라와, 표시이미지를 표시하는 표시부와, 프리뷰 모드 및 캡쳐모드 신호를 발생하는 입력부와, 캡쳐이미지를 저장하는 저장부와, 상기 휴대단말장치의 어플리케이션들을 처리하며, 상기 카메라의 프리뷰모드 신호 감지시 표시이미지 처리 경로 설정을 제어하며, 상기 캡쳐모드 신호 감지시 프레임 구간을 시분할 제어하여 상기 표시이미지 처리 경로 및 캡쳐이미지 처리 경로를 순차적으로 설정하는 어플리케이션처리부와, 통신부를 제어하여 장치의 통신 기능을 수행하며, 상기 어플리케이션처리부와 통신하는 단말제어부와, 상기 어플리케이션처리부의 제어에 의해 프리뷰모드시 표시이미지 처리 경로를 설정하여 상기 카메라 이미지를 버퍼링 및 표시이미지로 변환 및 처리하여 상기 표시부에 출력하며, 캡쳐모드시 프레임 구간에서 상기 표시이미지 처리 경로를 설정하여 상기 카메라 이미지를 버퍼링 및 표시이미지 변환 및 처리하여 상기 표시부에 출력한 후, 상기 캡쳐 이미지 경로를 설정하여 버퍼링된 카메라 이미지에서 설정된 프레임의 카메라를 억세스 및 처리하여 캡쳐 이미지로 압축 부호화한 후 상기 저장부에 출력하는 이미지처리부로 구성된 것을 특징으로 한다.

본 발명의 실시예에 따른 카메라장치 또는 카메라를 포함하는 단말장치는 매 프레임에서 카메라 센서로부터 획득되는 이미지를 처리하여 프리뷰 및 캡쳐 이미지를 생성하고, 촬영되는 이미지를 원하는 시점에서 캡쳐하여 제로 셔터렉을 구현할 수 있으며, 또한 촬영된 이미지들 중에서 원하는 이미지를 선택하여 저장할 수 있는 이점이 있다. 또한 카메라장치 및 카메라를 포함하는 단말장치에서 캡쳐 이미지 및 프리뷰 이미지를 시분할 처리하여 생성하므로써, 이미지를 처리하는 구성을 상대적으로 간단하게 구성할 수 있으며, 이로인해 카메라장치 및 카메라를 구비하는 단말장치에서 소모전력을 절약할 수 있는 이점이 있다.

도 1은 본 발명의 실시예에 따른 카메라 장치의 구성을 도시하는 도면
도 2a - 도 2d는 본 발명의 제1실시예에 따른 이미지처리부의 구성을 도시하는 도면
도 3a 및 도 3b는 이미지처리부의 이미지 스케일러를 평균화부로 구성할 때, 평균화부의 동작을 설명하기 위한 도면
도 4a - 도 4c는 본 발명의 제2실시예에 따른 이미지처리부의 구성을 도시하는 도면
도 5는 도 4a - 도 4c와 같은 구성을 가지는 이미지처리부에가 선택된 동작 클럭에 따라 이미지를 처리하는 동작을 설명하기 위한 도면
도 6a - 도 6c는 본 발명의 제3실시예에 따른 이미지처리부의 구성을 도시하는 도면
도 7a - 도 7c는 도 6a - 도 6c와 같은 구성을 가지는 이미지처리부의 동작을 설명하기 위한 도면
도 8a - 도 8c는 본 발명의 제4실시예에 따른 이미지처리부의 구성을 도시하는 도면
도 9는 도 8a - 도 8c와 같은 구성을 가지는 이미지처리부의 동작을 설명하기 위한 도면
도 10a 및 도 10b는 본 발명의 실시예에 따른 이미지처리부의 구체적인 구성 예를 도시하는 도면
도 11은 본 발명의 실시예에 따른 카메라장치 또는 카메라를 구비하는 단말장치의 이미지 처리 방법을 도시하는 흐름도
도 12a - 도 12d는 본 발명의 실시예에 다른 카메라장치 또는 카메라를 구비하는 휴대단말기에서 표시 이미지를 처리하는 절차를 도시하는 흐름도
도 13은 도 12a - 도 12d에서 표시이미지를 생성하는 스케일링 과정 및 표시이미지를 후처리하여 표시하는 절차를 도시하는 흐름도
도 14 - 도 17은 본 발명의 실시예에 따른 카메라장치 또는 카메라를 구비하는 휴대단말기에서 캡쳐 이미지를 처리하는 절차를 도시하는 흐름도
도 18은 본 발명의 실시예에 따른 카메라를 구비하는 휴대단말장치의 구성을 도시하는 도면

이하, 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다.

또한, 하기 설명에서는 카메라의 화소수, 프레임 율 등과 같은 구체적인 특정 사항들이 나타내고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들 없이도 본 발명이 실시될 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다. 그리고 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 상세한 설명을 생략한다.

본 발명의 실시예에 따른 카메라장치 또는 카메라를 구비하는 단말장치는 카메라 구동시(예를들면 preview mode) 카메라센서로부터 획득되는 매 프레임의 이미지를 처리하여 프리뷰 표시 또는 동영상 저장을 위한 이미지(이하 표시이미지라 칭한다) 및 정지이미지(still image)로 저장하기 위한 이미지(이하 캡쳐 이미지라 칭한다)를 생성한다. 여기서 상기 표시이미지는 상기 캡쳐이미지보다 작은 크기를 가진다. 이런 경우, 카메라 구동시, 카메라장치는 매 프레임 주기에서 카메라로부터 이미지를 획득하여 버퍼링한다. 그리고 상기 카메라장치 또는 카메라를 구비하는 단말장치는 프리뷰모드이면 카메라에서 획득되는 이미지를 표시이미지로 변환 및 처리하여 표시하며, 캡쳐 모드이면 버퍼링된 이미지들 중에서 셔터 지연을 보상하는 이미지를 선택하여 캡쳐이미지로 처리한다. 일반적으로 카메라장치는 셔터 온 시점에서 카메라가 이미지 획득까지의 지연시간(셔터 지연, 셔터렉)을 가진다. 따라서 본 발명의 실시예에 따른 카메라장치는 표시이미지와 독립적으로 카메라의 풀 해상도 이미지를 일시 저장하기 위한 버퍼를 구비하며, 카메라 구동시 상기 버퍼에 카메라에서 촬영되는 이미지들을 버퍼링한다. 그리고 캡쳐 요구시 버퍼링 중인 프레임 이미지들 중에서 캡쳐 요구 시간의 프레임 이미지를 선택하여 처리하므로써 제로 셔터렉(zero shutter lag)을 구현할 수 있다. 본 발명의 실시예에서 상기 버퍼는 설정된 수의 프레임 이미지들을 저장할 수 있는 크기로 구성할 있으며, 상기 셔터렉을 없앨 수 있는 정도의 프레임 크기로 갖도록 설정하면 된다. 예를들어 카메라장치 또는 카메라를 구비하는 단말장치에서 셔터렉이 2프레임 전후라고 가정하면, 상기 버퍼는 5프레임 정도의 프레임 이미지를 저장할 수 있는 크기로 설정할 수 있다. 이하의 설명에서 카메라 이미지라는 용어는 카메라에서 획득되는 이미지를 의미하는 용어로, 카메라 이미지의 사이즈(화소수)는 카메라110의 이미지 센서(획득되는 화소수)에 의해 결정된다. 또한 표시이미지라는 용어는 프리뷰모드에서 표시부에 표시되는 이미지 또는 동영상 저장을 위한 이미지로써, 상기 카메라에서 획득되는 이미지를 설정된 크기(또는 해상도)로 스케일링된 이미지를 의미한다. 여기서 상기 표시이미지의 경우, 프리뷰 이미지 및 동영상 이미지의 해상도(크기)가 같을 수 있으며, 또한 서로 다른 크기(해상도)를 가질 수 있다. 그리고 캡쳐 이미지라는 용어는 정지 이미지(still image)로 저장하기 위한 이미지로써, 상기 카메라 이미지 또는 상기 카메라에서 획득된 이미지를 설정된 크기로 스케일링하는 이미지가 될 수 있다. 본 발명의 실시예에서 상기 캡쳐이미지는 상기 카메라 이미지인 경우를 가정하여 설명될 것이다.

또한 이미지 스케일링이라는 용어는 상기 카메라 이미지를 설정된 크기(또는 해상도)로 조절하는 것을 의미한다. 본 발명의 실시예에서 상기 이미지스케일링은 리사이징 또는 가산 및 평균 방법으로 구현할 수 있다. 여기서 상기 리사이징은 이미지를 데시메이션, 인터폴레이션 및 크롭하여 이미지 크기를 조절하는 방법을 의미한다. 그리고 가산 및 평균화 방법은 인접한 화소들을 하나의 화소로 생성하여 화소수를 조절하는 방법을 의미하며, 상기 평균화 동작을 수행한 후 상기 데시메이션, 인터폴레이션 및 크롭 등을 수행할 수도 있다.

이하의 설명에서 전처리부 및 후처리부는 영상처리부라는 용어로 병행되어 사용될 것이다. 도 1은 본 발명의 실시예에 따른 카메라 장치의 구성을 도시하는 도면이다.

상기 도 1을 참조하면, 카메라110은 카메라 구동시 내부의 센서를 통해 이미지를 획득하는 기능을 수행한다. 상기 카메라110은 광학부, 이미지 센서 및 신호처리부 등을 구비할 수 있다. 상기 광학부는 mecha-shutter, 모터 및 액츄에이터에 의해 구동되며, 상기 액츄에이터에 의해 주밍(zooming) 및 포커싱(focusing) 등의 동작을 수행한다. 상기 광학부는 주변의 이미지를 촬상하며, 이미지센서는 상기 광학부에 의해 촬상되는 이미지를 감지하여 전기적인 신호로 변환한다. 여기서 상기 이미지 센서은 CMOS 또는 CCD센서가 될 수 있으며, 고해상도의 이미지 센서가 될 수 있다. 카메라의 이미지 센서는 global shutter를 내장할 수도 있다. 상기 Global shutter는 센서에 내장된 메카셔터와 유사한 기능을 수행한다. 그리고 카메라110은 viewfinder가 구비할 수도 있다. 본 발명의 실시예에서 상기 이미지 센서는 UHD(Ultra High Definition)급 이상의 이미지를 감지할 수 있는 센서가 될 수 있다. 그리고 상기 이미지센서에서 출력되는 이미지는 신호처리부를 통해 디지털 이미지로 변환되어 출력된다. 상기 카메라110에서 출력데이터는 Bayer data(raw data)가 될 수 있다.

이미지처리부120은 상기 카메라110에서 출력되는 프레임 이미지들을 버퍼링하며, 프리뷰모드시 상기 카메라110에서 출력되는 프레임 이미지를 표시이미지 크기로 스케일링 및 처리하며, 캡쳐모드시 상기 버퍼링된 프레임 이미지들 중에서 설정된 프레임 이미지를 선택 및 압축 부호화하여 출력한다. 여기서 상기 압축부호화되는 이미지는 제로 셔터렉을 가지는 프레임의 이미지가 될 수 있다.

제어부100은 본 발명의 실시예에 따른 카메라장치의 전반적인 동작을 제어한다. 상기 제어부100은 입력부150을 통해 입력되는 제어명령에 따라 카메라장치의 동작을 제어한다. 상기 입력부150을 통해 카메라 구동명령이 발생되면, 상기 카메라110 및 이미지처리장치 120을 제어하여 프리뷰 모드의 동작을 수행한다. 그리고 입력부150을 통해 캡쳐 요구가 발생되면, 상기 제어부100의 제어하에 이미지처리부120은 캡쳐요구가 발생된 시점의 카메라이미지를 선택하여 압축 부호화하며, 상기 압축부호화된 이미지는 저장부130에 저장된다. 특히 본 발명의 실시예에서 상기 제어부100은 프리뷰모드시 상기 이미지처리부120을 제어하여 표시이미지를 처리하도록 제어하며, 캡쳐 모드시 상기 이미지처리부120의 처리를 시분할 제어하여 표시이미지 및 캡쳐이미지를 표시 및 저장할 수 있도록 제어한다.

저장부130은 카메라장치에서 촬영되는 이미지들을 저장하는 메모리로써, 본 발명의 실시예에서는 정지이미지를 저장하는 것을 예로들어 설명될 것이지만, 동영상 이미지들도 저장할 수 있다. 표시부140은 LCD 또는 OLED 등과 같은 표시장치가 될 수 있으며, 카메라장치에서 촬영되는 이미지들 및 촬영중의 정보들을 표시하는 기능을 수행한다. 상기 입력부150은 카메라장치의 각 기능들의 설정 및 동작을 수행하기 위한 명령어들을 발생하는 버튼들로 구성될 수 있다. 여기서 상기 입력부150의 버튼은 카메라장치의 외부에 버튼 형태로 설정될 수 있으며, 일부 버튼들은 터치패널로 구성할 수도 있다. 이런 경우, 상기 표시부140 및 입력부150의 일부 버튼들은 터치스크린 형태로 구성할 수 있다.

상기 도 1과 같은 구성을 가지는 카메라장치에서 이미지처리부120은 캡쳐 요구시 표시이미지 및 캡쳐이미지를 시분할하여 처리한다. 이를 위하여 본 발명의 실시예에 따른 이미지처리부120은 1프레임 구간에서 표시이미지 및 캡쳐이미지를 시분할하여 처리한다. 상기 이미지처리부120에서 카메라110으로부터 획득되는 이미지를 처리하는 영상처리부는 전처리부 및 후처리부로 구성할 수 있다. 그리고 상기 표시이미지를 생성하기 위하여 이미지스케일러를 구비하며, 제로셔터렉을 수행하기 위하여 설정된 수의 프레임 이미지들을 버퍼링하는 버퍼를 구비할 수 있다. 이때 상기 이미지처리부120은 상기와 같은 구성요소들을 다양한 형태로 구성하여 상기 표시이미지 및 캡쳐이미지를 시분할하여 처리할 수 있다.

도 2a - 도 2d는 본 발명의 제1실시예에 따른 이미지처리부120의 구성을 도시하는 도면이다. 여기서 도 2a는 카메라110으로부터 획득되는 이미지를 먼저 전처리한 후 이를 표시이미지로 처리하고 이를 캡쳐이미지로 버퍼링하며, 이후 상기 전처리 이미지 및 버퍼링된 전처리이미지를 각각 표시이미지 및 캡쳐이미지로 시분할 처리하는 예의 구성을 도시하는 도면이다. 도 2b는 카메라110으로부터 획득되는 이미지를 버퍼링하는 동시에 표시이미지로 스케일링하여 시분할 처리하는 예의 구성을 도시하는 도면이다. 그리고 도 2c 및 도 2d는 상기 카메라110으로부터 획득되는 이미지를 버퍼링한 후, 버퍼링된 이미지를 시분할하여 표시이미지 및 캡쳐이미지로 처리하는 예의 구성을 도시하는 도면이다.

먼저 상기 도 2a를 참조하면, 전처리부210은 상기 카메라110에서 출력되는 이미지를 전처리하는 기능을 수행한다. 여기서 상기 전처리 기능은 3A(AWB(auto white balance), AE(auto exposure), AF(Auto focusing)) 추출 및 처리, 렌즈 셰이딩 보상(lens shading correction), 데드픽셀 보정(dead pixel correction), knee 보정 등이 될 수 있다. 여기서 상기 전처리부210은 상기 제어부100의 제어하에 표시이미지 또는 캡쳐이미지를 전처리할 수 있어야 한다. 즉, 상기 전처리부210은 카메라110에서 획득되는 이미지(카메라의 이미지센서에 센싱되는 카메라의 풀해상도 이미지)를 전처리하며, 상기 전처리부210에서 전처리된 이미지는 스케일러220에 인가되는 동시에 버퍼240에 인가되어 버퍼링된다.

스케일러220은 상기 전처리부210에서 출력되는 카메라110의 풀 해상도 이미지를 표시부140에 표시하기 위한 크기로 스케일링한다. 여기서 상기 이미지 스케일링은 리사이즈(resize), 데시메이션(decimation), 인터폴레이션(interpolation), 크롭(crop), 가산 및 평균 등의 다양한 방법들 중에 한 가지 또는 두개 이상의 방법을 사용하여 구현할 수 있다. 상기 이미지 스케일링은 카메라110에서 획득되는 풀 해상도 이미지의 화소수를 줄여 표시부140에 표시할 수 있는 적정 크기로 스케일링하며, 또한 표시부140의 화면비에 맞도록 상기 이미지를 스케일링할 수 있다. 여기서 상기 이미지스케일링은 다양한 비율로 스케일링할 수 있다. 예를들어 카메라110에서 8Mbyte의 이미지를 획득하고, 상기 스케일링 비율이 4:1이라고 가정하면, 상기 스케일러220은 2Mbyte의 표시이미지 크기로 스케일링할 수 있다.

버퍼240은 상기 전처리부210에서 출력되는 이미지를 버퍼링하며, 상기 제어부100의 제어하에 캡쳐모드에서 설정된 프레임의 카메라 이미지를 출력한다. 이때 버퍼240은 설정된 수의 프레임 이미지들을 버퍼링할 수 있다. 상기 버퍼240은 N 프레임의 이미지 데이터를 저장할 수 있는 N개의 링버퍼 구조를 가질 수 있다. 이런 경우, 상기 버퍼240은 상기 카메라110에서 출력되는 이미지들을 첫번째 버퍼에서부터 마지막 버퍼에 순차적으로 버퍼링하며, 마지막 버퍼까지 프레임 이미지 데이터가 버퍼링되면 다시 첫번째 버퍼에 프레임 이미지데이터를 오버라이트한다. 본 발명의 실시예에서는 상기 N은 5가 될 수 있으며, 이런 경우 상기 버퍼240의 링버퍼는 5 프레임의 이미지 데이터를 저장할 수 있는 구조를 가진다. 여기서 상기 설정된 이미지는 카메라장치의 셔터렉을 보상하는 프레임 이미지가 될 수 있다.

다중화부250은 상기 버퍼240 및 스케일러220의 출력을 입력하며, 상기 제어부100의 제어하에 상기 스케일러220에서 출력되는 표시이미지 및/또는 상기 버퍼240에서 버퍼링된 버퍼링된 카메라 이미지를 선택하여 출력한다. 즉, 상기 다중화부250은 프리뷰 모드시 상기 제어부100의 제어하에 상기 스케일러220의 출력을 선택 출력한다. 그리고 캡쳐모드시 상기 다중화부250은 상기 제어부100의 제어하에 해당 프레임 구간(캡쳐이미지를 처리하는 프레임 구간)에서 상기 버퍼240에서 출력되는 카메라110의 이미지를 출력하거나, 또는 스케일러220에서 출력되는 표시이미지 및 상기 버퍼240에서 출력되는 캡쳐이미지를 시분할하여 출력한다. 즉, 다중화부100은 캡쳐 모드시 상기 제어부100의 제어에 의해 캡쳐이미지만 선택하여 출력할 수 있으며, 또한 표시이미지 및 캡쳐이미지를 시분할 선택하여 출력할 수 있다.

후처리부230은 상기 다중화부250에서 출력되는 이미지를 후처리한다. 여기서 상기 후처리는 전처리된 이미지의 색보간(color interpolation) 및 잡음제거, 색보정, 그리고 색변환(image conversion)하여 YUV 데이터를 생성하는 동작을 의미한다. 또한 상기 후처리부230도 프리뷰모드시 표시이미지 사이즈의 이미지를 후처리하며, 캡쳐모드시 카메라이미지를 후처리한다. 이때 상기 후처리부230은 캡쳐모드시 1프레임 구간에서 상기 다중화부230에서 시분할 선택되어 출력되는는 표시이미지 및 캡쳐이미지를 연속적으로 후처리할 수 있다.

역다중화부255은 상기 제어부100의 제어하에 상기 후처리부230의 출력을 역다중화하여 출력한다. 이때 상기 역다중화부255는 프리뷰모드시 상기 후처리부230에서 출력되는 표시이미지를 상기 표시부140에 출력하며, 캡쳐모드시 상기 후처리부230에서 출력되는 캡쳐이미지를 정지영상코덱260에 출력한다. 이때 캡쳐모드시 상기 역다중화부255는 상기 제어부100의 제어하에 상기 후처리부230에서 처리되는 표시이미지 및 캡쳐이미지를 시분할 역다중화하여 각각 표시부140 및 정지영상 코덱260에 출력할 수 있다. 상기 역다중화부255은 디멀티플렉서로 구현할 수 있다.

상기 정지영상코덱260은 상기 역다중화부255에서 출력되는 캡쳐이미지를 압축부호화하여 저장부130에 저장한다. 여기서 상기 정지영상코덱은 JPEG 코덱이 될 수 있다. 또한 상기 표시이미지는 동영상 저장을 위한 이미지로 사용될 수 있다. 이런 경우, 동영상 촬영 요구가 발생되면, 동영상 코덱270은 상기 역다중화부255에서 출력되는 표시이미지를 부호화하여 저장부130에 저장한다. 여기서 상기 표시이미지는 프리뷰모드의 표시이미지와 동일한 크기를 가질 수 있다. 또한 상기 동영상이미지는 상기 프리뷰 표시이미지보다 더 큰 화소들로 구성되는 표시이미지가 될 수 있다. 이런 경우, 상기 스케일러220은 프리뷰모드시의 스케일러와 동영상 모드의 스케일러로 구성하거나, 또는 모드 제어에 따라 스케일링 비율을 다르게 설정할 수도 있도록 구성하여야 한다. 그리고 동영상 저장이 요구되면, 제어부100은 스케일러220을 제어하여 동영상 표시이미지의 크기로 스케일링되도록 제어하며, 이에 따라 스케일러220은 상기 전처리부210에서 출력되는 풀 해상도의 이미지를 동영상 표시 이미지 크기로 스케일링한다. 여기서 상기 동영상 부호화는 H.264 등 다양한 형태로 수행할 수 있다.

상기 도 2a와 같은 구성을 가지는 이미지처리부120의 동작을 살펴보면, 사용자가 입력부150를 통해 카메라 구동명령을 발생하면, 제어부100은 카메라110을 구동하며 프리뷰 모드를 수행한다. 상기 프리뷰모드에서, 상기 제어부100은 상기 다중화부250을 제어하여 상기 스케일러220의 출력을 후처리부230에 인가되도록 하며, 상기 역다중화부255를 제어하여 상기 후처리부230의 출력이 상기 표시부140에 인가되도록 제어한다. 또한 상기 제어부100은 프리뷰모드에서 상기 후처리부230을 제어하여 표시이미지 사이즈의 이미지를 후처리하도록 제어한다.

상기 카메라110에서 출력되는 이미지는 베이어 이미지가 될 수 있으며, 상기 풀해상도 이미지는 전처리부210에서 전처리된다. 이때 상기 전처리부210은 상기 카메라 이미지에서 3A (AWB(auto white balance), AE(auto exposure), AF(Auto focusing)) 추출하고, 상기 카메라 이미지의 렌즈 셰이딩 보상, 데드 픽셀, knee 보정 등을 수행한다. 그리고 상기 전처리부210에서 출력되는 전처리된 카메라 이미지는 버퍼240 및 스케일러220에 입력된다. 즉, 프리뷰 모드시 상기 카메라110에서 촬영되는 카메라 이미지는 전처리된 후 상기 버퍼240에 버퍼링되는 동시에 상기 스케일러220에 입력되어 표시이미지로 스케일링된다. 그리고 상기 프리뷰모드에서 상기 버퍼240은 상기 카메라110에서 출력되는 이미지를 N 프레임의 이미지들을 버퍼링하며, 따라서 상기 버퍼240은 현재 프레임에서 이전 N 프레임 까지의 이미지들을 버퍼링하며, N 프레임 이전의 프레임 이미지들은 버린다. 이는 캡쳐 모드에서 설정된 프레임의 카메라 이미지(여기서는 제로 셔터렉의 이미지)들을 캡쳐할 수 있도록 하기 위함이다.

상기 스케일러220은 입력되는 풀 해상도 이미지를 표시부140에 표시하기 위한 크기로 스케일링한다. 여기서 상기 이미지 스케일링은 리사이즈(resize), 데시메이션(decimation), 인터폴레이션(interpolation), 크롭(crop), 가산 및 평균 등의 다양한 방법들 중에 한 가지 이상의 방법을 사용하여 구현할 수 있다. 상기 이미지 스케일링은 카메라110에서 획득되는 풀 해상도 이미지의 화소수를 줄여 표시부140에 표시할 수 있는 적정 크기로 스케일링하며, 또한 표시부140의 화면비에 맞도록 상기 이미지를 스케일링할 수 있다. 여기서 상기 스케일러220은 리사이저(resizer) 및/또는 평균화부(summing and averaging part)로 구성될 수 있다. 상기 스케일러220을 리사이저로 구현하는 경우, 상기 리사이저는 상기 카메라110에서 출력되는 이미지를 상기 표시부140에 표시하기 위한 이미지의 크기로 리사이징한다. 이때 리사이징은 데시메이션(decimation), 인터폴레이션(interpolation) 및/또는 크롭(crop) 등에 수행될 수 있다. 또한 상기 스케일러220을 평균화부로 구현하는 경우, 상기 평균화부는 이미지의 인접화소들을 가산 및 평균화하여 이미지의 화소수를 감축한다. 도 3a 및 도 3b는 상기 스케일러220의 평균화부의 동작을 설명하기 위한 도면이다.

상기 도 3a - 도 3b를 참조하면, 평균화부는 상기 카메라110의 이미지의 인접 화소들을 평균화하여 표시이미지의 화소수를 감축한다. 여기서 상기 평균화부는 의사-포베넌(psudo-Foveon) 방법을 사용하여 신호대 잡음 및 해상도 향상을 이룰 수 있다. 상기 카메라110에서 출력되는 이미지의 화소들은 도 3a와 같은 구조를 가진다. 상기 도 3a의 구성에서 인접한 4개의 화소들은 한 개의 R 화소, 한 개의 B 화소 및 2개의 G 화소들로 구성됨을 알 수 있다. 따라서 4개의 화소들을 한 개의 화소로 평균화하면 4:1 화소로 이미지 스케일링할 수 있음을 알 수 있다. 상기 본 발명의 실시에에서 평균화부(summing and averaging)는 4개의 화소들을 가산 및 평균화하여 1개의 화소로 감축하는 경우를 가정하여 설명하기로 한다. 이를 위하여 본 발명의 실시예에서는 두개의 G화소들을 가산한 후 이를 평균값을 구하여 하나의 G화소를 생성하고, 평균화된 G, R 및 B 화소들을 하나의 화소로 생성한다. 예를들어 도 3a에서 G11, B12, R21 및 G22 화소들을 하나의 화소로 생성하는 경우, R=R21, B=B12, G=(G11+G22)/2로 하여 RGB 값을 가지는 하나의 화소로 생성한다. 상기와 같이 평균화 동작을 수행하면 4개의 화소가 도 3b와 같이 하나의 화소로 생성되며, 또한 색보간 동작도 함께 수행된다. 상기와 같은 방법으로 도 3a와 같은 구성을 가지는 16개의 화소들을 평균화하면 도 3b와 같이 4개의 화소들로 스케일링되며, 이때 상기 화소들은 색보간 동작도 함께 이루어진다. 상기와 같이 평균화부에서 이미지 스케일링된 화소들은 이후 다중화부250을 통해 후처리부230에 인가되며, 상기 후처리부230에서 색보간, IPC 처리 및 이미지 변환되어 YUV 이미지로 생성된다. 이때 상기 스케일러220에서 평균화부를 이용하여 이미지 스케일링 동작을 수행하는 경우, 후처리250의 색보간기231은 각 화소 데이터들을 풀칼러(full color)로 변환하는 동작을 생략하고 다른 기능의 색보간 기능만을 수행할 수도 있다.

또한 상기 스케일러220은 카메라110의 이미지를 리사이징하여 표시이미지 크기로 변환하는 리사이저와, 상기 전처리된 카메라110의 이미지의 화소들을 가산 및 평균화하여 표시 이미지의 화소수로 변환하는 평균화부를 모두 이용하여 구성할 수도 있다. 이런 경우, 상기 스케일러220은 리사이징 후 평균화 동작을 수행하거나, 평균화 동작 후 리사이징을 수행하거나 또는 리사이저 및 평균화부의 출력들 중에서 어느 하나를 선택하여 출력하는 방법으로 구현할 수 있다.

상기와 같이 표시이미지 사이즈로 스케일링된 이미지는 다중화부250에 인가되며, 상기 다중화부250은 상기 스케일러220에서 출력되는 표시이미지를 선택하여 상기 후처리부230에 출력한다. 상기 후처리부230은 프리뷰모드시 상기 제어부100의 제어하에 표시이미지를 처리하기 위한 크기로 후처리할 이미지들의 사이즈를 설정할 수 있다. 이런 경우 상기 후처리부230은 상기 이미지스케일러220에서 출력되는 전처리된 표시 이미지를 후처리하며, 이때 상기 후처리는 컬러 인터폴레이션, 노이즈 보정(noise reduction), 감마 보정 및 색변환 등이 될 수 있다.

상기 후처리부230은 색보간기(color interpolator), IPC(image processing chain), 색변환부(image converter) 등을 구비할 수 있다. 먼저 상기 색보간기는 상기 베이어 이미지(Bayer data)를 컬러 이미지로 변환하는 색 보간 기능을 수행한다. 상기한 바와 같이 카메라110의 이미지센서는 CCD 또는 CMOS 이미지센서가 될 수 있다. 이때 상기 CCD/CMOS 이미지 센서는 컬러필터 배열(color filter array)를 사용하며, 이로인해 각 화소 센서들은 컬러 이미지를 만들기 위한 3가지 색 채널들 중에서 한가지 채널만 가지게 된다. 색보간(color interpolation)은 카메라110에서 출력되는 이미지를의 화소들이 3가지 색상의 RGB를 포함하는 색으로 변환(full color 변환)하는 기능을 수행한다. 상기 색보간기는 인접한 화소들 간의 상관관계를 이용하여 색보간 기능을 수행한다. 일반적으로 이미지처리장치에서 색보간 이전의 이미지처리를 전처리라 칭하고 색보간 이후의 이미지처리를 후처리라 칭한다. 두번째로 IPC는 상기 색보간된 이미지들의 노이즈 감소(noise reduction), 감마 보정(gramma correction), 휘도 보정(luminence correction) 등을 수행한다. 세번째로 색변환부는 상기 후처리된 이미지(raw data, Bayer data)를 YUV 이미지로 변환한다. 즉, 상기 후처리부230은 전처리된 이미지를 색보간 등의 후처리 및 YUV 이미지로 변환하는 기능을 수행한다. 그리고 상기와 같이 후처리된 표시이미지는 역다중화부255를 통해 표시부140에 인가되어 표시된다.

본 발명의 실시예에 따른 카메라장치는 프리뷰 모드에서 다중화부250 및 역다중화부255에 의해 표시이미지 처리 경로가 설정되며, 이로인해 전처리부210, 이미지 스케일러220 및 후처리부230을 통해 상기 카메라110에서 획득되는 매 프레임 이미지를 표시부140에 표시하기 위한 표시이미지로 처리한다. 또한 상기 전처리부210에서 전처리된 카메라 이미지는 상기 버퍼240에 버퍼링된다. 즉, 이미지처리부120은 표시이미지를 생성하여 표시하는 동작을 수행하지만, 이미지를 저장하기 위한 처리 동작은 수행하지 않는다. 이때 상기 표시이미지는 작은 이미지크기로 스케일링된 상태이며, 캡쳐를 위한 고 해상도의 이미지는 버퍼링만 하고 있는 상태이므로, 카메라장치에서 소모되는 전류 및 발열은 크지 않다.

일반적으로 카메라장치는 셔터 온시 셔터 딜레이에 의해 사용자가 뷰파인더 또는 표시부140으로 확인된 이미지를 캡쳐하지 못하고 일정 프레임 지연된 이미지를 획득하게 된다. 즉, 카메라장치는 셔터 버튼이 눌려질 때 사용자가 셔터를 온시키는 시점에서 실제 카메라장치의 셔터가 동작하기까지의 시간 지연(shutter lag, time lag)이 발생된다. 이런 시간 지연은 카메라장치에 따라 다를 수 있으며, 제어부100은 실험적으로 상기 지연시간을 측정하여 이를 알고 있어야 한다. 본 발명의 실시예에 따른 카메라장치는 상기 셔터 지연시간을 감안하여 카메라110의 이미지를 버퍼링하며, 캡쳐 요구시 버퍼링된 카메라 이미지들 중에서 셔터 온 시점의 프레임 이미지를 선택하여 처리한다. 즉, 본 발명의 실시예에 따른 카메라장치는 프리뷰 모드시 카메라110에서 획득되는 이미지들을 버퍼링하여 제로 셔터렉을 구현한다.

상기와 같이 프리뷰 모드를 수행하는 중에 입력부150을 통해 캡쳐 요구가 발생되면, 상기 제어부100은 상기 셔터 온 시점을 감지하고, 상기 버퍼240에서 버퍼링된 이미지들 중에서 셔터 온 시점의 프레임 이미지(즉, 제로 셔터렉을 가지는 이미지)를 캡쳐 이미지로 억세스한다. 또한 상기 제어부100은 상기 다중화부250 및 역다중화부255를 제어하여 상기 캡쳐이미지를 처리하기 위한 경로를 형성한다. 즉, 상기 제어부100은 상기 다중화부250 및 역다중화부255를 제어하여 캡쳐이미지를 처리하기 위한 경로를 설정하며, 상기 후처리부230을 제어하여 카메라110의 이미지를 후처리할 수 있도록 제어한다. 여기서 상기 제어부100은 상기 다중화부250 및 역다중화부255를 제어하여 1프레임 구간에서 캡쳐이미지만 처리할 수 있으며, 또한 1프레임 구간에서 표시이미지 및 캡쳐이미지를 시분할 제어하여 모두 처리할 수도 있다.

상기 캡쳐 이미지 처리시, 상기 제어부100은 다중화부250 및 역다중화부255를 제어하여 캡쳐이미지의 처리 경로를 선택하고, 상기 버퍼240에서 셔터 지연이 보상된 프레임 이미지(즉, 제로 셔터렉을 가지는 셔터온 시점의 프레임 이미지)를 억세스한다. 그리고 상기 다중화부250은 상기 버퍼240에서 출력되는 이미지를 선택하여 후처리부230에 출력하며, 상기 후처리부230은 상기 버퍼240에서 억세스되는 캡쳐 이미지(즉, 카메라110의 이미지)를 후처리한다. 그리고 상기 역다중화부255은 상기 후처리된 카메라 이미지를 캡쳐 이미지로 정지영상코덱260에 출력하며, 상기 정지영상코덱260은 상기 캡쳐이미지를 부호화하여 저장부130에 저장한다. 이때 상기 정지영상 코덱260은 정지이미지 부호기로써 JPEG부호기가 될 수 있다. 본 발명의 실시예에서 상기 정지 이미지는 JPEG(Joint Photographic Expert Group)인 경우를 예로들어 설명하고 있지만, 상기 정지이미지는 다른 정지 부호화 방법(예를들면 TIFF(Tagged-Image File Format))을 사용할 수도 있다. 상기와 같이 압축 부호화된 정지 이미지는 저장부130에 저장된다.

여기서 상기 캡쳐이미지는 상기 카메라110의 이미지를 이용하는 것으로 설명되고 있지만, 필요에 따라 상기 카메라 이미지를 스케일링할 수도 있다. 즉, 카메라장치의 사용자는 정지이미지를 캡쳐할 때 풀 해상도 이미지 보다 작은 크기(또는 낮은 해상도)를 가지는 캡쳐할 수도 있다. 이런 경우, 카메라장치의 사용자는 캡쳐 이미지의 크기(또는 화소수)를 작게하여 촬영할 수도 있다. 본 발명의 실시예에서는 카메라 이미지를 버퍼링하는 버퍼를 구비하여 카메라 이미지를 캡쳐하는 구성을 도시하고 있지만, 상기 버퍼240의 뒷단에 상기 스케일러220과 다른 스케일러를 더 구비하고 상기 버퍼240의 출력을 더 구비된 스케일러에 전달하는 구성으로 캡쳐이미지 처리부를 구성할 수 있다. 이런 경우, 사용자가 입력부150을 통해 이미지의 크기(또는 화소수)를 지정하는 캡쳐 요구 명령을 발생하면, 제어부100은 상기 버퍼240의 출력을 뒷단에 위치되는 스케일러(스케일러220과 다른)에 전달되도록 하고, 상기 스케일러를 제어하여 카메라 이미지를 사용자가 원하는 이미지 크기(또는 해상도)로 스케일링한 후 후처리하도록 구성할 수도 있다. 이하 설명되는 본 발명의 실시예에서는 상기 캡쳐 이미지가 카메라 이미지인 경우를 가정하여 설명하기로 한다.

상기한 바와 같이 이미지처리부120은 1프레임 구간에서 표시이미지 및 캡쳐이미지를 동시에 처리할 수 있는 경우, 상기 제어부100은 상기 다중화부250 및 역다중화부255를 시분할 제어하여 1프레임 구간에서 상기 표시이미지 및 캡쳐이미지를 순차적으로 처리할 수 있다. 이런 경우, 상기 표시이미지 처리 주기는 상기 캡쳐이미지 처리 주기에서 상대적으로 짧게 설정한다. 또한 상기 후처리부230의 구성은 상기 제어부100의 제어하에 표시이미지 및 캡쳐이미지를 각각 다른 이미지 크기로 처리할 수 있도록 구성할 수 있다.

이런 경우 상기 캡쳐요구가 발생되면, 상기 제어부100은 다중화부250 및 역다중화부255를 제어하여 1 프레임 구간에서 표시이미지 처리 경로와 캡쳐이미지 처리 경로를 시분할하여 형성한다. 그리고 표시이미지 처리 경로 형성시 이미지 스케일링된 표시이미지를 처리하여 표시하며, 캡쳐 이미지 경로 형성시 제로 셔터렉을 구현하기 위하여 셔터 온 시점에 대응되는 프레임의 이미지를 상기 버퍼240에서 억세스하며, 상기 억세스된 이미지를 후처리 및 부호화하여 저장한다.

상기한 바와 같이 본 발명의 실시예에 따른 카메라장치는 제로 셔터렉을 구현할 수 있다. 카메라장치에서 셔터 온시 카메라110에서 획득되는 이미지는 지연시간(shutter lag, time lag, shutter delay)에 의해 사용자가 원하는 캡쳐 이미지 이후에 획득되는 프레임 이미지가 된다. 즉, 캡쳐할 이미지는 상기 카메라110에서 획득되는 프레임 이미지의 이전 프레임이 된다. 따라서 셔터 지연을 해소(zero shutter lag)하기 위하여, 본 발명의 실시예에서는 캡쳐 요구시 버퍼240에 버퍼링하고 있는 이전 프레임의 이미지를 선택하여 캡쳐이미지로 처리한다.

또한 사용자에 의해 캡쳐 요구 발생시, 캡쳐할 사진이 정상적으로 촬영되지 않은 사진일 수 있다. 예를들면 인물 사진을 촬영한 경우, 인물이 눈을 감거나 흔들린 사진이 촬영될 수 있다. 이런 경우 사용자는 다른 프레임의 이미지를 캡쳐하는 것이 바람직하다. 본 발명의 실시예에 따른 카메라장치는 버퍼240에서 설정된 수의 프레임 이미지들을 버퍼링하고 있으므로, 필요시 버퍼링된 이미지들 중에서 다른 프레임 이미지를 선택할 수도 있다. 즉, 본 발명의 실시예에 따른 카메라장치는 복수 프레임 이미지들을 버퍼링하고 있으므로, 촬영된 이미지가 맘에 들지 않는 경우 다른 프레임 이미지로 대체할 수 있는 이점이 있다.

또한 사용자가 연속 촬영(연사모드, burst shot mode)을 요구하면, 상기 제어부100은 연사 촬영을 요구한 시점에서 버퍼링된 프레임 이미지들을 연속적으로 억세스하며, 상기 후처리부230은 상기 연속 억세스되는 프레임이미지들을 처리하고 정지영상코덱260은 이를 연속 부호화하여 상기 저장부130에 저장할 수 있다. 즉, 연속촬영 모드시 상기 카메라110에서 촬영되는 이미지들은 매 프레임 주기에서 상기 버퍼240에 버퍼링되며, 상기 제어부100은 상기 버퍼링되는 풀 해상도 이미지들을 연속적으로 억세스하여 이미지 처리 및 부호화시켜 저장할 수 있다.

상기와 같은 상태에서, 입력부150을 통해 정지 이미지 재생이 요구되면, 상기 제어부100은 저장부130에 저장된 이미지를 억세스하며, 정지영상코덱260은 상기 억세스되는 이미지를 복호하여 상기 표시부140에 표시한다. 또한 입력부150을 통해 동영상 재생이 요구되면, 상기 제어부100은 저장부130에서 요구된 동영상을 억세스하여 동영상코덱270에 인가하며, 동영상코덱270은 해당 동영상을 복호하여 표시부140을 통해 표시한다.

도 2b는 이미지처리부120의 다른 구성을 도시하는 도면이다. 상기 도 2b에 도시된 이미지처리부120은 카메라110에서 출력되는 이미지를 버퍼링 및 스케일링하며, 상기 버퍼링된 이미지 또는 스케일링된 표시이미지를 전처리 및 후처리하는 구성을 가진다. 상기 도 2b를 참조하면, 스케일러220은 카메라110에서 출력되는 풀 해상도 이미지를 표시부140에 표시하기 위한 크기로 스케일링한다. 버퍼240은 상기 카메라110에서 출력되는 이미지를 버퍼링하며, 상기 제어부100의 제어하에 캡쳐모드에서 설정된 프레임의 카메라 이미지를 출력한다.

다중화부250은 상기 버퍼240 및 스케일러220의 출력을 입력하며, 상기 제어부100의 제어하에 상기 스케일러220에서 출력되는 표시이미지 및/또는 상기 버퍼240에서 버퍼링된 버퍼링된 카메라 이미지를 선택하여 출력한다. 즉, 상기 다중화부250은 프리뷰 모드시 상기 제어부100의 제어하에 상기 스케일러220의 출력을 선택 출력한다. 그리고 캡쳐모드시 상기 다중화부250은 상기 제어부100의 제어하에 해당 프레임 구간(캡쳐이미지를 처리하는 프레임 구간)에서 상기 버퍼240에서 출력되는 카메라110의 이미지를 출력하거나, 또는 스케일러220에서 출력되는 표시이미지 및 상기 버퍼240에서 출력되는 캡쳐이미지를 시분할하여 출력한다.

전처리부210은 상기 다중화부250에서 출력되는 이미지를 전처리하며, 후처리부230은 상기 다중화부250에서 출력되는 이미지를 후처리한다. 상기 전처리부210 및 후처리부230은 상기 제어부100의 제어하에 표시이미지 사이즈 또는 캡쳐이미지 사이즈를 가지는 이미지를 처리할 수 있도록 제어한다. 즉, 상기 전처리부210 및 후처리부230은 프리뷰모드시 표시이미지를 처리하며, 캡쳐모드시 캡쳐이미지 또는 시분할되어 입력되는 표시이미지 및 캡쳐이미지를 처리한다.

역다중화부255은 상기 제어부100의 제어하에 상기 후처리부230의 출력을 역다중화하여 출력한다. 이때 상기 역다중화부255는 프리뷰모드시 상기 후처리부230에서 출력되는 표시이미지를 상기 표시부140에 출력하며, 캡쳐모드시 상기 후처리부230에서 출력되는 캡쳐이미지를 정지영상코덱260에 출력한다. 이때 캡쳐모드시 상기 역다중화부255는 상기 제어부100의 제어하에 상기 후처리부230에서 처리되는 표시이미지 및 캡쳐이미지를 시분할 역다중화하여 각각 표시부140 및 정지영상 코덱260에 출력할 수 있다. 상기 역다중화부255은 디멀티플렉서로 구현할 수 있다.

상기 정지영상코덱260은 상기 역다중화부255에서 출력되는 캡쳐이미지를 압축부호화하여 저장부130에 저장한다. 또한 동영상 촬영모드시 동영상 코덱270은 상기 역다중화부255에서 출력되는 표시이미지를 부호화하여 저장부130에 저장한다.

상기 도 2b와 같은 구성을 가지는 이미지처리부120의 동작을 살펴보면, 사용자가 입력부150를 통해 카메라 구동명령이 발생되면, 제어부100은 카메라110을 구동하며, 상기 카메라110에서 출력되는 이미지는 각각 이미지스케일러220 및 버퍼240에 인가된다. 그러면 상기 버퍼240은 상기 카메라110에서 출력되는 이미지를 버퍼링한다.

그리고 상기 이미지스케일러220은 입력되는 풀 해상도 이미지를 표시부140에 표시하기 위한 크기로 스케일링한다. 이때 프리뷰모드에서 상기 다중화부250은 상기 제어부100의 제어에 의해 이미지스케일러220의 출력을 선택하며, 역다중화부255는 후처리부230의 출력을 선택하여 표시부140에 출력한다. 즉, 상기 프리뷰 모드에서 상기 제어부100은 다중화부250 및 역다중화부255를 제어하여 프리뷰 이미지의 경로를 설정하며, 캡쳐 이미지의 경로는 형성하지 않는다. 상기와 같은 상태에서 이미지스케일러220에서 출력되는 표시이미지는 다중화부250을 통해 전처리부210에 인가되며, 전처리부210은 상기 표시이미지를 전처리하고, 후처리부230은 상기 전처리된 표시이미지를 후처리한다. 즉, 제어부100은 프리뷰 모드에서 다중화부250 및 역다중화부255을 제어하여 표시이미지 처리 경로를 설정하며, 이로인해 이미지스케일러220, 전처리부210 및 후처리부230이 구동되어 상기 카메라110에서 획득되는 매 프레임 이미지를 표시부140에 표시하기 위한 이미지로 처리하며, 상기 버퍼240은 카메라 이미지들이 버퍼링한다. 이후 입력부150을 통해 캡쳐 요구가 발생되면, 상기 제어부100은 상기 버퍼240의 버퍼링된 이미지들 중에서 셔터 지연시간을 고려하여 대응되는 프레임 이미지를 캡쳐 이미지로 억세스한다. 또한 상기 제어부100은 상기 다중화부250 및 역다중화부255를 시분할 제어하여 표시이미지 및 상기 캡쳐이미지를 처리하기 위한 경로를 형성한다. 즉, 상기 제어부100은 상기 다중화부250 및 역다중화부255를 제어하여 먼저 표시이미지(또는 캡쳐이미지)를 처리하기 위한 경로를 설정하고, 이후 캡쳐이미지(또는 표시이미지)를 처리하기 위한 경로를 설정한다.

먼저 상기 제어부100은 다중화부250 및 역다중화부255를 제어하여 표시이미지의 처리 경로를 선택한다. 그러면 상기 이미지스케일러220에서 출력되는 표시이미지는 전처리부210 및 후처리부230에서 각각 전처리 및 후처리되어 YUV 이미지로 변환되며, 상기 YUV 이미지로 변환된 표시이미지는 표시부140에 인가되어 표시된다. 이후 상기 제어부100은 다중화부250 및 역다중화부255를 제어하여 캡쳐이미지의 처리 경로를 선택하고, 상기 버퍼240에서 셔터 지연이 보상된 프레임 이미지(즉, 제로 셔터렉을 가지는 셔터온 시점의 프레임 이미지)를 억세스한다. 그리고 상기 버퍼240에서 억세스되는 캡쳐 이미지(즉, 카메라110의 이미지)는 역시 상기 전처리부210 및 후처리부230에서 각각 전처리 및 후처리되어 YUV 이미지로 변환되며, 역다중화부255를 통해 정지영상코덱260에 인가된다. 그러면 상기 정지영상코덱260은 상기 캡쳐이미지를 부호화하여 저장부130에 저장한다.

이때 상기 캡쳐 요구시, 상기 제어부100은 상기 다중화부250 및 역다중화부255를 시분할 제어하여 1프레임 구간에서 상기 표시이미지 및 캡쳐이미지가 처리될 수 있도록 이미지 처리 경로를 설정하여야 한다. 이런 경우, 상기 표시이미지 처리 주기는 상기 캡쳐이미지 처리 주기에서 상대적으로 짧게 설정한다. 또한 상기 전처리부210 및 후처리부230의 구성은 상기 제어부100의 제어하에 표시이미지 및 캡쳐이미지를 각각 다른 이미지 크기로 처리할 수 있도록 구성할 수 있다.

상기 도 2b와 같은 구성을 가지는 이미지처리부120은 카메라110의 이미지를 이미지스케일러220 및 버퍼240이 각각 입력하며, 전처리부210이 상기 다중화부250 및 후처리부230 사이에 연결되는 구성을 가진다. 그리고 상기 도 2b와 같은 구성을 가지는 이미지처리부120의 각 구성(전처리부, 후처리부, 이미지스케일러, 버퍼, 다중화부 및 역다중화부)의 동작은 상기 도 2a에서 설명된 것과 동일한 기능을 수행한다. 이때 상기 도 2a의 상기 전처리부210은 카메라 이미지만을 전처리하는데 반하여, 상기 도 2b의 전처리부210은 표시이미지 사이즈 및 캡쳐 이미지 사이즈의 이미지들을 모두 처리할 수 있다.

도 2c는 이미지처리부120의 또 다른 구성을 도시하는 도면이다. 상기 도 2c에 도시된 이미지처리부120은 카메라110에서 출력되는 이미지를 버퍼링하며, 상기 버퍼링된 이미지를 스케일링하며, 다중화부는 상기 스케일링된 이미지 또는 버퍼링된 이미지를 전처리 및 후처리하도록 다중화하는 구성을 가진다.

상기 도 2c를 참조하면, 버퍼240은 매 프레임 주기에서 상기 카메라110에서 출력되는 이미지를 버퍼링하며, 상기 제어부100의 제어하에 캡쳐모드에서 설정된 이미지를 출력한다. 이때 버퍼240은 설정된 수의 프레임 이미지들을 버퍼링할 수 있다. 이미지스케일러220은 상기 버퍼240에 버퍼링된 카메라110의 풀 해상도 이미지를 표시부140에 표시하기 위한 크기로 스케일링한다.

다중화부250은 상기 버퍼240 및 이미지스케일러220의 출력을 입력하며, 상기 제어부100의 제어하에 상기 이미지스케일러220에서 출력되는 표시이미지 및/또는 상기 버퍼240에서 버퍼링된 버퍼링된 카메라 이미지를 선택하여 출력한다. 전처리부210은 상기 다중화부250에서 출력되는 이미지를 전처리하는 기능을 수행한다. 후처리부230은 상기 전처리부210에서 출력되는 이미지를 후처리한다. 역다중화부255은 상기 제어부100의 제어하에 상기 후처리부230의 출력을 역다중화하여 출력한다. 이때 상기 역다중화부255은 프리뷰모드시 상기 후처리부230에서 출력되는 표시이미지를 상기 표시부140에 출력하며, 캡쳐모드시 상기 후처리부230에서 출력되는 캡쳐이미지를 정지영상코덱260에 출력한다. 상기 정지영상코덱260은 상기 역다중화부255에서 출력되는 캡쳐이미지를 압축부호화하여 저장부130에 저장한다.

상기 도 2c와 같은 구성을 가지는 이미지처리부120은 상기 카메라110에서 출력되는 이미지를 버퍼240에 버퍼링하며, 상기 이미지스케일러220이 상기 버퍼240에 버퍼링된 카메라110의 이미지를 스케일링하는 구성을 가진다. 이후의 구성은 상기 도 2b의 이미지처리부와 동일한 구성을 가지며, 동작도 동일하게 수행할 수 있다. 이때 상기 이미지스케일러220은 상기 카메라110에서 촬영되어 버퍼240에 버퍼링되는 이미지들 중에서 현재 프레임의 이미지(즉, 카메라110에서 촬영된 가장 최근의 프레임 이미지)를 입력하여 표시이미지로 스케일링할 수 있다.

도 2d는 이미지처리부120의 또 다른 구성을 도시하는 도면이다. 상기 도 2d에 도시된 이미지처리부120은 카메라110에서 출력되는 이미지를 버퍼링하며, 상기 버퍼링된 이미지를 전처리 및 스케일링하며, 다중화부는 상기 스케일링된 이미지 또는 버퍼링된 이미지를 후처리하도록 다중화하는 구성을 가진다.

상기 도 2d를 참조하면, 버퍼240은 상기 카메라110에서 출력되는 이미지를 버퍼링한다. 전처리부210은 상기 버퍼240에서 출력되는 카메라 이미지를 전처리한다. 이미지스케일러220은 상기 전처리부220에서 출력되는 카메라 이미지를 표시이미지로 스케일링한다. 다중화부250은 상기 제어부100의 제어하에 프리뷰모드시 상기 이미지스케일러220의 출력을 선택 출력하며, 캡쳐모드시 상기 전처리부210에서 전처리되는 카메라 이미지를 선택 출력한다. 후처리부230은 상기 다중화부250의 출력을 입력하며, 상기 제어부100의 제어하에 프리뷰모드시 전처리된 표시이미지를 후처리하며, 캡쳐모드시 전처리된 이미지를 후처리한다. 역다중화부255은 상기 제어부100의 제어하에 프리뷰모드시 상기 후처리부230에서 출력되는 표시이미지를 표시부140에 출력하며, 캡쳐모드시 상기 후처리부230에서 출력되는 이미지를 정지영상 코덱260에 출력한다. 상기 도 2d와 같은 구성은 상기 도 2c의 구성에서 버퍼240의 출력단에 전처리부210에 연결되고, 상기 이미지스케일러220은 전처리된 이미지를 표시이미지 사이즈로 스케일링하며, 다중화부250이 상기 제어부100의 제어하에 전처리된 표시이미지 및/또는 캡쳐 이미지를 다중화출력하는 구성 이외에 다른 구성은 상기 도 2c와 같은 이미지처리부의 구성과 동일하며, 그 동작도 동일하다.

도 4a - 도 4c는 상기 도 1에서 본 발명의 제2실시예에 따른 이미지처리부120의 또 다른 구성을 도시하는 도면이다. 상기 도 4a - 도 4c는 이미지처리부120에서 이미지를 처리할 때 동작클럭을 변경하여 이미지 처리속도를 가변하는 구성을 도시하고 있다. 도 5는 상기 도 4a - 도 4c와 같은 구성을 가지는 이미지처리부가 선택된 동작클럭에 따라 이미지를 처리하는 동작을 설명하기 위한 도면이다.

상기 도 4a 및 도 5를 참조하면, 전처리부210은 상기 카메라110으로부터 획득되는 이미지를 전처리한다. 그리고 상기 전처리된 이미지는 이미지스케일러220에 전달되어 표시이미지의 크기 및/또는 화소수로 스케일링된다. 이때 상기 이미지스케일러220은 상기한 바와 같이 리사이저 및/또는 평균화부로 구성될 수 있다. 그리고 상기 전처리부210에서 출력되는 카메라 이미지는 버퍼240에 인가되어 버퍼링된다.

여기서 상기 이미지처리장치 200에서 처리되는 이미지의 프레임율은 30fps 또는 그 이상의 프레임율을 가질 수 있다. 여기서 상기 이미지처리장치 200의 프레임율이 30fps라고 가정하면, 상기 표시이미지는 1초 당 30 프레임의 이미지로 생성된다. 이때 상기 표시이미지는 상기한 바와 같이 스케일링되지만 상기 캡쳐이미지는 카메라110의 풀 해상도 이미지로 처리된다. 이런 경우 프리뷰 모드에서는 저속으로 이미지를 처리하고, 캡쳐 모드에서 표시이미지 및 캡쳐이미지를 처리하기 위해 고속으로 처리하는 방법을 사용할 수 있다. 또한 표시이미지를 처리하는 프리뷰모드와, 표시 이미지 및 캡쳐이미지를 시분할하여 처리하는 캡쳐모드에서 모두 고속으로 이미지를 처리할 수도 있다.

클럭발생부400은 고속클럭을 발생하는 고속클럭발생부410과, 상기 고속클럭보다 낮은 저속클럭을 발생하는 저속클럭발생부420과, 제어부100의 제어하에 상기 고속클럭 또는 저속클럭을 선택하여 상기 캡쳐이미지처리시의 동작 클럭으로 공급하는 선택기430로 구성된다. 상기 버퍼240은 카메라110의 이미지를 버퍼링한다. 먼저 카메라110은 도 5의 511과 같이 수직동기신호 Vsync 단위로 한 프레임의 이미지를 생성하여 출력한다. 즉, 상기 수직동기신호 Vsync는 1프레임 주기가 된다. 상기, 프리뷰모드에서 표시이미지를 처리하기 위한 동작클럭을 저속클럭 또는 고속클럭으로 설정할 수 있다. 먼저 고속클럭을 선택하면, 상기 선택기430은 고속클럭발생부410의 출력을 선택하며, 상기 선택된 고속클럭은 버퍼240 및 후처리부230의 동작클럭으로 공급된다. 이때 상기 프리뷰모드에서 상기 제어부100은 다중화부250 및 역다중화부255를 제어하여 표시이미지를 처리하기 위한 경로를 설정하며, 이때 상기 버퍼240의 억세스 동작은 수행하지 않게된다. 그러면 상기 다중화부250은 이미지 스케일러220의 출력을 선택하며, 역다중화부255는 상기 후처리부230의 출력을 선택하여 표시부140에 출력하며, 이로인해 표시이미지 처리 경로가 설정된다. 상기 도 5의 511과 같은 주기로 상기 카메라110에서 출력되는 이미지는 전처리부210에서 전처리된 후, 이미지스케일러220에서 표시이미지 사이즈로 스케일링되며, 상기 표시이미지는 다중화부250을 통해 후처리부230으로 전달된다. 그러면 상기 후처리부230은 상기 표시이미지를 상기 고속클럭에 의해 도 5의 513과 같이 처리한 후 역다중화부255에 출력하며, 상기 역다중화부255는 상기 후처리된 표시이미지를 표시부140에 전달하여 표시되도록 한다.

상기와 같은 상태에서 캡쳐요구가 발생되면, 상기 제어부100은 먼저 프레임 주기의 시작부분(도 5의 521 프레임 구간)에서 먼저 다중화부250 및 역다중화부255를 제어하여 참조번호 551과 같이 표시이미지를 처리하기 위한 경로를 설정하며, 상기 클럭발생부400을 제어하여 상기 버퍼240 및 후처리부230에 고속클럭을 동작클럭으로 공급한다. 그러면 상기한 바와 같이 다중화부250 및 역다중화부255가 각각 표시이미지를 선택하고 처리된 표시이미지를 표시부140에 출력하는 표시이미지 처리 경로를 선택한다. 그러면 상기 전처리부210에서 전처리된 이미지는 이미지스케일러200에서 표시이미지 사이즈로 스케일링되고, 상기 표시이미지는 후처리부230에서 후처리된 후 표시부140에 출력되어 표시된다.

상기 표시이미지 처리후, 상기 제어부100은 프레임 나머지 주기(도 5의 521 프레임 구간)에서 상기 다중화부250 및 역다중화부255를 제어하여 참조번호 553과 같은 캡쳐이미지 처리 경로를 형성하고, 클럭발생부400에서 고속클럭을 선택하여 버퍼240 및 후처리부230의 동작클럭으로 공급한다. 또한 제어부100은 버퍼240에서 버퍼링된 카메라110의 이미지에서 설정된 이미지를 억세스한다. 이때 상기 버퍼240에서 억세스되는 이미지는 셔터지연을 고려한 이미지(즉, zero shutterlag image)가 될 수 있다. 상기 버퍼240에서 억세스되는 이미지는 다중화부250을 통해 후처리부230에 인가되어 상기 도 5의 553 구간에서 후처리되며, 상기 후처리되는 이미지는 역다중화부255에서 정지영상코덱260으로 인가된다. 그리고 상기 정지영상코덱260은 상기 후처리된 이미지를 부호화하며, 저장부130은 상기 정지영상코덱260에서 출력되는 켭쳐 이미지를 저장한다.

따라서 이미지 캡쳐가 요구되면, 상기 이미지처리부120은 1 프레임 구간에서 먼저 표시이미지 처리경로를 형성하여 표시이미지를 처리하고, 나머저 프레임 구간에서 캡쳐이미지 처리경로를 형성하여 캡쳐이미지를 처리한다.

두번째로 저속클럭을 선택하면, 상기 선택기430은 저속클럭발생부420의 출력을 선택하며, 상기 선택된 저속클럭은 후처리부230의 동작클럭으로 공급된다. 이때 표시이미지를 처리하는 프리뷰모드에서 상기 제어부100은 다중화부250 및 역다중화부255를 표시이미지 처리 경로로 설정하며, 상기 버퍼240의 억세스 동작은 수행하지 않게된다. 그러면 상기 도 5의 511과 같은 주기로 상기 카메라110에서 생성되는 프레임 이미지는 전처리부210 및 이미지스케일러220을 통해 전처리 및 표시이미지로 변환되며, 상기 표시이미지는 다중화부250을 통해 후처리부230으로 전달된다. 그리고 상기 후처리부230은 상기 저속클럭에 의해 도 5의 515와 같이 처리되어 역다중화부255에 인가되며, 상기 역다중화부255는 상기 후처리된 표시이미지를 표시부140에 출력한다. 즉, 상기 저속클럭이 선택되는 경우, 상기 이미지처리부120은 표시이미지 처리 경로를 형성하여 해당 프레임의 표시이미지를 도 5의 515와 같이 저속으로 처리한다. 이런 경우 표시이미지 처리시 전력 소모를 줄일 수 있다.

그리고 이미지 캡쳐요구가 발생되면, 상기 제어부100은 상기 선택기430을 제어하여 고속클럭발생부410의 출력을 선택하며, 상기 선택된 고속클럭은 버퍼240 및 후처리부230의 동작클럭으로 공급된다. 즉, 도 5의 521 구간의 프레임 주기에서 상기 제어부100은 선택기430을 제어하여 고속클럭을 이미지처리부120에 공급한다. 그리고 상기 제어부100은 참조번호 521의 프레임의 시작 구간에서 먼저 해당 프레임 주기에서 다중화부250 및 역다중화부255를 제어하여 551과 같이 표시이미지를 처리하기 위한 경로를 설정하고, 상기한 바와 같이 표시이미지를 도 5의 551과 같이 같이 고속으로 처리한다. 이후 해당 프레임의 남아있는 주기(즉, 도 5의 프레임 구간 521에서 553 구간)에서 상기 제어부100은 상기 다중화부250 및 역다중화부255를 제어하여 캡쳐이미지를 처리하기 위한 경로를 형성하고, 상기 버퍼240에서 셔터지연을 고려한 제로 셔터렉의 프레임이미지를 억세스하여 출력한다. 그러면 상기 버퍼240에서 억세스되는 이미지는 다중화부250을 통해 후처리부230에 인가되어 도 5의 521 구간에서 553과 같이 후처리되며, 상기 후처리되는 이미지는 역다중화부255에서 정지영상코덱260으로 인가된다. 그리고 상기 정지영상코덱260은 상기 후처리된 이미지를 부호화하여 캡쳐 이미지로 상기 저장부130에 저장한다. 따라서 상기 캡쳐 요구시 상기 이미지처리장치 200의 동작클럭은 저속클럭에서 고속클럭으로 전환되고, 캡쳐 이미지를 처리하는 프레임 구간에서 먼저 표시이미지 처리경로를 형성하여 고속으로 표시이미지를 처리하고, 나머저 프레임 구간에서 캡쳐이미지 처리경로를 형성하여 고속으로 캡쳐이미지를 처리한다.

상기 도4b 및 도 5를 참조하면, 상기 카메라110의 이미지는 각각 이미지스케일러220 및 버퍼240에 입력된다. 그러면 상기 버퍼240은 상기 카메라110의 이미지를 버퍼링하며, 이미지스케일러220은 상기 카메라110의 이미지를 표시이미지 사이즈로 스케일링한다. 여기서 상기 이미지스케일러220은 상기한 바와 같이 리사이저 및/또는 평균화부로 구성될 수 있다. 또한 상기 클럭발생부400은 저속클럭 또는 고속클럭을 발생하여 버퍼240, 전처리부210 및 후처리부230의 동작클럭으로 공급한다.

이때 표시이미지를 처리하는 프리뷰 모드이면, 제어부100은 다중화부250 및 역다중화부255를 제어하여 표시이미지 처리 경로를 설정한다. 상기 표시이미지 처리 경로가 설정되면, 상기 다중화부250은 상기 이미지스케일러220에서 생성되는 표시이미지를 선택하여 전처리부210에 출력하며, 역다중화부255는 상기 후처리부230의 출력을 선택하여 표시부140에 출력한다. 이때 고속클럭이 상기 전처리부210 및 후처리부230의 동작클럭으로 공급되면, 전처리부210 및 후처리부230은 각각 도 5의 513과 같이 해당 프레임 구간의 일부 구간에서 상기 이미지스케일러220에서 생성되는 표시이미지를 전처리 및 후처리하며, 상기와 같은 처리된 표시이미지는 표시부140에서 표시된다. 이때 저속클럭이 상기 전처리부210 및 후처리부230의 동작클럭으로 공급되면, 전처리부210 및 후처리부230은 각각 도 5의 515와 같이 해당 프레임 구간에서 상기 이미지스케일러220에서 생성되는 표시이미지를 전처리 및 후처리하며, 상기와 같은 처리된 표시이미지는 표시부140에서 표시된다.

또한 도 5의 521 프레임 구간에서 이미지 캡쳐 요구가 발생되면, 상기 제어부100은 클럭발생부400을 제어하여 고속클럭을 상기 버퍼240, 전처리부210 및 후처리부230의 동작클럭으로 공급한다. 그리고 프레임 구간 521의 시작 부분에서 상기 다중화부250 및 역다중화부255를 제어하여 표시이미지 처리 경로를 설정한다. 그러면 다중화부250은 상기 이미지스케일러200에 처리되는 현재 프레임의 표시이미지를 선택하여 전처리부210에 출력하며, 상기 전처리부210 및 후처리부230은 도 5의 551과 같은 구간에서 표시이미지를 처리하며, 상기 표시이미지는 역다중화부255를 통해 표시부140에 표시된다. 이후 상기 제어부100은 프레임 521의 나머지 구간 553에서 캡쳐 이미지 처리 경로를 설정하며, 버퍼240에서 설정된 프레임 이미지(예를들면 제로 셔터렉을 가지는 이미지)를 억세스하여 출력한다. 그러면 상기 다중화부250은 상기 버퍼240의 출력을 선택하여 상기 전처리부210에 출력하며, 상기 전처리부210 및 후처리부230에서 처리되는 캡쳐 이미지는 역다중화부255를 통해 정지영상 코덱260에 출력한다. 그러면 상기 정지영상 코덱은 상기 캡쳐 이미지를 압축 부호화하여 저장부130에 저장한다. 상기한 바와 같이 캡쳐 이미지 처리시, 상기 이미지처리부120은 프레임 구간에서 현재 프레임의 표시이미지 및 설정된 프레임캡쳐이미지(예를들면 제로 셔터렉을 가지는 카메라 이미지)를 시분할 처리한다. 따라서 이미지 캡쳐 요구시 이미지처리부120은 카메라110에서 현재 프레임의 표시이미지를 생성하여 표시부140을 통해 표시하는 동시에 버퍼240에 버퍼링된 카메라 이미지들 중에서 설정된 제로 셔터렉을 가지는 이미지 또는 사용자에 의해 선택되는 이미지를 압축부호화하여 저장부130에 저장한다.

상기 도 4c를 참조하면, 클럭발생부400은 고속클럭410 및 저속클럭420를 생성하며, 상기 제어부100의 제어하에 고속클럭 또는 저속클럭을 상기 버퍼240, 전처리부210 및 후처리부230의 동작 클럭으로 공급한다. 버퍼240은 상기 카메라110에서 출력되는 이미지를 버퍼링한다. 이미지스케일러220은 상기 버퍼240에서 출력되는 현재 프레임의 카메라 이미지를 표시이미지로 스케일링한다. 다중화부250은 상기 제어부100의 제어하에 표시이미지를 처리하는 프리뷰모드시 상기 이미지스케일러220의 출력을 선택 출력하며, 카메라110의 이미지를 캡쳐하는 캡쳐모드시 1프레임 구간에서 상기 이미지스케일러220에서 출력되는 표시이미지 및 상기 버퍼240에서 출력되는 캡쳐 이미지를 시분할 선택하여 순차적으로 출력한다. 전처리부210은 상기 제어부100의 제어하에 다중화부250에서 시분할되어 출력되는 표시이미지 및 캡쳐 이미지를 전처리한다. 후처리부230은 상기 제어부100의 제어하에 상기 전처리된 표시이미지 및 캡쳐 이미지를 후처리한다. 역다중화부255은 상기 제어부100의 제어하에 프리뷰모드시 상기 후처리부230에서 출력되는 표시이미지를 표시부140에 출력하며, 캡쳐모드시 상기 후처리부230에서 출력되는 표시이미지 및 캡쳐 이미지를 시분할 선택하여 각각 표시부140 및 정지영상 코덱260에 순차적으로 출력한다.

여기서 상기 이미지처리부120은 프리뷰 모드에서 상기 표시이미지를 저속으로 처리하고, 캡쳐 모드에서 표시이미지 및 캡쳐이미지를 고속으로 처리할 수 있다. 또한 상기 이미지처리부120은 상기 카메라 이미지를 프리뷰모드 및 캡쳐모드에서 모두 고속으로 처리할 수도 있다.

표시이미지를 처리하는 프리뷰 모드이면, 상기 제어부100의 제어하에 버퍼240은 상기 카메라 이미지를 버퍼링하며, 이미지 스케일러220은 상기 버퍼240에서 현재 프레임의 카메라 이미지를 표시이미지로 스케일링하여 출력하다. 또한 제어부100은 다중화부250 및 역다중화부255를 제어하여 표시이미지 처리 경로를 설정한다. 상기 표시이미지 처리 경로가 설정되면, 상기 다중화부250은 상기 이미지스케일러220에서 생성되는 표시이미지를 선택하여 전처리부210에 출력하며, 역다중화부255는 상기 후처리부230의 출력을 선택하여 표시부140에 출력한다. 이때 고속클럭이 상기 전처리부210 및 후처리부230의 동작클럭으로 공급되면, 전처리부210 및 후처리부230은 각각 도 5의 513과 같이 해당 프레임 구간의 일부 구간에서 상기 이미지스케일러220에서 생성되는 표시이미지를 전처리 및 후처리하며, 상기와 같은 처리된 표시이미지는 표시부140에서 표시된다. 또한 저속클럭이 상기 전처리부210 및 후처리부230의 동작클럭으로 공급되면, 전처리부210 및 후처리부230은 각각 도 5의 515와 같이 해당 프레임 구간에서 상기 이미지스케일러220에서 생성되는 표시이미지를 전처리 및 후처리하며, 상기와 같은 처리된 표시이미지는 표시부140에서 표시된다.

또한 도 5의 521 프레임 구간에서 이미지 캡쳐 요구가 발생되면, 상기 제어부100은 클럭발생부400을 제어하여 고속클럭을 상기 버퍼240, 전처리부210 및 후처리부230의 동작클럭으로 공급한다. 그리고 프레임 구간 521의 시작 부분에서 상기 다중화부250 및 역다중화부255를 제어하여 표시이미지 처리 경로를 설정한다. 그러면 다중화부250은 상기 이미지스케일러240에 처리되는 현재 프레임의 표시이미지를 선택하여 전처리부210에 출력하며, 상기 전처리부210 및 후처리부230은 도 5의 551과 같은 구간에서 표시이미지를 처리하며, 상기 표시이미지는 역다중화부255를 통해 표시부140에 표시된다. 이후 상기 제어부100은 프레임 521의 나머지 구간 553에서 캡쳐 이미지 처리 경로를 설정하며, 버퍼240에서 설정된 프레임의 카메라 이미지(예를들면 제로 셔터렉을 가지는 이미지)를 억세스하여 출력한다. 그러면 상기 다중화부250은 상기 버퍼240의 출력을 선택하여 상기 전처리부210에 출력하며, 상기 전처리부210 및 후처리부230에서 처리되는 캡쳐 이미지는 역다중화부255를 통해 정지영상 코덱260에 출력한다. 그러면 상기 정지영상 코덱은 상기 캡쳐 이미지를 압축 부호화하여 저장부130에 저장한다.

또한 도시하지 않았지만, 상기 이미지처리부120은 도 4c에서 상기 버퍼240의 출력이 전처리부210에 연결되고, 전처리부240 및 버퍼240의 출력이 다중화부250에 연결되며, 다중화부240의 출력이 이미지스케일러220에 연결되고, 상기 이미지스케일러240의 출력이 후처리부230에 연결되는 구성을 가질 수 있다.

도 6a - 도 6c는 상기 도 1에서 본 발명의 실시예에 따른 이미지처리부120의 또 다른 구성을 도시하는 도면이다. 상기 도 6a - 도 6c는 이미지처리부120에서 캡쳐이미지를 생성할 때 프레임 이미지를 분할하여 처리하고, 이후 분할된 이미지들을 결합하여 캡처 이미지로 생성하는 실시예들을 도시하고 있다. 도 7a - 도 7c는 상기 도 6a - 도 6c의 이미지처리 동작을 설명하기 위한 도면이다.

상기 도 6a 및 도 7a - 도 7c를 참조하면, 전처리부210은 상기 카메라110으로부터 획득되는 이미지를 전처리한다. 그리고 상기 전처리된 이미지는 이미지스케일러220에 전달되어 표시이미지의 크기 및/또는 화소수로 스케일링된다. 이때 상기 이미지스케일러220은 리사이저 및/또는 평균화부로 구성될 수 있다. 그리고 상기 표시이미지를 처리하는 프리뷰모드에서 상기 제어부100은 상기 다중화부250 및 역다중화부255를 제어하여 상기 이미지스케일러220의 출력이 표시부140에 전달되는 표시 이미지 경로를 설정한다. 그러면 상기 다중화부250은 이미지스케일러220에서 출력되는 표시이미지를 후처리부230에 전달한다. 그리고 상기 후처리부230은 상기 이미지 스케일러220에서 표시이미지 크기(또는 화소수)로 스케일링된 이미지를 색보간, IPC 처리 및 이미지 변환 동작을 수행한다. 그리고 상기 역다중화부255는 상기 후처리된 표시이미지를 표시부140에 전달하며, 표시부140은 상기 표시이미지를 표시한다. 그리고 상기 프리뷰 모드를 수행하는 상태에서 상기 전처리부210에서 출력되는 카메라 이미지는 버퍼240에 인가되어 버퍼링된다. 이때 상기 프리뷰 상태에서 상기 제어부100은 버퍼240에 버퍼링된 이미지 처리 동작을 수행하지 않으므로서 프리뷰 모드에서의 동작 전원을 절약할 수 있게 된다.

상기와 같은 상태에서 캡쳐 요구가 발생되면, 상기 제어부100은 캡쳐 이미지 프레임 구간에서 표시이미지 및 캡쳐이미지를 처리하기 위하여 상기 다중화부250 및 역다중화부255를 시분할 제어한다. 그러면 상기 다중화부250 및 역다중화부255는 상기 제어부100의 시분할 제어에 의해 먼저 표시이미지를 선택하고 이후 프레임의 나머지 구간에서 상기 캡쳐이미지를 선택한다. 여기서 상기 캡쳐 이미지 처리 구간은 상기 표시이미지 처리 구간보다 길게 설정될 수 있다. 그리고 상기 표시이미지 처리 구간에서는 이미지스케일러220, 다중화부250, 후처리부230 및 역다중화부255를 경유하는 표시이미지가 표시부140에 출력되어 표시되며, 캡쳐이미지 처리 구간에서는 버퍼240, 다중화부250, 후처리부230, 역다중화부255를 경유하는 캡쳐이미지가 가산부600에 인가된다.

상기 캡쳐이미지 프레임에서의 이미지 처리 동작을 살펴보면, 상기 제어부100은 이미지처리부120을 시분할제어하여 표시이미지 및 캡쳐이미지를 처리한다. 먼저 상기 제어부100은 표시이미지 처리 경로를 형성하며, 이로인해 전처리부210에서 전처리된 카메라 이미지는 버퍼240에 버퍼링되는 동시에 이미지스케일러220에서 표시이미지로 스케일링된다. 그리고 상기 표시이미지는 다중화부250에 의해 후처리부230에 인가되며, 상기 후처리부230에서 후처리된 표시이미지는 역다중화부255를 통해 표시부140에 인가되어 표시된다. 상기와 같은 표시 이미지 처리 절차는 상기 프리뷰 모드에서의 절차와 동일한 방법으로 수행된다. 이후 상기 제어부100은 캡쳐 프레임의 나머지 구간에서 캡쳐 이미지를 처리한다.

상기 캡쳐 이미지 처리 구간에서 상기 제어부100은 상기 버퍼240에서 설정된 프레임의 카메라 이미지를 캡쳐 이미지로 억세스한다. 여기서 상기 캡쳐 이미지는 셔터렉을 고려하여 상기 버퍼240에 버퍼링된 프레임 이미지들 중에서 셔터지연을 보상하는 카메라 이미지가 될 수 있다. 이때 상기 선택되는 카메라이미지는 도 7a와 같은 구성을 가질 수 있다. 상기 도 7a는 카메라 이미지의 한 예로써 m*y 크기를 가지는 프레임 이미지의 구성예이며, m=2n, y=2x인 경우를 가정하고 있다. 상기 제어부100은는 캡쳐 이미지를 처리할 때 상기 버퍼240에 저장된 캡쳐 이미지를 리드할 때 설정된 블록 크기로 분할하여 리드하고, 상기 분할된 이미지(tile image)는 다중화부250을 통해 후처리부230에 인가된다. 그러면 상기 후처리부230은 상기 분할 이미지를 후처리하며, 역다중화부255는 상기 후처리된 분할 이미지를 가산부600에 출력한다. 그러면 상기 가산부600에서 상기 분할이미지(tile image)들을 더하여 하나의 프레임 이미지로 재생성한다. 상기와 같이 카메라 이미지를 분할하여 후처리하는 이유는 상기 후처리부250의 게이트 수를 감소시켜 하드웨어 구성 및 전원 소모를 줄이기 위함이다. 또한 상기와 같이 카메라 이미지를 분할하여 이미지 처리하는 이유는 상기 카메라 이미지의 사이즈가 커서(즉, 고화소의 이미지) 1프레임 구간에서 표시이미지 및 카메라 이미지를 동시에 처리할 수 없는 경우에도 유용하게 사용될 수 있다.

먼저 상기 도 7a와 같은 카메라 이미지를 2분할하여 프레임 이미지를 2분할하여 후처리하는 동작을 살펴본다. 상기 도 7a와 같은 크기를 가지는 카메라 이미지를 2분할하는 경우, 상기 2분할된 이미지는 각각 n*y 크기를 가지며, 이때 분할 이미지는 (1)-(n), (n+1)-(m) 라인으로 분할할 수 있다. 그러나 상기 프레임 이미지를 후처리할 때 인접화소를 이용하여 색보간 및 IPC 처리 기능을 수행하므로, 상기 버퍼240에서 프레임 이미지를 분할할 때 상기 도 7b의 710 및 720과 같이 각각 (1)-(n+a), (n-a+1)-(m)으로 분할하며, 후처리부 처리 형식에 따라 a의 값은 달라진다. 여기서 상기 a는 중복되는 라인의 수이며, 본 발명의 실시예에서는 a=1인 경우로 가정한다. 상기 제어부100은 상기 도 7b의 710과 같은 첫번째 분할 이미지를 리드하여 다중화부250을 통해 후처리부230에 인가하며, 상기 후처리부230은 상기와 같은 분할된 이미지를 후처리하며, 상기 후처리된 분할 프레임 이미지는 역다중화부255를 통해 가산부600에 인가한다. 이후 상기 제어부100은 상기 도 7b의 720과 같은 두번째 분할 이미지를 리드하여 다중화부250을 통해 후처리부250에 전달하며, 상기 후처리부250은 전달되는 분할된 이미지를 처리하며, 상기 후처리된 분할 이미지는 역다중화부255를 통해 상기 가산부600에 전달한다. 상기 도 7a와 같은 카메라 이미지를 도 7b의 710 및 720과 같은두개의 분할 이미지로 전송하는 경우, 상기 분할 이미지들은 하나의 프레임 구간에서 전송될 수 있으며, 또한 분할이미지의 프레임 수 만큼 나누어 전송할 수 있다. 이때 후자의 경우, 상기 2개의 분할 이미지들은 2프레임 구간에서 처리된다. 따라서 상기 가산부600은 2개의 프레임 구간에서 수신되는 두개의 분할 이미지들을 가산하여 하나의 프레임 이미지로 생성한다.

이때 상기 역다중화부255를 통해 전달되는 분할 이미지는 후처리시 인접화소의 정보를 이용하기 위하여 인접화소들을 더 포함하고 있으므로(도 7b의 710의 경우에는 n+1 라인의 화소들, 도 7b의 720의 경우에는 n 라인의 화소들), 해당 라인의 화소들을 제거한 후 가산하여야 한다. 따라서 상기 가산부600은 상기 도 7b의 710과 같이 후처리된 분할 이미지들을 수신하는 경우 n+1 라인의 화소들을 제거하고, 또한 상기 도 7b의 720과 같이 후처리된 분할 이미지들을 수신하는 경우 n 라인의 화소들을 제거한 후, 이들 분할된 이미지들을 가산하여 프레임 이미지를 재생성한다. 이후 상기 가산부600에서 출력되는 프레임 이미지는 정지영상코덱260에 인가되어 정지이미지로 압축 부호화되며, 상기 정지영상 코덱260에서 출력되는 이미지는 저장부130에 캡쳐 이미지로 저장된다.

두번째로 상기 프레임 이미지를 4분할하여 후처리하는 동작을 살펴본다. 상기 도 7a와 같은 크기를 가지는 프레임 이미지를 4분할하는 경우, 상기 4분할된 이미지는 각각 n*x 크기를 가지며, 4분할된 분할 이미지들은 {(1)-(n), (1)-(x); {(n+1)-(m), (1)-(x); (1)-(n), (x+1)-(y); {(n+1)-(m), (x+1)-(y)}이 될 수 있다

그러나 상기 프레임 이미지를 후처리할 때 인접화소를 이용하여 색보간 및 IPC 처리 기능을 수행하므로, 상기 버퍼240에서 프레임 이미지를 분할할 때 상기 도 7c의 750-780과 같이 각각 {(1)-(n+1), (1)-(x+1); {(n)-(m), (1)-(x+1); (1)-(n+1), (x)-(y); {(n)-(m), (x)-(y)}로 분할한다. 이후 상기 제어부100은 상기 도 7c의 750과 같은 분할된 이미지를 리드하여 다중화부250을 통해 후처리부250에 인가하며, 상기 후처리부250은 상기와 같은 분할된 이미지를 후처리하며, 상기 후처리된 분할 프레임 이미지는 역다중화부255를 통해 가산부600에 인가된다. 상기와 같은 방법으로 상기 제어부100은 상기 도 7c의 760 - 780과 같은 분할된 이미지를 순차적으로 리드하여 후처리부250에 전달하며, 상기 후처리부250은 순차적으로 전달되는 분할된 이미지를 처리하여 상기 가산부600에 전달한다. 상기 도 7 a와 같은 1 프레임 이미지를 도 7c와 같이 4분할 이미지로 처리하는 경우, 상기 분할 이미지들을 4프레임 구간에서 처리된다. 따라서 상기 가산부600은 4 프레임 구간에서 수신되는 4개의 분할 프레임이미지들을 가산하여 하나의 프레임이미지로 생성한다.

이때 전달되는 분할된 이미지는 후처리시 인접화소의 정보를 이용하기 위하여 인접화소들을 더 포함하고 있으므로(도 7b의 750의 경우에는 n+1, x+1, 라인의 화소들, 760의 경우에는 n, x+1 라인의 화소들, 770의 경우 n, x+1 라인의 화소들, 780의 경우 n, x라인의 화소들), 해당 라인의 화소들을 제거한 후 가산하여야 한다. 따라서 상기 가산부600은 상기 도 7c의 750-780과 같은 후처리된 분할 이미지들을 수신하는 경우 해당 분할이미지 영역의 인접화소 라인들의 화소들을 제거한 후, 이들 분할된 이미지들을 가산하여 프레임 이미지를 재생성한다. 이후 상기 가산부600에서 출력되는 프레임 이미지는 정지영상코덱260에 인가되어 정지이미지로 압축 부호화되며, 상기 정지영상 코덱260에서 출력되는 이미지는 저장부130에 캡쳐 이미지로 저장된다.

상기한 바와 같이 도 7b와 같이 프레임 이미지를 2분할하여 처리하는 경우에는 상기 후처리부230은 1/2 크기의 카메라 이미지들을 처리하면 되며, 도 7c와 같이 프레임 이미지를 4분할하여 처리하는 경우에는 상기 후처리부230은 1/4 크기의 카메라 이미지들을 처리하면 된다. 따라서 카메라110의 이미지를 설정된 크기로 분할하여 처리하므로, 상기 캡쳐이미지처리를 위한 후처리부230의 로직 게이트 수를 대폭 줄일 수 있으며, 이로인해 전력소모도 줄일 수 있게 된다.

도 6b는 이미지처리부120에서 캡쳐이미지를 생성할 때 카메라 이미지를 분할하여 전처리 및 후처리하고, 이후 이미지 처리된 분할 이미지들을 결합하여 캡처 이미지로 생성하는 예를 도시하고 있다

상기 도 6b와 같은 구성을 가지는 이미지처리부120의 구성 및 동작을 살펴보면, 상기 카메라110의 이미지는 각각 이미지스케일러220 및 버퍼240에 입력된다. 그러면 상기 버퍼240은 상기 카메라110의 이미지를 버퍼링하며, 이미지스케일러220은 상기 카메라110의 이미지를 표시이미지 사이즈로 스케일링한다. 여기서 상기 이미지스케일러240은 상기한 바와 같이 리사이저 및/또는 평균화부로 구성될 수 있다.

이때 표시이미지를 처리하는 프리뷰 모드이면, 제어부100은 다중화부250 및 역다중화부255를 제어하여 표시이미지 처리 경로를 설정한다. 상기 표시이미지 처리 경로가 설정되면, 상기 다중화부250은 상기 이미지스케일러220에서 생성되는 표시이미지를 선택하여 전처리부210에 출력하며, 역다중화부255는 상기 후처리부230의 출력을 선택하여 표시부140에 출력한다. 그리고 상기 전처리부210 및 후처리부230은 상기 표시이미지를 전처리 및 후처리하며, 상기와 같은 처리된 표시이미지는 표시부140에서 표시된다.

상기와 같은 상태에서 캡쳐 요구가 발생되면, 상기 제어부100은 캡쳐 이미지 프레임 구간에서 표시이미지 및 캡쳐이미지를 처리하기 위하여 상기 다중화부250 및 역다중화부255를 시분할 제어한다. 그러면 상기 다중화부250 및 역다중화부255는 상기 제어부100의 시분할 제어에 의해 먼저 표시이미지를 선택하고 이후 프레임의 나머지 구간에서 상기 캡쳐이미지를 선택한다. 여기서 상기 캡쳐 이미지 처리 구간은 상기 표시이미지 처리 구간보다 길게 설정될 수 있다. 그리고 상기 표시이미지 처리 구간에서 이미지스케일러220에서 출력되는 표시이미지는 다중화부250, 전처리부210, 후처리부230 및 역다중화부255를 통해 표시부140에 출력되어 표시된다. 그리고 캡쳐이미지 처리 구간에서 버퍼240에서 분할되어 억세스되는 분할이미지는 다중화부250, 전처리부210, 후처리부230 및 역다중화부255를 통해 가산부600에 인가된다. 즉, 상기 도 6a에서 설명된 바와 같이 캡쳐 이미지처리시 상기 7a와 같은 카메라 이미지는 상기 버퍼240에서 상기 도 7b 또는 도 7c와 같이 분할되어 억세스되며, 상기 분할 이미지는 전처리부210 및 후처리부230에서 각각 전처리 및 후처리되어 가산부600에 인가된다. 그러면 상기 가산부600은 이미지 처리된 상기 분할 이미지들을 가산하여 프레임 이미지로 생성하며, 정지영상코덱260은 상기 가산부600에서 가산된 1프레임의 카메라 이미지를 압축부호화하며, 상기 부호화된 카메라 이미지는 저장부130에 저장된다. 이때 상기 이미지처리부120에서 캡쳐 이미지 처리시 카메라 이미지를 분할 및 가산하는 동작은 상기 도 6a에서 설명된 방법으로 수행할 수 있다.

상기 도 6c를 참조하면, 버퍼240은 상기 카메라110에서 출력되는 이미지를 버퍼링한다. 또한 상기 제어부100은 캡쳐 모드시 상기 버퍼240에서 선택된 프레임의 카메라 이미지를 설정된 크기로 분할 억세스하여 출력한다. 이미지스케일러220은 상기 버퍼240에서 출력되는 현재 프레임의 카메라 이미지를 표시이미지로 스케일링한다. 다중화부250은 상기 제어부100의 제어하에 표시이미지를 처리하는 프리뷰모드시 상기 이미지스케일러220의 출력을 선택 출력하며, 카메라110의 이미지를 캡쳐하는 캡쳐모드시 1프레임 구간에서 상기 이미지스케일러220에서 출력되는 표시이미지 및 상기 버퍼240에서 출력되는 카메라 이미지의 분할 이미지를 시분할 선택하여 순차적으로 출력한다. 전처리부210은 상기 제어부100의 제어하에 다중화부250에서 시분할되어 출력되는 표시이미지 및 분할 이미지를 전처리한다. 후처리부230은 상기 제어부100의 제어하에 상기 전처리된 표시이미지 및 분할 이미지를 후처리한다. 역다중화부255은 상기 제어부100의 제어하에 프리뷰모드시 상기 후처리부230에서 출력되는 표시이미지를 표시부140에 출력하며, 캡쳐모드시 상기 후처리부230에서 출력되는 표시이미지 및 분할 이미지를 시분할 선택하여 각각 표시부140 및 가산부600에 순차적으로 출력한다. 가산부600은 상기 분할 이미지를 가산하여 1프레임의 카메라 이미지를 생성하며, 정지영상코덱260은 상기 가산부600에서 출력되는 카메라 이미지를 압축부호화하여 저장부130에 저장한다.

표시이미지를 처리하는 프리뷰 모드에서 상기 버퍼240은 상기 제어부100의 제어하에 상기 카메라 이미지를 버퍼링하며, 이미지 스케일러220은 상기 버퍼240에서 현재 프레임의 카메라 이미지를 표시이미지로 스케일링하여 출력한다. 또한 제어부100은 다중화부250 및 역다중화부255를 제어하여 표시이미지 처리 경로를 설정한다. 상기 표시이미지 처리 경로가 설정되면, 상기 다중화부250은 상기 이미지스케일러220에서 생성되는 표시이미지를 선택하여 전처리부210에 출력하며, 역다중화부255는 상기 후처리부230의 출력을 선택하여 표시부140에 출력한다.

또한 카메라 이미지 캡쳐 요구가 발생되면, 상기 제어부100은 상기 다중화부250 및 역다중화부255를 제어하여 표시이미지 처리 경로를 설정한다. 그러면 다중화부250은 상기 이미지스케일러240에 처리되는 현재 프레임의 표시이미지를 선택하여 전처리부210에 출력하며, 상기 전처리부210 및 후처리부230은 표시이미지를 처리하며, 상기 표시이미지는 역다중화부255를 통해 표시부140에 표시된다. 이후 상기 제어부100은 다중화부250 및 역다중화부255를 제어하여 캡쳐 이미지 처리 경로를 설정하며, 버퍼240에서 설정된 프레임(예를들면 제로 셔터렉을 가지는 이미지)의 카메라 이미지에서 설정된 크기의 분할이미지를 억세스하여 출력한다. 그러면 상기 다중화부250은 상기 버퍼240에서 출력되는 분할이미지를 전처리부210에 출력하며, 상기 전처리부210 및 후처리부230에서 처리되는 분할 이미지는 역다중화부255를 통해 가산부600에 인가된다. 상기와 같은 캡쳐 이미지의 처리 동작은 1프레임의 카메라이미지에서 분할되는 이미지의 수(즉, 분할 이미지의 수)만큼 반복 수행되며, 분할이미지들의 처리 완료시 상기 가산부600은 1프레임의 카메라 이미지를 생성하여 정지영상 코덱260에 출력한다. 그러면 상기 정지영상 코덱260은 상기 가산된 캡쳐용 카메라 이미지를 압축 부호화하여 저장부130에 저장한다. 이때 카메라 이미지를 분할하여 이미지 처리한 후 가산하는 동작은 상기 도 6a 및 도 7a - 도 7c에서 설명된 방법과 같다. 또한 도시하지 않았지만, 상기 이미지처리부120은 상기 도 6c에서 버퍼240의 출력이 전처리부210에 연결되고, 전처리부210 및 버퍼240의 출력이 다중화부250에 연결되며, 다중화부240의 출력이 이미지스케일러220에 연결되고, 상기 이미지스케일러240의 출력이 후처리부230에 연결되는 구성을 가질 수 있다.

상기 도 6a - 도 6c와 같은 구성을 가지는 이미지처리부120은 캡쳐 요구시 설정된 프레임의 카메라 이미지를 분할하여 처리한다. 이는 이미지처리부120의 하드웨어 구성을 간략화(즉, 전처리부210 및/또는 후처리부230의 게이트 수를 감소시킴) 하고, 또한 이미지처리부120의 전원 소모를 줄이기 위함이다. 또한 상기와 같이 카메라 이미지를 분할하여 이미지 처리(전처리 및/또는 후처리)하는 이유는 상기 카메라 이미지의 사이즈가 커서(즉, 고화소의 이미지) 1프레임 구간에서 표시이미지 및 카메라 이미지를 동시에 처리할 수 없는 경우에도 유용하게 사용될 수 있다. 즉, 캡쳐를 위한 카메라 이미지를 분할하여 처리하므로써, 카메라 이미지가 대용량 및 고화소의 이미지인 경우에도 안정되게 캡쳐할 수 있다.

도 8a - 도 8c는 상기 도 1에서 본 발명의 실시예에 따른 이미지처리부120의 또 다른 구성을 도시하는 도면이다. 상기 도 8a - 도 8c는 이미지처리부120이 복수의 동작 클럭들을 사용하며, 캡쳐이미지를 생성할 때 프레임 이미지를 분할하여 처리하고, 이후 분할된 이미지들을 결합하여 캡처 이미지로 생성하는 실시예들을 도시하고 있다. 그리고 도 9는 상기 도 8a - 도 8c와 같은 구성을 가지는 이미지처리부120 동작을 설명하기 위한 도면이다. 또한 상기 도 7a - 도 7c에 도시된 바와 같이 캡쳐 이미지 처리시 1프레임의 카메라 이미지를 설정된 크기의 이미지로 분할하고, 분할 이미지를 처리하며, 처리된 분할 이미지들을 가산하여 캡쳐 이미지로 처리한다.

상기 도 8a, 도 7a - 도 7c 및 도 9를 참조하면, 전처리부210은 상기 카메라110으로부터 획득되는 이미지를 전처리한다. 그리고 상기 전처리된 이미지는 이미지스케일러220에 전달되어 표시이미지의 크기 및/또는 화소수로 스케일링된다. 이때 상기 이미지스케일러220은 리사이저 및/또는 평균화부로 구성될 수 있다. 그리고 상기 프리뷰 모드를 수행하는 상태에서 상기 전처리부210에서 출력되는 이미지는 버퍼240에 인가되어 버퍼링된다. 이때 상기 프리뷰 상태에서 후처리부230 및 정지영상코덱260은 구동되지 않으며, 따라서 프리뷰 모드에서의 동작 소모전력을 절약할 수 있게 된다.

클럭발생부400는 고속클럭발생부410과, 상기 고속클럭보다 낮은 저속클럭을 발생하는 저속클럭발생부420과, 제어부100의 제어하에 상기 고속클럭발생부410 또는 저속클럭발생부420의 출력을 선택하여 상기 이미지처리부120의 동작 클럭으로 공급하는 선택부430로 구성된다. 먼저 카메라110은 도 9의 911과 같이 수직동기신호 Vsync 단위로 한 프레임의 이미지를 생성하여 출력한다. 즉, 상기 수직동기신호 Vsync는 1프레임 주기가 된다. 이런경우, 프리뷰모드에서 상기 이미지처리부120은 저속클럭 또는 고속클럭을 동작클럭으로 사용할 수 있다. 먼저 고속클럭을 선택하면, 상기 선택부430은 고속클럭발생부410의 출력을 선택하며, 상기 선택된 고속클럭은 버퍼240 및 후처리부230의 동작클럭으로 공급된다. 이때 상기 프리뷰모드에서 상기 제어부100은 다중화부250 및 역다중화부255를 표시이미지 처리 경로로 설정하며, 상기 버퍼240의 억세스 동작은 수행하지 않게된다. 그러면 상기 도 9의 911과 같은 주기로 상기 카메라110에서 생성되는 프레임 이미지는 전처리부210 및 이미지스케일러220을 통해 전처리 및 표시이미지로 변환되며, 상기 표시이미지는 다중화부250을 통해 후처리부230으로 전달된다. 그러면 상기 후처리부230은 상기 고속클럭에 의해 도 9의 913과 같이 처리되어 역다중화부255에 인가되며, 상기 역다중화부255는 상기 후처리된 표시이미지를 표시부140에 전달하여 표시되도록 한다. 두번째로 저속클럭이 선택되면, 상기 선택부430은 저속클럭을 버퍼240 및 후처리부230의 동작클럭으로 공급한다. 그러면 상기 후처리부230은 상기 고속클럭에 의해 도 9의 915과 같이 처리되어 역다중화부255에 인가되며, 상기 역다중화부255는 상기 후처리된 표시이미지를 표시부140에 전달하여 표시되도록 한다.

상기와 같은 상태에서 캡쳐요구가 발생되면, 상기 제어부100은 먼저 캡쳐 프레임 주기에서 먼저 다중화부250 및 역다중화부255를 제어하여 참조번호 951 및 953과 같이 표시이미지를 처리하기 위한 경로를 설정하여 고속으로 처리한다. 이후 상기 제어부100은 캡쳐 프레임 주기(도 9의 921 및 923 프레임 구간)에서 상기 다중화부250 및 역다중화부255를 제어하여 참조번호 953 및 963)과 같은 캡쳐이미지 처리 경로를 형성하고, 상기 버퍼240에서 설정된 프레임의 카메라이미지, 예를들면 셔터지연을 고려한 제로 셔터렉의 프레임이미지를 억세스하여 출력한다. 이때 상기 제어부100은 상기 버퍼240에서 프레임 이미지를 리드할 때 상기 도 7a - 도 7c에 도시된 바와 같은 방법으로 1프레임의 카메라 이미지에서 설정된 크기를 가지는 분할이미지를 억세스한다. 즉, 캡쳐 요구시 상기 제어부100은 상기 버퍼240에 저장된 프레임 이미지를 리드할 때 설정된 블록 크기로 분할하여 리드하고, 상기 분할 이미지(tile image)는 다중화부250을 통해 후처리부230에 인가된다. 그러면 상기 후처리부230은 상기 분할 이미지를 후처리하며, 역다중화부255는 상기 후처리된 분할 이미지를 가산부600에 출력한다. 그러면 상기 가산부600에서 상기 분할이미지(tile image)들을 더하여 한 프레임 카메라 이미지로 재생성한다.

이때 상기 도 7a와 같은 카메라 이미지를 2분할하여 억세스하는 경우, 상기 제어부100은 도 7b의 710 및 720과 같이 리드한다. 그러면 먼저 도 9의 프레임 921 구간에서 상기 버퍼240으로부터 억세스되는 도 7b의 710과 같은 분할 프레임이미지는 다중화부250을 통해 도 9의 953과 같이 후처리부230에 인가되어 후처리되며, 상기 후처리되는 분할 이미지는 역다중화부255에서 가산부600에 인가된다. 이후 다음 프레임 구간(도 9의 923 프레임 구간)에서 상기 버퍼240으로부터 억세스되는 도 7b의 720과 같은 분할 이미지는 다중화부250을 통해 도 9의 963과 같이 후처리부230에 인가되어 후처리되며, 상기 후처리되는 분할 이미지는 역다중화부255에서 가산부600에 인가된다.

이때 상기 역다중화부255를 통해 전달되는 분할된 이미지는 후처리시 인접화소의 정보를 이용하기 위하여 인접화소들을 더 포함하고 있으므로(도 7b의 710의 경우에는 n+1 라인의 화소들, 도 7b의 720의 경우에는 n 라인의 화소들), 해당 라인의 화소들을 제거한 후 가산하여야 한다. 따라서 상기 가산부600은 상기 도 7b의 710과 같이 후처리된 분할 이미지들을 수신하는 경우 n+1 라인의 화소들을 제거하고, 또한 상기 도 7b의 720과 같이 후처리된 분할 이미지들을 수신하는 경우 n 라인의 화소들을 제거한 후, 이들 분할된 이미지들을 가산하여 1 프레임의 카메라 이미지를 재생성한다. 이후 상기 가산부600에서 출력되는 카메라 이미지는 정지영상코덱260에 인가되어 압축 부호화되며, 상기 정지영상 코덱260에서 출력되는 이미지는 저장부130에 캡쳐 이미지로 저장된다. 상기와 같은 방법으로 프리뷰모드에서 상기 이미지처리장치는 선택 클럭에 따라 도 9의 913 또는 915와 같이 표시이미지를 처리한다. 그리고 캡쳐 요구시 상기 제어부100은 고속 클럭을 선택하며, 1 프레임 구간에서 표시이미지 및 캡쳐 이미지를 처리할 수 있도록 다중화부250 및 역다중화부255를 제어한다. 그리고 상기 카메라 이미지를 분할하며, 분할된 이미지의 수에 따른 프레임 구간들에서 분할된 이미지들을 고속으로 처리한다. 이때 분할된 이미지의 수가 3개이면 3개의 프레임 구간들에서 분할 이미지들을 처리할 수 있으며, 4개이면(도 7c와 같은 경우) 4개의 프레임 구간들에서 분할 이미지들을 처리할 수 있다. 도 8b를 참조하면, 상기 카메라110의 이미지는 각각 이미지스케일러220 및 버퍼240에 입력된다. 그러면 상기 버퍼240은 상기 카메라110의 이미지를 버퍼링하며, 이미지스케일러220은 상기 카메라110의 이미지를 표시이미지 사이즈로 스케일링한다. 여기서 상기 이미지스케일러220은 상기한 바와 같이 리사이저 및/또는 평균화부로 구성될 수 있다. 또한 클럭발생부400은 선택된 클럭(저속클럭 또는 고속 클럭)을 상기 이미지처리부120의 동작클럭으로 공급한다.

표시이미지를 처리하는 프리뷰 모드인 경우, 제어부100은 다중화부250 및 역다중화부255를 제어하여 표시이미지 처리 경로를 설정한다. 또한 상기 제어부100은 클럭발생부400을 제어하여 저속클럭 또는 고속클럭을 이미지처리부120의 동작 클럭으로 공급한다. 이때 상기 표시이미지 처리 경로가 설정되면, 상기 다중화부250은 상기 이미지스케일러220에서 생성되는 표시이미지를 선택하여 전처리부210에 출력하며, 역다중화부255는 상기 후처리부230의 출력을 선택하여 표시부140에 출력한다. 그리고 상기 전처리부210 및 후처리부230은 상기 표시이미지를 전처리 및 후처리하며, 상기와 같은 처리된 표시이미지는 표시부140에서 표시된다. 이런 경우 상기 이미지처리부120은 저속클럭이 동작클럭으로 공급되면 도 9의 915와 같이 표시이미지를 처리하며, 고속클럭이 동작클럭으로 공급되면 도 9의 913과 같이 표시이미지를 처리한다.

상기와 같은 상태에서 캡쳐 요구가 발생되면, 상기 제어부100은 캡쳐 이미지 프레임 구간에서 표시이미지 및 캡쳐이미지를 처리하기 위하여 상기 다중화부250 및 역다중화부255를 시분할 제어한다. 또한 상기 제어부100은 클럭발생부400을 제어하여 고속클럭을 상기 이미지처리부120의 동작클럭으로 공급한다. 그러면 상기 다중화부250 및 역다중화부255는 상기 제어부100의 시분할 제어에 의해 먼저 표시이미지를 선택하고 이후 프레임의 나머지 구간에서 상기 캡쳐이미지를 선택한다. 이때 카메라 이미지를 2분할하여 처리하는 경우, 상기 도 9의 951 및 961과 같은 표시이미지 처리 구간에서 이미지스케일러220에서 출력되는 표시이미지는 다중화부250, 전처리부210, 후처리부230 및 역다중화부255를 통해 표시부140에 출력되어 표시된다. 이후 도 9의 953 및 963과 같은 캡쳐이미지 처리 구간에서 버퍼240에서 분할되어 억세스되는 분할이미지는 다중화부250, 전처리부210, 후처리부230 및 역다중화부255를 통해 가산부600에 인가된다. 즉, 상기 도 8a에서 설명된 바와 같이 캡쳐 이미지처리시 상기 7a와 같은 카메라 이미지는 상기 버퍼240에서 상기 도 7b 또는 도 7c와 같이 분할되어 억세스되며, 상기 분할 이미지는 전처리부210 및 후처리부230에서 각각 전처리 및 후처리되어 가산부600에 인가된다. 그러면 상기 가산부600은 이미지 처리된 상기 분할 이미지들을 가산하여 프레임 이미지로 생성하며, 정지영상코덱260은 상기 가산부600에서 가산된 1프레임의 카메라 이미지를 압축부호화하며, 상기 부호화된 카메라 이미지는 저장부130에 저장된다. 이때 상기 이미지처리부120에서 캡쳐 이미지 처리시 카메라 이미지를 분할 및 가산하는 동작은 상기 도 6a 및 도 8a에서 설명된 방법으로 수행할 수 있다.

상기 도 8c를 참조하면, 버퍼240은 상기 카메라110에서 출력되는 이미지를 버퍼링한다. 또한 상기 제어부100은 캡쳐 모드시 상기 버퍼240에서 선택된 프레임의 카메라 이미지를 설정된 크기로 분할 억세스하여 출력한다. 이미지 스케일러220은 상기 버퍼240에서 출력되는 현재 프레임의 카메라 이미지를 표시이미지로 스케일링한다. 클럭발생부400은 상기 제어부100의 제어하여 저속클럭 또는 고속클럭을 선택하여 상기 이미지처리부120의 동작클럭으로 공급한다. 다중화부250은 상기 제어부100의 제어하에 표시이미지를 처리하는 프리뷰모드시 상기 이미지스케일러220의 출력을 선택 출력하며, 카메라110의 이미지를 캡쳐하는 캡쳐모드시 1프레임 구간에서 상기 이미지스케일러220에서 출력되는 표시이미지 및 상기 버퍼240에서 출력되는 카메라 이미지의 분할 이미지를 시분할 선택하여 순차적으로 출력한다. 전처리부210은 상기 제어부100의 제어하에 다중화부250에서 시분할되어 출력되는 표시이미지 및/또는 분할 이미지를 전처리한다. 후처리부230은 상기 제어부100의 제어하에 상기 전처리된 표시이미지 및/또는 분할 이미지를 후처리한다. 역다중화부255은 상기 제어부100의 제어하에 프리뷰모드시 상기 후처리부230에서 출력되는 표시이미지를 표시부140에 출력하며, 캡쳐모드시 상기 후처리부230에서 출력되는 표시이미지 및 분할 이미지를 시분할 선택하여 각각 표시부140 및 가산부600에 순차적으로 출력한다. 가산부600은 상기 분할 이미지를 가산하여 1프레임의 카메라 이미지를 생성하며, 정지영상코덱260은 상기 가산부600에서 출력되는 카메라 이미지를 압축부호화하여 저장부130에 저장한다.

표시이미지를 처리하는 프리뷰 모드에서 상기 버퍼240은 상기 제어부100의 제어하에 상기 카메라 이미지를 버퍼링하며, 이미지 스케일러220은 상기 버퍼240에서 현재 프레임의 카메라 이미지를 표시이미지로 스케일링하여 출력한다. 또한 제어부100은 다중화부250 및 역다중화부255를 제어하여 표시이미지 처리 경로를 설정하고, 상기 클럭발생부40을 제어하여 저속클럭 또는 고속클럭을 이미지처리부120의 동작클럭으로 공급한다. 상기 표시이미지 처리 경로가 설정되면, 상기 다중화부250은 상기 이미지스케일러220에서 생성되는 표시이미지를 선택하여 전처리부210에 출력하며, 역다중화부255는 상기 후처리부230의 출력을 선택하여 표시부140에 출력한다. 이때 상기 이미지처리부120은 저속클럭이 동작클럭으로 공급되면 도 9의 915와 같이 표시이미지를 처리하며, 고속클럭이 동작클럭으로 공급되면 도 9의 913과 같이 표시이미지를 처리한다.

또한 카메라 이미지 캡쳐 요구가 발생되면, 상기 제어부100은 상기 다중화부250 및 역다중화부255를 제어하여 표시이미지 처리 경로를 설정하며, 상기 클럭발생부400을 제어하여 상기 이미지처리부120에 고속클럭을 동작클럭으로 공급한다. 그러면 다중화부250은 상기 이미지스케일러240에 처리되는 현재 프레임의 표시이미지를 선택하여 전처리부210에 출력하며, 상기 전처리부210 및 후처리부230은 도 9의 951 및 961 구간에서 표시이미지를 처리하며, 상기 표시이미지는 역다중화부255를 통해 표시부140에 표시된다. 이후 상기 제어부100은 다중화부250 및 역다중화부255를 제어하여 캡쳐 이미지 처리 경로를 설정하며, 버퍼240에서 설정된 프레임(예를들면 제로 셔터렉을 가지는 이미지)의 카메라 이미지에서 설정된 크기의 분할이미지를 억세스하여 출력한다. 그러면 상기 다중화부250은 상기 버퍼240에서 출력되는 분할이미지를 전처리부210에 출력하며, 상기 전처리부210 및 후처리부230은 도 9의 953 및 963 구간에서 분할 이미지를 이미지를 처리하며, 역다중화부255는 상기 후처리된 분할이미지들을 가산부600에 출력한다. 상기와 같은 캡쳐 이미지의 처리 동작은 1프레임의 카메라이미지에서 분할되는 이미지의 수(즉, 분할 이미지의 수)만큼 반복 수행되며, 분할이미지들의 처리 완료시 상기 가산부600은 1프레임의 카메라 이미지를 생성하여 정지영상 코덱260에 출력한다. 그러면 상기 정지영상 코덱260은 상기 가산된 캡쳐용 카메라 이미지를 압축 부호화하여 저장부130에 저장한다. 이때 카메라 이미지를 분할하여 이미지 처리한 후 가산하는 동작은 상기 도 6a 및 도 7a - 도 7c에서 설명된 방법과 같다.

또한 도시하지 않았지만, 상기 이미지처리부120은 상기 도 8c에서 버퍼240의 출력이 전처리부210에 연결되고, 전처리부240 및 버퍼240의 출력이 다중화부250에 연결되며, 다중화부240의 출력이 이미지스케일러220에 연결되고, 상기 이미지스케일러240의 출력이 후처리부230에 연결되는 구성을 가질 수 있다.

상기 도 8a - 도 8c와 같은 구성을 가지는 이미지처리부120은 캡쳐 요구시 고속으로 설정된 프레임의 카메라 이미지를 분할하여 처리한다. 이는 이미지처리부120의 하드웨어 구성을 간략화(즉, 전처리부210 및/또는 후처리부230의 게이트 수를 감소시킴) 하고, 또한 이미지처리부120의 전원 소모를 줄이기 위함이다. 또한 상기와 같이 고속으로 카메라 이미지를 분할하여 이미지 처리(전처리 및/또는 후처리)하면, 이미지처리부120은 대용량의 고화소를 가지는 카메라 이미지인 경우에도 표시이미지 및 카메라 이미지를 시분할하여 동시에 처리할 수 있다.

상기와 같은 구성을 가지는 이미지처리부120(도 2a - 도 2d, 도 4a - 도 4c, 도 6a - 도 6c, 도 8a - 도 8c)을 구비하는 카메라장치의 경우, 동영상 및 캡쳐 이미지를 함께 처리할 수 있다. 즉, 상기 표시이미지는 동영상으로 저장할 수 있는 이미지이다. 따라서 상기 동영상 저장모드시 상기와 같은 구성을 가지는 이미지처리부120은 매 프레임 구간에서 표시이미지를 생성하며, 이를 표시부140에 출력하는 동시에 동영상코덱270에 출력한다. 따라서 동영상 저장모드시 상기 이미지처리부120은 상기 매 프레임의 표시이미지를 상기 표시부140에 표시하는 동시에 동영상코덱270을 부호화하여 저장부130에 저장한다. 상기와 같은 상태에서 캡쳐 요구 명령이 발생되면, 상기 이미지처리장치는 상기 표시이미지와 함께 제로 셔터렉의 프레임 이미지를 부호화한다. 그리고 상기 이미지처리부120은 상기 표시이미지를 표시부140에 표시하는 동시에 동영상코덱270을 통해 부호화하여 상기 저장부130에 저장하고, 또한 상기 부호화된 캡쳐이미지를 저장부130에 저장한다. 따라서 동영상 촬영 중에 스냅 샷 촬영도 동시에 수행할 수 있다.

도 10a 및 도 10b는 본 발명의 실시예에 따른 이미지처리부120의 구체적인 구성 예를 도시하고 있다.

상기 도 10a는 도 8a와 같은 구성을 가지는 이미지처리부120의 구체적인 구성 예를 도시하는 도시하는 도면이다. 상기 도 10a는 상기 도 8a의 구성에서 5개의 카메라 이미지를 저장할 수 있는 링버퍼로 구성되는 버퍼240과, 상기 전처리부210에서 출력되는 표시이미지를 버퍼링할 수 있는 링버퍼910과, 상기 가산부600의 출력을 저장할 데이터의 크기로 스케일링하는 스케일러920과, 상기 표시이미지를 표시부140의 표시 크기에 맞도록 스케일링하는 스케일러930을 더 구비하는 예를 도시하고 있다. 또한 상기 도 10a는 클럭발생부400 및 가산부600을 구비하는 이미지처리부120의 구성 예를 도시하고 있지만, 여기서 상기 클럭발생부400 및/또는 가산부600은 포함되지 않을 수도 있다. 즉, 상기 도 10a와 같은 이미지처리부의 구성은 도 2a, 4a, 도 6a와 같은 구성의 이미지처리부120으로도 구성할 수 있다.

상기 도 10a를 참조하면, 먼저 프리뷰모드시 상기 제어부100은 다중화부250을 제어하여 링버퍼910의 출력이 후처리부230에 전달되도록 하고, 역다중화부255를 제어하여 후처리부230의 출력이 스케일러930에 전달되도록 하다. 상기와 같은 상태에서 카메라110으로부터 획득되는 이미지는 전처리부210에서 전처리되고, 이미지스케일러220에서 표시부140의 표시 크기로 스케일링된 후 링버퍼910에 인가된다. 여기서 상기 링버퍼910은 표시이미지를 버퍼링하며, 2 내지 3 프레임의 표시이미지를 버퍼링할 수 있도록 크기를 설정할 수 있다. 여기서 상기 링버퍼910을 사용하는 이유는 캡쳐 이미지 처리시 발생될 수 있는 프레임 지연을 보상하기 위함이다. 즉, 상기 캡쳐이미지는 카메라110의 이미지로써, 상기 캡쳐이미지 처리시 프레임 지연이 발생될 수 있다. 이런 경우, 상기 링버퍼910에 표시이미지를 버퍼링하고, 상기 캡쳐 이미지를 처리한 후 링버퍼910에 버퍼링된 표시이미지를 처리할 수 있도록 한다. 따라서 캡쳐 이미지 처리시 발생될 수 있는 표시이미지의 끊김 현상을 방지할 수 있다. 상기 링버퍼910에서 출력되는 표시이미지는 다중화부250을 통해 후처리부230에 인가되어 후처리되며, 역다중화부255를 통해 스케일러930에 인가된다. 그러면 상기 스케일러930은 상기 후처리된 표시이미지를 상기 표시부140의 크기에 맞도록 최종적으로 스케일링하여 출력하며, 표시부140은 상기 스케일러930에서 출력되는 표시이미지를 표시한다. 또한 상기 프리뷰모드시 상기 전처리부210에서 전처리된 카메라110의 이미지는 버퍼240에 인가되어 버퍼링된다. 이때 상기 도 10에서 버퍼240은 5 프레임 카메라 이미지들을 버퍼링할 수 있는 링버퍼로 구성된 예를 도시하고 있다. 여기서 상기 링버퍼240의 버퍼 개수는 카메라장치의 셔터렉을 보상할 수 있는 정도의 크기로 설정하면 된다. 그리고 상기 프리뷰 모드에서 상기 제어부100은 상기 버퍼240에 카메라110에서 촬영되는 이미지들을 버퍼링하지만 억세스하지는 않는다.

여기서 상기 이미지처리부120은 프리뷰모드시 저속 클럭을 사용하며, 캡쳐이미지 처리모드시 고속 클럭을 사용하며 1프레임의 카메라 이미지는 2개의 분할이미지로 처리한다고 가정한다. 그리고 캡쳐요구시 셔터렉을 보상하는 프레임 이미지는 Raw data4라고 가정한다. 상기와 같은 상태에서 캡쳐요구가 발생되면, 상기 제어부100은 상기 다중화부250 및 역다중화부255를 제어하여 1 프레임 구간에서 상기 도 9의 921 및 923 프레임 구간에서 표시이미지 및 캡쳐이미지 처리 구간으로 시분할하여 이미지처리 경로를 형성한다. 또한 상기 제어부100은 선택부430을 제어하여 고속 클럭을 선택한다.

그리고 도 9의 921 프레임구간의 951 구간에서 상기 이미지처리부120은 상기 제어부100의 제어하에 표시이미지 처리 경로를 선택하여 상기한 바와 같이 표시이미지를 처리한다. 이후 상기 제어부100은 도 9의 921 프레임 구간의 953구간에서 상기 버퍼240에서 버퍼링된 Raw data4에서 도 7b의 710과 같이 1/2 프레임 이미지 크기를 가지는 분할 이미지를 억세스하며, 상기 억세스되는 분할 이미지는 상기 도 9의 953구간에서 후처리된 후 가산부600에 인가된다. 이후 다음 프레임인 도 9의 923 프레임 구간의 961구간에서 상기 이미지처리부120은 다시 표시이미지 처리 경로를 선택하여 다음 프레임의 표시 이미지를 처리한다. 이후 상기 제어부100은 도 9의 923 프레임 구간의 963구간에서 상기 버퍼240에서 버퍼링된 Raw data4에서 도 7b의 720과 같이 1/2 프레임 이미지 크기를 가지는 분할 이미지를 억세스하며, 상기 억세스되는 분할 이미지는 상기 도 9의 963구간에서 후처리된 후 가산부600에 인가된다.

그러면 상기 가산부600은 두 개의 분할 이미지를 가산하여 1프레임의 카메라 이미지를 생성하고, 스케일러920은 상기 카메라 이미지를 저장할 캡쳐 이미지의 크기로 스케일링하며, 정지영상 코덱260은 상기 스케일링된 캡쳐이미지를 부호화하여 저장부130에 저장한다. 이때 상기 표시부140은 상기 캡쳐이미지 처리시 상기 캡쳐되는 이미지를 표시할 수 있다. 즉, 상기 제어부100은 상기 표시부140에서 캡쳐 이미지를 표시할 수 있으며, 이런 경우 설정된 시간동안 또는 사용자가 카메라장치를 프리뷰모드로 되돌릴때까지(예를들면 사진 이름등을 포함하여 저장을 완료할 때 까지) 상기 캡쳐 이미지를 표시할 수 있으며, 이런 경우 상기 표시이미지는 표시되지 않을 수 있다.

도 10b는 도 8b와 같은 구성을 가지는 이미지처리부120의 구체적인 구성 예를 도시하는 도시하는 도면이다. 상기 도 10b는 상기 도 8b의 구성에서 5개의 카메라 이미지를 저장할 수 있는 링버퍼로 구성되는 버퍼240과, 이미지 스케일러220에서 출력되는 표시이미지를 버퍼링할 수 있는 버퍼910과, 상기 가산부600의 출력을 저장할 데이터의 크기로 스케일링하는 스케일러920과, 상기 표시이미지를 표시부140의 표시 크기에 맞도록 스케일링하는 스케일러930을 더 구비하는 예를 도시하고 있다. 또한 상기 도 10b는 클럭발생부400 및 가산부600을 구비하는 이미지처리부120의 구성 예를 도시하고 있지만, 여기서 상기 클럭발생부400 및/또는 가산부600은 포함되지 않을 수도 있다.

상기 도 10b를 참조하면, 먼저 프리뷰모드시 상기 제어부100은 다중화부250을 제어하여 링버퍼910의 출력을 전처리부210에 전달되도록 하고, 역다중화부255를 제어하여 후처리부230의 출력이 스케일러930에 전달되도록 하다. 상기와 같은 상태에서 카메라110으로부터 획득되는 이미지는 이미지스케일러220에서 표시부140의 표시 크기로 스케일링된 후 링버퍼910에 인가된다. 그러면 상기 링버퍼910은 표시이미지를 버퍼링하며, 2 내지 3 프레임의 표시이미지를 버퍼링할 수 있도록 크기를 설정할 수 있다. 여기서 상기 링버퍼910을 사용하는 이유는 캡쳐 이미지 처리시 발생될 수 있는 프레임 지연을 보상하기 위함이다. 즉, 상기 캡쳐이미지는 카메라110의 이미지로써, 상기 캡쳐이미지 처리시 프레임 지연이 발생될 수 있다. 이런 경우, 상기 링버퍼910에 표시이미지를 버퍼링하고, 상기 캡쳐 이미지를 처리한 후 링버퍼910에 버퍼링된 표시이미지를 처리할 수 있도록 한다. 따라서 캡쳐 이미지 처리시 발생될 수 있는 표시이미지의 끊김 현상을 방지할 수 있다. 상기 링버퍼910에서 출력되는 표시이미지는 다중화부250을 통해 전처리부210에서 인가되어 전처리되며, 전처리된 표시이미지는 후처리부230에 인가되어 후처리된 후, 역다중화부255를 통해 스케일러930에 인가된다. 그러면 상기 스케일러930은 상기 후처리된 표시이미지를 상기 표시부140의 크기에 맞도록 최종적으로 스케일링하여 출력하며, 표시부140은 상기 스케일러930에서 출력되는 표시이미지를 표시한다. 또한 상기 프리뷰모드시 상기 카메라110에서 출력되는 카메라 이미지는 버퍼240에 인가되어 버퍼링된다. 이때 상기 도 10b에서 버퍼240은 5개의 프레임이미지를 버퍼링할 수 있는 링버퍼로 도시하고 있다. 여기서 상기 버퍼240의 버퍼 개수는 카메라장치의 셔터렉을 보상할 수 있는 정도의 크기로 설정하면 된다.

상기와 같은 상태에서 캡쳐요구가 발생되면, 상기 제어부100은 상기 다중화부250 및 역다중화부255를 제어하여 1 프레임 구간(예를들면 도 9의 921 및 923 프레임 구간)에서 표시이미지 및 캡쳐이미지 처리 구간으로 시분할하여 이미지처리 경로를 형성한다. 또한 상기 제어부100은 선택부430을 제어하여 고속 클럭을 선택한다. 그리고 상기 이미지처리부120은 도 9의 921 프레임구간의 951 구간에서 상기 제어부100의 제어하에 표시이미지 이미지 경로를 선택하여 상기한 바와 같이 표시이미지를 처리한다. 이후 이미지처리부120은 도 9의 921 프레임 구간의 953구간에서 상기 버퍼240에서 버퍼링된 설정된 프레임의 카메라이미지(예를들면 raw data 4)의 분할 이미지를 억세스하며, 상기 분할 이미지는 전처리 및 후처리되어 가산부600에 인가된다. 이후 이미지처리부120은 다음 프레임 구간인 도 9의 923 프레임 구간의 961구간에서 상기 제어부100의 제어하에 다시 표시이미지 경로를 선택하여 다음 프레임의 표시 이미지를 처리한다. 이후 상기 제어부100은 도 9의 923 프레임 구간의 963구간에서 상기 버퍼240에서 카메라 이미지의 다음 분할 이미지를 억세스하며, 상기 억세스되는 분할 이미지는 전처리 및 후처리된 후 가산부600에 인가된다. 그러면 상기 가산부600은 두 개의 분할 이미지를 가산하여 1 프레임의 카메라 이미지를 생성하고, 스케일러920은 상기 프레임이미지를 저장할 이미지의 크기로 스케일링하며, 정지영상 코덱260은 상기 스케일링된 캡쳐이미지를 부호화하여 저장부130에 저장한다.

도 11은 본 발명의 실시예에 따른 카메라장치 또는 카메라를 구비하는 단말장치의 이미지 처리 방법을 도시하는 흐름도이다.

상기 도 11을 참조하면, 입력부150을 통해 카메라 구동명령이 발생되면, 제어부100은 1111단계에서 상기 카메라110을 구동하며, 1113단계에서 표시이미지를 처리하기 위한 프리뷰 모드를 실행한다. 상기 프리뷰모드에서 상기 제어부100은 도 12a - 도 12d와 같은 절차로 상기 표시 이미지를 처리한다. 또한 상기 표시이미지를 처리하는 과정에서 캡쳐 요구가 발생되면, 상기 제어부100은 1115단계에서 이를 감지하고 1117단계에서 캡쳐 이미지를 처리한다. 이때 상기 제어부100은 캡쳐 이미지 처리시 도 14 - 도 17과 같은 절차로 표시이미지 및 캡쳐 이미지를 시분할 제어하여 처리한다. 상기와 같은 프리뷰 모드 또는 캡쳐 모드는 카메라 구동을 종료할 때까지 수행되며, 사용자가 입력부150을 통해 종료 요구를 발생하면, 상기 제어부100은 1119단계에서 이를 감지하고, 1121단계에서 카메라110의 구동을 종료한다.

도 12a - 도 12d는 본 발명의 실시예에 다른 카메라장치 또는 카메라를 구비하는 휴대단말기에서 표시 이미지를 처리하는 절차를 도시하는 흐름도이다.

상기 도 12a를 참조하면, 상기 제어부100은 프리뷰 모드시 1211단계에서 이미지처리부120의 다중화부250 및 역다중화부255를 제어하여 표시이미지 처리 경로를 설정한다. 이후 상기 제어부100은 1213단계에서 카메라110으로부터 출력되는 카메라 이미지를 전처리한다. 여기서 상기 전처리 과정에서 이미지처리부120은 상기 카메라 이미지로부터 3A(AWB(auto white balance), AE(auto exposure), AF(Auto focusing))를 추출하고, 상기 카메라이미지의 렌즈 셰이딩 보상(lens shading correction), 데드픽셀 보정(dead pixel correction), knee 보정 등을 수행한다.

이후 상기 제어부100은 1215단계에서 상기 전처리된 카메라 이미지를 버퍼240에 버퍼링하며, 또한 상기 카메라 이미지를 표시부140에서 표시할 수 있는 사이즈로 스케일링하여 표시이미지를 생성한다. 이후 상기 제어부100은 1217단계에서 다중화되는 표시이미지를 후처리한 후, 1219단계에서 상기 표시부140을 통해 표시한다.

도 13은 상기 도 12a - 도 12d에서 표시이미지를 생성하는 스케일링 과정 및 표시이미지를 후처리하여 표시하는 절차를 도시하는 흐름도이다. 상기 도 13을 참조하면, 본 발명의 실시예에서 이미지 스케일링은 리사이징 또는 평균화 동작을 통해 수행될 수 있다. 이때 상기 이미지스케일러220이 리사이저로 구현된 경우, 상기 제어부100은 1311단계에서 이를 감지하고, 1313단계에서 리사이징을 동작을 수행하여 카메라 이미지를 표시이미지로 스케일링한다. 이때 상기 1313단계에서 상기 제어부100은 카메라 이미지를 데시메이션, 인터폴레이션 및 크롭 등의 동작을 수행하여 표시이미지로 생성하게 된다. 또한 상기 이미지스케일러220이 평균화부로 구현된 경우, 상기 제어부100은 1311단계에서 이를 감지하고, 1315단계에서 카메라 이미지에서 인접 화소들을 가산 및 평균화하여 화소수를 줄인다. 이때 상기 평균화 동작은 상기 도 3a 및 도 3b와 같은 방법으로 수행할 수 있다.

상기와 같이 이미지 스케일링을 수행한 후, 상기 제어부100은 상기 표시이미지를 전처리 및/또는 후처리한다. 이때 표시이미지의 후처리 동작은 1317단계 - 1321단계와 같이 수행될 수 있다. 여기서 상기 이미지의 후처리 동작은 상기한 바와 같이 색보간, IPC 처리 및 이미지 변환 동작을 수행하게 되며, 상기 후처리 과정을 수행하면 YUV 표시이미지를 생성한다. 이후 상기 제어부100은 1323단계에서 상기 YUV 표시이미지를 표시부140에 출력하여 표시한다.

따라서 상기 1613단계에서 프리뷰 모드 수행시, 상기 제어부100은 매 프레임 주기에서 상기 도 13과 같은 절차로 카메라110의 이미지를 표시이미지 크기로 스케일링하고, 스케일링된 이미지를 후처리하여 표시부140에 표시하는 동시에 상기 풀해상도 이미지를 버퍼링하는 동작을 수행한다.

상기 도 13은 이미지 스케일링 후 후처리 동작을 수행하는 예를 도시하고 있다. 그러나 표시이미지 처리시 상기 제어부100은 1313단계 수행 후 표시이미지를 전처리하며, 상기 전처리된 표시이미지를 1317-1321 과정을 통해 후처리할 수도 있다.

도 12b를 참조하면, 프리뷰 모드시 상기 제어부100은 1231단계에서 이미지처리부120의 다중화부250 및 역다중화부255를 제어하여 표시이미지 처리 경로를 설정한다. 이후 상기 제어부100은 1233단계에서 카메라110으로부터 출력되는 카메라 이미지를 표시이미지로 스케일링하며, 또한 상기 카메라 이미지를 버퍼240에 버퍼링한다. 이후 상기 제어부100은 상기 표시이미지를 1235단계에서 전처리하며, 1237단계에서 상기 전처리된 표시이미지를 후처리하며, 상기 후처리된 표시이미지를 1239단계에서 상기 표시부140을 통해 표시한다.

도 12c를 참조하면, 프리뷰 모드시 상기 제어부100은 1251단계에서 이미지처리부120의 다중화부250 및 역다중화부255를 제어하여 표시이미지 처리 경로를 설정한다. 그리고 상기 제어부100은 1253단계에서 카메라110으로부터 출력되는 카메라 이미지를 버퍼링하며, 1255단계에서 상기 버퍼링된 카메라 이미지에서 현재 프레임의 카메라 이미지를 표시이미지로 스케일링한다. 이후 상기 제어부100은 1257단계에서 상기 표시이미지를 전처리하며, 1259단계에서 상기 전처리된 표시이미지를 후처리하고, 1261단계에서 상기 후처리된 표시이미지를 상기 표시부140을 통해 표시한다.

도 12d를 참조하면, 프리뷰 모드시 상기 제어부100은 1271단계에서 이미지처리부120의 다중화부250 및 역다중화부255를 제어하여 표시이미지 처리 경로를 설정한다. 그리고 상기 제어부100은 1273단계에서 카메라110으로부터 출력되는 카메라 이미지를 버퍼링하며, 1275단계에서 상기 버퍼링된 카메라 이미지에서 현재 프레임의 카메라 이미지를 전처리한다. 이후 상기 제어부100은 상기 전처리된 카메라 이미지를 표시이미지로 스케일링하며, 1279단계에서 상기 표시이미지를 후처리하고, 1281단계에서 상기 후처리된 표시이미지를 상기 표시부140을 통해 표시한다.

상기와 같은 방법으로 표시이미지를 처리하는 과정에서 사용자는 이미지 캡쳐를 요구할 수 있다. 이때 캡쳐 요구가 발생되면, 상기 제어부100은 1프레임 구간에서 표시이미지 및 캡쳐 이미지 경로를 시분할하여 형성하며, 또한 상기 버퍼링된 카메라 이미지들 중에서 설정된 프레임의 카메라 이미지(예를들면 제로 셔터렉의 카메라 이미지)를 선택하여 캡쳐 이미지로 처리할 수 있다. 도 14 - 도 17은 각각 본 발명의 제1실시예 - 제4실시예에 따른 카메라장치 또는 카메라를 구비하는 휴대단말기에서 캡쳐 이미지를 처리하는 절차를 도시하는 흐름도이다.

상기 도 14를 참조하면, 캡쳐 요구시 상기 제어부100은 1411단계에서 다중화부250 및 역다중화부255를 제어하여 표시이미지 처리 경로를 형성한다. 이후 상기 제어부100은 1413단계에서 상기 표시이미지 처리 경로를 통해 상기 카메라110에서 촬영되는 이미지를 표시이미지로 스케일링하며, 또한 상기 이미지를 전처리 및 후처리하여 표시부140을 통해 표시한다. 상기 1413단계의 표시 이미지 처리 방법은 상기 도 12a - 도 12d 중의 한가지 방법으로 수행할 수 있다. 이후 상기 제어부100은 1415단계에서 캡쳐이미지 처리 경로를 형성하며, 1417단계에서 상기 버퍼240에 버퍼링된 이미지들 중에서 설정된 프레임의 카메라 이미지(예를들면 제로 셔터렉의 프레임 이미지)를 억세스하며, 1419단계에서 상기 억세스된 카메라 이미지를 전처리 및 후처리한다. 이후 상기 제어부100은 1421단계에서 상기 후처리된 이미지를 부호한 후, 1423단계에서 저장부130에 저장한다. 이때 상기 캡쳐 이미지처리 방법은 상기 표시이미지의 처리 과정과 동일한 방법으로 수행할 수 있다.

상기 도 15를 참조하면, 제어부100은 캡쳐 이미지 처리시 고속 클럭을 이미지처리부120의 동작 클럭으로 공급할 수 있다. 이런 경우 이미지처리부120은 상기 제어부100의 제어하에 1프레임 구간에서 표시이미지 처리 경로 및 캡쳐 이미지 경로를 시분할하여 형성하고, 상기 고속 클럭에 의해 표시이미지 및 캡쳐 이미지를 고속으로 처리할 수 있다. 이런 경우, 상기 제어부100은 캡쳐 요구시 1511단계에서 고속 클럭을 이미지처리부120의 동작 클럭으로 공급하며, 1513단계에서 상기 이미지처리부120의 다중화부250 및 역다중화부255를 제어하여 표시이미지 처리 경로를 형성한다. 이후 상기 제어부100은 1515단계에서 상기 표시이미지 처리 경로를 통해 상기 카메라110에서 촬영되는 이미지를 표시이미지로 스케일링하며, 또한 상기 이미지를 고속클럭에 의해 전처리 및 후처리하여 표시부140을 통해 표시한다. 상기 1515단계의 표시 이미지 처리 방법은 상기 도 12a - 도 12d 중의 한가지 방법으로 수행할 수 있다. 이후 상기 제어부100은 1517단계에서 캡쳐이미지 처리 경로를 형성하며, 1519단계에서 상기 버퍼240에 버퍼링된 이미지들 중에서 설정된 프레임의 카메라 이미지(예를들면 제로 셔터렉의 프레임 이미지)를 억세스하며, 1521단계에서 상기 억세스된 카메라 이미지를 고속 클럭에 의해 전처리 및 후처리한다. 이후 상기 제어부100은 1523단계에서 상기 후처리된 카메라 이미지를 부호한 후, 1525단계에서 저장부130에 저장한다. 이때 상기 캡쳐 이미지처리 방법은 상기 표시이미지의 처리 과정과 동일한 방법으로 수행할 수 있다.

또한 상기 캡쳐 이미지는 분할하여 처리할 수 있다. 이는 상기 캡쳐 이미지는 카메라110의 이미지가 될 수 있으며, 상기 카메라 이미지가 고화소 이미지이면 상기 전처리부210 및/또는 후처리부230의 구성이 복잡해지고, 또한 상기 카메라 이미지 처리에 따라 카메라장치의 전류소모가 커질 수 있다. 따라서 상기 캡쳐 이미지 처리시 카메라 이미지를 설정된 크기로 분할하고, 상기 전처리부210 및/또는 후처리부230이 상기 분할된 이미지를 처리할 수 있는 크기로 구성하며, 후처리된 이미지를 가산하여 처리하는 방법이 효율적일 수 있다. 도 16은 이미지처리부120에서 캡쳐 이미지 처리시, 카메라 이미지를 분할하고 분할된 이미지들을 처리한 후 가산하여 1 프레임의 카레라 이미지를 재생성하는 절차를 도시하는 흐름도이다.

상기 도 16을 참조하면, 캡쳐 요구시 상기 제어부100은 1611단계에서 상기 카메라110에서 획득되는 이미지를 표시이미지로 처리하기 위한 표시이미지 경로를 설정한다. 이후 상기 제어부100은 1613단계에서 상기 카메라 이미지를 스케일링하여 표시이미지로 변환하고, 상기 표시이미지를 전처리 및/또는 후처리하여 표시한다. 여기서 상기 1613단계의 표시이미지 처리 방법은 상기 도 12a - 도 12d의 방법들 중에서 한가지 방법을 사용할 수 있다.

이후 상기 제어부100은 1615단계에서 해당 프레임 구간의 나머지 프레임 구간에서 상기 카메라에서 획득된 이미지를 저장하기 위한 캡쳐 이미지 처리 경로를 설정한다. 이후 상기 제어부100은 1617단계에서 상기 버퍼링된 카메라 이미지들 중에서 설정 된 프레임(예를들면 셔터 온 시점의 프레임 이미지(제로 셔터렉 이미지))를 선택하고, 상기 선택된 프레임의 카메라 이미지에서 설정된 크기의 이미지를 분할 억세스한다. 상기 제어부100은 카메라 이미지에서 상기 도 7a - 도 7c와 같은 방법으로 분할 이미지를 억세스할 수 있다. 이후 상기 제어부100은 1619단계에서 상기 분할 이미지를 전처리 및/또는 후처리한다. 이때 상기 분할 이미지를 전처리 및/또는 후처리하는 방법은 상기 표시이미지의 처리 방법과 동일한 방법으로 수행할 수 있다. 상기 분할이미지 처리후 상기 제어부100은 1621단계에서 1 프레임의 카메라 이미지를 모두 처리하였는가 검사한다. 이때 상기 1 프레임 카메라 이미지의 처리가 완료되지 않았으면(즉, 처리할 분할 이미지가 더 있는 경우) 상기 제어부100은 1621단계에서 이를 감지하고 1623단계에서 상기 후처리된 분할 이미지를 이전 상태(예를들면 이전 프레임 구간)에 처리된 분할이미지와 가산하며, 1625단계에서 다음에 억세스할 분할 이미지를 설정한 후 상기 1611단계로 되돌아간다. 상기와 같은 동작을 반복하면서 분할 이미지들의 처리를 완료하면 하나의 프레임 이미지로 생성되며, 이런경우 상기 제어부100은 1621단계에서 이를 감지하고, 1627단계에서 상기 후처리된 분할 이미지를 가산하며, 1629단계에서 상기 프레임의 카메라 이미지를 부호화한 후, 1637단계에서 저장부130에 저장한다.

상기 도 16은 캡쳐 모드시 카메라 이미지를 분할 이미지로 억세스하여 처리하는 방법으로써, 도 9에 도시된 바와 같이 1프레임 구간에서 하나의 분할이미지를 처리하는 예를 도시하고 있다. 그러나 상기 분할이미지들을 하나의 프레임 구간에서 처리할 수 있는 경우, 상기 제어부100은 1625단계에서 1617단계로 진행하여 바로 다음 분할이미지를 억세스한 후 처리하는 동작을 수행할 수 있다. 이런 경우, 상기 이미지처리부120은 1 프레임 구간에서 시분할 제어되어 표시이미지 및 캡쳐 이미지 처리 경로를 형성하며, 상기 표시이미지를 처리한 후 캡쳐 이미지 경로가 형성된 구간에서 복수의 분할이미지(즉, 1프레임의 카메라 이미지들의 분할이미지들)들을 연속적으로 처리할 수 있다.

또한 상기 캡쳐 이미지 처리시 이미지처리부120의 동작클럭을 고속 클럭으로 설정하고, 카메라 이미지를 설정된 크기로 분할하여 처리할 수 있다. 도 17은 이미지처리부120에서 캡쳐 이미지 처리시, 이미지처리부120의 동작클럭을 고속클럭으로 선택하고, 카메라 이미지를 분할하여 처리하는 절차를 도시하는 흐름도이다.

상기 도 17을 참조하면, 캡쳐 요구시 상기 제어부100은 1711단계에서 상기 이미지처리부120의 동작 클럭을 고속 클럭으로 설정한다. 이는 캡쳐모드에서 이미지처리부120이 표시이미지 및 캡쳐 이미지를 고속으로 처리할 수 있도록 하기 위함이다. 그리고 상기 제어부100은 1713단계에서 상기 카메라110에서 획득되는 이미지를 표시이미지로 처리하기 위한 표시이미지 경로를 설정한다. 이후 상기 제어부100은 1715단계에서 상기 카메라 이미지를 스케일링하여 표시이미지로 변환하고, 상기 표시이미지를 고속으로 전처리 및/또는 후처리하여 표시한다. 여기서 상기 1715단계의 표시이미지 처리 방법은 상기 도 12a - 도 12d의 방법들 중에서 한가지 방법을 사용할 수 있다.

이후 상기 제어부100은 1717단계에서 해당 프레임 구간의 나머지 프레임 구간에서 상기 카메라에서 획득된 이미지를 저장하기 위한 캡쳐 이미지 처리 경로를 설정한다. 그리고 상기 제어부100은 1719단계에서 상기 버퍼링된 카메라 이미지들 중에서 설정 된 프레임(예를들면 셔터 온 시점의 프레임 이미지(제로 셔터렉 이미지))를 선택하고, 상기 선택된 프레임의 카메라 이미지에서 설정된 크기의 이미지를 분할 억세스한다. 상기 제어부100은 카메라 이미지에서 상기 도 7a - 도 7c와 같은 방법으로 분할 이미지를 억세스할 수 있다. 이후 상기 제어부100은 1721단계에서 상기 분할 이미지를 고속으로 전처리 및/또는 후처리한다. 이때 상기 분할 이미지를 전처리 및/또는 후처리하는 방법은 상기 표시이미지의 처리 방법과 동일한 방법으로 수행할 수 있다. 상기 분할이미지 처리후, 1 프레임 카메라 이미지의 처리가 완료되지 않았으면(즉, 처리할 분할 이미지가 더 있는 경우) 상기 제어부100은 1723단계에서 이를 감지하고, 1725단계에서 상기 후처리된 분할 이미지를 이전 상태(예를들면 이전 프레임 구간)에 처리된 분할이미지와 가산하며, 1727단계에서 다음에 억세스할 분할 이미지를 설정한 후 상기 1711단계로 되돌아간다. 상기와 같은 동작을 반복하면서 분할 이미지들의 처리를 완료하면 하나의 프레임 이미지로 생성되며, 이런경우 상기 제어부100은 1723단계에서 이를 감지하고, 1729단계에서 상기 후처리된 분할 이미지를 가산하며, 1731단계에서 상기 프레임의 카메라 이미지를 부호화한 후, 1733단계에서 저장부130에 저장한다.

상기 도 17은 캡쳐 모드시 카메라 이미지를 분할 이미지로 억세스하여 처리하는 방법으로써, 도 9에 도시된 바와 같이 1프레임 구간에서 하나의 분할이미지를 처리하는 예를 도시하고 있다. 그러나 상기 분할이미지들을 하나의 프레임 구간에서 처리할 수 있는 경우, 상기 제어부100은 1727단계에서 1719단계로 진행하여 바로 다음 분할이미지를 억세스한 후 처리하는 동작을 수행할 수 있다. 이런 경우, 상기 이미지처리부120은 1 프레임 구간에서 시분할 제어되어 표시이미지 및 캡쳐 이미지 처리 경로를 형성하며, 상기 표시이미지를 처리한 후 캡쳐 이미지 경로가 형성된 구간에서 복수의 분할이미지(즉, 1프레임의 카메라 이미지들의 분할이미지들)들을 연속적으로 처리할 수 있다.

상기 도 14 - 도 17과 같은 방법들 중에 한가지 방법으로 캡쳐 이미지를 처리할 때, 상기 제어부100은 프레임 구간에서 이미지처리부120을 시분할제어하며, 이로인해 상기 이미지처리부120은 1 프레임 구간에서 표시이미지 및 캡쳐이미지를 순차적으로 처리한다. 이때 상기 표시부140은 표시이미지를 표시하며, 저장부130은 캡쳐 이미지를 저장하게 된다 이때 상기 제어부100은 캡쳐 이미지처리시 상기 표시부130을 제어하여 상기 캡쳐되는 이미지를 표시할 수도 있다. 이런 경우 설정된 시간동안 또는 사용자가 카메라장치를 프리뷰모드로 되돌릴때까지(예를들면 사진 이름 등을 포함하여 저장을 완료할 때 까지) 상기 캡쳐 이미지를 표시할 수 있으며, 이런 경우 상기 표시이미지는 표시되지 않을 수도 있다.

상기한 바와 같이 본 발명의 실시예에 따른 카메라장치 또는 카메라를 구비하는 휴대단말기는 프리뷰/동영상 이미지처리 및 캡쳐이미지 처리를 시분할하여 처리하므로써 이미지처리장치의 구성을 소형으로 구성할 수 있다.

도 18은 본 발명의 실시예에 따른 카메라장치를 구비하는 휴대단말장치의 구성을 도시하는 도면이다. 여기서 상기 휴대단말장치는 카메라를 구비하는 휴대전화기, 스마트 폰, 태블릿, 휴대용 컴퓨터, 음악재생기(MP, music player) 등을 포함한다.

상기 도 18을 참조하면, 카메라110은 이미지 센서를 구비하며, 카메라 구동시 센서를 통해 카메라 이미지를 획득한다.

이미지처리부120은 상기 카메라110으로부터 획득되는 카메라 이미지를 표시부140에 표시하기 위한 표시 이미지 및 캡쳐 요구시 저장하기 위한 캡쳐 이미지를 생성한다. 여기서 상기 표시이미지는 YUV 이미지가 될 수 있으며, 상기 캡쳐 이미지는 JPEG 이미지가 될 수 있다.

어플리케이션처리부1810은 휴대단말장치의 다양한 어플리케이션 기능을 수행한다. 또한 상기 어플리케이션처리부1810은 본 발명의 실시예에 따라 카메라 구동시 상기 이미지처리부120에서 생성되는 표시이미지 및/또는 캡쳐 이미지를 처리한다. 이때 상기 어플리케이션처리부1810은 프리뷰 모드시 상기 표시이미지를 표시부140에 출력하여 표시되도록 제어하며, 사용자의 캡쳐 요구 명령이 발생되면 버퍼링 중인 카메라 이미지들 중에서 설정된 프레임의 카메라 이미지를 선택하여 처리하도록 상기 이미지처리부120을 제어한다. 여기서 상기 어플리케이션처리부1810은 상기 카메라장치의 제어부 기능을 포함한다.

통신부1830은 외부장치 또는 기지국과 통신기능을 수행한다. 상기 통신부1830은 송신신호를 RF 대역으로 상승시키는 변환기(frequency up converter)와 전력증폭기 등으로 구성되는 송신부와, RF 수신신호를 저잡음 증폭하는 증폭기와 RF신호를 기저대역으로 하강 변환하는 변환기(frequency down converter) 등을 구비할 수 있다. 또한 상기 통신부1830은 상기 송신신호를 변조하여 송신부에 전달하는 변조부 및 상기 수신부에서 출력되는 신호를 복조하는 복조부를 구비할 수 있다. 여기서 상기 변복조부는 통신 방식에 따라 WCDMA, GSM, LTE 방식의 변복조부가 될 수 있으며, 또한 WIFI, WIBRO 등의 변복조부가 될 수 있다.

단말제어부1820은 휴대단말장치의 전반적인 동작을 제어하며, 음성 통화 및 데이터 통신의 기능을 수행한다. 여기서 상기 단말제어부1820은 상기 통신부1830의 변복조부를 포함할 수 있으며, 이런 경우 상기 통신부1830은 RF통신부만을 구비할 수 있다. 상기 단말제어부1820은 이런 경우 상기 통신신호를 변복조 및 부호/복호화하는 기능을 수행할 수 있다. 오디오처리부1840은 휴대단말기의 송수화기(마이크 및 스피커)와 연결되어 상기 단말제어부1820의 제어하에 음성 통신시 통화 음성을 처리한다.

상기 입력부150은 단말제어부1820 및 어플리케이션처리부1810에 휴대단말장치의 각종 동작 명령 및 데이터 입력신호를 발생한다. 특히 상기 어플리케이션처리부1810에 카메라 구동명령, 캡쳐 명령을 발생할 수 있다. 표시부140은 단말제어부1820 및 어플리케이션처리부1810의 제어하에 휴대단말장치의 통신 및 어플리케이션 실행 상태를 표시한다. 또한 상기 표시부140은 본 발명의 실시예에 따라 프리뷰 모드시 상기 이미지처리부120에서 처리되는 표시 이미지를 표시한다. 여기서 상기 입력부150은 사용자의 터치입력을 감지하는 터치패널이 될 수 있으며, 표시부140은 프로그램 수행 중에 발생되는 데이터 및 이미지 등을 표시하는 LCD 또는 OLED 패널이 될 수 있다. 여기서 상기 입력부150 및 표시부140은 일체형의 터치스크린이 될 수 있다. 또한 상기 입력부150은 휴대단말기의 외부에 위치되는 버튼들을 포함할 수 있다.

저장부130은 휴대단말장치의 동작 프로그램 및 본 발명의 실시예에 따른 프로그램들을 저장하는 프로그램 메모리와, 프로그램 수행을 위한 데이터들 및 프로그램 수행 중에 발생되는 데이터를 저장하기 위한 데이터 메모리로 구성될 수 있다. 상기 저장부130은 플래시 메모리등과 같은 비휘발성 메모리(non volatile memrory) 및 램 등의 휘발성 메모리로 구성할 수 있다. 특히 상기 저장부130은 캡쳐 요구시 상기 어플리케이션처리부1810의 제어에 의해 상기 이미지처리부120에서 압축부호화된 카메라 이미지 또는 스케일링된 이미지를 캡쳐 이미지로 저장한다.

상기 도 18과 같은 휴대단말기의 경우, 어플리케이션처리부1810은 이미지처리부120의 제어부 기능을 수행한다. 그리고 이미지처리부120은 상기 도 2a - 도 2d, 도 4a - 도 4c, 도 6a - 도 6c, 도 8a - 도 8c 중의 어느 하나가 될 수 있으며, 역다중화부255에서 출력되는 표시이미지 및 정지영상 코덱260의 출력을 다중화하는 제2다중화부를 더 구비할 수 있다. 그리고 어플리케이션처리부1810은 상기 이미지처리부120의 제2다중화부에서 다중화되는 표시이미지 및 캡쳐 이미지를 역다중화하는 제2역다중화부를 구비하며, 상기 역다중화되는 표시이미지를 표시부140에 출력하며, 상기 캡쳐이미지를 저장부130에 저장한다. 또한 상기 이미지처리부120의 동영상 코덱270은 어플리케이션처리부1810에 구비될 수 있다.

상기 도 18을 참조하면, 휴대단말장치는 착발신 통화 및 통신 서비스를 수행할 수 있으며, 카메라 촬영모드시 본 발명의 실시예에 따라 카메라부110에서 촬영되는 이미지를 처리한다.

상기 어플리케이션처리부1810은 본 발명의 실시예에 따른 카메라110의 이미지 처리 어플리케이션과 휴대단말장치의 다양한 어플리케이션들을 처리한다.

발신통화시, 사용자는 입력부150을 통해 발신전화번호 및 통화 요구신호를 발생할 수 있으며, 이를 감지하는 단말제어부1820은 통신부1830을 제어하여 통화로를 형성하며, 기지국을 통해 발신 통화 기능을 수행한다. 또한 착신 통화가 발생되면, 상기 단말제어부1820은 통신부1830을 통해 이를 감지하고 오디오처리부1840을 통해 착신 경보를 하며 표시부140을 통해 착신 정보를 표시한다. 이때 사용자가 입력부150을 통해 응답을 하면, 상기 단말제어부1820은 통신부1830을 통해 착신 통화로를 형성하여 통화 서비스를 수행한다. 데이터 통신의 경우에도 상기 통화와 유사한 동작으로 통신로를 형성한다.

또한 상기 휴대단말장치는 다양한 어플리케이션들을 실행할 수 있다. 이때 사용자가 입력부150을 통해 특정 어플리케이션의 실행을 요구하면, 상기 어플리케이션처리부1810은 해당 어플리케이션을 실행하며, 그 결과를 상기 표시부140에 표시한다. 이때 사용자가 카메라 구동 요구 명령을 발생하면, 상기 어플리케이션처리부1810은 이를 감지하고, 상기 이미지처리부120을 통해 카메라부110을 구동한다. 그러면 상기 이미지처리부120은 상기 어플리케이션처리부1810의 제어하에 프리뷰 모드시 표시이미지 처리경로가 형성되며, 캡쳐 모드시 시분할 제어되어 프레임 구간에서 표시이미지 처리 경로 및 캡쳐 이미지처리 경로를 순차적으로 형성한다.

이때 표시이미지를 처리하는 상기 이미지처리부120은 상기 카메라 이미지를 버퍼240에 버퍼링하고, 또한 상기 카메라 이미지를 표시이미지로 변환 및 변환 표시이미지를 처리하여 어플리케이션처리부1810에 출력한다. 그러면 상기 어플리케이션처리부1810은 상기 표시이미지를 표시부140에 표시한다. 이때 상기 표시이미지 처리는 이미지처리부120은 상기한 바와 같이 카메라 이미지 전처리하고, 전처리된 카메라 이미지를 스케일링하여 표시이미지로 변환한 후 변환된 표시이미지를 후처리할 수 있다. 또한 상기 이미지처리부120은 카메라 이미지를 스케일링하여 표시 이미지로 변환하고, 변환된 표시이미지를 전처리 및 후처리할 수 있다. 또한 상기 이미지처리부120은 카메라 이미지를 버퍼링하고, 버퍼링된 카메라 이미지를 표시이미지로 스케일링하며, 표시이미지를 전처리 및 후처리할 수 있다. 또한 상기 이미지처리부120은 카메라를 이미지를 버퍼링하고, 버퍼링된 이미지를 전처리하며, 상기 전처리된 이미지를 표시이미지로 스케일링한 후 표시이미지를 후처리할 수 있다. 상기 표시이미지를 처리한 후, 상기 이미지처리부120은 처리된 표시이미지를 어플리케이션처리부1810에 출력하며, 상기 어플리케이션처리부1810은 상기 표시부140을 통해 표시한다.

또한 캡쳐모드시 상기 이미지처리부120은 상기 어플리케이션처리부1810의 제어하에 상기한 바와 같이 프레임 구간에서 시분할 제어되어 표시이미지 처리 경로 및 캡쳐이미지 처리 경로를 순차적으로 형성한다. 그리고 상기 표시이미지 처리 방법은 상기와 같은 방법으로 수행한다. 그리고 캡쳐이미지 처리시 상기 이미지처리부120은 상기 어플리케이션처리부1810의 제어하에 버퍼링된 카메라이미지들 중에서 설정된 프레임의 카메라 이미지를 선택하며, 상기 선택된 카메라 이미지를 전처리 및 후처리한 후, 캡쳐이미지로 변환한다. 이때 상기 캡쳐이미지를 처리하는 방법은 상기한 바와 같이 고속클럭을 사용할 수 있으며, 또한 분할이미지로 처리할 수 있으며, 또한 고속클럭을 사용하여 분할이미지로 처리할 수도 있다. 그리고 상기와 같이 이미지처리부120에서 시분할되어 순차적으로 출력되는 표시이미지 및 캡쳐이미지는 다중화되어 어플리케이션처리부1810에 출력하며, 상기 어플리케이션처리부1810은 상기 다중화되는 표시이미지 및 캡쳐이미지를 역다중화한 후, 상기 표시이미지를 표시부140을 통해 표시하고 상기 캡쳐이미지를 저장부130에 저장한다.

또한 상기 휴대단말기의 이미지처리부120은 도 2a - 도 2d, 도 4a - 도 4c, 도 6a - 도 6c, 도 8a - 도 8c 중의 어느 하나와 같은 구성에서 전처리부210, 이미지스케일러220, 후처리부230 및 버퍼240의 구성을 가지며, 역다중화부255 및 정지영상코덱260(캡쳐이미지를 분할 이미지로 처리하는 경우에는 가산부600 포함)의 구성은 어플리케이션처리부1810에 구성할 수도 있다. 이미지처리부120이 상기와 같은 구성을 가지는 경우, 이미지처리부120은 후처리부230에서 출력되는 이미지(표시이미지 또는 표시이미지/캡쳐이미지)를 어플리케이션처리부1810에 출력하며, 어플리케이션처리부1810은 상기 후처리된 이미지(표시이미지 또는 표시이미지/캡쳐이미지)를 역다중화하여 표시이미지는 표시부140에 표시하고 캡쳐이미지는 정지영상코덱을 통해 압축부호화한 후 저장부130에 저장한다. 이때 상기 이미지처리부120에서 상기 카메라 이미지를 분할이미지로 처리하는 경우, 상기 어플리케이션처리부1810은 가산부를 구비하여 이미지처리부120에서 출력되는 분할이미지들을 가산하며, 1프레임의 카메라 이미지로 처리되었음을 확인하면 이를 압축부호화한 후 저장한다.

본 명세서와 도면에 개시 된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (36)

1. 이미지 처리장치에 있어서,
   카메라 이미지를 스케일링하여 표시이미지로 변환하는 이미지스케일러와,
   상기 카메라 이미지를 버퍼링하는 버퍼와,
   상기 이미지스케일러 및 버퍼의 출력을 다중화하는 다중화부와,
   상기 다중화부의 출력 이미지를 처리하는 이미지처리부와,
   상기 이미지처리부의 출력을 역다중화하는 표시이미지를 표시부에 출력하는 역다중화부와,
   상기 역다중화부에서 출력되는 카메라 이미지를 부호화하여 캡쳐이미지로 출력하는 코덱으로 구성되며,
   캡쳐 모드시 상기 다중화부 및 역다중화부를 시분할 제어하여 프레임 구간에서 상기 이미지처리부가 표시이미지 및 카메라 이미지를 순차적으로 처리하도록 제어하는 제어부로 구성된 것을 특징으로 하는 장치.
2. 제1항에 있어서, 상기 이미지처리부는
   상기 이미지를 전처리하는 전처리부와,
   상기 전처리된 이미지를 후처리하는 후처리부로 구성된 것을 특징을 특징으로 하는 장치.
3. 제2항에 있어서,
   상기 제어부는 프리뷰모드시 상기 다중화부 및 역다중화부를 제어하여 표시이미지 처리 경로를 설정하며,
   상기 표시이미지 처리 경로 설정시 이미지 스케일러에서 생성되는 표시이미지가 상기 전처리부 및 후처리부를 통해 처리된 후 표시부에 출력되는 것을 특징으로 하는 장치.
4. 제2항에 있어서,
   상기 제어부는 캡쳐모드시 1프레임 구간에서 상기 다중화부 및 역다중화부를 시분할 제어하여 표시이미지 처리 경로 및 캡쳐이미지 처리 경로를 순차적으로 설정하며,
   상기 표시이미지 처리 경로 설정시 이미지 스케일러에서 생성되는 표시이미지가 상기 전처리부 및 후처리부를 통해 처리된 후 표시부에 출력되고,
   상기 캡쳐이미지 처리경로 설정시 상기 버퍼에 버퍼링된 카메라 이미지들 중에서 설정된 프레임의 카메라이미지가 억세스되며, 상기 억세스된 카메라 이미지가 상기 전처리부 및 후처리부를 통해 처리된 후 코덱으로 출력되어 캡쳐 이미지로 부호화되는 것을 특징으로 하는 장치.
5. 제4항에 있어서, 상기 캡쳐모드에서 설정된 프레임의 카메라 이미지는 카메라의 셔터 지연이 보상된 프레임의 카메라 이미지인 것을 특징으로 하는 장치.
6. 제5항에 있어서,
   상기 제어부의 제어에 의해 고속클럭 또는 저속클럭을 발생하는 클럭발생부를 더 구비하며,
   상기 클럭발생부의 출력은 상기 버퍼, 전처리부 및 후처리부의 동작클럭으로 공급되는 것을 특징으로 하는 장치.
7. 제6항에 있어서
   상기 제어부는 상기 클럭발생부를 제어하여 프리뷰모드시 저속클럭을 동작클럭으로 선택하고, 캡쳐모드시 고속클럭을 동작클럭으로 선택하는 것을 특징으로 하는 장치.
8. 제5항에 있어서,
   상기 후처리부에서 처리되는 분할된 이미지들을 하나의 프레임 이미지로 가산하는 가산부를 더 구비하며,
   상기 제어부는 캡쳐모드시 상기 버퍼에서 설정된 프레임의 카메라 이미지를 설정된 크기의 분할이미지로 억세스하며,
   상기 가산부는 상기 후처리된 분할이미지를 가산하고, 1프레임의 카메라 이미지로 가산될 때 상기 코덱에 출력하는 것을 특징으로 하는 장치.
9. 제8항에 있어서,
   상기 제어부는 캡쳐모드시 상기 버퍼를 제어하여 1프레임 구간에서 1개의 분할이미지를 출력하며,
   상기 이미지처리부는 1프레임 구간에서 1개의 분할이미지를 처리하는 것을 특징으로 하는 장치.
10. 제5항에 있어서,
    상기 제어부의 제어에 의해 고속클럭 또는 저속클럭을 발생하는 클럭발생부와,
    상기 후처리부에서 처리되는 분할된 이미지들을 하나의 프레임 이미지로 가산하는 가산부를 더 구비하며,
    상기 제어부는 캡쳐모드시 상기 고속클럭을 동작클럭으로 선택하며, 상기 버퍼에서 설정된 프레임의 카메라 이미지를 설정된 크기의 분할이미지로 억세스하고,
    상기 가산부는 상기 후처리된 분할이미지를 가산하고, 1프레임의 카메라 이미지로 가산될 때 상기 코덱에 출력하는 것을 특징으로 하는 장치.
11. 제10항에 있어서, 상기 제어부는
    프리뷰 모드시 상기 클럭발생부를 제어하여 저속클럭을 동작클럭으로 선택하고,
    캡쳐모드시 상기 제어부는 캡쳐모드시 상기 버퍼를 제어하여 1프레임 구간에서 1개의 분할이미지를 출력하며, 상기 이미지처리부는 1프레임 구간에서 1개의 분할이미지를 처리하는 것을 특징으로 하는 장치.
12. 제5항에 있어서,
    상기 전처리부는 입력되는 이미지의 데드픽셀 보정 및 렌즈 셰이딩을 보상하며,
    후처리부는 상기 전처리된 이미지를 색보간하여 YUV 이미지로 변환하는 것을 특징으로 하는 장치.
13. 제5항에 있어서,
    상기 이미지스케일러는 리사이저인 것을 특징으로 하는 장치.
14. 제5항에 있어서, 상기 이미지스케일러는 이미지의 인접화소들을 가산 및 평균화하여 표시부의 표시이미지 크기로 화소수를 감축하는 평균화부인 것을 특징으로 하는 장치.
15. 카메라 이미지의 처리방법에 있어서,
    프리뷰모드시 이미지처리부를 표시이미지 처리 경로로 제어하여 카메라 이미지를 버퍼링하고, 상기 이미지를 표시이미지로 변환하여 처리 및 표시하는 표시이미지 처리과정과,
    캡쳐 모드시 프레임 구간에서 상기 이미지처리부를 시분할 제어하여 표시이미지 처리 경로 및 캡쳐 이미지 처리 경로를 순차적으로 설정하며, 표시이미지 처리경로시 상기 표시이미지 처리과정을 수행하며, 상기 캡쳐 이미지 처리 경로가 설정되면 버퍼링된 카메라 이미지에서 설정된 프레임의 카메라 이미지를 선택하여 처리하는 캡쳐 이미지 처리과정을 수행하며,
    상기 표시이미지 처리 경로 상 상기 표시이미지를 처리하는 과정은 상기 이미지처리부의 출력을 역다중화하는 것을 특징으로 하는 방법.
16. 제15항에 있어서, 상기 캡쳐모드의 이미지 처리과정은
    이미지처리부의 표시이미지 처리 경로를 설정하는 과정과,
    카메라 이미지를 버퍼링하고, 상기 설정된 표시이미지 경로를 통해 상기 카메라 이미지를 표시이미지로 변환하여 처리 및 표시하는 표시이미지 처리과정과
    상기 이미지처리부의 캡쳐이미지 처리경로를 설정하는 과정과,
    상기 버퍼링된 카메라이미지들 중에서 설정된 프레임의 카메라 이미지를 선택하며, 상기 선택된 카메라 이미지를 설정된 표시이미지 경로를 통해 처리한 후 압축부호화하여 저장하는 캡쳐 이미지 처리과정으로 이루어짐을 특징으로 하는 방법.
17. 제16항에 있어서, 상기 표시이미지를 처리하는 과정은
    카메라 이미지를 버퍼링 및 표시이미지로 스케일링하는 과정과,
    상기 표시이미지를 전처리하는 과정과,
    전처리된 표시이미지를 후처리하는 과정으로 이루어짐을 특징으로 하는 방법.
18. 제16항에 있어서, 상기 표시이미지를 처리하는 과정은
    카메라 이미지를 전처리하는 과정과,
    상기 전처리된 카메라 이미지를 버퍼링 및 표시이미지로 스케일링하는 과정과,
    상기 표시이미지를 후처리하는 과정으로 이루어짐을 특징으로 하는 방법.
19. 제16항에 있어서, 상기 표시이미지를 처리하는 과정은
    카메라 이미지를 버퍼링하는 과정과,
    상기 버퍼링된 현재 프레임의 카메라 이미지를 표시이미지로 스케일링하는 과정과,
    상기 표시이미지를 전처리하는 과정과,
    전처리된 표시이미지를 후처리하는 과정으로 이루어짐을 특징으로 하는 방법.
20. 제16항에 있어서, 상기 표시이미지를 처리하는 과정은
    카메라 이미지를 버퍼링하는 과정과
    상기 버퍼링된 현재 프레임의 카메라 이미지를 전처리하는 과정과,
    상기 전처리된 카메라 이미지를 버퍼링 및 표시이미지로 스케일링하는 과정과,
    상기 표시이미지를 후처리하는 과정으로 이루어짐을 특징으로 하는 방법.
21. 제16항에 있어서, 상기 캡쳐 이미지 처리과정에서 설정된 프레임의 카메라 이미지는 카메라의 셔터 지연이 보상된 프레임의 카메라 이미지인 것을 특징으로 하는 방법.
22. 제16항에 있어서,
    고속클럭 또는 저속클럭을 구비하며,
    상기 캡쳐모드시 상기 고속클럭을 이미지처리부의 동작클럭으로 공급하는 과정을 더 구비하는 것을 특징으로 하는 방법.
23. 제22항에 있어서
    상기 프리뷰모드시 저속클럭을 상기 이미지처리부의 동작클럭으로 공급하는 과정을 더 구비하는 것을 특징으로 하는 방법.
24. 제16항에 있어서, 상기 캡쳐이미지 처리과정이,
    상기 버퍼에서 설정된 프레임의 카메라 이미지를 설정된 크기의 분할이미지로 억세스하는 과정과,
    후처리된 분할이미지를 가산하고, 1프레임의 카메라 이미지로 가산될 때 코덱에 출력하는 과정을 더 구비하는 것을 특징으로 하는 방법.
25. 제24항에 있어서,
    상기 분할 이미지의 억세스는 1프레임 구간에서 1회 억세스되는 것을 특징으로 하는 방법.
26. 제16항에 있어서,
    고속클럭 또는 저속클럭을 구비하며, 상기 캡쳐모드시 상기 고속클럭을 이미지처리부의 동작클럭으로 공급하는 과정을 더 구비하며,
    상기 캡쳐이미지 처리과정이,
    상기 버퍼에서 설정된 프레임의 카메라 이미지를 설정된 크기의 분할이미지로 억세스하는 과정과,
    후처리된 분할이미지를 가산하고, 1프레임의 카메라 이미지로 가산될 때 코덱에 출력하는 과정을 더 구비하는 것을 특징으로 하는 방법.
27. 카메라장치에 있어서,
    카메라 구동시 동작되어 풀해상도 이미지를 발생하는 카메라와,
    표시이미지를 표시하는 표시부와,
    프리뷰 모드 및 캡쳐모드 신호를 발생하는 입력부와,
    캡쳐이미지를 저장하는 저장부와,
    프리뷰모드 신호 감지시 표시이미지 처리 경로 설정을 제어하며, 상기 캡쳐모드 신호 감지시 프레임 구간을 시분할 제어하여 상기 표시이미지 처리 경로 및 캡쳐이미지 처리 경로를 순차적으로 설정하는 제어부와,
    상기 제어부의 제어에 의해 프리뷰모드시 표시이미지 처리 경로를 설정하여 상기 카메라 이미지를 버퍼링 및 표시이미지로 변환 및 처리하여 상기 표시부에 출력하며, 캡쳐모드시 프레임 구간에서 상기 표시이미지 처리 경로를 설정하여 상기 카메라 이미지를 버퍼링 및 표시이미지 변환하 및 처리하여 상기 표시부에 출력한 후, 상기 캡쳐 이미지 경로를 설정하여 버퍼링된 카메라 이미지에서 설정된 프레임의 카메라를 억세스 및 처리하여 캡쳐 이미지로 압축 부호화한 후 상기 저장부에 출력하는 이미지처리부를 포함하며,
    상기 이미지처리부는
    후처리된 이미지를 역다중화하여 역다중화된 이미지를 생성하는 역다중화부를 포함하는 장치.
    
28. 제27항에 있어서, 상기 이미지처리부가,
    상기 카메라이미지를 버퍼링하는 버퍼와,
    상기 카메라 이미지를 표시이미지로 스케일링하는 이미지스케일러와,
    상기 버퍼 및 이미지스케일러의 출력을 다중화하는 다중화부와,
    상기 다중화부의 출력을 전처리하는 전처리부와,
    상기 전처리부의 출력을 후처리하는 후처리부와,
    후처리된 카메라이미지를 압축부호화하여 캡쳐이미지로 출력하는 정지영상 코덱을 포함하며,
    상기 역다중화부는 상기 역다중화된 이미지를 상기 표시부 및 정지영상 코덱에 공급하며,
    상기 제어부의 제어에 의해 프리뷰 모드시 상기 다중화부가 이미지스케일러의 출력을 선택하고 역다중화부가 후처리부의 출력을 표시부에 출력하는 표시이미지처리 경로를 설정하며, 캡쳐모드시 프레임 구간을 시분할제어하여 상기 표시이미지 처리 경로를 설정하여 표시이미지를 처리한 후 캡쳐이미지 처리 경로를 설정하여 상기 다중화부가 상기 버퍼의 출력을 선택하고 상기 역다중화부가 상기 후처리부의 출력을 정지영상 코덱에 출력하는 캡쳐이미지 경로를 설정하는 것을 특징으로 하는 장치.
29. 제27항에 있어서, 상기 이미지처리부가,
    상기 카메라 이미지를 전처리하는 전처리부와,
    전처리된 카메라이미지를 버퍼링하는 버퍼와,
    전처리된 카메라 이미지를 표시이미지로 스케일링하는 이미지스케일러와,
    상기 버퍼 및 이미지스케일러의 출력을 다중화하는 다중화부와,
    상기 다중화부의 출력을 후처리하는 후처리부와,
    후처리된 카메라이미지를 압축부호화하여 캡쳐이미지로 출력하는 정지영상 코덱을 포함하며,
    상기 역다중화부는 상기 역다중화된 이미지를 상기 표시부 및 정지영상 코덱에 공급하며,
    상기 제어부의 제어에 의해 프리뷰 모드시 상기 다중화부가 이미지스케일러의 출력을 선택하고 역다중화부가 후처리부의 출력을 표시부에 출력하는 표시이미지처리 경로를 설정하며, 캡쳐모드시 프레임 구간을 시분할제어하여 상기 표시이미지 처리 경로를 설정하여 표시이미지를 처리한 후 캡쳐이미지 처리 경로를 설정하여 상기 다중화부가 상기 버퍼의 출력을 선택하고 상기 역다중화부가 상기 후처리부의 출력을 정지영상 코덱에 출력하는 캡쳐이미지 경로를 설정하는 것을 특징으로 하는 장치.
30. 제27항에 있어서, 상기 이미지처리부가,
    상기 카메라이미지를 버퍼링하는 버퍼와,
    상기 버퍼링되는 현재 프레임의 카메라 이미지를 표시이미지로 스케일링하는 이미지 스케일러와,
    상기 버퍼 및 이미지스케일러의 출력을 다중화하는 다중화부와,
    상기 다중화부의 출력을 전처리하는 전처리부와,
    상기 전처리부의 출력을 후처리하는 후처리부와,
    후처리된 카메라이미지를 압축부호화하여 캡쳐이미지로 출력하는 정지영상 코덱을 포함하며,
    상기 역다중화부는 상기 역다중화된 이미지를 상기 표시부 및 정지영상 코덱에 공급하며,
    상기 제어부의 제어에 의해 프리뷰 모드시 상기 다중화부가 이미지스케일러의 출력을 선택하고 역다중화부가 후처리부의 출력을 표시부에 출력하는 표시이미지처리 경로를 설정하며, 캡쳐모드시 프레임 구간을 시분할제어하여 상기 표시이미지 처리 경로를 설정하여 표시이미지를 처리한 후 캡쳐이미지 처리 경로를 설정하여 상기 다중화부가 상기 버퍼의 출력을 선택하고 상기 역다중화부가 상기 후처리부의 출력을 정지영상 코덱에 출력하는 캡쳐이미지 경로를 설정하는 것을 특징으로 하는 장치.
31. 제27항에 있어서, 상기 이미지처리부가,
    상기 카메라이미지를 버퍼링하는 버퍼와,
    상기 버퍼에서 출력되는 카메라 이미지를 전처리하는 전처리부와,
    전처리된 카메라 이미지를 표시이미지로 스케일링하는 이미지스케일러와,
    상기 전처리부 및 이미지스케일러의 출력을 다중화하는 다중화부와,
    상기 다중화부의 출력을 후처리하는 후처리부와,
    후처리된 카메라이미지를 압축부호화하여 캡쳐이미지로 출력하는 정지영상 코덱을 포함하며,
    상기 역다중화부는 상기 역다중화된 이미지를 상기 표시부 및 정지영상 코덱에 공급하며,
    상기 제어부의 제어에 의해 프리뷰 모드시 상기 다중화부가 이미지스케일러의 출력을 선택하고 역다중화부가 후처리부의 출력을 표시부에 출력하는 표시이미지처리 경로를 설정하며, 캡쳐모드시 프레임 구간을 시분할제어하여 상기 표시이미지 처리 경로를 설정하여 표시이미지를 처리한 후 캡쳐이미지 처리 경로를 설정하여 상기 다중화부가 상기 전처리부의 출력을 선택하고 상기 역다중화부가 상기 후처리부의 출력을 정지영상 코덱에 출력하는 캡쳐이미지 경로를 설정하는 것을 특징으로 하는 장치.
32. 휴대단말 장치에 있어서,
    카메라 구동시 동작되어 풀해상도 이미지를 발생하는 카메라와,
    표시이미지를 표시하는 표시부와,
    프리뷰 모드 및 캡쳐모드 신호를 발생하는 입력부와,
    캡쳐이미지를 저장하는 저장부와,
    상기 휴대단말장치의 어플리케이션들을 처리하며, 상기 카메라의 프리뷰모드 신호 감지시 표시이미지 처리 경로 설정을 제어하며, 상기 캡쳐모드 신호 감지시 프레임 구간을 시분할 제어하여 상기 표시이미지 처리 경로 및 캡쳐이미지 처리 경로를 순차적으로 설정하는 어플리케이션처리부와,
    통신부를 제어하여 장치의 통신 기능을 수행하며, 상기 어플리케이션처리부와 통신하는 단말제어부와,
    상기 어플리케이션처리부의 제어에 의해 프리뷰모드시 표시이미지 처리 경로를 설정하여 상기 카메라 이미지를 버퍼링 및 표시이미지로 변환 및 처리하여 상기 표시부에 출력하며, 캡쳐모드시 프레임 구간에서 상기 표시이미지 처리 경로를 설정하여 상기 카메라 이미지를 버퍼링 및 표시이미지 변환하 및 처리하여 상기 표시부에 출력한 후, 상기 캡쳐 이미지 경로를 설정하여 버퍼링된 카메라 이미지에서 설정된 프레임의 카메라를 억세스 및 처리하여 캡쳐 이미지로 압축 부호화한 후 상기 저장부에 출력하는 이미지처리부를 포함하며,
    상기 이미지처리부는
    후처리된 이미지를 역다중화하여 역다중화된 이미지를 생성하는 역다중화부를 포함하는 장치.
33. 제32항에 있어서, 상기 이미지처리부가,
    상기 카메라이미지를 버퍼링하는 버퍼와,
    상기 카메라 이미지를 표시이미지로 스케일링하는 이미지스케일러와,
    상기 버퍼 및 이미지스케일러의 출력을 다중화하는 다중화부와,
    상기 다중화부의 출력을 전처리하는 전처리부와,
    상기 전처리부의 출력을 후처리하는 후처리부와,
    후처리된 카메라이미지를 압축부호화하여 캡쳐이미지로 출력하는 정지영상 코덱을 포함하며,
    상기 역다중화부는 상기 역다중화된 이미지를 상기 표시부 및 정지영상 코덱에 공급하며,
    상기 제어부의 제어에 의해 프리뷰 모드시 상기 다중화부가 이미지스케일러의 출력을 선택하고 역다중화부가 후처리부의 출력을 표시부에 출력하는 표시이미지처리 경로를 설정하며, 캡쳐모드시 프레임 구간을 시분할제어하여 상기 표시이미지 처리 경로를 설정하여 표시이미지를 처리한 후 캡쳐이미지 처리 경로를 설정하여 상기 다중화부가 상기 버퍼의 출력을 선택하고 상기 역다중화부가 상기 후처리부의 출력을 정지영상 코덱에 출력하는 캡쳐이미지 경로를 설정하는 것을 특징으로 하는 장치.
34. 제32항에 있어서, 상기 이미지처리부가,
    상기 카메라 이미지를 전처리하는 전처리부와,
    전처리된 카메라이미지를 버퍼링하는 버퍼와,
    전처리된 카메라 이미지를 표시이미지로 스케일링하는 이미지스케일러와,
    상기 버퍼 및 이미지스케일러의 출력을 다중화하는 다중화부와,
    상기 다중화부의 출력을 후처리하는 후처리부와,
    후처리된 카메라이미지를 압축부호화하여 캡쳐이미지로 출력하는 정지영상 코덱을 포함하며,
    상기 역다중화부는 상기 역다중화된 이미지를 상기 표시부 및 정지영상 코덱에 공급하며,
    상기 제어부의 제어에 의해 프리뷰 모드시 상기 다중화부가 이미지스케일러의 출력을 선택하고 역다중화부가 후처리부의 출력을 표시부에 출력하는 표시이미지처리 경로를 설정하며, 캡쳐모드시 프레임 구간을 시분할제어하여 상기 표시이미지 처리 경로를 설정하여 표시이미지를 처리한 후 캡쳐이미지 처리 경로를 설정하여 상기 다중화부가 상기 버퍼의 출력을 선택하고 상기 역다중화부가 상기 후처리부의 출력을 정지영상 코덱에 출력하는 캡쳐이미지 경로를 설정하는 것을 특징으로 하는 장치.
35. 제32항에 있어서, 상기 이미지처리부가,
    상기 카메라이미지를 버퍼링하는 버퍼와,
    상기 버퍼링되는 현재 프레임의 카메라 이미지를 표시이미지로 스케일링하는 이미지 스케일러와,
    상기 버퍼 및 이미지스케일러의 출력을 다중화하는 다중화부와,
    상기 다중화부의 출력을 전처리하는 전처리부와,
    상기 전처리부의 출력을 후처리하는 후처리부와,
    후처리된 카메라이미지를 압축부호화하여 캡쳐이미지로 출력하는 정지영상 코덱을 포함하며,
    상기 역다중화부는 상기 역다중화된 이미지를 상기 표시부 및 정지영상 코덱에 공급하며,
    상기 제어부의 제어에 의해 프리뷰 모드시 상기 다중화부가 이미지스케일러의 출력을 선택하고 역다중화부가 후처리부의 출력을 표시부에 출력하는 표시이미지처리 경로를 설정하며, 캡쳐모드시 프레임 구간을 시분할제어하여 상기 표시이미지 처리 경로를 설정하여 표시이미지를 처리한 후 캡쳐이미지 처리 경로를 설정하여 상기 다중화부가 상기 버퍼의 출력을 선택하고 상기 역다중화부가 상기 후처리부의 출력을 정지영상 코덱에 출력하는 캡쳐이미지 경로를 설정하는 것을 특징으로 하는 장치.
36. 제32항에 있어서, 상기 이미지처리부가,
    상기 카메라이미지를 버퍼링하는 버퍼와,
    상기 버퍼에서 출력되는 카메라 이미지를 전처리하는 전처리부와,
    전처리된 카메라 이미지를 표시이미지로 스케일링하는 이미지스케일러와,
    상기 전처리부 및 이미지스케일러의 출력을 다중화하는 다중화부와,
    상기 다중화부의 출력을 후처리하는 후처리부와,
    후처리된 카메라이미지를 압축부호화하여 캡쳐이미지로 출력하는 정지영상 코덱을 포함하며,
    상기 역다중화부는 상기 역다중화된 이미지를 상기 표시부 및 정지영상 코덱에 공급하며,
    상기 제어부의 제어에 의해 프리뷰 모드시 상기 다중화부가 이미지스케일러의 출력을 선택하고 역다중화부가 후처리부의 출력을 표시부에 출력하는 표시이미지처리 경로를 설정하며, 캡쳐모드시 프레임 구간을 시분할제어하여 상기 표시이미지 처리 경로를 설정하여 표시이미지를 처리한 후 캡쳐이미지 처리 경로를 설정하여 상기 다중화부가 상기 전처리부의 출력을 선택하고 상기 역다중화부가 상기 후처리부의 출력을 정지영상 코덱에 출력하는 캡쳐이미지 경로를 설정하는 것을 특징으로 하는 장치.

Images