KR20140018686A

KR20140018686A - 이미지 처리 방법 및 장치

Info

Publication number: KR20140018686A
Application number: KR1020120085169A
Authority: KR
Inventors: 윤영권; 조원형
Original assignee: 삼성전자주식회사
Priority date: 2012-08-03
Filing date: 2012-08-03
Publication date: 2014-02-13
Also published as: WO2014021692A1; AU2013297221A2; AU2013297221B2; EP2693737A3; AU2013297221A1; CN104521227A; US20140036108A1; US9225905B2; CN104521227B; KR101917650B1; IN2015DN00563A; EP2693737B1; EP2693737A2

Abstract

본 발명은 다양한 촬영 옵션(이펙트)이 설정되는 사진 촬영 시 이미지를 센싱하여 캡쳐(capture) 하기까지의 지연 시간을 최소화할 수 있는 이미지 처리 방법 및 장치에 관한 것으로, 이러한 본 발명은 이미지 처리 방법에 있어서, 촬영 모드에서 프리뷰를 표시하는 과정; 상기 프리뷰 표시 중에 촬영 옵션 기반의 촬영 명령을 수신하는 과정; 및 풀 해상도의 이미지에 상기 촬영 옵션을 적용하는 이미지 보정을 백그라운드로 처리하고, 동시에 프리뷰 모드로 진행하여 다음 프레임의 표시 이미지 기반의 프리뷰 표시를 처리하는 과정을 포함한다.

Description

이미지 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING A IMAGE IN CAMERA DEVICE}

본 발명은 카메라 모듈을 포함하는 카메라 장치 또는 휴대단말에서 이미지 처리 방법 및 장치에 관한 것으로, 특히 다양한 촬영 옵션(이펙트)이 설정되는 사진 촬영 시 이미지를 센싱하여 캡쳐(capture) 하기까지의 지연 시간을 최소화할 수 있는 이미지 처리 방법 및 장치에 관한 것이다.

최근 들어, 카메라 모듈을 포함하는 카메라 장치 또는 휴대단말(이하, '휴대단말'이라 통칭함)은 고화질 이미지를 제공하며, 또한 다양한 사용자 편의 기능을 제공하고 있다. 현재 카메라 모듈에 의한 촬영 기능을 가지는 휴대단말은 이미지 센서(image sensor)(또는 카메라 센서)를 통해 풀 HD급 이상의 해상도(full High Definition resolution)를 가지는 이미지들을 센싱할 수 있다.

상기 휴대단말은 프리뷰 모드(preview mode)에서 카메라 모듈로부터 감지되는 이미지를 프리뷰 이미지(preview image)로 표시할 수 있다. 그리고 프리뷰 이미지가 표시된 상태에서 사용자가 셔터 버튼(shutter button)을 누르면 촬영이 이루어지는 방식이 일반적이다. 이때, 현재 휴대단말에서는 상기 셔터 버튼 입력에 응답하여, 상기 이미지 센서에서 획득되는 이미지를 센싱하여 캡쳐(capture)하고 이를 처리하여 메모리에 저장 완료한 후 다시 촬영이 가능하기까지(즉, 셔터 버튼을 입력한 후 다음 촬영이 가능할 때까지)는 지연 시간(예컨대, Shot to Preview 시간)이 존재한다. 이러한 지연 시간은 피사체의 촬영 환경 및 휴대단말의 이미지 처리 능력 등의 영향으로 발생될 수 있다. 따라서 사용자는 지연 시간에 의해 이미지 처리가 완료될 때까지 다음 촬영을 대기해야 하는 문제점이 있다.

더욱이, 최근에는 피사체 촬영 시 사용자 설정에 의해 다양한 촬영 옵션(option)을 설정하여 촬영할 수 있다. 예를 들어, 사용자는 스케치 효과, 음영 효과, 왜곡 효과, 합성 효과, 애니메이션 효과, 비네팅 효과 등과 같은 다양한 효과 옵션, 화질 개선을 위한 구도 변경, 배경 변경, 파노라마 촬영 등을 설정한 후 촬영을 수행할 수 있다. 이러한 촬영 옵션에 따라 촬영되는 이미지는 캡쳐되는 전체 이미지에 설정된 촬영 옵션을 후처리 보정하는 것과 같은 이미지 변환 처리에 의해 이루어질 수 있다. 따라서 휴대단말에서 촬영 옵션 설정에 따른 촬영 시 사용자가 셔터 버튼을 입력한 후 다음 촬영이 가능할 때까지 지연 시간이 일반 촬영 시보다 크게 증가되게 된다. 이에 따라, 사용자는 다음 촬영을 위해서는 일반 촬영 시보다 더 많은 시간을 대기해야 함에 따라 많은 불편함이 초래된다.

본 발명의 목적은 휴대단말의 촬영 옵션 기반의 촬영 동작 시 이미지 변환 처리를 빠르게 수행하여 지연 시간을 최소화함으로써, 사용자의 편의성을 저해하지 않으면서도 빠른 이미지 변환 및 다음 촬영 동작의 빠른 진입이 가능하도록 하는 이미지 처리 방법 및 장치를 제공함에 있다.

본 발명의 다른 목적은 촬영 기능을 가지는 휴대단말에서 촬영에 따른 지연 시간을 최소화하기 위한 최적의 환경을 구현하여 사용자 편의성 및 휴대단말의 사용성을 향상시킬 수 있는 이미지 처리 방법 및 장치를 제공함에 있다.

상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법은, 이미지 처리 방법에 있어서, 촬영 모드에서 프리뷰를 표시하는 과정; 상기 프리뷰 표시 중에 촬영 옵션 기반의 촬영 명령을 수신하는 과정; 및 풀 해상도의 이미지에 상기 촬영 옵션을 적용하는 이미지 보정을 백그라운드로 처리하고, 동시에 프리뷰 모드로 진행하여 다음 프레임의 표시 이미지 기반의 프리뷰 표시를 처리하는 과정을 포함한다.

상기와 같은 과제를 해결하기 위하여 본 발명의 실시 예에서는, 상기 방법을 프로세서에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 포함한다.

상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 장치는, 이미지 처리 장치에 있어서, 풀 해상도의 이미지를 획득하고, 획득된 풀 해상도의 이미지를 스케일링하여 표시 이미지 버퍼를 통해 버퍼링 및 출력하고, 상기 풀 해상도의 이미지를 정지 이미지 버퍼를 통해 버퍼링 및 출력하는 카메라 모듈; 상기 카메라 모듈에서 출력되는 표시 이미지를 프리뷰 표시하는 표시부; 적어도 하나의 프로그램과, 상기 표시 이미지 기반으로 촬영 옵션이 적용되는 이펙트 프리뷰 이미지와 상기 풀 해상도의 이미지 기반으로 촬영 옵션이 적용된 이미지를 저장하는 저장부; 및 상기 적어도 하나의 프로그램을 실행하여 상기 표시 이미지의 프리뷰 표시 중에 촬영 옵션 기반의 촬영 명령이 수신되면 상기 풀 해상도의 이미지에 상기 촬영 옵션을 적용하는 이미지 보정을 백그라운드로 처리하고, 동시에 프리뷰 모드로 진행하여 다음 프레임의 표시 이미지 기반의 프리뷰 표시를 처리하는 제어부를 포함한다.

상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 기록 매체는, 카메라 모듈을 통해 획득되는 이미지를 표시 이미지 및 풀 해상도의 이미지로 변환하여 버퍼링하고, 상기 버퍼링된 표시 이미지를 프리뷰로 표시하며, 상기 표시 이미지의 프리뷰 표시 중에 촬영 옵션 기반의 촬영 명령이 수신되면 상기 풀 해상도의 이미지에 상기 촬영 옵션을 적용하는 이미지 보정을 백그라운드로 처리하고, 동시에 프리뷰 모드로 진행하여 다음 프레임의 표시 이미지 기반의 프리뷰 표시를 처리하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 포함한다.

전술한 바와 같은 내용들은 당해 분야 통상의 지식을 가진 자가 후술되는 본 발명의 구체적인 설명으로부터 보다 잘 이해할 수 있도록 하기 위하여 본 발명의 특징들 및 기술적인 장점들을 다소 넓게 약술한 것이다. 이러한 특징들 및 장점들 이외에도 본 발명의 청구범위의 주제를 형성하는 본 발명의 추가적인 특징들 및 장점들이 후술되는 본 발명의 구체적인 설명으로부터 잘 이해될 것이다.

상술한 바와 같이 본 발명에서 제안하는 이미지 처리 방법 및 장치에 따르면, 프리뷰 표시를 위한 프리뷰 이미지를 표시부의 표시 크기에 대응하는 표시 이미지로 이미지 변환 처리가 진행되므로, 프리뷰 이미지의 빠른 처리 및 표시가 가능하다. 또한 본 발명에 따르면, 별도의 분리된 이미지 보정 기능(또는 이미지 보정 어플리케이션)에 의하여 풀 해상도의 이미지(정지 이미지)에 대한 이미지 변환 처리가 백그라운드로 진행되면서 촬영 기능(또는 촬영 어플리케이션)에 의한 프리뷰 모드가 바로 진행될 수 있다.

따라서 본 발명의 실시 예에 따르면, 프리뷰 이미지 표시를 위한 이미지 변환 처리 또는 풀 해상도의 이미지의 이미지 변환 처리 시, 셔터 버튼을 입력한 후 다음 촬영이 가능할 때까지의 기간인 지연 시간(예컨대, Shot to Preview 시간)을 크게 줄일 수 있는 이점이 있다.

또한 본 발명의 실시 예에 따르면 이미지 보정을 위한 이미지 보정 기능(또는 이미지 보정 어플리케이션)을 촬영 기능(또는 촬영 어플리케이션)과 분리하여 독립적으로 운용함에 따라, 추후 보다 개선된 이미지 보정 알고리즘이 제안되는 경우, 휴대단말의 이미지 보정 기능(또는 이미지 보정 어플리케이션)에 대한 업데이트 및 적용이 용이한 이점이 있다.

따라서 본 발명에 따르면 촬영 기능을 가지는 휴대단말에 촬영에 따른 지연 시간을 최소화하기 위한 최적의 환경을 구현함으로써, 사용자의 편의성을 향상시키고, 휴대단말의 사용성, 편의성 및 경쟁력을 향상시키는데 기여할 수 있다. 이러한 본 발명은 촬영 기능을 가지는 모든 형태의 휴대단말 및 그에 대응하는 다양한 디바이스들에 간편하게 구현될 수 있다.

도 1은 본 발명의 실시 예에 따른 휴대단말의 구성을 개략적으로 도시한 도면이다.
도 2는 본 발명의 실시 예에 따른 카메라 모듈의 구성을 개략적으로 도시한 도면이다.
도 3은 본 발명의 실시 예에 따른 휴대단말에서 촬영 이미지를 처리하는 방법을 도시한 흐름도이다.
도 4 내지 도 9는 본 발명의 실시 예에 따른 휴대단말을 이용하여 피사체를 촬영하는 동작 예시를 도시한 도면들이다.
도 10은 본 발명의 실시 예에 따른 휴대단말에서 촬영 이미지를 처리하는 방법을 도시한 흐름도이다.
도 11은 본 발명의 실시 예에 따른 휴대단말에서 촬영 이미지 처리 중 이펙트 프리뷰 이미지 표시를 위한 동작을 도시한 흐름도이다.
도 12는 본 발명의 실시 예에 따른 휴대단말에서 촬영 옵션 기반의 이미지 촬영 시 병렬 처리 동작을 도시한 도면이다.

이하, 첨부된 도면들을 참조하여 본 발명의 바람직할 실시 예들을 상세히 설명한다. 이때, 첨부된 도면들에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 즉, 하기의 설명에서는 본 발명의 실시 예에 따른 동작을 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.

제안하는 본 발명은 카메라 모듈을 포함하는 카메라 장치 또는 휴대단말(이하, '휴대단말'이라 통칭함)에서 이미지 처리 방법 및 장치에 관한 것이다. 특히, 본 발명의 실시 예에서는 이미지 합성이나 다양한 필터(filter) 처리와 같은 이미지 후처리 보정을 통해 새로운 형태로 촬영된 이미지를 경험하고자 하는 사진 촬영 방식에서의 이미지 처리 방법 및 장치를 제공하고자 한다. 즉, 본 발명의 실시 예에 따르면, 다양한 촬영 옵션(option)(또는 이펙트(effect))이 설정되는 촬영 수행 시 이미지를 센싱(sensing)하여 캡쳐(capture)하고 이를 처리하여 메모리에 저장 완료한 후 다시 촬영이 가능하기까지(즉, 셔터 버튼을 입력한 후 다음 촬영이 가능할 때까지)의 지연 시간(예컨대, Shot to Preview 시간)을 최소화할 수 있는 이미지 처리 방법 및 장치를 제안한다.

본 발명의 실시 예에서 상기 촬영 옵션은 스케치, 음영, 왜곡, 합성, 애니메이션, 비네팅, 빈티지, 색변환, 파스텔, 야광 등과 같은 이펙트 옵션과, 화질 개선을 위한 구도, 피사체의 배경을 변경할 수 있는 배경, 넓은 시야각으로 촬영할 수 있는 파노라마 등과 같은 이펙트 옵션 등을 포함할 수 있다. 본 발명의 실시 예에 따르면, 상기와 같은 촬영 옵션은 플러그 인(plug-in) 형태로 구현될 수 있다. 즉, 다양한 촬영 옵션에 대해 사용자가 마켓(market) 등의 서버로부터 선택 및 다운로드하여 휴대단말에 설치(install) 가능하도록 함으로써, 다양한 촬영 옵션 개발을 유도할 수 있으며, 휴대단말에 업데이트가 용이하도록 할 수 있다.

본 발명의 실시 예에서 따르면, 휴대단말은 카메라 모듈 구동 시(예컨대, 프리뷰 모드(preview mode) 진입 시) 카메라 모듈로부터 획득되는 매 프레임의 이미지를 처리하여 프리뷰 표시를 위한 표시 이미지(display image) 및 캡쳐를 위한 풀 해상도(full resolution)의 전체 이미지(또는 정지 이미지(still image))를 생성한다. 여기서, 상기 표시 이미지는 상기 정지 이미지에 비해 작은 크기를 갖거나 또는 동일한 크기를 가질 수 있다. 이러한 경우, 휴대단말은 매 프레임(frame) 주기에서 카메라 모듈로부터 이미지를 획득하며, 획득되는 이미지를 프리뷰로 표시하기 위한 표시 이미지로 변환하여 표시부에 표시하고, 또한 상기 카메라 모듈로부터 획득되는 풀 해상도의 이미지는 정지 이미지로 저장하기 위해 버퍼링(buffering) 할 수 있다. 그리고 상기와 같은 상태에서 캡쳐 요구가 발생되면 즉, 셔터 버튼이 입력되면, 휴대단말은 버퍼링되는 각 프레임의 이미지들 중에서 상기 캡쳐가 요구되는 시점(즉, 셔터 버튼이 입력되는 시점)의 프레임의 이미지를 선택하여 압축 부호화한 후 저장할 수 있다. 따라서 본 발명의 실시 예에서는 프리뷰 모드에서 표시 이미지를 표시하는 동작과 독립(또는 병렬)적으로 풀 해상도의 이미지(또는 정지 이미지)를 일시 저장하기 위한 버퍼와, 상기 풀 해상도 이미지의 후처리 보정과 같은 이미지 변환의 백그라운드(background) 처리를 위한 기능(또는 어플리케이션)을 구비할 수 있다.

이러한 구성에 의해, 휴대단말은 카메라 모듈 구동 시 상기 버퍼에 풀 해상도의 이미지들을 버퍼링할 수 있다. 그리고 사용자로부터 셔터 버튼 입력에 의한 이미지 캡쳐(또는 촬영)가 요구되면, 상기 버퍼를 통해 버퍼링 중인 프레임 이미지들 중에서 캡쳐 요구 시점의 프레임 이미지를 선택하여 백그라운드로 처리할 있다. 특히, 본 발명의 실시 예에서는 촬영 옵션이 설정되는 촬영 방식에서 촬영 수행을 위한 촬영 기능(또는 촬영 어플리케이션)과 이미지 보정을 위한 보정 기능(또는 보정 어플리케이션)을 독립(또는 병렬)적으로 운용하여, 풀 해상도의 이미지에 대한 이미지 보정을 상기 보정 어플리케이션에 의해 백그라운드로 처리하고, 상기 촬영 어플리케이션에 의해 프리뷰 모드로 바로 회귀하여 표시 이미지를 프리뷰 표시할 수 있다. 여기서, 상기 보정 어플리케이션에 의한 이미지 보정 처리는 해당 타스크(task)의 완료 시까지 백그라운드로 진행될 수 있으며, 이는 촬영 어플리케이션이 종료되더라도 계속하여 진행될 수 있다.

또한, 본 발명의 실시 예에 따르면, 백그라운드로 진행 중인 이미지 변환 처리에 대해 그 진행 정도(예컨대, 몇 퍼센트(%)가 진행되었는지에 대한 진행 상황), 또는 누적된 모든 타스크들에 대해 총 몇 개의 타스크가 진행되고 추후 진행해야 할 타스크가 몇 개 남았는지 등과 같은 이미지 변환 처리에 대한 진행 상황을 사용자에게 피드백(feedback)할 수 있다. 이때, 상기 피드백은 촬영 어플리케이션이 진행 중인 경우에는 촬영 어플리케이션의 실행화면 상에 제공될 수 있고, 만약 촬영 어플리케이션이 종료된 경우에는 주어진 실행화면(예컨대, 대기화면, 갤러리 화면, 다른 어플리케이션 실행화면 등)의 일 영역에 설정된 사용자 인터페이스(UI, User Interface) 또는 그래픽 사용자 인터페이스(GUI, Graphical UI)를 통해 제공될 수 있다.

한편, 이하의 설명에서 상기 풀 해상도의 이미지(또는 정지 이미지)는 카메라 모듈에서 획득되는 이미지를 나타내는 것으로, 이미지 센서를 통해 획득되는 이미지에 대해 스케일링(scaling)이 이루어지지 않은 이미지를 나타낼 수 있다. 또한 상기 표시 이미지는 프리뷰 모드에서 표시부에 표시되는 이미지를 나타내는 것으로, 이미지 센서를 통해 획득되는 이미지를 설정된 크기(또는 해상도)에 맞게 스케일링된 이미지를 나타낼 수 있다. 그리고 캡쳐 이미지는 정지 이미지로 저장하기 위한 이미지를 나타내는 것으로, 이미지 센서를 통해 획득되는 풀 해상도의 이미지 또는 이미지 센서를 통해 획득된 이미지가 설정된 크기로 스케일링된 표시 이미지를 나타낼 수 있다.

또한 본 발명의 실시 예에서 이미지 스케일링은 상기 풀 해상도의 이미지를 설정된 크기(또는 해상도)로 조절하는 것을 나타낼 수 있다. 본 발명의 실시 예에서 상기 이미지 스케일링은 리사이징(resizing) 방법과, 가산(addition) 및 평균화(averaging) 방법 등으로 구현될 수 있다. 여기서, 상기 리사이징은 이미지를 데시메이션(decimation), 인터폴레이션(interpolation) 및 크롭(crop)하여 이미지 크기를 조절하는 방법을 의미한다. 그리고 가산 및 평균화 방법은 인접한 화소들을 하나의 화소로 생성하여 화소수를 조절하는 방법을 의미하며, 상기 평균화 동작을 수행한 후 상기 데시메이션, 인터폴레이션 및 크롭 등을 수행할 수도 있다.

이하에서, 본 발명의 실시 예에 따른 휴대단말의 구성과 그의 운용 제어 방법에 대하여 하기 도면들을 참조하여 살펴보기로 한다. 본 발명의 실시 예에 따른 휴대단말의 구성과 그의 운용 제어 방법이 하기에서 기술하는 내용에 제한되거나 한정되는 것은 아니므로 하기의 실시 예들에 의거하여 다양한 실시 예들에 적용할 수 있음에 유의하여야 한다.

도 1은 본 발명의 실시 예에 따른 휴대단말의 구성을 개략적으로 도시한 도면이다.

상기 도 1을 참조하면, 본 발명의 휴대단말은 무선 통신부(110), 사용자 입력부(120), 표시부(130), 오디오 처리부(140), 저장부(150), 인터페이스부(160), 카메라 모듈(170), 제어부(CONTROLLER)(180), 그리고 전원 공급부(180)를 포함하여 구성된다. 본 발명의 휴대단말은 도 1에 도시된 구성 요소들이 필수적인 것은 아니어서, 그보다 많은 구성 요소들을 가지거나, 또는 그보다 적은 구성 요소들을 가지는 것으로 구현될 수 있다. 예를 들어, 본 발명의 실시 예에 따른 휴대단말이 촬영 기능만을 지원하는 경우 즉, 별도의 통신 기능을 지원하지 않는 경우 상기 무선 통신부(110)의 구성은 생략될 수도 있다.

상기 무선 통신부(110)는 휴대단말과 무선 통신 시스템 사이 또는 휴대단말과 다른 휴대단말이 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(110)는 이동통신 모듈(111), 무선 랜(WLAN, Wireless Local Area Network) 모듈(113), 근거리 통신 모듈(115), 위치 산출 모듈(117), 그리고 방송 수신 모듈(119) 등을 포함하여 구성될 수 있다.

이동통신 모듈(111)은 이동통신 네트워크 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는 음성통화 신호, 화상통화 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다. 이동통신 모듈(111)은 제어부(180)의 제어에 따라 마켓 등과 같은 서버에 접속하여 사용자 선택에 따른 플러그 인 타입의 촬영 옵션 및 이미지 보정 어플리케이션 등을 다운로드할 수 있다.

무선 랜 모듈(113)은 무선 인터넷(internet) 접속 및 다른 휴대단말과 무선 랜 링크(link)를 형성하기 위한 모듈을 나타내는 것으로, 휴대단말에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 무선 랜(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다. 무선 랜 모듈(113)은 제어부(180)의 제어에 따라 마켓 등과 같은 서버에 접속하여 사용자 선택에 따른 플러그 인 타입의 촬영 옵션 및 이미지 보정 어플리케이션 등을 다운로드할 수 있다. 또한 무선 랜 모듈(113)은 다른 휴대단말과 무선 랜 링크(link)가 형성될 시 사용자 선택에 따른 사진 데이터를 다른 휴대단말로 전송하거나 수신받을 수 있다. 또는 무선 랜 모듈(113)은 무선 랜을 통해 사용자 선택에 따른 사진 데이터를 클라우드 서버 등으로 전송하거나, 클라우드 서버로부터 수신 받을 수 있다.

근거리 통신 모듈(115)은 근거리 통신을 위한 모듈을 나타낸다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, Infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee), 그리고 NFC(Near Field Communication) 등이 이용될 수 있다. 또한 근거리 통신 모듈(115)은 다른 휴대단말과 근거리 통신이 연결될 시 사용자 선택에 따른 사진 데이터를 다른 휴대단말로 전송하거나 수신 받을 수 있다.

위치 산출 모듈(115)은 휴대단말의 위치를 획득하기 위한 모듈로서, 대표적인 예로는 GPS(Global Position System) 모듈이 있다. 위치 산출 모듈(115)은 3개 이상의 기지국으로부터 떨어진 거리 정보와 정확한 시간 정보를 산출한 다음 상기 산출된 정보에 삼각법을 적용함으로써, 위도, 경도, 및 고도에 따른 3차원의 현 위치 정보를 산출할 수 있다. 또는 위치 산출 모듈(115)은 3개 이상의 위성으로부터 휴대단말의 현 위치를 실시간으로 계속 수신함으로써 위치 정보를 산출할 수 있다. 휴대단말의 위치 정보는 다양한 방법에 의해 획득될 수 있다.

방송 수신 모듈(119)은 방송 채널(예컨대, 위성 채널, 지상파 채널 등)을 통하여 외부의 방송 관리 서버로부터 방송 신호(예컨대, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호 등) 및/또는 상기 방송과 관련된 정보(예컨대, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보 등)를 수신한다.

사용자 입력부(120)는 사용자가 휴대단말의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(120)는 키패드(key pad), 돔 스위치(dome switch), 터치패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다. 상기 사용자 입력부(120)는 휴대단말의 외부에 버튼 형태로 구현될 수 있으며, 일부 버튼들은 터치 패널(touch panel)로 구현될 수도 있다.

표시부(130)는 휴대단말에서 처리되는 정보를 표시(출력)한다. 예를 들어, 휴대단말이 통화모드인 경우 통화와 관련된 사용자 인터페이스(UI, User Interface) 또는 그래픽 사용자 인터페이스(GUI, Graphical UI)를 표시한다. 또한 표시부(130)는 휴대단말이 화상통화 모드 또는 촬영 모드인 경우에는 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다. 특히, 표시부(130)는 카메라 모듈(170) 구동 시 촬영 기능 운용과 관련된 다양한 UI, GUI를 표시할 수 있다. 즉, 표시부(130)는 카메라 모듈(170)을 통해 촬영되는 이미지 및 촬영 중의 정보들을 표시하는 기능을 수행할 수 있다. 예를 들어, 표시부(130)는 상기 카메라 모듈(170)로부터 전달되는 프리뷰 이미지를 표시하고, 상기 프리뷰 이미지에 사용자 설정에 대응하는 촬영 옵션(예컨대, 이펙트)이 반영된 프리뷰 이미지(이펙트 프리뷰 이미지)를 표시할 수 있다. 또한 표시부(130)는 백그라운드로 진행 중인 이미지 변환 타스크에 대한 진행 상황을 주어진 아이템(예컨대, 아이콘, 상태바, 텍스트 등)을 통해 표시할 수 있다. 본 발명에서 운용되는 표시부(130)의 화면 예시에 대해 후술될 것이다.

표시부(130)는 액정 디스플레이(LCD, Liquid Crystal Display), 박막 트랜지스터 액정 디스플레이(TFT LCD, Thin Film Transistor-LCD), 유기 발광 다이오드(OLED, Organic LED), 능동형 OLED(AMOLED, Active Matrix OLED), 플렉서블 디스플레이(flexible display), 벤디드 디스플레이(bended display), 그리고 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다. 이들 중 일부 디스플레이는 외부를 볼 수 있도록 투명형 또는 광투명형으로 구성되는 투명 디스플레이(transparent display)로 구현될 수 있다.

또한 표시부(130)와 터치 동작을 감지하는 터치 패널이 상호 레이어(layer) 구조를 이루는 경우(이하, '터치스크린(touchscreen)'이라 칭함)에, 표시부(130)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 패널은 표시부(130)의 특정 부위에 가해진 압력 또는 표시부(130)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 패널은 터치되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다. 터치 패널에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기(미도시)로 보내진다. 터치 제어기(미도시)는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 표시부(130)의 어느 영역이 터치되었는지 여부 등을 알 수 있게 된다.

오디오 처리부(140)는 제어부(180)로부터 입력 받은 오디오 신호를 스피커(SPK)로 전송하고, 마이크(MIC)로부터 입력 받은 음성 등의 오디오 신호를 제어부(180)로 전달하는 기능을 수행한다. 오디오 처리부(140)는 음성/음향 데이터를 제어부(180)의 제어에 따라 스피커(SPK)를 통해 가청음으로 변환하여 출력하고 마이크(MIC)로부터 수신되는 음성 등의 오디오 신호를 디지털 신호로 변환하여 제어부(180)로 전달할 수 있다.

스피커(SPK)는 통화 모드, 녹음 모드, 음성인식 모드, 방송수신 모드, 촬영 모드 등에서 무선 통신부(110)로부터 수신되거나, 또는 저장부(150)에 저장된 오디오 데이터를 출력할 수 있다. 스피커(SPK)는 휴대단말에서 수행되는 기능(예컨대, 통화 연결 수신, 통화 연결 발신, 촬영, 음악 파일 재생 등)과 관련된 음향 신호를 출력할 수도 있다.

마이크(MIC)는 통화 모드, 녹음 모드, 음성인식 모드, 촬영 모드 등에서 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 통화모드인 경우 이동통신 모듈(111)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(MIC)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.

저장부(150)는 제어부(180)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들(예컨대, 전화번호, 메시지, 오디오, 정지영상, 동영상, 전자도서 등)의 임시 저장을 위한 기능을 수행할 수도 있다. 저장부(150)에는 휴대단말 기능 운용에 따른 사용 빈도(예컨대, 어플리케이션 사용빈도, 전화번호, 메시지, 멀티미디어에 대한 사용빈도 등), 중요도 및 우선순위도 함께 저장될 수 있다. 저장부(150)에는 터치스크린 상의 터치 입력 시 출력되는 다양한 패턴(pattern)의 진동 및 음향에 관한 데이터를 저장할 수도 있다. 저장부(150)는 촬영 모드에서 촬영되는 데이터(예컨대, 정지영상 이미지, 동영상 이미지), 다양한 후처리 효과를 위한 다양한 촬영 옵션 등을 저장할 수도 있다. 상기 촬영 옵션은 상기 무선 통신부(110)를 통해 다운로드 되어 추가 설치되는 플러그 인 형태로 구현될 수 있다. 또한 저장부(150)는 표시 이미지가 촬영 옵션에 따라 이미지 변환 처리된 제1 이미지와 풀 해상도의 이미지가 촬영 옵션에 따라 이미지 변환 처리된 제2 이미지를 저장할 수 있다. 이때, 저장부(150)는 사용자 설정에 따라 제2 이미지만을 저장하거나, 또는 상기 제1 이미지와 상기 제2 이미지를 함께 저장할 수도 있다.

저장부(150)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 마이크로 타입(micro type), 및 카드 타입(예컨대, SD 카드 또는 XD 카드) 등의 메모리와, 램(RAM, Random Access Memory), SRAM(Static RAM), 롬(ROM, Read-Only Memory), PROM(Programmable ROM), EEPROM(Electrically Erasable PROM), 자기 메모리(MRAM, Magnetic RAM), 자기 디스크(magnetic disk), 및 광디스크(optical disk) 타입의 메모리 중 적어도 하나의 타입의 저장 매체(storage medium)를 포함할 수 있다. 휴대단말은 인터넷 상에서 상기 저장부(150)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.

인터페이스부(160)는 휴대단말에 연결되는 모든 외부 기기와의 통로 역할을 한다. 인터페이스부(160)는 외부 기기로부터 데이터를 전송 받거나, 전원을 공급받아 휴대단말 내부의 각 구성 요소에 전달하거나, 휴대단말 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 입/출력(Input/Output) 포트, 비디오 입/출력 포트, 이어폰 포트 등이 인터페이스부(160)에 포함될 수 있다.

카메라 모듈(170)은 휴대단말의 촬영 기능을 지원하는 구성을 나타낸다. 즉, 카메라 모듈(170)은 피사체의 정지영상 및 동영상 촬영을 지원할 수 있다. 카메라 모듈(170)은 제어부(180)의 제어에 따라 임의의 피사체를 촬영하고, 촬영된 영상 데이터를 표시부(130) 및 제어부(180)로 전달할 수 있다. 예를 들어, 카메라 모듈(170)은 입력된 광 신호를 전기적 신호로 변환하는 이미지 센서(또는 카메라 센서)와, 상기 이미지 센서로부터 입력되는 전기적 신호를 디지털 영상 데이터로 변환하는 이미지 신호 처리부 등을 포함하여 구성될 수 있다. 상기 이미지 센서는 CCD(Charge-coupled Device) 또는 CMOS(Complementary Metal-Oxide-Semiconductor) 등의 방식을 이용하는 센서를 포함할 수 있다. 특히, 카메라 모듈(170)은 다양한 촬영 옵션(이펙트)이 설정되는 촬영 시 이미지를 센싱하여 캡쳐 하기까지의 지연 시간(예컨대, Shot to Preview 시간)을 최소화할 수 있는 이미지 처리 기능을 지원할 수 있다. 즉, 카메라 모듈(170)은 영상 합성이나 다양한 필터 처리와 같은 이미지 보정의 후처리를 통해 새로운 이미지 경험을 제공하고자 하는 촬영 방식에서 이미지 처리에 따른 지연 시간을 최소화할 수 있는 기능을 지원할 수 있다. 본 발명에서 운용되는 카메라 모듈(170)의 구성 및 동작 예시에 대해 후술될 것이다.

제어부(180)는 휴대단말의 전반적인 동작을 제어한다. 예를 들어, 음성 통화, 데이터 통신, 화상 통화 등에 관련된 제어를 수행할 수 있다. 또한 제어부(180)는 본 발명의 실시 예에서 촬영 기능, 촬영된 이미지에 대한 이미지 처리(예컨대, 백그라운드 후처리 보정)와 관련된 제어를 수행할 수 있다. 제어부(180)는 촬영된 이미지의 백그라운드 후처리 보정을 위한 후처리 보정 모듈(185)을 구비할 수도 있다. 또한 제어부(180)는 멀티미디어 재생을 위한 멀티미디어 모듈(미도시)을 구비할 수도 있다. 본 발명에서 후처리 보정 모듈(185) 및 멀티미디어 모듈(미도시)은 제어부(180) 내에 구현될 수도 있고, 제어부(180)와 별도로 구현될 수도 있다.

본 발명의 실시 예에 따르면, 제어부(180)는 본 발명의 실시 예에 따른 카메라 모듈(170)을 이용한 촬영 및 이미지 처리와 관련된 전반적인 동작을 제어한다. 특히, 제어부(180)는 촬영 모드에서 촬영 옵션이 설정되는 이미지 촬영 방식에서 촬영 옵션 적용을 위한 이미지 보정의 후처리 동작과 관련된 전반적인 동작을 제어할 수 있다. 여기서, 제어부(180)는 표시 이미지와 풀 해상도의 이미지(정지 이미지)를 분리하여 병렬(독립)적으로 처리할 수 있다. 제어부(180)는 프리뷰 모드 시 카메라 모듈(170)을 제어하여 표시 이미지를 처리하도록 제어하며, 캡쳐 모드 시 상기 카메라 모듈(170)을 제어하여 표시 이미지에 의한 프리뷰 표시 처리와 풀 해상도의 이미지에 대한 후처리 보정과 같은 이미지 변환의 백그라운드 처리가 동시에 수행될 수 있도록 제어한다.

예를 들어, 제어부(180)는 상기 저장부(150)에 저장되는 적어도 하나의 프로그램을 실행하여 상기 표시 이미지의 프리뷰 표시 중에 촬영 옵션 기반의 촬영 명령이 수신되면 상기 풀 해상도의 이미지에 상기 촬영 옵션을 적용하는 이미지 보정을 백그라운드로 처리하고, 동시에 프리뷰 모드로 진행하여 다음 프레임의 표시 이미지 기반의 프리뷰 표시를 처리하는 것과 관련된 동작 즉, 프리뷰 모드에 의한 처리와 이미지 보정에 의한 처리를 병렬적으로 동시 처리되도록 제어할 수 있다. 여기서, 상기 적어도 하나의 프로그램은, 카메라 모듈을 통해 획득되는 이미지를 표시 이미지 및 풀 해상도의 이미지(정지 이미지)로 변환하여 버퍼링하고, 상기 버퍼링된 표시 이미지를 프리뷰로 표시하며, 상기 표시 이미지의 프리뷰 표시 중에 촬영 옵션을 설정하는 입력이 수신되면 상기 표시 이미지에 상기 촬영 옵션이 적용된 이펙트 프리뷰 이미지를 표시하고, 셔터 버튼 입력이 수신되면 상기 풀 해상도의 이미지에 상기 촬영 옵션을 적용하는 이미지 보정을 백그라운드로 처리하고, 동시에 프리뷰 모드로 진행하여 다음 프레임의 표시 이미지 기반의 프리뷰 표시를 처리하는 것과 관련된 동작을 실행하는 명령어들을 포함할 수 있다.

이러한 제어부(180)의 상세 제어 동작에 대해 후술하는 도면들을 참조한 휴대단말의 동작 예시 및 그의 제어 방법에서 설명될 것이다.

전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성 요소들의 동작에 필요한 전원을 공급한다.

한편, 본 발명에서 설명되는 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, 본 발명에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시 예들이 제어부(180) 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.

그리고 상기 도 1에 나타낸 본 발명의 휴대단말은 본 발명의 기능을 지원하는 모든 정보통신기기, 멀티미디어기기 및 그에 대한 응용기기와 같이 AP(Application Processor), GPU(Graphic Processing Unit), CPU(Central Processing Unit)를 사용하는 모든 디바이스를 포함할 수 있다. 예를 들어, 상기 휴대단말은 다양한 통신 시스템에 대응되는 각 통신 프로토콜들(communication protocols)에 의거하여 동작하는 이동통신 단말기를 비롯하여, 태블릿(tablet) PC(Personal Computer), 스마트 폰(Smart Phone), 디지털 카메라, PMP(Portable Multimedia Player), 미디어 플레이어(Media Player), 휴대게임단말, 및 PDA(Personal Digital Assistant) 등의 디바이스를 포함할 수 있다.

도 2는 본 발명의 실시 예에 따른 카메라 모듈(170)의 구성을 개략적으로 도시한 도면이다.

상기 도 2를 참조하면, 본 발명의 카메라 모듈(170)은 카메라부(210), 이미지 처리부(230), 그리고 코덱(CODEC)(250)을 포함하여 구성된다. 본 발명의 카메라 모듈(170)은 도 2에 도시된 구성 요소들이 필수적인 것은 아니어서, 그보다 많은 구성 요소들을 가지거나, 또는 그보다 적은 구성 요소들을 가지는 것으로 구현될 수 있다.

상기 카메라부(210)는 상기 제어부(180)에 의한 카메라 모듈(170) 구동 시 즉, 촬영 기능 활성화 시 내부의 센서를 통해 이미지를 획득하는 기능을 수행한다. 상기 카메라부(210)는 광학부(211), 이미지 센서(213), 그리고 신호 처리부(215) 등을 포함하여 구성될 수 있다.

상기 광학부(211)는 메카 셔터(mecha-shutter), 모터(motor) 및 액츄에이터(actuator)에 의해 구동되며, 상기 액츄에이터에 의해 주밍(zooming) 및 포커싱(focusing) 등의 동작을 수행할 수 있다. 상기 광학부(211)는 주변의 이미지를 촬상하며, 상기 이미지 센서(213)는 상기 광학부(211)에 의해 촬상되는 이미지를 감지하여 전기적인 신호로 변환한다. 여기서, 상기 이미지 센서(231)는 CMOS 센서 또는 CCD 센서 등과 같은 고해상도의 이미지 센서가 될 수 있다. 또한 본 발명의 실시 예에서 상기 이미지 세서(213)는 UHD(Ultra High Definition)급 이상의 이미지를 감지할 수 있는 센서가 될 수도 있다. 상기 이미지 센서(213)는 글로벌 셔터(global shutter)를 내장할 수도 있다. 그리고 상기 이미지 센서(213)에서 감지되는 이미지는 상기 신호 처리부(215)를 통해 디지털 이미지(digital image)로 변환되어 출력된다. 여기서, 상기 신호 처리부(215)는 ISP(Image Signal Processor)가 될 수 있다. 또한 상기 카메라부(210)는 뷰파인더(viewfinder)를 구비할 수도 있다.

상기 이미지 처리부(230)는 상기 카메라부(210)에서 생성되는 이미지를 표시 이미지로 변환 및 처리한다. 또한 상기 이미지 처리부(230)는 촬영 옵션이 부가되는 경우 표시 이미지를 이용한 이미지 변환과 정지 이미지를 이용한 이미지 변환을 처리할 수 있다. 상기 이미지 처리부(230)는 전처리부(231), 이미지 스케일러(image scaler)(233), 정지 이미지 버퍼(235), 표시 이미지 버퍼(237), 그리고 후처리부(239)를 포함하여 구성될 수 있다.

상기 전처리부(231)는 상기 카메라부(210)로부터 획득되는 이미지를 전처리하는 기능을 수행한다. 여기서, 상기 전처리 기능은 3A(AWB(Auto White Balance), AE(Auto Exposure), AF(Auto Focusing)) 추출 및 처리 기능과, 렌즈 셰이딩 보상(lens shading correction), 데드픽셀 보정(dead pixel correction), 그리고 니 보정(knee correction) 기능 등이 포함될 수 있다.

상기 이미지 스케일러(233)는 상기 전처리부(231)에서 출력되는 카메라부(210)의 풀 해상도의 이미지를 표시부(130)에 표시하기 위한 크기의 이미지 크기로 조절(이미지 스케일링)하는 기능을 수행한다. 여기서, 상기 이미지 스케일링은 리사이즈(resize), 데시메이션(decimation), 인터폴레이션(interpolation), 크롭(crop), 가산 및 평균화 등의 다양한 방법들 중에 하나 또는 그 이상의 방법들을 사용하여 구현할 수 있다. 상기 이미지 스케일러(233)는 리사이저(resizer) 및/또는 평균화부(summing average) 등을 포함하여 구성될 수 있다.

상기 이미지 스케일러(233)를 상기 리사이저로 구현하는 경우, 상기 리사이저는 상기 전처리부(231)에서 출력되는 풀 해상도의 이미지를 상기 표시부(130)에 표시하기 위한 이미지의 용량 및 크기로 리사이징 한다. 이때, 리사이징은 앞서 살펴본 바와 같이 표시부(130)의 화면비에 맞도록 데시메이션, 인터폴레이션 및 크롭 등의 동작을 수행할 수 있다. 또한 상기 이미지 스케일러(233)를 상기 평균화부로 구현하는 경우, 상기 평균화부는 이미지의 인접 화소들을 가산 및 평균화하여 이미지의 화소수를 감축한다. 상기 평균화부는 상기 전처리부(231)에서 출력되는 풀 해상도 이미지의 인접 화소들을 평균화하여 표시 이미지의 화소수를 감출한다.

상기 정지 이미지 버퍼(235)는 상기 전처리부(231)에서 출력되는 상기 카메라부(210)의 풀 해상도의 이미지를 버퍼링 할 수 있다. 여기서, 상기 정지 이미지 버퍼(235)는 고 해상도의 프레임 이미지를 저장할 수 있는 크기로 설정될 수 있다. 상기 정지 이미지 버퍼(235)는 매 프레임마다 상기 전처리부(231)에서 출력되는 풀 해상도의 이미지를 버퍼링하며, 캡쳐 요구시 상기 제어부(180)의 제어에 의해 선택되는 이미지가 억세스(access) 될 수 있다.

상기 표시 이미지 버퍼(237)는 상기 이미지 스케일러(233)에서 출력되는 스케일링된 이미지(표시 이미지)를 버퍼링 할 수 있다. 여기서, 상기 표시 이미지 버퍼(237)는 표시 이미지를 표시부(130)에 표시 처리하기 위한 시간을 보상하는 기능을 수행할 수도 있다.

상기 후처리부(239)는 상기 표시 이미지 버퍼(237) 및/또는 상기 정지 이미지 버퍼(235)에서 출력되는 표시 이미지 및/또는 정지 이미지가 입력되며, 상기 입력되는 이미지에 대해 색 보간(color interpolation), 잡음 제거(noise rejection), 그리고 색 보정(color correction) 등과 같은 후처리를 수행하고, 후처리된 이미지를 색 변환(image conversion) 처리를 통해 YUV 데이터를 생성한다. 즉, 상기 후처리부(239)는 전처리된 이미지를 색 보간에 의해 후처리한 후 YUV 이미지로 변환하는 기능을 수행할 수 있다. 상기 후처리부(239)는 색 보간기(color interpolator), IPC(Image Processing Chain), 그리고 색 변환부(image converter) 등을 포함하여 구성될 수 있다.

상기 색 보간기는 입력되는 이미지를 컬러 이미지로 변환하는 색 보간 기능을 수행한다. 예를 들어, 상기 색 보간기는 상기 카메라부(210)에서 출력되는 이미지의 화소들이 3가지 색상의 RGB를 포함하는 색으로 변환(full color 변환)하는 기능을 수행할 수 있다. 상기 색 보간기는 인접한 화소들 간의 상관관계를 이용하여 색 보간 기능을 수행한다. 일반적으로, 이미지 처리부(230)에서 상기 색 보간 이전의 이미지 처리를 전처리라 칭하고 상기 색 보간 이후의 이미지 처리를 후처리라 칭할 수 있다.

상기 IPC는 상기 색 보간기를 통해 색 보간된 이미지의 노이즈 감소(noise reduction), 감마 보정(gamma correction), 그리고 휘도 보정(luminance correction) 등을 수행할 수 있다.

상기 색 변환부는 후처리되는 이미지를 YUV 이미지로 변환한다.

상기 후처리부(239)는 프리뷰 모드에서 상기 후처리부(239)의 이미지를 상기 표시부(130)에 출력할 수 있다. 또한 상기 후처리부(239)는 캡쳐 모드에서 상기 후처리부(239)의 이미지를 표시 이미지 및 정지 이미지로 구분하고, 표시 이미지는 상기 표시부(130)에 출력하고, 풀 해상도의 이미지는 백그라운드에 의한 후처리 보정한 후 상기 코덱(250)을 통해 상기 저장부(150)에 출력할 수 있다. 이러한 상기 후처리부(239)의 기능은 소프트웨어적으로 구성할 수도 있다.

상기 소프트웨어적으로 후처리부(239)의 기능을 구성하는 방법은 상기 제어부(180)가 매 프레임 구간에서 상기 표시 이미지 버퍼(237)와 상기 정지 이미지 버퍼(250)를 제어하여 상기 후처리부(239)에 인가되는 이미지를 선택하고, 상기 후처리부(239)에서 출력되는 이미지를 제어하여 각각 표시 이미지 및 정지 이미지로 구분할 수 있다. 그리고 구분된 표시 이미지를 프리뷰 모드로 복귀하여 상기 표시부(130)에 출력되도록 제어하고, 구분된 정지 이미지에 대한 이미지 보정을 그 완료 시까지 백그라운드로 처리할 수 있다. 또한 이러한 백그라운드 기반의 후처리 보정 기능은 저장부(150) 및 제어부(180) 중 적어도 하나 또는 별도의 프로세서(미도시)에 저장 또는 탑재(loading)될 수도 있다. 또한, 촬영 기능(특히, 프리뷰 모드, 프리뷰 모드에서 프리뷰 이미지 표시, 촬영 등)을 담당하는 기본적인 촬영 어플리케이션과는 별도로 백그라운드 기반의 후처리 보정을 위한 별도의 이미지 보정 어플리케이션으로 구현될 수도 있다. 이러한 경우, 상기 촬영 어플리케이션과 상기 이미지 보정 어플리케이션은 병렬적으로 이미지 처리를 수행하며, 만약 촬영 어플리케이션이 종료되고 후처리 보정이 완료되지 않은 경우 상기 이미지 보정 어플리케이션은 상기 촬영 어플리케이션의 종료와는 상관없이 후처리 보정 완료 시까지 타스크를 계속하여 수행할 수 있다. 이러한 이미지 보정 어플리케이션의 타스크 수행 정도는 사용자 설정에 따라 설정된 주기에 따라 운용되거나, 또는 사용자 선택에 의해 수동 종료 또는 실행될 수도 있다. 상기 설정된 주기에 따른 운용은 구간(예컨대, 일정 시간대의 밤(예컨대, 사용자가 취침하는 시간대 등)), 시간 단위, 요일 단위, 주 단위, 그리고 월 단위 등으로 다양하게 설정될 수 있다.

상기 코덱(250)은 상기 이미지 처리부(230)에서 출력되는 정지 이미지를 압축 부호화하여 저장부(150)에 저장한다. 여기서, 상기 코덱(250)은 JPEG 코덱 등이 될 수 있다.

상기와 같은 구성을 가지는 휴대단말의 동작을 살펴보면 다음과 같다.

제어부(180)는 사용자 입력부(120)를 통해 입력되는 제어 명령에 따라 카메라 모듈(170)의 동작을 제어한다. 즉, 사용자가 상기 사용자 입력부(120)를 통해 카메라 모듈(170)의 구동 명령이 발생하면, 상기 카메라부(210) 및 이미지 처리부(230)를 제어하여 프리뷰 모드의 동작을 수행한다.

구체적으로, 상기 제어부(180)는 상기 구동 명령에 따라 카메라부(210)를 구동하고, 상기 카메라부(210)에서 출력되는 이미지는 상기 전처리부(231)에 입력된다. 상기 전처리부(231)는 상기 제어부(180)의 제어 하에 매 프레임 주기(프레임율(frame rate))의 프레임 이미지를 생성한다. 여기서, 상기 프레임 주기는 30fps(frame per sec) 또는 그 이상의 프레임 주기(예컨대, 60fps)를 가질 수 있다. 상기 전처리부(231)는 상기 프레임 이미지에 3A(AWB, AE, AF)를 추출하여 처리하고, 렌즈 셰이딩 보상, 데드 픽셀, 니(knee) 보정 등을 수행한다. 상기와 같이 전처리된 이미지는 풀 해상도의 이미지로써, 상기 이미지 스케일러(233) 및 정지 이미지 버퍼(235)에 인가된다.

상기 이미지 스케일러(233)는 입력되는 풀 해상도의 이미지를 표시부(130)에 표시하기 위한 크기로 이미지 스케일링을 수행한다. 상기 이미지 스케일링은 상기 카메라부(210)에서 획득되는 풀 해상도의 이미지의 화소수를 줄여 상기 표시부(130)에 표시할 수 있는 적정 크기로 스케일링하며, 또한 상기 표시부(130)의 화면비에 맞도록 상기 풀 해상도 이미지를 스케일링할 수 있다. 여기서 상기 이미지 스케일링은 다양한 비율로 스케일링할 수 있다.

상기와 같이 이미지 스케일링된 이미지는 표시 이미지 버퍼(237)에 인가되어 버퍼링될 수 있다. 여기서, 상기 표시 이미지 버퍼(237)는 표시 이미지의 이미지 처리 시간을 조정하는 기능을 수행할 수 있다. 즉, 상기 표시 이미지 버퍼(237)는 캡쳐 모드 시 정지 이미지의 처리를 완료할 때까지 다음 프레임의 표시 이미지를 버퍼링하는 기능을 수행할 수 있다.

그리고 상기 정지 이미지 버퍼(235)는 매 프레임 주기에서 상기 전처리부(231)에서 출력되는 풀 해상도의 이미지를 버퍼링한다. 이때, 상기 정지 이미지 버퍼(235)는 링 버퍼(ring buffer) 구조를 가질 수 있으며, 설정된 수의 프레임 이미지들을 버퍼링할 수 있다. 즉, 정지 이미지 버퍼(235)는 N 프레임의 이미지 데이터를 저장할 수 있는 N개의 링 버퍼 구조를 가질 수 있으며, 매 프레임마다 상기 전처리부(231)에서 출력되는 프레임 이미지 데이터를 버퍼링할 수 있다. 예를 들어, 매 프레임에서 생성되는 프레임 이미지 데이터들은 정지 이미지 버퍼(235)의 첫 번째 버퍼에서부터 순차적으로 버퍼링되며, 마지막 버퍼까지 프레임 이미지 데이터가 버퍼링되면 상기 제어부(180)는 다시 첫 번째 버퍼에 전처리부(231)에서 출력되는 프레임 이미지 데이터를 오버라이트(overwrite) 한다.

따라서 매 프레임에서 상기 카메라부(210)로부터 획득되는 이미지는 표시 이미지 버퍼(237)에 표시 이미지로 버퍼링되고, 정지 이미지 버퍼(235)에 정지 이미지로 버퍼링된다. 그러면, 상기 제어부(180)는 프레임 구간에서 상기 표시 이미지 버퍼(237) 및/또는 상기 정지 이미지 버퍼(235)의 이미지를 상기 후처리부(239)에 인가한다.

먼저, 프리뷰 모드의 동작을 개략 살펴보면 다음과 같다.

앞서 살펴본 바와 같이 매 프레임에서 상기 카메라부(210)로부터 촬영되는 이미지는 전처리된 풀 해상도의 이미지가 이미지 스케일링되어 표시 이미지로 생성될 수 있다. 그리고 표시 이미지 버퍼(237)는 스케일링된 표시 이미지를 버퍼링하며, 상기 정지 이미지 버퍼(235)는 상기 전처리된 풀 해상도의 이미지를 버퍼링한다. 상기 제어부(180)는 상기 표시 이미지 버퍼(237)에 버퍼링된 표시 이미지를 후처리부(239)에 전달한다. 그러면, 상기 후처리부(239)는 상기 표시 이미지를 색 보간, IPC 처리 및 이미지 변환 등을 처리하여 표시 이미지(예컨대, YUV 이미지)로 출력한다. 그러면, 제어부(180)는 상기 표시 이미지를 억세스하여 표시부(130)(또는 표시부(130) 및 저장부(150))에 출력되도록 제어한다. 특히, 제어부(180)는 프리뷰 모드에서 촬영 옵션이 설정될 시 상기 표시 이미지 버퍼(237)의 표시 이미지를 기반으로 이미지 변환이 이루어지고, 이미지 변환된 표시 이미지(이펙트 프리뷰 이미지)가 표시부(130)에 출력되도록 제어한다.

다음으로, 캡쳐 모드의 동작을 개략 살펴보면 다음과 같다.

앞서 살펴본 바와 같은 프리뷰 모드에서 사용자가 사용자 입력부(120)를 통해 정지 이미지 촬영(캡쳐)을 요구하면, 상기 제어부(180)는 상기 정지 이미지 버퍼(235)에서 버퍼링 중인 풀 해상도의 이미지(정지 이미지)를 선택한다. 이때, 제어부(180)는 캡쳐 모드 처리 시 리뷰 모드가 설정된 경우 상기 표시 이미지 버퍼(237)에 저장된 표시 이미지를 선택하여 후처리부(239)에 인가하며, 상기 후처리부(239)에서 처리된 표시 이미지가 후처리 보정(즉, 촬영 옵션에 따른 이펙트가 적용)된 이펙트 프리뷰 이미지를 상기 표시부(130)에 표시되도록 처리한다. 또한 제어부(180)는 상기 리뷰 모드에서 상기 표시부(130)에 표시된 표시 이미지의 저장이 요청되면, 상기 정지 이미지 버퍼(235)에 버퍼링된 풀 해상도의 이미지를 선택하여 후처리부(239)에 전달한다. 그리고 상기 후처리부(239)는 입력되는 정지 이미지를 처리한다. 이때, 상기 정지 이미지는 상기 카메라부(210)를 통해 획득되는 풀 해상도의 이미지가 될 수 있다. 그리고 상기 제어부(180)는 상기 정지 이미지에 대해 백그라운드로 처리하고, 상기 표시 이미지 버퍼(237)에 버퍼링되는 표시 이미지를 리드(read)하여 후처리부(239)를 통해 상기 표시부(130)에 표시되도록 처리한다.

또한 제어부(180)는 캡쳐 모드 처리 시 리뷰 모드가 설정되지 않은 경우 상기 표시 이미지에 의한 처리는 생략하고, 상기 정지 이미지 버퍼(235)의 풀 해상도의 이미지에 대한 이미지 보정과 같은 이미지 변환 처리를 백그라운드로 진행하고, 이와 병렬적으로 상기 표시 이미지 버퍼(237)의 표시 이미지를 리드하여 후처리부(239)를 통해 상기 표시부(130)에 표시되도록 처리한다.

이상에서와 같이, 본 발명의 실시 예에 따르면, 사용자 입력부(120)를 통해 캡쳐 요구가 발생되면, 상기 제어부(180)는 프리뷰 모드 처리와 이미지 보정 처리를 병렬적으로 수행할 수 있다. 그리고 제어부(180)는 상기 표시 이미지를 표시부(130)에 표시하고, 캡쳐 요구가 발생된 시점의 풀 해상도의 이미지를 상기 정지 이미지 버퍼(235)에서 선택하여 후처리 보정을 백그라운드로 처리할 수 있다. 이후, 이미지 보정이 완료될 시 제어부(180)는 백그라운드로 처리된 풀 해상도의 이미지를 부호화하여 저장부(150)에 저장하도록 제어한다.

즉, 상기 제어부(180)는 상기 이미지 처리부(230)를 제어하여 표시 이미지를 상기 표시 이미지 버퍼(237)에 일시 저장하며, 풀 해상도의 이미지를 상기 정지 이미지 버퍼(235)에 일시 저장되도록 제어할 수 있다. 그리고 제어부(180)는 프리뷰 모드 시 상기 이미지 처리부(230)를 제어하여 상기 표시 이미지 버퍼(237)의 표시 이미지가 표시부(130)에 출력되도록 제어할 수 있다. 또한 제어부(180)는 캡쳐 모드 시 상기 이미지 처리부(230)를 제어하여 상기 표시 이미지 버퍼(237)의 표시 이미지가 표시부(130)에 출력되도록 제어하며, 상기 정지 이미지 버퍼(235)의 풀 해상도의 이미지에 대한 후처리 이미지 보정을 백그라운드로 처리하여 저장부(150)에 저장되도록 제어할 수 있다.

그리고 상기 제어부(180)는 상기 이펙트 프리뷰 이미지를 선택적으로 저장할 수 있다. 예를 들어, 제어부(180)는 사용자 설정에 따라 상기 풀 해상도의 이미지에 대한 이미지 보정 수행 시 이펙트 프리뷰 이미지를 캡쳐하여 저장하거나, 리뷰 모드에 따라 캡쳐된 이펙트 프리뷰 이미지를 저장할 수도 있다.

이상에서와 같이, 본 발명의 실시 예에 따른 휴대단말은 후처리 이미지 보정을 위한 풀 해상도의 이미지에 대한 이미지 변환 처리를 백그라운드로 처리하고, 동시에 프리뷰 모드로 회귀하도록 하여, 상기 카메라부(210)에서 획득되는 이미지를 센싱하여 캡쳐하기까지 즉, 셔터 버튼을 입력한 후 다음 촬영이 가능할 때까지의 사용자 대기 동작을 제거할 수 있다. 이에 따라, 다양한 촬영 옵션 또는 고해상도 이미지 등과 같이 지연 시간을 필요로 하는 촬영 방식에서도, 사용자는 실질적으로 대기 시간을 가질 필요 없이 다음 촬영을 바로 수행할 수 있다.

도 3은 본 발명의 실시 예에 따른 휴대단말에서 촬영 이미지를 처리하는 방법을 도시한 흐름도이다.

상기 도 3을 참조하면, 제어부(180)는 사용자 입력부(120) 또는 입력 기능의 표시부(130)를 통해 카메라 모듈(170) 구동 명령이 발생되면, 카메라 모듈(170)을 구동하고(301단계), 카메라 모듈(170)을 통해 획득되는 이미지가 처리되어 표시부(130)에 프리뷰 이미지가 표시되는 프리뷰 모드를 제어할 수 있다(303단계). 여기서, 제어부(180)는 표시 이미지 버퍼(237)의 표시 이미지를 상기 표시부(130)에 출력하여 상기 프리뷰 이미지를 표시하고, 정지 이미지 버퍼(235)를 통해 풀 해상도의 정지 이미지를 버퍼링할 수 있다.

제어부(180)는 상기 프리뷰 모드에 따른 프리뷰 이미지 표시 중에 사용자 선택에 따른 촬영 옵션을 설정할 수 있다(305단계). 예를 들어, 제어부(180)는 상기 프리뷰 이미지 표시 중에 사용자 입력에 따라 촬영 옵션이 요청되면, 상기 프리뷰 이미지 상에 다양한 옵션(이펙트)을 설정할 수 있는 팝업(예컨대, 촬영 옵션 메뉴)을 제공하고, 상기 팝업(예컨대, 촬영 옵션 메뉴)에서 사용자가 선택되는 옵션을 촬영 옵션으로 설정할 수 있다.

제어부(180)는 촬영 옵션 설정이 완료되면 이펙트 프리뷰 이미지 표시를 제어할 수 있다(307단계). 즉, 제어부(180)는 상기 표시 이미지 버퍼(237)를 통해 획득된 표시 이미지에 사용자 설정의 촬영 옵션에 대응하는 이펙트가 처리(이미지 변환)된 이펙트 프리뷰 이미지를 표시할 수 있다. 여기서, 상기 표시 이미지는 상기 풀 해상도의 정지 이미지에 비해 작은 크기를 가질 수 있으며, 표시부(130)의 크기에 대응하는 크기를 가질 수 있다. 따라서 상기 이펙트 프리뷰 이미지도 상기 표시 이미지의 크기에 대응하는 크기를 가지게 된다.

제어부(180)는 상기 이펙트 프리뷰 이미지 표시 중에 사용자로부터 셔터 버튼 입력을 수신할 수 있다(309단계). 예를 들어, 사용자는 사용자 입력부(120) 또는 입력 기능의 표시부(130)를 통해 촬영을 명령하는 셔터 버튼을 입력할 수 있다.

제어부(180)는 셔터 버튼 입력을 수신하면, 프리뷰 모드로 진행하여(311단계) 프리뷰 이미지를 표시할 수 있다(315단계). 그리고 제어부(180)는 상기 프리뷰 이미지 표시를 위한 처리와 함께 상기 이펙트 프리뷰 이미지에 대응하는 후처리 보정을 위한 백그라운드 진행을 병렬적으로 동시 처리할 수 있다(313단계).

예를 들어, 제어부(180)는 셔터 버튼 입력이 수신되면, 프리뷰 모드로 회귀하여 상기 이펙트 프리뷰 이미지를 표시 이미지 버퍼(237)를 통해 획득되는 표시 이미지를 프리뷰 이미지로 표시할 수 있다. 그리고 제어부(180)는 상기 프리뷰 모드를 위한 동작과는 별개로 사용자 설정에 따른 촬영 옵션의 이미지 변환을 위한 처리를 백그라운드로 병렬 진행할 수 있다. 이때, 제어부(180)는 셔터 버튼이 입력되는 시점에 정지 이미지 버퍼(235)에 버퍼링 중인 풀 해상도의 이미지(정지 이미지)를 획득하고 상기 정지 이미지에 상기 촬영 옵션을 적용하는 이미지 변환을 백그라운드로 진행할 수 있다. 즉, 제어부(180)는 매 프레임 주기에서 카메라 모듈(170)로부터 이미지를 획득하며, 획득되는 이미지를 프리뷰하기 위한 표시 이미지로 변환하여 표시부(130)에 표시하고, 또한 상기 카메라 모듈(170)로부터 획득되는 풀 해상도의 이미지에 촬영 옵션을 적용하기 위한 처리를 백그라운드로 독립적으로 처리한다.

도 4 내지 도 9는 본 발명의 실시 예에 따른 휴대단말을 이용하여 피사체를 촬영하는 동작 예시를 도시한 도면들이다.

상기 도 4 내지 도 9를 참조하면, 상기 도 4는 휴대단말이 표시 이미지를 프리뷰로 표시중일 때의 휴대단말의 화면 예시를 나타낸 것이다. 예를 들어, 사용자로부터 입력되는 제어 명령에 따라 카메라 모듈(170)의 구동 명령이 발생하면, 상기 카메라부(210) 및 이미지 처리부(230)를 제어하여 프리뷰 모드의 동작이 수행되고 있는 상태의 화면이 제공될 수 있다.

사용자는 상기 프리뷰 모드에 따른 프리뷰 이미지가 표시된 상태에서 상기 도 4에 도시된 바와 같이 상기 프리뷰 이미지가 표시된 화면에서 촬영 옵션 설정을 위한 설정 아이템(또는 아이콘)(400)을 선택하는 선택 이벤트를 입력할 수 있다. 예를 들어, 사용자는 프리뷰 이미지가 표시된 화면에서 옵션 설정을 지시하는 설정 아이템(또는 아이콘)(400)을 선택(터치)하여 촬영 옵션 메뉴(500) 호출을 명령할 수 있다. 그러면, 휴대단말은 상기 설정 아이템(400)에 선택 이벤트(터치)가 입력되면 상기 도 5에 도시된 바와 같이 촬영 옵션 설정이 가능한 촬영 옵션 메뉴(500)를 화면 상에 표시할 수 있다. 즉, 상기 도 5는 휴대단말의 프리뷰 이미지가 표시된 화면에서 다양한 촬영 옵션을 선택할 수 있는 촬영 옵션 메뉴(500)가 표시된 상태의 화면 예시를 나타낸 것이다.

본 발명에 따르면, 사용자는 상기 촬영 옵션 메뉴(500)를 통해 스케치, 음영, 왜곡, 합성, 애니메이션, 비네팅, 빈티지, 색변환, 파스텔, 야광 등과 같은 이펙트 옵션과, 화질 개선을 위한 구도, 피사체의 배경을 변경할 수 있는 배경, 넓은 시야각을 촬영할 수 있는 파노라마 등과 같은 이펙트 옵션 등과 같은 다양한 촬영 옵션을 선택 설정할 수 있다. 이러한 촬영 옵션은 플러그 인 형태로 구현되어 사용자 선택에 따라 추가 또는 삭제될 수 있다. 또한 본 발명의 상기 촬영 옵션 메뉴(500)를 통해 촬영 옵션을 다운로드 할 수 있는 서버로 접속하기 위한 기능 메뉴가 제공될 수 있으며, 사용자는 상기 기능 메뉴 선택에 의해 촬영 모드 중에도 촬영 옵션 다운로드를 위한 서버로 접속할 수도 있다.

한편, 사용자는 상기 도 5와 같이 상기 촬영 옵션 메뉴(500)가 표시된 화면에서 상기 도 6에 도시된 바와 같이 설정하고자 하는 옵션 항목을 선택하는 선택 이벤트를 입력할 수 있다. 예를 들어, 사용자는 상기 도 6에 도시된 바와 같이 상기 촬영 옵션 메뉴(500)를 통해 제공된 다양한 촬영 옵션들 중 스케치(sketch) 옵션을 선택하는 선택 이벤트(터치)를 입력할 수 있다. 그리고 사용자는 설정하고자 하는 옵션 항목을 선택한 후 옵션 설정을 완료할 수 있다. 또는 휴대단말은 상기 촬영 옵션 메뉴(500)에서 사용자로부터 옵션을 선택하는 선택 이벤트 입력을 감지하면, 자동으로 옵션 설정을 완료할 수도 있다.

휴대단말은 촬영 옵션 설정이 완료되면, 도 7과 같은 화면을 표시한다. 즉, 상기 도 6에 나타낸 휴대단말의 화면은 선택 이벤트 입력에 따라 상기 도 7과 같이 전환된다.

휴대단말은 앞서와 같이 촬영 옵션 설정 화면에서 사용자 입력(선택 이벤트 입력)에 의해 옵션 항목(예컨대, 스케치)이 선택되면, 상기 도 7과 같이 상기 프리뷰 이미지에 사용자 선택에 따른 옵션(또는 이펙트)이 적용된 이펙트 프리뷰 이미지를 표시한다. 즉, 상기 도 4와 같이 표시 이미지가 프리뷰로 표시되는 휴대단말의 화면은 상기 도 6에서 사용자에 의해 선택된 옵션 항목의 옵션에 대응하게 이미지 변환 처리된 이펙트 프리뷰 이미지가 프리뷰로 표시되는 화면으로 전환된다.

사용자는 상기 도 7과 같이 상기 이펙트 프리뷰 이미지가 프리뷰로 표시된 상태에서 촬영(캡쳐)을 수행하고자 셔터 버튼을 입력할 수 있다. 휴대단말은 셔터 버튼이 입력되면, 리뷰 모드 또는 퀵뷰 모드의 설정 상태(활성화 또는 비활성화)에 따라 도 8 또는 도 9와 같은 화면을 표시할 수 있다.

예를 들어, 상기 리뷰 모드가 활성화로 설정된 경우, 상기 셔터 버튼 입력에 따라 상기 도 7에 나타난 화면은 도 8과 같이 전환된다. 상기 도 8에 도시된 바와 같이 휴대단말은 상기 도 7에 도시된 바와 같은 이펙트 프리뷰 이미지를 캡쳐하고, 캡쳐된 캡쳐 이미지를 표시하고, 상기 캡쳐 이미지의 저장 여부를 결정할 수 있는 저장 아이템(또는 아이콘, 메뉴 등)(800)을 상기 캡쳐 이미지 화면의 일 영역에 표시할 수 있다. 즉, 상기 도 8은 표시 이미지 버퍼(237)의 표시 이미지에 촬영 옵션(예컨대, 스케치)이 적용된 캡쳐 이미지가 표시된 상태의 화면 예시를 나타낸 것이다.

사용자는 도 8과 같이 캡쳐 이미지의 프리뷰를 통해 확인하고, 상기 캡쳐 이미지의 저장 여부를 결정할 수 있다. 그리고 사용자는 상기 캡쳐 이미지의 저장을 결정할 시 상기 저장 아이템(800)을 선택하는 이벤트(터치)를 입력할 수 있다. 또는 상기 캡쳐 이미지의 취소를 결정할 시 휴대단말에 구현된 취소 버튼(미도시)을 선택하는 이벤트(터치)를 입력할 수도 있다.

상기 도 8과 같은 상태에서 사용자가 캡쳐 이미지의 저장을 선택하거나, 또는 상기 도 7과 같은 상태에서 리뷰 모드가 비활성화로 설정된 경우(즉, 퀵뷰 모드가 활성화로 설정된 경우), 도 9에 도시된 바와 같이 프리뷰 동작으로 회귀하여 프리뷰 모드에 따른 프리뷰 이미지가 표시되는 화면을 표시할 수 있다. 즉, 상기 도 9는 휴대단말이 새로운 표시 이미지를 프리뷰로 표시중일 때의 휴대단말의 화면 예시를 나타낸 것이다.

예를 들어, 상기 도 7과 같은 화면 표시 상태에서 셔터 버튼 입력 또는 상기 도 8과 같은 화면 표시 상태에서 저장 명령 입력에 따라 상기 도 7 또는 도 8에 나타난 화면은 도 9와 같이 전환된다. 그리고 휴대단말은 상기 도 7 또는 도 8에서 사용자 입력에 따른 인터랙션(예컨대, 셔터 버튼 입력 또는 저장 명령 입력)이 수신되면, 정지 이미지 버퍼(235)의 풀 해상도의 이미지(정지 이미지)에 촬영 옵션(예컨대, 스케치)을 적용하는 이미지 변환 등의 처리를 백그라운드로 처리할 수 있다. 그리고 휴대단말은 상기 풀 해상도의 이미지에 대한 이미지 보정을 백그라운드로 처리하면서, 동시에 프리뷰 모드로 회귀하여 화면 상에 카메라 모듈(170)을 통해 획득되는 표시 이미지를 프리뷰 이미지로 표시할 수 있다.

이때, 상기 도 9에 도시된 바와 같이 표시 이미지 버퍼(237)의 표시 이미지가 프리뷰로 표시되는 화면의 일 영역에 상기 백그라운드 처리에 따른 진행 상태를 통지하는 상태 아이템(예컨대, 아이콘, 상태바, 텍스트 등)(900)이 제공될 수 있다.

이상에서와 같이 본 발명의 실시 예에 따르면, 리뷰 모드가 활성화 설정된 경우에는 해상도가 낮은 프리뷰 크기의 표시 이미지에 사용자의 선택에 따른 옵션(이펙트)을 적용하는 이미지 보정을 통해 빠른 표시가 가능하도록 할 수 있다. 또한 리뷰 모드에서 저장 명령 입력 또는 리뷰 모드가 비활성화 설정된 경우에는 바로 프리뷰 모드 전환에 의한 프리뷰 이미지를 표시하면서, 이와 병렬적으로 풀 해상도(또는 사용자 설정에 따른 해상도) 크기의 정지 이미지에 사용자의 선택에 따른 옵션(이펙트)을 적용하는 이미지 보정을 백그라운드로 진행할 수 있다. 이에 따라, 사용자가 다음 촬영을 위한 지연 시간(예컨대, 셔터 지연 또는 셔터 랙) 없이 다음 촬영을 바로 수행할 수 있다.

도 10은 본 발명의 실시 예에 따른 휴대단말에서 촬영 이미지를 처리하는 방법을 도시한 흐름도이다.

상기 도 10을 참조하면, 제어부(180)는 사용자 입력부(120) 또는 입력 기능의 표시부(130)를 통해 카메라 모듈(170) 구동 명령이 발생되면, 카메라 모듈(170)을 구동하고(1001단계), 카메라 모듈(170)을 통해 획득되는 이미지가 처리되어 표시부(130)에 프리뷰 이미지가 표시되는 프리뷰 모드를 제어할 수 있다(1003단계). 여기서, 제어부(180)는 표시 이미지 버퍼(237)의 표시 이미지를 상기 표시부(130)에 출력하여 상기 프리뷰 이미지를 표시하고, 정지 이미지 버퍼(235)를 통해 풀 해상도의 정지 이미지를 버퍼링할 수 있다.

제어부(180)는 상기 프리뷰 이미지 표시 중에 사용자 설정에 따른 촬영 옵션을 설정할 수 있다(1005단계). 예를 들어, 제어부(180)는 상기 프리뷰 이미지 표시 중에 사용자 입력에 따라 촬영 옵션이 요청되면, 상기 프리뷰 이미지 상에 다양한 옵션(이펙트)을 설정할 수 있는 촬영 옵션 메뉴(500)를 제공하고, 상기 촬영 옵션 메뉴(500)를 통해 사용자가 선택하는 옵션을 촬영 옵션으로 설정할 수 있다.

제어부(180)는 사용자 선택에 따른 촬영 옵션 설정 시, 선택된 촬영 옵션이 프리뷰를 지원하는 옵션인지 여부를 판단할 수 있다(1007단계). 예를 들어, 제어부(180)는 선택된 촬영 옵션이 스케치 등의 이펙트와 같이 표시 이미지에 바로 적용되어 프리뷰로 표시 가능한 옵션인지, 또는 왜곡 등의 이펙트와 같이 표시 이미지에 바로 적용하지 않고 후처리 보정에 의해 적용되는 옵션인지 등을 구분할 수 있다.

제어부(180)는 선택된 촬영 옵션이 프리뷰 지원 옵션인 경우(1007단계의 YES) 표시 이미지에 선택된 촬영 옵션에 따른 이펙트(예컨대, 스케치)가 적용된 이펙트 프리뷰 이미지를 화면 상에 프리뷰 표시할 수 있다(1009단계). 즉, 제어부(180)는 상기 표시 이미지 버퍼(237)를 통해 획득된 표시 이미지에 사용자 설정의 촬영 옵션에 대응하는 이펙트가 처리(이미지 변환)된 이펙트 프리뷰 이미지를 표시할 수 있다. 여기서, 상기 표시 이미지는 상기 풀 해상도의 정지 이미지에 비해 작은 표시 크기를 가질 수 있으며, 표시부(130)의 표시 크기에 대응하는 크기를 가질 수 있다. 따라서 상기 이펙트 프리뷰 이미지도 상기 표시 이미지의 표시 크기에 대응하는 크기를 가지게 된다.

제어부(180)는 상기 이펙트 프리뷰 이미지 표시 중에 사용자로부터 셔터 버튼 입력을 수신하면(1011단계), 리뷰 모드가 설정되어 있는지 판단할 수 있다(1013단계).

제어부(180)는 리뷰 모드가 설정되어 있지 않으면(1013단계의 NO) 후술되는 1021단계로 진행하여 이하의 동작을 제어할 수 있다. 예를 들어, 제어부(180)는 정지 이미지 버퍼(235)에 버퍼링 중인 풀 해상도의 이미지(즉, 정지 이미지)를 획득하고, 상기 정지 이미지에 상기 촬영 옵션을 적용하는 이미지 변환을 백그라운드로 처리할 수 있다(1021단계). 아울러, 제어부(180)는 상기 정지 이미지에 대한 백그라운드 진행과 함께 프리뷰 모드로 회귀하여 표시 이미지 버퍼(237)의 표시 이미지를 프리뷰 표시하기 위한 처리 동작을 병렬적으로 진행할 수 있다(1023단계). 즉, 제어부(1023)는 상기 셔터 버튼 입력 시점에서 프리뷰 모드로 회귀하여 프리뷰 화면을 표시하고, 이와 병렬적으로 정지 이미지에 대한 이미지 변환을 백그라운드로 진행할 수 있다.

제어부(180)는 리뷰 모드가 설정되어 있으면(1013단계 YES) 화면 상에 표시 중인 상기 이펙트 프리뷰 이미지를 캡쳐하고(1015단계), 캡쳐된 캡쳐 이미지를 화면 상에 표시할 수 있다(1017단계). 예를 들어, 제어부(180)는 셔터 버튼 입력이 수신되고 리뷰 모드가 설정된 경우 표시 이미지 버퍼(237)의 표시 이미지를 획득하고, 획득된 표시 이미지에 촬영 옵션을 적용하는 이미지 변환을 처리하여 상기 캡쳐 이미지로 화면 상에 표시할 수 있다.

제어부(180)는 캡쳐 이미지 표시 후 상기 캡쳐 이미지의 저장 여부를 판별할 수 있다(1019단계). 예를 들어, 제어부(180)는 상기 캡쳐 이미지의 저장을 위한 명령이 저장 아이템(800)을 통해 입력되는지 판별할 수 있다.

제어부(180)는 캡쳐 이미지의 저장 명령이 발생되지 않으면(1019단계의 NO), 즉 취소 명령이 발생하면(1019단계의 NO) 프리뷰 모드로 회귀하여 프리뷰 이미지 표시를 위한 동작을 제어할 수 있다(1023단계).

제어부(180)는 캡쳐 이미지의 저장 명령이 발생되면(1019단계의 YES), 정지 이미지 버퍼(235)에 버퍼링 중인 풀 해상도의 이미지(즉, 정지 이미지)를 획득하고, 상기 정지 이미지에 상기 촬영 옵션을 적용하는 이미지 변환을 백그라운드로 처리할 수 있다(1021단계). 아울러, 제어부(180)는 상기 정지 이미지에 대한 백그라운드 진행과 함께 프리뷰 모드로 회귀하여 표시 이미지 버퍼(237)의 표시 이미지를 프리뷰 표시하기 위한 처리 동작을 병렬적으로 진행할 수 있다(1023단계). 즉, 제어부(1023)는 상기 셔터 버튼 입력 시점에서 프리뷰 모드로 회귀하여 상기 이펙트 프리뷰 이미지가 표시된 화면을 프리뷰 화면으로 전환하여 프리뷰 이미지를 표시하고, 이와 병렬적으로 정지 이미지에 대한 이미지 변환을 백그라운드로 진행할 수 있다.

제어부(180)는 선택된 촬영 옵션이 프리뷰가 지원되지 않는 옵션인 경우(1007단계의 NO) 프리뷰 이미지를 화면 상에 표시할 수 있다(1025단계). 즉, 제어부(180)는 상기 표시 이미지 버퍼(237)를 통해 획득된 표시 이미지를 표시할 수 있다.

제어부(180)는 상기 표시 이미지 표시 중에 사용자로부터 셔터 버튼 입력을 수신하면(1027단계), 리뷰 모드가 설정되어 있는지 판단할 수 있다(1013단계).

제어부(180)는 리뷰 모드가 설정되어 있지 않으면(1029단계의 NO) 프리뷰 모드로 회귀하여 프리뷰 표시를 위한 처리를 수행하고, 백그라운드로 정지 이미지 버퍼(235)에 버퍼링 중인 풀 해상도의 이미지(즉, 정지 이미지)를 획득하여 촬영 옵션에 대응하는 이미지 보정과 같은 이미지 변환을 수행할 수 있다.

제어부(180)는 리뷰 모드가 설정되어 있으면(1029단계의 YES) 표시 이미지 버퍼(237)에 버퍼링 중인 표시 이미지를 캡쳐하고(1031단계), 상기 표시 이미지에 촬영 옵션에 따른 이펙트를 처리하여(1033단계) 캡쳐 이미지 표시를 제어할 수 있다(1035단계). 그리고 제어부(180)는 앞서 살펴본 바와 같은 1019단계로 진행하여 이하의 동작 수행을 제어할 수 있다.

도 11은 본 발명의 실시 예에 따른 휴대단말에서 촬영 이미지 처리 방법을 도시한 흐름도이다. 특히, 상기 도 11에서는 앞서 살펴본 바와 같은 이펙트 프리뷰 이미지 표시를 위한 처리 방법을 도시한 흐름도이다.

상기 도 11을 참조하면, 제어부(180)는 프리뷰 모드 진입(1101단계) 시 즉, 사용자 입력에 의해 카메라 모듈(170)의 구동 명령이 발생하면, 상기 카메라 모듈(170)의 카메라부(210) 및 이미지 처리부(230)를 제어하여 프리뷰 모드의 동작을 제어할 수 있다.

구체적으로, 제어부(180)는 상기 구동 명령에 따라 카메라부(210)를 구동하고, 상기 카메라부(210)를 통해 이미지를 획득할 수 있다(1103단계). 그리고 제어부(180)는 상기 카메라부(210)에서 출력되는 풀 해상도의 이미지를 표시 이미지로 변환할 수 있다(1105단계). 예를 들어, 제어부(180)는 상기 카메라부(210)를 통해 출력되는 풀 해상도의 이미지를 이미지 스케일러(233)를 통해 표시부(130)에 표시하기 위한 크기의 표시 이미지로 변환할 수 있다.

제어부(180)는 상기 풀 해상도의 이미지가 변환(예컨대, 스케일링)된 표시 이미지를 표시 이미지 버퍼(237)를 통해 버퍼링 하고, 상기 풀 해상도의 이미지를 정지 이미지 버퍼(235)를 통해 버퍼링 할 수 있다(1107단계). 즉, 매 프레임에서 상기 카메라부(120)로부터 획득되는 이미지는 표시 이미지 버퍼(237)에 표시 이미지로 버퍼링되고, 정지 이미지 버퍼(235)에 정지 이미지로 버퍼링될 수 있다.

제어부(180)는 상기 표시 이미지 버퍼(237)에 버퍼링된 표시 이미지의 프리뷰 표시를 제어한다(1109단계). 예를 들어, 제어부(180)는 상기 표시 이미지 버퍼(237)에 버퍼링된 표시 이미지를 후처리부(239)에 전달하고, 상기 후처리부(239)를 통해 상기 표시 이미지를 색 보간, IPC 처리 및 이미지 변환 등을 처리하여 표시 이미지로 출력할 수 있다. 그러면, 제어부(180)는 상기 표시 이미지를 억세스하여 표시부(130)에 출력되도록 제어한다.

제어부(180)는 상기와 같이 표시 이미지의 프리뷰 표시 중에 촬영 옵션 설정을 위한 설정 명령이 발생하면(1111단계), 설정 요청된 옵션의 이펙트 기반의 이미지 변환 처리를 제어할 수 있다(1113단계). 예를 들어, 제어부(180)는 상기 표시 이미지 버퍼(237)로부터 획득되는 표시 이미지에 사용자 설정 옵션에 따른 이펙트(예컨대, 스케치, 빈티지, 음영 등)를 적용하는 이미지 변환을 처리할 수 있다.

제어부(180)는 이미지 변환 처리가 완료되면 이펙트 프리뷰 이미지 표시를 제어할 수 있다(1115단계). 즉, 제어부(180)는 상기 표시 이미지 버퍼(237)를 통해 획득된 표시 이미지에 사용자 설정의 촬영 옵션에 대응하는 이펙트가 처리(이미지 변환)된 이펙트 프리뷰 이미지를 표시할 수 있다. 여기서, 상기 표시 이미지는 상기 풀 해상도의 정지 이미지에 비해 작은 표시 크기를 가질 수 있으며, 표시부(130)의 표시 크기에 대응하는 크기를 가질 수 있다. 따라서 상기 이펙트 프리뷰 이미지도 상기 표시 이미지의 표시 크기에 대응하는 크기를 가질 수 있다.

이상에서 살펴본 바와 같이, 본 발명의 실시 예에 따르면 촬영 옵션 기반의 이펙트 프리뷰 이미지 처리 시, 풀 해상도의 이미지가 아닌 표시부(130)의 표시 해상도 수준으로 축소된 표시 이미지에 대하여 이미지 변환 처리를 수행하고, 이렇게 이미지 변환된 이펙트 프리뷰 이미지를 사용자에게 프리뷰로 보여주고, 사용자의 셔터 버튼 입력 시 리뷰 모드의 설정 상태에 따라, 상기 이펙트 프리뷰 이미지가 캡쳐된 캡쳐 이미지 표시 및 그에 대한 사용자 선택을 입력받는 동작을 선택적으로 수행하고, 이후 풀 해상도의 이미지에 대한 촬영 옵션 기반의 이미지 변환을 백그라운드로 처리할 수 있다. 따라서 본 발명의 실시 예에 따르면, 사용자는 촬영 옵션 기반의 촬영 동작 시 이펙트가 적용된 이펙트 프리뷰 이미지를 빠르게 확인할 수 있다.

도 12는 본 발명의 실시 예에 따른 휴대단말에서 촬영 이미지 처리 방법을 도시한 도면이다. 특히, 상기 도 12에서는 앞서 살펴본 바와 같은 프리뷰 모드 진행과 함께 풀 해상도의 정지 이미지에 대한 백그라운드 처리를 동시 처리하는 동작을 나타낸 것이다. 즉, 도 12는 본 발명의 휴대단말에서 촬영 옵션 기반의 이미지 촬영 시에 수행되는 병렬 처리 동작을 나타낸 것이다.

상기 도 12를 참조하면, 제어부(180)는 촬영 옵션 기반의 촬영 동작 시 상기 카메라 모듈(170)의 카메라부(210) 및 이미지 처리부(230)를 제어하여, 프리뷰 모드에 따른 프리뷰 표시 처리 동작과 풀 해상도의 이미지에 대한 이미지 변환 처리 동작을 각각 독립적으로 진행하되 그 진행을 병렬적으로 제어할 수 있다.

구체적으로, 제어부(180)는 앞서 살펴본 바와 같이 카메라부(210)를 통해 출력되는 풀 해상도의 이미지를 표시 이미지로 변환(예컨대, 스케일링)하여 표시 이미지 버퍼(237)를 통해 버퍼링 하고, 상기 풀 해상도의 이미지(정지 이미지)를 정지 이미지 버퍼(235)를 통해 버퍼링 할 수 있다(1201단계).

그리고 제어부(180)는 앞서 살펴본 바와 같은 절차에 따라 사용자의 촬영 옵션 기반의 촬영 명령에 따라 상기 정지 이미지 버퍼(235)에 버퍼링 중인 정지 이미지에 대한 후처리 보정이 결정되면(1203단계), 상기 정지 이미지에 대한 후처리 보정은 백그라운드로 진행하고, 동시에 프리뷰 모드로 진행하여 다음 표시 이미지의 프리뷰 표시를 제어할 수 있다. 즉, 상기 도 12에 도시된 바와 같이, 제어부(180)는 상기 1203단계에서 후처리 보정을 결정할 시 1205단계 이하의 동작과 1209단계 이하의 동작을 병렬적으로 진행하되, 분기되는 각 이미지 처리 단계를 독립적인 처리에 의해 운용할 수 있다.

구체적으로, 제어부(180)는 촬영 기능에 의하여 프리뷰 동작으로 회귀하고(1205단계), 표시 이미지 버퍼(237)의 표시 이미지를 이용한 프리뷰 이미지 표시를 처리할 수 있다(1207단계).

또한, 제어부(180)는 풀 해상도의 이미지(정지 이미지)의 이미지 보정 처리를 위한 이미지 보정 기능을 호출하고(1209단계), 상기 이미지 보정 기능에 의하여 상기 정지 이미지 버퍼(235)의 정지 이미지에 설정된 옵션 기반의 이미지 변환을 백그라운드로 처리할 수 있다(1211단계). 그리고 제어부(120)는 백그라운드로 진행 중인 이미지 변환의 진행 정도를 알리는 정보 출력을 제어할 수 있다(1213단계). 예를 들어, 상기 이미지 변환의 진행 상태를 통지하는 아이템(예컨대, 아이콘, 상태바, 텍스트 등)을 상기 촬영 기능에 의해 동작 중인 화면의 일 영역 또는 촬영 기능에 의한 동작이 완료되어 다른 동작이 진행 중인 경우 현재 제공되는 화면의 일 영역에 제공할 수 있다

이상에서 살펴본 바와 같이, 본 발명의 실시 예에 따르면 풀 해상도를 가지는 정지 이미지에 대한 후처리 보정(예컨대, 설정된 촐영 옵션 기반의 이펙트 적용) 처리는 독립적인 프로세스에 의해 백그라운드로 진행하고, 이와 동시에 동작 중인 촬영 프로세스에 의해 프리뷰 모드로 진행하여 다음 표시 이미지의 프리뷰 표시를 제어할 수 있다.

즉, 상술한 바와 같은 본 발명의 실시 예에 따르면, 프리뷰 이미지에 대한 촬영 옵션 적용 시, 풀 해상도의 이미지가 아닌 표시부(130)의 표시 해상도에 준하는 표시 이미지 버퍼(237)의 표시 이미지에 대하여 촬영 옵션 기반의 이미지 변환을 처리하여 제공할 수 있다. 그리고 셔터 버튼 입력에 따른 촬영(캡쳐) 시 프리뷰 모드로 회귀함과 아울러, 정지 이미지 버퍼(235)의 풀 해상도의 이미지(정지 이미지)에 대하여 촬영 옵션 기반의 이미진 변환을 백그라운드로 처리할 수 있다. 즉, 본 발명의 실시 예에 따르면, 촬영 옵션이 적용된 사진 촬영 시 정지 이미지에 대한 후처리 보정(즉, 이펙트 적용)은 백그라운드로 진행하고, 동시에 프리뷰 모드로 진행하여 다음 이미지의 촬영을 바로 수행할 수 있다.

이러한 본 발명은 촬영 기능(또는 촬영 어플리케이션)과 이미지 보정 기능(또는 이미지 보정 어플리케이션)을 분리하여 병력적인 동작이 가능하도록 지원하고, 셔터 버튼 입력 시 또는 리뷰 모드 종료 시 이미지 보정 기능이 호출되어 셔터 버튼 입력 시점의 표시 이미지에 대응하는 풀 해상도의 이미지가 획득되고 그에 대한 이미지 보정이 백그라운드로 진행되고, 촬영 기능에 의해 프리뷰 모드로 회귀하는 구조를 가진다.

이때, 본 발명의 실시 예에서 독립적으로 분리되어 이미지 보정을 처리하는 이미지 보정 기능(또는 이미지 보정 어플리케이션)은 주어진 이미지 변환 타스크가 완료(또는 사용자 선택에 의해 강제 종료, 사용자 설정에 따른 구간에 따라 자동 종료)될 때까지 이미지 변환 처리를 계속하여 백그라운드로 진행할 수 있다. 그리고 이러한 백그라운드 기반의 이미지 변환 처리는 촬영 기능(또는 촬영 어플리케이션)이 종료되어 카메라 모듈(170)이 턴-오프(turn-off)되는 경우에도 계속하여 진행될 수 있다. 그리고 이미지 변환 타스크가 진행 중인 경우에는 현재 진행 중인 프로세스가 몇 퍼센트(%) 정도 진행되었으며, 총 몇 장의 이미지에 대해 이미지 변환 타스크가 추후 진행되어야 하는 등과 같은 진행 상황에 대한 진행 정보가 시스템(특히, 제어부(180))을 통해 제공될 수 있다. 이러한 진행 정보는 촬영 기능(또는 촬영 어플리케이션)이 진행 중에는 촬영 기능에 의해 실행 중인 화면(예컨대, 프리뷰 화면) 상에 제공될 수 있으며, 촬영 기능(또는 촬영 어플리케이션)이 종료된 후에는 시스템 UI 또는 GUI(예컨대, 실행된 어플리케이션의 화면(메시지 화면, 갤러리 화면, 대기 화면 등)) 상에 제공될 수 있다.

따라서 본 발명의 실시 예에 따르면, 종래의 방식과는 달리, 프리뷰 표시를 위한 프리뷰 이미지가 풀 해상도의 이미지가 아닌 표시 이미지에 의해 이미지 변환 처리가 진행되므로, 프리뷰 이미지의 빠른 처리 및 표시가 가능하다. 또한 본 발명의 실시 예에 따르면, 별도의 분리된 이미지 보정 기능(또는 이미지 보정 어플리케이션)에 의하여 풀 해상도의 이미지(정지 이미지)에 대한 이미지 변환 처리가 백그라운드로 진행되면서 촬영 기능(또는 촬영 어플리케이션)에 의한 프리뷰 모드가 바로 진행될 수 있다. 따라서 본 발명의 실시 예에 따르면, 프리뷰 이미지 표시를 위한 이미지 변환 처리 또는 풀 해상도의 이미지의 이미지 변환 처리 시, 셔터 버튼을 입력한 후 다음 촬영이 가능할 때까지의 기간인 지연 시간(예컨대, 셔터 지연 또는 셔터 랙)을 크게 줄일 수 있는 이점이 있다. 또한 본 발명의 실시 예에 따르면 이미지 보정을 위한 이미지 보정 기능(또는 이미지 보정 어플리케이션)을 촬영 기능(또는 촬영 어플리케이션)과 분리하여 독립적으로 운용함에 따라, 추후 보다 개선된 이미지 보정 알고리즘이 제안되는 경우, 휴대단말의 이미지 보정 기능(또는 이미지 보정 어플리케이션)에 대한 업데이트 및 적용이 용이한 이점이 있다.

한편, 상술한 바와 같은 본 발명의 실시 예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터로 판독 가능한 기록 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

상기 컴퓨터로 판독 가능한 기록 매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 마그네틱 매체(Magnetic Media)와, CD-ROM(Compact Disc Read Only Memory), DVD(Digital Versatile Disc)와 같은 광기록 매체(Optical Media)와, 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media)와, 그리고 ROM(Read Only Memory), RAM(Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.

그리고 본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

110: 무선 통신부 120: 사용자 입력부
130: 표시부 140: 오디오 처리부
150: 저장부 160: 인터페이스부
170: 카메라 모듈 180: 제어부
185: 후처리 보정 모듈 190: 전원 공급부
210: 카메라부 211: 광학부
213: 이미지 센서 215: 신호 처리부
230: 이미지 처리부 231: 전처리부
233: 이미지 스케일러 235: 정지 이미지 버퍼
237: 표시 이미지 버퍼 239: 후처리부
250: 코덱

Claims

이미지 처리 방법에 있어서,
촬영 모드에서 프리뷰를 표시하는 과정;
상기 프리뷰 표시 중에 촬영 옵션 기반의 촬영 명령을 수신하는 과정; 및
풀 해상도의 이미지에 상기 촬영 옵션을 적용하는 이미지 보정을 백그라운드로 처리하고, 동시에 프리뷰 모드로 진행하여 표시 이미지 기반의 프리뷰 표시를 처리하는 과정을 포함하는 것을 특징으로 하는 이미지 처리 방법.
제1항에 있어서, 상기 프리뷰를 표시하는 과정은
카메라 모듈을 통해 획득되는 이미지를 표시 이미지 및 풀 해상도의 이미지로 변환하여 버퍼링하는 과정; 및
상기 버퍼링된 표시 이미지를 프리뷰로 표시하는 과정을 포함하는 것을 특징으로 하는 이미지 처리 방법.
제2항에 있어서,
상기 표시 이미지의 프리뷰 표시 중에 상기 촬영 옵션을 설정하는 입력을 수신하는 과정;
상기 표시 이미지에 상기 촬영 옵션을 적용하는 이미지 변환을 처리하는 과정; 및
상기 표시 이미지가 상기 촬영 옵션에 따라 이미지 변환된 이펙트 프리뷰 이미지를 프리뷰로 표시하는 과정을 포함하는 것을 특징으로 하는 이미지 처리 방법.
제2항에 있어서, 상기 버퍼링하는 과정은
카메라 모듈의 구동 명령에 따라 카메라 모듈을 구동하는 과정;
상기 카메라 모듈을 통해 획득되는 상기 풀 해상도의 이미지를 스케일링하여 표시 이미지 버퍼를 통해 버퍼링 하는 과정; 및
상기 풀 해상도의 이미지를 정지 이미지 버퍼를 통해 버퍼링 하는 과정을 포함하는 것을 특징으로 하는 이미지 처리 방법.
제4항에 있어서, 상기 처리하는 과정은
상기 촬영 옵션 기반의 촬영 명령이 입력되면, 프리뷰 모드로 전환하여 상기 표시 이미지 버퍼를 통해 버퍼링 중인 다음 프레임의 표시 이미지를 프리뷰로 표시하는 과정; 및
상기 정지 이미지 버퍼의 풀 해상도의 이미지에 상기 촬영 옵션을 적용하는 이미지 보정을 백그라운드로 처리하는 과정을 포함하는 것을 특징으로 하는 이미지 처리 방법.
제4항에 있어서, 상기 처리하는 과정은
상기 이미지 보정을 위한 보정 어플리케이션을 호출하는 과정;
촬영 어플리케이션을 통해 상기 프리뷰 모드로 전환하여 표시 이미지를 프리뷰 표시하는 과정; 및
상기 보정 어플리케이션을 통해 상기 풀 해상도의 이미지에 대한 이미지 보정을 백그라운드로 처리하는 과정을 포함하고,
상기 프리뷰 표시하는 과정 및 상기 백그라운드 처리 과정은 병렬적으로 동시 진행하는 것을 특징으로 하는 이미지 처리 방법.
제6항에 있어서, 상기 백그라운드로 처리하는 과정은
상기 촬영 모드의 종료와는 독립적으로 수행되는 것을 특징으로 하는 이미지 처리 방법.
제7항에 있어서,
상기 백그라운드로 진행 중인 이미지 보정에 대한 진행 상황을 제공하는 과정을 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
제4항에 있어서,
상기 촬영 옵션 기반의 촬영 명령을 수신할 시 리뷰 모드의 설정 상태를 확인하는 과정을 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
제9항에 있어서,
상기 리뷰 모드가 설정되지 않은 경우 상기 정지 이미지 버퍼의 풀 해상도의 이미지에 상기 촬영 옵션을 적용하는 이미지 보정을 백그라운드로 처리하고, 동시에 프리뷰 모드로 회귀하여 상기 표시 이미지 버퍼의 표시 이미지를 프리뷰 표시하는 과정;
상기 리뷰 모드가 설정된 경우 상기 이펙트 프리뷰 이미지를 캡쳐하여 표시하는 과정을 포함하는 것을 특징으로 하는 이미지 처리 방법.
제10항에 있어서,
상기 캡쳐된 이펙트 프리뷰 이미지의 저장 여부를 판별하는 과정;
저장 명령이 발생되지 않으면 프리뷰 모드로 회귀하여 상기 표시 이미지 버퍼의 표시 이미지를 이용한 프리뷰 동작을 처리하는 과정;
저장 명령이 발생되면 프리뷰 모드로 회귀하여 상기 이펙트 프리뷰 이미지가 표시된 화면을 상기 표시 이미지 기반의 프리뷰 화면으로 전환하고, 풀 해상도의 이미지에 대한 이미지 보정을 백그라운드로 처리하는 과정을 포함하는 것을 특징으로 하는 이미지 처리 방법.
제11항에 있어서,
상기 풀 해상도의 이미지에 대한 이미지 보정이 완료될 시 이미지 보정된 풀 해상도의 이미지를 저장하는 과정; 및
상기 이미지 보정 수행 시 상기 이펙트 프리뷰 이미지를 선택적으로 저장하는 과정을 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
이미지 처리 장치에 있어서,
풀 해상도의 이미지를 획득하고, 획득된 풀 해상도의 이미지를 스케일링하여 표시 이미지 버퍼를 통해 버퍼링 및 출력하고, 상기 풀 해상도의 이미지를 정지 이미지 버퍼를 통해 버퍼링 및 출력하는 카메라 모듈;
상기 카메라 모듈에서 출력되는 표시 이미지를 프리뷰 표시하는 표시부;
적어도 하나의 프로그램과, 상기 표시 이미지 기반으로 촬영 옵션이 적용되는 이펙트 프리뷰 이미지와 상기 풀 해상도의 이미지 기반으로 촬영 옵션이 적용된 이미지를 저장하는 저장부; 및
상기 적어도 하나의 프로그램을 실행하여 상기 표시 이미지의 프리뷰 표시 중에 촬영 옵션 기반의 촬영 명령이 수신되면 상기 풀 해상도의 이미지에 상기 촬영 옵션을 적용하는 이미지 보정을 백그라운드로 처리하고, 동시에 프리뷰 모드로 진행하여 다음 프레임의 표시 이미지 기반의 프리뷰 표시를 처리하는 제어부를 포함하는 것을 특징으로 하는 이미지 처리 장치.
제13항에 있어서, 상기 적어도 하나의 프로그램은,
카메라 모듈을 통해 획득되는 이미지를 표시 이미지 및 풀 해상도의 이미지로 변환하여 버퍼링 하는 과정;
상기 버퍼링된 표시 이미지를 프리뷰로 표시하는 과정;
상기 표시 이미지의 프리뷰 표시 중에 촬영 옵션을 설정하는 입력이 수신되면 상기 표시 이미지에 상기 촬영 옵션이 적용된 이펙트 프리뷰 이미지를 표시하는 과정;
셔터 버튼 입력이 수신되면 상기 풀 해상도의 이미지에 상기 촬영 옵션을 적용하는 이미지 보정을 백그라운드로 처리하고, 동시에 프리뷰 모드로 진행하여 다음 프레임의 표시 이미지 기반의 프리뷰 표시를 처리하는 과정을 실행하는 명령어들을 포함하는 것을 특징으로 하는 이미지 처리 장치.
카메라 모듈을 통해 획득되는 이미지를 표시 이미지 및 풀 해상도의 이미지로 변환하여 버퍼링하고, 상기 버퍼링된 표시 이미지를 프리뷰로 표시하며, 상기 표시 이미지의 프리뷰 표시 중에 촬영 옵션 기반의 촬영 명령이 수신되면 상기 풀 해상도의 이미지에 상기 촬영 옵션을 적용하는 이미지 보정을 백그라운드로 처리하고, 동시에 프리뷰 모드로 진행하여 다음 프레임의 표시 이미지 기반의 프리뷰 표시를 처리하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.