KR20130094113A - 카메라 데이터 처리 장치 및 방법 - Google Patents

Abstract

카메라장치에서 카메라 구동시 매 프레임 주기에서 카메라센서로부터 이미지를 획득하고, 획득된 이미지를 표시이미지 및 압축이미지로 변환 및 이미지의 촬영정보를 생성하며, 표시 이미지를 표시부에 표시하며, 표시 이미지, 압축 이미지 및 촬영정보를 버퍼링함.

Description

카메라 데이터 처리 장치 및 방법{APPARATUS AND METHOD FOR PROCESSING A CAMERA DATA}

본 발명은 카메라 데이터의 처리장치 및 방법에 관한 것으로, 특히 카메라 구동시 복수의 데이터를 생성하여 처리할 수 있는 장치 및 방법에 관한 것이다.

카메라 장치 및 카메라를 포함하는 휴대단말 장치는 고화질 이미지를 제공하며, 또한 다양한 사용자 편의 기능을 제공하고 있다. 현재 카메라 장치의 이미지 센서(image sensor 또는 카메라 센서라 칭할 수도 있다)는 풀 HD급 이상의 해상도(full High Definition resolution)를 가지는 이미지들을 센싱할 수 있다.

이때 상기 카메라 장치는 프리뷰 모드에서 카메라 센서로부터 감지되는 이미지를 프리뷰 이미지(preview image)를 표시하고, 사용자가 셔터 버튼(shutter button)을 누르면 상기 카메라 센서에서 획득되는 이미지를 저장한다. 이때, 사용자가 셔터 버튼을 누르면(shutter release), 풀 사이즈의 이미지를 감지하여 캡쳐(capture)하기까지 지연 시간(shutter delay 또는 shutter lag)이 존재한다. 즉, 사용자의 셔터 온 시점으로부터 카메라 센서가 피사체를 촬영하는 시점까지의 시간 차가 존재하며, 이런 시간 차는 피사체의 촬영환경 및 이미지처리부의 처리 시간 등에 의해 발생될 수 있다. 따라서 사용자는 셔터 딜레이(셔터 렉)에 의해 원하는 시점에서의 이미지를 획득할 수 없었던 문제점이 있었다.

또한 상기 이미지를 캡쳐하는 시점에서, 카메라가 흔들렸거나 또는 피사체의 인물이 눈을 감는 등의 불필요한 동작이 촬영된 경우, 상기 캡쳐된 이미지를 수정하는데 한계가 있으며, 이런 경우 촬영시의 상황은 다시 재현할 수가 없으므로, 카메라 촬영의 한계를 가지는 문제점이 있었다

따라서 본 발명은 카메라장치 또는 카메라를 포함하는 단말장치에서 촬영되는 이미지를 원하는 시점에서 캡쳐하고, 또한 촬영된 이미지들 중에서 원하는 이미지를 선택하여 저장할 수 있는 장치 및 방법을 제안한다.

이를 위하여 본 발명의 실시예에 따른 카메라장치 또는 카메라를 포함하는 단말장치는 카메라 센서들로부터 획득되는 이미지를 처리하여 매 프레임에서 복수의 이미지들을 생성하고, 생성되는 이미지들을 각각 프리뷰 이미지 및 캡쳐 이미지로 사용하는 장치 및 방법을 제안한다.

또한 본 발명의 실시예에 따른 카메라장치 또는 카메라를 포함하는 단말장치는 매 프레임에서 카메라 센서로부터 획득되는 이미지를 처리하여 복수의 이미지들 및 촬영 정보를 획득하고, 촬영정보를 이용하여 원하는 이미지를 캡쳐할 수 있는 장치 및 방법을 제안한다.

본 발명의 제1실시예에 따른 카메라장치의 이미지 처리 방법은, 카메라 구동시 매 프레임 주기에서 카메라센서로부터 이미지를 획득하는 과정과, 상기 획득된 이미지를 표시 이미지 및 압축 이미지로 변환하는 과정과, 상기 표시 이미지를 표시부에 표시하며, 상기 압축 이미지를 버퍼링하는 과정으로 이루어진다. 그리고 캡쳐요구시 상기 버퍼링된 압축 이미지들에서 캡쳐 요구 시간의 프레임에 대한 압축 이미지를 선택하여 저장한다.

또한 본 발명의 제1실시예에 따른 카메라장치는 카메라 구동시 매 프레임 주기에서 카메라센서로부터 이미지를 획득하는 카메라부와, 상기 획득된 이미지를 표시 이미지 및 압축 이미지로 변환하는 이미지 처리부와, 상기 표시 이미지를 표시부에 표시하고 및 상기 압축 이미지를 버퍼링하는는 어플리케이션처리부와, 상기 표시이미지를 표시하는 표시부와, 상기 카메라 구동신호를 발생하는 입력부로 구성된 것을 특징으로 한다. 그리고 상기 입력부로부터 캡쳐 요구신호 발생시, 상기 어플리케이션처리부는 상기 버퍼링된 압축이미지들에서 캡쳐 요구된 시점의 압축이미지를 선택하여 저장한다.

또한 본 발명의 제2실시예에 따른 카메라장치의 이미지 처리 방법은 카메라 구동시 매 프레임 주기에서 카메라센서로부터 이미지를 획득하는 과정과, 상기 획득된 이미지를 표시 이미지 및 압축 이미지로 변환하며, 상기 이미지의 촬영정보를 생성하는 과정과, 상기 표시 이미지를 표시부에 표시하며, 상기 표시 이미지, 압축 이미지 및 촬영정보를 버퍼링하는 과정으로 이루어지는 것을 특징으로 한다. 그리고 캡쳐 요구시 상기 버퍼링된 JPEG 이미지들에서 캡쳐 요구된 시점의 JPEG 이미지를 선택하여 저장한다.

또한 본 발명의 제2실시예에 따른 카메라장치는 카메라 구동시 매 프레임 주기에서 카메라센서로부터 이미지를 획득하는 카메라부와, 카메라장치의 외부에 장착되어 촬영시 센서 정보들을 생성하는 센서부와, 상기 카메라라부에서 획득된 이미지를 처리하여 표시 이미지 및 압축 이미지를 생성하고, 상기 이미지 촬영시 상기 카메라부 및 센서부의 출력으로부터 촬영정보를 생성하는 이미지 처리부와, 상기 표시이미지를 표시부에 표시하고 및 상기 표시이미지, 압축이미지 및 촬영정보를 버퍼링하는 어플리케이션처리부와, 상기 표시이미지를 표시하는 표시부와, 상기 카메라 구동신호를 발생하는 입력부로 구성된 것을 특징으로 한다. 그리고 상기 입력부로부터 캡쳐 요구신호 발생시, 상기 어플리케이션처리부는 상기 버퍼링된 압축이미지들에서 캡쳐 요구된 시점의 압축이미지를 선택하여 저장한다.

또한 본 발명의 실시예에 따른 카메라장치는 카메라 구동시 매 프레임 주기에서 카메라센서로부터 이미지를 획득하는 카메라부와, 카메라장치의 외부에 장착되어 촬영시 센서 정보들을 생성하는 센서부와, 상기 카메라라부에서 획득된 이미지를 처리하여 표시 이미지 및 압축 이미지를 생성하고, 상기 이미지 촬영시 상기 카메라부 및 센서부의 출력으로부터 촬영정보를 생성하며, 상기 표시이미지를 표시부에 표시하고 및 상기 표시이미지, 압축이미지 및 촬영정보를 버퍼링하는 처리부와, 상기 표시이미지를 표시하는 표시부와, 상기 카메라 구동신호를 발생하는 입력부로 구성된 것을 특징으로 한다.

또한 본 발명의 실시예에 따른 외부 장치와 무선통신을 수행하는 통신부와, 상기 통신부를 통해 휴대단말장치의 통화 및 통신을 제어하는 단말제어부와, 카메라 구동시 매 프레임 주기에서 카메라센서로부터 이미지를 획득하는 카메라부와, 카메라장치의 외부에 장착되어 촬영시 센서 정보들을 생성하는 센서부와, 상기 카메라라부에서 획득된 이미지를 처리하여 표시 이미지 및 압축 이미지를 생성하고, 상기 이미지 촬영시 상기 카메라부 및 센서부의 출력으로부터 촬영정보를 생성하는 이미지 처리부와, 상기 표시이미지를 표시부에 표시하고 및 상기 표시이미지, 압축이미지 및 촬영정보를 버퍼링하는 어플리케이션처리부와, 상기 표시이미지를 표시하는 표시부와, 상기 카메라 구동신호를 발생하는 입력부로 구성된 것을 특징으로 한다.

본 발명의 실시예에 따른 카메라장치 또는 카메라를 포함하는 단말장치는 매 프레임에서 카메라 센서로부터 획득되는 이미지를 처리하여 복수의 이미지들 및 촬영 정보를 획득하고, 촬영정보를 이용하여 원하는 이미지를 캡쳐할 수 있다. 따라서 카메라장치 또는 카메라를 포함하는 단말장치에서 촬영되는 이미지를 원하는 시점에서 캡쳐하여 제로 셔터렉을 구현할 수 있으며, 또한 촬영된 이미지들 중에서 원하는 이미지를 선택하여 저장할 수 있는 이점이 있다.

도 1은 본 발명의 실시예에 따른 카메라장치의 구성을 도시하는 도면
도 2는 본 발명의 실시예에 따른 카메라부의 구성을 도시하는 도면
도 3은 본 발명의 실시예에 따른 이미지처리부 및 어플리케이션처리부의 구성을 도시하는 도면
도 4a는 본 발명의 실시예에 따라 이미지처리부에서 생성되는 이미지 프레임의 구성을 도시하는 도면
도 4b는 본 발명의 실시예에 따라 프레임을 구성하는 YUV 이미지, JPEG 이미지 및 촬영정보를 도시하는 도면
도 4c은 본 발명의 실시예에 따라 매 프레임의 데이터 전송 포맷을 도시하는 도면
도 5는 본 발명의 실시예에 따른 표시이미지버퍼, 압축이미지 버퍼 및 촬영정보버퍼의 구성을 도시하는 도면
도 6은 본 발명의 실시예에 따른 카메라장치의 또 다른 구성을 도시하는 도면
도 7은 도 6의 이미지처리부 및 어플리케이션처리부의 구성을 도시하는 도면
도 8은 본 발명의 실시예에서 이미지 및 어플리케이션 처리를 단일 구성을 처리하는 카메라 장치의 구성을 도시하는 도면
도 9는 상기 도 8의 구성에서 처리부 구성을 도시하는 도면
도 10은 카메라 장치에서 본 발명의 제1실시예에 따라 매 프레임에서 표시이미지 및 압축이미지 생성하여 처리하는 절차를 도시하는 흐름도
도 11은 도 10에서 이미지 캡쳐시 섬네일 이미지를 표시하면서 사용자의 선택에 따른 압축이미지를 저장하는 절차를 도시하는 흐름도
도 12는 카메라 장치에서 본 발명의 제2실시예에 따라 매 프레임에서 표시이미지, 압축이미지 및 촬영정보를 생성하여 처리하는 절차를 도시하는 흐름도
도 13은 도 12에서 이미지 캡쳐시 촬영정보를 표시하면서 사용자의 선택에 따른 압축이미지를 저장하는 절차를 도시하는 흐름도
도 14a 및 도 14b는 본 발명의 실시예에 따라 촬영정보의 플래시 정보를 이용하여 플래시 타이밍 문제를 개선하는 방법을 설명하는 도면
도 15는 본 발명의 실시예에 따라 압축이미지를 저장하는 버퍼의 구조를 도시하는 도면
도 16은 본 발명의 실시에에 따라 촬영정보를 이용하여 흔들림 검출 여부를 판정하여 캡쳐 이미지를 결정하는 절차를 도시하는 흐름도
도 17은 본 발명의 실시예에 따른 카메라장치를 구비하는 휴대단말장치의 구성을 도시하는 도면

이하, 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다.

또한, 하기 설명에서는 이미지의 화소 수, 메터 데이터의 항목 및 데이터 크기 등과 구체적인 특정 사항들이 나타내고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들 없이도 본 발명이 실시될 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다. 그리고 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 상세한 설명을 생략한다.

본 발명은 카메라장치 또는 카메라를 구비하는 단말장치에 대한 것으로 카메라 센서에서 획득되는 이미지들을 처리하여 복수의 이미지들을 생성하고, 또한 상기 카메라 센서 및/또는 장치의 센서들로 획득되는 정보를 촬영정보로 생성할 수 있다. 여기서 상기 복수의 이미지는 카메라 구동시 프리뷰를 위한 이미지 및 캡쳐를 위한 이미지가 될 수 있다. 또한 상기 촬영정보는 카메라로부터 이미지 획득시 해당 프레임에서 이미지를 촬영할 때의 카메라 센서 및/또는 장치의 각 센서들로부터 획득되는 정보(이하 촬영 정보는 meta data, embedded data 등과 혼용되어 사용될 것이다)들이 될 수 있다.

여기서 상기 프리뷰 이미지는 YUV 이미지가 될 수 있으며, 표시부에 표시될 수 있도록 적절한 크기로 조정(crop and/or scaling)될 수 있다. 그리고 상기 캡쳐 이미지는 상기 카메라 센서에서 획득되는 이미지(예를들면 full HD resolution 또는 그 이상의 해상도를 가지는 이미지)로서, 압축 부호화된 이미지가 될 수 있으며, 본 발명의 실시예에서는 JPEG 이미지로 설명될 것이다. 본 발명의 실시예에서는 카메라 구동시 프리뷰 이미지 및 캡쳐용 이미지를 생성 및 버퍼링하고, 사용자 또는 미리 설정된 방법에 의해 캡쳐 이미지를 선택하여 저장할 수 있는 장치 및 방법을 제안한다.

또한 상기 촬영 정보는 상기 카메라 구동시 상기 카메라 센서로부터 획득되는 매 프레임 이미지에 대한 카메라 센서 정보 및 장치의 센서들로부터 생성되는 정보가 된다. 일반적으로 카메라장치는 카메라 센서를 세팅 하기 위한 정보만 존재하며, 이런 정보는 exif(Exchangeable Imge File Format) data가 될 수 있다. 상기 exif data는 카메라 제조사(Maker), 카메라 모델(Model), 이미지 에디터(Software), 사진을 보정한 날짜(Datetime), Exif 버전(Exif Version), 촬영한 날짜(Shoot Datetime), 사진의 실제 크기(Image Size), 노출 시간(Exposure Time:셔터 스피드), 촬영 프로그램(Exposure Program), 렌즈 초점 길이(Focal Length), 조리개 개방 수치(F-Number), 플래시 사용 여부 등의 정보를 포함할 수 있다. 그러나 상기와 같은 정보의 양이 제한적이고, 캡쳐된 이미지에서만 참고할 수 있다. 본 발명의 실시예에서는 상기 카메라 센서 및/또는 장치의 센서들로부터 획득되는 매 frame의 촬영정보를 저장하고, 이런 촬영정보를 이용해서 효율적으로 센서 데이터를 활용할 수 있는 장치 및 방법을 제공한다.

본 발명의 제1실시예에 따른 카메라장치 또는 카메라를 구비하는 단말장치는 카메라 구동시(예를들면 preview mode) 카메라센서로부터 획득되는 매 프레임의 이미지를 처리하여 프리뷰 이미지 및 캡쳐 이미지를 생성한다.

이런 경우, 사용자가 카메라 구동시, 카메라장치는 매 프레임 주기에서 카메라센서로부터 이미지를 획득하며, 획득되는 이미지를 프리뷰 이미지 및 압축 이미지로 변환한 후, 프리뷰 이미지는 표시부에 표시하며, 압축 이미지는 버퍼링한다.

이때 상기 프리뷰 이미지는 YUV 방식의 이미지이고, 상기 압축 이미지는 풀 해상도의 JPEG 이미지가 될 수 있다.

그리고 사용자에 의해 캡쳐 요구가 발생되면, 카메라장치는 버퍼링된 JPEG 이미지들에서 캡쳐 요구된 시점의 JPEG 이미지를 선택하여 저장하거나, 상기 버퍼링된 JPEG 이미지들에서 캡쳐 요구된 시점의 JPEG 이미지를 선택하여 저장하거나, 또는 섬네일 이미지를 표시하고 선택되는 섬네일 이미지에 대응되는 JPEG 이미지를 저장할 수 있다.

또한 본 발명의 제2실시예에 따른 카메라장치 또는 카메라를 구비하는 단말장치는 카메라 구동시 카메라센서로부터 획득되는 매 프레임의 이미지를 처리하여 프리뷰 이미지 및 캡쳐 이미지를 생성하고, 또한 카메라 센서 및/또는 장치의 센서들로부터 이미지 획득 시점의 촬영정보들을 생성한다.

이런 경우 카메라 구동시, 카메라장치는 매 프레임 주기에서 카메라센서로부터 이미지를 획득하고, 상기 획득된 이미지를 표시 이미지 및 압축 이미지로 변환하며 동시에 상기 이미지 획득시점에서 카메라센서 및/또는 장치의 센서들로부터 촬영정보를 획득하며, 상기 표시 이미지를 표시부에 표시하고 상기 표시 이미지, 압축 이미지 및 촬영정보를 버퍼링한다.

여기서 상기 표시 이미지는 YUV 이미지이고, 상기 압축 이미지는 풀 해상도의 JPEG 이미지가 될 수 있으며, 상기 촬영정보는 카메라장치의 센서들의 정보, 플래시 정보, 그리고 장치의 센서들로부터 발생되는 위치정보, 카메라 장치의 상태정보(자이로센서, 가속도센서, 고도센서, 방향센서 등으로부터 생성되는 정보)들 중에 하나 이상을 포함할 수 있다.

그리고 사용자에 의해 캡 쳐요구가 발생되면, 카메라장치는 버퍼링된 JPEG 이미지들에서 캡쳐 요구된 시점의 JPEG 이미지를 선택하여 저장하거나, 또는 표시되는 섬네일 이미지들 중에서 선택되는 섬네일 이미지에 대응되는 JPEG 이미지를 저장하거나, 또는 촬영정보를 표시하고 사용자에 의해 선택되는 JPEG 데이터를 저장할 수 있다.

이하 본 발명을 도면을 참조하여 상세히 설명한다. 이하의 설명에서는 카메라장치를 예로 들어 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 카메라장치의 구성을 도시하는 도면이다.

상기 도 1을 참조하면, 카메라부110은 센서를 구비하며, 카메라 구동시 센서를 통해 이미지를 획득하는 기능을 수행한다. 센서부120은 카메라장치에 장착하는 하나의 이상의 센서가 될 수 있으며, 상기 센서는 GPS수신기, 자이로센서, 가속도센서, 고도센서, 방향센서들 중에 하나 이상이 될 수 있다.

이미지처리부130은 상기 카메라부110으로부터 획득되는 이미지를 처리하여 표시부160에 표시하기 위한 표시 이미지 및 캡쳐 요구시 저장하기 위한 압축 이미지를 생성한다. 여기서 상기 표시이미지는 YUV 이미지가 될 수 있다. 여기서 YUV는 표시부에서 사용하는 색 표시 방식으로서, Y는 밝기(휘도)를 나타내고, U 및 V는 색차 정보로써, U는 휘도신호와 청색 성분의 차 정보이고, V는 휘도신호와 적색 성분의 차 정보를 나타낸다. 상기 이미지처리부130은 상기 카메라부110에서 획득되는 이미지를 YUV 이미지로 색변환(color conversion)하며, 또한 상기 표시부160에 표시하기 위한 크기로 조정(scaling and/or crop)한다. 즉, 상기 이미지처리부130은 YUV 이미지를 생성하고, 또한 상기 표시부160의 표시 능력에 따라 적절하게 설정할 수 있다. 이때 상기 YUV 이미지는 상기 압축 이미지의 크기보다는 작은 데이터 크기를 가질 수 있다. 또한 상기 이미지처리부130은 상기 카메라부110에서 출력되는 이미지를 JPEG 방식으로 압축한다. 여기서 상기 압축 이미지는 사용자가 캡쳐 요구시 저장하기 위한 이미지로써, 풀 HD급 이상의 해상도를 가지는 이미지가 될 수 있다.

또한 상기 이미지처리부130은 상기 카메라부110 및 센서부120으로부터 상기 이미지의 촬영정보를 획득한다. 이때 상기 촬영정보는 상기 카메라부110에서 이미지 촬영시 획득할 수 있는 exif 정보 이외에 다양한 정보들을 추가적으로 획득할 수 있다.

상기 이미지처리부130은 매 프레임 주기에서 상기 표시이미지 및 압축 이미지를 생성할 수 있으며, 또한 상기 표시이미지, 압축이미지 및 촬영정보를 생성할 수 있다. 그리고 상기 이미지처리부130은 1초에 30프레임(30 frame per sec) 또는 60 프레임(60 frame per sec)의 표시 이미지 및 압축 이미지로 생성하거나 또는 표시이미지, 압축이미지 및 촬영정보들을 생성할 수 있다.

어플리케이션 처리부140은 카메라 구동시 상기 이미지처리부130에서 생성되는 표시이미지 및 압축 이미지, 또는 표시이미지, 압축이미지 및 촬영정보들을 버퍼링하고 상기 표시이미지를 표시부160에 출력하여 표시되도록 제어하며, 사용자의 캡쳐 요구 명령이 발생되면 상기 버퍼링 중인 압축 이미지들 중에서 설정된 압축이미지를 저장부150에 저장한다.

상기 입력부170은 상기 어플리케이션처리부140에 카메라 구동명령, 캡쳐 명령을 발생할 수 있다. 또한 상기 입력부170은 이미지 캡쳐시 사용자의 요구에 따른 촬영정보 및/또는 섬네일 이미지들의 표시를 요구하는 명령을 발생할 수 있다. 표시부160은 프리뷰 모드시 상기 어플리케이션처리부140에서 출력되는 표시 이미지를 표시한다. 또한 상기 표시부160은 이미지 캡쳐시 상기 어플리케이션처리부140에서 출력되는 촬영정보 및/또는 섬네일 이미지들을 표시할 수 있다. 여기서 상기 입력부170은 사용자의 터치입력을 감지하는 터치패널이 될 수 있으며, 표시부160은프로그램 수행 중에 발생되는 데이터 및 이미지 등을 표시하는 LCD 또는 OLED 패널이 될 수 있다. 여기서 상기 입력부170 및 표시부160은 일체형의 터치스크린이 될 수 있다. 또한 상기 입력부170은 카메라장치의 외부에 위치되는 버튼들을 포함할 수 있다.

저장부150은 캡쳐 요구시 상기 어플리케이션 처리부140에 버퍼링 중인 압축 이미지를 저장한다.

도 2는 본 발명의 실시예에 따른 카메라부110의 구성을 도시하는 도면이다.

상기 도 2를 참조하면, 카메라 구동명령이 발생되면, 상기 카메라부110에 동작전원을 공급한다. 또한 상기 이미지처리부130은 모터240을 구동하며, 상기 모터240의 구동에 의해 액츄에이터250이 상기 광학부210의 구동을 제어한다. 여기서 상기 광학부210은 상기 액츄에이터250에 의해 줌, 포커싱 등의 동작이 수행될 수 있다. 상기 광학부210은 주변의 이미지를 촬상하며, 이미지센서220은 상기 광학부220에 의해 촬상되는 이미지를 감지하여 전기적인 신호로 변환한다. 여기서 상기 이미지 센서220은 풀 HD 이상의 해상도를 가지는 이미지 센서가 될 수 있다. 그리고 상기 이미지센서220에서 감지되는 이미지는 AD변환부230을 통해 디지털 이미지로 변환되어 이미지처리부130에 전달된다. 또한 플래시260은 상기 이미지처리부130에 의해 구동될 수 있다.

도 3은 본 발명의 실시예에 따른 이미지처리부130 및 어플리케이션처리부140의 구성을 도시하는 도면이다.

상기 도 3을 참조하면, 이미지처리부130의 영상 전처리부320은 상기 카메라부110에서 출력되는 이미지를 YUV 이미지로 변환한다. 상기 카메라부110에서 출력되는 이미지는 raw 이미지로써, 이미지센서220에서 감지되는 풀 HD급 이상의 화소수를 가지며, 영상 전처리부320은 이를 3A, 컬러 인터폴레에션(color interpolation), 색변환(color conversion) 등의 영상 전처리 기능을 기능을 수행한다. 여기서 상기 전처리 3A는 AWB(auto white balance), AE(auto exposure), AF(Auto focusing) 등이 될 수 있으며, 색변환은 raw 이미지를 YUV 데이터로 변환하는 기능이 될 수 있다. 여기서 상기 영상 전처리부320은 상기와 같은 기능을 모두 수행할 수 있으며, 또한 일부의 기능만을 수행할 수 있다. 캡쳐시 저장할 압축데이타를 생성하는 정지영상압축부는 정지영상 코더로써, 다양한 종류의 코더를 사용할 수 있다. 또한 상기 이미지처리부130은 캡쳐시 정지 이미지(still image)를 저장하기 위한 정지영상압축부(정지영상부호화기기)340을 구비하며, 상기 정지영상 압축기는 JPEG, TIFF 등 다양한 정지영상 부호화 방법을 사용할 수 있다. 본 발명의 실시예에서는 정지영상압축부340은 JPEG코더340이라고 가정한다. 상기 JPEG코더340은 상기 영상 전처리부320에서 출력되는 이미지를 JPEG 영상으로 압축한다. 스케일러340은 상기 영상 전처리부320에서 출력되는 영상을 표시부160에서 표시할 수 있는 적절한 크기의 이미지로 스케일링한다. 상기 스케일러330은 상기 영상데이타를 스케일링, 크롭(crop) 및/또는 리사이징(resizing)하는 구성 또는 이들 구성들 중의 일부를 구비할 수 있다. 여기서 상기 영상 전처리부320이 색변환 기능을 수행하지 않는 경우, 상기 스케일러340은 표시이미지 생성부로 구성할 수 있으며, 이런 경우 상기 표시이미지생성부는 raw image를 YUV 이미지로 변환하는 색변환기 및 스케일러로 구성할 수도 있다. 이미지처리제어부310은 어플리케이션제어부360의 제어하에 상기 카메라부110의 구동을 제어하며, 카메라 구동모드시 상기 이미지처리부130의 전반적인 동작을 제어한다. 또한 상기 이미지처리제어부310은 상기 카메라부110 구동시 카메라부110에서 촬영되는 이미지의 촬영 정보 및 카메라장치의 센서부120으로부터 발생되는 정보들을 입력하여 촬영정보로 생성할 수 있다. 여기서 상기 압축 이미지, 표시이미지 및/또는 촬영정보는 매 프레임들에서 각각 발생되며, 상기 프레임은 1초에 30프레임 또는 60 프레임으로 구성될 수 있다. 다중화부350은 상기 이미지처리제어부310의 제어하에 상기 압축 이미지, 표시이미지 및/또는 촬영정보를 다중화하여 상기 어플리케이션처리부140에 전송한다.

여기서 상기 이미지처리부130은 도 3에 도시되지는 않았지만 상기 표시이미지를 섬네일 이미지로 변환하는 섬네일 이미지생성부를 더 구비할 수 있다. 이런 경우, 상기 이미지처리부100은 상기 표시이미지로부터 섬네일 이미지를 생성하며, JPEG코더340은 상기 영상전처리부310의 출력 이미지를 압축하며, 헤더, 상기 섬네일이미지, 및 압축된 JPEG 이미지로 구성된 출력을 생성할 수 있다.

상기 어플리케이션처리부140의 구성을 살펴보면, 어플리케이션처리제어부360은 입력부170의 명령에 따라 상기 이미지처리부130의 동작을 제어하며, 상기 이미지처리부130에서 출력되는 이미지를 버퍼링 및 표시부160을 통해 표시하고, 캡쳐 명령 발생시 상기 버퍼링된 압축 이미지를 저장부150에 저장한다. 역다중화부355는 상기 어플리케이션처리제어부360의 제어에 의해 상기 이미지처리부130에서 전송되는 표시이미지, 압축이미지 및/또는 촬영정보를 역다중화하여 출력한다. 파서370은 상기 역다중화부355에서 역다중화되는 이미지 및 정보들을 표시이미지, 압축이미지 및 촬영정보로 파싱한다. 여기서 상기 어플리케이션처리제어부360이 상기 역다중화부355를 제어하여 상기 이미지처리부130에서 출력을 표시이미지, 압축이미지 및/또는 촬영정보로 소프트웨어 파싱하는 경우, 상기 파서370은 생략될 수 있다. 버퍼380은 표시이미지버퍼383, 압축이미지버퍼385 및/또는 촬영정보버퍼387을 구비할 수 있다. 상기 버퍼380은 상기 어플리케이션처리제어부360의 제어하에 각각 파싱되는 표시이미지, 압축이미지 및/또는 촬영정보를 버퍼링한다. 여기서 상기 버퍼380은 N 프레임의 표시이미지, 압축이미지 및/또는 촬영정보들을 버퍼링할 수 있는 크기를 가지며, 버퍼380의 구조는 링버퍼(ring buffer) 구조를 가질 수 있다. 상기 버퍼380을 링버퍼 구조로 구성하는 이유는 수신되는 프레임의 이미지 및 정보들을 설정 프레임 수로 유지하기 위함이다. 또한 상기 어플리케이션처리부140은 동영상 저장 요구시 동영상 데이터를 압축하기 위한 동영상압축부(동영상부호화기)390을 구비할 수 있으며, 상기 동영상압축부390는 H.264, MPEG 등 다양한 동영상 부호화기로 구성할 수 있다. 본 발명의 실시예에서는 상기 동영상 압축부가 MPEG코더390인 경우를 가정한다. 사용자로부터 동영상 저정 요구가 발생되면, 상기 어플리케이션처리제어부360은 상기 MPEG코더390을 구동하며, 상기 MPEG코더390은 상기 버퍼380의 표시이미지버퍼380에 버퍼링되는 표시이미지를 압축하여 상기 저장부150에 저장한다. 또한 상기 어플리케이션처리부140은 상기 표시이미지를 리사이징하여 섬네일이미지를 생성하는 섬네일이미지생성부395를 더 구비한다. 상기 섬네일이미지생성부395는 상기 표시이미지버퍼383에서 출력되는 표시이미지를 리사이징하여 하여 섬네일이미지를 생성할 수 있으며, 상기 섬네일 이미지는 상기 JPEG 이미지에 포함될 수 있고, 상기 어플리케이션제어부360의 제어하에 상기 표시부160에 표시될 수 있다.

이때 이미지를 캡쳐하는 경우에도 이미지처리부130은 계속하여 표시이미지, 압축이미지(또는 표시이미지, 캡쳐이미지, 촬영정보)를 계속하여 생성하며, 어플리케이션처리부140은 캡쳐되는 이미지 및 표시이미지를 상기 표시부160에 동시에 표시할 수 있도록 제어할 수 있다. 예를들면 상기 어플리케이션처리부140은 캡쳐모드시 상기 표시이미지를 프리뷰 이미지로 상기 표시부160에 표시하며 캡쳐된 이미지를 섬네일 이미지로 표시할 수 있다. 또는 이와 반대로 상기 어플리케이션 이미지는 캡쳐모드시 상기 캡쳐 이미지를 상기 표시부160에 표시하고 상기 표시이미지를 섬네일 동영상으로 상기 표시부에 표시할 수 있다. 즉, 상기 어플리케이션처리부140은 상기 표시이미지를 이용하여 섬네일 이미지를 생성하며, 캡쳐시 JPEG헤더, 섬네일이미지 및 압축이미지를 상기 저장부150에 저장하게 된다. 본 발명은 상기 어플리케이션처리부140은 캡쳐모드시 표시부160에 표시이미지 및 캡쳐 이미지를 동시에 표시할 수 있으며, 이런 경우 하나의 이미지는 섬네일 이미지로 표시할 수 있다.

상기 도 3에서 이미지처리부130 및 어플리케이션처리부140에 구비되는 정지영상 및 동영상을 압축하는 구성은 코더로 도시되고 있다. 그러나 일반적으로 영상을 압축 및 압축 해제하는 구성은 하나의 칩(Coder & DECcoder: CODEC)으로 구성된다. 따라서 상기 이미지처리부130의 정지영상 코더340(예를들면 JPEG코더)는 정지영상 코덱(JPEG 코덱)으로 구성될 수 있으며, 상기 어플리케이션처리부140의 동영상코더390(예를들면, MPEG 코더 390)은 동영상코덱(MPEG 코덱)이 될 수 있다. 또한 본 발명의 실시예에서는 카메라부110으로부터 촬영되는 이미지를 표시 및 압축 저장하는 동작을 중심으로 설명될 것이다. 그리고 상기 저장부150에 저장된 정지영상(예를들면JPEG 이미지)을 압축해제하여 표시하기 위한 구성이 필요할 수 있다.

이를 위하여 도면에는 도시되지 않았지만 상기 어플리케이션처리부140은 정지영상 디코더(또는 정지영상 코덱)을 더 구비할 수 있다. 이런 경우, 사용자가 입력부170을 통해 상기 저장부150에 저장된 압축이미지의 재생을 요구하면, 상기 어플리케이션처리부140은 도시되지 않은 정지영상 디코더(정지영상 코덱)를 통해 압축 이미지를 디코딩(압축 해제)하고, 상기 디코딩된 이미지를 표시부160에 표시할 수 있다. 이하 설명되는 본 발명의 실시예에서는 상기 정지영상을 디코딩하여 표시하는 동작의 구성 및 설명은 생략하기로 한다.

상기 도 3의 구성에서 상기 이미지처리부130은 카메라부110으로부터 출력되는 이미지를 수신하여 프리뷰용 표시이미지 및 캡쳐용 압축이미지를 생성할 수 있으며, 또한 표시이미지, 압축이미지 및 촬영 정보를 생성할 수 있다.

먼저 표시이미지 및 압축이미지를 생성하여 처리하는 동작(제1실시예)의 동작을 살펴본다.

사용자가 입력부170를 통해 카메라 구동명령을 발생하면, 어플리케이션처리제어부360은 상기 이미지처리부130에 이를 알리며, 상기 이미지처리제어부310은 상기 카메라부110을 구동한다. 그리고 상기 카메라부110에서 출력되는 이미지는 영상 전처리부320에 입력된다. 영상 전처리부320은 상기 카메라부110에서 입력되는 이미지(raw image)를 YUV 이미지로 영상변환하며, 이때의 이미지는 풀 HD 이상의 해상도를 가지는 이미지가 될 수 있다. 그리고 JPEG코더340은 상기 영상 전처리부320에서 출력되는 이미지를 JPEG 방식으로 압축 부호화하여 캡쳐요구시 저장하기위한 압축 이미지를 생성하며, 스케일러330은 상기 영상 전처리부320에서 출력되는 이미지를 설정된 데이터 사이즈로 스케일링하여 표시부160에 표시하기 위한 프리뷰하기 위한 표시이미지를 생성한다. 그리고 다중화부350은 상기 이미지처리제어부310의 제어하에 상기 압축이미지 및 표시이미지를 다중화하여 어플리케이션처리부140에 출력한다.

여기서 상기 이미지처리부130은 설정된 프레임 주기로 상기 표시이미지 및 압축이미지를 생성하며, 여기서 상기 프레임율은 30fps 또는 60fps가 될 수 있다.

그러면 역다중화부355는 상기 다중화되어 전송되는 이미지들을 역다중화하여 출력하며, 파서370은 상기 역다중화되는 이미지들을 표시이미지 및 입축이미지로 파싱한다. 그리고 상기 파싱되는 표시이미지는 상기 어플리케이션처리제어부360의 제어하에 각각 버퍼380의 표시이미지버퍼383에 버퍼링되는 동시에 표시부160에 출력되어 표시된다. 그리고 상기 압축이미지는 상기 어플리케이션처리제어부385의 제어하에 버퍼380의 압축이미지 버퍼385에 버퍼링된다.

여기서 상기 압축이미지버퍼385에 버퍼링되는 압축이미지들은 첫번째로 카메라장치에서 셔터 지연(shutter delay, shutter lag)을 보상하기 위한 용도로 사용될 수 있으며, 두번째로 사용자가 캡쳐 요구시 버퍼링된 압축이미지들 중에서 사용자가 원하는 이미지를 선택할 수 있는 용도로 사용할 수 있다.

먼저 사용자에 의해 캡쳐 요구 명령 발생시, 캡쳐할 이미지는 이미 획득된 이전 프레임의 이미지가 되며, 따라서 캡쳐 요구 시점에서 카메라부110에서 출력되는 이미지는 셔터 지연이 발생된 이미지가 된다. 따라서 셔터 지연을 해소(zero shutter lag)하기 위하여, 본 발명의 실시예에서는 캡쳐 요구시 상기 어플리케이션처리제어부360은 압축이미지버퍼385에 버퍼링하고 있는 이전 프레임의 압축이미지를 선택하여 저장부150에 저장한다.

두번째로 사용자에 의해 캡쳐 요구 발생시, 캡쳐할 사진이 정상적으로 촬영되지 않은 사진일 수 있다. 예를들면 인물 사진을 촬영한 경우, 인물이 눈을 감거나 흔들린 사진이 촬영될 수 있다. 이런 경우 사용자는 다른 압축이미지를 캡쳐하는 것이 바람직하다. 이를 위하여 본 발명의 실시예에서 어플리케이션처리부140은 상기 표시이미지를 이용하여 섬네일 이미지를 생성한다. 즉, 상기 어플리케이션쳐리부140의 섬네일이미지생성부395는 상기 표시이미지버퍼383에서 출력되는 표시이미지를 리사이징(스케일링 및 크롭 기능도 포함할 수 있음)하여 섬네일이미지를 생성한다. 그리고 캡쳐 요구시 상기 어플리케이션처리제어부360은 상기 압축이미지버퍼385에 버퍼링된 압축이미지들의 섬네일 이미지를 상기 표시부160에 표시하며, 사용자에 의해 선택된 섬네일 이미지에 대응되는 압축이미지를 저장부150에 저장할 수 있다. 또한 본 발명의 실시예에서는 상기 표시 이미지를 표시이미지버퍼383에 버퍼링하고 있다. 따라서 캡쳐 요구시 상기 섬네일 이미지를 사용하지 않고 상기 표시이미지버퍼383에 버퍼링중인 표시이미지들을 상기 표시부160에 표시하며(post view), 상기 표시부160에 표시되는 표시이미지를 확인하여 원하는 압축 이미지를 선택한 후 이를 저장부1650에 저장할 수도 있다.

상기한 바와 같이, 본 발명의 제1실시예에서는 프리뷰 모드시 매프레임 주기에서 카메라부110에서 생성되는 이미지를 처리하여 표시이미지 및 압축이미지를 생성하고, 상기 생성되는 표시이미지 및 압축이미지들을 설정된 프레임 수로 버퍼링하며, 캡쳐 요구시 상기 버퍼링된 압축이미지에서 캡쳐 요구 시점의 압축이미지를 선택하여 저장하므로써 제로 셔터랙을 구현할 수 있으며, 또한 상기 버퍼링 중인 압축이미지들의 섬네일 이미지를 확인하여 원하는 압축이미지를 선택하여 저장할 수 있다.

본 발명의 제1실시예에서는 촬영정보를 사용하지 않을 수 있다. 이런 경우, 상기 압축이미지인 jpeg 이미지는 통상의 exif 데이터를 포함할 수 있다. 이런 경우, 상기 버퍼380의 버퍼387은 사용하지 않는다.

두번째로 표시이미지, 압축이미지 및 촬영정보를 생성하는 처리하는 동작(제2실시예)의 동작을 살펴본다.

사용자가 입력부170를 통해 카메라 구동명령을 발생하면(즉, 프리뷰 모드를 수행하면), 어플리케이션처리제어부360은 상기 이미지처리부130에 이를 알리며, 이미지처리제어부310은 상기 카메라부110을 구동한다. 그리고 상기 카메라부110에서 출력되는 이미지는 영상 전처리부320에 입력된다.

이때 이미지처리부130은 매 프레임 주기로 표시이미지, 압축이미지 및 촬영정보를 생성한다. 여기서 상기 이미지처리부130에서 프레임 이미지 생성은 30fps 또는 그 이상(예를들면 60fps)로 할 수 있다. 이때 매 프레임의 주기에서 상기 영상 전처리부320은 상기 카메라부110에서 입력되는 이미지(raw image)를 3A 처리, 컬러 인터폴레이션 및/또는 raw 이미지를 YUV 이미지로 영상변환하는 기능을 수행하며, 이때의 이미지는 풀 HD 이상의 해상도를 가지는 이미지가 될 수 있다. 그리고 JPEG코더340은 상기 영상 전처리부320에서 출력되는 이미지를 JPEG 방식으로 압축 부호화하여 캡쳐요구시 저장하기 위한 압축 이미지를 생성한다. 이때 상기 압축데이터는 JPEG와 다른 방식의 압축부호화기를 사용할 수도 있으며, 본 발명의 실시예에서는 상기한 바와 같이 JPEG 방식으로 압축 데이터를 생성하는 것으로 가정한다. 스케일러330은 상기 영상 전처리부320에서 출력되는 이미지를 설정된 데이터 사이즈로 축소하여 표시부160에 표시하기 위한 프리뷰하기 위한 표시이미지를 생성한다. 이때 상기 이미지를 축소하는 방법은 통상의 스케일링 방법, 크롭(crop), 리사이즈 방법들을 사용할 수 있으며, 이들 중 한가지 방법 또는 두 가지 이상의 방법을 조합하여 표시이미지를 생성할 수 있다. 여기서 상기 표시이미지는 상기 표시부160에 표시하기 위한 이미지 및/또는 동영상 캡쳐시 저장할 이미지가 될 수 있다. 이때 상기 이미지처리부130의 스케일러330은 프리뷰 모드를 위한 표시이미지 및 동영상 저장을 위한 표시이미지의 데이터 크기(data size)를 다른 크기로 할 수도 있다. 또한 상기한 바와 같이 상기 영상전처리부320에서 색변환 기능을 수행하지 않는 경우, 상기 스케일러340은 표시이미지 생성부로 구성할 수 있다. 이런 경우 상기 표시이미지생성부는 상기 색변환(color conversion, raw image를 YUV 이미지로 변환하는 기능) 및 스케일러 기능을 포함하는 구성을 가질 수 있다.

또한 상기 이미지처리부130은 매 프레임 주기에서 상기 표시이미지 및 압축이미지 생성시 카메라장치에서 이미지를 촬영할 때의 각종 센서 정보를 획득하여 촬영정보로 생성한다. 일반적으로 카메라 장치는 카메라부110을 세팅 하기 위한 정보만 존재하고, 상기 카메라부110으로부터 받아온 정보를 이용하는 부분은 없었다.

또한 상기 카메라부110의 출력 이미지를 저장할 때 Exif data를 생성하였지만, 상기 Exif 데이터에 포함되는 촬영 정보의 양이 제한적이고, 캡쳐된 이미지에서만 참고할 수 있다는 한계가 있다. 따라서 본 발명의 제2실시예에서는 카메라부110이 구동되는 경우, 상기 카메라부110 및 장치의 외부에 위치되는 센서부120으로부터 매 frame의 이미지 촬영정보를 획득하고, 획득된 촬영정보를 해당 프레임의 이미지와 함께 embeded data로 버퍼링하며, 상기 버퍼링된 이용하여 카메라장치의 기능을 효율적으로 사용할 수 있도록 하는 것이 바람직하다.

본 발명의 제2실시예에서는 상기 카메라부110으로부터 발생되는 매 frame의 이미지를 수신하는 이미지처리부130은 표시용 YUV 이미지 및 캡쳐용 압축이미지를 생성하고, 해당 프레임 이미지의 촬영정보를 생성(이미지 data + embedded data로 구성)한다. 여기서 상기 촬영정보(embedded data)는 하기 <표 1>과 같은 데이터들을 포함할 수 있다.

촬영정보(meta data)	크기	비고
Flash	4byte	Flash 풀광량 체크할 수 있는 flag, flash 동작시 이용
ISO	4byte	ISO 정보 저장
EV	4byte	Exposure Value 값 저장
Data type	4byte	JPEG, YUV, META data의 data type을 저장
Data size	4byte	가변적으로 변하는 JPEG의 size를 저장, JPEG 이미지를 버퍼에 저장할 때 사용
Face detection	4byte	FACE detection 기능 on/off 저장
Face num	4byte	얼굴 인식된 개수 저장
FD start x	4byte	얼굴 인식된 사각 좌표의 시작 x값 저장. FD[0].sx, FD[1].sx 처럼 얼굴 인식된 개수만큼 저장
FD start y	4byte	얼굴 인식된 사각 좌표의 시작 y값 저장. FD[0].sy, FD[1].sy 처럼 얼굴 인식된 개수만큼 저장
FD end x	4byte	얼굴 인식된 사각 좌표의 오른쪽 아래 x값 저장. FD[0].ex, FD[1].ex 처럼 얼굴 인식된 개수만큼 저장
FD end y	4byte	얼굴 인식된 사각 좌표의 오른쪽 아래 y값 저장. FD[0].ey, FD[1].ey 처럼 얼굴 인식된 개수만큼 저장
Effect	4byte	설정된 Effect 값 저장
White balance	4byte	설정된 WB 값 저장
Scene mode	4byte	설정된 Scene mode 값 저장
Metering	4byte	설정된 측광 모드값 저장
I-frame	4byte	MPEG 사용시 iframe 정보값 저장
P-frame	4byte	MPEG 사용시 pframe 정보값 저장
Sharpness	4byte	설정된 sharpness 값 저장
Saturation	4byte	설정된 saturation 값 저장
Contrast	4byte	설정된 contrast 값 저장
Frame count	4byte	현재 들어온 프레임의 count 값 저장
HDR	4byte	HDR 동작 상태 저장
Zoom	4byte	설정된 zoom 배율 저장
AF	4byte	AF status 저장
CAF x	4byte	CAF 동작 시 x좌표값 저장
CAF y	4byte	CAF 동작 시 y좌표값 저장
Gyro data	4byte	Gyro data 값 저장, 흔들림 판단시 사용
Anti-shake	4byte	손떨림 방지 기능 동작 유무 저장
Quality	4byte	설정된 Jpeg quality 값 저장
Storage	4byte	미디어 데이터 저장위치 저장
촬영일시	4byte	현재 시간정보 저장
GPS 정보	4byte	GPS status 저장
위치 정보	4byte	현재위치 데이터 값 저장
고도정보	4byte	현재 고도 정보 저장
카메라 각도정보	4byte	현재 카메라 각도 정보 저장
가속도 센서	4byte	가속도 센더 데이더 값 저장, 흔들림 판단시 사용

상기와 같은 촬영정보(meta data)를 이용하여 사용자는 다양한 기능을 설정하여 사진을 촬영할 수 있다. 사용자가 자주 촬영한 피사체 정보와 카메라 메뉴 정보를 이용하여 상황에 맞는 설정 값을 찾을 수 있다. 이런 경우, Preview시에 사람 얼굴이 탐지되면 인물 DB에서 해당 인물 촬영시 자주 사용되었거나, 사용시 좋은 결과를 가져올 메뉴를 자동으로 설정한다. 예로 일반인들은 자신의 가족, 친지, 애인, 가족, 연예인 등의 인물 사진을 많이 촬영하는데, 인물 DB내에서 해당 인물 촬영 시에 적합한 정보를 찾거나 없으면 촬영 시 도움이 될만한 메뉴를 세팅할 수 있다.(예를들면, smile shot, beauty shot, portrait scene mode, AF mode, object tracking, ISO, effect, white balance, exposure, metering, zooming, flash, etc) 또한 Preview 정보에서 사람 정보를 찾을 수 없을 경우 풍경 사진 촬영인지에 대한 부분을 확인하여 풍경 사진에 적합하도록 설정할 수 있다.(예를들면 outdoor visible, flash, ISO, effect, white balance, exposure, metering, landscape scene mode, Fan focus mode, etc.) 상기와 같이 촬영된 이미지는 사용자 카메라 사용에 대한 경험을 바탕으로 저장할 수 있다.(예를들면 애인 사진의 경우 촬영과 동시에 애인 앨범으로 저장되거나, 지정된 SNS or cloud system에 반영될 수 있다) 그리고 연속 촬영에서 촬영된 이미지의 유사성에 대한 부분을 판단하여 앨범 or postview에서 사용자에게 display될 때 쉽게 확인 가능하도록 할 수 있다.

그리고 다중화부350은 상기 이미지처리제어부310의 제어하에 상기 표시이미지, 압축이미지 및 촬영정보를 다중화하여 어플리케이션처리부140에 출력한다.

도 4a는 본 발명의 실시예에 따라 이미지처리부에서 생성되는 이미지 프레임의 구성을 도시하는 도면이며, 도 4b는 본 발명의 실시예에 따라 프레임을 구성하는 YUV 이미지, JPEG 이미지 및 촬영정보를 도시하는 도면이고, 도 4c는 본 발명의 실시예에 따라 매 프레임의 데이터 전송 포맷을 도시하는 도면이다.

상기 도 4a - 도 4c를 참조하면, 상기 이미지처리부130은 매 프레임 주기에서 YUV 이미지, JPEG 이미지 및 촬영정보(embedded data, meta data)를 생성하며, 다중화부350은 상기 생성된 YUV 이미지, JPEG 이미지 및 촬영정보를 도 4a와 같이 다중화하여 어플리케이션처리부140에 전송한다.

이때 상기 도 4b에 도시된 바와 같이 압축이미지인 JPEG 데이터는 원본 이미지로써 캡쳐 요구시 정지 이미지로 저장하기 위한 데이타이다. 이때 상기 JPEG 데이터의 크기는 상기 카메라부110의 이미지센서220에 의해 결정될 수 있으며, 8M 바이트 이상의 데이터 크기를 가질 수 있다. 또한 YUV 데이터는 상기 표시부160에 프리뷰하기 위한 이미지로써, 상기 JPEG 데이터의 크기보다 작은 크기로 스케일링된다. 또한 상기 YUV 데이터는 프리뷰 이외에 포스트 뷰(post view) 데이터로 사용할 수도 있다. 즉, 캡쳐 요구시 상기 표시이미지버퍼383에 저장하고 있는 표시이미지들을 상기 표시부160에 표시(post view)할 수도 있다. 또한 촬영정보는 카메라 부가 기능으로써, 카메라부110에서 이미지를 획득할 때의 각종 촬영정보들 및 카메라장치의 외부에 위치되는 센서부120으로부터 감지되는 센서정보들로 구성할 수 있다. 이때 상기 촬영정보는 상기 압축이미지에 포함되는 것이 아니라 독립적으로 저장한다. 즉, 상기 이미지처리부130은 매 프레임에서 카메라부110 및 센서부120으로부터 감지되는 정보를 이용하여 상기 <표 1>과 같은 구성을 가지는 촬영정보로 생성하며, 상기 촬영정보는 매 프레임 단위로 상기 표시이미지 및 압축이미지들과 대응되도록 저장한다. 이후 사용자는 상기 촬영정보를 이용하여 이미지를 효율적으로 저장 및 처리할 수 있다.

그리고 상기 도 4b와 같은 구조를 가지는 본 발명의 실시예에 따른 카메라 프레임 데이터는 이미지처리부130에서 생성되어 도 4c와 같은 전송 포맷으로 어플리케이션처리부140에 전송된다. 이때 상기 YUV 데이터는 2M((Full HD): 1920*1080*2(YUV422 foramt은 1 pixel당 2Byte))가 될 수 있으며, JPEG 데이터는 Max 8MB가 될 수 있고, 촬영정보인 Meta data는 4K가 될 수 있다. 이런 경우, 상기 이미지처리부130에서 상기 상기 도 6과 같은 각 프레임 데이터를 전송할 때의 필요 버스 대역폭은 (1920*1080*2 + 8*1024*1024 + 4*1024) * 30fps * 8bit = 3,009,576,960bps = 2.87Gbps가 될 수 있다.

상기 이미지처리부130에서 다중화되어 전송되는 표시이미지, 압축이미지 및 촬영정보는 어플리케이션처리부140의 역다중화부355에서 역다중화되며, 파서370에서 표시이미지, 압축이미지 및 촬영정보로 파싱되어 링버퍼380의 각각 대응되는 표시이미지버퍼383, 압축이미지버퍼385, 촬영정보버퍼387에 버퍼링된다. 상기 버퍼380은 링 버퍼의 구조를 가지며, 설정된 프레임 수의 데이터가 버퍼링되면 오버 라이트된다.

도 5는은 본 발명의 실시예에 따른 표시이미지버퍼, 압축이미지 버퍼 및 촬영정보버퍼의 구성을 도시하는 도면이다.

상기 도 5를 참조하면, 각 버퍼383, 385 및 387은 각각 N 프레임의 대응되는 데이터를 저장할 수 있는 N개의 링버퍼 구조를 가지며, 어플리케이션처리제어부360의 제어하에 대응되는 데이터를 버퍼링한다. 이때 N개의 버퍼에 데이터가 버퍼링되면, 상기 어플리케이션처리제어부360은 도 5와 같이 다시 처음부터 데이터가 버퍼링될 수 있도록 오버라이트한다. 즉, 압축이미지버퍼385의 경우, N 프레임의 JPEG 이미지를 저장할 수 있는 N 개의 버퍼들이 링버퍼 구조로 링크되며, 먼저 JPEG 1 - JPEG n의 N 프레임 JPEG 이미지들이 각각 대응되는 버퍼에 저장되며, 이후 생성되는 N개의 JPEG n+1 - JPEG 2n 이미지는 도 7에 도시된 바와 같이 각각 대응되는 압축이미지 버퍼들에 오버라이트된다. 그리고 상기 표시이미지버퍼383, 압축이미지버퍼385 및 촬영정보버퍼387의 프레임은 프레임 카운트 값을 통해 동기된다. 따라서 어플리케이션처리제어부360은 프레임 카운트 값을 확인하여 동일 프레임의 표시이미지, 압축이미지 및 촬영정보들을 처리할 수 있다.

또한 상기 어플리케이션처리제어부360은 상기 표시이미지를 상기 표시이미지버퍼380에 버퍼링하면서 상기 표시부160에 출력하여 프리뷰 이미지로 표시될 수 있도록 한다. 상기와 같은 상태에서 사용자가 캡쳐 요구 명령을 발생하면, 상기 어플리케이션제어처리부360은 이를 감지하고 상기 압축이미지버퍼385에 버퍼링된 압축 이미지들 중에서 설정된 압축이미지를 저장부150에 저장한다. 이때 저장되는 압축이미지는 JPEG 이미지가 될 수 있으며, 이런 경우 상기 저장되는 압축이미지는 JPEG헤더, 섬네일 이미지 및 JPEG 이미지 등으로 구성될 수 있다.

본 발명의 제2실시예에서는 캡쳐 요구 발생시, 상기 압축이미지버퍼385에 버퍼링된 압축이미지들을 이용하여 제로 셔터렉을 구현할 수 있으며, 또한 버퍼링된 프레임 이미지를 확인하여 사용자가 원하는 압축이미지를 선택하여 저장할 수 있도록 할 수 있고, 촬영정보를 이용하여 사용자가 원하는 이미지를 선택하여 저장할 수 있다. 이런 경우, 사용자는 캡쳐시 제로 셔터렉, 이미지 확인, 촬영정보 확인 등의 기능을 미리 설정할 수 있으며, 또한 캡쳐시 점에서 이들 기능들을 설정할 수도 있다. 이하의 설명에서 해당 기능들이 미리 설정된 경우를 가정하여 설명하기로 한다.

먼저 제로 셔터렉 기능이 설정된 경우, 캡쳐 요구 명령 발생시 상기 어플리케이션처리제어부360은 입력부170을 통해 이를 확인하고, 상기 압축이미지버퍼385에 버퍼링된 이미지들 중에서 이전 프레임에서 생성되어 버퍼링중인 압축이미지를 선택하여 상기 저장부150에 저장한다. 예를들어 셔터 지연(셔터 렉)이 1프레임으로 설정된 경우, 캡쳐 요구 명령이 발생되면 상기 어플리케이션처리제어부360은 상기 도 7에 도시된 바와 같이 버퍼링된 이전 프레임의 압축 데이터를 저장부150에 저장하여 제로 셔터렉을 구현한다. 예들들어 상기 도 7의 JPEG 2의 시점에서 캡쳐 명령이 발생되면, 상기 어플리케이션처리제어부360은 상기 압축이미지버퍼385에 버퍼링된 JPEG1 이미지 및 메터 데이터 1을 상기 저장부150에 저장한다. 이때 상기 JPEG1 이미지와 같은 프레임 카운트값을 가지는 YUV1 및 meta data를 함께 저장할 수도 있다. 상기와 같이 캡쳐 요구시, 압축이미지버퍼385에 버퍼링된 이전 프레임들의 압축이미지들 중에서 캡쳐요구가 발생된 시점(shutter release 시점)의 프레임에 대응되는 압축이미지를 선택하여 저장하므로써, 셔터렉을 해결(zero shutter leg 구현)할 수 있다.

두번째로 섬네일 이미지 또는 표시이미지들을 표시하면서 원하는 압축이미지들을 선택하는 기능이 설정된 경우의 동작을 살펴본다. 캡쳐할 사진이 정상적으로 촬영되지 않은 사진일 수 있다. 예를들면 촬영된 이미지가 흔들린 사진이거나, 인물 사진의 경우 눈을 감은 사진을 캡쳐할 수 있다. 이때 사진 촬영은 찰나의 순간 이미지를 촬영하는 것이므로, 이런 경우 동일한 조건으로 사진을 재촬영할 수 없는 상황이 발생될 수 있다. 따라서 사진을 다시 촬영할 수 있는 조건이 아니면, 사용자는 버퍼링 중인 다른 압축이미지를 캡쳐하는 것이 바람직하다. 본 발명의 실시예에서는 상기 압축이미지버퍼385에 버퍼링된 이미지들 중에서 원하는 사진 이미지를 선택할 수 있도록 한다. 이를 위하여 본 발명의 실시예에서는 상기 표시이미지를 생성할 때 섬네일 이미지를 생성한다. 그리고 캡쳐 요구시 상기 어플리케이션처리제어부360은 상기 압축이미지버퍼385에 버퍼링된 압축이미지들의 섬네일 이미지를 상기 표시부160에 표시하며, 사용자에 의해 선택된 섬네일 이미지에 대응되는 압축이미지를 저장할 수 있다. 또한 캡쳐 요구시 상기 표시이미지 버퍼383에 버퍼링된 표시이미지들을 순차적으로 표시하면서 사용자가 원하는 압축이미지를 선택하도록 할 수도 있다.

상기와 같은 두번째의 기능은 제로 셔터렉 기능과 함께 설정될 수도 있다. 이런 경우, 상기 어플리케이션처리제어부360은 제로 셔터렉 기능을 수행하여 압축이미지를 선택하며, 상기 압축이미지가 원하는 이미지가 아닌 경우에 섬네일 영상 또는 표시이미지들을 확인하여 다른 압축이미지를 선택할 수도 있다.

세번째로 특정 촬영정보를 이용하여 캡쳐이미지를 선택하는 기능이 설정된 경우, 이미지 캡여 요구시 상기 어플리케이션처리부140은 상기 촬영정보를 확인하여 압축이미지를 선택할 수 있다. 예를들면 플래시를 이용하여 이미지를 촬영한 경우 상기 어플리케이션처리제어부360은 촬영정보의 플래시 정보를 확인하여 플래시가 최대 발광한 시점의 압축이미지를 선택할 수 있으며, 사용자가 흔들림 검출 기능을 설정한 경우 센서부120의 움직임센서의 정보(예를들면 자이로센서, 가속 센서 등)를 확인하여 흔들림 없는 압축이미지를 선택할 수 있다. 또한 상기 촬영정보의 데이터 크기를 확인하여 상기 버퍼380의 이미지 버퍼링을 효율적으로 제어할 수 있다.

상기 도 1 및 도 3은 본 발명의 실시예에 따른 카메라장치의 구성을 도시하는 도면이다. 여기서 이미지처리부130은 카메라부110에서 출력되는 이미지를 처리하며, 또한 상기 카메라부110의 동작을 제어하고, 상기 카메라부110의 촬영정보를 획득하는 기능을 수행한다. 그리고 센서부120이 이미지처리부130에 연결되어 카메라 구동시 카메라부110 및 센서부120으로부터 획득되는 정보들을 촬영정보로 생성한다. 그리고 상기 어플리케이션처리부140은 상기 이미지처리부130의 동작을 제어하며, 또한 이미지처리부130에서 출력되는 데이터(표시 및 압축이미지와 촬영정보)들을 처리한다.

그러나 상기 어플리케이션처리부140은 상기 이미지처리부130의 어플리케이션(즉,카메라 관련 어플리케이션) 이외에 다른 어플리케이션들을 취할 수 있다. 이런 어플리케이션은 센서부120의 어플리케이션이 될 수 있다. 상기와 같은 어플리케이션들의 예를 살펴보면, 상기 센서부120은 GPS를 포함할 수 있으며, 상기 GPS신호를 수신하여 장치(여기서는 카메라장치 또는 카메라 장치를 포함하는 단말 장치 등이 될 수 있다)의 위치를 표시할 수 있다. 또한 상기 센서부120은 움직임 센서를 구비하여 상기 장치의 상태를 표시할 수 있다. 예를들면 상기 움직임센서는 장치의 상하 좌우 이동을 감지하며, 자이로센서는 축(X,Y,Z축) 이동을 감지할 수 있다. 따라서 상기 움직임센서의 출력을 감지하여 장치가 위치한 상태를 표현하는 어플리케이션을 처리할 수 있다. 이런 경우, 상기 센서부120은 상기 어플리케이션 처리부140에 접속될 수 있다.

도 6은 본 발명의 실시예에 따른 카메라장치 또는 카메라 장치를 포함하는 단말장치에서 상기 어플리케이션처리부140이 센서부120의 출력을 처리하는 구성을 도시하고 있으며, 도 7은 상기 도 6과 같은 구성에서 이미지처리부130 및 어플리케이션처리부140의 구성을 도시하는 도면이다. 이하의 설명에서는 카메라 구동시 촬영정보를 생성 및 처리하는 동작을 중심으로 살펴본다. 즉, 도 5 및 도 6에서 촬영정보를 생성하는 구성 및 동작 이외에 나머지 동작은 상기 상기 도 1 및 도 3의 구성 및 동작과 동일하다.

상기 도 6 및 도 7을 참조하면, 사용자가 입력부170를 통해 카메라 구동명령을 발생하면(즉, 프리뷰 모드를 수행하면), 어플리케이션처리제어부360은 상기 이미지처리부130에 이를 알리며, 이미지처리제어부310은 상기 카메라부110을 구동한다. 그리고 상기 카메라부110에서 출력되는 이미지는 영상 전처리부320에 입력된다.

이때 이미지처리부130은 매 프레임 주기에서 표시이미지, 압축이미지 및 촬영정보를 생성한다. 이때 매 프레임의 주기에서 상기 영상 전처리부320은 상기 카메라부110에서 입력되는 이미지(raw image)를 3A 처리, 컬러 인터폴레이션 및/또는 raw 이미지를 YUV 이미지로 영상변환하는 기능을 수행하며, 이때의 이미지는 풀 HD 이상의 해상도를 가지는 이미지가 될 수 있다. 그리고 JPEG코더340은 상기 영상 전처리부320에서 출력되는 이미지를 JPEG 방식으로 압축 부호화하여 캡쳐요구시 저장하기 위한 압축 이미지를 생성하며, 스케일러330은 상기 영상 전처리부320에서 출력되는 이미지의 사이즈를 축소하여 표시부160에 표시하기 위한 프리뷰하기 위한 표시이미지를 생성한다. 이때 상기한 바와 같이 상기 영상전처리부320에서 색변환 기능을 수행하지 않는 경우, 상기 스케일러340은 표시이미지 생성부로 구성할 수 있다. 이런 경우 상기 표시이미지생성부는 상기 색변환(color conversion, raw image를 YUV 이미지로 변환하는 기능) 및 스케일러 기능을 포함하는 구성을 가질 수 있다.

또한 상기 이미지처리부130은 매 프레임 주기에서 상기 표시이미지 및 압축이미지 생성시 카메라부110에서 이미지를 촬영할 때의 촬영정보로 생성한다. 이런 경우, 상기 이미지처리부130의 이미지처리제어부310은 카메라 구동시 상기 카메라부110의 동작을 설정한 정보(setting 정보) 및 카메라부110으로부터 획득하는 정보들을 촬영정보로 생성한다. 즉, 상기 도 5 및 도 6의 구성을 가지는 장치에서 이미지처리부130은 카메라 구동시 카메라부110의 제어 및 카메라부110으로부터 획득되는 정보(이하 제1촬영정보라 칭함)만을 이용하여 촬영정보를 생성한다.

그리고 상기 이미지처리부130은 매 프레임 주기에서 YUV 이미지, JPEG 이미지 및 제1촬영정보를 생성하며, 다중화부350은 상기 생성된 YUV 이미지, JPEG 이미지 및 촬영정보를 도 4a와 같이 다중화하여 어플리케이션처리부140에 전송한다.

여기서 상기 카메라장치 또는 카메라장치를 구비하는 단말장치는 휴대장치로써, 사용자에 의해 이동될 수 있다. 이때 상기 장치는 사용자가 위치하는 지역에 따라 지역(단말의 위치)이 다를 수 있으며, 이동수단(차량, 비행기, 기차, 도보 등)에 의해 이동속도가 다를 수 있으며, 사용자의 고도 위치(건물 위, 지하, 산, 바다 등)에 의해 고도가 다를 수 있으며, 사용자의 장치 이용(상하 좌우 이동, 축(X,Y,Z 축 이동)에 따라 단말장치의 움직임 및 각도가 다를 수 있으며, 단말기가 방향(동서남북)이 다를 수 있다. 따라서 상기 카메라장치 또는 카메라장치를 구비하는 단말장치는 위와 같은 특성을 감지하기 위한 센서부120을 구비할 수 있으며, 센서부120은 다양한 센서들을 구비할 수 있다. 따라서 상기 센서부120은 단말의 위치 및 지역과 이동을 감지하기 위한 GPS수신기, 단말기의 움직임을 감지하기 위한 움직임센서(가속센서, 자이로 센서 등), 단말의 고도를 측정하기 위한 고도센서, 단말의 방향을 감지하기 위한 방향센서, 단말의 주변 밝기를 감지하기 위한 조도센서 등 다양한 센서등을 구비할 수 있다. 또한 상기 카메라장치 또는 카메라장치를 구비하는 단말장치는 카메라 구동시 촬영시의 날씨 및 온도 정보와 그 외의 부가정보 등을 인터넷 망 또는 통신망를 통해 수신할 수 있다. 이를 위하여 상기 카메라장치 및 카메라장치를 포함하는 단말장치는 통신망 또는 인터넷 망과 접속하기 위해 도시하지 않은 통신부(wifi 등)를 구비할 수 있다. 상기와 같이 센서부120 및/또는 통신부를 통해 획득되는 카메라 구동시의 정보는 제2촬영정보가 될 수 있다.

상기 이미지처리부130에서 다중화되어 전송되는 표시이미지, 압축이미지 및 제1촬영정보는 어플리케이션처리부140의 역다중화부355에서 역다중화되며, 파서370에서 표시이미지, 압축이미지 및 촬영정보로 파싱되어 링버퍼380의 각각 대응되는 표시이미지버퍼383, 압축이미지버퍼385, 촬영정보버퍼387에 버퍼링된다. 이때 상기 어플리케이션처리부140의 어플리케이션처리제어부360은 상기 센서부120(및/또는 도시되지 않은 통신부로부터 수신되는 부가정보)의 출력을 제2촬영정보로 생성하며, 상기 파싱되는 상기 제1촬영정보를 상기 촬영정보에 버퍼링할 때 상기 제2촬영정보를 병합(merge)하여 촬영정보를 생성한다. 즉, 상기 어플리케이션처리부140은 매 프레임에서 상기 이미지처리부130에서 전송되는 제1촬영정보에 상기 어플리케이션처리부140에서 생성되는 제2촬영정보를 병합하여 촬영정보버퍼387에 버퍼링한다. 이때 상기 버퍼380은 도 5와 같은 링 버퍼의 구조를 가지며, 설정된 프레임 수의 데이터가 버퍼링되면 오버 라이트된다. 그리고 상기 상기 표시이미지버퍼383, 압축이미지버퍼385 및 촬영정보버퍼387의 프레임은 프레임 카운트 값을 통해 동기된다.

따라서 어플리케이션처리제어부360은 프레임 카운트 값을 확인하여 동일 프레임의 표시이미지, 압축이미지 및 촬영정보들을 처리할 수 있다.

또한 상기 어플리케이션처리제어부360은 상기 표시이미지를 상기 표시이미지버퍼380에 버퍼링하면서 상기 표시부160에 출력하여 프리뷰 이미지로 표시될 수 있도록 한다. 상기와 같은 상태에서 사용자가 캡쳐 요구 명령을 발생하면, 상기 어플리케이션제어처리부360은 이를 감지하고 상기 압축이미지버퍼385에 버퍼링된 압축 이미지들 중에서 설정된 압축이미지를 저장부150에 저장한다. 여기서 상기 설정된 압축이미지는 제로 셔터렉 기능이 설정된 경우, 상기 어플리케이션처리부140은 캡쳐 명령이 발생된 시점(즉, 사용자가 표시부160 또는 뷰파인더(view finder)로 확인된 시점의 프레임 압축이미지 (압축이미지버퍼385에 버퍼링된 압축이미지)를 선택하여 저장한다. 또한 사용자가 특정 기능의 이미지 촬영을 설정한 경우(예를들면 플래시, 얼굴인식, 흔들림 등), 상기 어플리케이션처리부140은 상기 촬영정보에서 해당 기능에 관련된 촬영정보를 분석하여 최적의 이미지로 촬영된 프레임의 압축이미지를 선택하여 저장한다. 또한 사용자가 수동 설정을 한경우, 상기 어플리케이션처리부140은 섬네일이미지 및/촬영정보등을 표시하고, 사용자에 의해 선택된 프레임의 압축이미지를 저장한다. 이때 저장되는 압축이미지는 JPEG 이미지가 될 수 있으며, 이런 경우 상기 저장되는 압축이미지는 JPEG헤더, 섬네일 이미지 및 JPEG 이미지 등으로 구성될 수 있다.

상기 도 1, 도 3 및 도 6, 도 7과 같은 구성을 가지는 카메라 장치는 이미지처리부130과 어플리케이션처리부140을 구비하여 카메라부110에서 감지되는 이미지를 처리하는 구성을 도시하고 있다. 그러나 상기 이미지처리부130 및 어플리케이션처리부140을 일체화시켜 하나의 처리부로 구성할 수도 있다. 도 8은 본 발명의 실시예에서 이미지 및 어플리케이션 처리를 단일 구성을 처리하는 카메라 장치의 구성을 도시하는 도면이며, 도 9는 상기 도 8의 구성에서 처리부 구성을 도시하는 도면이다.

상기 도 8 및 도 9를 참조하면, 카메라부810은 카메라 구동시 외부 이미지를 촬영하며, 센서부820은 카메라장치에 장착되는 센서로 상기한 바와 같이 GPS수신기, 자이로센서, 가속도센서, 고도센서, 방향센서들 중에 하나 이상이 될 수 있다.

처리부830은 상기 카메라부810으로부터 획득되는 이미지를 처리하여 표시부160에 표시하기 위한 표시 이미지, 캡쳐 요구시 저장하기 위한 압축 이미지 및 촬영정보를 생성하며, 생성된 이미지들 및 정보를 버퍼링한다. 여기서 상기 처리부830은 상기 이미지처리부 및 어플리케이션처리부의 기능을 통합 처리하는 구성을 가진다. 상기 처리부830은 매 프레임 주기에서 표시이미지, 압축이미지 및 촬영정보를 생성하며, 동일한 프레임의 이미지들 및 정보들을 동기시켜 버퍼링한다

상기 입력부860은 상기 처리부830에 카메라 구동명령 및 캡쳐 명령을 발생할 수 있다. 또한 상기 입력부860은 이미지 캡쳐시 사용자의 요구에 따른 촬영정보 및/또는 섬네일 이미지들의 표시를 요구하는 명령을 발생할 수 있다. 표시부850은 프리뷰 모드시 상기 처리부830에서 출력되는 표시 이미지를 표시한다. 또한 상기 표시부850은 이미지 캡쳐시 상기 처리부830에서 출력되는 촬영정보 및/또는 섬네일 이미지들을 표시할 수 있다. 여기서 상기 입력부860은 사용자의 터치입력을 감지하는 터치패널이 될 수 있으며, 표시부850은프로그램 수행 중에 발생되는 데이터 및 이미지 등을 표시하는 LCD 또는 OLED 패널이 될 수 있다. 여기서 상기 입력부860 및 표시부850은 일체형의 터치스크린이 될 수 있다. 또한 상기 입력부860은 카메라장치의 외부에 위치되는 버튼들을 포함할 수 있다.

저장부840은 캡쳐 요구시 상기 처리부830에 버퍼링 중인 압축 이미지를 저장한다.

상기 처리부830의 구성을 살펴보면, 도 9에 도시된 바와 같이 이미지처리부에서 어플리케이션 처리부로 프레임 이미지들 및 촬영정보를 다중화하여 전송하는 구성 및 어플리케이션처리부에서 수신되는 다중화된 프레임 이미지들 및 정보들을 역다중화하는 구성과 이를 파싱하는 구성이 생략되어 있음을 알 수 있다. 그리고 이외의 구성 및 각 구성들에서 수행되는 동작은 상기 도 3의 구성과 동일하다.

즉, 영상 전처리부920에서 처리된 풀 HD급 이상의 해상도를 가지는 이미지는 JPEG 코더840에 압축 부호화되어 JPEG 이미지로 생성되며, 또한 스케일러930에서 그 크기가 조절되어 표시이미지로 생성된다. 또한 제어부910은 상기 카메라부810 및 센서부820으로부터 상기 이미지 촬영시의 정보들을 획득하여 촬영정보를 생성한다. 이때 상기 JPEG 이미지, 표시이미지 및 촬영정보는 매 프레임 주기에서 생성되며, 동일한 프레임에서 생성되는 JPEG 이미지, 표시이미지 및 촬영정보는 동일한 프레임 카운트 값을 가진다. 따라서 동일한 프레임에서 생성되는 JPEG 이미지, 표시이미지 및 촬영정보는 동기되어 처리된다. 그리고 상기 JPEG 이미지, 표시이미지 및 촬영정보들은 제어부910의 제어에 의해 각각 버퍼950의 대응되는 버퍼들에서 버퍼링되며, 상기 표시이미지는 표시부850에 출력되어 프리뷰 이미지로 표시된다.

그리고 캡쳐 요구가 발생되면, 상기 제어부910은 압축이미지버퍼955에서 설정된 이전 프레임의 압축이미지를 선택하여 저장부840에 저장하므로써, 제로 셔터렉을 구현할 수 있다. 또한 상기 제어부910은 사용자의 설정에 따라 상기한 바와 같이 섬네일이미지생성부970에서 생성되는 섬네일이미지들을 표시하거나 또는 표시이미지들을 표시(post view)하여 사용자가 선택하는 압축이미지를 저장할 수 있다.

또한 상기 제어부910은 사용자의 설정에 의해 버퍼링된 촬영정보를 표시하고 촬영정보 확인 후에 사용자가 선택되는 압축이미지를 저장할 수도 있다.

상기한 바와 같이 본 발명의 실시예에 따른 카메라장치는 카메라 구동시 매 프레임에서 프리뷰 표시용 이미지 및 저장용 압축이미지를 생성할 수 있으며, 또한 매 프레임에서 표시이미지, 압축이미지 및 촬영정보를 생성 및 버퍼링할 수 있다.

따라서 카메라장치는 캡쳐(저장)요구시 상기 버퍼링된 이미지들을 이용하여 제로 셔터렉 기능을 구현할 수 있으며, 또한 촬영 시점 전후로 촬영된 이미지들 중에서 사용자가 원하는 이미지를 선택적으로 저장할 수 있다.

도 10은 카메라 장치에서 본 발명의 제1실시예에 따라 매 프레임에서 표시이미지 및 압축이미지 생성하여 처리하는 절차를 도시하는 흐름도이다.

상기 도 10을 참조하면, 입력부170으로부터 카메라 구동 요청이 입력되면, 어플리케이션처리부140은 1011단계에서 이를 감지하고 이를 이미지처리부130에 이를 알리며, 상기 이미지처리부130은 1013단계에서 카메라부110을 구동한다. 이때 상기 이미지처리부130은 상기 카메라부110의 설정정보(예를들면 초점, 줌, 화이트밸런스 등)에 따라 카메라를 구동시킨다.

상기 카메라부110이 구동되면, 상기 카메라부110은 풀 HD 또는 그 이상의 해상도를 가지는 이미지들을 촬영하며, 이미지처리부130은 1015단계에서 이를 프레임 단위로 획득하며, 1017단계에서 해당 프레임에서의 표시이미지 및 압축이미지를 생성한다. 이때 프레임 율은 30fps 또는 그 이상의 프레임율(예를들면 60 fps)을 가질 수 있다. 따라서 상기 이미지처리부130은 1초당 30 프레임의 표시이미지, 압축이미지를 생성할 수 있다. 그리고 상기와 같이 생성되는 표시이미지, 압축이미지는 다중화되어 어플리케이션처리부140에 전달되며, 상기 어플리케이션처리부140은 1019단계에서 상기 표시이미지, 압축이미지를 각각 버퍼링하며, 상기 표시이미지는 표시부160을 통해 프리뷰 이미지로 표시한다.

상기와 같이 카메라장치가 프리뷰 모드를 수행하는 상태에서, 사용자가 캡쳐 요구 명령을 발생하면, 상기 어플리케이션처리부140은 1021단계에서 이를 감지하고, 1023단계에서 상기 버퍼링중인 압축 이미지들 중에서 설정된 압축이미지를 선택하여 상기 저장부150에 저장한다. 이때 상기 압축이미지를 설정하는 방법은 여러가지 방법으로 수행할 수 있다. 먼저 제로 셔터렉 기능이 설정된 경우, 캡쳐 요구 명령 발생시 상기 어플리케이션처리부140은 버퍼링된 압축이미지들 중에서 이전 프레임에서 생성되어 버퍼링중인 압축이미지를 선택하여 상기 저장부150에 저장한다.

예를들어 셔터 지연(셔터 렉)이 1프레임으로 설정된 경우, 캡쳐 요구 명령이 발생되면 상기 도 7에 도시된 바와 같이 버퍼링된 이전 프레임의 압축 데이터를 저장부150에 저장하여 제로 셔터렉을 구현한다. 두번째로 섬네일 이미지 또는 표시이미지들을 표시하면서 원하는 압축이미지들을 선택하는 기능을 설정할 수도 있다.

도 11은 도 10에서 이미지 캡쳐시 섬네일 이미지를 표시하면서 사용자의 선택에 따른 압축이미지를 저장하는 절차를 도시하는 흐름도이다.

상기 도 11을 참조하면, 사진 촬영 시 촬영된 사진이 원하지 않는 형태로 촬영될 수 있다. 예를들면 카메라 장치가 흔들린 상태에서 사진이 촬영되거나 또는 촬영 시점에서 피사체 인물이 눈을 감거나 움직이는 경우, 일반적으로 촬영된 사진을 버리게 된다. 그러나 사진 재촬영할 때 이전 촬영시점과 동일한 조건으로 사진을 촬영할 수 있다. 이런 경우, 본 발명의 실시예에서는 버퍼링 중인 압축이미지들 중에서 원하는 이미지를 선택하여 저장할 수 있다. 본 발명의 실시예에서는 상기 표시이미지를 이용하여 섬네일 이미지를 생성한다. 그리고 캡쳐 요구시 상기 어플리케이션처리부140은 1111단계에서 상기 버퍼링된 압축이미지들에 대응되는 섬네일 이미지를 상기 표시부160에 표시한다. 그리고 사용자가 입력부170을 통해 특정 섬네일을 선택하면, 상기 어플리케이션처리부140은 1113단계에서 이를 감지하고, 1115단계에서 상기 사용자에 의해 선택된 섬네일 이미지에 대응되는 압축이미지를 선택하여 저장부150에 저장한다. 또한 캡쳐 요구시 상기 어플리케이션처리부140은 상기 버퍼링된 표시이미지들을 순차적으로 표시(post view)하면서 사용자가 원하는 압축이미지를 선택하도록 할 수도 있다.

상기 도 11과 같은 절차로 수행되는 캡쳐 기능은 제로 셔터렉 기능과 함께 설정될 수도 있다. 이런 경우, 상기 어플리케이션처리부140은 먼저 제로 셔터렉 기능을 수행하여 압축이미지를 선택하며, 상기 압축이미지가 원하는 이미지가 아닌 경우에 섬네일 영상 또는 표시이미지들을 확인하여 다른 압축이미지를 선택할 수도 있다.

상기와 같은 동작을 반복 수행하면서 카메라장치는 프리뷰 모드 및 캡쳐 동작을 수행한다. 그리고 사용자에 의해 카메라 구동 종료 명령이 발생되면, 상기 어플리케이션처리부140은 1025단계에서 이를 감지하고, 1027단계에서 이미지처리부130을 통해 상기 카메라부110의 구동을 오프시킨다.

도 12는 카메라 장치에서 본 발명의 제2실시예에 따라 매 프레임에서 표시이미지, 압축이미지 및 촬영정보를 생성하여 처리하는 절차를 도시하는 흐름도이다.

상기 도 12를 참조하면, 카메라 구동 명령이 발생되면, 1211단계 - 1215단계를 수행하면서 카메라부110으로부터 이미지를 획득하며, 이때의 동작은 상기 도 10의 1011-1015단계와 동일하게 수행된다.

이후 상기 어플리케이션처리부140은 1217단계에서 해당 프레임에서의 표시이미지, 압축이미지 및 촬영정보를 생성한다. 이때 프레임 율은 상기한 바와 같이 30fps 또는 그 이상의 프레임율(예를들면 60 fps)을 가질 수 있으며, 따라서 상기 이미지처리부130은 1초당 30 프레임 또는 그 이상의 표시이미지, 압축이미지 및 상기 <표 1>과 같은 구성을 가지는 촬영정보를 생성할 수 있다. 그리고 상기와 같이 생성되는 표시이미지, 압축이미지 및 촬영정보는 다중화되어 어플리케이션처리부140에 전달되며, 상기 어플리케이션처리부140은 1219단계에서 상기 표시이미지, 압축이미지 및 촬영정보를 각각 버퍼링하며, 상기 표시이미지는 표시부160을 통해 프리뷰 이미지로 표시한다.

상기와 같이 카메라장치가 프리뷰 모드를 수행하는 상태에서, 사용자가 캡쳐 요구 명령을 발생하면, 상기 어플리케이션처리부140은 1221단계에서 이를 감지하고, 1223단계에서 상기 버퍼링중인 압축 이미지들 중에서 설정된 압축이미지를 선택하여 상기 저장부150에 저장한다. 이때 상기 압축이미지를 설정하는 방법은 여러가지 방법으로 수행할 수 있다. 먼저 제로 셔터렉 기능이 설정된 경우, 캡쳐 요구 명령 발생시 상기 어플리케이션처리부140은 버퍼링된 압축이미지들 중에서 이전 프레임에서 생성되어 버퍼링중인 압축이미지를 선택하여 상기 저장부150에 저장한다.

두번째로 섬네일 이미지 또는 표시이미지들을 표시하면서 원하는 압축이미지들을 선택하는 기능이 설정된 경우, 상기 어플리케이션처리부140은 1223단계에서 상기 도 11과 같은 절차를 수행할 수 있다. 세번째로 상기 촬영정보를 표시하면서 원하는 압축이미지들을 선택할 수 있다.

도 13은 도 12에서 이미지 캡쳐시 촬영정보를 표시하면서 사용자의 선택에 따른 압축이미지를 저장하는 절차를 도시하는 흐름도이다.

상기 도 13을 참조하면, 상기 어플리케이션처리부140은 촬영정보를 이용하여 촬영된 최적의 이미지를 선택하기 위한 기능을 설정할 수 있으며, 또한 사진 촬영 후 수동으로 촬영정보를 확인하여 최적의 이미지를 선택할 수 있다. 먼저 특정 정보를 활용하여 이미지를 선택하는 기능이 설정된 경우, 캡쳐 명령 발생시 어플리케이션처리부140은 설정된 기능의 촬영정보를 분석하며, 분석 결과에 따라 설정된 기능에 최적으로 촬영된 프레임의 압축이미지를 선택하여 저장한다. 이에 대한 예는 14b 및 도 16에서 설명될 것이다.

또한 수동 기능으로 설정된 경우, 상기 어플리케이션처리부140은 버퍼링 중인 상기 촬영정보를 표시하면서 사용자가 압축이미지를 선택할 수 있도록 할 수 있다. 예를들면 플래시를 이용하여 이미지를 촬영한 경우 상기 어플리케이션처리부140은 촬영정보의 플래시 정보를 확인하여 플래시가 최대 발광한 시점의 압축이미지를 선택할 수 있도록 제어할 수 있으며, 센서부120의 정보(예를들면 자이로센서, 가속도 센서 등)를 확인하여 흔들림 없는 압축이미지를 선택할 수 있도록 제어할 수 있다. 이를 위하여 상기 어플리케이션처리부140은 1311단계에서 상기 촬영정보(meta data)를 분석하며, 1313단계에서 버퍼링된 촬영정보에서 설정된 촬영정보의 항목을 설정하여 표시부160에 표시한다. 예를들어 플래시 촬영시 상기 촬영정보들 중에서 플래시 정보들을 설정하여 상기 표시부160에 표시한다. 이때 상기 플래시정보는 이미지 촬영시 최대 발광으로 촬영된 프레임의 촬영정보에서 플래시 정보가 세팅된다. 따라서 사용자는 표시부160을 통해 최대 발광으로 촬영된 프레임을 확인할 수 있다. 이때 사용자가 해당 프레임을 선택하면 상기 어플리케이션처리부140은 1315단계에서 버퍼링된 압축이미지들 중에서 상기 선택된 프레임에 대응되는 압축이미지를 선택하여 저장부150에 저장한다.

상기 도 13과 같은 절차로 수행되는 캡쳐 기능은 제로 셔터렉 기능과 함께 설정될 수도 있다. 이런 경우, 상기 어플리케이션처리부140은 먼저 제로 셔터렉 기능을 수행하여 압축이미지를 선택하며, 상기 압축이미지가 원하는 이미지가 아닌 경우에 촬영정보를 표시하면서 사용자에 의해 선택되는 압축이미지를 선택할 수도 있다.

상기와 같은 동작을 반복 수행하면서 카메라장치는 프리뷰 모드 및 캡쳐 동작을 수행한다. 그리고 사용자에 의해 카메라 구동 종료 명령이 발생되면, 상기 어플리케이션처리부140은 1225단계에서 이를 감지하고, 1227단계에서 이미지처리부130을 통해 상기 카메라부110의 구동을 오프시킨다.

상기와 같이 본 발명의 실시예에 따른 카메라장치는 매 프레임에서 카메라부110으로부터 촬영되는 이미지를 이용하여 표시이미지, 저장용 압축 이미지 및 해당 프레임에서의 이미지 촬영정보들을 생성하여 버퍼링한다. 따라서 상기 버퍼링된 이미지들을 이용하여 제로 셔터렉 기능을 구현할 수 있으며, 또한 원하는 이미지의 압축 데이터를 선택할 수 있다. 또한 상기한 바와 같이 매 프레임마다 저장되는 촬영정보(embeded data) 값을 분석해서 카메라 기능에 적용시킴으로써 다양한 상황에 대한 최적화된 솔루션을 찾을 수 있다.

하기의 예는 상기 촬영정보를 이용하여 카메라장치의 기능을 개선하는 예이다.

먼저 Flash data를 이용하여 flash timing 문제를 개선할 수 있다. 도 14a 및 도 14b는 본 발명의 실시예에 따라 촬영정보의 플래시 정보를 이용하여 플래시 타이밍 문제를 개선하는 방법을 설명하는 도면이다.

상기 도 14a를 참조하면, 플래시 촬영시 이미지처리부130은 카메라부110의 플래시260을 구동한다. 이때 상기 플래시260은 발광을 하며, 상기 이미지처리부130은 풀 발광을 하는 프레임에서 상기 <표 1>과 같은 촬영정보에서 플래시 정보를 특정 값으로 세팅한다. 그리고 상기 이미지처리부130은 내부의 레지스터 값을 확인하여 상기 플래시260의 풀 발광 상태를 확인할 수 있으며, 상기 풀방광 상태의 프레임에서 상기 이미지처리부130은 촬영정보의 플래시정보를 풀 발광으로 세팅한다.

상기 도 14a는 플래시260이 풀발광되는 프레임에서 촬영정보의 플래시정보가 1로 세팅되는 예를 도시하고 있다. 도 14b는 촬영정보의 플래시정보가 도 14a와 같이 설정되는 경우에 캡쳐되는 이미지를 결정하는 절차를 도시하는 도시하는 흐름도이다.

상기 도 14b를 참조하면, 도 10의 1021단계에서 캡쳐 요구가 발생되면, 상기 어플리케이션처리부140은 1023단계에서 상기 도 14b와 같은 절차를 수행할 수 있다. 상기 플래시 기능이 설정된 경우, 상기 어플리케이션처리부140은 1411단계에서 플래시 기능이 설정되었음을 감지하고, 1413단계에서 촬영정보의 플래시정보를 분석한다. 이때 상기 플래시정보는 상기 도 14a에 도시된 바와 같이 발광하는 최대 발광하는 프레임에서 세팅되는 구조를 가질 수 있다. 이런 경우, 상기 어플리케이션처리부140은 1415단계에서 상기 플래시정보가 세팅되는 플레임(즉, 플래시가 최대 발광한 프레임)을 확인하고, 1417단계에서 해당 프레임의 압축이미지를 선택하여 상기 저장부105에 저장한다.

이런 경우, 상기 셔터가 온된 프레임과 약간의 차이가 발생될 수 있다. 즉, 셔터가 눌려진 시점에서 플래시가 구동되므로, 플래시의 최대 발광시점은 셔터가 구동된 몇 프레임이 경과된 시점이 될 수 있다. 따라서 사용자는 플래시 구동시 셔터 구동시점(즉, 제로 셔터렉을 구현하는 프레임) 또는 플래시의 최대 발광시점의 압축이미지를 선택할 수도 있다. 따라서 전자의 경우, 먼저 어플리케이션처리부140은 제로 셔터렉의 프레임 압축 이미지를 선택 및 표시하고, 이후 사용자가 촬영정보를 확인하여 선택하는 플래시의 최대 발광시점을 이미지를 선택하면 해당 압축이미지를 선택하여 저장할 수 있다. 그리고 후자의 경우, 어플리케이션처리부140은 플래시 구동시 최대 발광 시점의 프레임을 선택하여 저장할 수 있다.

상기한 바와 같이 플래시 사용시 상기 어플리케이션처리부140은 상기 표시부160에 촬영정보에서 플래시 정보들을 도 14a와 같이 표시하며, 사용자가 풀발광된 프레임을 선택하면, 어플리케이션처리부140은 해당 프레임의 압축이미지를 선택하여 저장부150에 저장할 수 있다. 따라서 Flash를 이용하여 사진 캡쳐 시 flash의 풀발광 타이밍을 맞춰 줄 필요없이, 매 frame 들어오는 촬영정보(embedded data )안에 있는 flash 정보 값을 이용하면 된다. 즉, 플래시정보 값이 flash가 풀발광됐을 때의 사진을 선택하여 저장하면 되므로 특별히 플래시 타이밍을 맞춰줄 필요가 없다.

두번째로 Zero shutter lag 환경에서 JPEG size를 이용한 압축이미지를 버퍼링하는 버퍼를 관리할 수 있다. 도 15는 본 발명의 실시예에 따라 압축이미지를 저장하는 버퍼의 구조를 도시하는 도면이다.

상기 도 15를 참조하면, 본 발명의 실시예에 따른 카메라장치의 Zero shutter lag 환경에서는 여러 개의 이미지 버퍼를 사용해서 일정 개수의 이미지를 버퍼에 저장한다. 이때 상기 JPEG 이미지의 크기가 최대 8MB크기를 가진다고 가정하면, 상기 압축이미지버퍼385는 도 7에 도시된 바와 같이 8M*N개 크기의 버퍼로 구성되어야 한다. 예를들어 8M 이미지를 저장할 수 있는 5개의 버퍼를 사용한다고 하면, 8M 이미지 5장을 저장할 수 있는 크기로 압축이미지버퍼355를 구성하여야 한다. 그러나 매 frame에서 생성되는 jpeg 이미지의 크기는 촬영하는 이미지에 따라 참조번호 1511과 같이 가변적인 크기를 가지며, 이로인해 참조번호 1513과 같이 버퍼에서 사용되지 않고 버려지는 영역이 발생된다. 따라서 상기 <표 1>과 같은 구조를 가지는 촬영정보(Embedded data)에 포함되는 데이타크기(data size, jpeg size) 정보를 이용하면, 도 15의 참조번호 1515와 같이 압축이미지버퍼355에 저장할 수 있으며, 이로인해 실제 생성된 jpeg 이미지의 size 값만큼만 메모리를 사용하고, 남은 메모리를 다음 프레임의 이미지를 저장하는데 재사용할 수 있다. 이런경우, 8M 크기의 5개 버퍼를 사용하고 8M JPEG size를 2MB로 가정하면, 실제 20개 정도의 이미지를 저장할 수 있다. 이때 상기 프레임들은 상기 <표 1>과 같은 촬영정보의 프레임 카운트(frame count)에 의해 프레임 동기될 수 있다. 즉, JPEG 이미지의 경우 JPEG헤더, 섬네일 이미지 및 JPEG 이미지로 구성될 수 있으며, 상기 JPEG 헤더에 프레임 카운트값을 가지도록 하면, 참조번호1515와 같이 상기 압축이미지버퍼에 저장되는 압축이미지들과 촬영정보 및 표시이미지들의 프레임 동기를 수행할 수 있다.

세번째로 센서부120의 촬영정보를 이용하여 흔들린 사진을 캡쳐하는 문제를 개선할 수 있다. 도 16은 본 발명의 실시예에 따라 촬영정보를 이용하여 흔들림이 없는 이미지를 캡쳐하는 절차를 도시하는 흐름도이다.

상기 도 16을 참조하면, 일반적으로 센서부120의 자이로 센서와 가속 센서는 카메라장치의 흔들림을 감지할 수 있다. 따라서 상기 도 12와 같은 절차를 수행하면서 카메라장치가 표시이미지, 압축이미지 및 촬영정보를 생성 및 버퍼링하며, 상기 표시이미지는 표시부160을 통해 프리뷰된다. 이때 흔들림 검출 기능이 설정되어 있으면, 상기 어플리케이션처리부1400은 1611단계에서 이를 감지하고 1613단계에서 상기 촬영정보에 포함된 움직임센서 정보를 분석한다. 이때 움직임 센서는 가속센서 및 자이로센서가 될 수 있다. 이때 상기 가속센서는 카메라장치의 상하 좌우의 움직임을 감지하며, 상기 자이로센서는 축의 움직임(X,Y,Z 축의 움직임 변화)을 감지할 수 있다. 그리고 상기 <표 1>과 같이 생성되는 촬영정보에는 센서부120에서 생성되는 가속센서 및 자이로센서의 정보가 포함된다.

상기와 같은 상태에서 사용자가 사진 캡쳐버튼을 누르면, 상기 어플리케이션처리부140은 흔들림 검출 기능이 설정되어었는가 확인하고, 흔들림 검출 기능이 설정되었으면, 1613단계에서 상기 어플리케이션 처리부140은 먼저 1613단계에서 제로 셔터렉 프레임의 촬영정보을 선택하고, 상기 선택된 촬영정보에서 자이로 센서의 정보 및 가속 센서의 정보들을 추출하고 상기 추출된 두 데이터 값을 분석한다. 이때 상기 자이로센서 정보 및 가속센서 정보의 움직임 여부를 판정하기 위한 임계값들을 각각 설정하고, 상기 어플리케이션처리부140은 1615단계에서 촬영정보 내의 각 센서 정보들을 대응되는 임계값과 비교하여 움직임 여부를 판단할 수 있다. 이때 두 센서들의 촬영정보에서 어느 하나의 센서 정보가 임계값보다 크면, 상기 어플리케이션처리부140은 1615단계에서 해당 프레임의 촬영 이미지가 흔들린 것으로 판단하고 1619단계에서 다음 프레임의 촬영정보를 선택한 후 상기 1613단계를 수행한다. 이때 다음 프레임의 선택은 제로 셔터렉의 설정 프레임에서 바로 앞 또는 뒤의 프레임을 선택할 수 있다. 즉, 프레임의 선택은 제로 셔터렉을 구현하기 위한 프레임에서 먼저 앞 프레임을 선택하고, 이후 뒷 프레임을 선택하는 방법을 사용할 수 있다.

그리고 상기 1615단계에서 흔들림이 없는 프레임으로 판정되면, 즉 상기 해당 프레임의 촬영정보에서 상기 가속센서 및 자이로센서의 정보가 설정된 임계값의 조건을 만족하면, 상기 어플리케이션처리부140은 1615단계에서 해당 프레임의 촬영이미지는 흔들림이 없이 촬영된 이미지로 간주하고, 1617단계에서 해당 프레임의 압축이미지를 상기 저장부150에 저장한다.

상기한 바와 같이, 흔들림 검출 기능이 설정된 경우, 상기 어플리케이션처리부140은 캡쳐 요구시 먼저 제로 셔터렉 플레임의 촬영정보에서 움직임센서 정보인 가속센서와 자이로센서의 촬영정보를 추출하고, 이들 두 센서의 값들 중에서 어느 하나라도 변화되는 값이 크면 흔들림이 있다고 판단한다. 이런 경우, 상기 어플리케이션처리부140은 캡쳐 예정인 프레임 보다 1개 이전 또는 이후 프레임의 촬영정보에서 상기 자이로센서 및 가속센서의 정보를 추출하며, 추출된 두 정보를 분석한다. 이때 두 데이터의 변화값이 설정된 값보다 작으면 흔들림이 없는 사진이라고 판단하고, 상기 어플리케이션처리부140은 버퍼링중인 해당 프레임의 압축이미지를 선택하여 저장부150에 저장한다. 여기서 캡쳐할 사진의 흔들림을 판단하는 센서정보로써, 자이로센서 및 가속센서를 사용하는 예를들어 설명하고 있지만, 자이로센서 또는 가속센서의 정보만으로 촬영된 이미지의 흔들림 여부를 판단할 수도 있다.

상기한 바와 같이, 카메라장치에서 프리뷰 모드시 표시이미지, 압축이미지 및 촬영정보를 생성하여 버퍼링하고,상기 촬영정보는 카메라의 흔들림 여부를 판단하기 위한 센서부120의 정보(가속센서 및/또는 자이로센서의 정보)를 포함한다. 그리고 상기 프리뷰 모드에서 사용자가 셔터버튼을 릴리스하면, 상기 어플리케이션처리부140은 설정된 프레임의 촬영정보(여기서 제로 셔터렉 기능을 수행하는 경우, 셔터버튼의 릴리스 시점에 해당하는 버퍼링 중인 프레임의 촬영정보)를 분석하여 흔들림 여부를 판단한다. 이때 촬영정보의 센서정보를 판단한 결과 흔들림 값이 설정값 이내이면 설정된 프레임의 압축이미지를 저장하고, 흔들림 값이 설정값보다 크면 그 이전 프레임의 촬영정보를 분석하여 흔들림 여부를 판단한다. 이와 같은 과정을 반복하면서 프레임의 촬영정보들을 순차적으로 분석하면서 흔들림이 설정 값 이내의 값을 가지는 프레임의 압축이미지를 선택하여 저장할 수 있다.

네번째로 상기 촬영정보(Embeded data) 값을 누적 및 분석하여 카메라장치의 auto setting 기능을 구현할 수 있다. 상기 <표 1>과 같은 촬영정보는 매 프레임에서 생성되며, 상기 생성되는 촬영정보를 저장부150에 저장한다. 그리고 매 프레임에서 생성되는 촬영정보(embeded data) 값을 분석해서 미리 사용자 환경에 맞게 자동으로 카메라 세팅을 맞출 수 있다. 예를들면 이전 100 frame의 embeded data 값을 분석해서 최적화 된 fps, ev, scene mode, effect iso 값 등을 찾아서 자동으로 적용할 수 있다.

도 17은 본 발명의 실시예에 따른 카메라장치를 구비하는 휴대단말장치의 구성을 도시하는 도면이다.

상기 도 17을 참조하면, 카메라부110은 센서를 구비하며, 카메라 구동시 센서를 통해 이미지를 획득하는 기능을 수행한다. 센서부120은 휴대단말장치에 장착하는 하나의 이상의 센서가 될 수 있으며, 상기 센서는 GPS수신기, 자이로센서, 가속도센서, 고도센서, 방향센서, 조도센서들 중에 하나 이상이 될 수 있다. 여기서 상기 센서부120은 상기 도 1 및 도 3과 같이 상기 이미지처리부130에 연결될 수 있으며, 상기 도 6및 도 7과 같이 상기 어플리케이션처리부140에 연결될 수 있고, 또한 센서부120에 구성되는 일부의 센서들을 상기 이미지처리부130에 연결하고 나머지 센서들을 상기 어플리케이션처리부140에 연결하는 구성을 가질 수 있다. 이하의 설명에서는 상기 센서부120이 어플리케이션처리부140에 연결되는 구성을 가정하여 설명하기로 한다.

이미지처리부130은 상기 카메라부110으로부터 획득되는 이미지를 처리하여 매 프레임에서 표시부160에 표시하기 위한 표시 이미지, 캡쳐 요구시 저장하기 위한 압축 이미지 및 해당 프레임에서 이미지를 촬영한 촬영정보 등을 생성한다. 여기서 상기 표시이미지는 YUV 이미지가 될 수 있으며, 상기 압축이미지는 JPEG 이미지가 될 수 있다. 상기 촬영정보는 상기 카메라부110에서 이미지 촬영시 획득할 수 있는 exif 정보 이외에 휴대단말장치의 센서부120의 출력을 포함하는 다양한 정보들을 추가적으로 획득할 수 있다. 상기 이미지처리부130은 1초에 30프레임(30 frame per sec) 또는 그 이상의 프레임율(예를들면 60 fps)로 표시이미지, 압축이미지 및 촬영정보들을 생성할 수 있다.

어플리케이션 처리부140은 휴대단말장치의 다양한 어플리케이션 기능을 수행한다. 또한 상기 어플리케이션처리부140은 센서부120의 출력을 입력하며, 사용자의 요구에 따른 다양한 센서 어플리케이션을 처리할 수 있다. 예를들면 GPS수신의 출력을 입력하여 네비게이션 기능, 단말기의 위치에 따른 지역정보를 탐색하는 어플리케이션을 처리할 수 있으며, 단말장치의 움직임에 따라 현재 실행되는 어플리케이션에서의 설정된 기능을 실행하는 어플리케이션 등을 실행할 수 있다. 특히 상기 어플리케이션처리부140은 본 발명의 실시예에 따라 카메라 구동시 상기 이미지처리부130에서 매 프레임에서 생성되는 표시이미지 및 압축 이미지, 또는 표시이미지, 압축이미지 및 촬영정보들을 버퍼링하고, 상기 표시이미지를 표시부160에 출력하여 표시되도록 제어하며, 사용자의 캡쳐 요구 명령이 발생되면 상기 버퍼링 중인 압축 이미지들 중에서 설정된 압축이미지를 저장부150에 저장한다. 이때 상기 촬영정보를 버퍼링할 때, 상기 어플리케이션처리부140은 상기 이미지처리부130에서 생성되는 제1촬영정보에 상기 센서부120에서 출력되는 촬영시의 설정된 센서 정보들을 제2촬영정보로 생성하며, 상기 제1촬영정보에 제2촬영정보를 병합하여 촬영정보로 버퍼링하는 기능을 수행할 수 있다.

통신부1720은 외부장치 또는 기지국과 통신기능을 수행한다. 상기 통신부1720은 송신신호를 RF 대역으로 상승시키는 변환기(frequency up converter)와 전력증폭기 등으로 구성되는 송신부와, RF 수신호를 저잡음 증폭하는 증폭기와 RF신호를 기저대역으로 하강 변환하는 변환기(frequency down converter) 등을 구비할 수 있다. 또한 상기 통신부1720은 상기 송신신호를 변조하여 송신부에 전달하는 변조부 및 상기 수신부에서 출력되는 신호를 복조하는 복조부를 구비할 수 있다. 여기서 상기 변복조부는 통신 방식에 따라 WCDMA, GSM, LTE 방식의 변복조부가 될 수 있으며, 또한 WIFI, WIBRO 등의 변복조부가 될 수 있다.

단말제어부1710은 휴대단말장치의 전반적인 동작을 제어하며, 음성 통화 및 데이터 통신의 기능을 수행한다. 여기서 상기 단말제어부1710은 상기 통신부1720의 변복조부를 포함할 수 있으며, 이런 경우 상기 통신부1720은 RF통신부만을 구비할 수 있다. 사기 단말제어부1710은 이런 경우 상기 통신신호를 변복조 및 부호/복호화하ㅏ는 기능을 수행할 수 있다. 오디오처리부1730은 휴대단말장치의 송수화기와 연결되어 상기 단말제어부1710의 제어하에 음성 통신시 통화 음성을 처리한다. 메모리1740은 상기 단말제어부1710 및 어플리케이션처리부140의 프로그램들이 로딩되는 워크 메모리(work memory)가 될 수 있으며, 이런 경우 상기 메모리1740은 램으로 구성될 수 있다.

상기 입력부170은 단말제어부1610 및 어플리케이션처리부140에 휴대단말장치의 각종 동작 명령 및 데이터 입력신호를 발생한다. 특히 상기 어플리케이션처리부140에 카메라 구동명령, 캡쳐 명령을 발생할 수 있다. 또한 상기 입력부170은 이미지 캡쳐시 사용자의 요구에 따른 촬영정보 및/또는 섬네일 이미지들의 표시를 요구하는 명령을 발생할 수 있다. 표시부160은 단말제어부1610 및 어플리케이션처리부140의 제어하에 휴대단말장치의 동작 및 어플리케이션 실행 상태를 표시한다. 특히 상기 표시부160은 본 발명의 실시예에 따라 프리뷰 모드시 상기 어플리케이션처리부140에서 출력되는 표시 이미지를 표시한다. 또한 상기 표시부160은 이미지 캡쳐시 상기 어플리케이션처리부140에서 출력되는 촬영정보 및/또는 섬네일 이미지들을 표시할 수 있다. 여기서 상기 입력부170은 사용자의 터치입력을 감지하는 터치패널이 될 수 있으며, 표시부160은프로그램 수행 중에 발생되는 데이터 및 이미지 등을 표시하는 LCD 또는 OLED 패널이 될 수 있다. 여기서 상기 입력부170 및 표시부160은 일체형의 터치스크린이 될 수 있다. 또한 상기 입력부170은 카메라장치의 외부에 위치되는 버튼들을 포함할 수 있다.

저장부150은 휴대단말장치의 동작 프로그램 및 본 발명의 실시예에 따른 프로그램들을 저장하는 프로그램 메모리와, 프로그램 수행을 위한 데이터들 및 프로그램 수행 중에 발생되는 데이터를 저장하기 위한 데이터 메모리로 구성될 수 있다. 이런 경우 상기 저장부150은 플래시 메모리등과 같은 비휘발성 메모리(non volatile memrory)로 구성할 수 있다. 특히 상기 저장부150은 본 발명의 실시예에 따라 캡쳐 요구시 상기 어플리케이션 처리부140에 버퍼링 중인 압축 이미지를 저장한다.

상기 도 17과 같은 구성을 가지는 휴대단말장치는 착발신 통화 및 통신 서비스를 수행할 수 있으며, 카메라 촬영모드시 본 발명의 실시예에 따라 카메라부110에서 촬영되는 이미지를 처리한다. 휴대단말기의 전원온 등과 같이 휴대단말기의 기동을 수행하는 경우, 단말제어부1710는 상기 저장부150에서 통화 및 통신 그리고 휴대단말장치의 동작 프로그램들을 상기 메모리1740에 로딩시킨다. 또한 상기 어플리케이션처리부140은 어플리케이션 실행 요구시 상기 저장부150에서 해당 어플리케이션들을 구동하기 위한 프로그램을 상기 메모리1740에 로딩시킨다. 또한 상기 따라서 상기 메모리1740은 시스템 기동시 휴대단말장치의 동작 프로그램들 및 어플리케이션 프로그램들이 로딩되는 워크 메모리 기능을 수행한다. 여기서 상기 메모리1740은 상기 어플리케이션처리부140 및 단말제어부1710이 공유할 수 있으며, 또한 각각 독립적으로 구성하여 사용할 수도 있다.

상기 어플리케이션처리부140은 본 발명의 실시예에 따른 카메라부110의 이미지 처리 어플리케이션과 휴대단말장치의 다양한 어플리케이션들을 처리한다. 그리고 상기와 같은 다양한 어플리케이션 처리를 수행하기 위해 상기 어플리케이션처리부140은 상기 센서부120의 출력을 입력할 수 있으며, 상기 센서부120의 출력을 이용하여 어플리케이션을 실행하거나 또는 상기 센서부120의 출력에 의해 어플리케이션의 처리 동작을 제어할 수 있다. 또한 단말제어부1710은 상기 센서부120의 출력을 입력하며, 통화 또는 통신 서비스를 수행하거나 또는 상기 센서부120의 출력에 의해 통화 또는 통신 서비스를 제어할 수 있다.

발신통화시, 사용자는 입력부170을 통해 발신전화번호 및 통화 요구신호를 발생할 수 있으며, 이를 감지하는 단말제어부1710은 통신부1720을 제어하여 통화로를 형성하며, 기지국을 통해 발신 통화 기능을 수행한다. 또한 착신 통화가 발생되면, 상기 단말제어부1710은 통신부1720을 통해 이를 감지하고 오디오처리부1730을 통해 착신 경보를 하며 표시부160을 통해 착신 정보를 표시한다. 이때 사용자가 입력부170을 통해 응답을 하면, 상기 단말제어부1710은 통신부1720을 통해 착신 통화로를 형성하여 통화 서비스를 수행한다. 데이터 통신의 경우에도 상기 통화와 유사한 동작으로 통신로를 형성한다.

또한 상기 휴대단말장치는 다양한 어플리케이션들을 실행할 수 있다. 이때 사용자가 입력부170을 통해 특정 어플리케이션의 실행을 요구하면, 상기 어플리케이션처리부140은 해당 어플리케이션을 실행하며, 그 결과를 상기 표시부160에 표시한다. 이때 사용자가 카메라 구동 요구 명령을 발생하면, 상기 어플리케이션처리부140은 이를 감지하고, 상기 이미지처리부130을 통해 카메라부110을 구동한다. 그러면 상기 이미지처리부130은 매 프레임에서 상기 카메라부110에서 촬영되는 이미지를 처리하여 표시이미지, 압축이미지를 생성하며, 또한 상기 카메라부110 및 센서부120의 출력을 이용하여 해당 프레임의 촬영정보를 생성한다. 그러면 상기 어플리케이션처리부140은 상기 매 프레임에서 생성되어 수신되는 표시이미지, 압축이미지 및 촬영정보를 버퍼링하며, 상기 표시이미지를 표시부160을 통해 프리뷰 이미지로 표시한다. 따라서 상기 휴대단말장치는 카메라 구동요구시 매 프레임에서 카메라부110으로부터 생성되는 표시이미지, 압축이미지 및 촬영정보를 각각 버퍼링하며, 표시이미지는 표시부160에 프리뷰한다. 이때 상기 어플리케이션처리부140은 설정된 수의 프레임 이미지(압축 및 표시이미지) 및 정보(촬영 정보)를 버퍼링할 수 있다.

이와 같은 상태에서 사용자가 입력부170을 통해 캡쳐 명령을 발생하면, 상기 어플리케이션처리부140은 버퍼링 중인 압축 이미지 이미지들 중에서 상기 캡쳐 요구가 발생된 시점의 프레임 압축이미지를 선택하여 저장부150에 저장한다. 따라서 상기 어플리케이션처리부140은 셔터 온(즉, 셔터가 완전히 눌려진 시점) 시점의 압축이미지를 선택하여 저장하므로써 제로 셔터렉 기능을 구현할 수 있다. 이때 상기 어플리케이션처리부140은 상기 표시부160에 상기 표시이미지를 표시하는 상태에서 상기 저장되는 압축 이미지를 섬네일 이미지로 표시할 수 있으며, 또한 이와 반대로 상기 저장되는 압축이미지에 대한 표시이미지를 상기 표시부160에 표시하고 상기 표시이미지들의 섬네일이미지들을 동영상 형태로 상기 표시부160에 표시할 수도 있다.

또한 상기 캡쳐 명령시 셔터 온 시점의 이미지가 원치 않는 형태로 촬영될 수 있다. 즉, 상기 셔터 온 시점에 촬영된 사진이 흔들렸거나 또는 플래시를 사용하는 경우에는 셔터가 눌려진 시점의 이미지보다 그와 인접한 다른 프레임의 이미지가 더 양호한 상태를 유지할 수 있다. 이런 경우, 사용자는 프로그램 등록(또는 설정)모드에서 플래시 기능 설정, 흔들림 검출 기능등을 설정할 수 있다. 이때 플래시 기능이 설정된 경우, 상기 캡쳐 요구가 발생되면 상기 어플리케이션처리부140은 상기 촬영정보의 플래시 정보를 확인하며, 풀발광 정보가 세팅된 플래시정보의 프레임 압축 이미지를 선택하여 저장할 수 있다. 또한 상기 흔들림 검출 기능이 설정된 경우, 상기 어플리케이션처리부140은 먼저 셔터 온 시점의 프레임 촬영정보에서 움직임센서 정보를 분석하여 흔들림이 있는가 판단하며, 판단 결과에 따라 흔들림이 있으면 인접한 다음 프레임(셔터 온 프레임의 전 후 프레임들)의 흔들림 여부를 판단하며, 흔들림이 없으면 해당 프레임의 압축 이미지를 저장ㅇ부150에 저장한다.

또한 본 발명의 실시예에서는 상기 촬영정보의 일부를 상기 어플리케이션처리부140에서 생성할 수도 있다. 예를들면 상기 센서부120의 출력을 어플리케이션처리부140에 처리하고, 상기 이미지처리부130은 카메라부110의 출력을 처리하는 경우, 상기 이미지처리부130은 상기 카메라부110의 출력으로부터 표시이미지 및 압축이미지를 생성하며, 또한 상기 카메라부110에 의한 촬영정보를 생성하며, 상기 어플리케이션처리부140은 상기 표시이미지 및 압축이미지를 버퍼링하며, 또한 상기 이미지처리부130에서 생성되어 전송되는 촬영정보에 상기 센서부120에서 출력되는 촬영시의 센서정보를 포함하여 최종 촬영정보를 생성 및 버퍼링할 수 있다. 이때 상기 표시이미지, 압축이미지 및 촬영정보는 프레임 카운트 값에 의해 프레임 동기를 이룰 수 있으며, 따라서 어플리케이션처리부140은 상기 버퍼링되는 표시이미지, 압축이미지 및 촬영정보를 처리할 때 상기 프레임 카운트 값에 의해 동기된 프레임으로 각각을 처리할 수 있다.

본 명세서와 도면에 개시된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (40)

1. 카메라가 구동되는 시점에서 매 프레임 주기에서 카메라센서로부터 이미지를 획득하는 과정과,
   상기 획득된 이미지를 표시 이미지 및 압축 이미지로 변환하는 과정과,
   상기 표시 이미지를 표시부에 표시하며, 상기 압축 이미지를 버퍼링하는 과정으로 이루어지는 것을 특징으로 하는 방법.
2. 제1항에 있어서,캡쳐요구시
   상기 버퍼링된 압축 이미지들에서 캡쳐 요구 시간의 프레임에 대한 압축 이미지를 선택하여 저장하는 것을 특징으로 하는 방법.
3. 제2항에 있어서, 상기 프리뷰 이미지는 YUV 방식의 이미지이고, 상기 압축 이미지는 JPEG 이미지인 것을 특징으로 하는 방법.
4. 제3항에 있어서
   상기 JPEG 이미지는 설정된 프레임 수만큼 버퍼링되는 것을 특징으로 하는 방법.
5. 제3항에 있어서,
   상기 YUV 방식의 이미지를 섬네일 이미지로 생성하는 과정을 더 구비하는 것을 특징으로 하는 방법.
6. 제5항에 있어서, 캡쳐 요구시
   상기 섬네일 이미지를 표시하는 과정을 더 구비하며,
   상기 표시되는 섬네일 이미지에서 선택되는 섬네일 이미지에 대응되는 JPEG 이미지를 저장하는 것을 특징으로 하는 방법.
7. 카메라 구동시 매 프레임에서 이미지를 획득하는 카메라부와,
   상기 획득된 이미지를 표시 이미지 및 압축 이미지로변환하고 하나의 프레임으로 생성하여 출력하는 이미지 처리부와,
   상기 표시 이미지를 매 프레임주기에서 표시부에 표시하고 및 상기 압축 이미지를 버퍼링하는 어플리케이션처리부와,
   상기 표시이미지를 표시하는 표시부와,
   상기 카메라 구동신호를 발생하는 입력부로 구성된 것을 특징으로 하는 장치.
8. 제7항에 있어서,
   저장부를 더 구비하며, 상기 입력부로부터 캡쳐 요구신호 발생시, 상기 어플리케이션처리부는 상기 버퍼링된 압축이미지들에서 캡쳐 요구된 시점의 압축이미지를 선택하여 상기 저장부에 저장하는 것을 특징으로 하는 장치.
9. 제8항에 있어서, 상기 이미지처리부는
   카메라에서 획득되는 이미지를 전처리하는 영상전처리부와,
   상기 전처리된 이미지를 압축하여 상기 압축이미지를 생성하는 압축부호기와,
   상기 전처리된 이미지를 스케일링하여 상기 표시이미지를 생성하는 스케일러와,
   상기 표시이미지 및 압축이미지를 하나의 프레임으로 다중화 출력하는 다중화기로 구성되는 것을 특징으로 하는 장치.
10. 제9항에 있어서,
    상기 영상전처리부는 상기 카메라에서 획득되는 이미지를 YUV 이미지로 변환하며,
    상기 압축부호기는 변환된 상기 YUV 이미지를 JPEG 방식으로 압축하는 것을 특징으로 하는 장치.
11. 제10항에 있어서, 상기 카메라부는 초고화소 이상의 화소를 가지는 이미지를 획득하는 것을 특징으로 하는 장치.
12. 제9항에 있어서, 상기 어플리케이션처리부는
    상기 다중화되는 신호를 역다중화하는 역다중화부와,
    상기 역다중화된 신호를 표시이미지 및 압축이미지로 파싱하는 파서와,
    상기 파싱된 표시이미지 및 압축이미지를 각각 버퍼링하는 버퍼와,
    상기 카메라 구동시 상기 표시이미지를 표시부에 출력하며, 캡쳐요구시 버퍼링된 압축이미지들에서 캡쳐 요구된 시점의 압축이미지를 선택하여 상기 저정부에 저장하는 어플리케이션처리제어부로 구성된 것을 특징으로 하는 장치.
13. 제12항에 있어서
    상기 버퍼는 압축 이미지를 설정된 프레임 수만큼 버퍼링하는 것을 특징으로 하는 장치.
14. 제13항에 있어서,
    상기 어플리케이션처리부는 상기 표시이미지를 섬네일이미지로 생성하는 섬네일이미지생성부를 더 구비하는 것을 특징으로 하는 장치.
15. 제14항에 있어서,
    상기 입력부로부터 캡쳐 요구 신호 발생시, 상기 어플리케이션 제어부는 상기 섬네일이미지를 상기 표시부에 표시하며, 선택되는 섬네일이미지에 대응되는 JPEG 이미지를 저장하는 것을 특징으로 하는 장치.
16. 카메라 구동시 매 프레임에서 카메라센서로부터 이미지를 획득하는 과정과,
    상기 획득된 이미지를 표시 이미지 및 압축 이미지로 변환하며, 상기 이미지의 촬영정보를 생성하고, 상기 생성되는 표시이미지, 압축이미지 및 촬영정보를 하나의 프레임으로 출력하는 과정과,
    상기 표시 이미지를 표시부에 표시하며, 상기 표시 이미지, 압축 이미지 및 촬영정보를 버퍼링하는 과정으로 이루어지는 것을 특징으로 하는 방법.
17. 제16항에 있어서,캡쳐 요구시
    상기 버퍼링된 압축 이미지들에서 캡쳐 요구된 시점의 압축 이미지를 선택하여 저장하는 것을 특징으로 하는 방법.
18. 제17항에 있어서,
    상기 표시 이미지는 YUV 이미지이고, 상기 압축 이미지는 JPEG 이미지인 것을 특징으로 하는 방법.
19. 제18항에 있어서,
    상기 촬영정보는 상기 이미지획득 시점에서 카메라 및 적어도 하나의 센서로부터 획득되는 정보인 것을 특징으로 하는 방법.
20. 제19항에 있어서
    상기 JPEG 이미지는 설정된 프레임 수만큼 버퍼링되는 것을 특징으로 하는 방법.
21. 제20항에 있어서,
    상기 YUV 방식의 이미지를 섬네일 이미지로 생성하는 과정을 더 구비하는 것을 특징으로 하는 방법.
22. 제21항에 있어서, 캡쳐 요구시
    상기 섬네일 이미지를 표시하는 과정을 더 구비하며,
    상기 표시되는 섬네일 이미지에서 선택되는 섬네일 이미지에 대응되는 JPEG 이미지를 저장하는 것을 특징으로 하는 방법.
23. 제24항에 있어서,
    상기 촬영정보를 참조하여 이미지를 설정하는 과정을 더 구비하며,
    캡쳐 요구시 설정된 촬영정보들을 참조하여 JPEG 데이터를 저장하는 과정을 더 구비하는 것을 특징으로 하는 방법.
24. 카메라 구동시 매 프레임 주기에서 카메라센서로부터 이미지를 획득하는 카메라부와,
    상기 카메라라부에서 획득된 이미지를 처리하여 표시 이미지 및 압축 이미지로 변환하고,상기 카메라부로부터 촬영정보를 생성하고, 상기 표시이미지, 압축이미지 및 촬영정보를 하나의 프레임으로 생성하여 출력하는 이미지 처리부와,
    상기 표시이미지를 매 프레임주기에서 표시부에 표시하고 및 상기 표시이미지, 압축이미지 및 촬영정보를 버퍼링하는 어플리케이션처리부와,
    상기 표시이미지를 표시하는 표시부와,
    상기 카메라 구동신호를 발생하는 입력부로 구성된 것을 특징으로 하는 장치.
25. 제24항에 있어서,
    저장부를 더 구비하며, 상기 입력부로부터 캡쳐 요구신호 발생시, 상기 어플리케이션처리부는 상기 버퍼링된 압축이미지들에서 캡쳐 요구된 시점의 압축이미지를 선택하여 상기 저장부에 저장하는 것을 특징으로 하는 장치.
26. 제25항에 있어서, 상기 이미지처리부는
    카메라부에서 획득되는 이미지를 전처리하는 영상전처리부와,
    상기 전처리된 이미지를 압축하여 상기 압축이미지를 생성하는 압축부호기와,
    상기 전처리된 이미지를 스케일링하여 상기 표시이미지를 생성하는 스케일러와,
    상기 카메라부의 동작을 제어하며, 이미지 획득 시점에서 상기 카메라부의 세팅정보를 촬영정보로 생성하는 이미지처리제어부와,
    상기 표시이미지, 압축이미지 및 촬영정보를 하나의 프레임으로 다중화 출력하는 다중화기로 구성되는 것을 특징으로 하는 장치.
27. 제26항에 있어서,
    상기 영상전처리부는 상기 카메라에서 획득되는 이미지를 YUV 이미지로 변환하며,
    상기 압축부호기는 변환된 상기 YUV 이미지를 JPEG 방식으로 압축하는 것을 특징으로 하는 장치.
28. 제27항에 있어서.
    카메라장치의 외부에 장착되어 상기 이미지 획득시점의 센서 정보들을 생성하는 센서부를 더 구비하며,
    상기 이미지처리제어부는 상기 카메라부의 세팅정보 및 상기 센서부의 출력을 이용하여 상기 촬영정보를 생성하는 것을 특징으로 하는 장치.
29. 제26항에 있어서, 상기 어플리케이션처리부는
    상기 다중화되는 신호를 역다중화하는 역다중화부와,
    상기 역다중화된 신호를 표시이미지, 압축이미지 및 촬영정보로 파싱하는 파서와,
    상기 파싱된 표시이미지, 압축이미지 및 촬영정보를 각각 버퍼링하는 버퍼와,
    상기 카메라 구동시 상기 표시이미지를 표시부에 출력하며, 캡쳐요구시 버퍼링된 압축이미지들에서 캡쳐 요구된 시점의 압축이미지를 선택하여 상기 저정부에 저장하는 어플리케이션처리제어부로 구성된 것을 특징으로 하는 장치.
30. 제29항에 있어서.
    카메라장치의 외부에 장착되어 상기 이미지 획득시점의 센서 정보들을 생성하는 센서부를 더 구비하며,
    상기 어플리케이션처리제어부는 상기 촬영정보를 버퍼링할 때, 상기 이미지처리부의 촬영정보에 상기 센서부의 출력을 병합하여 상기 촬영정보로 버퍼링하는 것을 특징으로 하는 장치.
31. 제30항에 있어서
    상기 어플리케이션처리부는 상기 표시이미지, 압축이미지 및 촬영정보를 설정된 프레임 수만큼 버퍼링하는 것을 특징으로 하는 장치.
32. 제31항에 있어서,
    상기 어플리케이션처리부는 YUV 이미지를 섬네일 이미지로 생성하는 섬네일이미지생성부를 더 구비하는 것을 특징으로 하는 장치.
33. 제32항에 있어서,
    상기 입력부로부터 캡쳐 요구 신호 발생시, 상기 어플리케이션 제어부는 상기 섬네일 이미지를 상기 표시부에 표시하며, 선택되는 섬네일 이미지에 대응되는 JPEG 이미지를 저장하는 것을 특징으로 하는 장치.
34. 카메라 구동시 매 프레임 주기에서 카메라센서로부터 이미지를 획득하는 카메라부와,
    카메라장치의 외부에 장착되어 촬영시 센서 정보들을 생성하는 센서부와,
    상기 카메라라부에서 획득된 이미지를 처리하여 표시 이미지 및 압축 이미지를 생성하고, 상기 이미지 촬영시 상기 카메라부 및 센서부의 출력으로부터 촬영정보를 생성하며, 상기 표시이미지를 표시부에 표시하고 및 상기 표시이미지, 압축이미지 및 촬영정보를 버퍼링하는 처리부와,
    상기 표시이미지를 표시하는 표시부와,
    상기 카메라 구동신호를 발생하는 입력부로 구성된 것을 특징으로 하는 장치.
35. 휴대단말장치에 있어서,
    외부 장치와 무선통신을 수행하는 통신부와,
    상기 통신부를 통해 휴대단말장치의 통화 및 통신을 제어하는 단말제어부와,
    카메라 구동시 매 프레임 주기에서 카메라센서로부터 이미지를 획득하는 카메라부와,
    적어도 하나의 센서를 구비하여 센서 정보들을 생성하는 센서부와,
    상기 카메라라부에서 획득된 이미지를 처리하여 표시 이미지 및 압축 이미지를 생성하고, 상기 이미지 촬영시 상기 카메라부로부터 촬영정보를 생성하며, 상기 생성된 표시이미지, 압축이미지 및 촬영정보를 하나의 프레임으로 생성하여 출력하는 이미지 처리부와,
    상기 표시이미지를 표시부에 표시하고 및 상기 표시이미지, 압축이미지 및 촬영정보를 버퍼링하는 어플리케이션처리부와,
    상기 표시이미지를 표시하는 표시부와,
    상기 카메라 구동신호를 발생하는 입력부로 구성된 것을 특징으로 하는 장치.
36. 제35항에 있어서,
    저장부를 더 구비하며, 상기 입력부로부터 캡쳐 요구신호 발생시, 상기 어플리케이션처리부는 상기 버퍼링된 압축이미지들에서 캡쳐 요구된 시점의 압축이미지를 선택하여 상기 저장부에 저장하는 것을 특징으로 하는 장치.
37. 제35항에 있어서, 상기 이미지처리부는
    카메라부에서 획득되는 이미지를 전처리하는 영상전처리부와,
    상기 전처리된 이미지를 압축하여 상기 압축이미지를 생성하는 압축부호기와,
    상기 전처리된 이미지를 스케일링하여 상기 표시이미지를 생성하는 스케일러와,
    상기 카메라부의 동작을 제어하며, 이미지 획득 시점에서 상기 카메라부의 세팅정보를 촬영정보로 생성하는 이미지처리제어부와,
    상기 표시이미지, 압축이미지 및 촬영정보를 하나의 프레임으로 다중화 출력하는 다중화기로 구성되는 것을 특징으로 하는 장치.
38. 제37항에 있어서,
    상기 영상전처리부는 상기 카메라에서 획득되는 이미지를 YUV 이미지로 변환하며,
    상기 압축부호기는 변환된 상기 YUV 이미지를 JPEG 방식으로 압축하는 것을 특징으로 하는 장치.
39. 제37항에 있어서. 상기 어플리케이션처리부는
    상기 다중화되는 신호를 역다중화하는 역다중화부와,
    상기 역다중화된 신호를 표시이미지, 압축이미지 및 촬영정보로 파싱하는 파서와,
    상기 파싱된 표시이미지, 압축이미지 및 촬영정보를 각각 버퍼링하는 버퍼와,
    상기 카메라 구동시 상기 표시이미지를 표시부에 출력하며, 캡쳐요구시 버퍼링된 압축이미지들에서 캡쳐 요구된 시점의 압축이미지를 선택하여 상기 저정부에 저장하는 어플리케이션처리제어부로 구성된 것을 특징으로 하는 장치.
40. 제39항에 있어서. 상기 어플리케이션처리제어부는 상기 촬영정보를 버퍼링할 때, 상기 이미지처리부의 촬영정보에 상기 센서부의 출력을 병합하여 상기 촬영정보로 버퍼링하는 것을 특징으로 하는 장치.

Images