KR20130094632A - 카메라의 연속 촬영 장치 및 방법. - Google Patents

Abstract

카메라장치 또는 카메라장치를 구비하는 단말장치의 연사촬영 방법이, 프리뷰모드시 매 프레임에서 카메라센서로부터 획득된 이미지를 표시 이미지 및 압축 이미지로 변환하고, 표시이미지를 표시하는 동시에 표시이미지 및 압축이미지를 하나의 프레임으로 버퍼링하는 과정과, 연사촬영시 버퍼링된 프레임의 압축이미지들을 저장하며, 프리뷰모드를 동시에 수행하면서 연사촬영중임을 알리는 피드백을 제공하는 과정으로 이루어진다.

Description

카메라의 연속 촬영 장치 및 방법.{APPARATUS AND METHOD FOR PROCESSING A CONTINUOUS SHOOTING MODE IN CAMERA DEVICE}

본 발명은 카메라 장치의 데이터의 처리장치 및 방법에 관한 것으로, 특히 고속으로 이미지를 획득하여 처리할 수 있는 장치 및 방법에 관한 것이다.

카메라 장치 및 카메라를 포함하는 휴대단말 장치는 고화질 이미지를 제공하며, 또한 다양한 사용자 편의 기능을 제공하고 있다. 현재 카메라 장치의 이미지 센서(image sensor 또는 카메라 센서라 칭할 수도 있다)는 풀 HD급 이상의 해상도(full High Definition resolution)를 가지는 이미지들을 센싱할 수 있다.

상기 카메라 장치는 프리뷰 모드에서 카메라로부터 감지되는 이미지를 프리뷰 이미지(preview image)를 표시하고, 사용자가 셔터 버튼(shutter button)을 누르면 상기 카메라에서 획득되는 이미지를 저장한다. 이때, 사용자가 셔터 버튼을 누르면(shutter release), 풀 사이즈의 이미지를 감지하여 캡쳐(capture)하기까지 지연 시간(shutter delay 또는 shutter lag)이 존재한다. 즉, 사용자의 셔터 온(셔터가 완전히 눌려진 상태) 시점으로부터 카메라가 피사체를 촬영하는 시점까지의 시간 차가 존재하며, 이런 시간 차는 피사체의 촬영환경 및 이미지처리부의 처리 시간 등에 의해 발생될 수 있다. 따라서 사용자는 셔터 딜레이(셔터 렉)에 의해 원하는 시점에서의 이미지를 획득할 수 없었던 문제점이 있었다.

또한 YUV 이미지를 사용하는 카메라장치의 경우, 프리뷰모드((preview mode))시 작은 이미지 크기를 YUV 데이터를 사용하여 프레임율(frame rate, fps(frame per sec))를 확보하고, 캡쳐모드(capture mode)시 모드를 변환하여 풀 해상도의 이미지를 획득하며, 이런 경우 프레임율을 낮춰 대역폭(bandwidth)을 확보하는 방법을 사용하고 있다. 따라서 종래의 카메라장치는 프리뷰모드에서 캡쳐모드로 전환시에 모드 변환(mode change) 시간이 필요하며, 이로인해 연속 촬영 이미지 프레임 수가 제한적이었다.

또한 종래의 카메라장치는 캡쳐모드시 YUV 데이터만을 이용하여 이미지를 캡쳐하는 경우, 상기 YUV 이미지가 프리뷰용 이미지인 관계로 풀해상도의 이미지를 캡쳐할 수 없었다. 또한 풀 해상도의 이미지를 압축부호화(encoding)하는 시간이 필요하여 연속 촬영의 어려움이 있었다.

따라서 종래의 카메라장치에서 연속 촬영모드를 수행하는 경우, 셔터렉의 문제를 해결하기 어려웠고, 또한 고화질의 이미지를 연속촬영하는데 한계가 있었다.

따라서 본 발명은 카메라장치 또는 카메라를 포함하는 단말장치에서 촬영되는 고화질 이미지를 원하는 시점에서 캡쳐하여 연속 저장할 수 있는 장치 및 방법을 제안한다.

이를 위하여 본 발명의 실시예에 따른 카메라장치 또는 카메라를 포함하는 단말장치는 프리뷰 모드시 카메라 센서들로부터 매 프레임에서 표시 및 압축 이미지들을 생성하여 버퍼링하고, 연속촬영 요구시 촬영요구시점에서 버퍼링 중인 프레임 압축이미지들을 저장하는 방법을 제안한다.

또한 본 발명의 실시예에 따른 카메라장치 또는 카메라를 포함하는 단말장치는 매 프레임에서 카메라 센서로부터 획득되는 이미지를 처리하여 복수의 이미지들 및 촬영 정보를 획득하여 버퍼링하고, 연속촬영 요구시 버퍼링중인 프레임 표시 및 압축이미지들을 저장하며, 촬영 종료시 저장중인 표시이미지를 표시하면서 압축이미지들을 저장할 수 있는 장치 및 방법을 제안한다.

본 발명의 실시예에 따른 카메라의 연사촬영 방법이, 프리뷰모드시 매 프레임에서 카메라센서로부터 획득된 이미지를 표시 이미지 및 압축 이미지로 변환하고, 상기 표시이미지를 표시하며 상기 표시이미지 및 압축이미지를 하나의 프레임으로 버퍼링하는 과정과, 연사촬영시 상기 버퍼링된 프레임의 압축이미지들을 저장하며, 상기 프리뷰모드를 동시에 수행하면서 연사중임을 알리는 피드백을 제공하는 과정으로 이루어짐을 특징으로 하는 방법이다.

본 발명의 실시예에 따른 카메라장치가, 카메라 구동시 매 프레임에서 이미지를 획득하는 카메라부와, 상기 획득된 이미지를 표시 이미지 및 압축 이미지로 변환하고 하나의 프레임으로 생성하여 출력하는 이미지 처리부와, 프리뷰모드시 상기 표시 이미지를 매 프레임주기에서 표시부에 표시하고 및 상기 압축 이미지를 버퍼링하며, 연사촬영모드시 상기 압축이미지들을 저장하면서 연사촬영중임을 알리 피드백을 제공하는 어플리케이션처리부와, 상기 표시이미지를 표시하는 표시부로 구성된 것을 특징으로 한다.

또한 본 발명의 실시예에 따른 휴대단말장치가, 외부 장치와 무선통신을 수행하는 통신부와, 상기 통신부를 통해 휴대단말장치의 통화 및 통신을 제어하는 단말제어부와, 카메라 구동시 매 프레임 주기에서 카메라센서로부터 이미지를 획득하는 카메라부와, 적어도 하나의 센서를 구비하여 센서 정보들을 생성하는 센서부와, 상기 획득된 이미지를 표시 이미지 및 압축 이미지로 변환하고 하나의 프레임으로 생성하여 출력하는 이미지 처리부와, 프리뷰모드시 상기 표시 이미지를 매 프레임주기에서 표시부에 표시하고 및 상기 압축 이미지를 버퍼링하며, 연사촬영모드시 상기 압축이미지들을 저장하고 상기 프리뷰모드를 동시에 수행하면서 연사 촬영중임을 알리는 피드백을 제공하는 어플리케이션처리부와, 상기 표시이미지를 표시하는 표시부로 구성된 것을 특징으로 하는 장치.

본 발명의 실시예에 따른 카메라장치 또는 카메라를 포함하는 단말장치는 매 프레임에서 카메라 센서로부터 획득되는 이미지를 처리하여 복수의 이미지들 및 촬영 정보를 획득하고, 촬영정보를 이용하여 원하는 이미지를 캡쳐할 수 있다. 따라서 카메라장치 또는 카메라를 포함하는 단말장치에서 촬영되는 이미지를 원하는 시점에서 캡쳐하여 제로 셔터렉을 구현할 수 있으며, 또한 촬영된 이미지들을 프리뷰 프레임율의 속도로 저장할 수 있어 연속촬영되는 이미지들의 수(연사매수)를 확장할 수 있는 이점이 있다.

도 1은 본 발명의 실시예에 따른 카메라장치의 구성을 도시하는 도면
도 2는 본 발명의 실시예에 따른 카메라부110의 구성을 도시하는 도면
도 3은 본 발명의 실시예에 따른 이미지처리부 및 어플리케이션처리부의 구성을 도시하는 도면
도 4는 본 발명의 실시예에 따라 프레임을 구성하는 YUV 이미지, JPEG 이미지 및 촬영정보를 도시하는 도면,
도 5는 본 발명의 실시예에 따라 매 프레임의 데이터 전송 포맷을 도시하는 도면
도 6은 본 발명의 실시예에 따른 표시이미지버퍼, 압축이미지 버퍼 및 촬영정보버퍼의 구성을 도시하는 도면
도 7은 본 발명의 실시예에 따른 카메라장치 또는 카메라장치를 포함하는 단말장치에서 연사촬영시의 동작을 설명하기 위한 도면
도 8은 카메라 장치 또는 카메라장치를 구비하는 휴대단말장치에서 본 발명의 실시예에 따라 연사촬영시 동작 절차를 도시하는 흐름도
도 9는 상기 도 8에서 프리뷰 모드의 동작 절차를 도시하는 흐름도
도 10은 도 본 발명의 실시예에 따라 연사촬영 중의 동작 절차를 도시하는 흐름도
도 11은 본 발명의 실시예에 따라 연사 촬영 종료시의 동작절차를 도시하는 흐름도
도 12는 본 발명의 실시예에 따라 연사촬영시의 포스트뷰 과정의 절차를 도시하는 흐름도
도 13은 포스트 뷰 표시과정에서 표시이미지를 포스트 뷰 이미지로 표시하는 예를 도시하는 도면
도 14는 포스트뷰 표시과정에서 섬네일 이미지를 포스트뷰로 표시하는 예를 도시하는 도면
도 15는 본 발명의 실시예에서 이미지 및 어플리케이션 처리를 단일 구성을 처리하는 카메라 장치의 구성을 도시하는 도면
도 16은 상기 도 15의 구성에서 처리부1500의 구성을 도시하는 도면
도 17은 본 발명의 실시예에 따른 카메라장치를 구비하는 휴대단말장치의 구성을 도시하는 도면
도 18은 본 발명의 실시예에 따른 버스트 샷의 처리 절차를 도시하는 흐름도
도 19는 본 발명의 실시예에 따른 파노라마 샷의 처리 절차를 도시하는 흐름도

이하, 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다.

또한, 하기 설명에서는 이미지의 화소 수, 연사 매수, 프레임율, 촬영정보의 항목 및 데이터 크기 등과 구체적인 특정 사항들이 나타내고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들 없이도 본 발명이 실시될 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다. 그리고 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 상세한 설명을 생략한다.

본 발명은 카메라장치 또는 카메라를 구비하는 단말장치에 대한 것으로, 프리뷰 모드의 매 프레임에서 카메라로부터 획득되는 이미지들을 처리하여 표시 및 저장을 위한 복수의 이미지들을 생성하고, 또한 상기 카메라 및/또는 카메라 장치(또는 카메라를 구비하는 단말장치)의 센서들로 획득되는 정보를 이용하여 이미지를 촬영하는 시점의 촬영정보를 생성하며, 상기 생성된 이미지들 및/또는 촬영정보를 버퍼링한다. 여기서 상기 복수의 이미지는 카메라 구동시 프리뷰를 위한 표시이미지 및 촬영모드시 저장하기 위한 압축이미지가 될 수 있다. 또한 상기 촬영정보는 카메라로부터 이미지 획득시 해당 프레임에서 이미지를 촬영할 때의 카메라 및/또는 카메라장치(카메라를 포함하는 단말장치)의 각 센서들로부터 획득되는 정보(이하 촬영 정보는 meta data, embedded data 등과 혼용되어 사용될 것이다)들이 될 수 있다.

그리고 연사촬영모드시, 상기 카메라장치(카메라를 포함하는 단말장치)는 셔터(shutter)가 눌려진 순간부터 preview 속도 또는 사용자가 설정한 속도로 버퍼링된 표시 및 압축이미지들을 저장한다. 즉, 상기 장치는 촬영된 순서대로 shutter event가 끝날 때까지 저장하거나 사용자가 setting한 매수만큼 저장한다. 이후 상기 카메라장치(카메라를 포함하는 단말장치)는 연사촬영이 종료되면, preview시 사용된 표시이미지를 postview용으로 표시하며, 이는 capture 종료 후에 decode 동작을 수행하지 않고 빠르게 연사촬영된 이미지들을 표시할 수 있도록 하기 위함이다.

본 발명의 실시예에서 연사촬영 전에 촬영정보를 이용하여 주어진 환경에서 최대의 shutter speed로 동작할 수 있도록 SO, EV, Exposure 설정을 자동으로 변경할 수 있으며, 이로인해 연사 촬영시 최적의 이미지를 확보할 수 있도록 할 수 있다. 그리고 연사촬영모드시 성능 확보를 위하여 촬영된 표시 및 압축 이미지들을 RAM disk에 임시적으로 저장하며, 연사 촬영 종료 시 background로 사용자가 이용 가능한 file system으로 이동시켜 저장할 수 있다. 즉, 상기 카메라장치(카메라를 포함하는 단말장치)는 촬영 종료와 동시에 사용자에게 촬영된 사진의 postview를 보여주면서 background로 main JPEG file들을 사용자가 이용 가능한 경로의 file system에 저장할 수 있도록 한다.

그리고 연사촬영 종료시, 상기 카메라장치(카메라를 포함하는 단말장치)는 촬영정보를 이용하여 연사 촬영된 프레임 이미지들의 움직임을 비교 분석하고, 움직임 없는 동일한 이미지이거나 또는 움직임의 변화가 거의 없는 이미지이면 저장하기 전에 자동으로 제거해 주는 기능도 제공할 수 있으며, 이로인해 불필요한 사진으로 인한 메모리 낭비 및 성능 저하를 방지할 수 있다. 또한 상기 연사촬영 종료 후 촬영된 이미지를 모두 표시하기 힘들므로, 상기 카메라장치(카메라를 포함하는 단말장치)는 각 이미지들의 움직임을 분석하여 이미지간 움직임 편차가 적은 사진은 서로 겹치게 표시하고 편차가 큰 사진은 사용자가 한눈에 파악할 수 펼쳐서 표시한다. 여기서 포스트뷰로 표시되는 이미지는 저장중인 표시이미지가 될 수 있다. 그리고 이와 같이 연사 촬영 이미지들을 표시하는 상태에서 사용자가 각 사진을 확인하고 싶을 때는 직접 촬영된 사진이 나열된 상태에서 손가락이나 기타 포인팅 장치를 이용하여 선택할 수 있도록 하며, 이때 선택된 이미지는 표시에 full 화면으로 표시한다. 여기서 상기 표시이미지는 YUV 이미지가 될 수 있으며, 상기 포스트뷰 표시시 표시부에 효율적으로 표시될 수 있도록 적절한 크기로 조정(crop and/or scaling)될 수 있다. 그리고 상기 저장을 위한 압축이미지는 상기 카메라에서 획득되는 이미지(예를들면 full HD resolution 이상의 해상도를 가지는 이미지, 여기서는 초고화소(UHD(ultra high definition)급 이상의 이미지가 될 수 있음)로서, 압축 부호화된 이미지가 될 수 있으며, 본 발명의 실시예에서는 JPEG 이미지로 설명될 것이다.

본 발명의 실시예에서는 카메라 구동시 표시 이미지 및 압축 이미지를 생성 및 버퍼링하고, 연사촬영 모드시 버퍼링 된 프레임 이미지들에서 셔터가 눌려진 시점의 프레임에 대응되는 이미지들을 선택하여 저장하며, 촬영종료시 저장된 프레임이미지들 중에서 표시이미지(또는 섬네일 이미지)들을 포스트뷰로 표시하고, 사용자의 선택 또는 설정된 기능에 따라 압축이미지들을 저장한다. .

또한 상기 촬영 정보는 상기 카메라 구동시 상기 카메라 센서로부터 획득되는 매 프레임 이미지에 대한 카메라 센서 정보 및 장치의 센서들로부터 생성되는 정보가 된다. 그리고 상기 표시이미지 및 압축이미지들을 버퍼링할 때 상기 촬영정보도 함께 버퍼링하고, 상기 압축이미지 저장시 대응되는 프레임의 촬영정보도 함께 저장할 수 있다. 또한 상기 촬영정보는 이미지들의 저장과 독립적으로 저장할 수도 있다. 본 발명의 실시예에서의 촬영정보는 exif(Exchangeable Imge File Format) 정보 외에 상기 카메라 및/또는 장치의 센서들로부터 획득되는 정보로써, 카메라 구동시 매 frame에서 생성되며,이런 촬영정보를 이용해서 효율적으로 센서 데이터를 활용할 수 있다.

본 발명의 실시예에 "카메라 구동"이라는 용어는 카메라가 동작되는 것을 의미하며, 프리뷰, 포스트뷰, 촬영(정지이미지 촬영, 동영상촬영)등의 모드들이 모두 포함된다. 본 발명의 실시예에서 연사 및 연속촬영은 동일한 의미로 사용될 것이다. 그리고 상기 연속촬영(continuous shooting)은 버스트 샷((burst shot), 스포츠 샷(sports shot) 등을 포함한다.

본 발명의 실시예에 따른 카메라장치 또는 카메라를 구비하는 단말장치는 카메라 구동시 매 프레임에서 카메라로부터 획득되는 이미지를 처리하여 표시부에 표시할 표시이미지 및 저장부에 저장할 압축이미지를 생성하고, 또한 카메라 및/또는 장치의 센서들로부터 이미지 획득 시점의 촬영정보들을 생성하며, 상기 표시 이미지를 표시부에 표시하고, 상기 생성된 표시 이미지, 압축 이미지 및 촬영정보를 하나의 프레임으로 버퍼링한다.

여기서 상기 표시 이미지는 YUV 이미지이고, 상기 압축 이미지는 카메라에서 출력되는 풀 HD급 이상의 해상도를 가지는 이미지를 압축-호화한 이미지로써, JPEG 이미지가 될 수 있으며, 상기 촬영정보는 카메라 구동시 상기 카메라장치의 세팅정보 및 촬영시 카메라장치의 상태정보(예를들면 플래시 동작 여부 등, 자동모드(auto mode)로 세팅된 경우 촬영시점에서 설정되는 세팅정보를 포함할 수 있음)을 포함하며, 또한 장치에 구성되는 센서들의 정보(예를들면, 위치정보, 센서(자이로센서, 가속도센서, 고도센서, 방향센서 등)로부터 생성되는 정보)들 중에 하나 이상을 포함할 수 있다.

그리고 사용자에 의해 연사촬영요구가 발생되면, 카메라장치는 버퍼링된 프레임 이미지들 및 정보들 중에서 촬영요구시점의 프레임에 대응되는 표시이미지, 압축이미지 및 촬영정보를 저장하며, 또한 촬영종료 시까지 매 프레임의 표시이미지, 압축이미지 및 촬영정보들을 생성 및 버퍼링하는 동시에 버퍼링되는 표시이미지, 압축이미지 및 촬영정보를 임시 저장한다. 그리고 연사촬영이 종료되면 저장하고 있던 표시이미지들을 포스트뷰로 표시부에 표시하며, 저장 중인 압축이미지를 최종적으로 저장한다. 이때 상기 압축이미지의 저장은 상기 연사촬영구간에서 저장된 압축이미지들이 그대로 저장될 수 있으며, 이미지 내의 움직임에 따라 선택적으로 저장될 수도 있다.

이하 본 발명을 도면을 참조하여 상세히 설명한다. 이하의 설명에서는 카메라장치를 예로들어 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 카메라장치의 구성을 도시하는 도면이다.

상기 도 1을 참조하면, 카메라부110은 이미지 센서를 구비하며, 카메라 구동시 이미지센서를 통해 이미지를 획득하는 기능을 수행한다. 센서부120은 카메라장치에 장착하는 하나의 이상의 센서가 될 수 있으며, 상기 센서는 GPS수신기, 자이로센서, 가속도센서, 고도센서, 방향센서들 중에 하나 이상이 될 수 있다. 여기서 상기 센서부120은 이하 설명되는 이미지처리부130에 연결될 수 있으며, 또한 어플리케이션처리부140에 연결될 수도 있다. 본 발명의 실시예에서는 상기 센서부120이 어플리케이션처리부140에 연결되어 카메라장치 또는 카메라장치를 구비하는 단말장치의 동작, 상태 및 위치 등을 감지하는 것으로 가정하여 설명하기로 한다.

이미지처리부130은 상기 카메라부110으로부터 획득되는 이미지를 처리하여 표시부160에 표시하기 위한 표시 이미지 및 캡쳐(저장) 요구시 이미지를 저장하기 위한 압축 이미지를 생성한다. 여기서 상기 표시이미지는 YUV 이미지가 될 수 있다. 상기 이미지처리부130은 상기 카메라부110에서 획득되는 이미지를 YUV 이미지로 색변환(color conversion)하며, 또한 상기 표시부160에 표시하기 위한 크기로 조정(scaling and/or crop)한다. 즉, 상기 이미지처리부130은 YUV 이미지를 생성하고, 또한 상기 표시부160의 표시 능력에 따라 적절하게 설정하여 표시이미지를 생성한다. 이때 상기 YUV 이미지는 상기 압축 이미지의 크기보다는 작은 데이터 크기를 가질 수 있다. 또한 상기 이미지처리부130은 상기 카메라부110에서 출력되는 이미지를 JPEG 방식으로 압축한다. 여기서 상기 압축 이미지는 캡쳐(이미지 저장)하기 위한 이미지로써, 카메라부110으로 출력되는 풀 해상도의 이미지를 압축하기 위한 이미지이다. 또한 상기 이미지처리부130은 상기 카메라부110(또는 상기 센서부120이 연결되어 있는 있는 경우에는 센서부120의 출력을 포함)으로부터 상기 이미지를 획득하는 시점의 촬영정보를 획득한다. 이때 상기 촬영정보는 상기 카메라부110에서 이미지 촬영시 획득할 수 있는 exif 정보 이외에 다양한 정보들을 추가적으로 획득할 수 있다.

상기 이미지처리부130은 매 프레임 주기에서 상기 표시이미지 및 압축 이미지를 생성할 수 있으며, 또한 상기 표시이미지, 압축이미지 및 촬영정보를 생성할 수 있다. 그리고 상기 이미지처리부130은 1초에 30프레임(30 frame per sec) 또는 그 이상의 프레임 율(예를들면 60 frame per sec)의 표시이미지, 압축이미지 및 촬영정보들을 생성할 수 있다.

어플리케이션 처리부140은 카메라 구동시 상기 이미지처리부130에서 생성되는 표시이미지 및 압축 이미지, 또는 표시이미지, 압축이미지 및 촬영정보들을 버퍼링하고, 상기 표시이미지를 표시부160에 출력하여 표시되도록 제어한다. 또한 상기 센서부120이 연결된 경우, 상기 어플리케이션처리부140은 상기 촬영정보를 버퍼링할 때 상기 이미지처리부130에서 전송되는 촬영정보에 상기 센서부120의 출력을 병합하여 촬영정보로 버퍼링한다.

그리고 사용자의 연사촬영 요구 명령이 발생되면, 상기 어플리케이션처리부140은 상기 버퍼링 중인 압축 이미지들 중에서 상기 연사촬영이 요구된 시점에서부터 그 이후의 프레임의 표시이미지, 압축이미지 및 촬영정보들을 임시 저장하며, 또한 상기 이미지처리부130에서 생성되는 표시이미지, 압축이미지 및 촬영정보를 버퍼링하면서 임시 저장하는 동작을 수행하며, 이런 동작은 연사촬영의 종료시점까지 수행된다. 그리고 연사촬영 종료시 상기 저장중인 표시이미지들을 표시부160에 표시하며, 압축이미지들을 상기 저장부150에 그대로 저장하거나, 또는 사용자 및/또는 미리 설정된 기능에 의해 압축이미지들을 선택하여 상기 저장부150에 저장한다. 여기서 상기 임시 저장이란 의미는 연사촬영 모드에서 촬영된 이미지들(및 촬영정보)을 상기 저장부150에 최종적으로 저장하기 전까지 저장함을 의미한다. 여기서 상기 임시저장은 상기 버퍼의 용량이 충분에서 상기 버퍼에 버퍼링할 수 있으며, 또한 램에 저장할 수도 있다. 여기서 상기 램은 어플리케이션처리부140에 독립적으로 구성할 수 있으며, 또한 상기 저장부150에 구비할 수도 있다.

상기 입력부170은 상기 어플리케이션처리부140에 카메라 구동명령, 연사촬영 명령을 발생할 수 있다. 표시부160은 프리뷰 모드시 상기 어플리케이션처리부140에서 출력되는 표시 이미지를 표시한다. 또한 상기 표시부160은 연사촬영모드시 상기 표시이미지를 프리뷰 이미지로 표시하며, 연사촬영 종료시 상기 어플리케이션처리부140의 제어하여 저장중인 연사촬영의 표시이미지들을 겹쳐서 포스트뷰(po stview) 이미지로 표시할 수 있으며, 또한 연사촬영된 이미지들의 섬네일 이미지들을 표시할 수 있다. 여기서 상기 입력부170은 사용자의 터치입력을 감지하는 터치패널이 될 수 있으며, 표시부160은 프로그램 수행 중에 발생되는 데이터 및 이미지 등을 표시하는 LCD 또는 OLED 패널이 될 수 있다. 여기서 상기 입력부170 및 표시부160은 일체형의 터치스크린이 될 수 있다. 또한 상기 입력부170은 카메라장치의 외부에 위치되는 버튼들을 포함할 수 있다.

저장부150은 연사촬영 요구시 상기 어플리케이션 처리부140에 버퍼링 중인 표시이미지, 압축이미지 및 촬영정보들을 표시하며, 연사촬영 종료시 연사촬영된 압축이미지들 또는 사용자 및/또는 설정된 기능에 의해 선택되는 압축이미지들을 연사촬영 이미지로 저장한다.

도 2는 본 발명의 실시예에 따른 카메라부110의 구성을 도시하는 도면이다.

상기 도 2를 참조하면, 카메라 구동명령이 발생되면, 상기 카메라부110에 동작전원을 공급한다. 또한 상기 이미지처리부130은 모터240을 구동하며, 상기 모터240의 구동에 의해 액츄에이터250이 상기 광학부210의 구동(zooming, focusing 등)을 제어한다. 상기 광학부210은 주변의 이미지를 촬상하며, 이미지센서220은 상기 광학부220에 의해 촬상되는 이미지를 감지하여 전기적인 신호로 변환한다. 여기서 상기 이미지 센서220은 풀 HD 이상의 해상도를 가지는 이미지 센서가 될 수 있다. 그리고 상기 이미지센서220의 출력은 AD변환부230을 통해 디지털 이미지로 변환되어 이미지처리부130에 전달된다. 또한 플래시260은 상기 이미지처리부130에 의해 구동될 수 있다.

도 3은 본 발명의 실시예에 따른 이미지처리부130 및 어플리케이션처리부140의 구성을 도시하는 도면이다.

상기 도 3을 참조하면, 이미지처리부130은 카메라부110에서 출력되는 이미지를 처리하며, 또한 상기 카메라부110의 동작을 제어하고, 상기 카메라부110의 촬영정보를 획득하는 기능을 수행한다. 그리고 센서부120이 이미지처리부130에 연결되어 카메라 구동시 카메라부110 및 센서부120으로부터 획득되는 정보들을 촬영정보로 생성한다. 그리고 상기 어플리케이션처리부140은 상기 이미지처리부130의 동작을 제어하며, 또한 이미지처리부130에서 출력되는 데이터(표시 및 압축이미지와 촬영정보)들을 처리한다.

그러나 상기 어플리케이션처리부140은 상기 이미지처리부130의 어플리케이션(즉,카메라 관련 어플리케이션) 이외에 다른 어플리케이션들을 취할 수 있다. 이런 어플리케이션은 센서부120의 어플리케이션이 될 수 있다. 상기와 같은 어플리케이션들의 예를 살펴보면, 상기 센서부120은 GPS를 포함할 수 있으며, 상기 GPS신호를 수신하여 장치(여기서는 카메라장치 또는 카메라 장치를 포함하는 단말 장치 등이 될 수 있다)의 위치를 표시할 수 있다. 또한 상기 센서부120은 움직임 센서를 구비하여 상기 장치의 상태를 표시할 수 있다. 예를들면 상기 움직임센서는 장치의 상하 좌우 이동을 감지하며, 자이로센서는 축(X,Y,Z축) 이동을 감지할 수 있다. 따라서 상기 움직임센서의 출력을 감지하여 장치가 위치한 상태를 표현하는 어플리케이션을 처리할 수 있다. 이런 경우, 상기 센서부120은 상기 어플리케이션 처리부140에 접속될 수 있다. 상기한 바와 같이 본 발명의 실시예에서는 상기 센서부120이 어플리케이션처리부140에 연결된 경우를 가정하여 설명하기로 한다.

이미지처리부130의 영상전처리부320은 상기 카메라부110에서 출력되는 이미지를 YUV 이미지로 변환한다. 상기 카메라부110에서 출력되는 이미지는 raw 이미지로써, 이미지센서220에서 감지되는 풀 HD급 이상의 화소수를 가지며, 영상전처리부320은 이를 3A, 컬러 인터폴레에션(color interpolation), 색변환(color conversion) 등의 영상 전처리 기능을 수행한다. 여기서 상기 3A는 AWB(auto white balance), AE(auto exposure), AF(Auto focusing) 등이 될 수 있으며, 색변환은 raw 이미지를 YUV 데이터로 변환하는 기능이 될 수 있다. 여기서 상기 영상전처리부320은 상기와 같은 기능을 모두 수행할 수 있으며, 또한 일부의 기능만을 수행할 수 있다. 또한 상기 이미지처리부130은 캡쳐시 정지 이미지(still image)를 저장하기 위한 정지영상압축부(정지영상부호화기기)340을 구비하며, 상기 정지영상압축부는 JPEG, TIFF 등 다양한 정지영상 부호화 방법을 사용할 수 있다. 본 발명의 실시예에서는 정지영상압축부340은 JPEG코더340이라고 가정한다. 상기 JPEG코더340은 상기 영상전처리부320에서 출력되는 이미지를 JPEG 영상으로 압축한다. 스케일러340은 상기 영상전처리부320에서 출력되는 영상을 표시부160에서 표시할 수 있는 적절한 크기의 이미지로 스케일링한다. 상기 스케일러340은 상기 영상데이타를 스케일링, 크롭(crop) 및/또는 리사이징(resizing)하는 구성 또는 이들 구성들 중의 일부를 구비할 수 있다. 여기서 상기 영상전처리부320이 색변환 기능을 수행하지 않는 경우, 상기 스케일러340은 표시이미지생성부로 구성할 수 있으며, 이런 경우 상기 표시이미지생성부는 raw image를 YUV 이미지로 변환하는 색변환기 및 스케일러로 구성할 수도 있다. 이미지처리제어부310은 어플리케이션제어부360의 제어하에 상기 카메라부110의 구동을 제어하며, 카메라 구동모드시 상기 이미지처리부130의 전반적인 동작을 제어한다. 또한 상기 이미지처리제어부310은 상기 카메라부110 구동시 카메라부110의 세팅정보 및 이미지 획득시점에서 상기 카메라부110의 동작 등과 관련된 정보를 획득하여 촬영정보로 생성할 수 있다. 여기서 상기 압축 이미지, 표시이미지 및 촬영정보는 매 프레임들에서 각각 발생되며, 상기 프레임은 1초에 30프레임 또는 그 이상의 프레임(예를들면 60 프레임)으로 구성될 수 있다. 다중화부350은 상기 이미지처리제어부310의 제어하에 상기 압축 이미지, 표시이미지 및 촬영정보를 다중화하여 상기 어플리케이션처리부140에 전송한다.

여기서 상기 이미지처리부130은 도 3에 도시되지는 않았지만 상기 표시이미지를 섬네일 이미지로 변환하는 섬네일 이미지생성부를 더 구비할 수 있다. 이런 경우, 상기 이미지처리부100은 상기 표시이미지로부터 섬네일 이미지를 생성하며, JPEG코더340은 상기 영상전처리부310의 출력 이미지를 압축하며, 헤더, 상기 섬네일이미지, 및 압축된 JPEG 이미지로 구성된 출력을 생성할 수 있다. 상기 어플리케이션처리부140의 구성을 살펴보면, 어플리케이션처리제어부360은 입력부170의 명령에 따라 상기 이미지처리부130의 동작을 제어하며, 상기 이미지처리부130에서 출력되는 이미지를 버퍼링 및 표시부160을 통해 표시하고, 연사촬영모드시 연사촬영이 요구된 순간부터 최대 preview 속도 또는 최대 preview 속도 이내에서 사용자가 설정한 속도로 capture하여 촬영된 순서대로 연사촬영 종료 요구가 끝날때까지 저장하거나 사용자가 setting한 매수만큼 저장한다.

역다중화부355는 상기 어플리케이션처리제어부360의 제어에 의해 상기 이미지처리부130에서 전송되는 표시이미지, 압축이미지 및/또는 촬영정보를 역다중화하여 출력한다. 파서370은 상기 역다중화부355에서 역다중화되는 이미지 및 정보들을 표시이미지, 압축이미지 및 촬영정보로 파싱한다. 여기서 상기 어플리케이션처리제어부360이 상기 역다중화부355를 제어하여 상기 이미지처리부130에서 출력을 표시이미지, 압축이미지 및/또는 촬영정보로 소프트웨어 파싱하는 경우, 상기 파서370은 생략될 수 있다.

버퍼380은 표시이미지버퍼383, 압축이미지버퍼385 및/또는 촬영정보버퍼387을 구비할 수 있다. 상기 버퍼380은 상기 어플리케이션처리제어부360의 제어하에 각각 파싱되는 표시이미지, 압축이미지 및/또는 촬영정보를 버퍼링한다. 이때 상기 어플리케이션처리부140의 어플리케이션처리제어부360은 상기 센서부120(및/또는 도시되지 않은 통신부로부터 수신되는 부가정보, 예를들면 인터넷 망 등을 통해 수신되는 날씨 정보 등)의 출력을 제2촬영정보로 생성하며, 상기 파싱되는 상기 이미지처리부130의 촬영정보(제1촬영정보가 될 수 있음)를 상기 촬영정보에 버퍼링할 때 상기 센서부120에서 센서의 출력(해당 프레임 이미지를 획득할 때(즉, 촬영되는 프레임 이미지)의 상기 센서부120의 출력(제2촬영정보가 될 수 있음)를 병합(merge)하여 촬영정보를 생성한다. 즉, 상기 어플리케이션처리부140은 매 프레임에서 상기 이미지처리부130에서 전송되는 제1촬영정보에 상기 어플리케이션처리부140에서 생성되는 제2촬영정보를 병합하여 촬영정보버퍼387에 버퍼링한다.

본 발명의 실시예에서는 상기 카메라부110으로부터 발생되는 매 frame의 이미지를 수신하는 이미지처리부130 및/또는 어플리케이션처리부140은 표시용 YUV 이미지 및 캡쳐용 압축이미지를 생성하고, 해당 프레임 이미지의 촬영정보를 생성(이미지 data + embedded data로 구성)한다. 여기서 상기 촬영정보(embedded data)는 하기 <표 1>과 같은 데이터들을 포함할 수 있다.

촬영정보(meta data)	크기	비고
Flash	4byte	Flash 풀광량 체크할 수 있는 flag, flash 동작시 이용
ISO	4byte	ISO 정보 저장
EV	4byte	Exposure Value 값 저장
Data type	4byte	JPEG, YUV, META data의 data type을 저장
Data size	4byte	가변적으로 변하는 JPEG의 size를 저장, JPEG 이미지를 버퍼에 저장할 때 사용
Face detection	4byte	FACE detection 기능 on/off 저장
Face num	4byte	얼굴 인식된 개수 저장
FD start x	4byte	얼굴 인식된 사각 좌표의 시작 x값 저장. FD[0].sx, FD[1].sx 처럼 얼굴 인식된 개수만큼 저장
FD start y	4byte	얼굴 인식된 사각 좌표의 시작 y값 저장. FD[0].sy, FD[1].sy 처럼 얼굴 인식된 개수만큼 저장
FD end x	4byte	얼굴 인식된 사각 좌표의 오른쪽 아래 x값 저장. FD[0].ex, FD[1].ex 처럼 얼굴 인식된 개수만큼 저장
FD end y	4byte	얼굴 인식된 사각 좌표의 오른쪽 아래 y값 저장. FD[0].ey, FD[1].ey 처럼 얼굴 인식된 개수만큼 저장
Effect	4byte	설정된 Effect 값 저장
White balance	4byte	설정된 WB 값 저장
Scene mode	4byte	설정된 Scene mode 값 저장
Metering	4byte	설정된 측광 모드값 저장
I-frame	4byte	MPEG 사용시 iframe 정보값 저장
P-frame	4byte	MPEG 사용시 pframe 정보값 저장
Sharpness	4byte	설정된 sharpness 값 저장
Saturation	4byte	설정된 saturation 값 저장
Contrast	4byte	설정된 contrast 값 저장
Frame count	4byte	현재 들어온 프레임의 count 값 저장
HDR	4byte	HDR 동작 상태 저장
Zoom	4byte	설정된 zoom 배율 저장
AF	4byte	AF status 저장
CAF x	4byte	CAF 동작 시 x좌표값 저장
CAF y	4byte	CAF 동작 시 y좌표값 저장
Gyro data	4byte	Gyro data 값 저장, 흔들림 판단시 사용
Anti-shake	4byte	손떨림 방지 기능 동작 유무 저장
Quality	4byte	설정된 Jpeg quality 값 저장
Storage	4byte	미디어 데이터 저장위치 저장
촬영일시	4byte	현재 시간정보 저장
GPS 정보	4byte	GPS status 저장
위치 정보	4byte	현재위치 데이터 값 저장
고도정보	4byte	현재 고도 정보 저장
카메라 각도정보	4byte	현재 카메라 각도 정보 저장
가속도 센서	4byte	가속도 센더 데이더 값 저장, 흔들림 판단시 사용

상기와 같은 촬영정보(meta data)를 이용하여 사용자는 다양한 기능을 설정하여 사진을 촬영할 수 있다. 사용자가 자주 촬영한 피사체 정보와 카메라 메뉴 정보를 이용하여 상황에 맞는 설정 값을 찾을 수 있다. 이런 경우, Preview시에 사람 얼굴이 탐지되면 인물 DB에서 해당 인물 촬영시 자주 사용되었거나, 사용시 좋은 결과를 가져올 메뉴를 자동으로 설정한다. 예로 일반인들은 자신의 가족, 친지, 애인, 가족, 연예인 등의 인물 사진을 많이 촬영하는데, 인물 DB내에서 해당 인물 촬영 시에 적합한 정보를 찾거나 없으면 촬영 시 도움이 될만한 메뉴를 세팅할 수 있다.(예를들면, smile shot, beauty shot, portrait scene mode, AF mode, object tracking, ISO, effect, white balance, exposure, metering, zooming, flash, etc) 또한 Preview 정보에서 사람 정보를 찾을 수 없을 경우 풍경 사진 촬영인지에 대한 부분을 확인하여 풍경 사진에 적합하도록 설정할 수 있다.(예를들면 outdoor visible, flash, ISO, effect, white balance, exposure, metering, landscape scene mode, Fan focus mode, etc.) 상기와 같이 촬영된 이미지는 사용자 카메라 사용에 대한 경험을 바탕으로 저장할 수 있다.(예를 들면, 애인 사진의 경우 촬영과 동시에 애인 앨범으로 저장되거나, 지정된 SNS or cloud system에 반영될 수 있다). 그리고 연속 촬영에서 촬영된 이미지의 유사성에 대한 부분을 판단하여 앨범 or postview에서 사용자에게 display될 때 쉽게 확인 가능하도록 할 수 있다.

상기 어플리케이션처리부140의 버퍼380은 N 프레임의 표시이미지, 압축이미지 및/또는 촬영정보들을 버퍼링할 수 있는 크기를 가지며, 버퍼380의 구조는 링버퍼(ring buffer) 구조를 가질 수 있다. 상기 버퍼380을 링버퍼 구조로 구성하는 이유는 수신되는 프레임의 이미지 및 정보들을 설정 프레임 수로 유지하기 위함이다.

또한 상기 어플리케이션처리부140은 동영상 저장 요구시 동영상 데이터를 압축하기 위한 동영상압축부(동영상부호화기)390을 구비할 수 있으며, 상기 동영상압축부390는 H.264, MPEG 등 다양한 동영상 부호화기로 구성할 수 있다. 본 발명의 실시예에서는 상기 동영상 압축부가 MPEG코더390인 경우를 가정한다. 사용자로부터 동영상 저정 요구가 발생되면, 상기 어플리케이션처리제어부360은 상기 MPEG코더390을 구동하며, 상기 MPEG코더390은 상기 버퍼380의 표시이미지버퍼380에 버퍼링되는 표시이미지를 압축하여 상기 저장부150에 저장한다. 또한 상기 어플리케이션처리부140은 상기 표시이미지를 리사이징하여 섬네일이미지를 생성하는 섬네일이미지생성부395를 더 구비한다. 상기 섬네일이미지생성부395는 상기 표시이미지버퍼383에서 출력되는 표시이미지를 리사이징하여 하여 섬네일이미지를 생성할 수 있으며, 상기 섬네일 이미지는 상기 JPEG 이미지에 포함될 수 있고, 상기 어플리케이션제어부360의 제어하에 상기 표시부160에 표시될 수 있다.

여기서 상기 어플리케이션처리제어부360은 연사촬영모드시 상기 버퍼380에 버퍼링된 표시이미지, 압축이미지 및 촬영정보 중에서 촬영 요구시점에 대응되는 프레임 및 그 이후의 표시이미지, 압축이미지 및 촬영정보들을 저장한다. 그리고 상기 이미지처리부130에서 생성되는 표시이미지, 압축이미지 및 촬영정보들을 상기 버퍼380에 각각 버퍼링하는 동시에 상기 버퍼링된 표시이미지, 압축이미지 및 촬영정보들을 저장한다. 그리고 연사촬영 종료가 요구되면, 상기 어플리케이션처리제어부360은 상기 Preview시 사용된 표시이미지를 postview 이미지로 표시하며, 이로인해 카메라장치는 capture 종료 후에 decode 동작 없이 빠르게 사용자에게 연사촬영된 이미지들을 표시할 수 있다.

상기 도 3에서 이미지처리부130 및 어플리케이션처리부140에 구비되는 정지영상 및 동영상을 압축하는 구성은 코더로 도시되고 있다. 그러나 일반적으로 영상을 압축 및 압축 해제하는 구성은 하나의 칩(Coder & DECcoder: CODEC)으로 구성된다. 따라서 상기 이미지처리부130의 정지영상 코더340(예를들면 JPEG코더)는 정지영상 코덱(JPEG 코덱)으로 구성될 수 있으며, 상기 어플리케이션처리부140의 동영상코더390(예를들면, MPEG 코더 390)은 동영상코덱(MPEG 코덱)이 될 수 있다. 또한 본 발명의 실시예에서는 카메라부110으로부터 촬영되는 이미지를 표시 및 압축 저장하는 동작을 중심으로 설명될 것이다. 그리고 상기 저장부150에 저장된 정지영상(예를들면JPEG 이미지)을 압축해제하여 표시하기 위한 구성이 필요할 수 있다.

이를 위하여 도면에는 도시되지 않았지만 상기 어플리케이션처리부140은 정지영상 디코더(또는 정지영상 코덱)을 더 구비할 수 있다. 이런 경우, 사용자가 입력부170을 통해 상기 저장부150에 저장된 압축이미지의 재생을 요구하면, 상기 어플리케이션처리부140은 도시되지 않은 정지영상 디코더(정지영상 코덱)를 통해 압축 이미지를 디코딩(압축 해제)하고, 상기 디코딩된 이미지를 표시부160에 표시할 수 있다. 이하 설명되는 본 발명의 실시예에서는 상기 정지영상을 디코딩하여 표시하는 동작의 구성 및 설명은 생략하기로 한다.

상기 도 3의 구성에서 상기 이미지처리부130은 카메라부110으로부터 출력되는 이미지를 수신하여 프리뷰용 표시이미지 및 캡쳐용 압축이미지를 생성할 수 있으며, 또한 표시이미지, 압축이미지 및 촬영 정보를 생성할 수 있다.

상기와 같은 구성을 가지는 카메라장치의 동작을 살펴보면, 사용자가 입력부170를 통해 카메라 구동명령을 발생하면(즉, 프리뷰 모드를 수행하면), 어플리케이션처리제어부360은 상기 이미지처리부130에 이를 알리며, 이미지처리제어부310은 상기 카메라부110을 구동한다. 그리고 상기 카메라부110에서 출력되는 이미지는 영상전처리부320에 입력된다.

이때 이미지처리부130은 매 프레임 주기에서 상기 카메라부110으로 획득되는 이미지를 수신하여 표시이미지 및 압축이미지로 변환하고, 해당 프레임 이미지 획득시 상기 카메라부110의 촬영정보를 생성하며, 이들(표시이미지, 압축이미지 및 촬영정보)를 하나의 프레임으로 생성하여 어플리케이션처리부140에 출력한다. 여기서 상기 이미지처리부130에서 프레임 이미지 생성은 30fps 또는 그 이상(예를들면 60fps)로 할 수 있다.

이때 매 프레임의 주기에서 상기 영상전처리부320은 상기 카메라부110에서 입력되는 이미지(raw image)를 3A 처리, 컬러 인터폴레이션 및/또는 raw 이미지를 YUV 이미지로 영상변환하는 기능을 수행하며, 이때의 이미지는 풀 HD 이상의 해상도를 가지는 이미지가 될 수 있다. 그리고 JPEG코더340은 상기 영상전처리부320에서 출력되는 이미지를 JPEG 방식으로 압축 부호화하여 캡쳐요구시 저장하기 위한 압축 이미지를 생성한다. 이때 상기 압축데이터는 JPEG와 다른 방식의 압축부호화기를 사용할 수도 있다. 스케일러330은 상기 영상전처리부320에서 출력되는 이미지를 설정된 데이터 사이즈로 축소하여 표시부160에 표시하기 위한 프리뷰하기 위한 표시이미지를 생성한다. 이때 상기 이미지를 축소하는 방법은 통상의 스케일링 방법, 크롭(crop), 리사이즈 방법들을 사용할 수 있으며, 이들 중 한가지 방법 또는 두 가지 이상의 방법을 조합하여 표시이미지를 생성할 수 있다. 여기서 상기 표시이미지는 프리뷰 모드시 상기 표시부160에 표시하기 위한 이미지 및/또는 연사모드시 표시부에 표시되는 이미지가 될 수 있다. 이때 상기 이미지처리부130의 스케일러330은 프리뷰 모드를 위한 표시이미지 및 동영상 저장을 위한 표시이미지의 데이터 크기(data size)를 다른 크기로 할 수도 있다. 또한 상기한 바와 같이 상기 영상전처리부320에서 색변환 기능을 수행하지 않는 경우, 상기 스케일러340은 표시이미지 생성부로 구성할 수 있다. 이런 경우 상기 표시이미지생성부는 상기 색변환(color conversion, raw image를 YUV 이미지로 변환하는 기능) 및 스케일러 기능을 포함하는 구성을 가질 수 있다.

또한 상기 이미지처리부130은 매 프레임 주기에서 상기 표시이미지 및 압축이미지 생성시 카메라장치에서 이미지를 촬영할 때의 촬영정보로 생성한다. 이때 상기 이미지처리부130에서 생성되는 촬영정보는 상기 카메라부110의 촬영정보이며, 상기 센서부120의 출력은 아직 병합되지 않은 상태이다. 따라서 상기 촬영정보는 상기 어플리케이션처리부140에서 상기 카메라부110의 촬영정보(즉, 제1촬영정보)에서 상기 센서부120의 출력(즉, 제2촬영정보)를 병합하여 최종의 촬영정보를 생성할 수 있다.

그러면 사용자는 상기와 같은 촬영정보(meta data)를 이용하여 다양한 기능을 설정할 수 있다. 즉, 사용자는 상기 촬영정보를 이용하여 자주 촬영한 피사체 정보와 카메라 메뉴 정보를 이용하여 상황에 맞는 설정 값을 찾을 수 있다. 이런 경우, Preview시에 사람 얼굴이 탐지되면 인물 DB에서 해당 인물 촬영시 자주 사용되었거나, 사용시 좋은 결과를 가져올 메뉴를 자동으로 설정할 수 있다. 예를들면카메라장치의 사용자는 자신의 가족, 친지, 애인, 가족, 연예인 등의 인물 사진을 많이 촬영하는데, 인물 DB내에서 해당 인물 촬영 시에 적합한 정보를 찾거나 없으면 촬영 시 도움이 될만한 메뉴를 세팅할 수 있다.(예를들면, smile shot, beauty shot, portrait scene mode, AF mode, object tracking, ISO, effect, white balance, exposure, metering, zooming, flash, etc) 또한 Preview 정보에서 사람 정보를 찾을 수 없을 경우 풍경 사진 촬영인지에 대한 부분을 확인하여 풍경 사진에 적합하도록 설정할 수 있다.(예를들면 outdoor visible, flash, ISO, effect, white balance, exposure, metering, landscape scene mode, Fan focus mode, etc.) 상기와 같이 촬영된 이미지는 사용자 카메라 사용에 대한 경험을 바탕으로 저장할 수 있다.(예를들면 애인 사진의 경우 촬영과 동시에 애인 앨범으로 저장되거나, 지정된 SNS or cloud system에 반영될 수 있다). 그리고 연속 촬영에서 촬영된 이미지의 유사성에 대한 부분을 판단하여 앨범 or postview에서 사용자에게 display될 때 쉽게 확인 가능하도록 할 수 있다.

그리고 다중화부350은 상기 이미지처리제어부310의 제어하에 상기 표시이미지, 압축이미지 및 촬영정보를 다중화하여 하나의 프레임으로 상기 어플리케이션처리부140에 출력한다.

도 4는 본 발명의 실시예에 따라 프레임을 구성하는 YUV 이미지, JPEG 이미지 및 촬영정보를 도시하는 도면이고, 도 5는 본 발명의 실시예에 따라 매 프레임의 데이터 전송 포맷을 도시하는 도면이다.

상기 도 4 - 도 5를 참조하면, 상기 이미지처리부130은 매 프레임 주기에서 YUV 이미지, JPEG 이미지 및 촬영정보(embedded data, meta data)를 생성하며, 다중화부350은 상기 생성된 YUV 이미지, JPEG 이미지 및 촬영정보를 다중화하여 어플리케이션처리부140에 전송한다.

이때 상기 도 4에 도시된 바와 같이 압축이미지인 JPEG 데이터는 원본 이미지로써 캡쳐 요구시 정지 이미지로 저장하기 위한 데이타이다. 이때 상기 JPEG 데이터의 크기는 상기 카메라부110의 이미지센서220에 의해 결정될 수 있으며, 8M 바이트 이상의 데이터 크기를 가질 수 있다. 또한 YUV 데이터는 상기 표시부160에 프리뷰하기 위한 이미지로써, 상기 JPEG 데이터의 크기보다 작은 크기로 스케일링된다. 또한 상기 YUV 데이터는 프리뷰 이외에 포스트 뷰(post view) 데이터로 사용할 수도 있다. 즉, 연사 촬영시 상기 표시이미지버퍼383에 저장하고 있는 표시이미지들을 상기 표시부160에 표시(post view)할 수도 있다. 또한 촬영정보는 카메라 부가 기능으로써, 카메라부110에서 이미지를 획득할 때의 각종 촬영정보들 및 카메라장치의 외부에 위치되는 센서부120으로부터 감지되는 센서정보들로 구성할 수 있다. 이때 상기 촬영정보는 상기 압축이미지에 포함되는 것이 아니라 독립적으로 저장한다. 즉, 상기 이미지처리부130은 매 프레임에서 카메라부110 및 센서부120으로부터 감지되는 정보를 이용하여 상기 <표 1>과 같은 구성을 가지는 촬영정보로 생성하며, 상기 촬영정보는 매 프레임 단위로 상기 표시이미지 및 압축이미지들과 대응되도록 저장한다. 이후 사용자는 상기 촬영정보를 이용하여 이미지를 효율적으로 저장 및 처리할 수 있다.

그리고 상기 도 4와 같은 구조를 가지는 본 발명의 실시예에 따른 카메라 프레임 데이터는 이미지처리부130에서 생성되어 도 5와 같은 전송 포맷으로 어플리케이션처리부140에 전송된다. 이때 상기 YUV 데이터는 2M((Full HD) : 1920*1080*2(YUV422 foramt은 1 pixel당 2Byte))가 될 수 있으며, JPEG 데이터는 Max 8MB가 될 수 있고, 촬영정보인 Meta data는 4K가 될 수 있다. 이런 경우, 상기 이미지처리부130에서 상기 상기 도 5와 같은 각 프레임 데이터를 전송할 때의 필요 버스 대역폭은 (1920*1080*2 + 8*1024*1024 + 4*1024) * 30fps * 8bit = 3,009,576,960bps = 2.87Gbps가 될 수 있다.

상기 이미지처리부130에서 다중화되어 전송되는 표시이미지, 압축이미지 및 촬영정보는 어플리케이션처리부140의 역다중화부355에서 역다중화되며, 파서370에서 표시이미지, 압축이미지 및 촬영정보로 파싱되어 링버퍼380의 각각 대응되는 표시이미지버퍼383, 압축이미지버퍼385, 촬영정보버퍼387에 버퍼링된다. 상기 버퍼380은 링 버퍼의 구조를 가지며, 설정된 프레임 수의 데이터가 버퍼링되면 오버 라이트된다.

도 6은 본 발명의 실시예에 따른 표시이미지버퍼, 압축이미지 버퍼 및 촬영정보버퍼의 구성을 도시하는 도면이다.

상기 도 6을 참조하면, 각 버퍼383, 385 및 387은 각각 N 프레임의 대응되는 데이터를 저장할 수 있는 N개의 링버퍼 구조를 가지며, 어플리케이션처리제어부360의 제어하에 대응되는 데이터를 버퍼링한다. 이때 N개의 버퍼에 데이터가 버퍼링되면, 상기 어플리케이션처리제어부360은 도 6과 같이 다시 처음부터 데이터가 버퍼링될 수 있도록 오버라이트한다. 즉, 압축이미지버퍼385의 경우, N 프레임의 JPEG 이미지를 저장할 수 있는 N 개의 버퍼들이 링버퍼 구조로 링크되며, 먼저 JPEG 1 - JPEG n의 N 프레임 JPEG 이미지들이 각각 대응되는 버퍼에 저장되며, 이후 생성되는 N개의 JPEG n+1 - JPEG 2n 이미지는 도 6에 도시된 바와 같이 각각 대응되는 압축이미지 버퍼들에 오버라이트된다. 그리고 상기 표시이미지버퍼383, 압축이미지버퍼385 및 촬영정보버퍼387의 프레임은 프레임 카운트 값을 통해 동기된다. 따라서 어플리케이션처리제어부360은 프레임 카운트 값을 확인하여 동일 프레임의 표시이미지, 압축이미지 및 촬영정보들을 처리할 수 있다. 또한 상기 어플리케이션처리제어부360은 상기 표시이미지를 상기 표시이미지버퍼380에 버퍼링하면서 상기 표시부160에 출력하여 프리뷰 이미지로 표시될 수 있도록 한다.

상기와 같은 상태에서 사용자가 연사촬영 명령을 발생하면, 상기 어플리케이션제어처리부360은 이를 감지하고 상기 압축이미지버퍼385에 버퍼링된 압축 이미지들 중에서 설정된 프레임 및 이후의 프레임들에 대응되는 압축이미지들을 저장부150에 저장한다.

도 7은 본 발명의 실시예에 따른 카메라장치 또는 카메라장치를 포함하는 단말장치에서 연사촬영시의 동작을 설명하기 위한 도면이다.

상기 도 7을 참조하면, 카메라구동시 상기 이미지처리부130은 710단계에서 이미지처리부130은 매 프레임에서 표시이미지 및 압축이미지를 생성하여 하나의 프레임으로 출력하고, 어플리케이션처리부140은 상기 표시이미지 및 압축이미지를 버퍼링한다. 이때 사용자가 연사촬영을 명령하면, 상기 어플리케이션처리부710은 720단계에서 이를 확인한다. 그리고 상기 어플리케이션처리부140은 730단계에서 상기 버퍼380에 버퍼링된 이미지들 중에서 촬영 요구 시점의 프레임 및 그 이후의 프레임에 대응되는 표시이미지 및 압축이미지들을 저장하며, 상기 이미지처리부130에서 출력되는 프레임들의 표시이미지 및 압축이미지들을 버퍼380에 버퍼링하는 동작을 계속 수행한다. 이때 상기 연사촬영시의 획득되는 이미지들의 프레임율은 최대 preview 속도 이내에서 사용자가 설정한 속도가 될 수 있다. 그리고 촬영되는 이미지들은 촬영된 순서대로 상기 연사촬영이 종료될 때 까지 저장할 수 있으며, 또한 사용자가 연사촬영 매수를 설정한 경우 사용자가 setting한 매수만큼 저장한다.

이때 상기 어플리케이션처리부140은 상기 연사촬영 중임을 알리기 위하여 연속 촬영음을 발생하여 피드백으로 제공하며, 또한 상기 표시부160에 연사촬영되는 이미지의 수(즉, 연사 매수)를 표시한다. 이때 상기 연속촬영음은 연사촬영되는 수에 대응되도록 발생(예를들면 30fps인 경우 1초에 30회 연속 촬영음을 발생함)할 수 있다. 그러나 연속촬영모드시 연속 촬영 중임을 알릴 수만 있으면 되므로, 적절한 수의 연속 촬영음을 발생하여 피드백으로 제공할 수도 있다. 그리고 상기 preview로 표시되는 YUV data들도 postview용으로 따로 저장하여 capture 종료 후에 decode동작 없이 빠르게 사용자에게 display할 수 있도록 한다. 이때 상기 연사촬영시 프리뷰 프레임율로 압축이미지들을 전송하는 경우, 저장부150에 저장 성능을 확보하기 위하여, 상기 어플리케이션처리제어부550은 램 디스크를 구비할 수 있으며, 또한 이런 램 디스크는 상기 저장부150에 구비될 수도 있다. 이와 같은 상태에서 상기 연사촬영시 촬영된 이미지 파일들은 상기 램 디스크(RAM disk)에 임시적으로 저장하였다가, 연사촬영 종료와 동시에 background로 저장부150의 사용자가 이용 가능한 file system으로 이동시켜 저장할 수 있다. 이때 상기 램디스크로 임시 저장되는 이미지파일은 표시 이미지를 포함한다. 또한 상기 연사촬영시 촬영음은 상기 저장되는 프레임율에 따라 연속적으로 촬영음을 발생할 수 있으며, 또한 사용자 또는 디폴트로 설정된 연속 촬영음 속도로 촬영음을 발생할 수도 있다.

이- 상기 730단계에서 상기 표시이미지를 저장하는 이유는 상기한 바와 같이 촬영 종료와 동시에 사용자에게 촬영된 사진의 postview를 보여주기 위함이다. 즉, 상기 압축이미지를 표시하는 경우, 디코딩 과정을 수행하여야 하므로 포스트 뷰 이미지로 표시하는데 시간이 걸릴 수 있기 때문이다. 이때 사용자는 상기 포스트뷰 이미지를 보면서 연사 이미지들을 선택할 수 있다. 따라서 상기 어플리케이션처리부140은 740단계에서 상기 촬영된 이미지들의 표시이미지들을 상기 표시부160에 표시한다. 이때 상기 포스트뷰 표시방법은 다양한 형태로 수행할 수 있다. 예를들면 연사 촬영된 이미지들을 겹쳐서 표시할 수 있으며, 또한 섬네일 이미지들로 표시할 수도 있다. 이때 상기 표시이미지를 표시하는 경우, 연사 촬영 종료 시 촬영된 이미지들을 표시부160의 한 화면에 표시하기 힘드므로, 본 발명의 실시예에서는 각 이미지들의 움직임 차이를 분석하고, 이런 분석에 따라 움직임 적은 사진은 겹쳐서 표시하고, 움직임 편차가 큰 사진은 사용자가 한눈에 파악할 수 있도록 표시부160에 표시하는 방법을 사용할 수 있다. 그리고 상기와 같이 포스트 뷰 이미지들을 표시하는 상태에서 어플리케이션처리부140은 사용자의 선택에 의해 연사촬영 이미지들을 선택 및 저장할 수있다. 즉, 사용자가 연사촬영된 각 사진을 확인하고 싶을 때, 사용자는 표시부16에 나열되어 표시되는 손가락이나 기타 포인팅 장치를 이용하여 searching하면, 상기 어플리케이션처리부140은 이렇게 선택된 사진을 full로 도시할 수도 있다.

도 8은 카메라 장치 또는 카메라장치를 구비하는 휴대단말장치에서 본 발명의 실시예에 따라 연사촬영시 동작 절차를 도시하는 흐름도이다. 여기서 상기 연사는 한번의 셔터 동작에 적어도 두장의 이미지들을 저장하는 모든 촬영모드(contiuous shooting mode, burst shot mode, sport shot mode, action shot mode, panoramashot mode 등)를 포함한다. 또한 이하의 설명에서는 연사촬영의 경우, 각 프레임의 표시이미지 및 압축이미지만을 사용하는 경우로 한정하여 설명하기로 한다.

또한 상기 연사촬영의 경우, 본 발명의 실시예에서는 저장용 압축이미지 및 프리뷰용 표시이미지를 생성 및 이를 저장한다. 이때 상기 프리뷰용 표시이미지를 저장하는 이유는 연사촬영 종료 후 포스트뷰용 이미지로 사용하기 위함이다. 즉, 연사촬영 후 촬영된 이미지들을 표시부160에 표시하게 되는데, 이때 압축 이미지를 표시하고자 하는 경우 압축 이미지의 압축을 해제한 후 이를 표시하여야 하므로 표시 시간이 길어지게 된다. 따라서 본 발명의 실시예에서는 연사촬영 모드시 표시이미지도 함께 저장하고, 연사촬영 종료 후 포스트뷰 동작시 상기 표싱이미지를 디코딩 동작없이 바로 표시부160에 표시하며, 압축이미지의 최종 저장 동작을 수행한 후에는 상기 표시이미지는 제거할 수 있다.

상기 도 8을 참조하면, 입력부170으로부터 카메라 구동 요청이 입력되면, 어플리케이션처리부140은 811단계에서 이를 감지하고 이를 이미지처리부130에 이를 알리며, 상기 이미지처리부130은 813단계에서 카메라부110을 구동하고 프리뷰 모드를 수행한다. 이때, 상기 이미지처리부130은 상기 카메라부110의 설정정보(예를들면 초점, 줌, 화이트밸런스 등)에 따라 카메라를 구동시킨다. 상기 카메라부110이 구동되면, 상기 카메라부110은 풀 HD 또는 그 이상의 해상도를 가지는 이미지들을 촬영하며, 이미지처리부130은 1015단계에서 이를 프레임 단위로 획득하며, 해당 프레임에서의 표시이미지 및 압축이미지, 또는 표시이미지, 압축이미지 및 촬영정보를 생성한다. 이하의 설명에서는 상기 표시이미지 및 압축이미지를 처리하는 동작을 중심으로 살펴본다. 이때 프레임 율은 30fps 또는 그 이상의 프레임율(예를들면 60 fps)을 가질 수 있다. 따라서 상기 이미지처리부130은 1초당 30 프레임의 표시이미지, 압축이미지를 생성할 수 있다. 그리고 상기와 같이 생성되는 표시이미지 및 압축이미지는 다중화되어 어플리케이션처리부140에 전달되며, 상기 어플리케이션처리부140은 1019단계에서 상기 표시이미지, 압축이미지를 각각 버퍼링하며, 상기 표시이미지는 표시부160을 통해 프리뷰 이미지로 표시한다.

상기와 같이 카메라장치가 프리뷰 모드를 수행하는 상태에서, 사용자가 연속촬영을 요청하면, 상기 어플리케이션처리부140은 815단계에서 이를 감지하고, 817단계에서 상기 버퍼링중인 압축 이미지들 중에서 상기 연속촬영이 요구된 시점의 프레임에서부터 대응되는 표시이미지 및 압축이미지를 선택하여 저장한다. 즉, 상기 어플리케이션처리부140은 연속 촬영 요청 시점의 프레임에 대응되는 이미지를 선택 및 저장하므로써 제로 셔터렉을 구현할 수 있으며, 이후의 버퍼링된 프레임들의 이미지들도 연속적으로 저장한다. 또한 상기 어플리케이션처리부140은 프리뷰모드 수행시와 같이 상기 이미지처리부130이 매 프레임에서 생성하는 표시이미지 및 압축이미지를 버퍼링하고 상기 표시이미지를 표시부160에 표시하는 동작을 수행하며, 상기 버퍼링되는 표시이미지 및 압축이미지를 입력되는 순서대로 연속으로 저장한다. 이때 상기 연속촬영이 실행되는 구간에서 상기 어플리케이션처리부140은 상기 연사촬영 중임을 알리기 위하여 연속 촬영음을 발생하여 피드백으로 제공하며, 또한 상기 표시부160에 연사촬영되는 이미지의 수(즉, 연사 매수)를 표시한다.

즉, 상기 촬영 음은 stop capture 될 때까지 설정된 fps와 동일하게 play되며, 표시부160의 화면에는 촬영된 image count 정보를 표시한다. 이때 상기 촬영음은 상기한 바와 같이 상기 설정된 fps와 다르게 일정 간격으로 발생(예를들면 연사촬영시 촬영매수가 30 fps인 경우에 연속촬영음은 1초에 10회로 발생)하여 연속 촬영중임을 알릴 수도 있다.

또한 상기 어플리케이션처리부140은 상기 이미지처리부130에서 매 프레임 전송되는 이미지들을 모두 저장할 수 있으며, 사용자가 설정한 프레임율(즉, 초당 저장하는 프레임 이미지의 수) 또는 사용자 설정한 매 수(또는 시스템의 해당 연속촬영모드에서 디폴트로 설정된 매수)를 저장할 수 있다. 즉, 연사모드시 프레임들의 이미지를 저장하는 방법은 상기 프리뷰되는 프레임 율 이내에서 설정이 가능하며, 그 방법은 상기 프레임율로 저장하거나, 사용자의 설정에 의해 촬영정보의 프레임 카운터를 이용하여 프레임율을 조정하여 저장하거나, 시간을 설정(100ms, 150ms, … 등)에 의해 프레임 율을 조정하여 저장하거나, 또는 사용자 또는 시스템에 의해 설정된 매수로 저장하는 방법을 사용할 수 있다.

상기와 같은 동작은 사용자가 연속촬영의 종료를 요구하거나 또는 설정된 이미지의 수를 저장할 때까지 반복 수행된다. 이때 연속촬영의 종료 시점이면, 상기 어플리케이션처리부100은 819단계에서 이를 감지하고 821단계에서 포스트뷰를 수행한다. 여기서 포스트뷰는 상기 연속촬영 구간에서 저장된 표시이미지들을 포스튜 뷰 이미지들로 표시할 수 있으며, 또한 상기 연속촬영 구간들에 저장된 프레임들의 섬네일 이미지들을 표시할 수 있다. 그리고 상기 921단계에서 포스트 뷰를 실행하는 과정에서 상기 어플리케이션 처리부140은 사용자의 요구에 의해 저장된 이미지들을 선택적으로 저장할 수도 있다. 이때 상기 어플리케이션처리부140은 상기 버퍼링되는 표시이미지 및 압축이미지들을 RAM disk에 임시적으로 저장하며, capture 종료와 동시에 background로 사용자가 이용 가능한 file system으로 이동시켜 저장할 수 있다.

이때 상기 연속 촬영모드를 계속 수행하는 경우, 상기 카메라장치는 계속하여 연사 촬영 동작을 수행하게 된다. 이런 경우, 연사촬영의 프레임율이 30fps인 경우 동영상 촬영과 유사한 특성을 가질 수 있다. 즉, 연사촬영을 계속 유지하는 경우 동영상 촬영 기능을 수행할 수 있다. 또한 상기 촬영된 연사 이미지들은 GIF 파일 등으로 생성하여 동영상 형태로 표시할 수도 있다. 즉, 사용자가 연사촬영모드를 계속 유지하면, 카메라장치는 초고화질 Video file 생성할 수 있다. 예를들어 상기 압축이미지는 UHD 이미지(8M)를 압축한 이미지라고 하면, 상기 연사 촬영모드에서 30 fps로 저장하는 경우, UHD JPEG 이미지를 30fps 정도로 연속 촬영하는 것과 같으며. 상기 촬영되는 이미지들을 모두 연결하면 30fps UHD video 파일로 만들 수 있다. 즉, 연사촬영 후, 후 처리(post processing)를 통하여 UHD video 파일을 생성할 수 있다. 동영상촬영모드를 수행하고자 하는 경우, 사용자가 카메라장치의 동영상 버튼을 누르고 동영상 촬영을 하여야 한다. 이때 사용자가 긴급 또는 잠깐 동안 동영상 촬영모드를 수행하는 경우, 본 발명의 실시예에 따른 연속촬영모드를 수행하면 동영상 촬영과 유사한 효과를 가질 수 있다.

도 9는 상기 도 8에서 프리뷰 모드의 동작 절차를 도시하는 흐름도이다.

상기 도 9를 참조하면, 상기 이미지처리부130은 911단계에서 매 프레임에서 프레임 카메라부110으로부터 촬영되는 이미지를 획득하며, 913단계에서 상기 획득된 이미지를 전처리(색변환, 컬러 인터폴레이션, 3A 처리 등)하며, 상기 전처리된 이미지를 스케일링하여 표시이미지를 생성하고, JPEG 코더340을 통해 압축이미지를 생성하며, 촬영정보를 생성하며, 상기 생성된 표시이미지, 압축이미지 및 촬영정보를 하나의 프레임으로 다중화하여 어플리케이션처리부140에 전송한다. 그러면 상기 어플리케이션처리부140은 915단계에서 상기 표시이미지를 상기 표시부160에 전송하여 표시하고, 상기 표시이미지, 압축이미지 및 촬영정보를 버퍼380에 각각 버퍼링한다. 이때 상기 어플리케이션처리부140은 상기 센서부120으로부터 획득되는 센서정보를 상기 이미지처리부130에서 전송되는 촬영정보에 병합하여 상기 버퍼380에 버퍼링하여 촬영정보로 생성할 수도 있다. 상기와 같은 동작은 촬영요구가 발생될 때 까지 반복적으로 수행된다. 여기서 상기 압축이미지는 연사촬영모드시 저장하기 위한 이미지이며, 상기 표시이미지는 프리뷰 및 포스트 뷰 이미지로 사용될 수 있다.

상기와 같은 프리뷰모드를 수행하는 중에서 사용자로부터 연사촬영요구가 발생되면, 상기 어플리케이션처리부140은 917단계에서 이를 감지하고 다음 단계(연사촬영 과정)로 진행한다. 본 발명의 실시예에서 상기 연사촬영은 상기한 바와 같이 한번의 셔터 동작에 의해 복수의 이미지들을 저장하는 모든 촬영동작을 포함한다. 여기서 연사촬영 방법은 버스트 샷, 파노라마 샷, 스포츠 샷 등의 액션 샷 등이 될 수 있다.

상기 연사촬영 방법 중의 하나인 버스트 샷은 움직이는 피사체 또는 움직이면서 피사체를 촬영하는 경우에 유용한 촬영방법이다. 본 발명의 실시예에서 버스트 샷은 preview frame rate와 같은 수준(예를들면 30 fps)의 Zero shutter lag의 Burst shot을 사용자에게 제공할 수 있다. 예를들면 상기 8Mega pixel camera에서 preview가 30fps일 경우, 버스트샷을 실행하면 8Mega capture를 초당 최대 30연사를 제공할 수 있으며, 이때 사용자가 선택하여 fps를 정할 수 있는 기능을 제공할 수도 있다. 또한 버스트 샷과 같은 연사촬영 방법은 동일한 사진이 연속적으로 촬영될 수 있으며, 이런 경우 불필요한 사진(예를들면 이전 프레임의 사진과 비교하여 움직임이 없는 사진)들은 자동으로 제거하여 사용자 필요로 하는 연속적인 data를 손쉽고 빠르게 확보하는 것이 바람직할 수 있다.

연사 촬영시 최적의 연사 이미지들을 확보하기 위하여, 촬영 시작 전에 촬영정보(Embedded data)를 이용하여 주어진 환경에서 최대의 shutter speed로 동작 하도록 자동으로 ISO, EV, Exposure 설정 변경한다. 이런 경우, 어플리케이션처리부140은 3경우, 어플리케이션처리부140은 위하여 사용가능한 API한 어플을 제공할 수 있도록 하는 것이 바람직하다.

상기와 같은 연사촬영이 요구되면, 상기 어플리케이션처리부140은 상기 도 10의 917단계에서 이를 감지하고, 도 10과 같은 절차를 수행한다. 도 10은 도 본 발명의 실시예에 따라 연사촬영 중의 동작 절차(도 8의 817단계)를 도시하는 흐름도이다.

상기 도 10을 참조하면, 상기 어플리케이션처리부140은 1011단계에서 상기 연사촬영이 요구된 시점의 프레임에 대응되는 이미지들을 선택하여 저장한다. 이를 위하여 상기 어플리케이션처리부140은 상기 버퍼380에서 촬영 요구시점의 프레임에 대응되는 버퍼링된 표시이미지, 압축이미지 및 촬영정보들을 선택하며, 상기 선택된 프레임 및 이후의 프레임에 대응되는 표시이미지, 압축이미지 및 촬영정보들을 저장한다. 이런 동작을 수행하면, 연사촬영 요구시 제로 셔터렉을 구현할 수 있다.

또한 상기와 같은 상태에서 이미지를 상기 프리뷰모드에서와 동일한 동작을 수행하면서 매 프레임에서 표시이미지, 압축이미지 및 촬영정보들 생성하여 어플리케이션처리부140에 전송한다. 그러면 상기 어플리케이션처리부140은 1013단계에서 상기 이미지처리부130에서 전송되는 매 프레임의 표시이미지, 압축이미지 및 촬영정보들을 버퍼링하며, 1015단계에서 버퍼링되는 프레임의 표시이미지, 압축이미지 및 촬영정보들을 저장한다. 이때 상기 어플리케이션처리부140은 상기 연사촬영 중임을 알리기 위하여 연속 촬영음을 발생하며, 또한 상기 표시부160에 연사촬영되는 이미지의 수(즉, 연사 매수)를 표시한다. 또한 상기 어플리케이션처리부140은 성능 확보를 위하여 촬영된 파일은 RAM disk에 임시적으로 저장하였다가, capture 종료와 동시에 background로 사용자가 이용 가능한 file system으로 이동시켜 저장할 수 있다. 이런 경우, 상기 램 디스크는 상기 어플리케이션처리부140의 어플리케이션처리제어부360에 구비될 수 있으며, 또한 상기 저장부150에 구성될 수도 있다. 상기와 같은 동작은 연사촬영 종료시까지 반복 수행된다.

그리고 상기 연사촬영이 종료되면, 상기 어플리케이션처리부140은 1017단계에서 이를 감지하고 다음단계(포스트 뷰 처리 과정)로 진행한다. 여기서 상기 연사촬영의 종료는 연속촬영 방법에 따라 다를 수 있다. 즉, 사용자가 연사 촬영의 매수를 설정한 경우, 설정된 매수의 저장이 종료되면 상기 연사촬영은 자동으로 종료될 수 있다. 그리고 버스트 샷 등과 같이 셔터의 눌림이 해제되는 시점이 종료인 경우에는 상기 셔터의 눌림이 해제되는 시점에서 연사촬영의 종료로 감지한다.

상기 연사촬영이 종료되면, 상기 어플리케이션처리부140은 도 10의 1017단계에서 이를 감지하고, 도 11과 같은 포스트 뷰 동작을 수행한다. 도 11은 본 발명의 실시예에 따라 연사 촬영 종료시의 동작절차를 도시하는 흐름도이다.

상기 도 11을 참조하면, 연사촬영 종료시 상기 어플리케이션처리부140은 1111단계에서 상기 버퍼380에서 연사촬영 종료 시점의 프레임에 대응되는 버퍼링된 표시이미지, 압축이미지 및 촬영정보를 저장하고, 1113단계에서 연사촬영되어 저장된 이미지를 상기 표시부160에 표시한다. 이때 상기 표시부160에 표시되는 이미지는 프리뷰모드에서 표시된 표시이미지가 될 수 있으며, 또한 저장된 이미지들의 섬네일 이미지가 될 수도 있다. 이때 상기 포스트 뷰 과정에서 사용자는 연사촬영된 이미지들을 선택적으로 저장할 수도 있다. 상기 포스트 뷰 표시과정 수행 후, 상기 어플리케이션처리부140은 1115단계에서 저장중인 압축이미지를 저장부150에 최종적으로 저장할 수 있다.

도 12는 본 발명의 실시예에 따라 연사촬영시의 포스트뷰 과정의 절차를 도시하는 흐름도이다. 도 13은 포스트 뷰 표시과정에서 표시이미지를 포스트 뷰 이미지로 표시하는 예를 도시하는 도면이며, 도 14는 포스트뷰 표시과정에서 섬네일 이미지를 포스트뷰로 표시하는 예를 도시하는 도면이다.

상기 도 12 - 도 14를 참조하면, 상기 어플리케이션처리부140은 1211단계에서 포스트 뷰 표시 기능을 확인한다. 이때 상기 포스트뷰 표시방법은 연사촬영중에 저장된 표시이미지를 표시할 수 있으며, 또한 섬네일 이미지를 표시할 수 있다. 따라서 상기 어플리케이션처리부140은 표시이미지가 포스트뷰 이미지로 설정되었으면 1213단계에서 이를 감지하고 1215단계에서 도 13과 같이 램디스크에 저장하고 있던 표시이미지를 표시하며, 섬네일 이미지이면 1217단계에서 도 14와 같이 연사촬영 중에 촬영된 이미지의 섬네일이미지를 표시한다.

이때 상기 도 13과 같이 표시이미지를 표시하는 경우, 표시이미지는 섬네일 이미지와 달리 표시부160에 풀화면으로 표시할 수 있는 이미지이므로, 연사촬영된 표시이미지들을 표시부160에 하나의 화면으로 표시할 수 없다. 따라서 본 발명의 실시예에서는 상기 표시이미지를 포스트뷰 이미지로 설정한 경우, 상기 도 13에 도시된 바와 같이 표시이미지들을 겹쳐서 표시하는 방법을 사용할 수 있다. 이때 상기 표시이미지들을 모두 겹쳐 표시하는 경우, 사용자가 한눈에 표시이미지들을 파악하는 것이 어렵다. 그러므로 프레임간 이미지의 움직임 편차를 분석하여 움직임 편차가 큰 표시이미지를 강조하여 표시하는 것이 바람직하다. 따라서 본 발명의 실시예에서는 도 13과 같이 표시이미지를 표시할 때 특정 이미지를 크게 표시할 수 있도록 하는 기능을 제공한다. 이를 위하여 상기 어플리케이션처리부140은 상기 표시이미지들에서 이전 프레임과 현재 프레임 이미지들 간의 움직임 성분을 검출 및 비교하여 움직임 성분이 적은 표시이미지들은 겹쳐서 표시하고 움직임 성분이 큰 이미지들은 크게 표시한다.

그리고 상기 도 13 또는 도 14와 같이 포스트뷰 이미지를 표시하는 상태에서 사용자가 사진을 확인하고 싶을 때에는 표시되는 이미지에 손가락이나 포인팅장치를 이용하여 선택할 수 있다. 이때 사용자가 특정 이미지를 선택하면, 상기 어플리케이션처리부140은 1219단계에서 이를 감지하고 1221단계에서 선택된 이미지를 표시부160에 풀 화면으로 표시할 수 있다.

일반적으로 초고성능 Burst shot의 경우, 움직이는 피사체 또는 움직이면서 피사체를 촬영하는 경우임으로, 동일한 사진이 연속적으로 촬영된다면 불필요한 사진이 될 수 있다. 따라서 이런 경우, 불필요한 사진으로 판정되는 이미지들을 자동으로 제거하는 기능 제공하여 사용자 필요로 하는 연속적인 data를 손쉽고 빠르게 확보하는 것이 바람직하다. 즉, 연사 촬영된 사진이 동일한 사진 혹은 거의 변화가 없는 사진일 경우 저장 전 자동으로 제거해 주는 기능도 제공하여, 불필요한 사진으로 인한 메모리 낭비 및 성능 저하를 제거할 수 있다. 이를 위한 이미지 필터리 기능이 설정된 경우, 상기 어플리케이션처리부140은 1223단계에서 이를 감지하고, 1225단계에서 각 프레임 이미지들의 움직임성분을 검출하고, 이전 프레임과 현재 프레임 이미지들 간의 움직임 성분을 비교하여 움직임 성분이 설정값보다 작은 경우(즉, 움직임이 없거나 작은 경우) 해당 이미지를 제거한다. 또한 상기 이미지 필터링 기능이 설정된 경우, 상기 어플리케이션처리부140은 촬영정보를 이용하여 접학하지 않은 이미지들을 제거할 수 있다. 예를들어 연사촬영시 흔들린 이미지(blurred image)가 촬영된 경우, 촬영정보들 중에서 자이로센서 및 가속센서의 정보를 확인하면 흔들린 이미지인지 아닌지를 판단할 수 있다. 이런 경우, 상기 포스트 뷰 처리과정에서 촬영정보의 자이로센서 및 가속센서의 정보를 확인하여 설정 값 이상으로 흔들린 사진들을 자동으로 제거할 수 있다.

또한 파노라마 샷(panorama shot)인 경우, 포스트 뷰 표시과정에서 자동으로 파노라마 이미지로 생성할 수 있다. 이때 파노라마 기능은 drag 수준으로 구현할 수 있다. 즉, 처음 포인팅 지정된 후에 panorama 촬영을 하는 경우, 사용자 또는 카메라장치를 천천히 이동하면서 촬영하거나, 또한 특정 방향으로 카메라장치를 쭉 돌려서 바로 촬영할 수도 있다. 상기와 같이 파노라마 샷 기능이 설정된 경우, 상기 어플리케이션처리부140은 1027단계에서 이를 감지하고, 1229단계에서 촬영된 이미지들을 연걸하여 파노라미 이미지들을 생성하여 표시 및 이를 저장한다. 즉, 파노라마 샷인 경우, 상기 어플리케이션처리부140은 프레임간 이미지들의 동일부분은 오버랩시키면서 이미지들을 병합하여 파노라마 이미지를 생성할 수 있다.

상기와 같이 포스트뷰 표시 동작을 수행하는 중에 종료 요청이 발생되면, 상기 어플리케이션처리부140은 1231단계에서 이를 감지하고 포스트 뷰 동작 절차를 종료한다.

상기한 바와 같이 연사촬영을 하는 동안, 어플리케이션처리부140은 Preview시 사용된 YUV data를 postview용으로 따로 저장하며, 연사촬영 종료 후에 decode 동작 없이 빠르게 사용자에게 display할 수 있다. 그리고 상기 포스트 뷰 과정에서 연사 촬영된 이미지들을 한 화면에 표시하기 어려우므로, 각 프레임 이미지들의 움직임 편차를 분석하여 편차가 적은 사진은 겹쳐서 표시하고 편차가 큰 사진은 사용자가 한눈에 파악할 수 있도록 크게 표시한다. 그리고 사용자가 각 사진을 확인하고 싶을 때는 표시되는 포스트 뷰 화면에서 직접 손가락이나 기타 포인팅 장치를 이용하여 searching하고, 서칭 과정에서 선택된 사진을 full 화면으로 표시한다. 또한 상기 포스트 뷰 과정에서 촬영된 사진이 동일한 사진 혹은 거의 변화가 없는 사진일 경우, 최종 저장하기 전에 자동으로 제거해 주는 기능을 제공할 수 있으며, 이로인해 연사촬영시 불필요한 사진으로 인한 메모리 낭비 및 성능 저하를 방지할 수 있다. 그리고 연사촬영과정에서 촬영된 이미지들은 RAM disk에 임시적으로 저장하였다가, 캡쳐 종료와 동시에 background로 사용자가 이용 가능한 file system으로 이동시켜 저장한다.

상기 도 1 및 도 3과 같은 구성을 가지는 카메라 장치는 이미지처리부130과 어플리케이션처리부140을 구비하여 카메라부110에서 감지되는 이미지를 처리하는 구성을 도시하고 있다. 그러나 상기 이미지처리부130 및 어플리케이션처리부140을 일체화시켜 하나의 처리부로 구성할 수도 있다. 도 15는 본 발명의 실시예에서 이미지 및 어플리케이션 처리를 단일 구성을 처리하는 카메라 장치의 구성을 도시하는 도면이며, 도 16은 상기 도 15의 구성에서 처리부1500의 구성을 도시하는 도면이다.

상기 도 15 및 도 16을를 참조하면, 카메라부110은 카메라 구동시 외부 이미지를 촬영하며, 센서부120은 카메라장치에 장착되는 센서로 상기한 바와 같이 GPS수신기, 자이로센서, 가속도센서, 고도센서, 방향센서들 중에 하나 이상이 될 수 있다.

처리부130은 상기 카메라부110으로부터 획득되는 이미지를 처리하여 표시부160에 표시하기 위한 표시 이미지, 캡쳐 요구시 저장하기 위한 압축 이미지 및 촬영정보를 생성하며, 생성된 이미지들 및 정보를 버퍼링한다. 여기서 상기 처리부1500은 상기 이미지처리부 및 어플리케이션처리부의 기능을 통합 처리하는 구성을 가진다. 상기 처리부1500은 매 프레임 주기에서 표시이미지, 압축이미지 및 촬영정보를 생성하며, 동일한 프레임의 이미지들 및 정보들을 동기시켜 버퍼링한다

상기 입력부160은 상기 처리부1500에 카메라 구동명령 및 캡쳐 명령을 발생할 수 있다. 또한 상기 입력부160은 이미지 캡쳐시 사용자의 요구에 따른 촬영정보 및/또는 섬네일 이미지들의 표시를 요구하는 명령을 발생할 수 있다. 표시부150은 프리뷰 모드시 상기 처리부1500에서 출력되는 표시 이미지를 표시한다. 또한 상기 표시부150은 이미지 캡쳐시 상기 처리부1500에서 출력되는 촬영정보 및/또는 섬네일 이미지들을 표시할 수 있다. 여기서 상기 입력부160은 사용자의 터치입력을 감지하는 터치패널이 될 수 있으며, 표시부150은프로그램 수행 중에 발생되는 데이터 및 이미지 등을 표시하는 LCD 또는 OLED 패널이 될 수 있다. 여기서 상기 입력부160 및 표시부150은 일체형의 터치스크린이 될 수 있다. 또한 상기 입력부160은 카메라장치의 외부에 위치되는 버튼들을 포함할 수 있다.

저장부140은 캡쳐 요구시 상기 처리부1500에 버퍼링 중인 압축 이미지를 저장한다.

상기 처리부1500의 구성을 살펴보면, 도 16에 도시된 바와 같이 이미지처리부에서 어플리케이션 처리부로 프레임 이미지들 및 촬영정보를 다중화하여 전송하는 구성 및 어플리케이션처리부에서 수신되는 다중화된 프레임 이미지들 및 정보들을 역다중화하는 구성과 이를 파싱하는 구성이 생략되어 있음을 알 수 있다. 그리고 이외의 구성 및 각 구성들에서 수행되는 동작은 상기 도 3의 구성과 동일하다.

즉, 영상전처리부1620에서 처리된 풀 HD급 이상의 해상도를 가지는 이미지는 JPEG 코더1640에 압축 부호화되어 JPEG 이미지로 생성되며, 또한 스케일러1630에서 그 크기가 조절되어 표시이미지로 생성된다. 또한 제어부1610은 상기 카메라부110 및 센서부120으로부터 상기 이미지 촬영시의 정보들을 획득하여 촬영정보를 생성한다. 이때 상기 JPEG 이미지, 표시이미지 및 촬영정보는 매 프레임 주기에서 생성되며, 동일한 프레임에서 생성되는 JPEG 이미지, 표시이미지 및 촬영정보는 동일한 프레임 카운트 값을 가진다. 따라서 동일한 프레임에서 생성되는 JPEG 이미지, 표시이미지 및 촬영정보는 동기되어 처리된다. 그리고 상기 JPEG 이미지, 표시이미지 및 촬영정보들은 제어부1610의 제어에 의해 각각 버퍼1650의 대응되는 버퍼들에서 버퍼링되며, 상기 표시이미지는 표시부150에 출력되어 프리뷰 이미지로 표시된다.

그리고 캡쳐 요구가 발생되면, 상기 제어부1610은 압축이미지버퍼1655에서 설정된 이전 프레임의 압축이미지를 선택하여 저장부140에 저장하므로써, 제로 셔터렉을 구현할 수 있다. 또한 상기 제어부1610은 사용자의 설정에 따라 상기한 바와 같이 섬네일이미지생성부1670에서 생성되는 섬네일이미지들을 표시하거나 또는 표시이미지들을 표시(post view)하여 사용자가 선택하는 압축이미지를 저장할 수 있다. 또한 상기 제어부1610은 사용자의 설정에 의해 버퍼링된 촬영정보를 표시하고 촬영정보 확인 후에 사용자가 선택되는 압축이미지를 저장할 수도 있다.

도 17은 본 발명의 실시예에 따른 카메라장치를 구비하는 휴대단말장치의 구성을 도시하는 도면이다.

상기 도 17을 참조하면, 카메라부110은 센서를 구비하며, 카메라 구동시 센서를 통해 이미지를 획득하는 기능을 수행한다. 센서부120은 휴대단말장치에 장착하는 하나의 이상의 센서가 될 수 있으며, 상기 센서는 GPS수신기, 자이로센서, 가속도센서, 고도센서, 방향센서, 조도센서들 중에 하나 이상이 될 수 있다. 여기서 상기 센서부120은 상기 도 1 및 도 3과 같이 상기 이미지처리부130에 연결될 수 있으며, 상기 도 6및 도 7과 같이 상기 어플리케이션처리부140에 연결될 수 있고, 또한 센서부120에 구성되는 일부의 센서들을 상기 이미지처리부130에 연결하고 나머지 센서들을 상기 어플리케이션처리부140에 연결하는 구성을 가질 수 있다. 이하의 설명에서는 상기 센서부120이 어플리케이션처리부140에 연결되는 구성을 가정하여 설명하기로 한다.

이미지처리부130은 상기 카메라부110으로부터 획득되는 이미지를 처리하여 매 프레임에서 표시부160에 표시하기 위한 표시 이미지, 캡쳐 요구시 저장하기 위한 압축 이미지 및 해당 프레임에서 이미지를 촬영한 촬영정보 등을 생성한다. 여기서 상기 표시이미지는 YUV 이미지가 될 수 있으며, 상기 압축이미지는 JPEG 이미지가 될 수 있다. 상기 촬영정보는 상기 카메라부110에서 이미지 촬영시 획득할 수 있는 exif 정보 이외에 휴대단말장치의 센서부120의 출력을 포함하는 다양한 정보들을 추가적으로 획득할 수 있다. 상기 이미지처리부130은 1초에 30프레임(30 frame per sec) 또는 그 이상의 프레임율(예를들면 60 fps)로 표시이미지, 압축이미지 및 촬영정보들을 생성할 수 있다.

어플리케이션 처리부140은 휴대단말장치의 다양한 어플리케이션 기능을 수행한다. 또한 상기 어플리케이션처리부140은 센서부120의 출력을 입력하며, 사용자의 요구에 따른 다양한 센서 어플리케이션을 처리할 수 있다. 예를들면 GPS수신의 출력을 입력하여 네비게이션 기능, 단말기의 위치에 따른 지역정보를 탐색하는 어플리케이션을 처리할 수 있으며, 단말장치의 움직임에 따라 현재 실행되는 어플리케이션에서의 설정된 기능을 실행하는 어플리케이션 등을 실행할 수 있다. 특히 상기 어플리케이션처리부140은 본 발명의 실시예에 따라 카메라 구동시 상기 이미지처리부130에서 매 프레임에서 생성되는 표시이미지 및 압축 이미지, 또는 표시이미지, 압축이미지 및 촬영정보들을 버퍼링하고, 상기 표시이미지를 표시부160에 출력하여 표시되도록 제어하며, 사용자의 연사촬영 요구 명령이 발생되면 상기 버퍼링 중인 압축 이미지들 중에서 연사촬영 요구 시점에 대응되는 프레임 및 그 이후의 프레임 이미지들 및 촬영정보를 임시 저장한다. 따라서 연사 촬영 모드시 제로 셔터렉을 구현할 수 있다. 이때 이미지처리부130은 상기 프리뷰 모드시와 동일한 동작을 수행하며, 또한 상기 어플리케이션처리부140은 매 프레임에서 수신되는 표시이미지, 압축이미지 및 촬영정보를 버퍼링하며, 또한 상기 버퍼링된 표시이미지, 압축이미지 및 촬영정보를 램디스크에 임시저장한다. 이때 상기 촬영정보를 버퍼링할 때, 상기 어플리케이션처리부140은 상기 이미지처리부130에서 생성되는 제1촬영정보에 상기 센서부120에서 출력되는 촬영시의 설정된 센서 정보들을 제2촬영정보로 생성하며, 상기 제1촬영정보에 제2촬영정보를 병합하여 촬영정보로 버퍼링하는 기능을 수행할 수 있다.

통신부1720은 외부장치 또는 기지국과 통신기능을 수행한다. 상기 통신부1720은 송신신호를 RF 대역으로 상승시키는 변환기(frequency up converter)와 전력증폭기 등으로 구성되는 송신부와, RF 수신호를 저잡음 증폭하는 증폭기와 RF신호를 기저대역으로 하강 변환하는 변환기(frequency down converter) 등을 구비할 수 있다. 또한 상기 통신부1720은 상기 송신신호를 변조하여 송신부에 전달하는 변조부 및 상기 수신부에서 출력되는 신호를 복조하는 복조부를 구비할 수 있다. 여기서 상기 변복조부는 통신 방식에 따라 WCDMA, GSM, LTE 방식의 변복조부가 될 수 있으며, 또한 WIFI, WIBRO 등의 변복조부가 될 수 있다.

단말제어부1710은 휴대단말장치의 전반적인 동작을 제어하며, 음성 통화 및 데이터 통신의 기능을 수행한다. 여기서 상기 단말제어부1710은 상기 통신부1720의 변복조부를 포함할 수 있으며, 이런 경우 상기 통신부1720은 RF통신부만을 구비할 수 있다. 사기 단말제어부1710은 이런 경우 상기 통신신호를 변복조 및 부호/복호화하ㅏ는 기능을 수행할 수 있다. 오디오처리부1730은 휴대단말장치의 송수화기와 연결되어 상기 단말제어부1710의 제어하에 음성 통신시 통화 음성을 처리한다. 메모리1740은 상기 단말제어부1710 및 어플리케이션처리부140의 프로그램들이 로딩되는 워크 메모리(work memory)가 될 수 있으며, 이런 경우 상기 메모리1740은 램으로 구성될 수 있다. 이때 상기 어플리케이션처리부140은 상기 연사촬영모드시 내부에 램디스크를 구비하지 않은 경우 상기 메모리1740에 연사촬영 동안 획득되는 프레임들의 표시이미지, 압축이미지 및 촬영정보들을 임시 저장할 수 있다. 본 발명의 실시예에서는 상기 메모리1740은 상기 어플리케이션처리부140의 제어하에 연사촬영 중에 획득되는 프레임들의 표시이미지, 압축이미지 및 촬영정보를 임시 저장하는 램 디스크 기능을 수행하는 것으로 가정한다.

상기 입력부170은 단말제어부1610 및 어플리케이션처리부140에 휴대단말장치의 각종 동작 명령 및 데이터 입력신호를 발생한다. 특히 상기 어플리케이션처리부140에 카메라 구동명령, 캡쳐 명령을 발생할 수 있다. 또한 상기 입력부170은 이미지 캡쳐시 사용자의 요구에 따른 촬영정보 및/또는 섬네일 이미지들의 표시를 요구하는 명령을 발생할 수 있다. 표시부160은 단말제어부1610 및 어플리케이션처리부140의 제어하에 휴대단말장치의 동작 및 어플리케이션 실행 상태를 표시한다. 특히 상기 표시부160은 본 발명의 실시예에 따라 프리뷰 모드시 상기 어플리케이션처리부140에서 출력되는 표시 이미지를 표시한다. 또한 상기 표시부160은 연사촬영모드시 상기 어플리케이션처리부140의 제어하에 연사촬영 구간에서 촬영되는 표시이미지를 표시하며, 연사촬영 종료시 상기 도 13과 같은 방법으로 표시이미지들을 표시하거나 또는 도 14와 같이 섬네일 이미지들을 표시할 수 있다. 여기서 상기 입력부170은 사용자의 터치입력을 감지하는 터치패널이 될 수 있으며, 표시부160은프로그램 수행 중에 발생되는 데이터 및 이미지 등을 표시하는 LCD 또는 OLED 패널이 될 수 있다. 여기서 상기 입력부170 및 표시부160은 일체형의 터치스크린이 될 수 있다. 또한 상기 입력부170은 카메라장치의 외부에 위치되는 버튼들을 포함할 수 있다.

저장부150은 휴대단말장치의 동작 프로그램 및 본 발명의 실시예에 따른 프로그램들을 저장하는 프로그램 메모리와, 프로그램 수행을 위한 데이터들 및 프로그램 수행 중에 발생되는 데이터를 저장하기 위한 데이터 메모리로 구성될 수 있다. 이런 경우 상기 저장부150은 플래시 메모리등과 같은 비휘발성 메모리(non volatile memrory)로 구성할 수 있다. 특히 상기 저장부150은 본 발명의 실시예에 따라 연사촬영시 획득되는 압축이미지들을 저장한다.

상기 도 17과 같은 구성을 가지는 휴대단말장치는 착발신 통화 및 통신 서비스를 수행할 수 있으며, 카메라 촬영모드시 본 발명의 실시예에 따라 카메라부110에서 촬영되는 이미지를 처리한다. 휴대단말기의 전원온 등과 같이 휴대단말기의 기동을 수행하는 경우, 단말제어부1710는 상기 저장부150에서 통화 및 통신 그리고 휴대단말장치의 동작 프로그램들을 상기 메모리1740에 로딩시킨다. 또한 상기 어플리케이션처리부140은 어플리케이션 실행 요구시 상기 저장부150에서 해당 어플리케이션들을 구동하기 위한 프로그램을 상기 메모리1740에 로딩시킨다. 또한 상기 따라서 상기 메모리1740은 시스템 기동시 휴대단말장치의 동작 프로그램들 및 어플리케이션 프로그램들이 로딩되는 워크 메모리 기능을 수행한다. 여기서 상기 메모리1740은 상기 어플리케이션처리부140 및 단말제어부1710이 공유할 수 있으며, 또한 각각 독립적으로 구성하여 사용할 수도 있다.

상기 어플리케이션처리부140은 본 발명의 실시예에 따른 카메라부110의 이미지 처리 어플리케이션과 휴대단말장치의 다양한 어플리케이션들을 처리한다. 그리고 상기와 같은 다양한 어플리케이션 처리를 수행하기 위해 상기 어플리케이션처리부140은 상기 센서부120의 출력을 입력할 수 있으며, 상기 센서부120의 출력을 이용하여 어플리케이션을 실행하거나 또는 상기 센서부120의 출력에 의해 어플리케이션의 처리 동작을 제어할 수 있다. 또한 단말제어부1710은 상기 센서부120의 출력을 입력하며, 통화 또는 통신 서비스를 수행하거나 또는 상기 센서부120의 출력에 의해 통화 또는 통신 서비스를 제어할 수 있다.

발신통화시, 사용자는 입력부170을 통해 발신전화번호 및 통화 요구신호를 발생할 수 있으며, 이를 감지하는 단말제어부1710은 통신부1720을 제어하여 통화로를 형성하며, 기지국을 통해 발신 통화 기능을 수행한다. 또한 착신 통화가 발생되면, 상기 단말제어부1710은 통신부1720을 통해 이를 감지하고 오디오처리부1730을 통해 착신 경보를 하며 표시부160을 통해 착신 정보를 표시한다. 이때 사용자가 입력부170을 통해 응답을 하면, 상기 단말제어부1710은 통신부1720을 통해 착신 통화로를 형성하여 통화 서비스를 수행한다. 데이터 통신의 경우에도 상기 통화와 유사한 동작으로 통신로를 형성한다.

또한 상기 휴대단말장치는 다양한 어플리케이션들을 실행할 수 있다. 이때 사용자가 입력부170을 통해 특정 어플리케이션의 실행을 요구하면, 상기 어플리케이션처리부140은 해당 어플리케이션을 실행하며, 그 결과를 상기 표시부160에 표시한다. 이때 사용자가 카메라 구동 요구 명령을 발생하면, 상기 어플리케이션처리부140은 이를 감지하고, 상기 이미지처리부130을 통해 카메라부110을 구동한다. 그러면 상기 이미지처리부130은 매 프레임에서 상기 카메라부110에서 촬영되는 이미지를 처리하여 표시이미지, 압축이미지를 생성하며, 또한 상기 카메라부110 및 센서부120의 출력을 이용하여 해당 프레임의 촬영정보를 생성한다. 그러면 상기 어플리케이션처리부140은 상기 매 프레임에서 생성되어 수신되는 표시이미지, 압축이미지 및 촬영정보를 버퍼링하며, 상기 표시이미지를 표시부160을 통해 프리뷰 이미지로 표시한다. 따라서 상기 휴대단말장치는 카메라 구동요구시 매 프레임에서 카메라부110으로부터 생성되는 표시이미지, 압축이미지 및 촬영정보를 각각 버퍼링하며, 표시이미지는 표시부160에 프리뷰한다. 이때 상기 어플리케이션처리부140은 설정된 수의 프레임 이미지(압축 및 표시이미지) 및 정보(촬영 정보)를 버퍼링할 수 있다.

이와 같은 상태에서 사용자가 입력부170을 통해 연사 촬영 명령을 발생하면, 상기 어플리케이션처리부140은 버퍼링 중인 압축 이미지 이미지들 중에서 상기 캡쳐 요구가 발생된 시점의 프레임 및 이후 프레임들의 표시이미지, 압축이미지 및 촬영정보들을 메모리1740에 임시 저장한다. 그리고 연사촬영이 수행되는 시간 동안 획득되는 프레임들의 표시이미지, 압축이미지 및 촬영정보들을 버퍼링하며, 버퍼링되는 표시이미지, 압축이미지 및 촬영정보들을 순서대로 억세스하여 상기 메모리1740에 임시 저장한다. 상기와 같은 상태에서 사용자가 연사촬영을 종료하면, 상기 어플리케이션처리부140은 상기 메모리1740에 임시저장중인 표시이미지들을 억세스하여 상기 표시부160에 표시한다. 이때 상기 표시되는 화면은 프레임간 이미지들의 움직임성분들의 편차에 따라 겹쳐져서 표시될 수 있다. 상기 포스트뷰 과정에서, 상기 어플리케이션처리부140은 사용자의 선택에 수동으로 연사촬영 이미지를 제거할 수 있으며, 또한 프레임 이미지의 움직임 성분들의 비교에 의해 또는 촬영정보에 의해 적합하지 않은 사진들을 선택하여 자동으로 제거할 수 있다. 이후 사용자가 저장명령을 발생하면, 상기 어플리케이션처리부140은 상기 메모리140에 임시저장하고 있던 연사촬영 압축이미지들 및 촬영정보들을 상기 저장부150에 저장하며, 이때 상기 메모리1740에 저장하고 있던 표시이미지들을 삭제한다. 그리고 상기 저장부150에 저장되는 이미지들은 연속이미지 형태로 저장할 수도 있다. 이런 경우의 저장방법은 flash, gif, mpeg 형태로 저장할 수 있다.

또한 상기 촬영정보의 일부를 상기 어플리케이션처리부140에서 생성할 수도 있다. 예를들면 상기 센서부120의 출력을 어플리케이션처리부140에 처리하고, 상기 이미지처리부130은 카메라부110의 출력을 처리하는 경우, 상기 이미지처리부130은 상기 카메라부110의 출력으로부터 표시이미지 및 압축이미지를 생성하며, 또한 상기 카메라부110에 의한 촬영정보를 생성하며, 상기 어플리케이션처리부140은 상기 표시이미지 및 압축이미지를 버퍼링하며, 또한 상기 이미지처리부130에서 생성되어 전송되는 촬영정보에 상기 센서부120에서 출력되는 촬영시의 센서정보를 포함하여 최종 촬영정보를 생성 및 버퍼링할 수 있다. 이때 상기 표시이미지, 압축이미지 및 촬영정보는 프레임 카운트 값에 의해 프레임 동기를 이룰 수 있으며, 따라서 어플리케이션처리부140은 상기 버퍼링되는 표시이미지, 압축이미지 및 촬영정보를 처리할 때 상기 프레임 카운트 값에 의해 동기된 프레임으로 각각을 처리할 수 있다.

도 18은 본 발명의 실시예에 따른 버스트 샷의 처리 절차를 도시하는 흐름도이다.

상기 도 18을 참조하면, 카메라 구동 요청이 발생되면 상기 어플리케이션처리부140은 1811단계에서 이를 감지하고 상기 이미지처리부130에 이를 알리며, 1713단계에서 프리뷰모드를 수행한다. 상기 프리뷰모드에서 이미지처리부130은 매 프레임에서 카메라부110으로부터 출력되는 이미지들을 처리하여 표시이미지, 압축이미지 및 촬영정보를 생성하고, 상기 어플리케이션처리부140은 상기 표시이미지, 압축이미지 및 촬영정보들을 버퍼링한다.

상기와 같은 상태에서 버스트 샷이 발생되면, 상기 어플리케이션처리부140은 1815단계에서 이를 감지하고, 1817단계에서 상기 버퍼링된 프레임 이미지들 중에서 상기 연사촬영이 요구된 시점의 프레임에 대응되는 이미지들과 그 이후의 프레임이미지들을 억세스하여 임시저장한다. 따라서 연사촬영이 요구되는 시점의 프레임 이미지들을 저장하므로써, 제로 셔터렉을 구현할 수 있다. 그리고 상기 어플리케이션처리부140은 1819단계에서 매 프레임의 이미지들을 버퍼링하며, 또한 순서대로 버퍼링된 이미지들을 억세스하여 임시저장한다.

이후 연사촬영이 종료되면, 상기 어플리케이션처리부140은 1821단계에서 이를 감지하고, 1823단계에서 상기 임시저장중인 표시이미지들을 억세스하여 상기 표시부160에 표시(postview)하며, 1823단계에서 움직임편차가 없거나 적은 이미지들을 제거한다. 이후 상기 어플리케이션처리부140은 1827단계에서 상기 램 메로리에 임시저장하고 있던 압축이미지들 및 촬영정보를 상기 저장부150에 저장하고, 임시저장중이던 표시이미지들을 제거한다.

도 19는 본 발명의 실시예에 따른 파노라마 샷의 처리 절차를 도시하는 흐름도이다.

상기 도 19를 참조하면, 파노라마 샷에 의해 연사 촬영하는 1911단계 -1921 단계의 동작은 상기 버스트 샷을 촬영하는 1811단계 - 1821단계와 유사하게 실행된다. 이때 촬영 종료를 감지하면, 상기 어플리케이션처리부140은 1921단계에서 이를 감지하고, 1923단계에서 저장된 표시이미지들을 상기 표시부160에 표시한다. 그리고 파노라마 이미지 저장시 상기 표시되는 이미지들을 병합(merge)하여 파노라마 이미지를 생성하며, 상기 생성된 파노라마 이미지를 상기 저장부150에 저장한다.

이때 상기 램 메모리에 저장된 표시이미지들은 제거한다.

본 명세서와 도면에 개시 된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (32)

1. 프리뷰모드시 매 프레임에서 카메라센서로부터 획득된 이미지를 표시 이미지 및 압축 이미지로 변환하고, 상기 표시이미지를 표시하며 상기 표시이미지 및 압축이미지를 하나의 프레임으로 버퍼링하는 과정과,
   연사촬영시 상기 버퍼링된 프레임의 압축이미지들을 저장하며, 상기 프리뷰모드를 동시에 수행하면서 연사중임을 알리는 피드백을 제공하는,
   과정으로 이루어짐을 특징으로 하는 방법.
2. 제1항에 있어서,
   연사촬영시 상기 압축이미지와 함께 표시이미지를 저장하는 과정과,
   상기 연사촬영 종료시 상기 저장중인 표시이미지들을 포스트뷰하는 과정을 더 구비함을 특징으로 하는 방법.
3. 제2항에 있어서, ,
   저장요구시 상기 압축이미지들을 연사이미지로 저장하는 과정을 더 구비함을 특징으로 하는 방법.
4. 제3항에 있어서, 연사촬영시 버퍼링된 프레임 이미지들에서 연사촬영 요구시점의 프레임에 대응되는 프레임의 표시이미지 및 압축이미지들부터 억세스하는 것을 특징으로 하는 방법
5. 제4항에 있어서, 상기 포스트뷰 과정은
   상기 연사촬영된 프레임들의 표시이미지들을 하나의 화면에 겹쳐지게 표시하는 것을 특징으로 하는 방법.
6. 제5항에 있어서, 상기 포스트뷰 과정은,
   상기 표시이미지들을 겹쳐 표시하는 화면에서 사용자가 선택하는 이미지들을 풀 화면으로 표시하는 것을 특징으로 하는 방법.
7. 제5항에 있어서, 상기 포스트뷰 과정은
   상기 표시이미지들이 겹쳐 표시할 때 프레임 이미지들 간의 움직임성분을 검출하며, 검출된 움직임들의 편차가 설정값 보다 적으면 겹쳐 표시하고, 설정값 보다 크면 이미지를 큰 화면으로 표시하는 것을 특징으로 하는 방법.
8. 제4항에 있어서, 상기 포스트뷰 과정은
   상기 연사촬영된 프레임들의 섬네일 이미지들을 하나의 화면에 표시하는 것을 특징으로 하는 방법.
9. 제8항에 있어서, 상기 포스트뷰 과정은,
   상기 섬네일 이미지들을 표시하는 화면에서 사용자가 선택하는 이미지들을 풀 화면으로 표시하는 것을 특징으로 하는 방법.
10. 제2항에 있어서, 상기 포스트뷰 과정은 이미지필터링 과정을 더 구비하며,
    상기 이미지 필터링 과정은 프레임 이미지들 간의 움직임 성분을 검출하고, 움직임 성분이 설정 값 이하인 이미지들은 자동으로 제거하는 것을 특징으로 하는 방법.
11. 제7항에 있어서,
    상기 프리뷰 모드에서 카메라 및 센서들을 통해 촬영시의 정보인 촬영정보를 생성하며, 상기 생성된 촬영정보를 상기 표시이미지 및 압축이미지와 함께 하나의 프레임으로 버퍼링하는 과정을 더 구비하며,
    상기 이미지 필터링 과정은 상기 촬영정보의 움직임검출 센서의 정보를 분석하여 흔들린 이미지로 판정된 프레임의 이미지들을 제거하는 것을 특징으로 하는 방법.
12. 제4항에 있어서,
    상기 표시 이미지는 YUV 방식의 이미지이고, 상기 압축 이미지는 JPEG 이미지인 것을 특징으로 하는 방법.
13. 카메라 구동시 매 프레임에서 이미지를 획득하는 카메라부와,
    상기 획득된 이미지를 표시 이미지 및 압축 이미지로 변환하고 하나의 프레임으로 생성하여 출력하는 이미지 처리부와,
    프리뷰모드시 상기 표시 이미지를 매 프레임주기에서 표시부에 표시하고 및 상기 압축 이미지를 버퍼링하며, 연사촬영모드시 상기 압축이미지들을 저장하면서 연사촬영중임을 알리 피드백을 제공하는 어플리케이션처리부와,
    상기 표시이미지를 표시하는 표시부로 구성된 것을 특징으로 하는 장치.
14. 제13항에 있어서,
    상기 어플리케이션처리부는 상기 압축이미지 저장시 표시이미지를 함께 저장하며, 상기 연사촬영 종료시 상기 저장중인 표시이미지를 포스트뷰 이미지로 상기 표시부에 출력하는 것을 특징으로 하는 장치.
15. 제14항에 있어서,
    저장부를 더 구비하며, 상기 어플리케이션처리부는 저장요구시 상기 저장중인 압축이미지를 상기 저장부에 연사이미지로 저장하는 것을 특징으로 하는 장치.
16. 제15항에 있어서,
    상기 연사촬영요구시, 상기 어플리케이션처리부는 상기 버퍼링된 압축이미지들에서 연사촬영요구 시점의 프레임 및 그 이후 프레임들의 압축이미지를 선택하여 저장하는 것을 특징으로 하는 장치.
17. 제16항에 있어서, 상기 이미지처리부는
    카메라에서 획득되는 이미지를 전처리하는 영상전처리부와,
    상기 전처리된 이미지를 압축하여 상기 압축이미지를 생성하는 압축부호기와,
    상기 전처리된 이미지를 스케일링하여 상기 표시이미지를 생성하는 스케일러와,
    상기 표시이미지 및 압축이미지를 하나의 프레임으로 다중화 출력하는 다중화기로 구성되는 것을 특징으로 하는 장치.
18. 제17항에 있어서,
    상기 영상전처리부는 상기 카메라에서 획득되는 이미지를 YUV 이미지로 변환하며,
    상기 압축부호기는 변환된 상기 YUV 이미지를 JPEG 방식으로 압축하는 것을 특징으로 하는 장치.
19. 제17항에 있어서, 상기 어플리케이션처리부는
    상기 다중화되는 신호를 역다중화하는 역다중화부와,
    상기 역다중화된 신호를 표시이미지 및 압축이미지로 파싱하는 파서와,
    상기 파싱된 표시이미지 및 압축이미지를 각각 버퍼링하는 버퍼와,
    상기 카메라 구동시 상기 표시이미지를 표시부에 출력하며, 연사촬영시 버퍼링된 압축이미지들에서 연사촬영이 요구된 시점의 프레임 및 그 이후의 압축이미지를 저장하며 상기 이미지처리부에서 전송되는 표시이미지 및 압축이미지를 버퍼링하면서 순서대로 저장하며, 연사촬영 완료시 상기 표시이미지를 포스트뷰하면서 연사촬영된 압축이미지들을 상기 저장부에 저장하는 어플리케이션처리제어부로 구성된 것을 특징으로 하는 장치.
20. 제19항에 있어서, 상기 어플리케이션처리제어부는 상기 연사촬영된 프레임들의 표시이미지들을 상기 표시부의 하나의 화면에 겹쳐지게 표시하는 것을 특징으로 하는 장치.
21. 제20항에 있어서, 상기 어플리케이션처리제어부는 상기 표시이미지들을 겹쳐 표시하는 화면에서 사용자가 선택하는 이미지들을 상기 표시부에 풀 화면으로 표시하는 것을 특징으로 하는 장치.
22. 제17항에 있어서, 상기 어플리케이션처리제어부는 상기 표시이미지들이 상기 표시부에 겹쳐 표시할 때 프레임 이미지들 간의 움직임성분을 검출하며, 검출된 움직임들의 편차가 설정값 보다 적으면 겹쳐표시하고, 설정값 보다 크면 이미지를 큰 화면으로 표시하는 것을 특징으로 하는 장치.
23. 제19항에 있어서, 상기 어플리케이션처리제어부는
    상기 연사촬영된 프레임들의 섬네일 이미지들을 하나의 화면에 표시하는 것을 특징으로 하는 장치.
24. 제23항에 있어서, 상기 어플리케이션처리제어부는,
    상기 섬네일 이미지들을 겹쳐 표시하는 화면에서 사용자가 선택하는 이미지들을 풀 화면으로 표시하는 것을 특징으로 하는 장치.
25. 제19항에 있어서, 상기 어플리케이션처리제어부는 프레임 이미지들 간의 움직임 성분을 검출하고, 움직임 성분이 설정 값 이하인 이미지들을 연사촬영 이미지들에서 자동으로 제거하는 것을 특징으로 하는 장치.
26. 제25항에 있어서,
    상기 이미지처리제어부는 카메라부로터 촬영시의 제1촬영정보를 생성하고,
    상기 어플리케이션처리제어부는 센서부로부터 촬영시의 제2촬영정보를 생성하며, 상기 생성된 제1 및 제2촬영정보를 상기 표시이미지 및 압축이미지와 함께 하나의 프레임으로 버퍼링하며,
    상기 어플리케이션처리제어부는 상기 촬영정보의 움직임검출 센서의 정보를 분석하여 흔들린 이미지로 판정된 프레임의 이미지들을 제거하는 것을 특징으로 하는 장치.
27. 제19항에 있어서,
    상기 표시 이미지는 YUV 방식의 이미지이고, 상기 압축 이미지는 풀 해상도의 JPEG 이미지인 것을 특징으로 하는 방법.
28. 휴대단말장치에 있어서,
    외부 장치와 무선통신을 수행하는 통신부와,
    상기 통신부를 통해 휴대단말장치의 통화 및 통신을 제어하는 단말제어부와,
    카메라 구동시 매 프레임 주기에서 카메라센서로부터 이미지를 획득하는 카메라부와,
    적어도 하나의 센서를 구비하여 센서 정보들을 생성하는 센서부와,
    상기 획득된 이미지를 표시 이미지 및 압축 이미지로 변환하고 하나의 프레임으로 생성하여 출력하는 이미지 처리부와,
    프리뷰모드시 상기 표시 이미지를 매 프레임주기에서 표시부에 표시하고 및 상기 압축 이미지를 버퍼링하며, 연사촬영모드시 상기 압축이미지들을 저장하고 상기 프리뷰모드를 동시에 수행하면서 연사 촬영중임을 알리는 피드백을 제공하는 어플리케이션처리부와,상기 표시이미지를 표시하는 표시부로 구성된 것을 특징으로 하는 장치.
29. 제28항에 있어서,
    상기 어플리케이션처리부는 상기 압축이미지 저장시 표시이미지를 함께 저장하며, 상기 연사촬영 종료시 상기 저장중인 표시이미지를 포스트뷰 이미지로 상기 표시부에 출력하는 것을 특징으로 하는 장치.
30. 제29항에 있어서,
    저장부를 더 구비하며, 상기 어플리케이션처리부는 저장요구시 상기 저장중인 압축이미지를 상기 저장부에 연사이미지로 저장하는 것을 특징으로 하는 장치.
31. 제30항에 있어서, 상기 이미지처리부는
    카메라부에서 획득되는 이미지를 전처리하는 영상전처리부와,
    상기 전처리된 이미지를 압축하여 상기 압축이미지를 생성하는 압축부호기와,
    상기 전처리된 이미지를 스케일링하여 상기 표시이미지를 생성하는 스케일러와,
    상기 표시이미지, 압축이미지 및 촬영정보를 하나의 프레임으로 다중화 출력하는 다중화기로 구성되는 것을 특징으로 하는 장치.
32. 제31항에 있어서. 상기 어플리케이션처리부는
    상기 다중화되는 신호를 역다중화하는 역다중화부와,
    상기 역다중화된 신호를 표시이미지, 압축이미지 및 촬영정보로 파싱하는 파서와,
    상기 파싱된 표시이미지, 압축이미지 및 촬영정보를 각각 버퍼링하는 버퍼와,
    상기 카메라 구동시 상기 표시이미지를 표시부에 출력하며, 연사촬영 요구시 버퍼링된 압축이미지들에서 요구된 시점의 프레임 및 이후 프레임들의 표시이미지 및 압축이미지를 선택하여 상기 저장하며, 상기 연사촬영 종료시까지 수신되는 순서대로 표시이미지 및 압축이미지들을 저장하며, 연사종료시 상기 저장된 표시이미지를 포스트뷰하며 상기 압축이미지를 상기 저장부에 저장하는 어플리케이션처리제어부로 구성된 것을 특징으로 하는 장치.
    

Images