KR101905621B1 - 카메라의 프레임 이미지 전송 장치 및 방법 - Google Patents

Abstract

카메라장치에서, 카메라 구동시 카메라로부터 매 프레임에서 이미지를 획득하는 과정과, 획득된 이미지를 표시이미지 및 압축이미지로 생성하며, 표시이미지는 매 프레임에서 전송되고 압축이미지는 설정된 프레임 간격으로 전송되는 과정과, 수신되는 표시이미지를 표시하며, 압축이미지를 버퍼링하는 과정으로 이루어진다.

Description

카메라의 프레임 이미지 전송 장치 및 방법{APPARATUS AND METHOD FOR TRANSMITTING A FRAME IMAGE OF CAMERA USING A HYBRID INTERLEAVED DATA}

본 발명은 카메라 데이터의 처리장치 및 방법에 관한 것으로, 특히 카메라 장치에서 프레임 이미지들을 시스템 대역폭에 따라 가변적으로 전송할 수 있는 장치 및 방법에 관한 것이다.

카메라 장치 및 카메라를 포함하는 휴대단말 장치는 고화질 이미지를 제공하며, 또한 다양한 사용자 편의 기능을 제공하고 있다. 현재 카메라 장치의 이미지 센서(image sensor 또는 카메라 센서라 칭할 수도 있다)는 풀 HD급 이상의 해상도(full High Definition resolution)를 가지는 이미지들을 센싱할 수 있다.

이때 상기 카메라 장치는 프리뷰 모드에서 카메라 센서로부터 감지되는 이미지를 프리뷰 이미지(preview image)를 표시하고, 사용자가 셔터 버튼(shutter button)을 누르면 상기 카메라 센서에서 획득되는 이미지를 저장한다. 이때, 사용자가 셔터 버튼을 누르면(shutter release), 풀 사이즈의 이미지를 감지하여 캡쳐(capture)하기까지 지연 시간(shutter delay 또는 shutter lag)이 존재한다. 즉, 사용자의 셔터 온 시점으로부터 카메라 센서가 피사체를 촬영하는 시점까지의 시간 차가 존재하며, 이런 시간 차는 피사체의 촬영환경 및 이미지처리부의 처리 시간 등에 의해 발생될 수 있다. 따라서 사용자는 셔터 딜레이(셔터 렉)에 의해 원하는 시점에서의 이미지를 획득할 수 없었던 문제점이 있었다.

또한 카메라장치 또는 카메라장치를 포함하는 단말장치는 카메라의 이미지를 처리하는 이미지처리부와 상기 카메라 어플리케이션을 포함하는 장치의 다양한 어플리케이션을 처리하는 어플리케이션처리부로 구성될 수 있다. 이런 경우 상기 이미지처리부와 어플리케이션처리부는 직렬 연결되는 구성을 가지며, 이미지처리부는 카메라로부터 획득되는 이미지를 직렬 데이터로 변환하여 어플리케이션처리부에 전송하게 된다. 이때 상기 카메라에서 획득되는 이미지는 풀 HD(High Definition) 해상도 또는 그 이상의 해상도(UHD; Ultra High Deifintion resolution)를 가지는 이미지가 될 수 있다. 여기서 상기 초고화소(UHD)는 4K*2K 이상의 해상도를 가지는 이미지를 의미한다.

따라서 상기 이미지처리부 및 어플리케이션처리부를 구비하는 카메라장치 또는 이런 카메라장치를 구비하는 단말장치에서 풀 HD급 이미지를 동영상 촬영하면서 초고화소 이미지를 캡쳐하는 것은 어렵다. 이는 현재의 카메라장치에서 이미지처리부가 연속되는 초고화소 이미지 데이터를 원하는 시간에 어플리케이션처리부에 전송하는 것이 불가능하기 때문이다

따라서 본 발명은 카메라장치 또는 카메라를 포함하는 단말장치에서 촬영되는 초고화소 이미지를 원하는 시점에서 캡쳐하고, 또한 촬영된 초고화소 이미지들 중에서 원하는 이미지를 선택하여 저장할 수 있는 장치 및 방법을 제안한다. 이를 위하여 본 발명의 실시예에 따른 카메라장치 또는 카메라를 포함하는 단말장치는 카메라 센서들로부터 획득되는 이미지를 처리하여 매 프레임에서 복수의 이미지들을 생성하고, 생성되는 이미지들을 설정된 데이터 전송모드로 하이브리드 전송하여 각각 프리뷰 이미지 및 캡쳐 이미지로 사용하는 장치 및 방법을 제안한다.

또한 본 발명은 카메라장치 또는 카메라를 포함하는 단말장치에서 풀 HD 급 이미지를 동영상으로 촬영하면서 초고화소 이미지를 캡쳐할 수 있는 장치 방법을 제안한다. 이를 위하여 본 발명의 실시예에서는 이미지처리부가 카메라부터 획득되는 초고화소 이미지를 매 프레임에서 풀HD급 이미지 및 압축된 초고화소 이미지로 생성하고, 데이터 전송모드에 따라 효율적으로 전송하고, 어플리케이션처리부가 이를 동영상으로 저장하면서 캡쳐할 수 있는 장치 및 방법을 제안한다.

본 발명의 실시예에 따른 카메라장치의 이미지 처리 방법은, 카메라 구동시 카메라로부터 매 프레임에서 이미지를 획득하는 과정과, 상기 획득된 이미지를 표시이미지 및 압축이미지로 생성하며, 상기 표시이미지는 매 프레임에서 전송되고 압축이미지는 설정된 프레임 간격으로 전송되는 과정과, 상기 수신되는 표시이미지를 표시하며, 상기 압축이미지를 버퍼링하는 과정으로 이루어짐을 특징으로 하다.

또한 본 발명의 실시예에 다른 카메라장치는, 카메라와, 카메라 구동시 카메라로부터 매 프레임에서 프레임 이미지를 획득하며, 상기 획득된 이미지를 표시이미지 및 압축이미지로 생성하며, 상기 표시이미지는 매 프레임에서 전송되고 압축이미지는 설정된 프레임 간격으로 전송되는 이미지처리부와, 상기 수신되는 표시이미지를 표시하며, 상기 압축이미지를 버퍼링하는 어플리케이션처리부와, 상기 어플리케이션처리부에서 출력되는 표시이미지를 표시하는 표시부로 구성된 것을 특징으로 한다.

또한 본 발명의 실시예에 따른 휴대단말장치는, 외부 장치와 무선통신을 수행하는 통신부와, 상기 통신부를 통해 휴대단말장치의 통화 및 통신을 제어하는 단말제어부와, 카메라 구동시 매 프레임 주기에서 카메라센서로부터 이미지를 획득하는 카메라부와, 카메라 구동시 카메라로부터 매 프레임에서 프레임 이미지를 획득하며, 상기 획득된 이미지를 표시이미지 및 압축이미지로 생성하여 하나의 프레임 이미지로 전송하며, 상기 표시이미지는 매 프레임에서 전송되고 압축이미지는 버스 대역폭에 따라 설정된 프레임 간격으로 전송되는 이미지처리부와, 상기 수신되는 표시이미지를 표시하며, 상기 압축이미지를 버퍼링하는 어플리케이션처리부와, 상기 표시이미지를 표시하는 표시부로 구성된 것을 특징으로 한다.

본 발명의 실시예에 따른 카메라장치는 카메라로부터 이미지를 획득하여 표시이미지 및 캡쳐를 위한 압축이미지를 생성하고, 이를 하나의 프레임으로 다중화하여 전송하는 이미지처리부와, 다중화되어 전송되는 프레임이미지들을 버퍼링하고, 이를 이용하여 프리뷰 및 저장하는 어플리케이션처리부를 구비한다. 이때 상기 이미지처리부와 어플리케이션처리부 간의 버스 대역폭에 의해 풀 HD 이미지 저장 및 초고화소의 정지이미지를 동시에 커버하기 어렵다. 이를 해결하기 위하여 본 발명의 실시예에서는 표시이미지 및 압축이미지를 하나의 프레임으로 전송할 때, 버스 대역폭에 따라 압축이미지를 설정된 프레임 간격으로 하이브리드 전송하므로써 풀 HD 이미지 저장 및 초고화소의 정지이미지를 동시에 저장할 수 있다.

도 1은 본 발명의 실시예에 따른 카메라장치의 구성을 도시하는 도면
도 2는 본 발명의 실시예에 따른 카메라부110의 구성을 도시하는 도면
도 3은 본 발명의 실시예에 따른 이미지처리부 및 어플리케이션처리부의 구성을 도시하는 도면
도 4는 본 발명의 실시예에 따라 하나의 프레임을 구성하는 YUV 이미지, JPEG 이미지 및 촬영정보를 도시하는 도면
도 5a - 5f는 본 발명의 실시예에 따른 데이터 전송 포맷을 도시하는 도면
도 6은 카메라 장치에서 본 발명의 실시예에 따라 매 프레임에서 표시이미지 및 압축이미지 생성하여 처리하는 절차를 도시하는 흐름도
도 7은 도 6에서 압축이미지를 생성하는 절차를 도시하는 흐름도
도 8은 카메라 장치에서 본 발명의 실시예에 따라 매 프레임에서 표시이미지, 압축이미지 및 촬영정보를 생성하여 처리하는 절차를 도시하는 흐름도
도 9는 본 발명의 실시예에 따른 카메라장치를 구비하는 휴대단말장치의 구성을 도시하는 도면

이하, 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다.

또한, 하기 설명에서는 이미지의 화소 수, 데이터 크기 등과 구체적인 특정 사항들이 나타내고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들 없이도 본 발명이 실시될 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다. 그리고 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 상세한 설명을 생략한다.

본 발명은 카메라장치 또는 카메라를 구비하는 단말장치에 대한 것으로 카메라 센서에서 획득되는 이미지들을 처리하여 복수의 이미지들을 생성하고, 또한 상기 카메라 센서 및/또는 장치의 센서들로 획득되는 정보를 촬영정보로 생성할 수 있다. 여기서 상기 복수의 이미지는 카메라 구동시 프리뷰(또는 프리뷰 및 동영상 기록)를 위한 이미지 및 캡쳐를 위한 이미지가 될 수 있다. 또한 상기 촬영정보는 카메라로부터 이미지 획득시 해당 프레임에서 이미지를 촬영할 때의 카메라 센서 및/또는 장치의 각 센서들로부터 획득되는 정보(이하 촬영 정보는 meta data, embedded data 등과 혼용되어 사용될 것이다)들이 될 수 있다.

여기서 상기 표시 이미지는 프리뷰 이미지 및 동영상으로 기록되는 YUV 이미지가 될 수 있으며, 표시부에 표시될 수 있도록 적절한 크기로 조정(crop and/or scaling)될 수 있다. 그리고 상기 캡쳐 이미지는 상기 카메라 센서에서 획득되는 이미지(예를들면 full HD resolution 또는 그 이상의 해상도를 가지는 이미지)로서, 압축 부호화된 이미지가 될 수 있으며, 본 발명의 실시예에서는 JPEG 이미지로 설명될 것이다. 여기서 상기 표시이미지는 풀 HD급의 YUV 이미지라고 가정하며, 압축이미지는 초고화소(UHD;ultra high definition) 이미지를 압축부호화 JPEG 이미지라 가정한다.

본 발명의 실시예에서는 카메라 구동시 이미지처리부가 매 프레임에서 표시 이미지 및 압축이미지를 생성하고, 제로 셔터렉을 구현하기 위하여 인터리브 데이터모드로 전송하며, 어플리케이션처리부가 이를 수신하여 표시 및 동영상으로 기록하며, 압축이미지를 버퍼링하면서 캡쳐요구시점의 프레임에 대응되는 압축이미지를 캡쳐하여 제로셔터렉을 구현하는장치 및 방법을 제안한다.

또한 상기 촬영 정보는 상기 카메라 구동시 상기 카메라 센서로부터 획득되는 매 프레임 이미지에 대한 카메라 센서 정보 및 장치의 센서들로부터 생성되는 정보가 된다. 일반적으로 카메라장치는 카메라 센서를 세팅하기 위한 정보만 존재하며, 이런 정보는 exif(Exchangeable Imge File Format) data가 될 수 있다. 그러나 상기 exif정보의 양이 제한적이고, 캡쳐된 이미지에서만 참고할 수 있다. 본 발명의 실시예에서는 상기 카메라 센서 및/또는 장치의 센서들로부터 획득되는 매 frame의 촬영정보를 저장하고, 이런 촬영정보를 이용해서 효율적으로 센서 데이터를 활용할 수 있는 장치 및 방법을 제공한다.

여기서 인터리브 데이터 모드(interleave data mode)는 매 프레임에서 상기 표시이미지 및 압축이미지를 다중화하여 하나의 프레임으로 전송하는 모드를 의미하며, 또한 상기 표시이미지, 압축이미지 및 촬영정보를 다중화하는 전송하는 모드를 의미한다. 즉, 인터리브 전송모드시 필요에 따라 표시이미지 및 압축이미지만을 다중화하여 하나의 프레임으로 전송할 수 있으며, 또한 표시이미지, 압축이미지 및 촬영정보를 다중화하여 하나의 프레임으로 전송할 수 있고, 또한 표시이미지 및 촬영정보만을 다중화하여 하나의 프레임으로 전송할 수 있다. 즉, 인터리브 데이터모드는 표시이미지 및 압축이미지만으로 프레임 정보를 구성할 수 있으며, 또한 표시이미지, 압축이미지 및 촬영정보로 프레임 정보를 구성할 수 있다. 본 발명의 실시예에서는 표시이미지, 압축이미지 및 촬영정보로 구성되는 예를 중심으로 설명하기로 한다.

또한 하이브리드 인터리브 데이터 모드는 매 프레임에서 표시이미지는 전송되지만, 압축이미지는 매 2프레임 간격 또는 그 이상의 간격으로 전송하는 모드를 의미한다. 이는 이미지처리부와 어플리케이션처리부의 버스 대역폭에 의해 결정될 수 있다.

이하 본 발명을 도면을 참조하여 상세히 설명한다. 이하의 설명에서는 카메라장치를 예로들어 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 카메라장치의 구성을 도시하는 도면이다.

상기 도 1을 참조하면, 카메라부110은 센서를 구비하며, 카메라 구동시 센서를 통해 이미지를 획득하는 기능을 수행한다. 센서부120은 카메라장치에 장착하는 하나의 이상의 센서가 될 수 있으며, 상기 센서는 GPS수신기, 자이로센서, 가속도센서, 고도센서, 방향센서들 중에 하나 이상이 될 수 있다.

이미지처리부130은 상기 카메라부110으로부터 획득되는 이미지를 처리하여 표시부160에 표시하기 위한 표시 이미지 및 캡쳐 요구시 저장하기 위한 압축 이미지를 생성한다. 여기서 상기 표시이미지는 YUV 이미지가 될 수 있다. 상기 이미지처리부130은 상기 카메라부110에서 획득되는 이미지를 YUV 이미지로 색변환(color conversion)하며, 또한 상기 표시부160에 표시하기 위한 크기로 조정(scaling and/or crop)한다. 즉, 상기 이미지처리부130은 YUV 이미지를 생성하고, 또한 상기 표시부160의 표시 능력에 따라 적절하게 설정할 수 있다. 이때 상기 YUV 이미지는 표시부에 표시되는 이미지 및 동영상으로 기록되는 이미지로가 될 수 있다. 본 발명의 실시예에서 상기 표시이미지는 풀 HD급 이미지라고 가정한다. 또한 상기 이미지처리부130은 상기 카메라부110에서 출력되는 이미지를 설정된 정지미지 부호화 방식(예를들면 JPEG 방식)으로 압축한다. 여기서 상기 압축 이미지는 사용자가 캡쳐 요구시 저장하기 위한 이미지로써, 풀 HD급 이상의 해상도를 가지는 이미지가 될 수 있다. 본 발명의 실시예에서는 상기 압축이미지는 UHD 급 YUV 이미지를 압축한 JPEG 이미지라고 가정한다.

또한 상기 이미지처리부130은 상기 카메라부110 및 센서부120으로부터 상기 이미지의 촬영정보를 획득한다. 이때 상기 촬영정보는 상기 카메라부110에서 이미지 촬영시 획득할 수 있는 exif 정보 이외에 다양한 정보들을 추가적으로 획득할 수 있다.

상기 이미지처리부130은 매 프레임 주기에서 상기 표시이미지 및 압축 이미지를 생성할 수 있으며, 또한 상기 표시이미지, 압축이미지 및 촬영정보를 생성할 수 있다. 그리고 상기 이미지처리부130은 1초에 30프레임(30 frame per sec) 또는 60 프레임(60 frame per sec)의 표시 이미지 및 압축 이미지로 생성하거나 또는 표시이미지, 압축이미지 및 촬영정보들을 생성할 수 있다.

상기 이미지처리부130은 상기 생성된 표시이미지 및 압축이미지(또는 표시이미지, 압축이미지 및 촬영정보)를 하나의 프레임으로 다중화하여 전송한다.(interleave data mode). 이때 상기 이미지처리부130은 다중화되는 버스 대역폭에 따라 상기 프레임 정보를 인터리브 데이터 모드 또는 하이브리드 데이터 모드로 전송한다.

어플리케이션 처리부140은 카메라 구동시 상기 이미지처리부130에서 생성되는 표시이미지 및 압축 이미지, 또는 표시이미지, 압축이미지 및 촬영정보들을 버퍼링하고 상기 표시이미지를 표시부160에 출력하여 표시되도록 제어하며, 동영항 촬영모드인 경우에는 상기 표시이미지를 동영상 압축하여 저장한다. 또한 사용자의 캡쳐 요구 명령이 발생되면 상기 버퍼링 중인 압축 이미지들 중에서 캡쳐 요구가 발생된 시점의 압축이미지를 저장부150에 저장하여 제로 셔터렉을 구현한다.

상기 입력부170은 상기 어플리케이션처리부140에 카메라 구동명령, 캡쳐 명령 및 동영상 촬영 명령을 발생할 수 있다. 표시부160은 카메라 구동시 상기 어플리케이션처리부140에서 출력되는 표시 이미지를 표시한다. 또한 상기 표시부160은 상기 어플리케이션처리부140에서 출력되는 촬영정보 및/또는 섬네일 이미지들을 표시할 수 있다. 여기서 상기 입력부170은 사용자의 터치입력을 감지하는 터치패널이 될 수 있으며, 표시부160은프로그램 수행 중에 발생되는 데이터 및 이미지 등을 표시하는 LCD 또는 OLED 패널이 될 수 있다. 여기서 상기 입력부170 및 표시부160은 일체형의 터치스크린이 될 수 있다. 또한 상기 입력부170은 카메라장치의 외부에 위치되는 버튼들을 포함할 수 있다.

저장부150은 캡쳐 요구시 상기 어플리케이션 처리부140에 버퍼링 중인 압축 이미지를 저장한다.

도 2는 본 발명의 실시예에 따른 카메라부110의 구성을 도시하는 도면이다.

상기 도 2를 참조하면, 카메라 구동명령이 발생되면, 상기 카메라부110에 동작전원을 공급한다. 또한 상기 이미지처리부130은 모터240을 구동하며, 상기 모터240의 구동에 의해 액츄에이터250이 상기 광학부210의 구동을 제어한다. 여기서 상기 광학부210은 상기 액츄에이터250에 의해 줌, 포커싱 등의 동작이 수행될 수 있다. 상기 광학부210은 주변의 이미지를 촬상하며, 이미지센서220은 상기 광학부220에 의해 촬상되는 이미지를 감지하여 전기적인 신호로 변환한다. 여기서 상기 이미지 센서220은 풀 HD 이상의 해상도를 가지는 이미지 센서가 될 수 있다. 그리고 상기 이미지센서220에서 감지되는 이미지는 AD변환부230을 통해 디지털 이미지로 변환되어 이미지처리부130에 전달된다. 또한 플래시260은 상기 이미지처리부130에 의해 구동될 수 있다.

도 3은 본 발명의 실시예에 따른 이미지처리부130 및 어플리케이션처리부140의 구성을 도시하는 도면이다.

상기 도 3을 참조하면, 이미지처리부130의 영상 전처리부320은 상기 카메라부110에서 출력되는 이미지를 YUV 이미지로 변환한다. 상기 카메라부110에서 출력되는 이미지는 raw 이미지로써, 이미지센서220에서 감지되는 풀 HD급 이상의 화소수를 가지며, 영상 전처리부320은 이를 3A, 컬러 인터폴레에션(color interpolation), 색변환(color conversion) 등의 영상 전처리 기능을 기능을 수행한다. 여기서 상기 전처리 3A는 AWB(auto white balance), AE(auto exposure), AF(Auto focusing) 등이 될 수 있으며, 색변환은 raw 이미지를 YUV 데이터로 변환하는 기능이 될 수 있다. 여기서 상기 영상 전처리부320은 상기와 같은 기능을 모두 수행할 수 있으며, 또한 일부의 기능만을 수행할 수 있다. 캡쳐시 저장할 압축데이타를 생성하는 정지영상압축부는 정지영상 코더로써, 다양한 종류의 코더를 사용할 수 있다. 또한 상기 이미지처리부130은 캡쳐시 정지 이미지(still image)를 저장하기 위한 정지영상압축부(정지영상부호화기기)340을 구비하며, 상기 정지영상 압축기는 JPEG, TIFF 등 다양한 정지영상 부호화 방법을 사용할 수 있다. 본 발명의 실시예에서는 정지영상압축부340은 JPEG코더340이라고 가정한다. 상기 JPEG코더340은 상기 영상 전처리부320에서 출력되는 이미지를 JPEG 영상으로 압축한다. 스케일러340은 상기 영상 전처리부320에서 출력되는 영상을 표시부160에서 표시할 수 있는 적절한 크기의 이미지로 스케일링한다. 상기 스케일러330은 상기 영상데이타를 스케일링, 크롭(crop) 및/또는 리사이징(resizing)하는 구성 또는 이들 구성들 중의 일부를 구비할 수 있다. 여기서 상기 영상 전처리부320이 색변환 기능을 수행하지 않는 경우, 상기 스케일러340은 표시이미지 생성부로 구성할 수 있으며, 이런 경우 상기 표시이미지생성부는 raw image를 YUV 이미지로 변환하는 색변환기 및 스케일러로 구성할 수도 있다.

이미지처리제어부310은 어플리케이션제어부360의 제어하에 상기 카메라부110의 구동을 제어하며, 카메라 구동모드시 상기 이미지처리부130의 전반적인 동작을 제어한다. 또한 상기 이미지처리제어부310은 상기 카메라부110 구동시 카메라부110에서 촬영되는 이미지의 촬영 정보를 생성할 수 있다. 또한 상기 센서부120이 이미지처리부130에 연결되어 있는 경우, 상기 이미지처리제어부310은 상기 카메라부110의 세팅정보 및 출력과 센서부120으로부터 발생되는 정보들을 입력하여 촬영정보로 생성할 수도 있다. 또한 상기 이미지처리제어부310은 내부에 메모리를 구비할 수 있으며, 상기 표시이미지 및 압축이미지 또는 표시이미지, 압축이미지 및 촬영정보를 인터리브 전송할 때, 버스 대역폭에 따라 매 프레임에서 상기 압축이미지를 포함시키거나 또는 설정된 프레임 간격으로 압축이미지를 포함시켜 전송할 수 있다.

여기서 상기 압축 이미지, 표시이미지 및/또는 촬영정보는 매 프레임들에서 각각 발생되며, 상기 프레임은 1초에 30프레임 또는 60 프레임으로 구성될 수 있다. 다중화부350은 상기 이미지처리제어부310의 제어하에 상기 압축 이미지, 표시이미지 및/또는 촬영정보를 하나의 프레임으로 다중화하여 상기 어플리케이션처리부140에 인터리브 전송한다. 이때 상기 다중화부350은 상기 이미지처리제어부310의 제어에 의해 설정 프레임 간격으로 압축이미지를 전송하는 하이브리드 인터리브 데이터 모드를 수행할 수도 있다.

여기서 상기 이미지처리부130은 도 2에 도시되지는 않았지만 상기 표시이미지를 섬네일 이미지로 변환하는 섬네일 이미지생성부를 더 구비할 수 있다. 이런 경우, 상기 이미지처리부100은 상기 표시이미지로부터 섬네일 이미지를 생성하며, JPEG코더340은 상기 영상전처리부310의 출력 이미지를 압축하며, 헤더, 상기 섬네일이미지, 및 압축된 JPEG 이미지로 구성된 출력을 생성할 수 있다.

상기 어플리케이션처리부140의 구성을 살펴보면, 어플리케이션처리제어부360은 입력부170의 명령에 따라 상기 이미지처리부130의 동작을 제어하며, 상기 이미지처리부130에서 출력되는 이미지를 버퍼링 및 표시부160을 통해 표시하고, 캡쳐 명령 발생시 상기 버퍼링된 압축 이미지를 저장부150에 저장한다. 역다중화부355는 상기 어플리케이션처리제어부360의 제어에 의해 상기 이미지처리부130에서 전송되는 표시이미지, 압축이미지 및/또는 촬영정보를 역다중화하여 출력한다. 파서370은 상기 역다중화부355에서 역다중화되는 이미지 및 정보들을 표시이미지, 압축이미지 및/또는 촬영정보로 파싱한다. 여기서 상기 어플리케이션처리제어부360이 상기 역다중화부355를 제어하여 상기 이미지처리부130에서 출력을 표시이미지, 압축이미지 및/또는 촬영정보로 소프트웨어 파싱하는 경우, 상기 파서370은 생략될 수 있다. 버퍼380은 표시이미지버퍼383, 압축이미지버퍼385 및/또는 촬영정보버퍼387을 구비할 수 있다. 상기 버퍼380은 상기 어플리케이션처리제어부360의 제어하에 각각 파싱되는 표시이미지, 압축이미지 및/또는 촬영정보를 버퍼링한다. 여기서 상기 버퍼380은 N 프레임의 표시이미지, 압축이미지 및/또는 촬영정보들을 버퍼링할 수 있는 크기를 가지며, 버퍼380의 구조는 링버퍼(ring buffer) 구조를 가질 수 있다. 상기 버퍼380을 링버퍼 구조로 구성하는 이유는 수신되는 프레임의 이미지 및 정보들을 설정 프레임 수로 유지하기 위함이다.

또한 상기 어플리케이션처리부140은 동영상 저장 요구시 상기 표시이미지를 동영상으로 압축하기 위한 동영상압축부(동영상부호화기)390을 구비할 수 있으며, 상기 동영상압축부390는 H.264, MPEG 등 다양한 동영상 부호화기로 구성할 수 있다. 본 발명의 실시예에서는 상기 동영상 압축부가 MPEG코더390인 경우를 가정한다. 사용자로부터 동영상 저정 요구가 발생되면, 상기 어플리케이션처리제어부360은 상기 MPEG코더390을 구동하며, 상기 MPEG코더390은 상기 버퍼380의 표시이미지버퍼380에 버퍼링되는 표시이미지를 압축하여 상기 저장부150에 저장한다. 또한 상기 어플리케이션처리부140은 상기 표시이미지를 리사이징하여 섬네일이미지를 생성하는 섬네일이미지생성부395를 더 구비한다. 상기 섬네일이미지생성부395는 상기 표시이미지버퍼383에서 출력되는 표시이미지를 리사이징하여 하여 섬네일이미지를 생성할 수 있으며, 상기 섬네일 이미지는 상기 JPEG 이미지에 포함될 수 있고, 상기 어플리케이션제어부360의 제어하에 상기 표시부160에 표시될 수 있다.

이때 상기 어플리케이션처리부140은 프리뷰모드 또는 동영상 촬영모드에서 정지이미지를 캡쳐할 수 있다. 이는 카메라 구동시 어플리케이션처리부140의 동작모드에 상관없이 상기 이미지처리부130은 계속하여 표시이미지, 압축이미지(또는 표시이미지, 캡쳐이미지, 촬영정보)를 계속하여 생성하여 인터리브 데이터모드로 전송하며, 이로인해 어플리케이션처리부140은 압축이미지 및 표시이미지를 계속 수신할 수 있기 때문이다.상기 도 3에서 이미지처리부130 및 어플리케이션처리부140에 구비되는 정지영상 및 동영상을 압축하는 구성은 코더로 도시되고 있다. 그러나 일반적으로 영상을 압축 및 압축 해제하는 구성은 하나의 칩(Coder & DECcoder: CODEC)으로 구성된다. 따라서 상기 이미지처리부130의 정지영상 코더340(예를들면 JPEG코더)는 정지영상 코덱(JPEG 코덱)으로 구성될 수 있으며, 상기 어플리케이션처리부140의 동영상코더390(예를들면, MPEG 코더 390)은 동영상코덱(MPEG 코덱)이 될 수 있다. 또한 본 발명의 실시예에서는 카메라부110으로부터 촬영되는 이미지를 표시 및 압축 저장하는 동작을 중심으로 설명될 것이다. 그리고 상기 저장부150에 저장된 정지영상(예를들면JPEG 이미지)을 압축해제하여 표시하기 위한 구성이 필요할 수 있다. 이를 위하여 도면에는 도시되지 않았지만 상기 어플리케이션처리부140은 정지영상 디코더(또는 정지영상 코덱)을 더 구비할 수 있다. 이런 경우, 사용자가 입력부170을 통해 상기 저장부150에 저장된 압축이미지의 재생을 요구하면, 상기 어플리케이션처리부140은 도시되지 않은 정지영상 디코더(정지영상 코덱)를 통해 압축 이미지를 디코딩(압축 해제)하고, 상기 디코딩된 이미지를 표시부160에 표시할 수 있다. 이하 설명되는 본 발명의 실시예에서는 상기 정지영상을 디코딩하여 표시하는 동작의 구성 및 설명은 생략하기로 한다.

상기 도 3의 구성에서 상기 이미지처리부130은 카메라부110으로부터 출력되는 이미지를 수신하여 프리뷰용 표시이미지 및 캡쳐용 압축이미지를 생성할 수 있으며, 또한 표시이미지, 압축이미지 및 촬영 정보를 생성할 수 있다.

사용자가 입력부170를 통해 카메라 구동명령을 발생하면, 어플리케이션처리제어부360은 상기 이미지처리부130에 이를 알리며, 이미지처리제어부310은 상기 카메라부110을 구동한다. 그리고 상기 카메라부110에서 출력되는 이미지는 영상 전처리부320에 입력된다. 여기서 상기 카메라 구동명령은 프리뷰모드, 동영상 촬영모드, 정지 이미지 캡쳐모드, 동영상촬영모드를 수행하면서 캡쳐모드를 수행하는 경우를 모드들을 모두 포함한다.

이때 이미지처리부130은 매 프레임 주기로 표시이미지, 압축이미지 및 촬영정보를 생성한다. 여기서 상기 이미지처리부130에서 프레임 이미지 생성은 30fps 또는 그 이상(예를들면 60fps)로 할 수 있다. 이때 매 프레임의 주기에서 상기 영상 전처리부320은 상기 카메라부110에서 입력되는 이미지(raw image)를 3A 처리, 컬러 인터폴레이션 및/또는 raw 이미지를 YUV 이미지로 영상변환하는 기능을 수행하며, 이때의 이미지는 풀 HD 이상의 해상도를 가지는 이미지가 될 수 있다. 그리고 JPEG코더340은 상기 영상 전처리부320에서 출력되는 이미지를 JPEG 방식으로 압축 부호화하여 캡쳐요구시 저장하기 위한 압축 이미지를 생성한다. 이때 상기 압축데이터는 JPEG와 다른 방식의 압축부호화기를 사용할 수도 있으며, 본 발명의 실시예에서는 상기한 바와 같이 JPEG 방식으로 압축 데이터를 생성하는 것으로 가정한다. 스케일러330은 상기 영상 전처리부320에서 출력되는 이미지를 설정된 데이터 사이즈로 축소하여 표시부160에 표시하기 위한 프리뷰하기 위한 표시이미지를 생성한다. 이때 상기 이미지를 축소하는 방법은 통상의 스케일링 방법, 크롭(crop), 리사이즈 방법들을 사용할 수 있으며, 이들 중 한가지 방법 또는 두 가지 이상의 방법을 조합하여 표시이미지를 생성할 수 있다. 여기서 상기 표시이미지는 상기 표시부160에 표시하기 위한 이미지 및/또는 동영상 캡쳐시 저장할 이미지가 될 수 있다. 이때 상기 이미지처리부130의 스케일러330은 프리뷰 모드를 위한 표시이미지 및 동영상 저장을 위한 표시이미지의 데이터 크기(data size)를 다른 크기로 할 수도 있다. 또한 상기한 바와 같이 상기 영상전처리부320에서 색변환 기능을 수행하지 않는 경우, 상기 스케일러340은 표시이미지 생성부로 구성할 수 있다. 이런 경우 상기 표시이미지생성부는 상기 색변환(color conversion, raw image를 YUV 이미지로 변환하는 기능) 및 스케일러 기능을 포함하는 구성을 가질 수 있다.

또한 상기 이미지처리부130은 매 프레임 주기에서 상기 표시이미지 및 압축이미지 생성시 카메라장치에서 이미지를 촬영할 때의 각종 센서 정보를 획득하여 촬영정보로 생성한다. 여기서 상기 촬영정보는 카메라부110 및 센서부120의 출력을 포함한다. 이때 이미지처리부130에 센서부120이 연결된 경우, 상기 이미지처리부130은 상기 카메라부110 및 센서부120에서 획득되는 촬영시점의 정보들을 이용하여 촬영정보를 생성할 수 있다. 그러나 상기 센서부120이 상기 도 1 및 도 2에서와 같이 어플리케이션처리부140에 연결된 경우, 상기 이미지처리부130은 카메라부110에서 획득되는 정보를 이용하여 제1촬영정보를 생성하고, 이후 어플리케이션처리부140에서 센서부120으로부터 획득되는 정보를 제2촬영정보로 생성한 후 이를 병합하여 촬영정보로 생성할 수 있다.

본 발명의 실시예에서는 상기 카메라부110으로부터 발생되는 매 frame의 이미지를 수신하는 이미지처리부130 및/또는 어플리케이션처리부140은 표시용 YUV 이미지 및 캡쳐용 압축이미지를 생성하고, 해당 프레임 이미지의 촬영정보를 생성(이미지 data + embedded data로 구성)한다. 여기서 상기 촬영정보(embedded data)는 하기 <표 1>과 같은 데이터들을 포함할 수 있다.

촬영정보(meta data)	크기	비고
Flash	4byte	Flash 풀광량 체크할 수 있는 flag, flash 동작시 이용
ISO	4byte	ISO 정보 저장
EV	4byte	Exposure Value 값 저장
Data type	4byte	JPEG, YUV, META data의 data type을 저장
Data size	4byte	가변적으로 변하는 JPEG의 size를 저장, JPEG 이미지를 버퍼에 저장할 때 사용
Face detection	4byte	FACE detection 기능 on/off 저장
Face num	4byte	얼굴 인식된 개수 저장
FD start x	4byte	얼굴 인식된 사각 좌표의 시작 x값 저장. FD[0].sx, FD[1].sx 처럼 얼굴 인식된 개수만큼 저장
FD start y	4byte	얼굴 인식된 사각 좌표의 시작 y값 저장. FD[0].sy, FD[1].sy 처럼 얼굴 인식된 개수만큼 저장
FD end x	4byte	얼굴 인식된 사각 좌표의 오른쪽 아래 x값 저장. FD[0].ex, FD[1].ex 처럼 얼굴 인식된 개수만큼 저장
FD end y	4byte	얼굴 인식된 사각 좌표의 오른쪽 아래 y값 저장. FD[0].ey, FD[1].ey 처럼 얼굴 인식된 개수만큼 저장
Effect	4byte	설정된 Effect 값 저장
White balance	4byte	설정된 WB 값 저장
Scene mode	4byte	설정된 Scene mode 값 저장
Metering	4byte	설정된 측광 모드값 저장
I-frame	4byte	MPEG 사용시 iframe 정보값 저장
P-frame	4byte	MPEG 사용시 pframe 정보값 저장
Sharpness	4byte	설정된 sharpness 값 저장
Saturation	4byte	설정된 saturation 값 저장
Contrast	4byte	설정된 contrast 값 저장
Frame count	4byte	현재 들어온 프레임의 count 값 저장
HDR	4byte	HDR 동작 상태 저장
Zoom	4byte	설정된 zoom 배율 저장
AF	4byte	AF status 저장
CAF x	4byte	CAF 동작 시 x좌표값 저장
CAF y	4byte	CAF 동작 시 y좌표값 저장
Gyro data	4byte	Gyro data 값 저장, 흔들림 판단시 사용
Anti-shake	4byte	손떨림 방지 기능 동작 유무 저장
Quality	4byte	설정된 Jpeg quality 값 저장
Storage	4byte	미디어 데이터 저장위치 저장
촬영일시	4byte	현재 시간정보 저장
GPS 정보	4byte	GPS status 저장
위치 정보	4byte	현재위치 데이터 값 저장
고도정보	4byte	현재 고도 정보 저장
카메라 각도정보	4byte	현재 카메라 각도 정보 저장
가속도 센서	4byte	가속도 센더 데이더 값 저장, 흔들림 판단시 사용

상기와 같은 촬영정보(meta data)를 이용하여 사용자는 다양한 기능을 설정하여 사진을 촬영할 수 있다. 사용자가 자주 촬영한 피사체 정보와 카메라 메뉴 정보를 이용하여 상황에 맞는 설정 값을 찾을 수 있다. 이런 경우, Preview시에 사람 얼굴이 탐지되면 인물 DB에서 해당 인물 촬영시 자주 사용되었거나, 사용시 좋은 결과를 가져올 메뉴를 자동으로 설정한다. 예로 일반인들은 자신의 가족, 친지, 애인, 가족, 연예인 등의 인물 사진을 많이 촬영하는데, 인물 DB내에서 해당 인물 촬영 시에 적합한 정보를 찾거나 없으면 촬영 시 도움이 될만한 메뉴를 세팅할 수 있다.(예를들면, smile shot, beauty shot, portrait scene mode, AF mode, object tracking, ISO, effect, white balance, exposure, metering, zooming, flash, etc) 또한 Preview 정보에서 사람 정보를 찾을 수 없을 경우 풍경 사진 촬영인지에 대한 부분을 확인하여 풍경 사진에 적합하도록 설정할 수 있다.(예를들면 outdoor visible, flash, ISO, effect, white balance, exposure, metering, landscape scene mode, Fan focus mode, etc.) 상기와 같이 촬영된 이미지는 사용자 카메라 사용에 대한 경험을 바탕으로 저장할 수 있다.(예를들면 애인 사진의 경우 촬영과 동시에 애인 앨범으로 저장되거나, 지정된 SNS or cloud system에 반영될 수 있다). 그리고 연속 촬영에서 촬영된 이미지의 유사성에 대한 부분을 판단하여 앨범 or postview에서 사용자에게 display될 때 쉽게 확인 가능하도록 할 수 있다.

그리고 다중화부350은 상기 이미지처리제어부310의 제어하에 상기 표시이미지, 압축이미지 및 촬영정보를 설정된 인터리브 데이터 모드로 다중화하여 하나의 프레임으로 상기 어플리케이션처리부140에 출력한다.

도 4는 본 발명의 실시예에 따라 하나의 프레임을 구성하는 YUV 이미지, JPEG 이미지 및 촬영정보를 도시하는 도면이다. 그리고 도 5a - 도 5f는 본 발명의 실시예에 따른 데이터 전송 포맷을 도시하는 도면이다. 여기서 도 5a는 인터리브 데이터 모드의 전송 포맷이며, 도 5b - 도 5f는 하이브리드 인터리브 데이터 모드의 전송 포맷을 도시하는 도면이다. 상기 도 4 - 도 5f를 참조하면 를 참조하면, 상기 이미지처리부130은 매 프레임 주기에서 YUV 이미지, JPEG 이미지 및 촬영정보(embedded data, meta data)를 생성하며, 다중화부350은 상기 생성된 YUV 이미지, JPEG 이미지 및 촬영정보를 도 4와 같은 포맷으로 다중화하여 어플리케이션처리부140에 전송한다. 이때 압축이미지인 JPEG 데이터는 카메라부110으로부터 획득되는 초고화소(UHD)의 원본 이미지로써 캡쳐 요구시 정지 이미지로 저장하기 위한 데이타이다. 이때 상기 JPEG 데이터의 크기는 상기 카메라부110의 이미지센서220에 의해 결정될 수 있으며, 8M 바이트 이상의 데이터 크기를 가질 수 있다. 또한 YUV 데이터는 상기 표시부160에 프리뷰하기 위한 이미지로써, 상기 JPEG 데이터의 크기보다 작은 크기로 스케일링된다. 또한 상기 YUV 데이터는 프리뷰 이외에 동영상으로 저장하기 위한 데이터로 사용될 수 있다. 즉, 동영상 촬영모드시 상기 표시이미지버퍼383에 저장하고 있는 표시이미지들을 상기 표시부160에 표시하면서 또한 MPEG코더390에 의해 압축되어 저장부150에 저장될 수 있다. 또한 촬영정보는 카메라 부가 기능으로써, 카메라부110에서 이미지를 획득할 때의 각종 촬영정보들 및 카메라장치의 외부에 위치되는 센서부120으로부터 감지되는 센서정보들로 구성할 수 있다. 이때 상기 촬영정보는 상기 압축이미지에 포함되는 것이 아니라 독립적으로 저장한다. 즉, 상기 이미지처리부130은 매 프레임에서 카메라부110(및 센서부120)으로부터 감지되는 정보를 이용하여 는 촬영정보로 생성하며, 상기 촬영정보는 매 프레임 단위로 상기 표시이미지 및 압축이미지들과 대응되도록 저장한다. 이때 상기한 바와 같이 센서120으로부터 획득할 수 있는 정보는 어플리케이션처리부140에서 생성되며, 상기 어플리케이션처리부140이 촬영정보를 버퍼링하는 과정에서 병합될 수 있다. 이후 사용자는 상기 촬영정보를 이용하여 이미지를 효율적으로 저장 및 처리할 수 있다.

그리고 상기 도 4와 같은 구조를 가지는 본 발명의 실시예에 따른 카메라 프레임 데이터는 이미지처리부130에서 생성되어 도 5a - 도 5f와 같은 전송 포맷으로 어플리케이션처리부140에 전송된다. 이때 상기 이미지처리부130은 상기 표시이미지, 압축이미지 및 촬영정보를 하나의 프레임으로 다중화하여 어플리케이션처리부140에 전송한다. 이는 다시말하면, 상기 이미지처리부130은 상기 프레임 이미지들 및 정보를 직렬 데이터로 변환하여 어플리케이션처리부140에 전송하는 것을 의미한다. 이때 상기 YUV 데이터는 2M((Full HD): 1920*1080*2(YUV422 foramt은 1 pixel당 2Byte))가 될 수 있으며, JPEG 데이터는 초고화소 이미지(Max 8MB)를 압축부호화한 이미지가 될 수 있고, 촬영정보인 Meta data는 4K가 될 수 있다. 이런 경우, 상기 이미지처리부130에서 상기 도 4와과 같은 각 프레임의 이미지들 및 정보들을 도 5a와 같은 데이터 전송 포맷으로 어플리케이션처리부140에 전송할 때의 필요 버스 대역폭은 (1920*1080*2 + 8*1024*1024 + 4*1024) * 30fps * 8bit = 3,009,576,960bps = 2.87Gbps가 될 수 있다. 그러나 이미지처리부130 또는 어플리케이션처리부140의 최대 대역폭(max bandwidth)가 이를 지원하지 못하는 경우(예를들면 Qualcomm 8960 chipset의 경우 max bandwidth가 2.56Gbps이며, 15%의 margin이 필요하므로 실제 전송 대역폭은 2.716 Gbps가 될 수 있음), 상기 도 5a와 같은 인터리브 데이터 전송모드를 사용할 수 없게 된다. 또한 이미지처리부130 및/또는 어플리케이션처리부140이 과부하 상태에서 상기 인터리브드 데이터를 완전하게 지원하지 못하는 상태, 즉 버스 대역폭 할당에 한계를 가지는 상태인 경우에도 상기 도 5a와 같은 인터리브드 데이터 전송모드를 사용할 수 없다.

이때 상기 압축이미지는 정지이미지 캡쳐시 제로 셔터렉을 구현하기 위해 사용하는 이미지이고, 표시이미지는 상기 표시부160에 표시되는 동시에 동영상촬영모드시 MPEG 코딩되어 저장부150에 저장되는 이미지이다. 이때 상기 표시이미지를 하이브리드 방식으로 전송하면 사용자가 화면으로 촬영 또는 프리뷰되는 이미지를 확인하는데 불편함이 있을 수 있으며, 특히 동영상촬영모드의 경우에는 녹화되는 이미지의 프레임율이 다르게 된다. 따라서 하이브리드 인터리브드 데이터 모드에서 상기 표시이미지를 제어하는 방법은 적절하지 않을 수 있다. 그러나 상기 압축이미지는 정지이미지를 캡쳐할 때 제로 셔터렉을 구현하기 위한 이미지로써, 상기 압축이미지는 어플리케이션처리부140에서 버퍼링되며, 사용자가 캡쳐 명령을 발생하면 상기 버퍼링된 압축이미지들 중에서 캡쳐 명령이 발생된 시점에 대응되는 프레임의 압축이미지를 억세스하여 정지이미지로 저장한다. 따라서 상기 압축이미지를 적절한 방법으로 인터리브드 전송하면, 캡쳐시 정지이미지를 제로 셔터렉으로 획득하면서 상기 이미지처리부130과 어플리케이션처리부140 간의 필요한 버스 대역폭을 만족할 수 있다.

본 발명의 실시예에서는 상기 이미지처리부130이 압축이미지를 하이브리드 인터리브드 방식으로 전송하여 필요한 버스 대역폭을 설정한다. 도 5b - 도 5f는 본 발명의 실시예에 따른 하이브리드 데이터 모드의 구현 예를 도시하고 있다.

상기 도 5b는 매 프레임에서 YUV 이미지 및 촬영정보를 전송하고, 2프레임 간격으로 첫번째 프레임(또는 두번째 프레임)에서 압축이미지를 인터리브드 전송하는 방법을 도시하고 있다. 이런 경우 2프레임 단위로 하나의 압축이미지를 전송하며, 프레임율이 30fps인 경우 상기 압축이미지는 15fps로 전송되는 구조를 가진다. 이때 상기 YUV이미지가 2M((Full HD): 1920*1080*2 (YUV 422 format 의 경우 1 pixel 당 2 Byte))이고, 압축이미지가 평균 4M(JPEG : Max 8MB + 0MB, 평균 4MB)이며, 촬영정보가 4K(Meta : 4K)라고 가정하면 30fps의 프레임율로 하이브리드 전송하는데 필요한 대역폭은 1.717Gbps((1920*1080*2 + 4*1024*1024 + 4*1024) * 30 fps * 8 bit = 2002944000 bps =1.717Gbps)가 된다. 이는 30fps의 프레임율을 가지는 경우, 상기 도 5a와 같은 인터리브드 데이터 모드의 60% 수준이 된다상기 도 5c는 매 프레임에서 YUV 이미지 및 촬영정보를 전송하고, 2프레임 간격으로 첫번째 프레임(또는 두번째 프레임)에서 압축이미지를 전송하고 다른 프레임에서 섬네일 이미지를 전송하는 하이브리드 인터리브드 데이터 모드의 예를 도시하고 있다. 이런 경우 2프레임 단위로 하나의 압축이미지를 전송하며, 프레임율이 30fps인 경우 상기 압축이미지는 15fps로 전송되는 구조를 가진다. 여기서 상기 YUV이미지가 2M((Full HD) : 1920*1080*2 (YUV 422 format 의 경우 1 pixel 당 2 Byte)), 이고 압축이미지 및 섬네일이미지가 평균 4.15M((JPEG : Max 8MB + 300KB(Max Thumbnail size) : 평균 4.15MB)이고, 촬영정보가 4K(Meta : 4K)인 경우, 30fps의 프레임율로 하이브리드 전송하는데 필요한 대역폭은 1.946Gbps((1920*1080*2 + 4.2*1024*1024 + 4*1024) * 30 fps * 8bit = 2040,692,736 =1.946Gbps)가 된다. 이는 30fps의 프레임율을 가지는 경우, 상기 도 5a와 같은 인터리브드 데이터 모드의 68% 수준이 된다.

상기 도 5d는 매 프레임에서 YUV 이미지 및 촬영정보를 전송하고, 압축이미지는 동일한 크기로 만들어 전송하는 데이터 분할 전송 방법의 예를 도시하고 있다. 상기 압축이미지는 상기한 바와 같이 초고화소 YUV 이미지를 압축한 이미지가 될 수 있다. 이때 상기 압축이미지는 상기 카메라부110에서 촬영되는 이미지에 따라 가변적인 데이터 크기를 가질 수 있다. 즉, 각 프레임에서 생성되는 압축이미지의 데이터 크기를 이미지에 따라 서로 다른 크기를 가질 수 있다. 따라서 매 프레임에서 상기 압축이미지의 크기를 동일한 크기로 만들어 전송할 수 있다. 이런 경우 상기 이미지처리부130은 데이터를 분할하여 동일한 크기로 만들기 위한 메모리를 구비하여야 한다. 그리고 상기 이미지처리부130의 이미지처리제어부310은 메모리에서 도 5e와 같이 압축이미지의 컨테이너(예를들면 JPEG container) 부분을 분할하고, MIPI 한계치를 평균하여 데이터를 전송할 수 있다. 이때 상기 데이터 분할시 대역폭이 충분하고 jpeg 데이터가 작으면(도 5e의 JPEG1, jPEG4 등) 하나의 프레임에 여러 장의 JPEG 이미지를 동시에 전송하고, JPEG 이미지가 크면(도 5e의 JPEG 5) 여러 프레임에 나눠서 전송하므로서, MIPI 전송한계를 극복할 수 있다. 이런 경우, 상기 메모리는 매 프레임에서 전송될 압축이미지의 크기로 설정될 수 있으며, 이미지처리제어부310은 각 프레임의 압축이미지의 경계를 포함하는 헤더정보(해당 압축이미지의 시작과 끝을 나타내는 정보)들을 포함하여 압축이미지를 분할하여야 한다.

상기 도 5f는 사용자가 설정한 캡쳐 이미지의 해상도가 상기 표시이미지 보다 작은 경우의 예를 도시하고 있다. 이런 경우 상기 압축이미지는 전송할 필요가 없다. 이런 경우 이미지처리부130은 도 5f와 같이 표시이미지 및 촬영정보만을 전송하고, 어플리케이션처리부140에서 캡쳐 요구 발생시 표시이미지를 압축이미지로 생성하면 된다. 이때 상기 표시이미지도 버퍼링되는 상태이므로, 캡쳐시 제로 셔터렉을 구현할 수 있다. 이때의 대역폭은 0,950Gbps((1920*1080*2 + 4*1024) * 30fps * 8bit = 0.950Gbps)로써,30fps의 프레임율을 가지는 경우, 상기 도 5a와 같은 인터리브드 데이터 모드의33% 수준이 된다.

여기서 상기 하이브리드 인터리브드 데이터모드를 수행할 때, 압축이미지를 전송하는 프레임 간격은 2프레임 이상으로 설정할 수 있으며, 프레임 간격이 크면 전송 대역폭은 낮출 수 있지만 제로 셔터렉을 정확하게 구현할 수 없다. 따라서 상기 압축이미지를 전송하는 간격은 필요에 따라 적절하게 설정하는 것이 바람직하다.

상기와 같이 이미지처리부130에서 다중화되어 전송되는 표시이미지, 압축이미지 및 촬영정보는 어플리케이션처리부140의 역다중화부355에서 역다중화되며, 파서370에서 표시이미지, 압축이미지 및 촬영정보로 파싱되어 링버퍼380의 각각 대응되는 표시이미지버퍼383, 압축이미지버퍼385, 촬영정보버퍼387에 버퍼링된다. 상기 버퍼380은 링 버퍼의 구조를 가지며, 설정된 프레임 수의 데이터가 버퍼링되면 오버 라이트된다. 각 버퍼383, 385 및 387은 각각 N 프레임의 대응되는 데이터를 저장할 수 있는 N개의 링버퍼 구조를 가지며, 어플리케이션처리제어부360의 제어하에 대응되는 데이터를 버퍼링한다. 이때 N개의 버퍼에 데이터가 버퍼링되면, 상기 어플리케이션처리제어부360은 다시 처음부터 데이터가 버퍼링될 수 있도록 오버라이트한다. 이때 압축이미지버퍼385의 경우, N 프레임의 JPEG 이미지를 저장할 수 있는 N 개의 버퍼들이 링버퍼 구조로 링크되며, 상기 도 5a -도 5f와 같이 전송되는 데이터 모드에 따라 JPEG 이미지들이 각각 대응되는 버퍼에 저장된다. 그리고 상기 표시이미지버퍼383, 압축이미지버퍼385 및 촬영정보버퍼387의 프레임은 프레임 카운트 값을 통해 동기된다. 따라서 어플리케이션처리제어부360은 프레임 카운트 값을 확인하여 동일 프레임의 표시이미지, 압축이미지 및 촬영정보들을 처리할 수 있다.

또한 상기 어플리케이션처리제어부360은 상기 표시이미지를 상기 표시이미지버퍼383에 버퍼링하면서 상기 표시부160에 출력하여 프리뷰 이미지로 표시될 수 있도록 한다. 그리고 동영상촬영모드시 상기 표시이미지버퍼383에 버퍼링되는 표시이미지는 MPEG코더 390에 전달되며, 상기 MPEG코더 390은 수신되는 표시이미지를 부호화하여 저장부150에 저장한다. 상기와 같은 상태에서 사용자가 캡쳐 요구 명령을 발생하면, 상기 어플리케이션제어처리부360은 이를 감지하고 상기 압축이미지버퍼385에 버퍼링된 압축 이미지들 중에서 설정된 압축이미지를 저장부150에 저장한다. 이때 상기 도 5b 및 도 5c와 같이 하이브리드 인터리브드 데이터 모드로 전송되는 경우, 상기 어플리케이션처리제어부360은 캡쳐 명령이 발생된 시점의 프레임에 가장 근접한 프레임의 버퍼링 압축이미지를 선택하여 저장하므로써 제로 셔터렉을 구현할 수 있다. 또한 상기 도 5d와 같은 하이브리드 인터리브드 데이터 모드로 전송되는 경우, 상기 어플리케이션처리제어부360은 캡쳐 요구가 발생된 시점의 프레임을 확인한 후, 상기 데이터 분할되어 저장된 JPEG 이미지의 프레임 카운트 정보를 확인하고, 상기 확인 프레임의 버퍼링된 압축이미지를 억세스하여 저장부150에 저장할 수 있다. 이때 상기 JPEG 이미지가 분할된 경우(도 5d 및 도 5e에서 JPEG3 및 JPEG 5의 경우)에는 분할된 압축이미지들을 결합하여 저장한다. 이때 저장되는 압축이미지는 JPEG 이미지가 될 수 있으며, 이런 경우 상기 저장되는 압축이미지는 JPEG헤더, 섬네일 이미지 및 JPEG 이미지 등으로 구성될 수 있다.

도 6은 카메라 장치에서 본 발명의 실시예에 따라 매 프레임에서 표시이미지 및 압축이미지 생성하여 처리하는 절차를 도시하는 흐름도이다.

상기 도 6을 참조하면, 입력부170으로부터 카메라 구동 요청이 입력되면, 어플리케이션처리부140은 이를 감지하고 이를 이미지처리부130에 이를 알리며, 상기 이미지처리부130은 카메라부110을 구동한다. 이때 상기 이미지처리부130은 상기 카메라부110의 설정정보(예를들면 초점, 줌, 화이트밸런스 등)에 따라 카메라를 구동시킨다.

상기 카메라부110이 구동되면, 상기 카메라장치는 프리뷰모드를 수행한다. 그리고 상기와 같이 프리뷰 모드를 수행하는 상태에서 사용자는 동영상 촬영을 요구할 수 있다. 이때 사용자가 동영상 촬영을 요구하면, 상기 어플리케이션처리부140은 611단계에서 이를 감지하고 동영상 촬영모드를 수행한다. 그러나 상기 이미지처리부130은 카메라부110이 구동되면, 프리뷰모드, 캡쳐모드 및 동영상 촬영모드에 상관없이 동일한 동작을 수행한다. 따라서 상기 카메라가 구동되면, 이미지처리부130은 613단계에서 카메라부110으로부터 이미지를 획득한다. 이때 상기 카메라부110은 풀 HD 또는 그 이상의 해상도를 가지는 이미지(여기서는 UHD급 이미지가 될 수 있음)들을 촬영하며, 이미지처리부130은 613단계에서 프레임 이미지를 획득한다. 이때 상기 이미지처리부130은 설정된 프레임율로 이미지를 획득하며, 여기서는 상기 프레임율이 30fps인 경우로 가정한다. 상기 프레임 이미지를 획득한 후, 상기 이미지처리부130은 615단계에서해당 프레임에서의 표시이미지를 생성하며, 617단계에서압축이미지를 생성한다. 이때 상기 압축이미지는 상기한 바와 같이 이미지처리부130과 어플리케이션처리부140의 버스 대역폭에 의해 결정되며, 결정된 대역폭에 따라 인터리브드 데이터모드를 사용한다. 이때 상기 인터리브드 데이터 모드는 상기 도 5a - 도 5f에서 설명된 바와 같은 전송 방법들 중의 하나가 될 수 있다.

도 7은 도 6의 617단계에서 압축이미지를 생성하는 절차를 도시하는 흐름도이다.

상기 도 5를 참조하면, 상기 이미지처리부130은 711단계에서 전송모드를 확인한다. 이때 상기 대역폭이 충분한 경우, 상기 이미지처리부130은 713단계에서 이를 감지하고 도 5a와 같이 매 프레임에서 압축이미지를 생성한다. 그러나 시스템 대역폭이 충분하지 않은 경우, 상기 이미지처리부130은 713단계에서 이를 감지하고 압축이미지를 일정 프레임 간격으로 전송하는 하이브리드 인터리브드 데이터모드인가 검사하며, 맞으면 721단계에서 도 5b 및 도 5c와 같이 설정딘 프레임 간격으로 압축이미지를 생성한다. 그리고 데이터를 분할하는 하이브리드 데이터모드이면, 상기 이미지처리부130은 723단계에서 이를 감지하고 매 프레임에서 압축이미지를 생성하며, 727단계에서 생성된 압축이미지를 도시하지 않은 메모리에서 압축이미지의 크기에 따라 프레임의 압축이미지를 병합 또는 분할한다. 즉, 상기 도 5e에 도시한 바와 같이 압축이미지의 크기가 작으면 하나의 프레임에 복수 프레임의 압축이미지를 병합하여 프레임 압축이미지를 만들고, 압축이미지의 크기가 크면 복수의 프레임에 나누어 전송될 수 있도록 해당 프레임의 압축이미지를 분할한다. 또한 사용자가 설정된 캡처 이미지의 해상도가 상기 표시이미지보다 낮으면 상기 이미지처리부130은 729단계에서 압축이미지를 생성하지 않는다. 이후 상기 이미지처리부130은 상기와 같이 생성되는 압축이미지를 표시이미지와 다중화하여 하나의 프레임으로 전송한다. 이때 상기 다중화되는 표시이미지는 상기 도 5a - 도 5d 및 도 5와 같은 전송 형태 중에 하나가 될 수 있으며, 여기서 상기 촬영정보(meta) 전송되지 않는다. 즉, 상기 도 6은 하나의 프레임이 표시이미지 및 압축이미지만으로 구성된 경우의 동작 절차를 도시하는 도면으로, 이런 경우 촬영정보는 전송되지 않는다.

상기와 같이 이미지처리부130에서 전송되는 프레임 이미지들의 프레임 율은 30fps 또는 그 이상의 프레임율(예를들면 60 fps)을 가질 수 있다. 따라서 상기 이미지처리부130은 1초당 30 프레임의 표시이미지 및인터리브드 데이터 모드에 따라 결정되는 프레임 수의 압축이미지를 생성할 수 있다. 그리고 상기와 같이 생성되는 표시이미지, 압축이미지는 다중화되어 어플리케이션처리부140에 전달되며, 상기 어플리케이션처리부140은 619단계에서 상기 표시이미지, 압축이미지를 각각 버퍼링하며, 621단계에서 상기 표시이미지는 표시부160을 통해 프리뷰 이미지로 표시하는 동시에 MPEG코더390을 통해 부호화하여 상기 저장부150에 저장한다.

상기와 같이 카메라장치가 동영상 촬영모드(프리뷰 모드의 경우에도 동영상을 저장하는 동작을 제외하고 동일하게 동작된다)를 수행하는 상태에서, 사용자가 캡쳐 요구 명령을 발생하면, 상기 어플리케이션처리부140은 623단계에서 이를 감지하고, 625단계에서 상기 버퍼링중인 압축 이미지들 중에서 설정된 압축이미지를 상기 압축이미지버퍼385에서 선택하여 상기 저장부150에 저장한다. 이때 상기 압축이미지를 설정하는 방법은 여러가지 방법으로 수행할 수 있다. 먼저 제로 셔터렉 기능이 설정된 경우, 캡쳐 요구 명령이 발생된 시점의 프레임에 대응되는 압축이미지를 상기 압축이미지버퍼385에서 선택하여 상기 저장부150에 저장한다. 예를들어 셔터 지연(셔터 렉)이 2프레임으로 설정된 경우, 캡쳐 요구 명령이 발생되면 버퍼링된 2 프레임 이전 프레임의 압축 데이터를 저장부150에 저장하여 제로 셔터렉을 구현한다. 이때 해당 프레임의 압축이미지가 없는 경우(예를들면 도 5b 또는 도 5c와 같이 전송되는 경우)에는 제로 셔터렉을 구현하는 프레임에서 가장 인접한 프레임의 버퍼링된 압축이미지를 선택한다. 두번째로 섬네일 이미지 또는 표시이미지들을 표시하면서 원하는 압축이미지들을 선택하는 기능을 설정할 수도 있다.상기와 같은 동작은 동영상 촬영동작이 종료될 때까지 반복 수행하며, 동영상 촬영이 종료되면 상기 이미지처리부130 및 어플리케이션처리부140은 627단계에서 이를 감지하고 동영상 촬영모드를 종료한다. 이때 사용자가 카메라 구동을 중지하지 않으면 상기 이미지처리부130 및 어플리케이션처리부140은 프리뷰 모드를 수행하게 되며, 이런 경우에도 어플리케이션처리부140이 동영상을 저장하는 동작을 제외하고 나머지 동작은 상기 도 6과 동일한 절차로 진행된다. 즉, 상기 이미지처리부130의 동작은 프리뷰모드나 동영상 촬영모드에서 동일하게 수행될 수 있다.

도 8은 카메라 장치에서 본 발명의 실시예에 따라 매 프레임에서 표시이미지, 압축이미지 및 촬영정보를 생성하여 처리하는 절차를 도시하는 흐름도이다. 상기 도 8은 이미지처리부130이 촬영정보를 생성 및 전송하고, 어플리케이션처리부140이 상기 전송되는 표시이미지, 압축이미지 및 촬영정보를 퍼링하고 버퍼링시 이미지처리부130에서 전송되는 촬영정보에 센서부120의 출력을 추가하여 촬영정보를 생성 및 버퍼링하는 동작을 제외하면, 상기 도 6과 나머지 동작은 동일한 절차로 수행한다.

상기 도 8을 참조하면, 상기 카메라부110이 구동되면, 상기 카메라장치는 프리뷰모드를 수행한다. 그리고 상기와 같이 프리뷰 모드를 수행하는 상태에서 사용자는 동영상 촬영을 요구할 수 있다. 이때 사용자가 동영상 촬영을 요구하면, 상기 어플리케이션처리부140은 811단계에서 이를 감지하고 동영상 촬영모드를 수행한다. 그러나 상기 이미지처리부130은 카메라부110이 구동되면, 프리뷰모드, 캡쳐모드 및 동영상 촬영모드에 상관없이 동일한 동작을 수행한다. 따라서 상기 카메라가 구동되면, 이미지처리부130은 813단계에서 카메라부110으로부터 이미지 및 촬영정보를 획득한다. 이때 상기 카메라부110은 풀 HD 또는 그 이상의 해상도를 가지는 이미지(여기서는 UHD급 이미지가 될 수 있음)들을 촬영하며, 이미지처리부130은 813단계에서 프레임 이미지를 획득한다. 이때 상기 이미지처리부130은 설정된 프레임율로 이미지를 획득하며, 여기서는 상기 프레임율이 30fps인 경우로 가정한다. 상기 프레임 이미지를 획득한 후, 상기 이미지처리부130은 615단계에서해당 프레임에서의 표시이미지 및 촬영정보를 생성하며, 817단계에서압축이미지를 생성한다. 이때 상기 압축이미지는 상기한 바와 같이 이미지처리부130과 어플리케이션처리부140의 버스 대역폭에 의해 결정되며, 결정된 대역폭에 따라 인터리브드 데이터모드를 사용한다. 이때 상기 인터리브드 데이터 모드는 상기 도 5a -도 5f에서 설명된 바와 같은 전송 방법들 중의 하나가 될 수 있다. 이때 상기 압축이미지를 생성하는 절차는 상기 도 7의 동작 절차와 동일하게 수행되며, 전송 포맷은 상기 도 5a - 도 5d 및 도 5e 중의 하나가 된다.

상기와 같이 이미지처리부130에서 전송되는 프레임 이미지들의 프레임 율은 30fps 또는 그 이상의 프레임율(예를들면 60 fps)을 가질 수 있다. 따라서 상기 이미지처리부130은 1초당 30 프레임의 표시이미지 및인터리브드 데이터 모드에 따라 결정되는 프레임 수의 압축이미지를 생성할 수 있다. 그리고 상기와 같이 생성되는 표시이미지, 압축이미지 및 촬영정보는 다중화되어 어플리케이션처리부140에 전달되며, 상기 어플리케이션처리부140은 819단계에서 상기 표시이미지, 압축이미지 및 촬영정보를 각각 버퍼링하며, 821단계에서 상기 표시이미지는 표시부160을 통해 프리뷰 이미지로 표시하는 동시에 MPEG코더390을 통해 부호화하여 상기 저장부150에 저장한다.

상기와 같이 카메라장치가 동영상 촬영모드(프리뷰 모드의 경우에도 동영상을 저장하는 동작을 제외하고 동일하게 동작된다)를 수행하는 상태에서, 사용자가 캡쳐 요구 명령을 발생하면, 상기 어플리케이션처리부140은 623단계에서 이를 감지하고, 625단계에서 상기 버퍼링중인 압축 이미지들 중에서 설정된 압축이미지를 상기 압축이미지버퍼385에서 선택하여 상기 저장부150에 저장한다. 이때 상기 압축이미지를 설정하는 방법은 여러가지 방법으로 수행할 수 있다. 먼저 제로 셔터렉 기능이 설정된 경우, 캡쳐 요구 명령이 발생된 시점의 프레임에 대응되는 압축이미지를 상기 압축이미지버퍼385에서 선택하여 상기 저장부150에 저장한다. 예를들어 셔터 지연(셔터 렉)이 2프레임으로 설정된 경우, 캡쳐 요구 명령이 발생되면 버퍼링된 2 프레임 이전 프레임의 압축 데이터를 저장부150에 저장하여 제로 셔터렉을 구현한다. 이때 해당 프레임의 압축이미지가 없는 경우(예를들면 도 5b 또는 도 5c와 같이 전송되는 경우)에는 제로 셔터렉을 구현하는 프레임에서 가장 인접한 프레임의 버퍼링된 압축이미지를 선택한다. 두번째로 섬네일 이미지 또는 표시이미지들을 표시하면서 원하는 압축이미지들을 선택하는 기능을 설정할 수도 있다.

상기와 같은 동작은 동영상 촬영동작이 종료될 때까지 반복 수행하며, 동영상 촬영이 종료되면 상기 이미지처리부130 및 어플리케이션처리부140은 627단계에서 이를 감지하고 동영상 촬영모드를 종료한다. 이때 사용자가 카메라 구동을 중지하지 않으면 상기 이미지처리부130 및 어플리케이션처리부140은 프리뷰 모드를 수행하게 되며, 이런 경우에도 어플리케이션처리부140이 동영상을 저장하는 동작을 제외하고 나머지 동작은 상기 도 6과 동일한 절차로 진행된다. 즉, 상기 이미지처리부130의 동작은 프리뷰모드나 동영상 촬영모드에서 동일하게 수행될 수 있다.

도 9는 본 발명의 실시예에 따른 카메라장치를 구비하는 휴대단말장치의 구성을 도시하는 도면이다.

상기 도 9를 참조하면, 카메라부110은 센서를 구비하며, 카메라 구동시 센서를 통해 이미지를 획득하는 기능을 수행한다. 센서부120은 휴대단말장치에 장착하는 하나의 이상의 센서가 될 수 있으며, 상기 센서는 GPS수신기, 자이로센서, 가속도센서, 고도센서, 방향센서, 조도센서들 중에 하나 이상이 될 수 있다. 이미지처리부130은 상기 카메라부110으로부터 획득되는 이미지를 처리하여 매 프레임에서 표시부160에 표시 및 동영상 촬영모드에서 동영상으로 저장하기 위한 표시 이미지, 정지이미지 캡쳐 요구시 저장하기 위한 압축 이미지 등을 생성한다. 여기서 상기 표시이미지는 YUV 이미지가 될 수 있으며, 상기 압축이미지는 JPEG 이미지가 될 수 있다. 여기서 상기 압축이미지 생성시, 상기 이미지처리부130은 버스 대역폭에 따라 압축이미지를 생성 및 전송하는 방법을 결정하는데, 이때의 압축이미지 전송 포맷은 도 5a - 도 5d 및 도 5f 중의 하나가 될 수 있다.

어플리케이션 처리부140은 휴대단말장치의 다양한 어플리케이션 기능을 수행한다. 또한 상기 어플리케이션처리부140은 센서부120의 출력을 입력하며, 사용자의 요구에 따른 다양한 센서 어플리케이션을 처리할 수 있다. 예를들면 GPS수신의 출력을 입력하여 네비게이션 기능, 단말기의 위치에 따른 지역정보를 탐색하는 어플리케이션을 처리할 수 있으며, 단말장치의 움직임에 따라 현재 실행되는 어플리케이션에서의 설정된 기능을 실행하는 어플리케이션 등을 실행할 수 있다. 특히 상기 어플리케이션처리부140은 본 발명의 실시예에 따라 카메라 구동시 상기 이미지처리부130에서 전송되는 표시이미지, 압축 이미지 및 촬영정보들을 버퍼링하고, 상기 표시이미지를 표시부160에 출력하여 표시되도록 제어한다. 이때 동영상 촬영모드이면, 상기 어플리케이션처리부140은 MPEG코더390을 구동하여 상기 표시이미지들을 프레임 순서대로 압축 부호화하여 동영상으로 저장한다. 그리고 상기 프리뷰모드 또는 동영상 촬영모드에서 사용자의 정지이미지의 캡쳐 요구 명령이 발생되면, 상기 어플리케이션처리부140은 상기 버퍼링 중인 압축 이미지들 중에서 상기 캡쳐 명령이 발생된 시점의 프레임에 대응되는 압축이미지를 선택하여 저장부150에 저장하여 제로 셔터렉 기능을 구현한다. 이때 상기 도 5b 및 도 5c와 같이 압축이미지가 전송되는 경우, 상기 어플리케이션처리부140은 캡쳐 명령이 발생된 시점의 프레임에 가장 근접한 프레임의 버퍼링 압축이미지를 선택하여 저장하므로써 제로 셔터렉을 구현할 수 있다. 또한 상기 도 5d와 같이 압축이미지가 전송되는 경우, 상기 어플리케이션처리부140은 캡쳐 요구가 발생된 시점의 프레임을 확인한 후, 상기 데이터 분할되어 저장된 JPEG 이미지의 프레임 카운트 정보를 확인하고, 상기 확인 프레임의 버퍼링된 압축이미지를 억세스하여 저장부150에 저장할 수 있다. 이때 상기 JPEG 이미지가 분할된 경우(도 5d 및 도 5e에서 JPEG3 및 JPEG 5의 경우)에는 분할된 압축이미지들을 결합하여 저장한다.

통신부920은 외부장치 또는 기지국과 통신기능을 수행한다. 상기 통신부920은 송신신호를 RF 대역으로 상승시키는 변환기(frequency up converter)와 전력증폭기 등으로 구성되는 송신부와, RF 수신호를 저잡음 증폭하는 증폭기와 RF신호를 기저대역으로 하강 변환하는 변환기(frequency down converter) 등을 구비할 수 있다. 또한 상기 통신부920은 상기 송신신호를 변조하여 송신부에 전달하는 변조부 및 상기 수신부에서 출력되는 신호를 복조하는 복조부를 구비할 수 있다. 여기서 상기 변복조부는 통신 방식에 따라 WCDMA, GSM, LTE 방식의 변복조부가 될 수 있으며, 또한 WIFI, WIBRO 등의 변복조부가 될 수 있다.

단말제어부910은 휴대단말장치의 전반적인 동작을 제어하며, 음성 통화 및 데이터 통신의 기능을 수행한다. 여기서 상기 단말제어부910은 상기 통신부920의 변복조부를 포함할 수 있으며, 이런 경우 상기 통신부920은 RF통신부만을 구비할 수 있다. 사기 단말제어부910은 이런 경우 상기 통신신호를 변복조 및 부호/복호화하는 기능을 수행할 수 있다. 오디오처리부930은 휴대단말장치의 송수화기와 연결되어 상기 단말제어부910의 제어하에 음성 통신시 통화 음성을 처리한다. 메모리940은 상기 단말제어부910 및 어플리케이션처리부140의 프로그램들이 로딩되는 워크 메모리(work memory)가 될 수 있으며, 이런 경우 상기 메모리940은 램으로 구성될 수 있다.

상기 입력부170은 단말제어부1610 및 어플리케이션처리부140에 휴대단말장치의 각종 동작 명령 및 데이터 입력신호를 발생한다. 특히 상기 어플리케이션처리부140에 카메라 구동명령, 캡쳐 명령을 발생할 수 있다. 또한 상기 입력부170은 이미지 캡쳐시 사용자의 요구에 따른 촬영정보 및/또는 섬네일 이미지들의 표시를 요구하는 명령을 발생할 수 있다. 표시부160은 단말제어부1610 및 어플리케이션처리부140의 제어하에 휴대단말장치의 동작 및 어플리케이션 실행 상태를 표시한다. 특히 상기 표시부160은 본 발명의 실시예에 따라 프리뷰 모드시 상기 어플리케이션처리부140에서 출력되는 표시 이미지를 표시한다. 또한 상기 표시부160은 이미지 캡쳐시 상기 어플리케이션처리부140에서 출력되는 촬영정보 및/또는 섬네일 이미지들을 표시할 수 있다. 여기서 상기 입력부170은 사용자의 터치입력을 감지하는 터치패널이 될 수 있으며, 표시부160은프로그램 수행 중에 발생되는 데이터 및 이미지 등을 표시하는 LCD 또는 OLED 패널이 될 수 있다. 여기서 상기 입력부170 및 표시부160은 일체형의 터치스크린이 될 수 있다. 또한 상기 입력부170은 카메라장치의 외부에 위치되는 버튼들을 포함할 수 있다.

저장부150은 휴대단말장치의 동작 프로그램 및 본 발명의 실시예에 따른 프로그램들을 저장하는 프로그램 메모리와, 프로그램 수행을 위한 데이터들 및 프로그램 수행 중에 발생되는 데이터를 저장하기 위한 데이터 메모리로 구성될 수 있다. 이런 경우 상기 저장부150은 플래시 메모리등과 같은 비휘발성 메모리(non volatile memrory)로 구성할 수 있다. 특히 상기 저장부150은 본 발명의 실시예에 따라 캡쳐 요구시 상기 어플리케이션 처리부140에 버퍼링 중인 압축 이미지를 저장한다.

상기 도 9과 같은 구성을 가지는 휴대단말장치는 착발신 통화 및 통신 서비스를 수행할 수 있으며, 카메라 촬영모드시 본 발명의 실시예에 따라 카메라부110에서 촬영되는 이미지를 처리한다. 휴대단말기의 전원온 등과 같이 휴대단말기의 기동을 수행하는 경우, 단말제어부910는 상기 저장부150에서 통화 및 통신 그리고 휴대단말장치의 동작 프로그램들을 상기 메모리940에 로딩시킨다. 또한 상기 어플리케이션처리부140은 어플리케이션 실행 요구시 상기 저장부150에서 해당 어플리케이션들을 구동하기 위한 프로그램을 상기 메모리940에 로딩시킨다. 또한 상기 따라서 상기 메모리940은 시스템 기동시 휴대단말장치의 동작 프로그램들 및 어플리케이션 프로그램들이 로딩되는 워크 메모리 기능을 수행한다. 여기서 상기 메모리940은 상기 어플리케이션처리부140 및 단말제어부910이 공유할 수 있으며, 또한 각각 독립적으로 구성하여 사용할 수도 있다.

상기 어플리케이션처리부140은 본 발명의 실시예에 따른 카메라부110의 이미지 처리 어플리케이션과 휴대단말장치의 다양한 어플리케이션들을 처리한다. 그리고 상기와 같은 다양한 어플리케이션 처리를 수행하기 위해 상기 어플리케이션처리부140은 상기 센서부120의 출력을 입력할 수 있으며, 상기 센서부120의 출력을 이용하여 어플리케이션을 실행하거나 또는 상기 센서부120의 출력에 의해 어플리케이션의 처리 동작을 제어할 수 있다. 또한 단말제어부910은 상기 센서부120의 출력을 입력하며, 통화 또는 통신 서비스를 수행하거나 또는 상기 센서부120의 출력에 의해 통화 또는 통신 서비스를 제어할 수 있다.

발신통화시, 사용자는 입력부170을 통해 발신전화번호 및 통화 요구신호를 발생할 수 있으며, 이를 감지하는 단말제어부910은 통신부920을 제어하여 통화로를 형성하며, 기지국을 통해 발신 통화 기능을 수행한다. 또한 착신 통화가 발생되면, 상기 단말제어부910은 통신부920을 통해 이를 감지하고 오디오처리부930을 통해 착신 경보를 하며 표시부160을 통해 착신 정보를 표시한다. 이때 사용자가 입력부170을 통해 응답을 하면, 상기 단말제어부910은 통신부920을 통해 착신 통화로를 형성하여 통화 서비스를 수행한다. 데이터 통신의 경우에도 상기 통화와 유사한 동작으로 통신로를 형성한다.

따라서 상기 이미지처리부130의 대역폭으로 매프레임에서 표시이미지 및 압축이미지(또는 표시이미지, 압축이미지 및 촬영정보)를 전송할 수 없는 경우, 또는 상기 어플리케이션처리부140이 다른 어플리케이션의 수행에 의해 버스 대역폭의 처리 한계를 가지는 경우에는 상기한 바와 같이 하이브리드 전송 방법으로 압축이미지를 전송할 수 있다.

본 명세서와 도면에 개시 된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (29)

1. 카메라 구동시 상기 카메라로부터 복수의 프레임들의 매 프레임에서 이미지를 획득하는 과정과,
   상기 획득된 이미지를 표시이미지 및 압축이미지로 생성하는 과정과,
   상기 표시이미지는 매 프레임에서 전송하고, 상기 압축이미지는 설정된 프레임 간격으로 한번씩 전송하는 하이브리드 전송모드를 수행하여, 압축이미지의 크기가 작으면 하나의 프레임 구간에서 복수의 프레임의 압축이미지를 전송하고, 크기가 크면 압축이미지의 컨테이너를 분할하여 복수의 프레임에 나눠 전송하는 과정과,
   상기 수신되는 표시이미지를 표시하며, 상기 압축이미지를 버퍼링하는 과정으로 이루어짐을 특징으로 하는 방법.
2. 제1항에 있어서, 상기 압축이미지는 상기 표시이미지의 크기에 따라 전송되는 프레임 간격이 설정되고,
   상기 매 프레임 주기에서 압축이미지가 전송되지 않는 프레임에는 섬네일 이미지가 전송되는 것을 특징으로 하는 방법.
3. 제2항에 있어서,
   동영상 촬영모드시 상기 표시이미지를 부호화하여 저장하는 과정을 더 구비하는 것을 특징으로 하는 방법.
4. 제3항에 있어서, 캡쳐요구시 상기 버퍼링되는 압축이미지들 중에서 캡쳐요구 시점의 프레임에 대응되는 압축이미지를 선택하여 저장하는 과정을 더 구비하고,
   상기 캡쳐요구 시점의 프레임에 대응되는 압축이미지가 없으면 해당 프레임에서 인접한 프레임의 압축이미지를 선택하여 저장하는 것을 특징으로 하는 방법.
5. 제4항에 있어서, 상기 표시이미지 및 상기 압축이미지로 전송하는 과정은 이미지 획득시점의 카메라 및 센서 정보로 생성되는 촬영정보를 포함하여 전송하는 과정을 더 구비하는 것을 특징으로 하는 방법.
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 제5항에 있어서, 상기 캡쳐요구시 상기 버퍼링되는 압축이미지들 중에서 캡쳐요구 시점의 프레임에 대응되는 압축이미지를 선택하며, 상기 선택된 압축이미지가 분할된 압축이미지이면 분할 압축이미지들을 병합하여 저장하는 것을 특징으로 하는 방법.
12. 카메라장치에 있어서,
    카메라와,
    상기 카메라 구동시 상기 카메라로부터 복수의 프레임들의 매 프레임에서 프레임 이미지를 획득하며, 상기 획득된 이미지를 표시이미지 및 압축이미지로 생성하며, 상기 표시이미지는 매 프레임에서 전송하고, 상기 압축이미지는 설정된 프레임 간격으로 한번씩 전송하는 하이브리드 전송모드를 수행하여, 압축이미지의 크기가 작으면 하나의 프레임 구간에서 복수의 프레임의 압축이미지를 전송하고, 크기가 크면 압축이미지의 컨테이너를 분할하여 복수의 프레임에 나눠 전송하는 이미지처리부와,
    상기 수신되는 표시이미지를 표시하며, 상기 압축이미지를 버퍼링하는 어플리케이션처리부와,
    상기 어플리케이션처리부에서 출력되는 표시이미지를 표시하는 표시부로 구성된 것을 특징으로 하는 장치.
13. 제12항에 있어서, 상기 압축이미지는 상기 표시이미지의 크기에 따라 전송되는 프레임 간격이 설정되는 것을 특징으로 하는 장치.
14. 제13항에 있어서, 동영상 촬영모드시 상기 어플리케이션처리부가 상기 표시이미지를 부호화하여 저장하는 동영상부호부를 더 구비하는 것을 특징으로 하는 장치.
15. 제14항에 있어서, 캡쳐요구시 상기 어플리케이션처리부가 상기 버퍼링되는 압축이미지들 중에서 캡쳐요구 시점의 프레임에 대응되는 압축이미지를 선택하여 저장하고, 상기 캡쳐요구 시점의 프레임에 대응되는 압축이미지가 없으면 해당 프레임에서 인접한 프레임의 압축이미지를 선택하여 저장하는 것을 특징으로 하는 장치.
16. 제15항에 있어서, 상기 이미지처리부가,
    상기 획득된 이미지를 스케일링하여 표시이미지를 생성하는 스케일러와,
    상기 획득된 이미지를 압축 부호화하여 압축이미지를 압축부호부와,
    상기 이미지 획득시점의 카메라 및 센서 정보를 입력하여 촬영정보를 생성하는 이미지처리제어부와,
    상기 표시이미지, 압축이미지 및 촬영정보를 다중화하여 하나의 프레임으로 전송하는 다중화부로 구성되며,
    상기 이미지처리제어부는 상기 압축이미지를 설정된 프레임 간격으로 다중화시키는 것을 특징으로 하는 장치.
17. 제16항에 있어서, 상기 어플리케이션처리부가,
    상기 다중화된 프레임 이미지 및 정보들을 역다중화하는 역다중화부와,
    상기 역다중화되는 프레임 이미지들 및 정보들을 표시이미지, 압축이미지 및 촬영정보로 파싱하는 파서와,
    상기 파싱된 표시이미지, 압축이미지 및 촬영정보를 각각 버퍼링하는 버퍼와,
    상기 캡쳐 요구시 상기 버퍼링된 압축이미지를 선택하는 어플리케이션처리제어부로 구성된 것을 특징으로 하는 장치.
18. 제17항에 있어서, 상기 이미지처리부는 섬네일이미지 생성부를 더 구비하며,
    상기 이미지처리제어부는, 표시이미지는 매 프레임에서 전송되며, 압축이미지는 N 프레임 주기로 한번씩 전송하는 상기 하이브리드 전송모드를 수행하도록 상기 다중화부를 제어하고, 상기 매 프레임 주기에서 압축이미지가 전송되지 않는 프레임에는 섬네일 이미지가 다중화되도록 제어하는 것을 특징으로 하는 장치.
19. 삭제
20. 삭제
21. 제18항에 있어서, 상기 표시이미지는 YUV 방식의 이미지이고, 상기 압축 이미지는 JPEG 이미지이며, 동영상이미지는 MPEG 이미지인 것을 특징으로 하는 장치.
22. 제18항에 있어서, 상기 이미지처리부는 메모리를 더 구비하며, 상기 이미지처리제어부는 압축이미지를 메모리에 저장한 후 압축이미지의 크기를 분석하며, 상기 압축이미지의 크기가 작으면 하나의 프레임 구간에서 복수의 프레임의 압축이미지를 전송하고, 크기가 크면 압축이미지의 컨테이너를 분할하여 복수의 프레임에 나눠 전송하도록 상기 다중화부를 제어하는 것을 특징으로 하는 장치.
23. 제22항에 있어서, 상기 캡쳐요구시 상기 어플리케이션처리제어부는 상기 버퍼링되는 압축이미지들 중에서 캡쳐요구 시점의 프레임에 대응되는 압축이미지를 선택하며, 상기 선택된 압축이미지가 분할된 압축이미지이면 분할 압축이미지들을 병합하여 저장하는 것을 특징으로 하는 장치.
24. 휴대단말장치에 있어서,
    외부 장치와 무선통신을 수행하는 통신부와,
    상기 통신부를 통해 상기 휴대단말장치의 통화 및 통신을 제어하는 단말제어부와,
    카메라 구동시 매 프레임 주기에서 카메라센서로부터 이미지를 획득하는 카메라부와,
    카메라 구동시 카메라로부터 매 프레임에서 프레임 이미지를 획득하며, 상기 획득된 이미지를 표시이미지 및 압축이미지로 생성하여 하나의 프레임 이미지로 전송하며, 상기 표시이미지는 매 프레임에서 전송하고, 상기 압축이미지는 버스 대역폭에 따라 설정된 프레임 간격으로 한번씩 전송하는 하이브리드 전송모드를 수행하여, 압축이미지의 크기가 작으면 하나의 프레임 구간에서 복수의 프레임의 압축이미지를 전송하고, 크기가 크면 압축이미지의 컨테이너를 분할하여 복수의 프레임에 나눠 전송하는 이미지처리부와,
    상기 수신되는 표시이미지를 표시하며, 상기 압축이미지를 버퍼링하는 어플리케이션처리부와,
    상기 표시이미지를 표시하는 표시부로 구성된 것을 특징으로 하는 장치.
25. 삭제
26. 삭제
27. 제26항에 있어서, 캡쳐요구시 상기 어플리케이션처리부가 상기 버퍼링되는 압축이미지들 중에서 캡쳐요구 시점의 프레임에 대응되는 압축이미지를 선택하여 저장하고, 상기 캡쳐요구 시점의 프레임에 대응되는 압축이미지가 없으면 해당 프레임에서 인접한 프레임의 압축이미지를 선택하여 저장하는 것을 특징으로 하는 장치.
28. 제27항에 있어서, 상기 이미지처리부가,
    상기 획득된 이미지를 스케일링하여 표시이미지를 생성하는 스케일러와,
    상기 획득된 이미지를 압축 부호화하여 압축이미지를 압축부호부와,
    상기 이미지 획득시점의 카메라 및 센서 정보를 입력하여 촬영정보를 생성하는 이미지처리제어부와,
    상기 표시이미지, 압축이미지 및 촬영정보를 다중화하여 하나의 프레임으로 전송하는 다중화부로 구성되며,
    상기 이미지처리제어부는 상기 압축이미지를 설정된 프레임 간격으로 다중화시키는 것을 특징으로 하는 장치.
29. 제28항에 있어서, 상기 어플리케이션처리부가,
    상기 다중화된 프레임 이미지 및 정보들을 역다중화하는 역다중화부와,
    상기 역다중화되는 프레임 이미지들 및 정보들을 표시이미지, 압축이미지 및 촬영정보로 파싱하는 파서와,
    상기 파싱된 표시이미지, 압축이미지 및 촬영정보를 각각 버퍼링하는 버퍼와,
    상기 캡쳐 요구시 상기 버퍼링된 압축이미지를 선택하는 어플리케이션처리제어부로 구성된 것을 특징으로 하는 장치.

Images