KR101245485B1 - 개선된 이미지 캡처를 제공하는 방법과 장치 및 프로그램 저장 장치 - Google Patents

개선된 이미지 캡처를 제공하는 방법과 장치 및 프로그램 저장 장치 Download PDF

Info

Publication number
KR101245485B1
KR101245485B1 KR1020107027150A KR20107027150A KR101245485B1 KR 101245485 B1 KR101245485 B1 KR 101245485B1 KR 1020107027150 A KR1020107027150 A KR 1020107027150A KR 20107027150 A KR20107027150 A KR 20107027150A KR 101245485 B1 KR101245485 B1 KR 101245485B1
Authority
KR
South Korea
Prior art keywords
image data
image
raw
raw image
processing
Prior art date
Application number
KR1020107027150A
Other languages
English (en)
Other versions
KR20110003571A (ko
Inventor
티모 카이쿠마아
오시 칼레보
마르티 일모니에미
롤프 보덴
신-형 용
앤드류 박스터
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Publication of KR20110003571A publication Critical patent/KR20110003571A/ko
Application granted granted Critical
Publication of KR101245485B1 publication Critical patent/KR101245485B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras

Abstract

본 발명의 예시적인 실시예는 디지털 이미지 캡처 시스템 내에서 병렬 동작을 고려한다. 예컨대, 후속 이미지가 캡처되는 동안 원시 이미지 데이터가 처리될 수 있다. 본 발명의 예시적인 실시예에서, 방법은 디지털 이미지 캡처 장치 내에서 적어도 하나의 전위 동작을 실행하는 단계와, 디지털 이미지 캡처 장치 내에서 적어도 하나의 후위 동작을 실행하는 단계를 포함하되, 적어도 하나의 전위 동작은 적어도 하나의 센서를 통해 원시 이미지 데이터를 캡처하는 단계와, 캡처된 원시 이미지 데이터를 중간 파일로서 저장하는 단계와, 디지털 뷰파인더를 활성화하는 단계를 포함하고, 적어도 하나의 후위 동작은 중간 파일에 액세스하는 단계와, 처리된 이미지 데이터를 획득하도록 중간 파일의 원시 이미지 데이터에 대해 이미지 처리를 수행하는 단계와, 처리된 이미지 데이터를 저장하는 단계를 포함하며, 적어도 하나의 후위 동작은 적어도 하나의 전위 동작과 독립적으로 실행된다.

Description

개선된 이미지 캡처를 제공하는 방법과 장치 및 프로그램 저장 장치{METHODS, COMPUTER PROGRAM PRODUCTS AND APPARATUS PROVIDING IMPROVED IMAGE CAPTURING}
관련 출원에 대한 상호 참조
이 특허 출원은 2008년 5월 2일에 출원된 미국 특허 출원 번호 제12/150,966호의 우선권을 주장한다.
본 발명의 예시적이고 비제한적인 실시예는 일반적으로 이미지 캡처 장치 또는 구성요소에 관한 것으로, 보다 구체적으로는, 디지털 이미지 캡처에 관한 것이다.
본 명세서에서 후속하는 약어가 사용된다.
CCD 전하 결합 소자
CF 콤팩트 플래시
CMOS 상보성 금속 산화막 반도체
CPU 중앙 처리 장치
DMA 직접 메모리 액세스
DPCM 차분 펄스 코드 변조
DSP 디지털 신호 프로세서
GIF 그래픽 교환 포맷
HW 하드웨어
HWA 하드웨어 가속기
ISP 이미지 신호 프로세서
JPEG 국제 표준 화상 압축 방식
MMS 멀티미디어 메시지 서비스
MMU 메모리 관리 유닛
PCM 펄스 코드 변조
PDA 개인 휴대정보 단말기
RAM 랜덤 액세스 메모리
RGB 적색, 녹색, 청색 공간/모델
RF 무선 주파수
SDRAM 동기식 동적 랜덤 액세스 메모리
SW 소프트웨어
UI 사용자 인터페이스
VF 뷰파인더
YUV 휘도-색차-색차 컬러 공간/모델
Y'CbCr 휘도 및 색차 성분 컬러 공간/모델
이동 전화기 내의 디지털 카메라 시스템과 같은 디지털 카메라 시스템은 HW ISP, HWA 또는 SW 기반 이미지 처리를 사용할 수 있다. 일반적으로, HW 기반 솔루션은 SW 기반 솔루션보다 이미지를 빠르게 처리하지만, 더 비싸고 덜 유동적이다.
디지털 스틸 이미지 카메라 촬영 동안에, 최종 이미지를 생성하도록 다수의 순차적인 처리 단계가 수행된다. 예컨대, 이 단계들은 카메라 센서 HW로부터 메모리로 원시 이미지 데이터를 추출하는 단계와, 원시 이미지를 처리(예컨대, 보간, 스케일링, 크로핑, 화이트 밸런싱, 회전)하는 단계와, 디스플레이 또는 다른 처리를 위해 원시 이미지를 중간 포맷(예컨대, RGB 또는 YUV와 같은 포맷)으로 변환하는 단계와, 이미지를 저장 포맷(예컨대, JPEG 또는 GIF와 같은 포맷)으로 압축하는 단계와, 이미지를 비휘발성 메모리(예컨대, 파일 시스템)에 저장하는 단계를 포함할 수 있다. 이들 동작은 동작이 완료될 때까지 새로운 이미지가 캡처될 수 없도록 순차적인 방식으로 수행된다. 이들 순차적인 처리 단계와 연관된 시간 지연과 사용자가 다음 사진을 촬영할 수 있도록 디지털 뷰파인더를 재활성화할 때의 시간 지연의 합은 "샷 투 샷(shot-to-shot) 시간"으로 지칭된다.
도 1은 종래의 순차적인 이미지 캡처 시스템에 의해 수행된 순차적인 동작의 도면(100)을 도시한다. 단계(101)에서, 카메라 센서는 원시 데이터를 생성한다. 원시 이미지 데이터는 카메라 센서 HW로부터 메모리(예컨대, 휘발성 메모리)로 추출된다. 단계(102)에서, 원시 데이터는 처리된 이미지를 생성하는 이미지 처리 구성요소에 의해 처리된다. 단계(103)에서, 처리된 이미지는 디스플레이 또는 다른 처리를 위해 중간 포맷으로 변환된다. 단계(104)에서, 결과적인 이미지는 저장 포맷으로 압축된다. 단계(105)에서, 압축된 이미지는 비휘발성 메모리에 저장된다. 단계(106)에서, 디지털 뷰파인더는 재활성화된다. 도 1에서 알 수 있듯이, 사진이 촬영된 후에(단계 101) 디지털 뷰파인더가 재활성화될 수 있도록(단계 106), 단계(102-105)가 먼저 수행된다.
(예컨대, 이동 전화기 및 단말기 내의) 카메라 센서 해상도는 증가하고 있다. 이와 동시에, 이미지 처리는 비용을 감소시키기 위해 전용 HW로부터 SW로 이동된다. 이는 일반적으로 이미지 처리(예컨대, CPU) 및 메모리 성능(예컨대, 메모리 크기 및/또는 속도)에 큰 부담을 주고 있다. 따라서, 사진을 촬영하는 데 걸리는 시간의 길이는 일반적으로 증가하고 있다. 즉, 사용자는 이미지의 처리 및 저장 때문에, 카메라 캡처 버튼을 누르는 것과 그 후 메뉴에 액세스하거나 다음 사진을 촬영하는 것 사이에 지연을 경험할 수 있다.
SW 기반 솔루션을 사용하면, 순차적인 처리는 일반적으로 비효율적이며, 사용자의 시점으로부터, 다른 이미지 또는 이미지 버스트를 캡처하거나 다시 구동하는(예컨대, 미리보기를 디스플레이하는) 뷰파인더를 가지도록 시간의 길이(예컨대, 30초)를 기다리는 것은 허용가능하지 않다.
몇몇 통상적인 카메라는 버스트 모드를 이용하여 다수의 이미지를 빠른 방식으로 캡처한다. 버스트 모드에서, 원시 이미지가 버퍼 메모리에 저장되고 이로부터 처리된다. 예컨대, 5 이미지 버퍼 메모리를 가진 카메라가 사용되면, 5 개의 이미지를 빠르게 촬영할 수 있지만, 모든 원시 이미지가 처리되고 충분한 버퍼 메모리가 새로운 원시 이미지에 대해 릴리스될 때까지 기다리기를 원하므로 6 번째 이미지를 촬영할 때 지연이 존재한다.
종래 기술 방안은 사진 촬영 기회들 사이의 지연 감소를 제공하도록 찾는 방법 및 디지털 카메라를 설명한다. 이 방안은 어느 때든 2 개의 이미지까지 처리를 제공하도록 병렬 HW 처리를 사용한다. 이 방안은 중요 시간에 완료되도록 각각의 처리 단계에 의존하고, 최종 JPEG 포맷으로만 이미지를 처리한다. 또한, 파워오프 동안에 이 방안은 처리되지 않은 이미지의 처리를 완료한다.
다른 종래 기술 방안은 이미지 처리를 지연시킴으로써 디지털 카메라 이미지 캡처 레이트를 증가시키는 장치 및 방법을 설명한다. 이 방안에서, 이미지는 캡처되는 순서대로 처리된다. 최종 출력은 JPEG으로서만 이용가능하고 후위 처리는 항상 사용된다.
이하 요약 부분은 단지 예시적이며 비 제한적 이도록 의도된다.
본 발명의 예시적인 실시예에서, 방법은 디지털 이미지 캡처 장치 내에서 적어도 하나의 전위 동작을 실행하는 단계 -적어도 하나의 전위 동작은 적어도 하나의 센서를 통해 원시 이미지 데이터를 캡처하는 단계와, 캡처된 원시 이미지 데이터를 중간 파일로서 저장하는 단계 및 디지털 뷰파인더를 활성화하는 단계를 포함함- 와, 디지털 이미지 캡처 장치 내에서 적어도 하나의 후위 동작을 실행하는 단계 -적어도 하나의 후위 동작은 중간 파일에 액세스하는 단계와, 처리된 이미지 데이터를 획득하도록 중간 파일의 원시 이미지 데이터에 대해 이미지 처리를 수행하는 단계 및 처리된 이미지 데이터를 저장하는 단계를 포함함- 를 포함하되, 적어도 하나의 후위 동작은 적어도 하나의 전위 동작과 독립적으로 실행된다.
다른 예시적인 실시예에서, 동작들을 수행하기 위해 기계에 의해 실행가능한 프로그램 인스트럭션을 유형적으로 구현하는, 기계에 의해 판독가능한 프로그램 저장 장치에 있어서, 동작들은 디지털 이미지 캡처 장치 내에서 적어도 하나의 전위 동작을 실행하는 단계 -적어도 하나의 전위 동작은 적어도 하나의 센서를 통해 원시 이미지 데이터를 캡처하는 단계와, 캡처된 원시 이미지 데이터를 중간 파일로서 저장하는 단계 및 디지털 뷰파인더를 활성화하는 단계를 포함함- 와, 디지털 이미지 캡처 장치 내에서 적어도 하나의 후위 동작을 실행하는 단계 -적어도 하나의 후위 동작은 중간 파일에 액세스하는 단계와, 처리된 이미지 데이터를 획득하도록 중간 파일의 원시 이미지 데이터에 대해 이미지 처리를 수행하는 단계 및 처리된 이미지 데이터를 저장하는 단계를 포함함- 를 포함하되, 적어도 하나의 후위 동작은 적어도 하나의 전위 동작과 독립적으로 실행된다.
다른 예시적인 실시예에서, 장치는 원시 이미지 데이터를 캡처하도록 구성된 적어도 하나의 센서와, 원시 이미지 데이터를 저장하도록 구성된 제 1 메모리와, 원시 이미지 데이터에 대한 미리보기 이미지 또는 뷰파인더 이미지 중 적어도 하나를 디스플레이하도록 구성된 디스플레이와, 처리된 이미지 데이터를 획득하기 위해 저장된 원시 이미지 데이터를 처리하도록 구성된 이미지 프로세서 및 처리된 이미지 데이터를 저장하도록 구성된 제 2 메모리를 포함하되, 이미지 프로세서는 적어도 하나의 센서 및 디스플레이와 독립적으로 작동하도록 구성된다.
본 발명의 예시적인 실시예의 앞선 양상 및 다른 양상은 첨부된 도면과 함께 읽을 때 후속하는 상세한 설명에서 보다 분명해진다.
도 1은 종래의 순차적인 이미지 캡처 시스템에 의해 수행된 순차적인 동작의 도면을 도시한다.
도 2는 본 발명의 예시적인 실시예에 따른 디지털 이미지 캡처 시스템 내의 예시적인 프로세스의 듀얼 스테이지 동작에 대한 블록도를 도시한다.
도 3은 본 발명의 예시적인 실시예의 양상에 따른 예시적인 장치(카메라) 내의 구성요소 및 제어 경로의 도면을 도시한다.
도 4는 도 3에 도시된 예시적인 카메라의 특징을 통합하는 다른 예시적인 카메라를 도시한다.
도 5a~도 5f는 본 발명의 예시적인 실시예에 따라 카메라에 대한 이미지 큐 및 후위 처리에 관한 예시적인 프로세스를 설명하는 순서도를 도시한다.
도 6은 본 발명의 예시적인 실시예에 따라 카메라에 대해 구현될 수 있는 정지 특징에 관한 예시적인 프로세스를 설명하는 순서도를 도시한다.
도 7은 본 발명의 예시적인 실시예를 실시할 때 사용하기에 적합한 전자 장치의 간략한 블록도를 도시한다.
도 8은 본 발명의 예시적인 실시예에 따라 예시적인 이미지 캡처 시스템(300)에 대한 하드웨어 및 소프트웨어 상호작용을 도시한다.
도 9는 본 발명의 예시적인 실시예를 실시하는 방법의 비제한적인 예를 설명하는 순서도를 도시한다.
도 10은 본 발명의 예시적인 실시예를 실시하는 방법의 다른 비제한적인 예를 설명하는 순서도를 도시한다.
도 11은 본 발명의 예시적인 실시예를 실시하는 방법의 다른 비제한적인 예를 설명하는 순서도를 도시한다.
도 12는 본 발명의 예시적인 실시예를 실시하는 방법의 다른 비제한적인 예를 설명하는 순서도를 도시한다.
도 13은 본 발명의 예시적인 실시예에 따라 디지털 이미지 캡처 시스템 내의 다수의 메모리 버퍼의 사용 및 예시적인 프로세스의 멀티 스테이지 동작에 대한 블록도를 도시한다.
도 14는 최소 처리를 가진 단일 메모리 버퍼를 구비한 본 발명의 예시적인 실시예에 대한 버퍼 사용의 예를 도시한다.
도 15는 최소 처리를 가진 2 개의 메모리 버퍼를 이용하는 본 발명의 예시적인 실시예에 대한 버퍼 사용의 예를 도시한다.
도 16은 최소 처리가 없는 2 개의 메모리 버퍼를 이용하는 본 발명의 예시적인 실시예에 대한 버퍼 사용의 예를 도시한다.
도 17은 최소 처리를 가진 6 개의 메모리 버퍼 및 2 개의 후위 이미지 프로세서를 이용하는 본 발명의 예시적인 실시예에 대한 버퍼 사용의 예를 도시한다.
도 18은 최소 처리를 가지지만 단일 후위 프로세서만을 가진 9 개의 메모리 버퍼 및 2 개의 후위 이미지 프로세서를 이용하는 본 발명의 예시적인 실시예에 대한 버퍼 사용의 예를 도시한다.
도 19는 최소 처리를 가진 3 개의 메모리 버퍼, 2 개의 후위 이미지 프로세서 및 2 개의 후위 프로세서를 이용하는 본 발명의 예시적인 실시예에 대한 버퍼 사용의 예를 도시한다.
디지털 촬영은 감지 표면을 따라 픽셀(포토다이오드)의 어레이를 사용한다. CCD는 일반적으로 본 발명의 교시로부터 벗어나지 않으면서 사용될 수 있는 상보성 금속 산화막 반도체(CMOS) 센서와 같은 다른 장치를 통해 이미지가 캡처되는 장치로서 사용된다. 비디오 용으로 인에이블링되든 스틸 촬영용으로만 인에이블링되든, 디지털 카메라는 독립형 장치이거나 셀룰러 전화기, PDA, 블랙베리? 유형 장치 등과 같은 다른 휴대용 장치 내에 통합될 수 있다. 디지털 카메라를 양방향 통신을 가능하게 하는 장치(예컨대, 이동국)에 통합하는 것은 예컨대, 인터넷을 통해 사진, 비디오 클립을 이메일로 보내는 것의 장점을 제공한다. 점점 더, 디지털 카메라는 기록될 수 있는 비디오의 길이가 일반적으로 이를 저장하는 데 이용가능한 메모리에 의해 제한되는 스틸 사진 또는 비디오를 촬영할 수 있다. 만일 원한다면, 본 발명은 또한 비휴대용 이미징 또는 카메라 장치에 적용될 수 있다.
일 경우에, 종래의 카메라는 원시 이미지 데이터 및 변환된 출력 데이터를 이들이 저장 매체(예컨대, CF 카드)에 기록되기 전에 버퍼에 임시로 저장함으로써 버퍼링할 수 있다. 카메라는 처리되지 않은 원시 데이터가 이미지 센서에 의해 제공될 때 이를 버퍼에 저장한다. 이어서 처리되지 않은 데이터는 이미지 파일 포맷으로 변환되고(즉, 이미지 처리가 수행됨), 또한 버퍼에 임시로 저장된다. 이미지 파일은 버퍼로부터 CF 카드로 기록된다. 처리되지 않은 데이터를 변환하고 이미지 파일을 CF 카드에 기록하는 동작이 병렬식으로 발생할 수 있음을 알아야 한다. 그러므로, 이미지 처리 및 기록 동작은 저장될 새로운 샷을 위해 끊임없이 버퍼 공간을 비우고 있다. 이처럼, 사용자는 다른 버스트를 취할 충분한 공간이 존재하기 전에 CF 카드에 기록되는 프레임의 전체 버스트를 기다릴 필요가 없다. 동적 버퍼는 선택된 CF 카드를 사용하여, 사용자가 버퍼 스톨(stall) 없이 순차적으로 144 개의 사진까지 캡처할 수 있게 한다. 처리되지 않은 데이터를 변환하고 이미지 파일을 CF 카드에 기록하는 동작이 병렬식으로 발생할 수 있지만, 이들이 이미지 캡처 프로세스의 전체 효율 및 속도에 크게 영향을 주지 않으면서 상호의존적이며 서로 독립적으로 기능할 수 없음을 또한 알아야 한다.
이 경우는 광학 뷰파인더를 이용할 수 있는데, 이는 뷰파인더 이미지가 전혀 처리되지 않음을 의미한다. 대신에, 뷰파인더 이미지는 뷰파인더 및 스틸 이미지를 캡처하는 데에만 사용되는 이미지 센서에도 광을 제공하도록 거울 및/또는 프리즘을 사용하여 렌즈를 통해 발생한다. 이 방안은 뷰파인더 이미지 또는 미리보기 이미지 처리와 병렬로 스틸 이미지 처리를 제공하지 않는다.
예시적인 실시예는 이미지 캡처 프로세스를 적어도 2 개의 독립 스테이지 또는 전위 프로세스 및 후위 프로세스로서 후술되는 프로세스 세트로 분리함으로써 종래 기술 이미지 캡처 시스템 이상의 다양한 향상을 제공한다. 전위 및 후위 프로세스는 서로 독립적으로 실행하도록 구성된다. 비제한적인 예로써, 전위 프로세스는 특히 이미지 캡처(예컨대, 원시 이미지 데이터의 캡처 및 원시 이미지 데이터를 중간 파일로서 저장하는 것) 및 디지털 뷰파인더 동작(예컨대, 뷰파인더 이미지의 캡처, 처리 및 디스플레이; 원시 이미지 데이터, 중간 파일 및/또는 처리된 이미지 데이터에 대한 미리보기 이미지의 디스플레이)에 관한 프로세스를 포함할 수 있다. 비제한적인 예로써, 후위 프로세스는 이미지 처리(예컨대, 저장장치로부터 원시 이미지 데이터를 불러오는 것, 처리된 이미지 데이터를 획득하도록 원시 이미지 데이터에 대해 이미지 처리를 수행하는 것, 처리된 이미지 데이터의 저장)에 관한 프로세스를 포함할 수 있다. 그러한 방식으로, 이미지가 원시 이미지 데이터의 캡처 및 저장과 별도로 처리되므로 이미지 캡처 속도는 향상된다.
독립적인 스테이지의 각각은 다른 스테이지의 동작과 실질적으로 별도로(독립적으로) 동작을 수행할 수 있다. 다양한 프로세스를 복수의 스테이지로 분리하는 것은 이미지 캡처(예컨대, 사진 촬영) 이후 곧 사용자가 뷰파인더 이미지(즉, 후속 이미지 캡처에 대한 뷰파인더 이미지) 또는 미리보기 이미지(즉, 하나 이상의 캡처된 이미지에 대한 미리보기 이미지)를 볼 수 있도록 뷰파인더의 빠른 재초기화를 가능하게 할 수 있다. 또한, 후속하는 이미지는 하나 이상의 먼저 캡처된 이미지가 처리되기 전에 캡처될 수 있다. 다른 예시적인 실시예에서, 이미지가 처리되기 전이라도, 이미지는 저장된 원시 이미지 데이터(즉, 중간 파일)를 사용함으로써 (예컨대, 이미지 갤러리로부터) 보일 수 있다.
본 명세서에서 스테이지는 서로 독립적인 것으로 설명되지만, 스테이지가 일반적으로 완전히 분리되지 않으며, 오히려 스테이지 내의 동작이 정확히 순차적인 방식으로 수행되지 않고 다수의 동작(예컨대, 동시적이지만 별개의 이미지 캡처 및 캡처된 이미지의 처리)의 병렬 성능을 제공할 수 있음을 알아야 한다. 적어도 원시 이미지 데이터를 저장하는 중간 파일의 사용은 원시 이미지 데이터에 대한 후속 액세스 및 조작(예컨대, 이미지 처리)을 가능하게 한다. 또한, 이미지 처리가 현재 제거되므로(예컨대, 개별적이며 독립적이므로), 이미지 캡처 프로세스는 이미지 처리시에 고유한 지연에 의해 영향을 받지 않을 것이다.
편의를 위해, 이하의 논의는 본 명세서에서 전위 스테이지(예컨대, 전위 프로세스) 및 후위 스테이지(예컨대, 후위 프로세스)로서 지칭되는 2 개의 독립 스테이지만이 사용된다고 가정할 것이다. 임의의 적합한 수의 스테이지가 사용될 수 있음을 알아야 한다. 이용되는 스테이지의 수는 비제한적인 예로써, 원하는 동작, 하드웨어 고려사항 및/또는 소프트웨어 고려사항에 기초할 수 있다.
이하의 논의를 위해, 전위 프로세스는 이미지 캡처 프로세스의 샷 투 샷 시간에 직접 영향을 주는 동작으로 고려될 수 있다. 예컨대, 이미지 캡처 및 저장 동작은 그들이 샷 투 샷 시간에 직접 영향을 주므로 전위 내에 있다. 이와 유사하게, 각각의 후속 샷을 촬영하도록 뷰파인더 재초기화가 일반적으로 요구되거나 필요로 하므로 뷰파인더 동작(즉, 디지털 뷰파인더에 대한 뷰파인더 동작)도 전위 내에 있다. 이와 달리 및 비제한적인 예로써, 본 발명의 예시적인 실시예의 경우에, 이미지 처리가 이미지 캡처로부터 독립적으로 수행되고 샷 투 샷 시간에 영향을 줄 필요가 없으므로 이미지 처리는 일반적으로 후위 스테이지에 배치된다.
도 2는 본 발명의 예시적인 실시예에 따른 디지털 이미지 캡처 시스템 내의 예시적인 프로세스의 듀얼 스테이지 동작에 대한 블록도를 도시한다. 프로세스는 2 개의 독립 스테이지, 즉, 전위 SW 동작(동작 201-204) 및 후위 SW 동작(동작 211-215)로 분리된다. 전술한 바와 같이, 전위 및 후위 스테이지는 어떤 스테이지도 프로세스를 다른 스테이지와 별도로 처리하도록 서로 독립적이다.
전위 SW 동작은 후속하는 프로세스를 비제한적인 예로써 포함할 수 있다. 단계(201)에서, 카메라 센서는 (예컨대, 사용자가 이미지 캡처 버튼을 누르는 것에 응답하여) 원시 이미지 데이터를 생성한다. 단계(202)에서, 원시 이미지 데이터에 기초하여 최소 처리가 수행되고 그 결과는 (예컨대, 파일 시스템, 메모리 버퍼 또는 다른 저장 매체 내에) 중간 파일로서 저장된다(단계 203). 단계(204)에서, 디지털 뷰파인더가 재활성화되어, 사용자가 제 2 이미지를 캡처할 수 있게 한다(단계(201)로 리턴). 다른 예시적인 실시예에서, 전위 SW 동작은 캡처된 이미지에 대한 미리보기 이미지를 디스플레이하는 단계를 더 포함할 수 있다. 미리보기 이미지는 비제한적인 예로써, 원시 이미지 데이터 및/또는 중간 파일에 기초할 수 있다.
후위 SW 동작은 비제한적인 예로써, 후속하는 프로세스를 포함할 수 있다. 단계(211)에서, 원시 이미지 데이터를 포함하는 중간 파일이 파일 시스템으로부터 로딩된다. 단계(212)에서, 처리된 이미지 데이터를 획득하도록 원시 이미지 데이터에 대해 이미지 처리가 수행된다. 단계(213)에서, 이미지는 비제한적인 예로써, RGB 또는 YUV와 같은 중간 포맷으로 변환된다. 단계(214)에서, 결과는 비제한적인 예로써, GIF 또는 JPEG와 같은 다른 포맷으로 압축된다. 단계(215)에서, 결과는 최종 처리된 이미지("처리된 이미지 데이터")로서 파일 시스템에 저장된다. 이어서 후위 SW 동작은 다른 처리되지 않은 이미지(처리되지 않은 원시 이미지 데이터를 포함하는 처리되지 않은 중간 파일)의 다른 처리를 위해 단계(211)로 리턴한다.
도 2에 개별 단계 또는 박스로서 도시되지만, 212, 213 및 214에 설명된 하나 이상의 단계가 구성요소 또는 구성요소들에 의해 동시에 수행될 수 있음을 알아야 한다. 예컨대, 몇몇 예시적인 실시예에서, 변환(213)이 그 대신에 원시 이미지 데이터의 이미지 처리(212) 동안에 수행된 하나의 기능으로서 고려될 수 있다.
이와 관련하여, 몇몇 예시적인 실시예에서, 중간 파일이 저장되기 전에 전위 내의 원시 이미지 데이터에 대해 사전처리 단계가 수행될 수 있다. 몇몇 예시적인 실시예에서, 그러한 사전처리 단계의 실행은 예컨대, 프로세서 부하, 프로세서 속도, 저장 속도 및/또는 저장 용량에 따라 조건부일 수 있다. 일반적으로, 전위 동작에서 추가적인 지연의 누적을 방지하도록(즉, 그러한 사전 처리는 디지털 뷰파인더의 재활성화를 잠재적으로 지연시키는 비용으로 수행될 것이므로) 그러한 사전처리를 비교적 최소로 유지하는 것이 바람직할 수 있다. 몇몇 예시적인 실시예에서, 그러한 사전 처리는 전위에서 수행되지 않으며, 오히려 후위 동작의 일부로서 수행된다. 다른 예시적인 실시예에서, 사용자는 사전처리의 양 및/또는 유형(들)을 구성할 수 있다. 그러한 사용자 제어는 사용자가 장치의 동작을 커스텀화하고 샷 투 샷 시간 대 성능(예컨대, 사전처리)의 원하는 비율 또는 균형을 획득할 수 있게 할 것이다.
몇몇 예시적인 실시예에서, 전위 프로세스 중 적어도 하나는 적어도 하나의 제 1 프로세서에 의해 수행되고, 후위 프로세스 중 적어도 하나는 적어도 하나의 제 2 프로세서(즉, 적어도 하나의 제 1 프로세서와 다른 하나 이상의 프로세서)에 의해 수행된다. 다른 예시적인 실시예에서, 전위 프로세스 중 적어도 하나와 후위 프로세스 중 적어도 하나는 적어도 하나의 동일한 프로세서에 의해 수행된다(예컨대, 하나의 프로세서가 적어도 하나의 전위 프로세스 및 적어도 하나의 후위 프로세스를 포함하는 다수의 프로세스를 수행함). 다중 프로세서 아키텍처, 단일 게이팅(예컨대, 시간 공유) 프로세서 또는 단일 다중 동작(예컨대, 다중 코어) 프로세서를 구현하는지 여부의 선택은 비제한적인 예로써, 비용, 성능 및/또는 전력 소비와 같은 하나 이상의 고려사항에 기초할 수 있다.
몇몇 예시적인 실시예에서, 전위 동작 및/또는 후위 동작을 선택적으로 실행하는 것이 바람직할 수 있다. 예컨대, 몇몇 경우에, 전위/후위 프로세스를 실질적으로 동시에 비활성화하면서 전위/후위 프로세스를 활성화하는 것이 바람직할 수 있다. 전위 프로세스, 후위 프로세스 또는 전위 및 후위 프로세스 모두를 구현할지 구현하지 않을지 여부의 결정은 하나 이상의 요인의 고려사항에 기초할 수 있다. 비제한적인 예로써, 그러한 결정은 문제의 애플리케이션/프로세스(예컨대, 애플리케이션이 전위 및 후위 프로세스를 지원할 수 있는지의 여부), 저장 속도(예컨대, 메모리 기록 속도), 이미지 처리 시간과 저장 속도의 비교, 이용가능한 저장 공간, 샷 투 샷 시간, 프로세서 성능 및/또는 프로세서 이용가능성 중 하나 이상에 기초할 수 있다.
본 발명의 다른 예시적인 실시예에서, 후위 스테이지 내의 이미지의 처리는 하나 이상의 조건이 충족되는 것에 기초하여 수행된다. 예컨대, 원시 이미지 데이터는 (즉, 처리하기 위해) 이용가능한 완료되지 않은 이미지가 존재하는 경우에 처리될 수 있다. 다른 예로써, 원시 이미지 데이터는 이용가능한 완료되지 않은 이미지가 존재할 때 및 이미지 캡처 장치가 턴 오프(예컨대, 파워 다운)되었을 때 또는 다른 이미지 캡처 또는 사용자 동작(예컨대, 사용자 지시 이미지 처리, 미리보기 이미지의 사용자 개시 뷰잉) 없이 특정 시간이 지났을 때 처리될 수 있다. 그러한 방식으로, 원시 이미지 데이터의 후위 처리가 장치의 사용자의 이용에 눈에 띄지 않는 것이 보장될 수 있다.
몇몇 예시적인 실시예에서, 전위 및 후위 스테이지의 다양한 프로세스는 상대적 우선순위에 기초하여 실행된다. 비 제한적인 예로써, 전위 프로세스는 후위 프로세스보다 높은 우선순위를 가질 수 있다. 다른 비 제한적인 예로써, SW는 하나 이상의 전위 프로세스(예컨대, 특정 전위 프로세스)가 현재 실행되고 있는 동안에 하나 이상의 후위 프로세스의 실행을 허용하지 않을 수 있다. 이는 예컨대, 프로세서 이용, 프로세서 효율, 프로세서 속도, 저장 속도(예컨대, 메모리 판독 또는 메모리 기록 동작), 샷 투 샷 시간 및/또는 전력 소비를 관리할 때 유용할 수 있다. 다른 비 제한적인 예로써, 이미지 캡처 장치가 턴 오프되거나 파워 다운될 때까지 이미지 처리는 허용되지 않을 수 있다.
이상의 예시적인 실시예에서 하나 이상의 파일 시스템에 관하여 설명되지만, 다른 실시예에서 중간 파일이 비 제한적인 예로써, 휘발성 메모리(예컨대, RAM) 및/또는 비휘발성 메모리(예컨대, 파일 시스템, 플래시 메모리)와 같은 임의의 적합한 저장 매체에 임시로 또는 영구히 저장될 수 있다. 이와 유사하게, 처리된 이미지 파일(적어도 처리된 이미지 데이터를 포함함)은 비 제한적인 예로써, 휘발성 및/또는 비휘발성 메모리와 같은 임의의 적합한 저장 매체에 임시로 또는 영구히 저장될 수 있다. 중간 파일 및 처리된 이미지 파일 중 하나 또는 양자 모두는 내부 메모리(예컨대, RAM, 개별 내부 메모리 또는 다른 내부 저장 매체) 및/또는 장치에 외부적이거나 부착된 메모리(예컨대, 분리형 메모리, 플래시 카드, 메모리 카드, 부착된 하드 드라이브, 부착된 저장 장치, 부착된 컴퓨터)에 임시로 또는 영구히 저장될 수 있다.
전술한 바와 같이, 중간 파일은 적어도 원시 이미지 데이터를 포함한다. 다른 예시적인 실시예에서, 중간 파일은 캡처된 이미지 및/또는 원시 이미지 데이터에 관한 추가적인 정보 및/또는 데이터를 포함한다. 비 제한적인 예로써, 중간 파일은 원시 이미지 데이터에 대응하는 캡처된 이미지에 대한 미리보기 이미지를 포함할 수 있다. 그러한 방식으로, 미리보기 이미지는 사용자에 의해 쉽게 보여질 수 있다(예컨대, 디스플레이 상에 도시된 미리보기 이미지를 가질 수 있다). 다른 비 제한적인 예로써, 처리 파라미터는 중간 파일 내에 저장될 수 있다. 그 저장된 처리 파라미터는 나중에 갱신될 수 있다. 비 제한적인 예로써, 중간 파일에 저장된 원시 이미지 데이터는 손실이 없거나 실질적으로 손실이 없는 이미지 데이터를 포함할 수 있다. 다른 예시적인 실시예에서, 중간 파일은 또한 원시 이미지 데이터 외에 처리된 이미지 데이터(예컨대, 처리된 이미지 데이터가 획득되는 원시 이미지 데이터)를 저장할 수 있다.
다른 예시적인 실시예에서, 중간 파일은 추가적인 동작 또는 기능(즉, 원시 이미지 데이터의 저장 및 이미지 처리에 대한 액세스 이상)에 사용될 수 있다. 예컨대, 몇몇 경우에 중간 파일은 압축되지 않은 이미지 파일(예컨대, BMP와 유사함)로서 간주될 수 있고, 쉽게 액세스되고, 보이며, 전송되고/전송되거나 줌잉되어, SW가 최종 저장된 JPEG 이미지에 대해 제공(예컨대, 원시 이미지 데이터에 이미지 처리를 수행함)하는 순간에, SW가 처리되지 않은 이미지에 여전히 다양한 이미징 특징을 제공할 수 있다.
원시 이미지 데이터를 저장하기 위해(예컨대, 후위 처리) 중간 파일을 사용하는 것은 매우 유동적인 솔루션을 제공한다. 이는 상이한 메모리 유형에 저장될 수 있고/있거나 메모리 유형 사이에서 쉽게 이동될 수 있다. 이는 또한 전술한 것과 같은 최종 이미지가 제공하는 이미징 애플리케이션 특징을 제공할 수 있다. 또한, 몇몇 예시적인 실시예에서, 이 파일은 (예컨대, 제한된 리소스 때문에) 이미지 캡처 장치 상에서 이용가능하지 않을 수도 있는 보다 집약적인 이미지 처리 알고리즘을 사용하여 처리되도록 컴퓨터 또는 다른 장치로 보내질 수 있다. 만일 이 파일의 포맷이 공개되면, 인기 있는 제3자 소프트웨어 개발자가 그들의 애플리케이션에 관련 디코더를 포함시킬 가능성이 있다. 또한, 전술한 바와 같이 파일에 대한 하나의 가능한 애플리케이션의 비 제한적인 예로써, 장치는 저장된 원시 데이터 파일에 기초하여 미리보기 이미지의 뷰잉을 가능하게 하는 원시(베이어) 이미지 뷰어 애플리케이션을 포함할 수 있다. 다른 예시적인 실시예에서, 중간 파일의 포맷은 사유 포맷(proprietary format)을 포함할 수 있다.
원시 이미지 데이터가 보통 베이어 데이터로 지칭됨을 알아야 한다. 원시 베이어 데이터 파일은 일반적으로 비트맵 파일보다 작지만 압축된 JPEG 파일보다 훨씬 크다. 그러나, 원시 베이어 데이터는 손실이 없거나 실질적으로 손실이 없을 수 있고(예컨대, DPCM/PCM 코딩됨), 일반적으로 HW 센서에 의해 캡처된 이미지 데이터의 가장 순수한 형태를 나타낼 수 있다. 그러므로, 이 이미지 데이터는 예컨대, 다수의 정교한 알고리즘을 사용하여 조작될 수 있다.
본 발명의 하나 이상의 예시적인 실시예와 관련하여, 문제의 이미지 데이터(예컨대, 원시 이미지 데이터, 중간 파일에 저장된 이미지 데이터 및/또는 처리된 이미지 데이터)가 이용되고/이용되거나 임의의 적합한 컬러 공간 또는 모델을 사용하여 표현/설명될 수 있다. 비 제한적인 예로써, 이미지 데이터는 RGB 컬러 공간, YUV 컬러 공간 또는 Y'CbCr 컬러 공간을 이용할 수 있다.
비 제한적이고 예시적인 일 실시예에서, 카메라 애플리케이션 SW는 UI, 엔진 및 이미지 프로세서인 적어도 3 개의 구성요소를 포함한다. 3 개의 구성요소는 하나 이상의 운영 시스템 프로세스에서 구동할 수 있다(예컨대, 하나 이상의 운영 시스템 프로세스를 사용하여 작동되거나 제어될 수 있다). 또한, 3 개의 구성요소는 개별적으로 또는 동시에 작동할 수 있다. 3 개의 구성요소는 전술한 바와 같이 하나 이상의 프로세서 및/또는 다른 요소(예컨대, 회로, 집적 회로, ASIC, 칩, 칩셋)에서 구동될 수 있다. 전술된 예시적인 실시예에 따르면, UI 및 엔진은 일반적으로 전위 스테이지에서 작동하지만, 이미지 프로세서는 일반적으로 후위 스테이지에서 작동한다. 또한, 전술한 바와 같이, 3 개의 구성요소 중 2 개 이상은 병렬식으로(즉, 동시에) 작동할 수 있다.
도 3은 본 발명의 예시적인 실시예의 양상에 따른 예시적인 장치(카메라 60) 내의 구성요소 및 제어 경로의 도면을 도시한다. 사용자(62)는 UI(64)를 통해 카메라(60)와 상호작용한다. UI(64)는 엔진(ENG)(66)에 연결된다. ENG(66)는 이미지 프로세서(IPRO)(68) 및 카메라 센서(SENS)(70)에 연결된다. 도 3에 도시된 바와 같이 그리고 본 발명의 예시적인 실시예에 따르면, UI(64), ENG(66) 및 SENS(70)는 일반적으로 전위 스테이지에서 작동한다. 이와 달리, IPRO(68)는 후위 스테이지에서 작동한다. 몇몇 예시적인 실시예에서, ENG(66)는 (전술한 바와 같이) 조건이 충족되는 것에 응답하여 IPRO(68)와 같은 하나 이상의 후위 기능을 구현(예컨대, 개시, 제어)하도록 구성될 수 있다. 다른 예시적인 실시예에서, UI(64), ENG(66) 및 IPRO(68) 중 하나 이상은 하나 이상의 데이터 프로세서에 의해 구현되거나 하나 이상의 데이터 프로세서를 포함할 수 있다. 그러한 하나 이상의 데이터 프로세서는 플래시 카드, 플래시 메모리, RAM, 하드 드라이브 및/또는 임의의 다른 적합한 내부적이거나, 부착되거나 외부적인 저장 구성요소 또는 장치와 같은 하나 이상의 메모리(MEM1 80, MEM2 82)에 연결될 수 있다.
도 3에는 ENG(66)에만 연결되는 것으로 도시되지만, 다른 예시적인 실시예에서, SENS(70)는 다른 프로세스에도 연결될 수 있고 다른 프로세스에 의해서도 사용될 수 있다. 또한, 카메라(60)는 전위 스테이지 및/또는 후위 스테이지에서 수행하는 하나 이상의 추가적인 기능, 동작 또는 구성요소(소프트웨어 또는 하드웨어)를 포함할 수 있다. 몇몇 예시적인 실시예에서, 하나 이상의 프로세스는 전위 스테이지 및/또는 후위 스테이지에서 선택적으로 실행될 수 있다.
UI(64)는 카메라(60)가 사용자 입력(예컨대, 이미지를 캡처하기 위한 인스트럭션, 명령, 트리거) 및 (예컨대, 하나 이상의 광 또는 발광 다이오드를 통해, 디스플레이 스크린을 통해, 오디오 출력을 통해, 촉각 출력을 통해) 출력 정보를 수신할 수 있는 사용자(62)와의 인터페이스를 제공한다. 비 제한적인 예로써, UI(64)는 디스플레이 스크린, 터치 패드, 버튼, 키패드, 스피커, 마이크로폰, 음향 출력, 음향 입력 또는 다른 입력 또는 출력 인터페이스 구성요소(들) 중 하나 이상을 포함할 수 있다. UI(64)는 일반적으로 ENG(66)에 의해 제공된다. 도 3에 도시된 바와 같이, UI(64)는 미리보기 이미지를 표시하도록 구성된 디스플레이(DIS)(76) 및 적어도 트리거 이미지를 캡처하도록 구성된 적어도 하나의 사용자 입력(NIP)(78)을 포함한다.
ENG(66)는 SENS(70)와 통신하고, 예로써, 뷰파인더 이미지 처리를 제어한다. ENG(66)에 의해 미리보기 이미지가 처리되고 (UI(64)를 통해) DIS(76)로 드로잉된다. 스틸 이미지가 캡처되고 있을 때, ENG(66)는 SENS(70)로부터 원시 포맷의 스틸 이미지 데이터를 요청하고, 그 데이터를 중간 파일(IF)(72)로서 메모리(MEM1)(80)에 저장한다. ENG(66)는 미리보기 이미지를 처리하고 DIS(76)를 통해 표시한다. 몇몇 예시적인 실시예에서, ENG(66)는 캡처된 원시 이미지(예컨대, IF(72))에 대한 정보를 IPRO(68)로 전송할 수 있다. 그 후, ENG(66)는 뷰파인더를 다시 시작하고(DIS(76)), (INP(78)를 통해 사용자 입력에 응답하여, SENS(70)를 통해) 새로운 스틸 이미지를 캡처하도록 준비한다. 다른 예시적인 실시예에서, IPRO(68)는 MEM1(80) 자체로부터의(즉, ENG(66)를 통해 원시 이미지 데이터(IF(72))를 획득하지 않고도) 원시 이미지 데이터(IF(72))에 액세스한다. 그러한 예시적인 실시예는 IPRO(68)가 MEM1(80)에 연결되는 도 3에 도시된다.
IPRO(68)는 후위 스테이지에서 원시 이미지 데이터(IF(72))에 대해 처리를 수행한다. 만일 캡처된 원시 이미지 데이터가 없거나 처리되지 않은 원시 이미지 데이터(처리되지 않은 중간 파일)가 없으면, IPRO(68)는 처리가 필요할 때까지 대기한다. IPRO(68)는 처리된 이미지 데이터를 (예컨대, MEM1(80) 내의) 저장을 위해 ENG(66)로 다시 출력할 수 있다. 다른 예시적인 실시예에서, IPRO(68) 그 자체는 (예컨대, MEM1(80) 내의) 처리된 이미지 데이터의 저장에 참여할 수 있다. 비 제한적인 예로써, 처리된 이미지 데이터는 대응하는 IF(72)에 또는 개별 파일 또는 장소에 저장될 수 있다.
다른 예시적인 실시예에서, 카메라(60)가 하나 이상의 추가적인 메모리 또는 저장 구성요소(MEM2)(82)를 더 포함할 수 있음을 알아야 한다. 비 제한적인 예로써, MEM1(80)은 원시 이미지 데이터(IF(72))를 저장하는 데에만 사용되지만 MEM2(82)는 처리된 이미지 데이터를 저장하는 데 사용될 수 있다.
도 3의 예시적인 카메라(60)에서, 후위 처리는 ENG(66)에 의해 제어된다. 애플리케이션이 시작할 때, 3 개의 프로세스가 개시되고 ENG(66)는 SENS(70)로부터 뷰파인더 이미지를 요청한다. SENS(70)가 새로운 뷰파인더 이미지를 리턴할 때, ENG(66)는 이를 처리하고 (UI(64)를 통해) DIS(76)로 드로잉한다. ENG(66)는 또한 (예컨대, 현재 디스플레이된 뷰파인더 이미지를 갱신하도록) 새로운 뷰파인더 이미지를 요청한다. 만일 사용자(62)가 캡처 키(INP(78))를 누르면, ENG(66)는 SENS(70)로부터 원시 포맷의 새로운 스틸 이미지를 요청하고 이를 MEM1(80)에 IF(72)로서 저장한다. 다른 예시적인 실시예에서, ENG(66)는 또한 (캡처된 이미지의) 미리보기 이미지를 처리하고 그것을 DIS(76)로 드로잉한다. 몇몇 예시적인 실시예에서, ENG(66)는 또한 처리하기 위해 (예컨대, 즉시) 원시 이미지 데이터를 IPRO(68)로 전송할 수 있다. 다른 예시적인 실시예에서, ENG(66)는 IPRO)68)에게 처리되지 않은 원시 이미지 데이터(예컨대, IF(72))가 존재하고 IPRO(68)에 의해 이미지 처리할 준비가 되어 있다고 알릴 수 있다. 뷰파인더(DIS(76))는 실질적으로 즉시 다시 시작되고, 새로운 (다른) 스틸 이미지가 캡처될 수 있도록 새로운 뷰파인더 이미지는 도시된다.
몇몇 예시적인 실시예에서, IPRO(68)의 동작 또는 개시는 다른 전위 동작(예컨대, ENG(66), UI(64), SENS(70))보다 낮은 우선순위를 갖는다. 다른 예시적인 실시예에서, IPRO(68)는 예컨대, 다른 동작(예컨대, 전위 동작)이 발생하지 않으면, 높은 우선순위로 동작할 수 있다. 비 제한적인 예로써, 이는 카메라(60)가 턴 오프되거나 대기 모드에 진입하는 경우에 발생할 수 있다. 다른 예시적인 실시예에서, ENG(66) 또는 다른 구성요소는 IPRO(68)가 작동중이어야 하는지를 판단하도록 구성되고 이에 따라 지시한다. 자명한 바와 같이, 몇몇 예시적인 실시예에서, 전위 및 후위 스테이지는 우선순위에 의해 분리되는데, 전위 동작은 사용자(62)에 대한 가시성 때문에 후위 동작보다 높은 우선순위를 갖는다.
도 4는 도 3에 도시된 예시적인 카메라(60)의 특징을 통합하는 다른 예시적인 카메라(88)를 도시한다. 도 4의 예시적인 카메라(88)에서, MEM1(80)(IF(72)를 저장함)은 ENG(66) 및 IPRO(68)에 의해 액세스 가능할 뿐만 아니라 다른 구성요소 및 프로그램에 의해서도 액세스 가능하다. 비 제한적인 예로써, 도 4에서, MEM1(80)(및 IF(72) 및/또는 처리된 이미지 데이터)은 파일 브라우저(FBRW)(90), 이미지 갤러리(IGAL)(92) 및 제3자 애플리케이션(3PA)(94)에 의해 또한 액세스 가능하다. 그러한 방식으로, IF(72) 및/또는 처리된 이미지 데이터는 추가적인 구성요소, 프로그램 및 애플리케이션에 의해 액세스 가능할 수 있고/있거나 사용될 수 있다.
다른 예시적인 실시예에서, 적어도 하나의 구성요소, 예컨대, ENG(66)는 캡처된 이미지에 대한 이미지 큐를 가지거나 감독할 수 있다. IPRO(68)가 이미지 처리를 완료하였을 때, 큐 내의 다음 이미지를 처리하기 시작한다. 만일 사용자(62)가 애플리케이션을 종료하고 더 이상 처리될 이미지가 존재하지 않으면, 모든 프로세스가 종료된다. 몇몇 예시적인 실시예에서, 만일 처리될 이미지가 더 존재하면(즉, 큐가 비어있지 않음), 뷰파인더가 턴 오프되더라도 ENG(66) 및 IPRO(68)는 셧 다운하지 않는다(즉, 애플리케이션을 종료하는 사용자 때문에 UI(64)만 종료됨). 이 경우에, IPRO(68)는 더 많은 처리 시간을 가지며 예컨대, 감소한 전력 소비 때문에 뷰파인더가 턴 온될 때보다 이미지를 빠르게 처리할 수 있다. 모든 이미지가 처리되었을 때, ENG(66)는 이미지가 (즉, 큐 내에) 더 이상 남아있지 않은지 및 카메라(60)가 턴 오프되는지(예컨대, UI(64)가 종료되었는지)를 판단하므로, ENG(66) 및 IPRO(68)는 현재 필요하지 않으며(즉, 계속 활성일 필요가 없음) 둘 다 종료된다.
도 5b, 5c, 5e 및 5f는 본 발명의 예시적인 실시예에 따라 카메라에 대한 이미지 큐 및 후위 처리에 관한 예시적인 프로세스를 설명하는 순서도를 도시한다. 단계(1 내지 3)에서, UI, 엔진 및 이미지 프로세서를 초기화하는 애플리케이션이 시작된다. 따라서, 단계(4 내지 6)는 사용자가 캡처 키를 누를 때까지(단계 7, 8) 현재의 VF 이미지를 생성하도록 반복된다. 일단 캡처 키가 눌러지면(단계 7, 8), 새로운 스틸 이미지가 캡처되고(단계 9, 10) 메모리에 저장된다(단계 11). 캡처된 이미지에 대한 미리보기 이미지가 처리되고 디스플레이로 드로잉된다(단계 12). 디스플레이로 드로잉된 미리보기 이미지는 사용자가 캡처되었던 스틸 이미지를 보고/보거나 고려할 수 있게 한다.
캡처된 이미지는 또한 처리하는 이미지 큐(처리 큐 또는 이미지 처리 큐로도 지칭될 수 있음)에 추가된다. 캡처된 이미지는 큐 내의 유일한 이미지이므로, 캡처된 이미지는 처리하는 이미지 프로세서로 전달된다(단계 13). 단계(14 내지 16)는 디스플레이 상의 VF 이미지의 획득, 처리 및 드로잉을 도시하고, 단계(4 내지 6)와 유사하게, 필요에 따라(예컨대, 캡처 키가 눌러질 때까지 또는 카메라 애플리케이션이 턴 오프되거나 디스에이블링될 때까지) 반복된다.
단계(17, 18)에서, 캡처 키는 눌려지고 제 2 스틸 이미지가 캡처되며(단계 19, 20) 메모리에 저장된다(단계 21). 제 2 캡처된 이미지에 대해 미리보기 이미지가 처리되고 디스플레이로 드로잉된다(단계 22). 제 2 이미지가 큐 내의 제 2 제 2 이미지이므로, 처리를 기다릴 것이다. 즉, 이미지 프로세서가 제 1 이미지(이미지 1) 처리를 완료하였으면, 큐 내의 다음 이미지(이 경우에, 제 2 이미지(이미지 2))를 처리하기 시작할 것이다. 단계(23 내지 25)는 디스플레이 상의 VF 이미지의 획득, 처리 및 드로잉을 도시하고, 단계(4 내지 6 및 14 내지 16)와 유사하게, 필요에 따라 반복된다.
단계(26, 27)에서, 캡처 키가 세 번째 눌려지고 제 3 스틸 이미지가 캡처되며(단계 28) 메모리에 저장된다(단계 29). 제 2 캡처된 이미지에 대해 미리보기 이미지가 처리되고 디스플레이로 드로잉된다(단계 30). 이때, 제 3 이미지(이미지 3)는 큐에서 세 번째이다. 단계(31 내지 33)는 디스플레이 상의 VF 이미지의 획득, 처리 및 드로잉을 도시하고, 단계(4 내지 6, 14 내지 16 및 23 내지 25)와 유사하게, 필요에 따라 반복된다.
단계(34)에서, 이미지 프로세서는 제 1 이미지 처리를 완료하고, 큐 내의 다음 이미지(제 2 이미지, 이미지 2)에 대해 준비가 되었다고 엔진에게 시그널링한다. 엔진은 처리하기 위해 이미지 프로세서로 큐 내의 다음 이미지를 전송한다(단계 35). 제 2 이미지가 처리를 위해 전송된 후에, 큐는 현재 처리를 위해 남은 2 개의 이미지(제 2 및 제 3 이미지, 즉, 처리되지 않은 이미지)를 갖는다.
단계(36, 37)에서, 사용자는 카메라 애플리케이션을 종료한다. 이에 응답하여, VF 동작이 정지되고(즉, VF가 중지됨, 단계 38), UI가 종료된다(단계 39). 그러나, 엔진 및 이미지 프로세서는 처리되지 않은 이미지, 즉, 제 2 이미지(현재 이미지 프로세서에 의해 처리되고 있음) 및 제 3 이미지가 큐 내에 남아 있으므로 턴 오프되지 않는다. 단계(40)에서, 이미지 프로세서는 제 2 이미지 처리를 완료하고 엔진을 시그널링한다. 큐 내의 마지막 이미지인 제 3 이미지는 처리하기 위해 이미지 프로세서로 전송된다(단계 41). 단계(42)에서, 이미지 프로세서는 제 3 이미지 처리를 완료한다. 큐 내에 처리되지 않은 이미지가 남아있지 않으므로, 엔진은 이미지 프로세서에게 종료하라고 지시한다. 그 후, 엔진은 동작을 중지하고 종료한다(단계 44). 이제, 전체 애플리케이션은 종료되고 캡처된 모든 이미지는 처리되었다.
다른 예시적인 실시예에서, 정지 특징이 이용될 수 있다. 정지 특징은 사용자가 카메라 모듈 또는 SENS(70)를 사용하는 것을 일시적으로 중지할 수 있게 함으로써 전력 소비를 감소시킨다. 그러한 방식으로, IPRO(68)는 더 많은 처리 시간을 얻을 수 있고 이미지는 더 빨리 처리될 수 있다. 이는 또한 카메라 모듈이 사용되고 있지 않으며, 뷰파인더 프레임에 처리(즉, 뷰파인더 이미지를 반복적으로 획득하고, 처리하며, 디스플레이하기 위한 처리)가 필요하지 않으므로 전력 소비를 더 감소시킬 것이다.
몇몇 환경 또는 시스템에서, 애플리케이션을 종료하고 재개하는 것보다 정지 기능을 이용하는 것이 더 쉽거나 편할 수 있다. 그러한 사용의 예는 사용자가 때때로 아닌 자신이 이미지를 캡처할 것임을 알고 있는 경우이지만, 가까운 미래는 아니다. 만일 큐 내에 처리될 이미지가 존재하면, 애플리케이션을 재개하는 것은 오랜 시간이 걸릴 수 있고 사용자는 자신이 캡처하기 원하는 장면을 놓칠 수 있다. 정지 특징을 사용함으로써, 애플리케이션을 더 빨리 재활성화할 것이며 이미지를 다시 캡처할 수 있을 것이다. 이 정지 기능은 구성요소의 재초기화가 필요하지 않을 것이므로 예컨대, 개별 이미지 프로세서를 사용하는 오토 포커스(auto-focus) 카메라 또는 카메라에 특히 적합할 수 있다.
도 6은 본 발명의 예시적인 실시예에 따라 카메라에 대해 구현될 수 있는 정지 특징에 관한 예시적인 프로세스를 설명하는 순서도를 도시한다. 도 6에서, 사용자가 큐 내에 2 개의 이미지가 존재하도록 2 개의 이미지를 캡처하고, 도 6에 도시된 바와 같이, 이미지 프로세서가 현재 제 1 이미지(이미지 1)를 처리하고 있다고 가정한다. 단계 1에서, 사용자는 UI를 통해(단계 2) 정지 특징을 활성화한다("정지 버튼 누름"). 이에 응답하여, 엔진은 VF를 비활성(중지)화하며(단계 3), 따라서 이미지 프로세서에 대한 처리 시간을 늘리고 카메라에 의한 전체 전력 소비를 감소시킨다. 이미지 프로세서는 도 5에서 제 1 이미지의 처리를 완료하고(단계 4), 처리할 제 2 이미지를 수신하며(단계 5), 제 2 이미지의 처리를 완료하는(단계 6) 것으로 동작한다. 그 후, 작동되는 정지 특징 때문에 모든 프로세스는 대기 상태에 있다. 단계 7에서, 사용자는 UI를 통해(단계 8) 정지 특징을 비활성화한다("정지 끄기 누름"). 이처럼, 엔진은 VF를 관리하고, 현재의 VF 이미지가 획득되고, 처리되며 디스플레이로 드로잉되게 한다(단계 9 내지 11).
본 발명의 예시적인 실시예를 실시할 때 사용하기에 적합한 다양한 전자 장치의 간략한 블록도를 도시하는 도 7을 참조한다. 도 7에서, 무선 네트워크(12)는 액세스 노드(AN)(16)를 통해 사용자 장비(UE)(14)와 통신하도록 구성된다. UE(14)는 데이터 프로세서(DP)(18), DP(18)에 연결된 메모리(MEM1)(20) 및 DP(18)에 연결된 적합한 RF 송수신기(TRANS)(22)(송신기(TX) 및 수신기(RX)를 구비함)를 포함한다. MEM1(20)은 프로그램(PROG)(24)을 저장한다. TRANS(22)는 AN(16)과의 양방향 무선 통신용이다. TRANS(22)가 통신을 용이하게 하는 적어도 하나의 안테나를 가짐을 알아야 한다. DP(18)는 또한 사용자 인터페이스(UI)(26), 카메라 센서(CAM)(28) 및 이미지 프로세서(IPRO)(30)에 연결된다. UI(26), CAM(28) 및 IPRO(30)는 각각 본 명세서의 다른 곳에 설명된 바와 같이 예컨대, 도 3의 UI(64), SENS(70) 및 IPRO(68)와 유사하게 동작한다. 몇몇 예시적인 실시예에서, UE(14)는 DP(18) 및 IPRO(30)에 연결된 제 2 메모리(MEM2)(32)를 더 포함한다. MEM2(32)는 본 명세서의 다른 곳에 설명된 바와 같이, 예컨대, 도 3의 MEM2(82)와 유사하게 동작한다.
AN(16)은 데이터 프로세서(DP)(38), DP(38)에 연결된 메모리(MEM)(40) 및 DP(38)에 연결된 적합한 RF 송수신기(TRANS)(42)(송신기(TX) 및 수신기(RX)를 구비함)를 포함한다. MEM(40)은 프로그램(PROG)(44)을 저장한다. TRANS(42)는 UE(14)와의 양방향 무선 통신용이다. TRANS(42)가 통신을 용이하게 하는 적어도 하나의 안테나를 가짐을 알아야 한다. AN(16)은 데이터 경로(46)를 통해 예컨대, 인터넷(48)과 같은 하나 이상의 외부 네트워크 또는 시스템에 연결된다.
PROG(24, 44) 중 적어도 하나는 연관된 DP(18, 38)에 의해 실행될 때, 대응하는 전자 장치(14, 16)가 본 명세서에서 논의된 바와 같이 본 발명의 예시적인 실시예에 따라 동작하게 하는 프로그램 인스트럭션을 포함하는 것으로 가정한다.
일반적으로, UE(14)의 다양한 예시적인 실시예는 이동 노드, 이동국, 이동 전화기, 셀룰러 전화기, 무선 통신 능력을 가진 PDA, 무선 통신 능력을 가진 휴대용 컴퓨터, 무선 통신 능력을 가진 디지털 카메라와 같은 이미지 캡처 장치, 무선 통신 능력을 가진 게임 장치, 무선 통신 능력을 가진 음악 저장 및 재생 장치, 무선 인터넷 액세스 및 브라우징을 허용하는 인터넷 장치, 및 이러한 기능의 조합을 통합하는 휴대용 유닛 또는 단말기를 포함할 수 있지만, 이것으로 제한되지 않는다.
본 발명의 실시예는 UE(14) 및 AN(16)의 DP(18, 38) 중 하나 이상에 의해, 하드웨어에 의해, 또는 소프트웨어와 하드웨어의 조합에 의해 실행가능한 컴퓨터 소프트웨어에 의해 구현될 수 있다.
MEM(20, 32, 40)은 로컬 기술 환경에 적합한 임의의 유형에 속할 수 있고, 비 제한적인 예로써, 반도체 기반 메모리 장치, 자기 메모리 장치 및 시스템, 광학 메모리 장치 및 시스템, 고정 메모리 및 분리형 메모리와 같은 임의의 적합한 데이터 저장 기술을 사용하여 구현될 수 있다. DP(18, 38)는 로컬 기술 환경에 적합한 임의의 유형에 속할 수 있고, 비 제한적인 예로써, 범용 컴퓨터, 특별 용도 컴퓨터, 마이크로프로세서, DSP 및 멀티 코어 프로세서 아키텍처에 기초한 프로세서 중 하나 이상을 포함할 수 있다.
도 8은 본 발명의 예시적인 실시예에 따라 예시적인 이미지 캡처 시스템(300)에 대한 하드웨어 및 소프트웨어 상호작용을 도시한다. 구성요소/프로세스는 2 개의 카테고리, 즉, 본 명세서의 다른 곳에 설명된 바와 같이 기능하는 전위(302) 및 후위(303)로 분할된다.
센서(304)는 예컨대, 사용자 입력에 응답하여(예컨대, UI를 통해) 이미지 데이터를 캡처한다. DMA 제어기(DMA CONTR)(306)는 메모리(MEM1)(308) 상의 원시 이미지 데이터(RAW)의 저장을 지원한다. 전위 제어기(FG CONTR)(310)는 MEM1(308)에 저장된 원시 데이터에 액세스하고 이와 관련된 다양한 동작을 감독한다. 예컨대, FG CONTR(310)는 원시 데이터를 판독할 수 있고 중간(IM) 파일(316)을 생성할 수 있다. 몇몇 예시적인 실시예에서, FG CONTR(310)는 원시 데이터를 판독하고 원시 이미지 데이터에 대응하는 미리보기 이미지(312)를 생성하는 빠른 이미지 처리를 감독한다. 다른 예시적인 실시예에서, 생성된 미리보기 이미지가 디스플레이된다(314).
몇몇 예시적인 실시예에서, IM 파일(316)은 원시 이미지 데이터(320)뿐만 아니라 생성된 미리보기 이미지(318)도 포함할 수 있다. 예로써, 미리보기 이미지(318)를 IM 파일(316) 내에/함께 저장하는 것은 이미지 뷰잉 애플리케이션(IMG 뷰어)(326)이 IM 파일(316)에 쉽게 액세스하고 임의의 다른 처리를 수행해야 할 필요 없이 대응하는 미리보기 이미지를 디스플레이할 수 있게 한다.
몇몇 예시적인 실시예에서, 미리보기 이미지(318)는 IM 파일(316) 내에/함께 저장되지 않는다. 그러한 경우에, IMG 뷰어(326)는 예컨대, IM 파일(316)의 파일 포맷을 지원함으로써, 캡처된 이미지를 디스플레이하는 데 여전히 원시 이미지 데이터(320)를 이용할 수 있다. 몇몇 예시적인 실시예에서, FG CONTR(310)는 미리보기 이미지를 생성한다.
IM 파일(316)은 또한 하나 이상의 전위 애플리케이션(APPL)(324)에 의해 액세스되고, 처리되며(APPL PROC)(322) 및/또는 사용될 수 있다. 비 제한적인 예로써, APPL(324) 및/또는 사용은 MMS, 배경화면, 화면 보호기, 이미지 공유 시스템 또는 이미지 데이터의 사용 또는 통신을 허용하는 임의의 다른 시스템 또는 프로그램과 관련될 수 있다.
후위 제어기(BG CONTR)(328)는 또한 IM 파일(316)에 대한 액세스를 가지며 이와 관련된 다양한 후위 동작을 감독한다. 비 제한적인 예로써, BG CONTR(328)는 후위 이미지 처리(BG IMG PROC)(330), 후위 이미지 저장(BG IMG w저장)(332) 및/또는 BG IMG PROC(330)에 대한 하나 이상의 큐에 관한 동작을 관찰할 수 있다.
BG IMG PROC(330)는 IM 파일(316) 내의 원시 이미지 데이터(320)를 처리하고 처리된 이미지 데이터(예컨대, JPEG 또는 BMP)를 생성한다. BG IMG 저장(320)은 예컨대, 비휘발성 메모리에 대한 이미지 데이터(예컨대, 원시 이미지 데이터 및/또는 처리된 이미지 데이터)의 후위 저장을 가능하게 한다. 비 제한적인 예로써, BG IMG 저장(332)의 작업 우선순위는 BG IMG PROC(330)에 대한 우선순위보다 높을 수 있다. 또한, 몇몇 예시적인 실시예에서, 원시 이미지 데이터의 저장이 후위(303)에서 발생한다고 고려함으로써, 샷 투 샷 시간이 조금 더 감소할 수 있고 메모리 속도는 영향을 덜 받을 수 있다. 다른 예시적인 실시예에서, 예컨대, 도 13 내지 도 19에 관하여 더 상세히 후술되는 바와 같이, 하나 이상의 버퍼는 BG IMG 저장(332)과 관련하여 이용될 수 있다. 다른 예시적인 실시예에서, 제 2 메모리(MEM2)(334)는 IM 파일(316) 및/또는 처리된 이미지 데이터의 저장에 이용된다. 다른 예시적인 실시예에서, 처리된 이미지 데이터는 수정된 IM 파일에 포함되고 이와 함께 저장된다.
다른 예시적인 실시예에서, 예시적인 시스템은 BG CONTR(328)을 포함하지 않는다. 그 대신에, 본 명세서에서 더 설명되는 바와 같이, 다양한 후위 구성요소 및 동작이 직접 IM 파일(316)에 액세스한다. 시스템의 사용자에게 이용가능한 옵션 및 선택이 증가함에 따라, 사용자의 선택에 기초하여 동작을 제어하고 처리하도록 BG CONTR(328)을 포함하는 것이 더 바람직할 수 있다.
몇몇 예시적인 실시예에서, IM 파일(316)은 "재사용된다". 즉, 처리된 이미지 데이터도 IM 파일(316)에/내에 저장된다. 다른 예시적인 실시예에서, IM 파일(316)은 캡처된 이미지 데이터가 처리된 후에 저장된다. 그러한 방식으로, IM 파일(316)은 적어도 원시 이미지 데이터 및 처리된 이미지 데이터를 포함할 것이다. 이는 예컨대, 사용자가 이후에 (예컨대, 이미지 처리를 향상시키거나 변경하도록) 보다 강한 시스템을 사용하여 원시 이미지 데이터를 재처리하기를 원하면 유용할 수 있다. 몇몇 예시적인 실시예에서, APPL(324)은 (예컨대, 원시 데이터(320)가 BG IMG PROC(330)에 의해 처리되기 전에 또는 후에) 저장된 IM 파일(316)을 사용함으로써 BG CONTR(328)에 액세스하고 사용할 수 있다.
도 9는 본 발명의 예시적인 실시예를 실시하는 방법의 비제한적인 예를 설명하는 순서도를 도시한다. 사용자는 캡처 버튼을 눌러서 새로운 이미지 데이터를 캡처한다(401). UI 애플리케이션은 제 5 샷, 샷 5에 대한 이미지 캡처를 요청한다(402). FG CONTR(310)은 센서(304)로부터 원시 이미지 데이터를 요청한다(403). 센서(304)로부터의 원시 이미지 데이터는 MEM1(308)에 적어도 일시적으로 저장된다(404). FG CONTR(310)은 미리보기 이미지를 획득하도록 원시 이미지 데이터를 처리한다(405). FG CONTR(310)은 미리보기 이미지의 디스플레이를 감독한다(406). 후위 처리를 위한 메모리가 존재하는지 여부가 고려된다(407). 만일 메모리가 존재하지 않거나 양이 부족하면(아니오), FG CONTR(310)은 전위에서 예컨대, 원시 이미지 데이터를 JPEG로 변환함으로써 이미지 처리를 수행하고, 이를 저장한다. 만일 메모리 또는 충분한 양의 메모리가 존재하면(예), FG CONTR(310)은 적어도 원시 이미지 데이터(320)를 포함하고 선택적으로 미리보기 이미지(318)를 포함하는 IM 파일(316)을 생성한다(409).
그 다음에, 후위 처리가 활성인지 여부가 고려된다(410). 만일 활성이 아니면(아니오), FG CONTR(310)은 후위 처리 작업을 시작한다(411). 만일 후위 처리가 활성이면(예), 방법은 이 단계를 수행하지 않는다(411 통과). 그 다음에, FG CONTR(310)은 캡처된 이미지 데이터(샷 5)에 대한 파일을 후위 캡처 큐에 추가한다(412). 일반적으로, 샷은 큐의 뒤에 추가된다. 그러나, 다른 예시적인 실시예에서, 다양한 우선순위 관계에 따라 큐 내에 샷이 삽입가될 수 있다(예컨대, 후술되는 도 10 참조). FG CONTR(310)은 이미지 캡처 또는 적어도 이미지 캡처의 전위 스테이지가 완료되었다고 시그널링하는 메시지를 전송함으로써 UI 애플리케이션에 응답한다(413). 몇몇 예시적인 실시예에서, 미리보기 이미지를 생성하는 FG CONTR(310) 대신에, UI 애플리케이션은 IM 파일(316)을 판독하고 미리보기 이미지를 생성한다(414). 이어서 방법은 추가적인 이미지 데이터의 캡처의 준비를 위해 시작으로 리턴한다. 단계(409)에서 FG CONTR(310)에 의해 미리보기 이미지가 생성되었으면, 단계(414)는 생략될 수 있다.
도 10은 본 발명의 예시적인 실시예를 실시하는 방법의 다른 비 제한적인 예를 설명하는 순서도를 도시한다. 도 10은 또한 예시적인 방법에 관하여 다양한 상태에서 큐를 도시한다. UI 애플리케이션은 후위 처리 큐에 샷(10, 8, 11)에 대한 IM 파일을 추가할 것을 요청한다(501). 후위 처리가 활성인지 여부가 고려된다(502). 만일 활성이 아니면(아니오), FG CONTR(310)은 후위 처리 작업을 시작한다(503). 만일 활성이면(예), 후위 처리 작업이 시작되지 않는다(503 통과). FG CONTR(310)은 샷(10, 8, 11)에 대한 IM 파일을 후위 프로세스 큐에 추가한다(504). 이 경우에, 샷(10, 8, 11)의 (그 순서대로) 추가 이전에, 큐에 IM 파일은 존재하지 않았다. 이처럼, 샷 10의 IM 파일, 일렬 내의 제 1 샷(예컨대, 최고 우선순위를 가진 샷)에 대한 후위 처리는 시작되었다(A).
그 다음에, 다른 이미지가 캡처된다고 가정한다(샷 12). FG CONTR(310)은 샷 12에 대한 IM 파일을 후위 캡처 큐에 추가한다(505)(B). 샷 12에 큐 내의 다른 샷(샷 8, 11)보다 높은 우선순위가 주어짐을 알아야 한다. 비 제한적인 예로써, 이는 사용자가 캡처된 이미지를 즉시 사용하기를(예컨대, 그것을 다른 것과 공유하기를) 원하는 것 때문일 수 있다. UI 애플리케이션은 (샷 9에 대한) 다른 IM 파일을 후위 프로세스 큐에 추가하도록 요청한다(506). FG CONTR(310)은 샷 9에 대한 IM 파일을 후위 프로세스 큐에 추가한다(507).
그 다음에, 샷 10의 후위 처리가 완료된다고 가정한다(508)(C). 큐 내에 다른 이미지가 존재하는지 여부가 고려된다(509). 이 경우에, 여전히 다른 샷들 이상의 우선순위를 가진, 샷들 중 하나, 샷 12를 사용하여 처리되기를 원하는 4 개의 이미지가 존재한다. 그런 경우에(예), 샷 12에 대해 후위 처리가 시작되었다(510)(D).
도 10은 후위 프로세스 큐 및 후위 캡처 큐인 2 개의 큐를 이용하는 예시적인 실시예를 도시한다. 2 개의 큐는 처리되지 않은 이미지 데이터(즉, 처리되지 않은 이미지) 중에 둘 이상의 유형의 우선순위가 존재할 수 있음을 나타낸다. 예컨대, 후위 이미지 처리의 경우에, 새롭게 캡처된 이미지(예컨대, 후위 캡처 큐 내의 이미지)는 초기에 캡처된 이미지(예컨대, 후위 프로세스 큐 내의 이미지)보다 높은 우선순위를 가질 수 있다. 예컨대, 처리될 이미지의 활성 큐가 존재하는 동안 장치의 전력 순환 때문에, 초기에 캡처된, 처리되지 않은 이미지가 남아있을 수 있다. 다른 예로써, 사용자는 처리되지 않은 이미지를 포함하는 메모리 카드를 삽입할 수 있다. 그러한 방식으로, 둘 이상의 큐가 사용되면, 큐 그들 자체 사이에 제 1 우선순위가 존재하고 각각의 큐 내의 처리되지 않은 이미지 중 개별 큐 내에 제 2 우선순위가 존재할 수 있다.
도 10에 2 개의 큐를 사용하여 도시되지만, 다른 예시적인 실시예에서 비 제한적인 예로써, 단 하나의 큐 또는 셋 이상의 큐와 같은 상이한 수의 큐가 사용될 수 있다. 예컨대, 단일 큐가 사용되면, 우선순위는 (예컨대, 후위 이미지 처리를 사용하여) 이미지가 처리되는 순서를 규정할 수 있다. 그러한 경우에, 원시 이미지가 어디(예컨대, 이미지 센서, 초기 캡처)에서 오는지 원시 이미지가 큐 내에 어떻게(예컨대, 새롭게 캡처된 이미지, 초기 캡처, 초기 캡처되지만 장치는 턴오프되지 않음) 도달하는지는 중요하지 않을 것이지만, 몇몇 예시적인 실시예에서, 그러한 양상은 큐 내의 하나 이상의 이미지의 위치에 영향을 줄 수 있다.
도 10은 샷 10이 샷 8, 11 이전에 처리되고 샷 12이 샷 8, 11 및 9 이전에 처리되는 예를 도시한다. 몇몇 예시적인 실시예에서, 예컨대, 단계(501)에서 처리 순서는 UI 구성요소에 의해 제어되고/제어되거나 선택된다. 일단 순서가 선택되면, 후위 프로세스 큐는 그 순서를 반영하도록 파퓰레이팅된다. 몇몇 예시적인 실시예에서, 큐의 끝에 새로운 샷이 추가된다. 다른 예시적인 실시예에서, 초기 샷 이전에 새로운 샷이 처리된다. 몇몇 예시적인 실시예에서, 큐 내의 샷의 순서/배열은 재처리(예컨대, 재구성)될 수 있다. 다른 예시적인 실시예에서, 그러한 재구성은 사용자에 의해 제어되거나 구현될 수 있다. 다른 예시적인 실시예에서, 사용자는 자신이 하나 이상의 처리되지 않은 이미지가 가능한 빨리 처리되기를 원한다고 나타낼 수 있다. 그러한 경우에, 이미지는 후위 대신에 전위에서 처리될 수 있다.
도 11은 본 발명의 예시적인 실시예를 실시하는 방법의 다른 비 제한적인 예를 설명하는 순서도를 도시한다. 도 11은 또한 예시적인 방법에 관하여 다양한 상태에서 큐를 도시한다. 도 11의 경우에, 샷 3, 4, 5 및 6이 그 순서대로 후위 캡처 큐 내에 있는 동안 샷 2가 현재 후위 이미지 처리를 받고 있다고 가정한다(G).
사용자는 예컨대, 이미지 공유 애플리케이션을 사용하여, 이미지(샷 5)를 사용자의 갤러리로부터 전송하기를 원한다(601). UI 애플리케이션은 이미지(샷 5)가 큐 내의 다음 이미지로서 우선순위가 다시 매겨지는 것을 요청한다(602). 샷 5가 현재 후위 처리를 받고 있는지 여부가 고려된다(603). 만일 예라면(예), 방법은 단계(606)로 진행된다. 만일 아니라면(아니오), 샷 5가 큐 내의 다음 샷인지 여부가 고려된다(604). 만일 예라면(예), 방법은 단계(606)로 진행된다. 만일 아니라면(아니오), FG CONTR(310)은 큐의 우선순위를 다시 매겨서, 샷 5가 다음에 처리되게 한다(605)(H). FG CONTR(310)은 이미지를 다음 위치로 우선순위를 다시 매기는 것이 완료되었다고 시그널링하는 메시지를 전송함으로써 UI 애플리케이션에 응답한다(606). 이 응답은 연관된 처리의 완료를 시그널링하지 않는다.
그 다음에, 후위 프로세서가 샷 2 처리를 완료하였다고 가정한다(607)(I). 큐 내에 다른 이미지가 존재하는지 여부가 고려된다(608). 만일 그렇다면, 후위 프로세서는 다음 이미지, 샷 5를 처리하기 시작한다(609)(J). 일단 후위 프로세서가 샷 5 처리를 완료하였으면(610), 큐 내의 연속하는 처리되지 않은 이미지에 대해 단계(608 내지 610)가 반복된다.
다른 예시적인 실시예에서, 다수의 후위 작업(예컨대, 후위 작업의 다수의 카피 또는 인스턴스화)이 또한 존재할 수 있다. 다수의 후위 작업을 가짐으로써, 카메라 시스템은 다수의 메모리 버퍼의 더 나은 이점을 가질 수 있고 다수의 후의 작업의 동시 동작을 가능하게 할 수 있다. 다수의 후위 작업은 비 제한적인 예로써, 중간 파일 생성 및/또는 후위 이미지 처리를 포함할 수 있다. 몇몇 예시적인 실시예에서, 후위 작업으로서 중간 파일 저장이 수행될 수 있다. 그러한 예시적인 실시예에서, 후위 중간 파일 저장의 우선순위를 후위 이미지 처리에 대한 우선순위보다 높게 설정하는 것이 바람직할 수 있다.
전술한 바와 같이, 하나 이상의 버퍼(예컨대, 메모리 버퍼)는 본 발명의 예시적인 실시예와 관련하여 이용될 수 있다. 몇몇 예시적인 실시예에서, 적어도 2 개의 메모리 버퍼를 사용함으로써 전위 내 추가 지연 개선이 구현될 수 있다. 그러한 방식으로, 제한된 메모리 리소스 때문에 지연이 거의 존재하지 않을 것(지연이 덜 존재할 것)이므로, 후속 동작(예컨대, 추가 샷을 이용하는 것, 추가 샷을 최소로 처리하는 것 및 추가 샷을 메모리에 저장하는 것)이 수행되기 전에 요구되는 시간은 더 감소할 수 있다. 메모리 버퍼의 원하는 개수는 비 제한적인 예로써, 중간 파일의 생성 및 저장에 필요한 시간, 후위 파일 저장에 대한 구성 또는 속도 및/또는 이용가능한 메모리의 양과 같은 하나 이상의 요인에 의존할 수 있다. 이와 유사하게, 직렬 샷팅(shooting) 또는 시간 넛지(nudge)를 이용하는 것은 캡처된 원시 베이어 이미지에 대해 더 많은 메모리 버퍼를 필요로 할 수 있다. 몇몇 예시적인 실시예에서, 다수의 메모리 버퍼의 사용은 다수의(예컨대, 모든) 경우에 실질적으로 일정하거나 동일한 캡처 속도를 제공할 수 있다.
몇몇 예시적인 실시예에서, 공통 또는 공유된 메모리 버퍼는 전위 및 후위 작업 모두에 이용될 수 있다. 이용가능한 메모리 버퍼를 공유함으로써, 리소스는 최고 우선순위를 가진 작업에 할당될 수 있으므로, 리소스의 보다 효율적인 사용을 가능하게 한다. 또한, 전술한 바와 같이, 다수의 메모리 버퍼는 비 제한적인 예로써, 다수의 전위 및/또는 후위 작업의 병렬(예컨대, 동시) 실행을 가능하게 하며, 그러한 병렬 실행은 상대적 우선순위의 사용에 의해 지시된다.
예시적인 일 실시예에서, 카메라 센서는 (예컨대, DMA를 사용하여) 메모리 버퍼로 전송되는 원시 베이어 이미지 데이터를 생성한다. 새로운 원시 이미지 데이터에 대한 표시는 후위 파일 저장(BGFS) 프로세스로 전송되고 뷰파인더는 재활성화된다. 새로운 스틸 이미지 캡처가 필요할 때, 원시 베이어 데이터는 다시 카메라 센서로부터 인출되고, DMA를 사용하여 예컨대, 카메라 인터페이스(예컨대, CSI-2/CCP2)를 통해 제 1 비어있는 메모리 버퍼(예컨대, SDRAM과 같은 휘발성 메모리)로 전송된다. 문제의 메모리는 비 제한적인 예로써, 정적 할당되거나 동적 할당될 수 있다.
전위(FG) 동작 및 BGFS 프로세스는 어떤 버퍼가 비어있고 어떤 버퍼가 비어있지 않은지에 관하여 현재까지 남아있도록 서로 통신할 수 있다. BGFS 프로세스는 본 명세서의 다른 곳에서 논의된 바와 같이, 메모리 버퍼 내에 저장된 원시 베이어 이미지 데이터에 대해 최소 처리(예컨대, 회전)를 수행하고 그 후 원시 이미지 데이터를 중간 파일 내에 저장할 수 있다. 몇몇 예시적인 실시예에서, BGFS 프로세스에 의해 스냅샷(snapshot) 생성(예컨대, 원시 이미지 데이터에 대한 미리보기 이미지의 생성)이 수행되고, 중간 파일 내에/함께 저장될 수 있다. 이는 갤러리 애플리케이션이 원시 이미지 데이터에 대응하는 이미지(예컨대, 미리보기 이미지)를 빠르게 표시하는 것을 가능하게 할 것이다. 몇몇 예시적인 실시예에서, 최소 처리는 필요하지 않거나 바람직하지 않을 수 있다. 만일 중간 파일 저장 시간이 이미지 캡처 시간에 가깝거나 동일하면, 버퍼 스톨에 기인하는 지연(대기)을 방지하고 일정한 이미지 캡처 시간(예컨대, 샷 투 샷 시간)을 가능하게 하는 데 2-버퍼 솔루션이 이용될 수 있다. 몇몇 예시적인 실시예에서, 버퍼의 동작은 메모리 장치(예컨대, 메모리 카드 또는 메모리 저장장치) 상에 중간 파일용으로 충분한 공간이 존재할 때의 여부에 따르거나 의존할 수 있다.
몇몇 예시적인 실시예에서, 카메라는 DMA, MMU에 의해 또는 프로세서와 동적으로 할당되는 메모리(예컨대, 메모리 버퍼 또는 이의 일부)로의 (예컨대, 카메라 센서에 의해 캡처된 원시 이미지 데이터의) 인스턴트 데이터 카피를 가능하게 한다. 몇몇 예시적인 실시예에서, 제 1 메모리 버퍼는 고속 저장 속도를 가능하게 하는 인접 메모리를 포함한다. 다른 예시적인 실시예에서, 다른 메모리 버퍼가 반드시 인접 메모리일 필요는 없다.
도 13은 본 발명의 예시적인 실시예에 따라 디지털 이미지 캡처 시스템(700) 내의 다수의 메모리 버퍼(716)의 사용 및 예시적인 프로세스의 멀티 스테이지 동작에 대한 블록도를 도시한다. 도 13에 도시된 예시적인 프로세스는 전위(SW) 동작(701)(동작 711 내지 713), 후위 중간 파일 생성 및 저장 동작(702)(동작 721 내지 723) 및 후위 이미지 처리 및 최종 이미지 저장 동작(703)(동작 731 내지 735)인 독립적인 스테이지로 분리된다. 전술한 바와 같이, 전위 및 후위 스테이지는 어떤 유형도 서로 개별적으로 프로세스를 수행하도록 서로 독립적이다.
전위 동작(701)은 후속 프로세스를 포함한다. 711에서, 카메라 센서는 (예컨대, 사용자가 이미지 캡처 버튼을 누르는 것에 응답하여) 원시 이미지 데이터를 생성한다. 712에서, 원시 이미지 데이터는 이용가능한 메모리 버퍼 x에 (예컨대, 빠르게) 저장된다. 713에서, 디지털 뷰파인더가 재활성화되어 사용자가 제 2 이미지를 캡처할 수 있게 한다(711로 리턴). 다른 예시적인 실시예에서, 전위 SW 동작(711)은 캡처된 이미지에 대한 미리보기 이미지를 디스플레이하는 단계를 더 포함할 수 있다. 미리보기 이미지는 비 제한적인 예로써, 원시 이미지 데이터 및/또는 중간 파일에 기초할 수 있다.
후위 중간 파일 생성 및 저장 동작(702)은 후속하는 프로세스를 포함한다. 721에서, 메모리 버퍼 x로부터 원시 이미지 데이터가 액세스되거나 불려온다. 722 및 723에서, 원시 이미지 데이터에 최소 처리가 수행되고 그 결과가 중간 파일로서 (예컨대, 파일 시스템, 동일한 메모리 버퍼, 상이한 메모리 버퍼 또는 다른 저장 매체 내에) 저장된다.
후위 이미지 처리 및 최종 이미지 저장 동작(703)은 후속하는 프로세스를 포함한다. 731에서, 원시 이미지 데이터를 포함하는 중간 파일이 파일 시스템으로부터 로딩된다. 732에서, 처리된 이미지 데이터를 획득하기 위해 원시 이미지 데이터에 이미지 처리가 수행된다. 733에서, 이미지는 비 제한적인 예로써, RGB 또는 YUV와 같은 중간 포맷으로 변환된다. 734에서, 결과는 비 제한적인 예로써, GIF 또는 JPEG와 같은 다른 포맷으로 압축된다. 735에서, 결과는 ("처리된 이미지 데이터") 최종 처리된 이미지로서 파일 시스템에 저장된다. 이어서 후위 이미지 처리 및 최종 이미지 저장 동작은 다른 처리되지 않은 이미지(처리되지 않은 원시 이미지 데이터를 포함하는 처리되지 않은 중간 파일)의 추가 처리를 위해 731로 리턴한다.
도 13의 예시적인 카메라 시스템(700)은 복수의 공유(예컨대, 공통) 메모리 버퍼(716)를 포함한다. 공유된 메모리 버퍼(716)는 적어도 전위 동작(701) 및 후위 중간 파일 생성 및 저장 동작(702)에서 사용하기 위한 것이다. 버퍼(716)는 편의를 위해 1부터 N까지 넘버링된다. 몇몇 예시적인 실시예에서, 더 많거나(예컨대, 4 개보다 많음) 더 적은(예컨대, 1 개 또는 2 개) 메모리 버퍼가 사용될 수 있다. 다른 예시적인 실시예에서, 메모리 버퍼(716)의 각각은 예컨대, 버퍼가 사용되어야 하는 작업 또는 작업들에 따라 구별될 수 있다. 비 제한적인 예로써, 공유된 메모리 버퍼(716)는 원시 이미지 데이터의 임시 저장(단계 712, 721)에만 사용되는 2 개의 특정의 고속 메모리 버퍼(예컨대, 메모리 버퍼(1) 및 메모리 버퍼(2))를 포함할 수 있다. 다른 예시적인 실시예에서, 상이한 수의 고속 메모리 버퍼가 사용될 수 있다.
다른 예시적인 실시예에서, 공유된 메모리 버퍼(716)는 또한 후위 이미지 처리 및 최종 이미지 저장 동작(703)에 의해 이용될 수 있다. 그러한 예시적인 실시예에서, 메모리 버퍼의 단일의 공유된 풀이 이용될 수 있다. 다양한 프로세스 및 동작은 공유된 메모리 버퍼(716)를 효율적으로 이용하도록 상대적 우선순위에 의해 구별될 수 있다. 예컨대, 본 명세서의 다른 곳에 더 상세히 설명된 바와 같이, 전위 동작(701)은 예컨대, 샷 투 샷 시간을 감소시키도록 후위 동작(702, 703)보다 높은 우선순위를 가질 수 있다. 다른 예로써, BGFS 동작은 중간 우선순위를 가질 수 있지만, 후위 이미지 처리 동작은 최저 우선순위를 가질 수 있다.
도 13에 개별 단계 또는 박스로서 도시되지만, 설명된 3 개 이상의 단계가 하나 이상의 구성요소에 의해 동시에 수행될 수 있다. 예컨대, 몇몇 예시적인 실시예에서, 변환(733)이 원시 이미지 데이터의 이미지 처리(732) 동안에 수행된 하나의 기능으로서 고려될 수 있다.
도 14 내지 도 19는 상이한 예시적인 카메라 시스템에 대한 버퍼 사용의 다양한 예를 도시한다. 이들 도면에서, 주어진 행 내의 박스가 특정 시간 단위에 발생하는 동작을 나타내도록 그리드의 하위 행에 시간의 단위 또는 증가가 도시된다. 동작은 전위(FG) 동작 및 후위 동작으로 분리된다. FG 동작은 주로 카메라 시스템의 사용자가 경험할 수 있는 샷 투 샷 시간(예컨대, 대기, 지연)을 나타내기 위한 것이다. 목적은 지연을 감소시키고 사용자가 가능한 한 빠르게 이미지를 캡처할 수 있게 하는 것이다. 예시를 위해, 도 14 내지 도 19는 각각의 이미지가 캡처된 후에 뷰파인더를 재활성화하는 것과 연관된 시간을 도시하거나 나타내지 않는다. 이와 유사하게, 이들 도면은 또한 캡처된 이미지 데이터에 대한 미리보기 이미지의 생성 또는 디스플레이와 연관된 동작을 도시하거나 나타내지 않는다. 또한, 후위 이미지 처리 작업(BGFS)은 도시된 메모리 버퍼를 사용하거나 점유하지 않는다.
도 14 내지 도 19에서, 이미지 x("C x")의 캡처는 대응적으로 이미지 x("R x")에 대한 캡처 원시 이미지 데이터를 저장하도록 버퍼(예컨대, 버퍼 y, "Buffy"로 지칭됨)의 사용을 필요로 한다. 또한, 이미지 데이터가 이미지 x(예컨대, 중간 파일; "F x")에 대한 파일에 저장될 때까지 후위 이미지 처리 작업("BGPS")이 이미지 데이터를 처리하도록 시작할 수 없다고 가정한다. 이들 도면에서, 개별 이미지가 처리되고 저장되는 곳 및 때(예컨대, 어떤 버퍼에 원시 이미지 데이터가 일시적으로 저장되는지)를 더 도시하도록 홀수 번호 이미지에 대한 동작이 음영처리되었다. 만일 박스가 그 안에 수 x만 가지면(예컨대, BGPSz에 대한 행(들) 참조), 이는 문제의 작업 또는 프로세스가 그 시간 단위(시간 t)에서 이미지 x에 대해 동작함을 나타낸다.
몇몇 예시적인 실시예에서, 이미지 데이터가 파일(예컨대, 중간 파일)에 저장되기 전이라도 BGPS가 이미지 처리를 시작할 수 있음을 알아야 한다. 비 제한적인 예로써, 이는 이미지 버퍼를 "고정"하며, 파일에 저장될 이미지를 기다리지 않고 버퍼를 직접 사용함으로써 구현될 수 있다. 이미지 버퍼는 그 후 이미지 처리가 완료될 때 빈다. 다른 예시적인 실시예에서, BGPS는 이미지 처리를 시작하도록 제 1 버퍼로부터 다른 버퍼로 데이터를 카피할 수 있으며 따라서 파일 저장을 기다림으로써 초래되는 어떠한 지연도 방지한다.
도 14는 최소 처리를 가진 단일 메모리 버퍼를 구비한 본 발명의 예시적인 실시예에 대한 버퍼 사용의 예를 도시한다. 단 하나의 버퍼("Buff")만 존재하므로, 전위 동작은 새로운 이미지 데이터가 캡처될 수 있기 전에 버퍼가 소거되기를 기다려야 한다. 이처럼, 사용자는 샷들 사이의 상당한 지연(3 시간 단위)을 겪는다. 후위 이미지 처리(BGPS)는 이미지 캡처 동작과 독립적으로 작동하므로, 카메라 시스템의 샷 투 샷 시간에 영향을 주지 않음을 알아야 한다.
도 15는 최소 처리를 가진 2 개의 메모리 버퍼를 이용하는 본 발명의 예시적인 실시예에 대한 버퍼 사용의 예를 도시한다. 도 15에서 알 수 있듯이, 샷 투 샷 시간은 도 14의 카메라 시스템에 대한 샷 투 샷 시간 미만이다. 2 개의 버퍼("Buff1" 및 Buff2")를 사용함으로써, 이미지 x의 최소 처리 및 이미지 x에 대한 파일 저장에 의해 부가되는 지연은 감소한다.
도 16은 최소 처리가 없는 2 개의 메모리 버퍼를 이용하는 본 발명의 예시적인 실시예에 대한 버퍼 사용의 예를 도시한다. 알 수 있듯이, 최소 처리를 제거함으로써, 샷 투 샷 시간은 더 감소한다. 도 16의 예시적인 카메라 시스템에서, 사용자는 시스템이 캡처된 원시 이미지 데이터의 적합한 파일 저장을 고려하는 한 빨리 이미지를 캡처할 수 있다.
도 17은 최소 처리를 가진 6 개의 메모리 버퍼 및 2 개의 후위 이미지 프로세서를 이용하는 본 발명의 예시적인 실시예에 대한 버퍼 사용의 예를 도시한다. 도 17의 예시적인 카메라 시스템은 6 개의 상이한 버퍼를 이용함으로써 샷 투 샷 시간을 감소시킨다. 도 17에서, 캡처된 원시 이미지 데이터("R x")를 저장하는 데 필요한 시간 및 이미지("P x")의 최소 처리에 필요한 시간이 이미지마다 변할 수 있음을 알아야 한다. 그러나, 이 일치하지 않는 타이밍을 고려하여, 예시적인 카메라 시스템은 복수의 버퍼가 증가한 유동성 및 강건성을 제공하므로 사용자에게 일정하게 낮은 지연을 제공할 수 있다. 더 많은 메모리 버퍼(예컨대, 6 개의 버퍼보다 많음)가 추가적인 유동성 및/또는 일관성을 제공할 수 있다. 또한, 예컨대, 사용자가 다른 이미지보다 빨리 처리된 특정 이미지를 갖기를 원하면, 도 17에서 2 개의 후위 이미지 처리 작업("BGPS1" 및 "BGPS2")의 사용이 시스템 및/또는 사용자에 대한 추가적인 유동성을 제공함을 알아야 한다.
도 18은 최소 처리를 가지지만 단일 후위 프로세서만을 가진 9 개의 메모리 버퍼 및 2 개의 후위 이미지 프로세서를 이용하는 본 발명의 예시적인 실시예에 대한 버퍼 사용의 예를 도시한다. 도 18에서, 단일 후위 프로세스("Proc")가 최소 처리("P x") 및 파일 저장("F x")의 작업을 감독해야 한다고 가정한다. 이처럼, 단일 후위 프로세서가 최소 처리 및 파일 저장에 이용가능할 때까지 캡처된 원시 이미지 데이터가 각각의 버퍼("Buffy")에 보유되므로, 병목이 증가한다.
도 19는 최소 처리를 가진 3 개의 메모리 버퍼, 2 개의 후위 이미지 프로세서 및 2 개의 후위 프로세서를 이용하는 본 발명의 예시적인 실시예에 대한 버퍼 사용의 예를 도시한다. 도 19에서 알 수 있듯이, 최소 이미지 처리 및 파일 저장에 제 1 후위 프로세서("Proc")를 지원하도록 제 2 후위 프로세서("Proc2")를 제공함으로써, 병목이 제거된다. 도 19의 예시적인 카메라 시스템에서, 2 개의 후위 프로세서 및 3 개의 메모리 버퍼는 사용자가 샷들 사이의 최소 지연(예컨대, 대기)(예컨대, 샷 투 샷 시간)을 겪음을 보장하는 데 충분하다.
본 발명의 다른 예시적인 실시예가 상이한 수의 메모리 버퍼("Buffy"), 후위 프로세서("Proc"), 후위 이미지 처리 작업("BGPSz") 및/또는 스테이지(예컨대, 추가적인 후위 처리 스테이지)의 상이한 조합을 사용할 수 있음을 알아야 한다.
본 명세서에서 이용된 바와 같이 및 당업자가 이해하는 바와 같이, 버퍼는 예컨대, 데이터가 한 장소에서 다른 장소로 이동되는 동안, 데이터를 보유하는 데 사용된 메모리의 영역이다. 전형적으로, 비 제한적인 예로써, 데이터는 입력 장치(예컨대, 키보드와 같은 사용자 입력)로부터 불려올 때 또는 출력 장치(예컨대, 프린터)로 전송되기 바로 전에 버퍼에 저장된다. 버퍼는 또한 장치 내의 프로세스들 사이에 데이터를 이동시킬 때 사용될 수 있다. 버퍼는 하드웨어 또는 소프트웨어로 구현될 수 있다. 비 제한적인 예로써, 단일 메모리 구성요소(예컨대, 메모리, 칩, 프로세서)는 이용가능한 리소스를 할당함으로써 복수의 메모리 버퍼에 이용될 수 있다. 비 제한적인 예로써, 버퍼는 전형적으로 데이터가 수신되는 속도와 데이터가 처리될 수 있는 속도의 차가 존재할 때 또는 이들 속도가 가변인 경우에 사용된다.
적어도 하나의 메모리 버퍼에 관하여 전술되었지만, 본 발명의 다른 예시적인 실시예는 예컨대, 적어도 하나의 메모리 버퍼 대신 또는 외에 하나 이상의 메모리 캐시를 사용할 수 있다. 당업자가 이해하는 바와 같이, 캐시는 다른 곳에 저장되거나 먼저 계산된 원래의 값을 복제하는 데이터의 수집이며, 원래의 데이터는 캐시를 판독하는 비용에 비해, (예컨대, 긴 액세스 시간 때문에) 인출하거나 계산하기가 비싸다. 즉, 캐시는 빠른 액세스를 위해 빈번히 액세스되는 데이터가 (예컨대, 일시적으로) 저장될 수 있는 임시 저장 영역이다. 일단 데이터가 캐시에 저장되면, 평균 액세스 시간이 더 짧도록, 원래의 데이터를 재인출하거나 재계산하는 것이 아니라 캐싱된 카피에 액세스함으로써 추가 사용이 이루어질 수 있다. 따라서, 캐시는 캐싱된 데이터가 가까운 미래에 (예컨대, 반복적으로) 액세스될 것이라고 예상될 때 특히 효율적이다.
본 발명의 예시적인 실시예는 또한 컴퓨터, 단말기, 게임 장치, 음악 저장장치 및 재생 장치 및 인터넷 장치를 포함하지만, 이것으로 제한되지 않는 고정 전자 디바이스 또는 장치와 함께 이용될 수 있다.
본 발명의 예시적인 실시예는 (예컨대, 정지 특징을 사용하여) 개선된 유용성 및 잠재적으로 감소한 전력 소비를 제공한다. 또한, 원시 이미지 데이터를 사용함으로써 이미지를 캡처한 후 즉시 빠른 이미지 미리보기가 실질적으로 제공된다. 또한, 예시적인 실시예는 짧은 샷 투 샷 시간을 가능하게 한다.
본 발명의 예시적인 실시예는 종래 기술의 이미지 캡처 시스템(예컨대, 카메라)에서 종종 문제가 되는 연관된 지연 중 하나 이상을 감소시킴으로써 종래의 이미지 캡처 방법, 컴퓨터 프로그램, 장치 및 시스템 이상의 장점을 제공한다. 예컨대, 몇몇 예시적인 실시예는 순차적인 촬영 사이의 지연을 감소시키거나 실질적으로 (예컨대, 버스트 모드 시스템에 대한) 정지를 제거함으로써 샷 투 샷 시간을 개선한다. 몇몇 예시적인 실시에는 예컨대, 뷰파인더가 촬영 후 사진을 보다 빠르게 디스플레이할 수 있게 함으로써, 사용자 감지 이미지 처리 시간을 감소시킨다. 비 제한적인 예시적 일 실시예에서, 원시 이미지 데이터(즉, 실질적으로 처리되지 않음)는 예컨대, 후속 이미지 캡처와 같은 다른 동작과 병렬로 원시 이미지 데이터의 후속 처리를 가능하게 하도록 저장된다.
본 발명의 추가적인 예시적 실시예에서, 고속 생성 시간(예컨대, 최소 이미지 처리 또는 이미지 처리가 없으므로)을 가진 중간 파일 포맷은 샷 투 샷 시간을 감소시키는 데 이용된다. 다른 예시적인 실시예에서, 중간 파일은 뷰잉 또는 조작에 사용될 수 있도록 고속 액세스되기 쉽다. 다른 예시적인 실시예에서, 처리된 이미지 파일 및/또는 대응하는 이미지 파일을 비 제한적인 예로써, 예컨대, JPEG와 같은 다른 파일 포맷으로 생성하도록 중간 파일에 후위 이미지 처리 및/또는 변환이 수행된다.
이하 비 제한적인 예시적 실시예의 다른 설명이 제공된다. 후술되는 예시적인 실시예는 명확성 및 식별을 위해 개별적으로 넘버링된다. 이 넘버링은 하나 이상의 예시적인 실시예의 다양한 양상이 하나 이상의 다른 양상 또는 예시적인 실시예와 관련하여 실시될 수 있으므로 이하 설명을 완전히 분리하는 것으로 해석되어서는 안 된다.
(1) 도 12에 도시된 바와 같이, 방법은 디지털 이미지 캡처 장치 내에서 적어도 하나의 전위 동작을 실행하는 단계 -적어도 하나의 전위 동작은 적어도 하나의 센서를 통해 원시 이미지 데이터를 캡처하는 단계와, 캡처된 원시 이미지 데이터를 중간 파일로서 저장하는 단계 및 디지털 뷰파인더를 활성화하는 단계를 포함함- (121)와, 디지털 이미지 캡처 장치 내에서 적어도 하나의 후위 동작을 실행하는 단계 -적어도 하나의 후위 동작은 중간 파일에 액세스하는 단계와, 처리된 이미지 데이터를 획득하도록 중간 파일의 원시 이미지 데이터에 대해 이미지 처리를 수행하는 단계 및 처리된 이미지 데이터를 저장하는 단계를 포함함- 를 포함하되, 적어도 하나의 후위 동작은 적어도 하나의 전위 동작과 독립적으로 실행된다(122).
위와 같이 방법에서, 적어도 하나의 전위 동작은 캡처된 원시 이미지 데이터에 기초하여 미리보기 이미지를 생성하는 단계와, 생성된 미리보기 이미지를 디지털 뷰파인더 상에 디스플레이하는 단계를 더 포함한다. 이전과 같이 방법에서, 생성된 미리보기 이미지는 캡처된 원시 이미지 데이터와 함께 중간 파일에 저장된다. 위와 같이, 방법은 파워 오프 명령, 종료 애플리케이션 명령 또는 정지 명령에 응답하여 적어도 하나의 전위 동작의 실행을 중지하는 단계와, 적어도 하나의 후위 동작을 계속 실행하는 단계를 더 포함한다. 위와 같이 방법에서, 디지털 뷰파인더를 활성화하는 단계는 현재의 뷰파인더 이미지 데이터를 획득하는 단계와, 현재의 뷰파인더 이미지를 획득하도록 획득된 현재의 뷰파인더 이미지 데이터를 처리하는 단계와, 획득된 현재의 뷰파인더 이미지를 디지털 뷰파인더 상에 디스플레이하는 단계를 포함하되, 디지털 뷰파인더는 디지털 뷰파인더 상에 생성된 미리보기 이미지를 디스플레이하는 것에 이어서 활성화된다.
위와 같이 방법에서, 처리된 이미지 데이터는 캡처된 원시 이미지 데이터와 함께 중간 파일에 저장된다. 위와 같이 방법에서, 중간 파일에 저장된 원시 이미지 데이터는 실질적으로 손실이 없는 이미지 데이터를 포함한다. 위와 같이 방법에서, 적어도 하나의 전위 동작은 적어도 하나의 센서를 통해 제 2 원시 이미지 데이터를 캡처하는 단계와, 캡처된 제 2 원시 이미지 데이터를 제 2 중간 파일로서 저장하는 단계 및 디지털 뷰파인더를 재활성화하는 단계를 더 포함하되, 제 2 원시 이미지 데이터는 적어도 하나의 후위 동작이 실행되는 동안 캡처된다. 위와 같이 방법에서, 적어도 하나의 후위 동작은 제 2 후위 동작의 세트를 더 포함하되, 제 2 후위 동작의 세트는 제 2 중간 파일에 액세스하는 단계와, 처리된 제 2 이미지 데이터를 획득하도록 제 2 중간 파일의 제 2 원시 이미지 데이터에 대해 이미지 처리를 수행하는 단계 및 처리된 제 2 이미지 데이터를 저장하는 단계를 포함하되, 제 2 후위 동작의 세트는 추가적인 원시 이미지 데이터의 캡처와 동시 발생하지 않는 시간에 수행된다. 위와 같이 방법에서, 적어도 하나의 후위 동작은 적어도 하나의 전위 동작과 동시에 실행된다. 위와 같이 방법에서, 적어도 하나의 후위 동작의 후위 동작은 처리 속도, 저장 속도, 프로세서 이용가능성 또는 저장장치 이용가능성 중 적어도 하나에 따라 선택적으로 실행된다. 위와 같이 방법에서, 디지털 이미지 캡처 장치는 카메라 또는 카메라 기능을 가진 이동 장치를 포함한다.
위와 같이 방법에서, 디지털 뷰파인더를 활성화하는 단계는 현재의 뷰파인더 이미지 데이터를 획득하는 단계와, 현재의 뷰파인더 이미지를 획득하도록 획득된 현재의 뷰파인더 이미지 데이터를 처리하는 단계 및 획득된 현재의 뷰파인더 이미지를 디지털 뷰파인더 상에 디스플레이하는 단계를 포함한다. 위와 같이 방법에서, 제 2 후위 동작의 세트는 처리 속도, 저장 속도, 프로세서 이용가능성 또는 저장장치 이용가능성 중 적어도 하나에 따라 선택적으로 수행된다. 위와 같이 방법에서, 제 2 후위 동작의 세트는 시스템 이벤트에 응답하여 수행된다. 위와 같이 방법에서, 캡처된 원시 데이터는 중간 파일에 저장되기 전에 최소로 처리된다. 위와 같이 방법에서, 방법은 컴퓨터 프로그램으로서 구현된다.
위와 같이 방법에서, 캡처된 원시 이미지 데이터는 복수의 메모리 버퍼를 사용하여 중간 파일로서 저장된다. 위와 같이 방법에서, 처리된 이미지 데이터는 복수의 메모리 버퍼를 사용하여 저장된다. 위와 같이 방법에서, 캡처된 원시 이미지 데이터를 저장하는 것과 처리된 이미지 데이터를 저장하는 것 중 적어도 하나에 공유된 복수의 메모리 버퍼가 사용된다.
(2) 동작들을 수행하기 위해 기계에 의해 실행가능한 프로그램 인스트럭션을 유형적으로 구현하는, 기계에 의해 판독가능한 프로그램 저장 장치에 있어서, 동작들은 디지털 이미지 캡처 장치 내에서 적어도 하나의 전위 동작을 실행하는 단계 -적어도 하나의 전위 동작은 적어도 하나의 센서를 통해 원시 이미지 데이터를 캡처하는 단계와, 캡처된 원시 이미지 데이터를 중간 파일로서 저장하는 단계 및 디지털 뷰파인더를 활성화하는 단계를 포함함- (121)와, 디지털 이미지 캡처 장치 내에서 적어도 하나의 후위 동작을 실행하는 단계 -적어도 하나의 후위 동작은 중간 파일에 액세스하는 단계와, 처리된 이미지 데이터를 획득하도록 중간 파일의 원시 이미지 데이터에 대해 이미지 처리를 수행하는 단계 및 처리된 이미지 데이터를 저장하는 단계를 포함함- 를 포함하되, 적어도 하나의 후위 동작은 적어도 하나의 전위 동작과 독립적으로 실행된다(122).
위와 같이 프로그램 저장 장치에서, 적어도 하나의 전위 동작은 캡처된 원시 이미지 데이터에 기초하여 미리보기 이미지를 생성하는 단계와, 생성된 미리보기 이미지를 디지털 뷰파인더 상에 디스플레이하는 단계를 더 포함한다. 이전과 같이 프로그램 저장 장치에서, 생성된 미리보기 이미지는 캡처된 원시 이미지 데이터와 함께 중간 파일에 저장된다. 위와 같이, 프로그램 저장 장치에서, 동작들은 파워 오프 명령, 종료 애플리케이션 명령 또는 정지 명령에 응답하여 적어도 하나의 전위 동작의 실행을 중지하는 단계와, 적어도 하나의 후위 동작을 계속 실행하는 단계를 더 포함한다. 위와 같이 프로그램 저장 장치에서, 디지털 뷰파인더를 활성화하는 단계는 현재의 뷰파인더 이미지 데이터를 획득하는 단계와, 현재의 뷰파인더 이미지를 획득하도록 획득된 현재의 뷰파인더 이미지 데이터를 처리하는 단계와, 획득된 현재의 뷰파인더 이미지를 디지털 뷰파인더 상에 디스플레이하는 단계를 포함하되, 디지털 뷰파인더는 디지털 뷰파인더 상에 생성된 미리보기 이미지를 디스플레이하는 것에 이어서 활성화된다.
위와 같이 프로그램 저장 장치에서, 처리된 이미지 데이터는 캡처된 원시 이미지 데이터와 함께 중간 파일에 저장된다. 위와 같이 프로그램 저장 장치에서, 중간 파일에 저장된 원시 이미지 데이터는 실질적으로 손실이 없는 이미지 데이터를 포함한다. 위와 같이 프로그램 저장 장치에서, 적어도 하나의 전위 동작은 적어도 하나의 센서를 통해 제 2 원시 이미지 데이터를 캡처하는 단계와, 캡처된 제 2 원시 이미지 데이터를 제 2 중간 파일로서 저장하는 단계 및 디지털 뷰파인더를 재활성화하는 단계를 더 포함하되, 제 2 원시 이미지 데이터는 적어도 하나의 후위 동작이 실행되는 동안 캡처된다. 이전과 같이 프로그램 저장 장치에서, 적어도 하나의 후위 동작은 제 2 후위 동작의 세트를 더 포함하되, 제 2 후위 동작의 세트는 제 2 중간 파일에 액세스하는 단계와, 처리된 제 2 이미지 데이터를 획득하도록 제 2 중간 파일의 제 2 원시 이미지 데이터에 대해 이미지 처리를 수행하는 단계 및 처리된 제 2 이미지 데이터를 저장하는 단계를 포함하되, 제 2 후위 동작의 세트는 추가적인 원시 이미지 데이터의 캡처와 동시 발생하지 않는 시간에 수행된다. 위와 같이 프로그램 저장 장치에서, 적어도 하나의 후위 동작은 적어도 하나의 전위 동작과 동시에 실행된다. 위와 같이 프로그램 저장 장치에서, 적어도 하나의 후위 동작의 후위 동작은 처리 속도, 저장 속도, 프로세서 이용가능성 또는 저장장치 이용가능성 중 적어도 하나에 따라 선택적으로 실행된다. 위와 같이 프로그램 저장 장치에서, 디지털 이미지 캡처 장치는 카메라 또는 카메라 기능을 가진 이동 장치를 포함한다.
위와 같이 프로그램 저장 장치에서, 디지털 뷰파인더를 활성화하는 단계는 현재의 뷰파인더 이미지 데이터를 획득하는 단계와, 현재의 뷰파인더 이미지를 획득하도록 획득된 현재의 뷰파인더 이미지 데이터를 처리하는 단계 및 획득된 현재의 뷰파인더 이미지를 디지털 뷰파인더 상에 디스플레이하는 단계를 포함한다. 위와 같이 프로그램 저장 장치에서, 제 2 후위 동작의 세트는 처리 속도, 저장 속도, 프로세서 이용가능성 또는 저장장치 이용가능성 중 적어도 하나에 따라 선택적으로 수행된다. 위와 같이 프로그램 저장 장치에서, 제 2 후위 동작의 세트는 시스템 이벤트에 응답하여 수행된다. 위와 같이 프로그램 저장 장치에서, 캡처된 원시 데이터는 중간 파일에 저장되기 전에 최소로 처리된다. 위와 같이 프로그램 저장 장치에서, 기계는 디지털 이미지 캡처 장치를 포함한다.
위와 같이 프로그램 저장 장치에서, 캡처된 원시 이미지 데이터는 복수의 메모리 버퍼를 사용하여 중간 파일로서 저장된다. 위와 같이 프로그램 저장 장치에서, 처리된 이미지 데이터는 복수의 메모리 버퍼를 사용하여 저장된다. 위와 같이 프로그램 저장 장치에서, 캡처된 원시 이미지 데이터를 저장하는 것과 처리된 이미지 데이터를 저장하는 것 중 적어도 하나에 공유된 복수의 메모리 버퍼가 사용된다.
(3) 장치는 원시 이미지 데이터를 캡처하도록 구성된 적어도 하나의 센서(70)와, 원시 이미지 데이터를 저장하도록 구성된 제 1 메모리(80), 원시 이미지 데이터에 대한 미리보기 이미지 또는 뷰파인더 이미지 중 적어도 하나를 디스플레이하도록 구성된 디스플레이(76), 처리된 이미지 데이터를 획득하기 위해 저장된 원시 이미지 데이터를 처리하도록 구성된 이미지 프로세서(68) 및 처리된 이미지 데이터를 저장하도록 구성된 제 2 메모리(82)를 포함하되, 이미지 프로세서(68)는 적어도 하나의 센서(70) 및 디스플레이(76)와 독립적으로 작동하도록 구성된다.
위와 같이 장치는 적어도 하나의 센서, 제 1 메모리 및 디스플레이의 동작을 제어하도록 구성된 제어기를 더 포함한다. 위와 같이 장치에서, 원시 이미지 데이터는 중간 파일로 제 1 메모리 상에 저장된다. 위와 같이 장치에서, 중간 파일은 미리보기 이미지 또는 처리된 이미지 데이터 중 적어도 하나를 더 포함한다. 위와 같이 장치에서, 원시 이미지 데이터에 대한 미리보기 이미지는 적어도 하나의 센서에 의해 원시 이미지 데이터의 캡처에 후속하여 디스플레이 상에 디스플레이된다. 위와 같이 장치에서, 적어도 하나의 센서는 이미지 프로세서가 원시 이미지 데이터를 처리하고 있는 동안 제 2 원시 이미지 데이터를 캡처하도록 또한 구성된다. 위와 같이 장치에서, 이미지 프로세서는 적어도 하나의 센서에 의해 추가적인 원시 이미지 데이터의 캡처와 동시 발생하지 않는 시간에 원시 이미지 데이터를 처리하도록 또한 구성된다.
위와 같이 장치에서, 이미지 프로세서는 처리 속도, 저장 속도, 프로세서 이용가능성 또는 저장장치 이용가능성 중 적어도 하나에 따라 선택적으로 활성화된다. 위와 같이 장치에서, 제 1 메모리는 제 2 메모리를 포함한다. 위와 같이 장치에서, 장치는 디지털 이미지 캡처 장치를 포함한다. 위와 같이 장치에서, 디지털 이미지 캡처 장치는 카메라 또는 카메라 기능을 가진 이동 장치를 포함한다.
위와 같이 장치에서, 장치는 카메라 기능을 가진 셀룰러폰을 포함한다. 위와 같이 장치에서, 원시 이미지 데이터는 실질적으로 손실이 없는 이미지 데이터를 포함한다. 위와 같이 장치에서, 장치는 캡처된 원시 이미지 데이터에 기초하여 미리보기 이미지를 생성하도록 구성된 프로세서를 더 포함한다. 위와 같이 장치에서, 디스플레이는 적어도 하나의 센서가 원시 이미지 데이터를 캡처하는 것에 이어서 원시 이미지 데이터에 대한 미리보기 이미지를 디스플레이하도록 구성된다. 이전과 같이 장치에서, 디스플레이는 원시 이미지 데이터에 대한 미리보기 이미지를 디스플레이하는 것에 이어서 뷰파인더 이미지를 디스플레이하도록 구성된다. 위와 같이 장치에서, 이미지 프로세서는 시스템 이벤트에 응답하여 처리된 이미지 데이터를 획득하도록 저장된 원시 이미지 데이터를 처리하도록 구성된다. 위와 같이 장치에서, 장치는 제 1 메모리 상에 원시 이미지 데이터를 저장하기 전에 원시 이미지 데이터를 최소로 처리하도록 구성된 프로세서를 더 포함한다.
위와 같이 장치에서, 제 1 메모리는 원시 이미지 데이터를 저장하도록 구성된 복수의 메모리 버퍼를 포함한다. 위와 같이 장치에서, 제 2 메모리는 처리된 이미지 데이터를 저장하도록 구성된 복수의 메모리 버퍼를 포함한다. 위와 같이 장치에서, 제 1 메모리와 제 2 메모리 중 적어도 하나는 복수의 메모리 버퍼를 포함한다. 위와 같이 장치에서, 제 1 메모리와 제 2 메모리 중 적어도 하나는 원시 이미지 데이터와 처리된 이미지 데이터 중 적어도 하나를 (예컨대, 임시로) 저장하도록 구성되는 공유된 메모리 버퍼 세트(예컨대, 풀, 공통 풀)를 구현하도록 구성된다.
(4) 장치는 원시 이미지 데이터를 캡처하는 수단(70), 원시 이미지 데이터를 저장하는 제 1 수단(80), 원시 이미지 데이터에 대한 미리보기 이미지 또는 뷰파인더 이미지 중 적어도 하나를 디스플레이하는 수단(76), 처리된 이미지 데이터를 획득하기 위해 저장된 원시 이미지 데이터를 처리하는 수단(68) 및 처리된 이미지 데이터를 저장하는 제 2 수단(82)을 포함하되, 처리하는 수단(68)은 캡처 수단(70) 및 디스플레이 수단(76)과 독립적으로 작동하도록 구성된다.
위와 같이 장치는 캡처 수단, 제 1 저장 수단 및 디스플레이 수단의 동작을 제어하는 수단을 더 포함한다. 위와 같이 장치에서, 원시 이미지 데이터는 중간 파일로 제 1 저장 수단 상에 저장된다. 위와 같이 장치에서, 중간 파일은 미리보기 이미지 또는 처리된 이미지 데이터 중 적어도 하나를 더 포함한다. 위와 같이 장치에서, 원시 이미지 데이터에 대한 미리보기 이미지는 캡처 수단에 의해 원시 이미지 데이터의 캡처에 후속하여 디스플레이 수단 상에 디스플레이된다. 위와 같이 장치에서, 캡처 수단은 추리 수단이 원시 이미지 데이터를 처리하고 있는 동안 제 2 원시 이미지 데이터를 또한 캡처한다. 위와 같이 장치에서, 처리 수단은 캡처 수단에 의해 추가적인 원시 이미지 데이터의 캡처와 동시 발생하지 않는 시간에 원시 이미지 데이터를 또한 처리한다.
위와 같이 장치에서, 처리 수단은 처리 속도, 저장 속도, 프로세서 이용가능성 또는 저장장치 이용가능성 중 적어도 하나에 따라 선택적으로 활성화된다. 위와 같이 장치에서, 제 1 저장 수단은 제 2 저장 수단을 포함한다. 위와 같이 장치에서, 장치는 디지털 이미지 캡처 장치를 포함한다. 위와 같이 장치에서, 디지털 이미지 캡처 장치는 카메라 또는 카메라 기능을 가진 이동 장치를 포함한다. 위와 같이 장치에서, 캡처 수단은 적어도 하나의 센서를 포함하고, 제 1 저장 수단은 제 1 메모리를 포함하며, 디스플레이 수단은 디스플레이를 포함하고, 처리 수단은 적어도 하나의 이미지 프로세서를 포함하며, 제 2 저장 수단은 제 2 메모리를 포함한다.
위와 같이 장치에서, 장치는 카메라 기능을 가진 셀룰러폰을 포함한다. 위와 같이 장치에서, 제 1 저장 수단 상에 저장된 원시 이미지 데이터는 실질적으로 손실이 없는 이미지 데이터를 포함한다. 위와 같이 장치에서, 장치는 캡처된 원시 이미지 데이터에 기초하여 미리보기 이미지를 생성하는 수단을 더 포함한다. 이전과 같이 장치에서, 생성 수단은 프로세서를 포함한다. 위와 같이 장치에서, 디스플레이 수단은 캡처 수단이 원시 이미지 데이터를 캡처하는 것에 이어서 원시 이미지 데이터에 대한 미리보기 이미지를 또한 디스플레이한다. 이전과 같이 장치에서, 디스플레이 수단은 원시 이미지 데이터에 대한 미리보기 이미지를 디스플레이하는 것에 이어서 뷰파인더 이미지를 또한 디스플레이한다. 위와 같이 장치에서, 처리 수단은 시스템 이벤트에 응답하여 처리된 이미지 데이터를 획득하도록 저장된 원시 이미지 데이터를 처리한다. 위와 같이 장치에서, 장치는 제 1 메모리 상에 원시 이미지 데이터를 저장하기 전에 원시 이미지 데이터를 최소로 처리하는 수단을 더 포함한다. 이전과 같이 장치에서, 최소로 처리하는 수단은 프로세서 또는 이미지 프로세서를 포함한다.
위와 같이 장치에서, 제 1 저장 수단은 원시 이미지 데이터를 저장하도록 구성된 복수의 메모리 버퍼를 포함한다. 위와 같이 장치에서, 제 2 저장 수단은 처리된 이미지 데이터를 저장하도록 구성된 복수의 메모리 버퍼를 포함한다. 위와 같이 장치에서, 제 1 저장 수단과 제 2 저장 수단 중 적어도 하나는 복수의 메모리 버퍼를 포함한다. 위와 같이 장치에서, 제 1 저장 수단과 제 2 저장 수단 중 적어도 하나는 원시 이미지 데이터와 처리된 이미지 데이터 중 적어도 하나를 저장하도록 구성되는 공유된 메모리 버퍼 세트(예컨대, 풀, 공통 풀)를 구현하도록 구성된다.
(5) 장치는 원시 이미지 데이터를 캡처하도록 구성된 감지 회로, 원시 이미지 데이터를 저장하도록 구성된 제 1 저장 회로, 원시 이미지 데이터에 대한 미리보기 이미지 또는 뷰파인더 이미지 중 적어도 하나를 디스플레이하도록 구성된 디스플레이 회로, 처리된 이미지 데이터를 획득하기 위해 저장된 원시 이미지 데이터를 처리하도록 구성된 처리 회로 및 처리된 이미지 데이터를 저장하도록 구성된 제 2 저장 회로를 포함하되, 처리 회로는 센서 회로 및 디스플레이 회로와 독립적으로 작동하도록 구성된다. 이전과 같이 장치에서, 하나 이상의 회로는 집적 회로 내에 구현된다. 위와 같이 장치에서, 장치는 본 명세서에서 더 설명되는 바와 같이 본 발명의 예시적인 실시예의 하나 이상의 추가적인 양상을 더 포함한다.
(6) 장치는 디지털 이미지 캡처 장치 내에서 적어도 하나의 전위 동작(310)을 실행하는 수단 -적어도 하나의 전위 동작은 적어도 하나의 센서를 통해 원시 이미지 데이터를 캡처하는 단계와, 캡처된 원시 이미지 데이터를 중간 파일로서 저장하는 단계 및 디지털 뷰파인더를 활성화하는 단계를 포함함- 과, 디지털 이미지 캡처 장치 내에서 적어도 하나의 후위 동작(328)을 실행하는 수단 -적어도 하나의 후위 동작은 중간 파일에 액세스하는 단계와, 처리된 이미지 데이터를 획득하도록 중간 파일의 원시 이미지 데이터에 대해 이미지 처리를 수행하는 단계 및 처리된 이미지 데이터를 저장하는 단계를 포함함- 을 포함하되, 적어도 하나의 후위 동작은 적어도 하나의 전위 동작과 독립적으로 실행된다. 이전과 같이 장치에서, 적어도 하나의 전위 동작을 실행하는 수단은 제 1 프로세서를 포함하고, 적어도 하나의 후위 동작을 실행하는 수단은 제 2 프로세서를 포함한다. 위와 같이 장치에서, 장치는 본 명세서에서 더 설명되는 바와 같이 본 발명의 예시적인 실시예의 하나 이상의 추가적인 양상을 더 포함한다.
(7) 장치는 디지털 이미지 캡처 장치 내에서 적어도 하나의 전위 동작을 실행하도록 구성된 제 1 실행 회로 -적어도 하나의 전위 동작은 적어도 하나의 센서를 통해 원시 이미지 데이터를 캡처하는 단계와, 캡처된 원시 이미지 데이터를 중간 파일로서 저장하는 단계 및 디지털 뷰파인더를 활성화하는 단계를 포함함- 와, 디지털 이미지 캡처 장치 내에서 적어도 하나의 후위 동작을 실행하도록 구성된 제 2 실행 회로 -적어도 하나의 후위 동작은 중간 파일에 액세스하는 단계와, 처리된 이미지 데이터를 획득하도록 중간 파일의 원시 이미지 데이터에 대해 이미지 처리를 수행하는 단계 및 처리된 이미지 데이터를 저장하는 단계를 포함함- 를 포함하되, 적어도 하나의 후위 동작은 적어도 하나의 전위 동작과 독립적으로 실행된다. 이전과 같이 장치에서, 하나 이상의 회로는 집적 회로 내에 구현된다. 위와 같이 장치에서, 장치는 본 명세서에서 더 설명되는 바와 같이 본 발명의 예시적인 실시예의 하나 이상의 추가적인 양상을 더 포함한다.
전술된 바와 같이 및 예시적인 방법에 관하여 특별히 설명된 바와 같이, 본 발명의 예시적인 실시예는 유형적인 컴퓨터 판독가능 매체 상에 구현된 프로그램 인스트럭션을 포함하는 컴퓨터 프로그램 제품으로서 구현될 수 있다. 프로그램 인스트럭션의 실행은 방법의 단계 또는 예시적인 실시예를 이용하는 단계를 포함하는 동작을 야기한다.
전술된 바와 같이 및 예시적인 방법에 관하여 특별히 설명된 바와 같이, 본 발명의 예시적인 실시예는 또한 동작들을 수행하기 위해 기계에 의해 실행가능한 프로그램 인스트럭션을 유형적으로 구현하는, 기계에 의해 판독가능한 프로그램 저장 장치로서 구현될 수 있으며, 동작들은 방법의 단계 또는 예시적인 실시예를 이용하는 단계를 포함한다.
본 명세서에서 이용되고 설명된 바와 같이, 제 2 동작이 실행되거나 실행되고 있는 동안에 제 1 동작이 실행되거나 실행되고 있으면, 제 1 동작 세트의 실행은 제 2 동작 세트의 실행과 동시에 발생하는 것으로 간주한다. 이와 관련하여, 2 개의 세트에 대한 동작의 실행은 만일 제 1 동작이 실행되거나 실행되고 있는 동안에 제 2 동작이 수행되지 않으면 동시에 발생하지 않는 것으로 간주한다.
용어 "접속된", "연결된" 또는 이들의 임의의 변형이 2 개 이상의 요소(예컨대, 소프트웨어 요소, 하드웨어 요소) 사이의 직접 또는 간접적인 임의의 접속 또는 결합을 의미하며, 함께 "접속"되거나 "연결"되는 2 개의 요소 사이의 하나 이상의 중간 요소의 존재를 포함할 수 있음을 알아야 한다. 요소들 사이의 연결 또는 접속은 물리적이거나, 논리적이거나 또는 이들의 조합일 수 있다. 본 명세서에서 이용된 바와 같이 2 개의 요소는 몇몇 비 제한적이며 완전하지 않은 예로써, 하나 이상의 와이어, 케이블 및/또는 인쇄된 전기적 접속뿐만 아니라, 무선 주파수 영역, 마이크로파 영역 및 광학(가시 및 비가시 양자 모두) 영역 내의 파장을 가지는 전자기 에너지와 같은 전자기 에너지를 사용하여 함께 "접속"되거나 "연결"되도록 고려될 수 있다.
예시적인 실시예는 카메라 또는 카메라 시스템의 측면에서 전술되었지만, 본 발명의 예시적인 실시예는 이 특정 유형의 시스템만 사용하는 것으로 제한되지 않으며, 카메라를 포함하거나 디지털 스틸 이미지 캡처 시스템을 구현하는 다른 시스템에서 이익을 얻기 위해 사용될 수 있음을 알아야 한다.
또한, 예시적인 실시예가 주로 디지털 뷰파인더에 관하여 전술되었지만, 본 발명의 예시적인 실시예는 이것으로 제한되지 않으며 다른 유형의 뷰파인더(예컨대, 광학 뷰파인더 또는 다른 비디지털 뷰파인더) 및 장치와 함께 이용될 수 있음을 알아야 한다.
일반적으로, 다양한 예시적인 실시예는 하드웨어 또는 특별 용도의 회로, 소프트웨어, 로직 또는 이들의 임의의 조합으로 구현될 수 있다. 예컨대, 몇몇 양상은 하드웨어로 구현될 수 있지만, 다른 양상은 제어기, 마이크로프로세서 또는 다른 컴퓨팅 장치에 의해 실행될 수 있는 펌웨어 또는 소프트웨어로 구현될 수 있으며, 본 발명은 이것으로 제한되지 않는다. 본 발명의 다양한 양상은 블록도, 순서도로서 또는 몇몇 다른 그림 표현을 사용하여 도시되고 설명될 수 있지만, 본 명세서에 설명된 이들 블록, 장치, 시스템, 기술 또는 방법이 비 제한적인 예로써, 하드웨어, 소프트웨어, 펌웨어, 특별 용도의 회로 또는 로직, 범용 하드웨어 또는 제어기 또는 다른 컴퓨팅 장치 또는 이들의 몇몇 조합으로 구현될 수 있음을 잘 알아야 한다.
본 발명의 실시예는 집적 회로 모듈과 같은 다양한 구성요소에서 실시될 수 있다. 집적 회로의 설계는 대체로 높은 자동화 프로세스이다. 복잡하고 강한 소프트웨어 툴은 로직 레벨 설계를 반도체 기판 상에 에칭되고 형성될 준비가 되어 있는 반도체 회로 설계로 변환하는 데 이용가능하다.
캘리포니아주 산호세의 캘리포니아 및 카덴스, 마운틴 뷰의 시놉시스 사에 의해 공급되는 것과 같은 프로그램은 잘 설정된 설계 룰뿐만 아니라 사전저장된 설계 모듈의 라이브러리를 사용하여 자동으로 도체를 라우팅하고 반도체 칩 상에 구성요소를 배치한다. 일단 반도체 회로의 설계가 완료되었으면, 결과적인 설계는 표준화된 전자 포맷(예컨대, Opus, GDSⅡ 등)으로 제조를 위해 반도체 제조 설비 또는 "팹(fab)"으로 전송될 수 있다.
앞선 설명은 본 발명의 완전하고 유익한 설명을 예로써 및 비 제한적인 예로써 제공해 왔다. 그러나, 이전의 설명의 관점에서 다양한 변경 및 적응은 첨부 도면 및 부가된 특허청구범위와 관련지어 읽을 때 당업자에게 자명해질 수 있다. 그러나, 본 발명의 모든 교시 및 이의 유사한 변경은 본 발명의 비 제한적이고 예시적인 실시예의 범위 내에 여전히 있을 것이다.
또한, 본 발명의 바람직한 실시예의 특징 중 일부는 대응하는 다른 특징을 사용하지 않고도 이익을 얻는 데 사용될 수 있다. 이처럼, 앞선 설명은 본 발명의 원리, 교시 및 예시적인 실시예를 예로써만 그리고 제한하지 않는 것으로 고려되어야 한다.

Claims (25)

  1. 개선된 이미지 캡처를 제공하는 방법으로서,
    디지털 이미지 캡처 장치 내에서 적어도 하나의 전위(foreground) 동작을 실행하는 단계 - 상기 적어도 하나의 전위 동작은, 적어도 하나의 센서를 통해 원시(raw) 이미지 데이터를 캡처하는 단계와, 상기 캡처된 원시 이미지 데이터를 중간(intermediate) 파일로서 저장하는 단계와, 상기 캡처된 원시 이미지 데이터에 기초하여 미리보기(preview) 이미지를 생성하는 단계와, 상기 생성된 미리보기 이미지를 상기 캡처된 원시 이미지 데이터와 함께 상기 중간 파일에 저장하는 단계와, 디지털 뷰파인더(viewfinder)를 활성화하는 단계를 포함함 - 와,
    상기 디지털 이미지 캡처 장치 내에서 적어도 하나의 후위(background) 동작을 실행하는 단계 - 상기 적어도 하나의 후위 동작은, 상기 중간 파일에 액세스하는 단계와, 프로세싱된 이미지 데이터를 획득하기 위해 상기 중간 파일의 원시 이미지 데이터에 대해 이미지 프로세싱을 수행하는 단계와, 상기 프로세싱된 이미지 데이터를 저장하는 단계를 포함함 -
    를 포함하되,
    상기 디지털 뷰파인더를 활성화하는 단계는
    현재의 뷰파인더 이미지 데이터를 획득하는 단계와,
    상기 획득된 현재의 뷰파인더 이미지 데이터를 프로세싱하여 현재의 뷰파인더 이미지를 획득하는 단계와,
    상기 획득된 현재의 뷰파인더 이미지를 상기 디지털 뷰파인더 상에 디스플레이하는 단계를 포함하고,
    상기 적어도 하나의 후위 동작은 상기 적어도 하나의 전위 동작과는 독립적으로 실행되며,
    상기 적어도 하나의 후위 동작은 상기 적어도 하나의 전위 동작과 동시에(concurrently) 실행되는
    방법.
  2. 제 1 항에 있어서,
    상기 적어도 하나의 전위 동작은 상기 생성된 미리보기 이미지를 상기 디지털 뷰파인더 상에 디스플레이하는 단계를 더 포함하는
    방법.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 프로세싱된 이미지 데이터는 상기 캡처된 원시 이미지 데이터와 함께 상기 중간 파일에 저장되는
    방법.
  5. 제 1 항에 있어서,
    상기 중간 파일에 저장된 상기 원시 이미지 데이터는 손실이 없는 이미지 데이터를 포함하는
    방법.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 적어도 하나의 후위 동작 중 하나의 후위 동작은 프로세싱 속도, 저장 속도, 프로세서 이용가능성 또는 저장장치 이용가능성 중 적어도 하나에 따라 선택적으로 실행되는
    방법.
  8. 제 1 항에 있어서,
    상기 디지털 이미지 캡처 장치는 카메라 또는 카메라 기능을 가진 이동 장치를 포함하는
    방법.

  9. 개선된 이미지 캡처를 제공하는 프로그램 명령어들을 저장하는 비일시적 컴퓨터 판독가능한 저장 매체로서,
    상기 프로그램 명령어들은 장치에 의해 실행되는 경우
    디지털 이미지 캡처 장치 내에서 적어도 하나의 전위 동작을 실행하는 것 - 상기 적어도 하나의 전위 동작은, 적어도 하나의 센서를 통해 원시 이미지 데이터를 캡처하는 것과, 상기 캡처된 원시 이미지 데이터를 중간 파일로서 저장하는 것과, 상기 캡처된 원시 이미지 데이터에 기초하여 미리보기 이미지를 생성하는 것과, 상기 생성된 미리보기 이미지를 상기 캡처된 원시 이미지 데이터와 함께 상기 중간 파일에 저장하는 것과, 디지털 뷰파인더를 활성화하는 것을 포함함 - 과,
    상기 디지털 이미지 캡처 장치 내에서 적어도 하나의 후위 동작을 실행하는 것 - 상기 적어도 하나의 후위 동작은, 상기 중간 파일에 액세스하는 것과, 프로세싱된 이미지 데이터를 획득하기 위해 상기 중간 파일의 원시 이미지 데이터에 대해 이미지 프로세싱을 수행하는 것과, 상기 프로세싱된 이미지 데이터를 저장하는 것을 포함함 - 이 수행되도록 하고,
    상기 디지털 뷰파인더를 활성화하는 것은
    현재의 뷰파인더 이미지 데이터를 획득하는 것과,
    상기 획득된 현재의 뷰파인더 이미지 데이터를 프로세싱하여 현재의 뷰파인더 이미지를 획득하는 것과,
    상기 획득된 현재의 뷰파인더 이미지를 상기 디지털 뷰파인더 상에 디스플레이하는 것을 포함하고,
    상기 적어도 하나의 후위 동작은 상기 적어도 하나의 전위 동작과는 독립적으로 실행되고,
    상기 적어도 하나의 후위 동작은 상기 적어도 하나의 전위 동작과 동시에 실행되는
    컴퓨터 판독가능한 저장 매체.
  10. 제 9 항에 있어서,
    상기 적어도 하나의 전위 동작은 상기 생성된 미리보기 이미지를 상기 디지털 뷰파인더 상에 디스플레이하는 것을 더 포함하는
    컴퓨터 판독가능한 저장 매체.
  11. 삭제
  12. 제 9 항에 있어서,
    상기 프로세싱된 이미지 데이터는 상기 캡처된 원시 이미지 데이터와 함께 상기 중간 파일에 저장되는
    컴퓨터 판독가능한 저장 매체.
  13. 삭제
  14. 제 9 항에 있어서,
    상기 장치는 디지털 카메라 또는 카메라 기능을 가진 이동 장치를 포함하는
    컴퓨터 판독가능한 저장 매체.
  15. 개선된 이미지 캡처를 제공하는 장치로서,
    원시 이미지 데이터를 캡처하도록 구성된 적어도 하나의 센서와,
    상기 원시 이미지 데이터를 저장하도록 구성된 제 1 메모리 - 상기 원시 이미지 데이터는 중간 파일 내에서 상기 제 1 메모리 상에 저장되고, 상기 중간 파일은 상기 원시 이미지 데이터에 대한 미리보기 이미지를 더 포함함 - 와,
    상기 미리보기 이미지 또는 뷰파인더 이미지 중 적어도 하나를 디스플레이하도록 구성된 디스플레이와,
    프로세싱된 이미지 데이터를 획득하기 위해 상기 저장된 원시 이미지 데이터를 프로세싱하도록 구성된 이미지 프로세서와,
    상기 프로세싱된 이미지 데이터를 저장하도록 구성된 제 2 메모리
    를 포함하되,
    상기 이미지 프로세서는 상기 적어도 하나의 센서 및 상기 디스플레이와 독립적으로 동작하도록 구성되는
    장치.
  16. 삭제
  17. 제 15 항에 있어서,
    상기 프로세싱된 이미지 데이터는 상기 중간 파일에 저장되는
    장치.
  18. 제 15 항에 있어서,
    상기 이미지 프로세서는 상기 적어도 하나의 센서에 의한 추가적인 원시 이미지 데이터의 캡처와 동시에 발생하지 않는 시간에 상기 원시 이미지 데이터를 프로세싱하도록 또한 구성되는
    장치.
  19. 제 15 항에 있어서,
    상기 제 1 메모리는 상기 제 2 메모리를 포함하는
    장치.
  20. 제 15 항에 있어서,
    상기 제 1 메모리 및 상기 제 2 메모리 중 적어도 하나는 상기 원시 이미지 데이터 및 상기 프로세싱된 이미지 데이터 중 적어도 하나를 저장하도록 구성되는 공유된 메모리 버퍼 세트를 구현하도록 구성되는
    장치.
  21. 제 15 항에 있어서,
    상기 장치는 카메라 또는 카메라 기능을 가진 이동 장치를 포함하는
    장치.
  22. 개선된 이미지 캡처를 제공하는 장치로서,
    원시 이미지 데이터를 캡처하는 캡처 수단과,
    상기 원시 이미지 데이터를 저장하는 제 1 저장 수단 - 상기 원시 이미지 데이터는 중간 파일 내에서 상기 제 1 저장 수단 상에 저장되고, 상기 중간 파일은 상기 원시 이미지 데이터에 대한 미리보기 이미지를 더 포함함 - 과,
    상기 미리보기 이미지 또는 뷰파인더 이미지 중 적어도 하나를 디스플레이하는 디스플레이 수단과,
    프로세싱된 이미지 데이터를 획득하기 위해 상기 저장된 원시 이미지 데이터를 프로세싱하는 프로세싱 수단과,
    상기 프로세싱된 이미지 데이터를 저장하는 제 2 저장 수단
    을 포함하되,
    상기 프로세싱 수단은 상기 캡처 수단 및 상기 디스플레이 수단과 독립적으로 동작하도록 구성되는
    장치.
  23. 삭제
  24. 제 22 항에 있어서,
    상기 제 1 저장 수단 및 상기 제 2 저장 수단 중 적어도 하나는 상기 원시 이미지 데이터 및 상기 프로세싱된 이미지 데이터 중 적어도 하나를 저장하도록 구성되는 공유된 메모리 버퍼 세트를 구현하도록 구성되는
    장치.
  25. 제 22 항에 있어서,
    상기 장치는 카메라 또는 카메라 기능을 가진 이동 장치를 포함하는
    장치.
KR1020107027150A 2008-05-02 2009-04-29 개선된 이미지 캡처를 제공하는 방법과 장치 및 프로그램 저장 장치 KR101245485B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/150,966 US20090273686A1 (en) 2008-05-02 2008-05-02 Methods, computer program products and apparatus providing improved image capturing
US12/150,966 2008-05-02
PCT/FI2009/050339 WO2009133245A1 (en) 2008-05-02 2009-04-29 Methods, computer program products and apparatus providing improved image capturing

Publications (2)

Publication Number Publication Date
KR20110003571A KR20110003571A (ko) 2011-01-12
KR101245485B1 true KR101245485B1 (ko) 2013-03-26

Family

ID=41254803

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107027150A KR101245485B1 (ko) 2008-05-02 2009-04-29 개선된 이미지 캡처를 제공하는 방법과 장치 및 프로그램 저장 장치

Country Status (5)

Country Link
US (1) US20090273686A1 (ko)
EP (1) EP2269170A4 (ko)
KR (1) KR101245485B1 (ko)
CN (1) CN102016912A (ko)
WO (1) WO2009133245A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101626004B1 (ko) * 2009-12-07 2016-05-31 삼성전자주식회사 디지털 영상처리장치에서 ｒａｗ포맷을 선택적으로 지원하는 방법 및 장치
US20140362118A1 (en) * 2011-12-08 2014-12-11 Google Inc. Method and System for Displaying Imagery as a Wallpaper on a Computing Device
US10136046B2 (en) * 2012-06-27 2018-11-20 Nokia Technologies Oy Imaging and sensing during an auto-focus procedure
WO2014035642A1 (en) * 2012-08-28 2014-03-06 Mri Lightpainting Llc Light painting live view
KR101932086B1 (ko) * 2012-09-28 2019-03-21 삼성전자 주식회사 카메라 제어 방법 및 휴대 장치
CN104284076A (zh) * 2013-07-11 2015-01-14 中兴通讯股份有限公司 一种处理预览图像的方法、装置及移动终端
KR102090273B1 (ko) * 2013-08-14 2020-03-18 삼성전자주식회사 촬영 장치 및 이의 제어 방법
KR102166331B1 (ko) * 2013-08-30 2020-10-15 삼성전자주식회사 촬영 후 빠른 재생을 구현하는 단말기 및 방법
KR102146854B1 (ko) 2013-12-30 2020-08-21 삼성전자주식회사 촬영 장치 및 이의 제어 방법
JP6235944B2 (ja) * 2014-03-19 2017-11-22 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
KR102254703B1 (ko) * 2014-09-05 2021-05-24 삼성전자주식회사 촬영 장치 및 촬영 방법
CN104394420B (zh) * 2014-11-28 2017-09-12 广州华多网络科技有限公司 一种视频处理装置、方法和终端设备
CN105959557B (zh) * 2016-06-07 2019-05-10 深圳市万普拉斯科技有限公司 拍照方法和装置
US10863097B2 (en) * 2018-08-21 2020-12-08 Gopro, Inc. Field of view adjustment
JP7431549B2 (ja) * 2019-10-01 2024-02-15 キヤノン株式会社 符号化装置、撮像装置、制御方法、及びプログラム
CN114979466B (zh) * 2022-04-22 2023-12-08 西安广和通无线通信有限公司 拍摄处理方法、装置和无线通信模组

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060152599A1 (en) * 2002-01-31 2006-07-13 Nikon Corporation Digital camera

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5696917A (en) * 1994-06-03 1997-12-09 Intel Corporation Method and apparatus for performing burst read operations in an asynchronous nonvolatile memory
GB9413870D0 (en) * 1994-07-09 1994-08-31 Vision 1 Int Ltd Digitally-networked active-vision camera
US5867214A (en) * 1996-04-11 1999-02-02 Apple Computer, Inc. Apparatus and method for increasing a digital camera image capture rate by delaying image processing
US6137534A (en) * 1997-07-10 2000-10-24 Flashpoint Technology, Inc. Method and apparatus for providing live view and instant review in an image capture device
US6642956B1 (en) * 1998-05-29 2003-11-04 Agilent Technologies, Inc. Digital image processor for a digital camera
US6847388B2 (en) * 1999-05-13 2005-01-25 Flashpoint Technology, Inc. Method and system for accelerating a user interface of an image capture unit during play mode
JP2001177793A (ja) * 1999-12-17 2001-06-29 Minolta Co Ltd デジタルカメラおよび画像記録システム
JP3750462B2 (ja) * 2000-02-22 2006-03-01 コニカミノルタフォトイメージング株式会社 デジタルカメラおよび記録媒体
JP4122693B2 (ja) * 2000-08-09 2008-07-23 株式会社ニコン 電子カメラ
US7064784B2 (en) * 2000-10-19 2006-06-20 Canon Kabushiki Kaisha Image pickup apparatus adapted to carry out parallel operations in a continuous image pickup mode, and a control method
US20030227554A1 (en) * 2002-04-26 2003-12-11 Nikon Corporation Digital camera system
JP4590304B2 (ja) * 2004-08-18 2010-12-01 キヤノン株式会社 画像撮影再生装置及びデータ処理方法
US7839429B2 (en) * 2005-05-26 2010-11-23 Hewlett-Packard Development Company, L.P. In-camera panorama stitching method and apparatus

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060152599A1 (en) * 2002-01-31 2006-07-13 Nikon Corporation Digital camera

Also Published As

Publication number Publication date
KR20110003571A (ko) 2011-01-12
EP2269170A1 (en) 2011-01-05
US20090273686A1 (en) 2009-11-05
EP2269170A4 (en) 2012-01-11
WO2009133245A1 (en) 2009-11-05
CN102016912A (zh) 2011-04-13

Similar Documents

Publication Publication Date Title
KR101245485B1 (ko) 개선된 이미지 캡처를 제공하는 방법과 장치 및 프로그램 저장 장치
US11024342B2 (en) Digital image processing apparatus and method of controlling the same
US9232125B2 (en) Method of eliminating a shutter-lag, camera module, and mobile device having the same
CN111491102B (zh) 拍照场景的检测方法、系统、移动终端及存储介质
US20140111670A1 (en) System and method for enhanced image capture
US20130176458A1 (en) Flexible Burst Image Capture System
US8370616B2 (en) Imaging apparatus and start-up method of imaging apparatus
US20140320698A1 (en) Systems and methods for capturing photo sequences with a camera
JP6493454B2 (ja) 電子カメラ
KR101774591B1 (ko) 디지털 영상 촬영 방법 및 장치
US8120691B2 (en) Image capturing appatatus and method for use in a mobile terminal
US10769416B2 (en) Image processing method, electronic device and storage medium
JP2013175824A (ja) 電子カメラ
US10244199B2 (en) Imaging apparatus
JP2010130569A (ja) 撮像装置及び撮像装置の制御方法
WO2023077939A1 (zh) 摄像头的切换方法、装置、电子设备及存储介质
JP2013211724A (ja) 撮像装置
CN108495038B (zh) 图像处理方法、装置、存储介质及电子设备
US11546546B2 (en) Image capture apparatus, image processing apparatus, and control method
JP5906846B2 (ja) 電子カメラ
JP2013211715A (ja) 撮像装置
CN116028383B (zh) 缓存管理方法及电子设备
US11659275B2 (en) Information processing apparatus that performs arithmetic processing of neural network, and image pickup apparatus, control method, and storage medium
JP2013030949A (ja) 電子機器、撮像装置およびプログラム
CN117041726A (zh) 拍摄的处理方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee