KR101921935B1 - 카메라의 동영상 촬영장치 및 방법. - Google Patents

카메라의 동영상 촬영장치 및 방법. Download PDF

Info

Publication number
KR101921935B1
KR101921935B1 KR1020120016085A KR20120016085A KR101921935B1 KR 101921935 B1 KR101921935 B1 KR 101921935B1 KR 1020120016085 A KR1020120016085 A KR 1020120016085A KR 20120016085 A KR20120016085 A KR 20120016085A KR 101921935 B1 KR101921935 B1 KR 101921935B1
Authority
KR
South Korea
Prior art keywords
image
frame
compressed
unit
motion vector
Prior art date
Application number
KR1020120016085A
Other languages
English (en)
Other versions
KR20130094661A (ko
Inventor
백우현
이성구
안승욱
박현호
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020120016085A priority Critical patent/KR101921935B1/ko
Priority to CN201310049473.6A priority patent/CN103260026B/zh
Priority to EP13155155.8A priority patent/EP2629520B1/en
Priority to US13/769,139 priority patent/US9716865B2/en
Publication of KR20130094661A publication Critical patent/KR20130094661A/ko
Application granted granted Critical
Publication of KR101921935B1 publication Critical patent/KR101921935B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41—Bandwidth or redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation

Abstract

카메라장치에서 동영상 촬영 방법이, 카메라로부터 매 프레임에서 프레임 이미지를 획득하는 과정과, 상기 획득된 이미지를 표시이미지 및 압축이미지로 생성하여 하나의 프레임으로 전송하며, 상기 압축이미지는 기준 프레임 이미지의 압축이미지 또는 기준 프레임 이미지와 대응되는 프레임의 모션벡터 값으로 구성되는 과정과, 상기 수신되는 표시이미지를 표시하며, 상기 압축이미지를 복원한 후 동영상으로 압축하는 과정과, 상기 압축된 동영상을 저장하는 과정으로 이루어짐을 특징으로 한다.

Description

카메라의 동영상 촬영장치 및 방법.{APPARATUS AND METHOD FOR SHOOTING A MOVING PICTURE IN CAMERA DEVICE}
본 발명은 카메라의 촬영장치 및 방법에 관한 것으로, 특히 카메라 장치의 풀 해상도 영상을 동영상으로 촬영할 수 있는 장치 및 방법에 관한 것이다.
카메라 장치 및 카메라를 포함하는 휴대단말 장치는 고화질 이미지를 제공하며, 또한 다양한 사용자 편의 기능을 제공하고 있다. 현재 카메라 장치의 이미지 센서(image sensor 또는 카메라 센서라 칭할 수도 있다)는 풀 HD급 이상의 해상도(full High Definition resolution)를 가지는 이미지들을 센싱할 수 있다.
이때 상기 카메라 장치는 프리뷰 모드에서 카메라 센서로부터 감지되는 이미지를 프리뷰 이미지(preview image)를 표시하고, 사용자가 셔터 버튼(shutter button)을 누르면 상기 카메라 센서에서 획득되는 이미지를 저장한다. 이때, 사용자가 셔터 버튼을 누르면(shutter release), 풀 사이즈의 이미지를 감지하여 캡쳐(capture)하기까지 지연 시간(shutter delay 또는 shutter lag)이 존재한다. 즉, 사용자의 셔터 온 시점으로부터 카메라 센서가 피사체를 촬영하는 시점까지의 시간 차가 존재하며, 이런 시간 차는 피사체의 촬영환경 및 이미지처리부의 처리 시간 등에 의해 발생될 수 있다. 따라서 사용자는 셔터 딜레이(셔터 렉)에 의해 원하는 시점에서의 이미지를 획득할 수 없었던 문제점이 있었다.
또한 카메라장치 또는 카메라장치를 포함하는 단말장치는 카메라의 이미지를 처리하는 이미지처리부와 상기 카메라 어플리케이션을 포함하는 장치의 다양한 어플리케이션을 처리하는 어플리케이션처리부로 구성될 수 있다. 이런 경우 상기 이미지처리부와 어플리케이션처리부는 직렬 연결되는 구성을 가지며, 이미지처리부는 카메라로부터 획득되는 이미지를 직렬 데이터로 변환하여 어플리케이션처리부에 전송하게 된다. 이때 상기 카메라에서 획득되는 이미지는 풀 HD(High Definition) 해상도 또는 그 이상의 해상도(UHD; Ultra High Deifintion resolution)를 가지는 이미지가 될 수 있다. 여기서 상기 초고화소(UHD)는 4K*2K 이상의 해상도를 가지는 이미지를 의미한다.
따라서 상기 이미지처리부 및 어플리케이션처리부를 구비하는 카메라장치 또는 이런 카메라장치를 구비하는 단말장치에서 초고화소 이미지를 동영상으로 촬영하는 것은 어렵다. 이는 현재의 카메라장치에서 이미지처리부가 연속되는 동영상의 초고화소 이미지 데이터를 원하는 시간에 어플리케이션처리부에 전송하는 것이 불가능하기 때문이다.
따라서 본 발명은 카메라장치 또는 카메라를 포함하는 단말장치에서 촬영되는 이미지를 원하는 시점에서 캡쳐하고, 또한 촬영된 이미지들 중에서 원하는 이미지를 선택하여 저장할 수 있는 장치 및 방법을 제안한다. 이를 위하여 본 발명의 실시예에 따른 카메라장치 또는 카메라를 포함하는 단말장치는카메라 센서들로부터 획득되는 이미지를 처리하여 매 프레임에서 복수의 이미지들을 생성하고, 생성되는 이미지들을 각각 프리뷰 이미지 및 캡쳐 이미지로 사용하는 장치 및 방법을 제안한다.
또한 본 발명은 카메라장치 또는 카메라를 포함하는 단말장치에서 초고화소 이미지를 동영상으로 촬영할 수 있는 장치 방법을 제안한다. 이를 위하여 본 발명의 실시예에서는 이미지처리부가 카메라부터 획득되는 초고화소 이미지를 인접 프레임의 초고화소 이미지와 비교하여 압축 부호화하여 전송하고, 어플리케이션처리부가 압축 부호화된 이미지들을 복원한 후 동영상 이미지로 부호화하는 장치 및 방법을 제안한다.
본 발명의 실시예에 따른 카메라장치의 동영상 촬영 방법이, 카메라로부터 매 프레임에서 프레임 이미지를 획득하는 과정과, 상기 획득된 이미지를 표시이미지 및 압축이미지로 생성하여 하나의 프레임으로 전송하며, 상기 압축이미지는 기준 프레임 이미지의 압축이미지 또는 기준 프레임 이미지와 대응되는 프레임의 모션벡터 값으로 구성되는 과정과, 상기 수신되는 표시이미지를 표시하며, 상기 압축이미지를 복원한 후 동영상으로 압축하는 과정과, 상기 압축된 동영상을 저장하는 과정으로 이루어짐을 특징으로 한다.
또한 본 발명의 실시예에 다른 카메라장치가, 동영상 촬영시 카메라로부터 매 프레임에서 프레임 이미지를 획득하며, 상기 획득된 이미지를 표시이미지 및 압축이미지로 생성하여 하나의 프레임으로 전송하고, 상기 압축이미지는 기준 프레임 이미지의 압축이미지 또는 기준 프레임 이미지와 대응되는 프레임의 모션벡터 값으로 구성되는 이미지처리부와, 상기 수신되는 표시이미지를 표시하며, 상기 압축이미지를 복원한 후 동영상으로 압축하는 어플리케이션처리부와, 상기 압축된 동영상을 저장하는 저장부와, 상기 표시이미지를 표시하는 표시부로 구성된 것을 특징으로 한다.
또한 본 발명의 실시예에 따른 휴대단말장치가, 외부 장치와 무선통신을 수행하는 통신부와, 상기 통신부를 통해 휴대단말장치의 통화 및 통신을 제어하는 단말제어부와, 카메라 구동시 매 프레임 주기에서 카메라센서로부터 이미지를 획득하는 카메라부와, 적어도 하나의 센서를 구비하여 센서 정보들을 생성하는 센서부와, 동영상 촬영시 카메라부로부터 매 프레임에서 프레임 이미지를 획득하며, 상기 획득된 이미지를 표시이미지 및 압축이미지로 생성하여 하나의 프레임으로 전송하고, 상기 압축이미지는 기준 프레임 이미지의 압축이미지 또는 기준 프레임 이미지와 대응되는 프레임의 모션벡터 값으로 구성되는 이미지처리부와, 상기 수신되는 표시이미지를 표시하며, 상기 압축이미지를 복원한 후 동영상으로 압축하는 어플리케이션처리부와, 상기 압축된 동영상을 저장하는 저장부와, 상기 표시이미지를 표시하는 표시부로 구성된 것을 특징으로 한다.
본 발명은 카메라장치 또는 카메라를 포함하는 단말장치에서 이미지처리부가 카메라부터 획득되는 초고화소 이미지를 인접 프레임의 초고화소 이미지와 비교하여 압축 부호화하여 전송하고, 어플리케이션처리부가 압축 부호화된 이미지들을 복원한 후 동영상 이미지로 부호화하여 저장한다. 따라서 이미지처리부에서 어플리케이션 처리부로 초고화소 이미지를 전송할 수 있어 카메라로부터 획득되는 초고화소의 이미지들을 동영상으로 저장할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 카메라장치의 구성을 도시하는 도면
도 2는 본 발명의 실시예에 따른 이미지처리부130의 구성을 도시하는 도면
도 3은 본 발명의 실시예에 따른 어플리케이션처리부의 구성을 도시하는 도면
도 4는 본 발명의 실시예에 따라 카메라장치에서 동영상을 저장하는 방법을 설명하기 위한 도면
도 5는 본 발명의 실시예에 따라 이미지처리부130에서 동영상을 촬영시의 동작 절차를 도시하는 흐름도
도 6은 도 5에서 본 발명의 실시예에 따라 압축이미지를 생성하는 절차를 도시하는 흐름도
도 7은 본 발명의 실시예에 따른 어플리케이션처리부의 동영상 촬영 절차를 도시하는 흐름도
도 8은 도 7에서 본 발명의 실시예에 따라 압축이미지를 복원하여 동영상을 저장하는 절차를 도시하는 흐름도
도 9는 본 발명의 실시예에 따른 카메라장치를 구비하는 휴대단말장치의 구성을 도시하는 도면
이하, 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다.
또한, 하기 설명에서는 이미지의 화소 수, 데이터 크기 등과 구체적인 특정 사항들이 나타내고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들 없이도 본 발명이 실시될 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다. 그리고 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 상세한 설명을 생략한다.
본 발명은 카메라장치 또는 카메라를 구비하는 단말장치에 대한 것으로 카메라 센서에서 획득되는 이미지들을 처리하여 매 프레임에서 복수의 이미지들을 생성한다. 여기서 상기 복수의 이미지는 카메라 구동시 프리뷰를 위한 이미지 및 저장을 위한 압축이미지가 될 수 있다.
여기서 상기 표시 이미지는 YUV 이미지가 될 수 있으며, 표시부에 표시될 수 있도록 적절한 크기로 조정(crop and/or scaling)될 수 있다. 그리고 상기 저장용 압축 이미지는 상기 카메라 센서에서 획득되는 이미지(예를들면 full HD resolution 또는 그 이상의 해상도를 가지는 초고화소 이미지)로서, 압축 부호화된 이미지가 될 수 있으며, 본 발명의 실시예에서는 JPEG 이미지로 설명될 것이다. 본 발명의 실시예에서는 카메라 구동시 프리뷰 이미지 및 캡쳐용 이미지를 생성 및 버퍼링하고, 사용자 또는 미리 설정된 방법에 의해 압축 이미지를 선택하여 저장하므로써, 제로셔터렉을 구현할 수 있는 장치 및 방법을 제안한다.
본 발명의 실시예에 따른 카메라장치 또는 카메라를 구비하는 단말장치는 카메라 구동시(예를들면 preview mode) 카메라센서로부터 획득되는 매 프레임의 이미지를 처리하여 프리뷰 이미지 및 캡쳐 이미지를 생성한다.
이런 경우, 사용자가 카메라 구동시, 카메라장치는 매 프레임 주기에서 카메라센서로부터 이미지를 획득하며, 획득되는 이미지를 표시 이미지 및 압축 이미지로 변환한 후, 표시이미지는 표시부에 표시하며, 압축 이미지는 버퍼링한다. 이때 상기 표시이미지는 YUV 방식의 이미지이고, 상기 압축 이미지는 풀 해상도의 JPEG 이미지가 될 수 있다.
그리고 사용자에 의해 정지이미지의 캡쳐 요구가 발생되면, 카메라장치는 버퍼링된 JPEG 이미지들에서 캡쳐 요구된 시점의 JPEG 이미지를 선택하여 저장하거나, 상기 버퍼링된 JPEG 이미지들에서 캡쳐 요구된 시점의 JPEG 이미지를 선택하여 저장하거나, 또는 섬네일 이미지를 표시하고 선택되는 섬네일 이미지에 대응되는 JPEG 이미지를 저장할 수 있다.
또한 본 발명의 실시예에 따른 카메라장치 또는 카메라를 구비하는 단말장치는 이미지처리부와 어플리케이션처리부를 구비하며, 초고화소 이미지들을 동영상으로 촬영한다. 이를 위하여, 이미지처리부는 매 프레임에서 초고화소 이미지를 획득하고, 획득된 이미지를 표시이미지 및 압축이미지로 생성한다. 이후 상기 이미지처리부는 매 N번째 프레임이미지를 기준이미지로 저장하고, 이를 압축이미지로 생성하여 어플리케이션처리부에 출력한다. 그리고 매 N번째 프레임이 아닌 나머지 프레임 이미지들은 기준이미지와 비교하여 움직임 성분(이하 모션벡터(motion vector)을 검출하며, 모션 벡터 값이 미리 설정된 기준값보다 작으면 상기 모션 벡터값을 압축부호화하여 해당 프레임의 이미지로 어플리케이션처리부에 출력하고 그렇지 않으면(즉, 모션 벡터값이 기준값보다 크면) 해당 프레임의 이미지를 압축 부호화하여 어플리케이션처리부에 출력한다.
그리고 어플리케이션처리부는 수신되는 압축이미지들을 버퍼링하며, 매 N번째 프레임의 압축이미지를 복원하고 이를 기준이미지로 저장한다. 그리고 매 N번째 프레임이 아닌 나머지 프레임의 압축이미지들을 분석하여 모션 압축데이타이면 이를 복원한 후 기준이미지에 병합하여 복원하고 정지이미지 압축데이타이면 이를 복원한다. 그리고 상기와 같이 복원되는 프레임 이미지들을 동영상으로 압축하여 저장한다.
여기서 상기 표시 이미지는 YUV 이미지이고, 상기 압축 이미지는 풀 해상도 또는 그 이상의 JPEG 이미지가 될 수 있으며, 상기 모션벡터의 압축은 런 길이 부호화(run length coding: 이하 RLC라 칭한다) 방법을 사용할 수 있다. 여기서 run length는 연속하는 동일한 화소의 길이가 될 수 있다.
이하 본 발명을 도면을 참조하여 상세히 설명한다. 이하의 설명에서는 카메라장치를 예로들어 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 카메라장치의 구성을 도시하는 도면이다.
상기 도 1을 참조하면, 카메라부110은 이미지센서를 구비하며, 카메라 구동시 이미지 센서를 통해 이미지를 획득하는 기능을 수행한다. 이때 획득되는 이미지는 초고화소 이미지가 될 수 있다. 센서부120은 카메라장치 또는 카메라장치를 구비하는 단말장치에 장착되는 하나의 이상의 센서가 될 수 있으며, 상기 센서는 GPS수신기, 자이로센서, 가속도센서, 고도센서, 방향센서들 중에 하나 이상이 될 수 있다.
이미지처리부130은 상기 카메라부110으로부터 획득되는 이미지를 처리하여 표시부160에 표시하기 위한 표시 이미지 및 캡쳐(정지이미지 캡쳐 또는 동영상 캡쳐) 요구시 저장하기 위한 압축 이미지를 생성한다. 여기서 상기 표시이미지는 YUV 이미지가 될 수 있다. 상기 이미지처리부130은 상기 카메라부110에서 획득되는 이미지를 YUV 이미지로 색변환(color conversion)하며, 또한 상기 표시부160에 표시하기 위한 크기로 조정(scaling and/or crop)한다. 즉, 상기 이미지처리부130은 YUV 이미지를 생성하고, 또한 상기 표시부160의 표시 능력에 따라 적절하게 설정할 수 있다. 이때 상기 YUV 이미지는 상기 압축 이미지의 크기보다는 작은 데이터 크기를 가질 수 있다. 또한 상기 이미지처리부130은 상기 카메라부110에서 출력되는 이미지를 JPEG 방식으로 압축한다. 여기서 상기 압축 이미지는 사용자가 캡쳐 요구시 저장하기 위한 이미지로써, 풀 HD급 이상의 초고화소 이미지가 될 수 있다.
또한 상기 이미지처리부130은 동영상촬영 요구시 매 N번째 프레임 이미지를 JPEG 이미지로 생성하고, 이를 기준이미지로 저장하다. 그리고 나머지 프레임들의 이미지들은 기준이미지와 비교하여 모션벡터값을 추정하고, 추정된 모션 벡터값이 특정 크기보다 작으면 이를 RLC코딩하여 해당 프레임의 압축이미지로 출력하고, 특정크기보다 크면 해당 프레임 이미지를 JPEG 이미지로 압축하여 출력한다. 일반적으로 동영상의 경우 인접 프레임들 간의 이미지에는 모션 벡터가 크게 변하지 않는다. 따라서 본 발명의 실시예에 따른 이미지처리부130은 일정 프레임 간격으로 초고화소의 압축 이미지인 JPEG 이미지를 전송하고 나머지 프레임들의 이미지들은 기준이미지와의 차이를 가지는 모션 벡터값을 추정하여 이를 해당 프레임의 압축이미지로 출력한다. 따라서 상기 압축이미지를 어플리케이션처리부140으로 전송할 때, 매 N번째 프레임을 제외한 나머지 프레임들의 압축이미지는 모션 벡터값만을 전송하므로 상기 압축이미지의 전송 량을 대폭 줄일 수 있다. 이때 상기 모션 벡터값이 특정 크기 이상인 경우에는 해당 프레임 이미지를 JPEG 이미지로 전송하는 이유는 전송되는 해당 프레임 이미지의 전송 량이 크며, 또한 어플리케이션처리부140에서 이를 복원하여 다시 기준이미지에 병합하는 절차를 수행하여야 하므로, JPEG 이미지를 전송하는 효율보다 높지 않기 때문이다.
상기 어플리케이션 처리부140은 카메라 구동시 상기 이미지처리부130에서 생성되는 표시이미지 및 압축 이미지, 또는 표시이미지 및 압축이미지들을 버퍼링하고 상기 표시이미지를 표시부160에 출력하여 표시되도록 제어하며, 사용자의 정지 이미지캡쳐 요구 명령이 발생되면 상기 버퍼링 중인 압축 이미지들 중에서 설정된 압축이미지를 저장부150에 저장하여 제로 셔터렉을 구현한다.
또한 상기 어플리케이션처리부140은 동영상촬영시 버퍼링된 압축이미지를 분석하여 동영상으로 생성하여 저장한다. 이때 상기 압축이미지가 매 N번째 프레임의 압축이미지이면, 상기 어플리케이션처리부140은 이를 정지이미지(초고화소의 YUV 이미지)로 복원하고 이를 기준이미지로 저장한다. 그리고 나머지 프레임들의 압축이미지들은 모션 벡터값을 압축한 데이터이므로 압축된 모션벡터 값을 복원한 후, 이를 다시 기준이미지에 병합하여 초고화소의 정지 이미지를 복원한다. 그리고 상기와 같이 복원된 초고화소 이미지들을 프레임 순서대로 동영상으로 압축부호화하여 저장부150에 저장한다.
상기 입력부170은 상기 어플리케이션처리부140에 카메라 구동명령, 캡쳐 명령(정지이미지 캡쳐, 동영상 챕쳐)을 발생할 수 있다. 표시부160은 프리뷰 모드시 상기 어플리케이션처리부140에서 출력되는 표시 이미지를 표시한다. 여기서 상기 입력부170은 사용자의 터치입력을 감지하는 터치패널이 될 수 있으며, 표시부160은 프로그램 수행 중에 발생되는 데이터 및 이미지 등을 표시하는 LCD 또는 OLED 패널이 될 수 있다. 여기서 상기 입력부170 및 표시부160은 일체형의 터치스크린이 될 수 있다. 또한 상기 입력부170은 카메라장치의 외부에 위치되는 버튼들을 포함할 수 있다.
저장부150은 캡쳐 요구시 상기 어플리케이션 처리부140에 버퍼링 중인 압축 이미지를 정지이미지 또는 동영상으로 저장한다.
도 2는 본 발명의 실시예에 따른 이미지처리부130의 구성을 도시하는 도면이다.
상기 도 2를 참조하면, 이미지처리부130의 영상 전처리부210은 상기 카메라부110에서 출력되는 이미지를 YUV 이미지로 변환한다. 상기 카메라부110에서 출력되는 이미지는 raw 이미지로써, 이미지센서에서 감지되는 풀 HD급 이상의 화소수를 가지며, 영상 전처리부210은 이를 3A, 컬러 인터폴레이션(color interpolation), 색변환(color conversion) 등의 영상 전처리 기능을 기능을 수행한다. 여기서 상기 전처리 3A는 AWB(auto white balance), AE(auto exposure), AF(Auto focusing) 등이 될 수 있으며, 색변환은 raw 이미지를 YUV 데이터로 변환하는 기능이 될 수 있다. 여기서 상기 영상 전처리부210은 상기와 같은 기능을 모두 수행할 수 있으며, 또한 일부의 기능만을 수행할 수 있다. 이미지처리제어부200은은 어플리케이션처리부140의 제어하에 상기 카메라부110의 구동을 제어하며, 카메라 구동모드시 상기 이미지처리부130의 전반적인 동작을 제어한다. 여기서 상기 압축 이미지 및 표시이미지는 는 매 프레임들에서 각각 발생되며, 상기 프레임은 1초에 30프레임 또는 그 이상의 프레임(예를들면 60 프레임)으로 구성될 수 있다.
스케일러220은 상기 영상 전처리부210에서 출력되는 영상을 표시부160에서 표시할 수 있는 적절한 크기의 이미지로 스케일링한다. 상기 스케일러220은 상기 전처리된 이미지를 스케일링, 크롭(crop) 및/또는 리사이징(resizing)하는 구성 또는 이들 구성들 중의 일부를 구비할 수 있다. 여기서 상기 영상 전처리부210이 색변환 기능을 수행하지 않는 경우, 상기 스케일러220은 표시이미지 생성부로 구성할 수 있으며, 이런 경우 상기 표시이미지생성부는 raw image를 YUV 이미지로 변환하는 색변환기 및 스케일러로 구성할 수도 있다.
캡쳐시 저장할 압축이미지를 생성하는 압축부호부230은 정지영상압축부로써, 다양한 종류의 코더(예를들면 JPEG코더, TIFF 코더등)를 사용할 수 있다. 본 발명의 실시예에서는 정지영상압축부230은 JPEG코더230이라고 가정한다. 상기 JPEG코더230은 상기 영상 전처리부210에서 출력되는 이미지를 JPEG 이미지로 압축한다. 기준이미지저장부260은 상기 이미지처리제어부200의 제어하에 매 N번째 프레임의 초고화소 이미지를 기준이미지로 저장한다. 이때 저장되는 기준이미지는 YUV 방식의 초고화소 이미지가 될 수 있다. 모션검출부240은 상기 이미지처리제어부200의 제어하에 매 N번째 프레임을 제외한 다른 프레임들의 초고화소 이미지들을 상기 기준이미지와 비교하여 모션 벡터를 검출하며, 상기 검출된 모션벡터 값을 이미지처리제어부200에 출력한다. 모션부호부250은 상기 모션검출부240에서 출력되는 모션벡터값을 압축부호하여 출력하며, 이때 압축부호화 방법은 RLC 방법을 사용할 수 있다. 선택부270은 상기 이미지처리제어부200의 출력선택신호에 의해 상기 압축부호부230 또는 모션부호부250의 출력을 선택하여 출력한다. 이때 상기 이미지처리제어부200은 상기 모션벡터 값이 특정 크기 이상이면 압축부호부230의 출력선택신호를 발생하며 그렇지 않으면 모션부호부250의 출력선택신호를 발생한다. 여기서 상기 모션검출부240은 검출된 모션 벡터값이 특정크기 이상인가를 판정하기 위한 기준데이타를 구비하고, 모션 벡터값을 검출한 후 이를 기준데이타와 비교하여 크기 판정신호를 발생할 수 있다. 이런 경우 상기 이미지처리제어부200은 상기 크기판정신호에 따라 상기 압축부호부240 또는 압축부호부230의 출력선택신호를 발생할 수도 있다.
다중화부350은 상기 이미지처리제어부310의 제어하에 상기 압축 이미지 및 표시이미지를 하나의 프레임으로 다중화하여 상기 어플리케이션처리부140에 전송한다.
도 3은 본 발명의 실시예에 따른 어플리케이션처리부의 구성을 도시하는 도면이다.
상기 도 3을 참조하면, 어플리케이션처리제어부300은 입력부170의 명령에 따라 상기 이미지처리부130의 동작을 제어하며, 상기 이미지처리부130에서 출력되는 이미지를 버퍼링 및 표시부160을 통해 표시하고, 캡쳐(정지이미지 또는 동영상) 명령 발생시 상기 버퍼링된 압축 이미지를 저장부150에 저장한다. 역다중화부310은 상기 어플리케이션처리제어부300의 제어에 의해 상기 이미지처리부130에서 전송되는 표시이미지 및 압축이미지를 역다중화하여 출력한다. 파서320은 상기 역다중화부310에서 역다중화되는 이미지들을 표시이미지 및 압축이미지를 파싱한다. 여기서 상기 어플리케이션처리제어부300이 상기 역다중화부310을 제어하여 상기 이미지처리부130에서 출력되는 표시이미지 및 압축이미지를 소프트웨어 파싱하는 경우, 상기 파서320은 생략될 수 있다. 버퍼340은 표시이미지버퍼333 및 압축이미지버퍼335를 구비할 수 있다. 상기 버퍼330은 상기 어플리케이션처리제어부300의 제어하에 각각 파싱되는 표시이미지 및 압축이미지를 버퍼링한다. 여기서 상기 버퍼300은 M 프레임의 표시이미지 및 압축이미지를 버퍼링할 수 있는 크기를 가지며, 버퍼300의 구조는 링버퍼(ring buffer) 구조를 가질 수 있다. 상기 버퍼300을 링버퍼 구조로 구성하는 이유는 수신되는 프레임의 표시이미지 및 압축이미지들을 설정 프레임 수로 유지하기 위함이다.
압축복호부340은 340은 상기 어플리케이션처리부300의 제어하에 압축이미지를 복원하여 초고화소의 YUV 이미지를 생성한다. 기준이미지저장부360은 상기 어플리케이션처리제어부300의 제어하에 상기 압축복호부340에서 출력되는 매 N번째 프레임의 초고화소 YUV 이미지를 기준이미지로 저장한다. 모션복호부350은 매 N번째 프레임을 제외한 나머지 프레임들의 모션압축데이타를 복원한다. 이미지생성부370은 기준이미지저장부360 및 모션복호부350의 출력을 입력하며, 상기 복원된 모션벡터 값을 상기 기준이미지에 적용하여 초고화소의 YUV이미지를 생성한다. 선택부380은 상기 압축복호부340 및 이미지생성부370의 출력을 입력하며, 상기 어플리케이션처리제어부300의 제어하에 압축복호부340 또는 이미지생성부370의 출력을 선택하여 매 프레임의 복원된 초고화소 이미지를 출력한다. 동영상부호부390은 상기 선택부380에서 출력되는 초고화소 YUV이미지를 동영상 복호하여 출력한다상기 동영상부호부 390은 H.264, MPEG 등 다양한 동영상 부호화기로 구성할 수 있다. 본 발명의 실시예에서는 상기 동영상부호부390이 MPEG코더390인 경우를 가정한다.
상기 도 3에서 이미지처리부130 및 어플리케이션처리부140에 구비되는 정지영상 및 동영상을 압축하는 구성은 코더로 도시되고 있다. 그러나 일반적으로 영상을 압축 및 압축 해제하는 구성은 하나의 칩(Coder & DECcoder: CODEC)으로 구성된다. 따라서 상기 이미지처리부130의 정지영상 코더340(예를들면 JPEG코더)는 정지영상 코덱(JPEG 코덱)으로 구성될 수 있으며, 상기 어플리케이션처리부140의 동영상부호부390(예를들면, MPEG 코더 390)은 동영상코덱(MPEG 코덱)이 될 수 있다. 또한 본 발명의 실시예에서는 카메라부110으로부터 촬영되는 이미지를 동영상으로 부호화되어 저장하는 동작을 중심으로 설명될 것이다.
상기 도 1 - 도 3을 참조하여 본 발명의 실시예에 따른 동영상 압축 및 저장 동작을 살펴본다. 이하의 설명에서 압축부호부230은 JPEG코더로 가정하고, 모션부호부250은 RLC부호부로 가정하여 설명한다.
먼저 이미지처리부130의 동작을 살펴보면, 영상전처리부210은 매 프레임에서 상기 카메라부110에서 획득한 이미지를YUV데이터로 변환하여 출력한다. 이때 상기 이미지는 초고화소의 YUV이미지가 될 수 있으며, 각각 스케일러220, 압축부호부230, 모션검출부240, 기준이미지저장부260에 인가된다. 그러면 상기 스케일러220은 .프리뷰를 위해 YUV데이터를 스케일링하여 표시이미지를 생성한다. 그리고 이미지처리제어부200은 매 N 프레임 주기로 N 프레임의 첫번재 프레임에서 압축부호부230이 YUV 이미지를 부호화하여 JPEG 이미지를 생성하며, 이때 기준이미지저장부260은 상기 매 N 주기의 첫번째 프레임의 YUV 이미지를 기준이미지로 저장한다. 그리고 모션검출부240은 매 N 프레임 주기에서 첫번째 프레임을 제외한 나머지 프레임들의 YUV 이미지들을 저장된 기준이미지와 비교하여 두 프레임 간의 모션 벡터 값을 검출하고, 이를 이미지처리제어부200에 출력한다. 또한 모션부호부250은 상기 모션검출부240에서 검출되는 모션 벡터값을 RLC 부호화한다.
그러면 상기 이미지처리제어부200은 선택부270을 제어하여 상기 압축부호부230의 출력 또는 모션부호부250의 출력을 압축이미지로 선택하여 출력한다. 즉, 상기 이미지처리제어부200은 매 N 프레임을 주기로, 첫번째 프레임 구간에서는 상기 압축부호부230의 출력을 선택하며, 나머지 프레임 구간에서는 모션부호부250의 출력을 선택한다. 이때 상기 이미지처리제어부200은 모션부호부250의 출력을 선택하는 프레임 구간에서 상기 모션검출부240의 출력을 분석하여 상기 모션벡터값이 특정 크기이하인지 판단한다. 이때 상기 이미지처리제어부200은 모션벡터값이 특정 크기이상이면 상기 압축부호부230의 출력을 선택하도록 상기 선택부270을 제어하며, 그렇지 않으면(즉, 모션벡터값이 특정 크기이하인 경우) 상기 모션부호부250의 출력을 선택하도록 상기 선택부270을 제어한다. 따라서 상기 이미지처리제어부200은 선택부270을 제어하여 JPEG이미지(N프레임인 경우 or 모션벡터값이 특정 크기이상인 경우)또는 인코딩된 모션벡터값(n프레임이 아니고 모션벡터값이 특정 크기이하인 경우)을 압축이미지로 출력하게 된다.그리고 다중화부280은 상기 스케일러220에서 출력되는 표시이미지 및 상기 선택부270에서 출력되는 압축이미지를 하나의 프레임으로 다중화여 상기 어플리케이션처리부140에 전송한다.
이때 상기 모션벡터 값이 특정 크기를 가져 JPEG이미지를 전송한 경우, 상기 이미지처리제어부100은 해당 프레임의 이미지에 해당하는 YUV데이터를 기준이미지저장부260에 저장하고, 모션검출부240이 이후 프레임들의 YUV 이미지들과 저장된 기준이미지들을 비교하여 모션벡터값을 검출할 수도 있다. 즉, N 프레임 주기에서 특정 프레임의 모션벡터값이 설정된 크기보다 큰 값을 가지는 경우, 해당 프레임의 이미지는 움직임 성분이 크다는 의미가 된다. 이런 경우 해당 N 프레임 주기에서 이어지는 나머지 프레임들의 이미지도 기준이미지(N 프레임의 첫번째 프레임 이미지)와 비교할 때 모션 벡터값이 크게 검출될 수 있다. 이런 경우 JPEG 이미지로 출력되는 프레임의 YUV 이미지를 기준이미지로 저장하고 이어지는 프레임들의 모션 벡터값을 검출하는 방법을 사용할 수도 있다. 이런 경우, 어플리케이션처리부140에서도 JPEG 이미지로 압축이미지가 수신되는 경우에는 해당 JPEG 이미지를 복원한 YUV 이미지를 기준이미지로 저장하고 이어지는 프레임들의 모션벡터값을 추정하여 YUV 이미지로 복원하여야 한다.
두번째로 어플리케이션처리부140의 동작을 살펴보면, 역다중화부310 및 파서320을 통해 수신되는 프레임의 표시이미지 및 압축이미지를 분리하며, 버퍼330은 각각 표시이미지버퍼333에 프리뷰용 YUV데이터를 버퍼링하고, 압축이미지버퍼335에 JPEG이미지 또는 인코딩된 모션벡터값을 버퍼링한다. 이때 상기 표시이미지버퍼333에 버퍼링되는 표시이미지는 표시부16에 전송되어 표시된다. 또한 매 N 프레임 주기의 첫번째 프레임의 압축이미지는 압축복호부340에서 초고화소의 YUV 이미지로 복원되며, 복원된 초고화소 이미지는 기준이미지저장부360에 저장되는 동시에 선택부380을 통해 출력된다. 그리고 N 프레임 주기의 나머지 프레임들은 모션복호부350에서 RLC 복호되어 모션 벡터값으로 생성되고, 이미지생성부370은 상기 모션벡터값을 상기 기준이미지에 복원하여 해당 프레임에서의 초고화소의 YUV 이미지를 생성하며, 생성된 YUV 이미지는 선택부380을 통해 출력된다.
이때 상기 어플리케이션처리제어부300은 상기 압축이미지버퍼335에 버퍼링된 압축이미지를 분석하여 버퍼링된 압축이미지가 JPEG 이미지이면 상기 압축복호부340에 전달하며, 부호화된 모션벡터값이면 모션복호부340에 전달한다. 따라서 상기 어플리케이션처리제어부300은 상기 압축이미지버퍼335에 버퍼링된 압축이미지가 JPEG이미지면 상기 압축복호부340의 출력을 선택하기 위한 출력선택신호를 발생하며, 부호화된 모션벡터값이면 이미지생성부370의 출력을 선택하기 위한 출력선택신호를 발생하며, 이로인해 선택부380은 상기 압축복호부340 또는 이미지생성부370의 출력을 선택 출력한다. 이때 상기 선택부380에서 출력되는 이미지는 초고화소의 YUV 이미지가 될 수 있으며, 동영상부호부390은 이를 동영상 부호화하여 저장부150에 저장한다.
이때 상기 이미지처리제어부100은 JPEG이미지를 전송한 경우 그 이미지에 해당하는 YUV데이터를 기준이미지저장부260에 저장하고, 모션검출부240이 이후 프레임들의 YUV 이미지들과 저장된 기준이미지들을 비교하여 모션벡터값을 검출하여 전송하는 경우, 어플리케이션처리부140은 JPEG 이미지로 압축이미지가 수신되는 경우에는 해당 JPEG 이미지를 복원한 YUV 이미지를 기준이미지로 저장하고 이어지는 프레임들의 모션벡터값을 추정하여 YUV 이미지로 복원한다.
또한 상기 이미지처리부130 및 어플리케이션처리부140이 정지이미지를 저장하는 동작을 살펴보면, 프리뷰모드에서 사용자가 정지이미지를 캡쳐하기 위한 요구를 하면 상기 이미지처리제어부200은 상기 선택부270이 압축부호부230의 출력을 선택하도록 제어한다. 그러면 영상전처리부210에서 출력되는 YUV 이미지는 스케일러220에서 스케일링되어 표시이미지로 생성되고, 압축복호부230에서 JPEG 이미지로 생성된다. 그리고 다중화부280은 상기 표시이미지 및 JPEG 이미지를 하나의 프레임으로 다중화하여 출력한다.
그리고 상기 어플리케이션처리부140은 상기 역다중화부310 및 파서320에서 수신되는 이미지를 표시이미지 및 JPEG 이미지로 분리하고, 버퍼330에서 각각 버퍼링된다. 이때 상기 어플리케이션처리제어부300은 상기 압축부호부340, 모션복호부350, 기준이미지저장부360, 이미지생성부370 및 동영상부호부390의 동작을 디스에이블시킨다. 상기와 같은 상태에서 사용자가 정지이미지 캡쳐를 요구하면, 상기 어플리케이션처리제어부300은 상기 압축이미지버퍼335에 버퍼링된 압축이미지들 중에서 상기 캡쳐를 요구한 시점의 프레임에 대응되는 압축이미지를 억세스하여 저장부150에 저장한다. 따라서 카메라장치는 사용자가 요구한 시점의 이미지를 캡쳐하여 저장하므로써, 제로 셔터렉을 구현할 수 있다.
도 4는 본 발명의 실시예에 따라 카메라장치에서 동영상을 저장하는 방법을 설명하기 위한 도면이다. 상기 도 4는 N = 4인 경우의 예를 도시하고 있다.상기 도 4를 참조하면, UHD 60fps 기준이면 4 frame 마다 1frame(15fps)을 JPEG data로 전송하고 나머지 3프레임(중간 frame)을 압축된 움직임 벡터만 전송하는 경우를 도시하고 있다. 여기서 상기 영상전처리부210에서 출력되는 YUV이미지는 8M의 초고화소 이미지가 될 수 있으며, 이미지처리부130은 매 프레임에서 표시이미지와 저장을 위한 초고화소의 압축이미지를 어플리케이션처리부140에 전송함을 알 수 있다.
이때 상기 이미지처리부130은 매 4프레임 간격으로 첫번째 프레임 주기에서는 YUV 이미지를 기준이미지로 저장하고, 이를 JPEG 이미지로 변환하여 출력한다. 그리고 나머지 프레임주기(4프레임 주기로 두번째, 세번재 및 네번째 프레임 구간)의 YUV 이미지는 기준이미지와 비교되어(모션 추정(motion estimation)) 모션 벡터값으로 검출되며, 이를 RLC 코딩하여 부호화된 모션 벡터값으로 발생된다. 보통의 동영상의 경우는 대다수 영상은 프레임 이미지 간의 움직임이 없거나 작은 움직임을 가진다. 따라서 프레임 이미지는 작은 움직임으로만 처리할 수 있으며, 이로인해 프레임 이미지의 data size는 JPEG 이미지에 비해 현저하게 적다. 최대한의 압축률을 기록하려면, MPEG 압축 기법의 P frame, B frame 까지 최대한 적용할 수 있다. 그러나 본 발명의 실시예에서는 MPEG 압축 알고리즘 중 이미지처리부130에 적용 가능한 최소한의 압축 기법만 활용하며, 이때 비교된 data가 의미 있는 수준으로 작으면, ME(motion estimation)를 수행한 후 그 결과를 RLC 부호화한 data를 해당 프레임의 압축이미지로 전송한다.
그러면 상기 어플리케이션처리부140은 전송된 압축이미지가 jpeg 이미지이면, 이를 복원(decoding) 하여 YUV1 8M data를 만들고, 해당 jpeg 이미지를 기준이미지저장부360에 저장한다. 이때 상기 기준이미지저장부360은 Circular queue로 구성할 수 있다. 또한 상기 이미지처리부130에서 전송된 이미지가 부호화된 모션벡터값이면(ME + RLC data), 상기 어플리케이션처리부140은 이를 decoding한 후, 상기 저장하고 기준이미지의 YUV data와 비교하여 새로운 YUV 이미지(즉, 해당 프레임의 YUV 이미지)를 생성한다. 그리고 상기와 같은 YUV 데이타들은 초고화소 YUV이미지가 될 수 있으며, 프레임 순서대로 복원되어 동영상부호부390에 인가되어 동영상 압축부호화된 후 저장부150에 저장한다. 상기 도 4의 경우, 동영상촬영 요구시 시 15fps로 동영상 촬영을 하는 경우, 모션벡터값 검출 동작을 수행하지 않고 압축이미지를 jpeg 이미지로 생성 및 처리하여 동영상 부호화 동작을 수행할 수 있다. 즉, 도 4에서는 60fps로 동영상을 촬영하는 경우 15fps로 jpeg 이미지가 생성됨을 알 수 있다. 따라서 15fps로 동영상을 촬영하는 경우에는 모션벡터값을 검출하는 동작을 수행하지 않아도 된다. 그러나 60fps로 동영상을 촬영하는 경우, 도 4에 도시된 바와 같이 4개의 프레임들을 기준으로 매 첫번째 프레임 이미지는 JPEG 이미지로 생성하고, 나머지 프레임들은 부호화된 모션벡터값으로 생성한다. 이때 상기 모션벡터값이 설정된 크기 이상을 가지는 경우에는 상기한 바와 같이 해당 프레임의 이미지는 JPEG 이미지로 출력할 수도 있다.
상기한 바와 같이 초고화소의 동영상을 촬영 및 저장하는 경우, N 프레임 주기에서 첫번째 프레임의 이미지를 기준이미지로 저장하는 동시에 JPEG 이미지로 압축하여 출력하고, 나머지 프레임들의 이미지들은 기준이미지와의 모션 벡터값만을 출력하므로써, 데이터 전송량을 대폭 줄일 수 있으며, 이로인해 초고화소의 이미지를 동영상으로 저장할 수 있다.
도 5는 본 발명의 실시예에 따라 이미지처리부130에서 동영상을 촬영시의 동작 절차를 도시하는 흐름도이다.
상기 도 5를 참조하면, 입력부170으로부터 카메라 구동 요청이 입력되면, 어플리케이션처리부140은 이를 감지하고 이미지처리부130에 이를 알리며, 상기 이미지처리부130은 카메라부110을 구동한다. 이때 상기 이미지처리부130은 상기 카메라부110의 설정정보(예를들면 초점, 줌, 화이트밸런스 등)에 따라 카메라를 구동시킨다. 상기 카메라부110이 구동되면, 상기 카메라부110은 초고화소의 이미지들을 촬영하며, 이미지처리부130 및 어플리케이션처리부140d은 511단계에서 프리뷰 모드를 수행한다. 상기 프리뷰모드에서 상기 이미지처리부130은 매프레임에서 이미지를 획득하며, 해당 프레임에서의 표시이미지 및 압축이미지를 생성한다. 이때 프레임 율은 30fps 또는 그 이상의 프레임율(예를들면 60 fps)을 가질 수 있다. 그리고 상기와 같이 생성되는 표시이미지, 압축이미지는 다중화되어 어플리케이션처리부140에 전달되며, 상기 어플리케이션처리부140은 상기 표시이미지 및 압축이미지를 각각 버퍼링하며, 상기 표시이미지는 표시부160을 통해 프리뷰 이미지로 표시한다.
상기와 같이 카메라장치가 프리뷰 모드를 수행하는 상태에서, 사용자가 동영상 촬영을 명령하면, 이미지처리부130은 매 프레임에서 이미지를 획득하며, 517단계에서 상기 획득된 이미지를 표시이미지로 생성하며, 519단계에서 획득된 이미지를 압축이미지로 생성한다. 이때 압축이미지는 저장을 위한 이미지로써, 정지이미지 압축이미지 또는 모션벡터값 압축이미지가 될 수 있다. 이때 상기 이미지처리부130은 상기 519단계에서 매 N 프레임 주기에서 첫번째 프레임은 정지이미지의 압축이미지로 생성하고, 나머지 프레임들은 정지이미지와 해당 프레임 이미지의 모션벡터값으로 생성된다. 이후 상기 이미지처리부130은 상기 표시이미지 및 압축이미지를 하나의 프레임으로 다중화하여 어플리케이션처리부140에 전송한다. 상기와 같은 동작은 동영상촬영이 종료될 때까지 반복 수행되며, 동영상촬영 종료시 상기 이미지처리부130은 523단계에서 이를 감지하고 동영상촬영을 위한 이미지처리 동작을 종료한다.
도 6은 도 5에서 본 발명의 실시예에 따라 압축이미지를 생성하는 절차를 도시하는 흐름도이다.
상기 도 6을 참조하면, 이미지처리제어부200은 611단계에서 영상전처리부210으로부터 초고화소의 YUV이미지가 출력됨을 감지하면, 613단계에서 해당 YUV 이미지가 N 프레임 주기의 첫번째 프레임인가 검사한다. 이때 첫번째 프레임이면, 상기 이미지처리제어부200은 613단계에서 이를 감지하고 615단계에서 YUV 이미지를 기준이미지저장부260에 기준이미지로 저장하고, 617단계에서 압축부호부230을 통해 JPEG이미지를 생성하며, 625단계에서 선택부270을 통해 출력되도록 제어한다. 그러나 613단계에서 N 프레임 주기의 첫번째 프레임이 아니면, 상기 이미지처리제어부200은 619단게에서 모션검출부240을 통해 해당 프레임의 YUV 이미지와 기준이미지 간의 모션벡터 값을 검출하고, 623단계에서 상기 검출된 모션벡터 값을 RLC 부호화한 후, 625단계에서 선택부270을 통해 출력되도록 제어한다.
이때 본 발명의 실시예에서는 상기 검출된 모션 벡터 값이 특정 크기 이상이면 모션벡터값을 사용하는 것보다 정지 이미지을 압축하는 것이 바람직할 수 있다. 따라서 상기 이미지처리부200은 621단계에서 상기 모션검출부240의 출력을 분석하여 특정 크기 이상이면 상기 617단계로 진행하여 상기 압축부호부230의 출력을 해당 프레임의 압축이미지로 선택 출력하고, 특정 크기보다 작으면 623단계에서 모션벡터값을 부호화한 후 이를 압축이미지로 선택 출력할 수도 있다. 상기 선택부270에서 정지이미지의 압축이미지 또는 모션벡터값을 부호화한 압축이미지는 다중화부280에서 표시이미지와 하나의 프레임으로 다중화되어 어플리케이션처리부140에 전송된다.
도 7은 본 발명의 실시예에 따른 어플리케이션처리부의 동영상 촬영 절차를 도시하는 흐름도이다.
상기 도 7을 참조하면, 상기 이미지처리부130에서 다중화되어 전송되는 프레임 이미지들은 711단계에서 역다중화되고, 파서320에서 표시이미지 및 압축이미지로 파싱된 후 각각 버퍼330의 표시이미지버퍼333 및 압축이미지버퍼335에 버퍼링된다. 그러면 상기 어플리케이션처리제어부300은 713단계에서 상기 버퍼링된 표시이미지를 표시부160에 출력하여 표시한다. 그리고 상기 어플리케이션처리제어부300은 715단계에서 압축이미지를 복원하여 YUV이미지로 복원한다. 이때 상기 어플리케이션처리제어부300은 상기 압축이미지가 정지이미지의 압축이미지이면 압축복호부340을 통해 복원하며, 부호화된 모션벡터값의 압축이미지이면 모션벡터값을 복원한 후 기준이미지에 이를 적용하여 해당 프레임의 YUV 이미지를 복원한다. 이후 상기 어플리케이션처리제어부300은 717단계에서 상기 복원된 YUV 이미지를 동영상부호부390을 통해 동영상으로 압축한 후, 719단계에서 압축된 동영상을 저장부150에 저장한다. 상기와 같은 동작은 동영상 촬영이 종료될 때까지 반복 수행되며, 동영상 촬영이 종료되면 상기 어플리케이션처리제어부300은 721단계에서 이를 감지하고 동영상 저장 절차를 종료한다.
도 8은 도 7에서 본 발명의 실시예에 따라 압축이미지를 복원하여 동영상을 저장하는 절차를 도시하는 흐름도이다.
상기 도 8을 참조하면, 811단계에서 압축이미지를 수신하면, 상기 어플리케이션처리제어부300은 813단계에서 해당 압축이미지가 N 프레임주기의 첫번째 프레임의 압축이미지인가 검사한다. 이때 첫번째 프레임의 압축이미지이면, 상기 어플리케이션처리제어부300은 815단계에서 압축복호부340을 통해 압축이미지를 YUV 이미지로 복원하고, 817단계에서 복원된 YUV 이미지를 선택부380을 통해 동영상부호부390에 전달하며, 817단계에서 기준이미지저장부360에 기준이미지로 저장한다. 그러나 상기 813단계에서 첫번째 프레임이 아니면, 상기 어플리케이션처리제어부300은 821단계에서 모션복호부350을 통해 부호화된 모션벡터값을 복원하며, 823단계에서 이미지생성부370을 통해 상기 복원된 모션 벡터값을 상기 기준이미지에 적용하여 해당 프레임에서의 YUV 이미지를 생성한다.
이때 상기 이미지처리부130에서 모션벡터값이 특정 크기 이상을 가지는 경우, 해당 프레임의 압축이미지를 JPEG 이미지로 출력할 수 있다. 따라서 이런 경우 N 프레임 주기에서 첫번째 프레임이 아닌 다른 프레임에서도 JPEG 이미지가 수신될 수 있다. 이런경우, 상기 어플리케이션처리제어부300은 819단계에서 압축이미지가 모션 벡터를 부호화한 압축이미지가 아님을 감지하면, 825단계에서 압축복호부340을 통해 JPEG 이미지를 YUV 이미지로 복원한다.
이때 N 프레임주기의 첫번째 프레임이 아닌 프레임에서 검출한 모션벡터 값이 특정 크기 이상의 값을 가져 JPEG이미지를 전송한 경우, 상기 이미지처리부130은 해당 프레임의 이미지에 해당하는 YUV데이터를 기준이미지로 저장하고, 이후 프레임들의 YUV 이미지들과 이렇게 저장된 기준이미지들을 비교하여 모션벡터값을 검출할 수도 있다. 이런 경우, 어플리케이션처리부140에서도 JPEG 이미지로 압축이미지가 수신되는 경우에는 해당 JPEG 이미지를 복원한 YUV 이미지를 기준이미지로 저장하고 이어지는 프레임들의 모션벡터값을 추정하여 YUV 이미지로 복원하여야 한다.
도 9는 본 발명의 실시예에 따른 카메라장치를 구비하는 휴대단말장치의 구성을 도시하는 도면이다.
상기 도 9를 참조하면, 카메라부110은 센서를 구비하며, 카메라 구동시 센서를 통해 이미지를 획득하는 기능을 수행한다. 센서부120은 휴대단말장치에 장착하는 하나의 이상의 센서가 될 수 있으며, 상기 센서는 GPS수신기, 자이로센서, 가속도센서, 고도센서, 방향센서, 조도센서들 중에 하나 이상이 될 수 있다. 이미지처리부130은 상기 카메라부110으로부터 획득되는 이미지를 처리하여 매 프레임에서 표시부160에 표시하기 위한 표시 이미지, 캡쳐(정지이미지 및 동영상 촬영) 요구시 저장하기 위한 압축 이미지 등을 생성한다. 여기서 상기 표시이미지는 YUV 이미지가 될 수 있으며, 상기 압축이미지는 JPEG 이미지가 될 수 있다. 이때 동영상 촬영이 요구되면, 초고화소의 이미지들을 어플리케이션처리부140에 전달하기 위해, N 프레임의 주기에서 첫번째 프레임은 정지이미지를 압축 부호화하는 압축이미지를 생성하고, 이외의 프레임들은 첫번째 프레임의 이미지와 해당 프레임 간의 모션 벡터를 검출하고 검출된 모션 벡터값을 부호화하여 압축이미지로 생성한다. 상기 이미지처리부130은 1초에 30프레임(30 frame per sec) 또는 그 이상의 프레임율(예를들면 60 fps)로 표시이미지, 압축이미지 및 촬영정보들을 생성할 수 있다.
어플리케이션 처리부140은 휴대단말장치의 다양한 어플리케이션 기능을 수행한다. 또한 상기 어플리케이션처리부140은 센서부120의 출력을 입력하며, 사용자의 요구에 따른 다양한 센서 어플리케이션을 처리할 수 있다. 예를들면 GPS수신의 출력을 입력하여 네비게이션 기능, 단말기의 위치에 따른 지역정보를 탐색하는 어플리케이션을 처리할 수 있으며, 단말장치의 움직임에 따라 현재 실행되는 어플리케이션에서의 설정된 기능을 실행하는 어플리케이션 등을 실행할 수 있다. 특히 상기 어플리케이션처리부140은 본 발명의 실시예에 따라 카메라 구동시 상기 이미지처리부130에서 매 프레임에서 생성되는 표시이미지 및 압축 이미지들을 버퍼링하고, 상기 표시이미지를 표시부160에 출력하여 표시되도록 제어한다. 이때 사용자의 정지이미지의 캡쳐 요구 명령이 발생되면, 상기 어플리케이션처리부140은 상기 버퍼링 중인 압축 이미지들 중에서 설정된 압축이미지를 저장부150에 저장하여 제로 셔터렉 기능을 구현한다. 그리고 동영상촬영 명령이 발생되면, 상기 어플리케이션처리부140은 N 프레임을 주기로 첫번째 프레임은 정지이미지에 대한 압축이미지를 복원하여 YUV 이미지로 복원하고, 다른 프레임들은 수신되는 모션벡터값을 상기 복원된 첫번째 프레임의 YUV 이미지에 적용하여 해당 프레임에서의 YUV 이미지들을 생성한다. 이후 상기와 같이 복원된 YUV 이미지들을 동영상으로 압축부호화하여 저장부150에 저장한다.
통신부920은 외부장치 또는 기지국과 통신기능을 수행한다. 상기 통신부920은 송신신호를 RF 대역으로 상승시키는 변환기(frequency up converter)와 전력증폭기 등으로 구성되는 송신부와, RF 수신호를 저잡음 증폭하는 증폭기와 RF신호를 기저대역으로 하강 변환하는 변환기(frequency down converter) 등을 구비할 수 있다. 또한 상기 통신부920은 상기 송신신호를 변조하여 송신부에 전달하는 변조부 및 상기 수신부에서 출력되는 신호를 복조하는 복조부를 구비할 수 있다. 여기서 상기 변복조부는 통신 방식에 따라 WCDMA, GSM, LTE 방식의 변복조부가 될 수 있으며, 또한 WIFI, WIBRO 등의 변복조부가 될 수 있다.
단말제어부910은 휴대단말장치의 전반적인 동작을 제어하며, 음성 통화 및 데이터 통신의 기능을 수행한다. 여기서 상기 단말제어부910은 상기 통신부920의 변복조부를 포함할 수 있으며, 이런 경우 상기 통신부920은 RF통신부만을 구비할 수 있다. 사기 단말제어부910은 이런 경우 상기 통신신호를 변복조 및 부호/복호화하는 기능을 수행할 수 있다. 오디오처리부930은 휴대단말장치의 송수화기와 연결되어 상기 단말제어부910의 제어하에 음성 통신시 통화 음성을 처리한다. 메모리940은 상기 단말제어부910 및 어플리케이션처리부140의 프로그램들이 로딩되는 워크 메모리(work memory)가 될 수 있으며, 이런 경우 상기 메모리940은 램으로 구성될 수 있다.
상기 입력부170은 단말제어부1610 및 어플리케이션처리부140에 휴대단말장치의 각종 동작 명령 및 데이터 입력신호를 발생한다. 특히 상기 어플리케이션처리부140에 카메라 구동명령, 캡쳐 명령을 발생할 수 있다. 또한 상기 입력부170은 이미지 캡쳐시 사용자의 요구에 따른 촬영정보 및/또는 섬네일 이미지들의 표시를 요구하는 명령을 발생할 수 있다. 표시부160은 단말제어부1610 및 어플리케이션처리부140의 제어하에 휴대단말장치의 동작 및 어플리케이션 실행 상태를 표시한다. 특히 상기 표시부160은 본 발명의 실시예에 따라 프리뷰 모드시 상기 어플리케이션처리부140에서 출력되는 표시 이미지를 표시한다. 또한 상기 표시부160은 이미지 캡쳐시 상기 어플리케이션처리부140에서 출력되는 촬영정보 및/또는 섬네일 이미지들을 표시할 수 있다. 여기서 상기 입력부170은 사용자의 터치입력을 감지하는 터치패널이 될 수 있으며, 표시부160은프로그램 수행 중에 발생되는 데이터 및 이미지 등을 표시하는 LCD 또는 OLED 패널이 될 수 있다. 여기서 상기 입력부170 및 표시부160은 일체형의 터치스크린이 될 수 있다. 또한 상기 입력부170은 카메라장치의 외부에 위치되는 버튼들을 포함할 수 있다.
저장부150은 휴대단말장치의 동작 프로그램 및 본 발명의 실시예에 따른 프로그램들을 저장하는 프로그램 메모리와, 프로그램 수행을 위한 데이터들 및 프로그램 수행 중에 발생되는 데이터를 저장하기 위한 데이터 메모리로 구성될 수 있다. 이런 경우 상기 저장부150은 플래시 메모리등과 같은 비휘발성 메모리(non volatile memrory)로 구성할 수 있다. 특히 상기 저장부150은 본 발명의 실시예에 따라 캡쳐 요구시 상기 어플리케이션 처리부140에 버퍼링 중인 압축 이미지를 저장한다.
상기 도 9과 같은 구성을 가지는 휴대단말장치는 착발신 통화 및 통신 서비스를 수행할 수 있으며, 카메라 촬영모드시 본 발명의 실시예에 따라 카메라부110에서 촬영되는 이미지를 처리한다. 휴대단말기의 전원온 등과 같이 휴대단말기의 기동을 수행하는 경우, 단말제어부910는 상기 저장부150에서 통화 및 통신 그리고 휴대단말장치의 동작 프로그램들을 상기 메모리940에 로딩시킨다. 또한 상기 어플리케이션처리부140은 어플리케이션 실행 요구시 상기 저장부150에서 해당 어플리케이션들을 구동하기 위한 프로그램을 상기 메모리940에 로딩시킨다. 또한 상기 따라서 상기 메모리940은 시스템 기동시 휴대단말장치의 동작 프로그램들 및 어플리케이션 프로그램들이 로딩되는 워크 메모리 기능을 수행한다. 여기서 상기 메모리940은 상기 어플리케이션처리부140 및 단말제어부910이 공유할 수 있으며, 또한 각각 독립적으로 구성하여 사용할 수도 있다.
상기 어플리케이션처리부140은 본 발명의 실시예에 따른 카메라부110의 이미지 처리 어플리케이션과 휴대단말장치의 다양한 어플리케이션들을 처리한다. 그리고 상기와 같은 다양한 어플리케이션 처리를 수행하기 위해 상기 어플리케이션처리부140은 상기 센서부120의 출력을 입력할 수 있으며, 상기 센서부120의 출력을 이용하여 어플리케이션을 실행하거나 또는 상기 센서부120의 출력에 의해 어플리케이션의 처리 동작을 제어할 수 있다. 또한 단말제어부910은 상기 센서부120의 출력을 입력하며, 통화 또는 통신 서비스를 수행하거나 또는 상기 센서부120의 출력에 의해 통화 또는 통신 서비스를 제어할 수 있다.
발신통화시, 사용자는 입력부170을 통해 발신전화번호 및 통화 요구신호를 발생할 수 있으며, 이를 감지하는 단말제어부910은 통신부920을 제어하여 통화로를 형성하며, 기지국을 통해 발신 통화 기능을 수행한다. 또한 착신 통화가 발생되면, 상기 단말제어부910은 통신부920을 통해 이를 감지하고 오디오처리부930을 통해 착신 경보를 하며 표시부160을 통해 착신 정보를 표시한다. 이때 사용자가 입력부170을 통해 응답을 하면, 상기 단말제어부910은 통신부920을 통해 착신 통화로를 형성하여 통화 서비스를 수행한다. 데이터 통신의 경우에도 상기 통화와 유사한 동작으로 통신로를 형성한다.
또한 상기 휴대단말장치는 다양한 어플리케이션들을 실행할 수 있다. 이때 사용자가 입력부170을 통해 특정 어플리케이션의 실행을 요구하면, 상기 어플리케이션처리부140은 해당 어플리케이션을 실행하며, 그 결과를 상기 표시부160에 표시한다. 이때 사용자가 카메라 구동 요구 명령을 발생하면, 상기 어플리케이션처리부140은 이를 감지하고, 상기 이미지처리부130을 통해 카메라부110을 구동한다. 그러면 상기 이미지처리부130은 매 프레임에서 상기 카메라부110에서 촬영되는 이미지를 처리하여 표시이미지, 압축이미지를 생성한다. 그러면 상기 어플리케이션처리부140은 상기 매 프레임에서 생성되어 수신되는 표시이미지, 압축이미지를 버퍼링하며, 상기 표시이미지를 표시부160을 통해 프리뷰 이미지로 표시한다. 이와 같은 상태에서 사용자가 입력부170을 통해 동영상 캡쳐 명령을 발생하면, 상기한 바와 같이 초고화소 YUV 이미지를 상기 어플리케이션처리부140에 전송하기 위하여 정지 이미지를 JPEG 이미지로 압축부호화한 압축이미지 및 특정 프레임의 정지이미지와 해당 프레임 이미지 간의 모션벡터를 검출하고 이를 RLC 부호화한 모션 벡터값을 압축이미지로 생성한다. 이때 상기 정지이미지를 JPEG 이미지로 부호화하는 프레임은 N 프레임 단위로 첫번째 프레임이 될 수 있으며, 나머지 프레임들은 첫번째 프레 이미지와 해당 프레임 이미지 간의 모션벡터를 검출하고 이를 RLC 부호화한 데이터를 압축이미지로 한다. 따라서 획득되는 프레임 이미지들을 압축부호화할 때 전송할 데이터 량을 대폭 줄일 수 있어 이미지처리부130에서 어플리케이션 처리부140으로 초고화소의 이미지를 전달할 수 있다. 그러면 어플리케이션처리부140은 N 프레임 주기로 첫번재 프레임의 압축이미지는 정지 이미지로 복원하고, 다른 프레임들의 이미지는 상기 복원된 이미지와 해당 프레임의 모션 벡터값을 이용하여 원래의 이미지로 복원할 수 있다. 그리고 상기와 같이 복원 이미지들을 다시 동영상으로 압축하여 저장부150에 저장할 수 있다. 따라서 상기 카메라부110에서 촬영되는 초고화소의 이미지를 동영상으로 저장할 수 있다.
본 명세서와 도면에 개시 된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (26)

  1. 동영상 촬영시 카메라로부터 매 프레임에서 프레임 이미지를 획득하는 과정과,
    상기 획득된 이미지를 표시이미지 및 압축이미지로 생성하며, 상기 압축이미지는 기준 프레임 이미지의 압축이미지 또는 기준 프레임 이미지와 대응되는 프레임의 모션벡터 값으로 구성되는 과정과,
    각 프레임의 상기 생성된 표시이미지 및 압축이미지를 하나의 프레임으로 다중화 하여 전송하는 과정과,
    상기 수신되는 표시이미지를 표시하며, 상기 압축이미지를 복원한 후 동영상으로 압축하는 과정과,
    상기 압축된 동영상을 저장하는 과정을 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서, 압축이미지를 생성하는 과정은,
    상기 프레임 이미지 획득시 N 프레임 단위로 특정 프레임 이미지는 정지이미지의 압축이미지로 생성하는 과정과,
    상기 프레임의 나머지 프레임들의 이미지는 상기 특정 프레임 이미지와의 모션벡터값을 검출하여 압축이미지로 생성하는 과정과,
    상기 생성되는 압축이미지를 프레임 순서로 선택하는 과정을 포함하는 것을 특징으로 하는 방법.
  3. 제2항에 있어서, 특정 프레임은 N 프레임 주기의 첫번째 프레임인 것을 특징으로 하는 방법.
  4. 제3항에 있어서, 상기 모션벡터을 압축이미지로 생성하는 과정은,
    상기 첫번째 프레임의 정지이미지를 기준이미지로 저장하는 과정과,
    대응되는 프레임 이미지와 상기 기준이미지의 모션벡터를 검출하는 과정과,
    상기 검출된 모션벡터를 압축 부호화하여 압축이미지로 생성하는 과정을 포함하는 것을 특징으로 하는 방법.
  5. 제4항에 있어서,
    상기 모션벡터 검출과정 수행 후, 검출된 모션벡터를 설정된 크기와 비교하여 상기 모션벡터가 더 크면 해당 프레임은 정지이미지를 압축이미지로 생성하는 과정을 더 구비하는 것을 특징으로 하는 방법.
  6. 제5항에 있어서, 상기 정지이미지를 압축이미지로 생성하면 해당 프레임의 정지이미지를 기준이미지로 저장하는 과정을 더 구비하는 것을 특징으로 하는 방법.
  7. 제6항에 있어서, 상기 정지이미지는 초고화소 YUV 이미지이며, 상기 압축이미지는 JPEG 이미지이고, 상기 모션벡터는 RLC 부호화하는 것을 특징으로 하는 방법.
  8. 제2항에 있어서, 압축이미지를 복원하는 과정은,
    상기 수신된 압축이미지가 N 프레임 주기의 특정 프레임 이미지면 압축이미지를 복호하여 정지이미지를 생성하며, 특정프레임 이미지가 아니면 모션벡터를 상기 복호된 정지이미지에 적용하여 해당 프레임의 이미지를 생성하는 과정과,
    상기 생성되는 프레임 이미지들을 프레임 순서대로 동영상으로 압축 부호화하는 과정을 포함하는 것을 특징으로 하는 방법.
  9. 제8항에 있어서, 특정 프레임은 N 프레임 주기의 첫번째 프레임인 것을 특징으로 하는 방법.
  10. 제9항에 있어서, 상기 모션벡터를 이용하여 프레임 이미지로 생성하는 과정은,
    상기 첫번째 프레임의 복호된 정지이미지를 기준이미지로 저장하는 과정과,
    대응되는 프레임의 압축 부호화된 모션벡터를 복호하는 과정과,
    상기 복호된 모션벡터를 상기 기준이미지에 적용하여 해당 프레임의 이미지로 생성하는 과정을 포함하는 것을 특징으로 하는 방법.
  11. 제10항에 있어서,
    상기 프레임의 압축이미지가 정지이미지의 압축이미지이며 상기 N 프레임 주기의 첫번째 프레임이 아니면 압축이미지를 정지이미지로 복호하는 과정을 더 구비하는 것을 특징으로 하는 방법.
  12. 제11항에 있어서, 상기 정지이미지는 초고화소 YUV 이미지이며, 상기 압축이미지는 JPEG 이미지이고, 상기 모션벡터는 RLC 부호화하는 것을 특징으로 하는 방법.
  13. 카메라장치에 있어서,
    카메라와,
    동영상 촬영시 카메라로부터 매 프레임에서 프레임 이미지를 획득하며, 상기 획득된 이미지를 표시이미지 및 압축이미지로 생성하고, 각 프레임의 상기 생성된 표시이미지 및 압축이미지를 하나의 프레임으로 다중화 하여 전송하며, 상기 압축이미지는 기준 프레임 이미지의 압축이미지 또는 기준 프레임 이미지와 대응되는 프레임의 모션벡터 값으로 구성되는 이미지처리부와,
    상기 수신되는 표시이미지를 표시하며, 상기 압축이미지를 복원한 후 동영상으로 압축하는 어플리케이션처리부와,
    상기 압축된 동영상을 저장하는 저장부와,
    상기 표시이미지를 표시하는 표시부를 포함하는 것을 특징으로 하는 장치.
  14. 제13항에 있어서, 상기 이미지처리부는,
    상기 프레임 이미지 획득시 N 프레임 단위로 특정 프레임 이미지는 정지이미지의 압축이미지로 부호화하는 압축부호부와,
    상기 프레임의 나머지 프레임들의 이미지는 상기 특정 프레임 이미지와의 모션벡터 값을 검출하여 압축이미지로 생성하는 모션검출부와,,
    상기 생성되는 압축이미지를 프레임 순서로 선택하는 선택부를 포함하는 것을 특징으로 하는 장치.
  15. 제14항에 있어서, 특정 프레임은 N 프레임 주기의 첫번째 프레임인 것을 특징으로 하는 장치.
  16. 제15항에 있어서, 상기 이미지처리부는,
    상기 첫번째 프레임의 정지이미지를 기준이미지로 저장하는 기준이미지저장부와,
    대응되는 프레임 이미지와 상기 기준이미지의 모션벡터를 검출하는 모션검출부의 출력을 압축 부호화하여 압축이미지로 생성하는 모션부호부를 더 구비하는 것을 특징으로 하는 장치.
  17. 제16항에 있어서, 상기 정지이미지는 초고화소 YUV 이미지이며, 상기 압축이미지는 JPEG 이미지이고, 상기 모션벡터는 RLC 부호화하는 것을 특징으로 하는 장치.
  18. 제14항에 있어서, 상기 어플리케이션처리부는,
    상기 수신된 압축이미지가 N 프레임 주기의 특정 프레임 이미지면 압축이미지를 복호하여 정지이미지를 생성하는 압축복호부와,
    상기 수신된 압축이미지가 N 프레임의 특정프레임 이미지가 아니면 모션벡터를 상기 복호된 정지이미지에 적용하여 해당 프레임의 이미지를 생성하는 이미지생성부와,
    상기 생성되는 프레임 이미지들을 프레임 순서대로 선택하는 선택부와,
    상기 선택되는 프레임미지들을 동영상으로 압축 부호화하는 동영상부호부를 포함하는 것을 특징으로 하는 장치.
  19. 제18항에 있어서, 특정 프레임은 N 프레임 주기의 첫번째 프레임인 것을 특징으로 하는 장치.
  20. 제19항에 있어서, 상기 어플리케이션처리부는,
    상기 첫번째 프레임의 복호된 정지이미지를 기준이미지로 저장하는 기준이미지저장부와,
    대응되는 프레임의 압축 부호화된 모션벡터를 복호하는 모션복호부를 더 포함하며,
    상기 이미지생성부가 복호된 모션벡터를 상기 기준이미지에 적용하여 해당 프레임의 이미지로 생성하는 것을 특징으로 하는 장치.
  21. 제20항에 있어서, 상기 정지이미지는 초고화소 YUV 이미지이며, 상기 압축이미지는 JPEG 이미지이고, 상기 모션벡터는 RLC 부호화하는 것을 특징으로 하는 장치.
  22. 휴대단말장치에 있어서,
    외부 장치와 무선통신을 수행하는 통신부와,
    상기 통신부를 통해 휴대단말장치의 통화 및 통신을 제어하는 단말제어부와,
    카메라 구동시 매 프레임 주기에서 카메라센서로부터 이미지를 획득하는 카메라부와,
    동영상 촬영시 카메라부로부터 매 프레임에서 프레임 이미지를 획득하며, 상기 획득된 이미지를 표시이미지 및 압축이미지로 생성하고, 각 프레임의 상기 생성된 표시이미지 및 압축이미지를 하나의 프레임으로 다중화 하여 전송하며, 상기 압축이미지는 기준 프레임 이미지의 압축이미지 또는 기준 프레임 이미지와 대응되는 프레임의 모션벡터 값으로 구성되는 이미지처리부와,
    상기 수신되는 표시이미지를 표시하며, 상기 압축이미지를 복원한 후 동영상으로 압축하는 어플리케이션처리부와,
    상기 압축된 동영상을 저장하는 저장부와,
    상기 표시이미지를 표시하는 표시부를 포함하는 것을 특징으로 하는 장치.
  23. 제22항에 있어서, 상기 이미지처리부가,
    상기 프레임 이미지 획득시 N 프레임 단위로 특정 프레임 이미지는 정지이미지의 압축이미지로 부호화하는 압축부호부와,
    상기 프레임의 나머지 프레임들의 이미지는 상기 특정 프레임 이미지와의 모션벡터값을 검출하여 압축이미지로 생성하는 모션검출부와,
    상기 생성되는 압축이미지를 프레임 순서로 선택하는 선택부를 포함하는 것을 특징으로 하는 장치.
  24. 제23항에 있어서, 상기 어플리케이션처리부는,
    상기 수신된 압축이미지가 N 프레임 주기의 특정 프레임 이미지면 압축이미지를 복호하여 정지이미지를 생성하는 압축복호부와,
    상기 수신된 압축이미지가 N 프레임의 특정프레임 이미지가 아니면 모션벡터를 상기 복호된 정지이미지에 적용하여 해당 프레임의 이미지를 생성하는 이미지생성부와,
    상기 생성되는 프레임 이미지들을 프레임 순서대로 선택하는 선택부와,
    상기 선택되는 프레임이미지들을 동영상으로 압축 부호화하는 동영상부호부를 포함하는 것을 특징으로 하는 장치.
  25. 제24항에 있어서, 특정 프레임은 N 프레임 주기의 첫번째 프레임인 것을 특징으로 하는 장치.
  26. 제25항에 있어서, 상기 정지이미지는 초고화소 YUV 이미지이며, 상기 압축이미지는 JPEG 이미지이고, 상기 모션벡터는 RLC 부호화하는 것을 특징으로 하는 장치.
KR1020120016085A 2012-02-16 2012-02-16 카메라의 동영상 촬영장치 및 방법. KR101921935B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120016085A KR101921935B1 (ko) 2012-02-16 2012-02-16 카메라의 동영상 촬영장치 및 방법.
CN201310049473.6A CN103260026B (zh) 2012-02-16 2013-02-07 在摄像机设备中拍摄移动画面的装置和方法
EP13155155.8A EP2629520B1 (en) 2012-02-16 2013-02-14 Apparatus and method for shooting moving picture in camera device
US13/769,139 US9716865B2 (en) 2012-02-16 2013-02-15 Apparatus and method for shooting moving picture in camera device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120016085A KR101921935B1 (ko) 2012-02-16 2012-02-16 카메라의 동영상 촬영장치 및 방법.

Publications (2)

Publication Number Publication Date
KR20130094661A KR20130094661A (ko) 2013-08-26
KR101921935B1 true KR101921935B1 (ko) 2018-11-27

Family

ID=47826867

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120016085A KR101921935B1 (ko) 2012-02-16 2012-02-16 카메라의 동영상 촬영장치 및 방법.

Country Status (4)

Country Link
US (1) US9716865B2 (ko)
EP (1) EP2629520B1 (ko)
KR (1) KR101921935B1 (ko)
CN (1) CN103260026B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023132629A1 (ko) * 2022-01-06 2023-07-13 삼성전자 주식회사 카메라를 포함하는 전자 장치 및 움직이는 물체를 촬영하는 동영상 생성 방법

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102195304B1 (ko) 2014-01-17 2020-12-24 삼성전자주식회사 영상 처리 방법 및 그 전자 장치
JP6340567B2 (ja) * 2014-05-30 2018-06-13 株式会社アクセル 動画再生方法及び動画再生システム
KR102423364B1 (ko) 2015-08-12 2022-07-22 삼성전자 주식회사 영상을 제공하는 방법 및 이를 지원하는 전자 장치
US10769095B2 (en) * 2016-07-20 2020-09-08 Canon Kabushiki Kaisha Image processing apparatus
CN106776696B (zh) * 2016-11-11 2022-05-06 浙江宇视科技有限公司 一种基于分类模型的热度图数据处理方法及装置
CN111837393A (zh) * 2018-03-15 2020-10-27 索尼公司 图像处理设备和方法
US20200027296A1 (en) * 2018-07-23 2020-01-23 Dominion Voting Systems, Inc. Voter-verified digital voting audit trail
US10863097B2 (en) * 2018-08-21 2020-12-08 Gopro, Inc. Field of view adjustment
CN115103175B (zh) * 2022-07-11 2024-03-01 北京字跳网络技术有限公司 图像传输方法、装置、设备及介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5287420A (en) * 1992-04-08 1994-02-15 Supermac Technology Method for image compression on a personal computer
TW416220B (en) * 1998-01-23 2000-12-21 Matsushita Electric Ind Co Ltd Image transmitting method, image processing method, image processing device, and data storing medium
KR100309695B1 (ko) * 1998-06-01 2001-12-28 구자홍 간헐영상의압축기록방법및압축간헐영상의재생방법
US7015941B2 (en) * 2001-10-12 2006-03-21 Malloy Desormeaux Stephen G Hybrid cameras that download electronic images in selected geometric formats and methods
JP2004193686A (ja) * 2002-12-06 2004-07-08 Nec Access Technica Ltd カメラ付き携帯端末
JP4288992B2 (ja) * 2003-04-04 2009-07-01 ソニー株式会社 撮像装置及び方法
ATE371335T1 (de) * 2003-12-01 2007-09-15 Sony Ericsson Mobile Comm Ab Kamera zur aufnahme einer bildsequenz
JP4561475B2 (ja) 2005-05-24 2010-10-13 カシオ計算機株式会社 デジタルカメラ装置およびそのプログラム
JP2007072130A (ja) * 2005-09-06 2007-03-22 Seiko Epson Corp 画像表示システム、画像表示装置、画像データ出力装置、画像処理プログラム、及びこの画像処理プログラムを記録した記録媒体
US8199220B2 (en) * 2006-12-06 2012-06-12 Samsung Electronics Co., Ltd. Method and apparatus for automatic image management
ATE530014T1 (de) * 2007-02-01 2011-11-15 Sony Corp Bildwiedergabevorrichtung, bildwiedergabeverfahren, abbildungsvorrichtung und verfahren zur steuerung der abbildungsvorrichtung
JP4877090B2 (ja) * 2007-06-18 2012-02-15 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP4587185B2 (ja) * 2008-02-27 2010-11-24 キヤノン株式会社 撮像システム及び撮像装置の制御方法
TW201026056A (en) * 2008-12-16 2010-07-01 Quanta Comp Inc Image capturing device and image delivery method
US20100265525A1 (en) * 2009-04-20 2010-10-21 Kabushiki Kaisha Toshiba Image processing apparatus, image forming apparatus, and image processing method
TWI418210B (zh) * 2010-04-23 2013-12-01 Alpha Imaging Technology Corp 避免快門延遲之影像擷取模組及影像擷取方法
JP5565226B2 (ja) * 2010-09-10 2014-08-06 富士通株式会社 画像データ処理装置および画像データ処理方法
JP5722761B2 (ja) * 2011-12-27 2015-05-27 株式会社ソニー・コンピュータエンタテインメント 動画圧縮装置、画像処理装置、動画圧縮方法、画像処理方法、および動画圧縮ファイルのデータ構造

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023132629A1 (ko) * 2022-01-06 2023-07-13 삼성전자 주식회사 카메라를 포함하는 전자 장치 및 움직이는 물체를 촬영하는 동영상 생성 방법

Also Published As

Publication number Publication date
US20130215291A1 (en) 2013-08-22
KR20130094661A (ko) 2013-08-26
EP2629520B1 (en) 2019-04-03
CN103260026B (zh) 2018-09-21
US9716865B2 (en) 2017-07-25
EP2629520A1 (en) 2013-08-21
CN103260026A (zh) 2013-08-21

Similar Documents

Publication Publication Date Title
KR101921935B1 (ko) 카메라의 동영상 촬영장치 및 방법.
KR101905621B1 (ko) 카메라의 프레임 이미지 전송 장치 및 방법
KR101893406B1 (ko) 카메라의 이미지처리 장치 및 방법
AU2013200730B2 (en) Data processing apparatus and method using a camera
EP2720451B1 (en) Apparatus and method for processing image in camera device and portable terminal
EP2654288B1 (en) Image processing apparatus and method of camera
KR101931631B1 (ko) 카메라 장치의 이미지 부호화장치 및 방법
KR20090045643A (ko) 휴대 단말기 및 그 파노라마 이미지 촬영 모드 수행 방법
KR102058860B1 (ko) 카메라의 이미지 처리 장치 및 방법
KR101894531B1 (ko) 카메라의 연속 촬영 장치 및 방법.
KR101824506B1 (ko) 카메라의 멀티프레임 이미지 촬영 촬영 장치 및 방법
JP2013081101A (ja) 画像処理装置、撮像装置およびプログラム
JP2013123090A (ja) 画像処理装置、撮像装置およびプログラム
JP2006165666A (ja) 監視カメラ、監視画像モニタ装置、監視画像蓄積装置及び監視システム
JP2005223485A (ja) 画像処理装置、画像処理システム及び画像処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant