KR102124188B1 - 이미지를 처리하는 전자장치 및 방법 - Google Patents

이미지를 처리하는 전자장치 및 방법 Download PDF

Info

Publication number
KR102124188B1
KR102124188B1 KR1020140025000A KR20140025000A KR102124188B1 KR 102124188 B1 KR102124188 B1 KR 102124188B1 KR 1020140025000 A KR1020140025000 A KR 1020140025000A KR 20140025000 A KR20140025000 A KR 20140025000A KR 102124188 B1 KR102124188 B1 KR 102124188B1
Authority
KR
South Korea
Prior art keywords
image
image data
electronic device
data
processor
Prior art date
Application number
KR1020140025000A
Other languages
English (en)
Other versions
KR20140112402A (ko
Inventor
백우현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to CN201911355618.9A priority Critical patent/CN110996013B/zh
Priority to EP18204695.3A priority patent/EP3496389A1/en
Priority to EP14159485.3A priority patent/EP2779629B1/en
Priority to CN201480014885.9A priority patent/CN105075241B/zh
Priority to PCT/KR2014/002091 priority patent/WO2014142564A1/en
Priority to US14/210,115 priority patent/US9635268B2/en
Publication of KR20140112402A publication Critical patent/KR20140112402A/ko
Priority to US15/469,321 priority patent/US10348971B2/en
Priority to US16/505,400 priority patent/US10633296B2/en
Priority to US16/859,963 priority patent/US11509807B2/en
Application granted granted Critical
Publication of KR102124188B1 publication Critical patent/KR102124188B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01J—CHEMICAL OR PHYSICAL PROCESSES, e.g. CATALYSIS OR COLLOID CHEMISTRY; THEIR RELEVANT APPARATUS
    • B01J21/00—Catalysts comprising the elements, oxides, or hydroxides of magnesium, boron, aluminium, carbon, silicon, titanium, zirconium, or hafnium
    • B01J21/06—Silicon, titanium, zirconium or hafnium; Oxides or hydroxides thereof
    • B01J21/063—Titanium; Oxides or hydroxides thereof
    • B01J35/39—
    • C—CHEMISTRY; METALLURGY
    • C04—CEMENTS; CONCRETE; ARTIFICIAL STONE; CERAMICS; REFRACTORIES
    • C04B—LIME, MAGNESIA; SLAG; CEMENTS; COMPOSITIONS THEREOF, e.g. MORTARS, CONCRETE OR LIKE BUILDING MATERIALS; ARTIFICIAL STONE; CERAMICS; REFRACTORIES; TREATMENT OF NATURAL STONE
    • C04B41/00—After-treatment of mortars, concrete, artificial stone or ceramics; Treatment of natural stone
    • C04B41/45—Coating or impregnating, e.g. injection in masonry, partial coating of green or fired ceramics, organic coating compositions for adhering together two concrete elements
    • C04B41/50—Coating or impregnating, e.g. injection in masonry, partial coating of green or fired ceramics, organic coating compositions for adhering together two concrete elements with inorganic materials
    • C04B41/5025—Coating or impregnating, e.g. injection in masonry, partial coating of green or fired ceramics, organic coating compositions for adhering together two concrete elements with inorganic materials with ceramic materials
    • C04B41/5041—Titanium oxide or titanates
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C1/00—Design or layout of roads, e.g. for noise abatement, for gas absorption
    • E01C1/005—Means permanently installed along the road for removing or neutralising exhaust gases
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C7/00—Coherent pavings made in situ
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C7/00—Coherent pavings made in situ
    • E01C7/08—Coherent pavings made in situ made of road-metal and binders
    • E01C7/35—Toppings or surface dressings; Methods of mixing, impregnating, or spreading them
    • E01C7/353—Toppings or surface dressings; Methods of mixing, impregnating, or spreading them with exclusively bituminous binders; Aggregate, fillers or other additives for application on or in the surface of toppings with exclusively bituminous binders, e.g. for roughening or clearing
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C7/00—Coherent pavings made in situ
    • E01C7/08—Coherent pavings made in situ made of road-metal and binders
    • E01C7/35—Toppings or surface dressings; Methods of mixing, impregnating, or spreading them
    • E01C7/358—Toppings or surface dressings; Methods of mixing, impregnating, or spreading them with a combination of two or more binders according to groups E01C7/351 - E01C7/356
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32106—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008—Connection or combination of a still picture apparatus with another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Abstract

본 발명의 실시 예는 전자 장치에서 이미지를 처리하기 위한 장치 및 방법에 관한 것이다. 전자 장치는, 제 1 이미지 데이터를 생성하는 제 1 이미지 센서와 제 2 이미지 데이터를 생성하는 제 2 이미지 센서와 상기 제 1 이미지 데이터 또는 상기 제 2 이미지 데이터 중 하나 또는 그 이상의 이미지 데이터를 처리하는 하나 또는 그 이상의 이미지 처리부와 상기 하나 또는 그 이상의 이미지 처리부에 의해 처리된 제 1 이미지 데이터와 제 2 이미지 데이터 중 하나 또는 그 이상의 이미지 데이터를 표시하는 표시부, 및 상기 하나 또는 그 이상의 이미지 처리부에 의해 처리된 제 1 이미지 데이터와 제 2 이미지 데이터 중 하나 또는 그 이상의 이미지 데이터를 이용하여 섬네일 데이터를 생성하는 섬네일 생성부를 포함할 수 있으며, 다양한 다른 실시 예들도 가능할 수 있다.

Description

이미지를 처리하는 전자장치 및 방법{ELECTRONIC DEVICE AND METHOD FOR PROCESSING IMAGE}
본 발명의 다양한 실시 예는 전자 장치에서 이미지를 처리하기 위한 장치 및 방법에 관한 것이다.
정보통신 기술 및 반도체 기술의 발전으로 각종 전자장치들이 다양한 멀티미디어 서비스를 제공하는 멀티미디어 장치로 발전하고 있다. 예를 들어, 휴대용 전자장치는 방송 서비스, 무선 인터넷 서비스 및 음악 재생 서비스 등의 다양한 멀티미디어 서비스를 제공할 수 있다.
전자장치는 이미지 센서들을 통해 획득한 하나 이상의 이미지를 이용하여 다양한 서비스를 제공할 수 있다. 예를 들어, 전자 장치는 이미지 처리부(ISP: Image Signal Processor)를 이용하여 이미지 센서를 통해 획득한 이미지 데이터에 대한 레벨 조정, 잡음 제거, 감마 보정, 색상 공간 변환 등과 같은 이미지 처리를 수행하여 다양한 서비스를 제공할 수 있다.
하지만, 전자 장치는 하나의 이미지 처리부를 이용하여 다양한 이미지 처리들을 수행하여 이미지 데이터에 대한 처리 속도가 저하되는 문제가 발생할 수 있다.
본 발명의 실시 예는 전자 장치에서 하나 이상의 이미지 센서를 통해 획득한 이미지 데이터를 효율적으로 처리하기 위한 장치 및 방법을 제공할 수 있다.
본 발명의 실시 예는 전자 장치에서 하나 이상의 이미지 센서를 통해 획득한 이미지 데이터의 처리 지연을 줄이기 위한 장치 및 방법을 제공할 수 있다.
본 발명의 실시 예는 전자 장치에서 캡쳐 이미지 데이터에 대한 섬네일 데이터를 효율적으로 생성하기 위한 장치 및 방법을 제공할 수 있다.
본 발명의 실시 예는 전자 장치에서 이미지 처리부(ISP)와 다른 프로세서를 이용하여 캡쳐 이미지 데이터에 대한 섬네일 데이터를 생성하기 위한 장치 및 방법을 제공할 수 있다.
본 발명의 실시 예는 전자 장치의 다른 프로세서에서 이미지 처리부(ISP)에서 생성한 하나 이상의 데이터를 이용하여 캡쳐 이미지 데이터에 대한 섬네일 데이터를 생성하기 위한 장치 및 방법을 제공할 수 있다.
본 발명의 실시 예는 전자 장치에서 이미지 처리부(ISP)와 다른 프로세서를 이용하여 생성한 섬네일 데이터와 캡쳐 이미지 데이터를 연동하여 저장하기 위한 장치 및 방법을 제공할 수 있다.
본 발명의 실시 예는 전자 장치의 다른 프로세서에서 이미지 처리부(ISP)에서 생성한 메타(meta) 데이터를 이용하여 캡쳐 이미지 데이터와 섬네일 데이터를 연동하여 저장하기 위한 장치 및 방법을 제공할 수 있다.
본 발명의 실시 예에 따르면, 전자 장치는, 제 1 이미지 데이터를 생성하는 제 1 이미지 센서와, 제 2 이미지 데이터를 생성하는 제 2 이미지 센서와 상기 제 1 이미지 데이터 또는 상기 제 2 이미지 데이터 중 하나 또는 그 이상의 이미지 데이터를 처리하는 하나 또는 그 이상의 이미지 처리부와 상기 하나 또는 그 이상의 이미지 처리부에 의해 처리된 제 1 이미지 데이터와 제 2 이미지 데이터 중 하나 또는 그 이상의 이미지 데이터를 표시하는 표시부 및 상기 하나 또는 그 이상의 이미지 처리부에 의해 처리된 제 1 이미지 데이터와 제 2 이미지 데이터 중 하나 또는 그 이상의 이미지 데이터를 이용하여 섬네일 데이터를 생성하는 섬네일 생성부를 포함할 수 있다.
본 발명의 실시 예에 따르면, 전자 장치는, 이미지 데이터를 수신하고, 상기 이미지 데이터를 처리하여, 프리뷰 이미지를 생성하는 하나 또는 그 이상의 프로세서와 상기 하나 또는 그 이상의 프로세서에 의해 생성된 프리뷰 이미지를 표시하는 표시부를 포함하며, 상기 하나 또는 그 이상의 프로세서는, 캡쳐 명령에 대응하는 신호에 응답하여, 상기 프리뷰 이미지의 적어도 일부를 이용하여 상기 프리뷰 이미지보다 크기가 같거나 작은 이미지를 생성할 수 있다.
본 발명의 실시 예에 따르면, 전자 장치에서 동작 방법은, 다수 개의 이미지 센서들을 이용하여 다수 개의 이미지 데이터들을 생성하는 과정과, 하나 또는 그 이상의 이미지 처리부를 통해 상기 다수 개의 이미지 데이터들을 표시부에 표시 가능한 포맷으로 변환하는 과정, 및 상기 이미지 처리부와 별도의 다른 모듈에서 상기 이미지 처리부에서 변환한 상기 표시 가능한 포맷의 이미지 데이터들을 이용하여 섬네일 데이터를 생성하는 과정을 포함할 수 있다.
본 발명의 실시 예에 따르면, 전자 장치의 동작 방법은, 하나 또는 그 이상의 이미지 데이터를 저장하는 과정과 하나 또는 그 이상의 프로세서를 통해 상기 하나 또는 그 이상의 이미지 데이터 중 하나 또는 그 이상의 이미지 데이터를 프리뷰 이미지로 변환하는 과정과 캡쳐 명령을 나타내는 신호에 응답하여, 상기 프로세서를 통해 상기 프리뷰 이미지의 적어도 일부를 이용하여, 상기 프리뷰 이미지보다 크기가 작은 이미지를 생성하는 과정을 포함할 수 있다.
본 발명의 실시 예에 따르면, 전자 장치는 이미지 데이터를 생성하는 하나 또는 그 이상의 이미지 센서와 상기 하나 또는 그 이상의 이미지 센서에서 생성된 이미지 데이터를 처리하는 인터페이스를 포함하며, 상기 인터페이스는, 상기 이미지 데이터를 하나 또는 그 이상의 모듈로 전송하고, 상기 하나 또는 그 이상의 모듈, 해당 모듈의 이미지 데이터 처리 방식에 기반하여 이미지 데이터의 형식을 변경할 수 있다.
상술한 바와 같이 전자 장치에서 이미지 처리부(ISP)와 다른 프로세서를 이용하여 생성한 섬네일 데이터와 캡쳐 데이터를 연동하여 저장함으로써, 이미지 처리부의 이미지 처리 속도를 향상시킬 수 있다.
전자 장치의 다른 프로세서에서 이미지 처리부에서 생성한 메타 데이터를 이용하여 섬네일 데이터를 생성함으로써, 섬네일 데이터에 대한 처리 속도를 향상시킬 수 있다. 여기서, 메타 데이터는 이미지 데이터의 프레임 식별자(frame ID), 이미지 획득 시점(time stamp), 초점 정보(Auto Focus 정보), 이미지 설정 정보(EXIF: Exchangeable Image File Format), 플래쉬 정보 등을 포함할 수 있다.
도 1a는 본 발명의 실시 예에 따른 전자 장치를 포함하는 네트워크 환경을 도시한다.
도 1b는 본 발명의 실시 예에 따른 전자 장치의 블록도를 도시한다.
도 2는 본 발명의 실시 예에 따른 프로세서의 상세 블록도를 도시한다.
도 3은 본 발명의 다른 실시 예에 따른 전자 장치의 블록도를 도시한다.
도 4는 본 발명의 다른 실시 예에 따른 프로세서의 상세 블록도를 도시한다.
도 5는 본 발명의 또 다른 실시 예에 따른 전자 장치의 블록도를 도시한다.
도 6은 본 발명의 또 다른 실시 예에 따른 프로세서의 상세 블록도를 도시한다.
도 7은 본 발명의 실시 예에 따른 외부 이미지 처리부의 상세 블록도를 도시한다.
도 8은 본 발명의 실시 예에 따른 메모리의 상세 블록도를 도시한다.
도 9는 본 발명의 실시 예에 따른 인터페이스의 블록도를 도시한다.
도 10은 본 발명의 실시 예에 따른 전자 장치에서 섬네일 데이터를 생성하기 위한 흐름도를 도시한다. 및
도 11은 본 발명의 실시 예에 따른 전자 장치에서 섬네일 데이터와 캡쳐 이미지 데이터를 연동하여 저장하기 위한 흐름도를 도시한다.
도 12a 내지 도 12b는 본 발명의 실시 예에 따른 분할되어 저장된 이미지 데이터의 구조를 도시한다.
도 13은 본 발명의 또 다른 실시 예에 따른 전자 장치의 블록도를 도시한다.
이하, 첨부된 도면을 참조하여 본 발명(present disclosure)을 설명할 수 있다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.
본 발명 가운데 사용될 수 있는 "포함한다" 또는 "포함할 수 있다" 등의 표현은 개시된 해당 기능, 동작 또는 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작 또는 구성요소 등을 제한하지 않는다. 또한, 본 발명에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명에서 "또는" 등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한다. 예를 들어, "A 또는 B"는, A를 포함할 수도, B를 포함할 수도, 또는 A 와 B 모두를 포함할 수도 있다.
본 발명 가운데 "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들이 본 발명의 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분 짓기 위해 사용될 수 있다. 예를 들어, 제1 사용자 기기와 제 2 사용자 기기는 모두 사용자 기기이며, 서로 다른 사용자 기기를 나타낸다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제 1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.
본 발명에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명의 실시 예에 따른 전자 장치는 카메라 기능을 포함하는 장치일 수 있다. 예를 들면, 전자 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 전자 안경과 같은 head-mounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 또는 스마트 와치(smartwatch))중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에 따르면, 전자 장치는 카메라 기능을 갖춘 스마트 가전 제품(smart home appliance)일 수 있다. 예를 들자면, 스마트 가전 제품은 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(game consoles), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에 따르면, 전자 장치는 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치 및 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 또는 산업용 또는 가정용 로봇 중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에 따르면, 전자 장치는 카메라 기능을 갖춘 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device), 프로젝터(projector) 또는 각종 계측기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 본 발명에 따른 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 또한, 본 발명에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.
이하 첨부된 도면을 참조하여 다양한 실시 예에 따른 전자 장치에 대해서 살펴본다. 다양한 실시 예에서 이용되는 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
이하 본 발명의 실시 예는 전자 장치에서 다수 개의 이미지 센서들을 통해 획득한 이미지 데이터들을 처리하기 위한 기술에 대해 설명한다.
도 1a는 본 발명의 실시 예에 따른 전자 장치를 포함하는 네트워크 환경(100)을 도시하고 있다.
도 1a를 참조하면 전자 장치(101)는 버스(110), 프로세서(120), 메모리(130), 입출력 인터페이스(140), 디스플레이(150), 통신 인터페이스(160), 이미지 처리 모듈(170) 및 이미지 센서 모듈(180)을 포함할 수 있다.
버스(110)는 전술한 구성요소들을 서로 연결하고, 전술한 구성요소들 간의 통신 신호(예: 제어 메시지)를 전달하는 회로일 수 있다.
프로세서(120)는, 예를 들면, 버스(110)를 통해 전술한 다른 구성요소들(예: 메모리(130), 입출력 인터페이스(140), 디스플레이(150), 통신 인터페이스(160), 이미지 처리 모듈(170) 또는 이미지 센서 모듈(180))로부터 명령을 수신하여, 수신된 명령을 해독하고, 해독된 명령에 따른 연산이나 데이터 처리를 실행할 수 있다.
메모리(130)는 프로세서(120) 또는 다른 구성요소들(예: 입출력 인터페이스(140), 디스플레이(150), 통신 인터페이스(160), 이미지 처리 모듈(170), 이미지 센서 모듈(180) 등)로부터 수신되거나 프로세서(120) 또는 다른 구성요소들에 의해 생성된 명령 또는 데이터를 저장할 수 있다. 메모리(130)는, 예를 들면, 커널(131), 미들웨어(132), 어플리케이션 프로그래밍 인터페이스(API: application programming interface)(133) 또는 어플리케이션(134) 등의 프로그래밍 모듈들을 포함할 수 있다. 전술한 각각의 프로그래밍 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다.
커널(131)은 나머지 다른 프로그래밍 모듈들, 예를 들면, 미들웨어(132), API(133) 또는 어플리케이션(134)에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스(110), 프로세서(120) 또는 메모리(130) 등)을 제어 또는 관리할 수 있다. 또한, 커널(131)은 미들웨어(132), API(133) 또는 어플리케이션(134)이 전자 장치(101)의 개별 구성요소에 접근하여 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어(132)는 API(133) 또는 어플리케이션(134)이 커널(131)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 미들웨어(132)는 어플리케이션(134)로부터 수신된 작업 요청들과 관련하여, 예를 들면, 어플리케이션(134) 중 적어도 하나의 어플리케이션에 전자 장치(101)의 시스템 리소스(예: 버스(110), 프로세서(120) 또는 메모리(130) 등)를 사용할 수 있는 우선 순위를 배정하는 등의 방법을 이용하여 작업 요청에 대한 제어(예: 스케쥴링 또는 로드 밸런싱)을 수행할 수 있다.
API(133)는 어플리케이션(134)이 커널(131) 또는 미들웨어(132)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 화상 처리 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다.
다양한 실시예에 따르면, 어플리케이션(134)은 SMS/MMS 어플리케이션, 이메일 어플리케이션, 달력 어플리케이션, 알람 어플리케이션, 건강 관리(health care) 어플리케이션(예: 운동량 또는 혈당 등을 측정하는 어플리케이션) 또는 환경 정보 어플리케이션(예: 기압, 습도 또는 온도 정보 등을 제공하는 어플리케이션) 등을 포함할 수 있다. 추가적으로 또는 대체적으로, 어플리케이션(134)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치 102 또는 전자 장치 104) 사이의 정보 교환과 관련된 어플리케이션일 수 있다. 정보 교환과 관련된 어플리케이션은, 예를 들어, 외부 전자 장치에 특정 정보를 전달하기 위한 알림 전달(notification relay) 어플리케이션, 또는 외부 전자 장치를 관리하기 위한 장치 관리(device management) 어플리케이션을 포함할 수 있다.
예를 들면, 알림 전달 어플리케이션은 전자 장치(101)의 다른 어플리케이션(예: SMS/MMS 어플리케이션, 이메일 어플리케이션, 건강 관리 어플리케이션 또는 환경 정보 어플리케이션 등)에서 발생한 알림 정보를 외부 전자 장치(예: 전자 장치(102) 또는 전자 장치(104))로 전달하는 기능을 포함할 수 있다. 추가적으로 또는 대체적으로, 알림 전달 어플리케이션은, 예를 들면, 외부 전자 장치(예: 전자 장치(102) 또는 전자 장치(104))로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다. 장치 관리 어플리케이션은, 예를 들면, 전자 장치(101)와 통신하는 외부 전자 장치(예: 전자 장치(102) 또는 전자 장치(104))의 적어도 일부에 대한 기능(예: 외부 전자 장치 자체(또는, 일부 구성 부품)의 턴 온(turn on)/턴 오프(turn off) 또는 디스플레이의 밝기(또는, 해상도) 조절), 외부 전자 장치에서 동작하는 어플리케이션 또는 외부 전자 장치에서 제공되는 서비스(예: 통화 서비스 또는 메시지 서비스)을 관리(예: 설치, 삭제 또는 업데이트)할 수 있다.
다양한 실시예에 따르면, 어플리케이션(134)은 외부 전자 장치(예: 전자 장치(102) 또는 전자 장치(104))의 속성(예: 전자 장치의 종류)에 따라 지정된 어플리케이션을 포함할 수 있다. 예를 들어, 외부 전자 장치가 MP3 플레이어인 경우, 어플리케이션(134)은 음악 재생과 관련된 어플리케이션을 포함할 수 있다. 유사하게, 외부 전자 장치가 모바일 의료기기인 경우, 어플리케이션(134)은 건강 관리와 관련된 어플리케이션을 포함할 수 있다. 한 실시예에 따르면, 어플리케이션(134)은 전자 장치(101)에 지정된 어플리케이션 또는 외부 전자 장치(예: 서버(106), 전자 장치(102) 또는 전자 장치(104))로부터 수신된 어플리케이션 중 적어도 하나를 포함할 수 있다.
입출력 인터페이스(140)는, 센서(예: 가속도 센서, 자이로 센서) 또는 입력 장치(예: 키보드 또는 터치 스크린)를 통하여 사용자로부터 입력된 명령 또는 데이터를, 예를 들면, 버스(110)를 통해 프로세서(120), 메모리(130), 통신 인터페이스(160), 또는 이미지 처리 모듈(170)에 전달할 수 있다. 예를 들면, 입출력 인터페이스(140)는 터치 스크린을 통하여 입력된 사용자의 터치에 대한 데이터를 프로세서(120)로 제공할 수 있다. 또한, 입출력 인터페이스(140)는, 예를 들면, 버스(110)을 통해 프로세서(120), 메모리(130), 통신 인터페이스(160), 또는 이미지 처리 모듈(170)로부터 수신된 명령 또는 데이터를 출력 장치(예: 스피커 또는 디스플레이)를 통하여 출력할 수 있다. 예를 들면, 입출력 인터페이스(140)는 프로세서(120)를 통하여 처리된 음성 데이터를 스피커를 통하여 사용자에게 출력할 수 있다.
디스플레이(150)는 사용자에게 각종 정보(예: 멀티미디어 데이터 또는 텍스트 데이터 등)을 표시할 수 있다.
통신 인터페이스(160)는 전자 장치(101)와 외부 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(106)) 간의 통신을 연결할 수 있다. 예를 들면, 통신 인터페이스(160)은 네트워크 통신(162)(예: 인터넷(Internet), LAN(local area network), WAN(wire area network), telecommunication network, cellular network, satellite network 또는 POTS(plain old telephone service) 등), 근거리 통신 164(예: wifi(wireless fidelity), BT(Bluetooth), NFC(near field communication), 또는 유선 통신(예: USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232) 또는 POTS(plain old telephone service) 등)을 지원할 수 있다. 한 실시예에 따르면, 전자 장치(101)와 외부 장치 간의 통신을 위한 프로토콜(예: 근거리 통신 프로토콜, 네트워크 통신 프로토콜 또는 유선 통신 프로토콜)은 API(133) 또는 미들웨어(132) 중 적어도 하나에서 지원될 수 있다. 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한(예: 같은 타입의) 장치이거나 또는 다른(예: 다른 타입의) 장치일 수 있다.
이미지 센서 모듈(180)은 피사체에 대한 촬영을 통해 획득한 이미지 데이터를 이미지 처리 모듈(170)로 제공할 수 있다. 이때, 이미지 센서 모듈(180)은 전자 장치(101)에 기능적으로 연결된 적어도 하나의 이미지 센서 모듈을 포함할 수 있다.
이미지 처리 모듈(170)은 이미지 센서 모듈(180) 또는 외부 전자 장치(102, 104)로부터 제공받은 이미지 데이터에 대한 이미지 처리를 수행할 수 있다. 예를 들어, 이미지 처리 모듈(170)은 이미지 데이터에 대한 레벨 조정(level adjustment), 잡음 제거(noise reduction), 감마 보정(gamma correction), 표시부(140)에 표시 가능한 포맷으로 변환 중 하나 또는 그 이상의 이미지 처리를 수행할 수 있다. 이미지 처리 모듈(170)은 이미지 처리한 이미지 데이터들 메모리(130)에 저장하거나 디스플레이(150) 에 표시하도록 제어할 수 있다. 예컨대, 이미지 처리 모듈(170)은 디스플레이(150) 에 표시되는 이미지 데이터(예: YUV 데이터) 및 해당 이미지 데이터에 대한 메타 데이터를 메모리(130)로 전송할 수 있다. 여기서, 디스플레이(150)에 표시 가능한 포맷으로 변환하는 이미지 처리는 색상 공간 변환(color space conversion)을 포함할 수 있다.
이미지 처리 모듈(170)은 적어도 하나의 이미지 센서 모듈(180)을 통해 획득한 이미지 데이터들 중 적어도 두 개의 이미지 데이터들을 선택하여 합성할 수 있다. 예컨대, 이미지 처리 모듈(170)은 이미지 데이터들에 대응하는 이미지 획득 시점(time stamp) 또는 이미지 처리 지연 시간 및 이미지 획득 시점을 이용하여 적어도 두 개의 이미지 데이터들을 선택하여 합성할 수 있다.
다른 예를 들어, 캡쳐 이벤트가 발생한 경우, 이미지 처리 모듈(170)은 메모리(130)에 저장된 이미지 데이터들(예: 프리뷰 이미지) 및 각각의 이미지 데이터에 대한 메타 데이터를 이용하여 캡쳐 이미지 데이터에 대한 섬네일(thumbnail) 데이터를 생성할 수 있다. 예컨대, 이미지 처리 모듈(170)은 이미지 센서 모듈(180)로부터 제공받은 이미지 데이터들에 대한 이미지 처리를 수행하는 모듈과 논리적 또는 물리적으로 분리된 다른 모듈을 이용하여 캡쳐 이미지 데이터에 대한 섬네일 데이터를 생성할 수 있다. 섬네일 데이트는 이미지의 검색을 용이하게 하거나 해당 이미지를 사용자가 쉽게 인지할 수 있도록 해당 이미지의 축소한 이미지 데이터를 나타낼 수 있다.
도 1b는 본 발명의 실시 예에 따른 전자 장치의 블록도를 도시하고 있다.
도 1b를 참조하면, 전자 장치(101)는 프로세서(120), 메모리(130), 이미지 센서들(180-1 내지 180-N), 입력부(입력 인터페이스)(140), 표시부(디스플레이)(150)를 포함할 수 있다. 여기서, 프로세서(120)는 응용프로그램 프로세서(AP: Application Processor)를 포함할 수 있다.
프로세서(120)는 전자장치(101)가 다양한 서비스를 제공하도록 제어할 수 있다.
프로세서(120)는 전자장치(101)에 포함되는 하나 이상의 다른 구성요소(예: 메모리(130), 이미지 센서들(180-1 내지 180-N), 표시부(150), 입력부(140))로부터 수신된 명령을 해독하고, 해독된 명령에 따른 연산이나 데이터 처리를 실행할 수 있다. 예를 들어, 프로세서(120)는 이미지 센서들(180-1 내지 180-N)로부터 제공받은 이미지 데이터들에 대한 레벨 조정(level adjustment), 잡음 제거(noise reduction), 감마 보정(gamma correction), 표시부(150)에 표시 가능한 포맷으로 변환 중 하나 또는 그 이상의 이미지 처리를 수행할 수 있다. 프로세서(120)는 이미지 처리한 이미지 데이터들 메모리(130)에 저장하거나 표시부(150)에 표시하도록 제어할 수 있다. 예컨대, 프로세서(120)는 표시부(150)에 표시되는 이미지 데이터(예: YUV 데이터) 및 해당 이미지 데이터에 대한 메타 데이터를 메모리(120)로 전송할 수 있다. 여기서, 표시부(140)에 표시 가능한 포맷으로 변환하는 이미지 처리는 색상 공간 변환(color space conversion)을 포함할 수 있다.
프로세서(120)는 메모리(130)에 저장된 하나 이상의 프로그램을 실행하여 전자장치(101)가 다양한 멀티미디어 서비스를 제공하도록 제어할 수 있다. 예를 들어, 프로세서(120)는 메모리(130)에 저장된 프로그램을 실행하여 이미지 센서들(180-1 내지 180-N)을 통해 획득한 이미지 데이터들 중 적어도 두 개의 이미지 데이터들을 선택하여 합성할 수 있다. 예컨대, 프로세서(120)는 이미지 데이터들에 대응하는 이미지 획득 시점(time stamp) 또는 이미지 처리 지연 시간 및 이미지 획득 시점을 이용하여 적어도 두 개의 이미지 데이터들을 선택하여 합성할 수 있다.
다른 예를 들어, 캡쳐 이벤트가 발생한 경우, 프로세서(120)는 메모리(130)에 저장된 이미지 처리된 이미지 데이터들(예: 프리뷰 이미지) 및 각각의 이미지 데이터에 대한 메타 데이터를 이용하여 캡쳐 이미지 데이터에 대한 섬네일(thumbnail) 데이터를 생성할 수 있다. 예컨대, 프로세서(120)는 이미지 센서들(180-1 내지 180-N)로부터 제공받은 이미지 데이터들에 대한 이미지 처리를 수행하는 모듈(예: ISP(Image Signal Processor))과 논리적 또는 물리적으로 분리된 다른 모듈을 이용하여 캡쳐 이미지 데이터에 대한 섬네일 데이터를 생성할 수 있다.
메모리(130)는 전자장치(101)에 포함되는 하나 이상의 구성 요소로부터 수신되거나 하나 이상의 구성 요소에 의해 생성된 명령 또는 데이터를 저장할 수 있다. 예를 들어, 메모리(130)는 내장 메모리 또는 외장 메모리를 포함할 수 있다. 내장 메모리는, 예를 들면, 휘발성 메모리(예를 들면, DRAM(dynamic RAM), SRAM(static RAM), SDRAM(synchronous dynamic RAM) 등) 또는 비휘발성 메모리(non-volatile Memory), 예를 들면, OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, NAND flash memory, NOR flash memory 등) 중 적어도 하나를 포함할 수 있다. 외장 메모리는 flash drive, 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital) 또는 Memory Stick 중 적어도 하나를 포함할 수 있다. 외장 메모리는 다양한 인터페이스를 통하여 전자 장치(101) 과 기능적으로 연결될 수 있다.
이미지 센서들(180-1 내지 180-N)은 피사체에 대한 촬영을 통해 획득한 이미지 데이터를 프로세서(120)로 제공할 수 있다. 이때, 이미지 센서들(180-1 내지 180-N)은 MIPI(Mobile Industry Processor Interface), MDDI(Mobile Display Digital Interface)와 같은 직렬 인터페이스와 병렬 버스(parallel bus)와 같은 병렬 인터페이스를 통해 프로세서(120)로 이미지 데이터를 전송할 수 있다. 여기서, 제 1 이미지 센서(180-1)는 전자장치(101)의 전면에 위치하고, 제 N 이미지 센서(180-N)는 전자장치(101)의 후면에 위치할 수 있다.
입력부(140)는 사용자에 의해 입력되는 명령 또는 데이터를 프로세서(120) 또는 메모리(130)에 전송할 수 있다. 예를 들어, 입력부(140)는 터치 입력부, 펜 센서(pen sensor), 키(key) 또는 초음파 입력 장치(ultrasonic)를 포함할 수 있다.
표시부(150)는 전자장치(101)의 상태 정보, 정지 영상, 동영상 또는 데이터와 같이 그래픽으로 사용자 인터페이스를 제공할 수 있다. 예를 들어, 표시부(150)는 프로세서(120)로부터 제공받은 하나 이상의 이미지를 표시할 수 있다. 다른 예를 들어, 표시부(150)는 프로세서(120)에서 이미지 획득 시점 또는 이미지 획득 시점 및 이미지 처리 지연 시간에 기반하여 선택한 적어도 하나의 이미지를 표시할 수 있다.
미 도시되었지만, 전자장치(101)는 음성 통신 또는 데이터 통신을 통해 다른 전자장치 또는 서버와 통신을 연결할 수 있는 통신부를 더 포함할 수 있다. 여기서, 통신부는 서로 다른 통신 네트워크를 지원하는 다수 개의 통신 서브 모듈들로 구분될 수도 있다.
상술한 실시 예에서 전자 장치(101)는 다수 개의 이미지 센서들(180-1 내지 180-N)을 포함할 수 있다. 이때, 다수 개의 이미지 센서들(180-1 내지 180-N) 중 하나 또는 그 이상의 이미지 센서는 전자 장치(101)에 선택적으로 연결될 수 있다. 예를 들어, 다수 개의 이미지 센서들(180-1 내지 180-N) 중 하나 또는 그 이상의 이미지 센서는 유선 인터페이스를 통해 전자 장치(101)에 선택적으로 연결될 수 있다. 다른 예를 들어, 다수 개의 이미지 센서들(180-1 내지 180-N) 중 하나 또는 그 이상의 이미지 센서는 블루투스, 무선랜과 같은 무선 인터페이스를 통해 전자 장치(101)와 선택적으로 연결될 수 있다.
도 2는 본 발명의 실시 예에 따른 프로세서의 상세 블록도를 도시하고 있다.
도 2를 참조하면, 프로세서(120)는 이미지 처리부(ISP: Image Signal Processor)(200), 표시 제어부(210), 이미지 생성 제어부(220), 섬네일 생성부(230) 및 동영상 생성부(240)를 포함할 수 있다.
이미지 처리부(200)는 각각의 이미지 센서(180-1 또는 180-N)로부터 제공받은 이미지 데이터에 대한 레벨 조정, 잡음 제거, 감마 보정, 색상 공간 변환 중 하나 또는 그 이상의 이미지 처리를 수행할 수 있다. 이미지 처리부(200)는 이미지 처리한 이미지 데이터들을 메모리(130) 또는 표시 제어부(210) 중 하나 이상으로 전송할 수 있다. 예를 들어, 이미지 처리부(200)는 표시부(140)에 표시되는 이미지 데이터(예: YUV 데이터) 및 해당 이미지 데이터에 대한 메타 데이터를 메모리(130)로 전송할 수 있다.
표시 제어부(210)는 표시부(150)를 통해 그래픽으로 사용자 인터페이스를 제공하도록 제어할 수 있다. 예를 들어, 표시 제어부(210)는 이미지 처리부(200) 또는 메모리(130)로부터 제공받은 이미지 데이터(예: 프리뷰 이미지)를 표시부(150)에 표시하도록 제어할 수 있다. 예컨대, 표시 제어부(210)는 이미지 처리부(200)를 통해 이미지 센서들(180-1 내지 180-N)로부터 제공받은 이미지 데이터들을 표시부(150)에 함께 표시하도록 제어할 수 있다.
이미지 생성 제어부(220)는 이미지 센서들(180-1 내지 180-N)을 통해 획득한 이미지 데이터들 중 적어도 두 개의 이미지 데이터들을 선택하여 합성할 수 있다. 예를 들어, 캡쳐 이벤트가 발생한 경우, 이미지 생성 제어부(220)는 메모리(130)에 저장된 이미지 데이터들의 이미지 획득 시점 또는 이미지 처리 지연 시간 및 이미지 획득 시점을 이용하여 적어도 두 개의 이미지 데이터들을 선택하여 합성할 수 있다.
섬네일 생성부(230)는 메모리(130)에 저장된 이미지 처리된 이미지 데이터들(예: 프리뷰 이미지) 및 각각의 이미지 데이터에 대한 메타 데이터를 이용하여 섬네일(thumbnail) 데이터를 생성할 수 있다. 예를 들어, 캡쳐 이벤트가 발생한 경우, 섬네일 생성부(230)는 메모리(130)에 저장된 이미지 데이터의 YUV 데이터 및 해당 이미지 데이터에 대한 메타 데이터를 이용하여 섬네일(thumbnail) 데이터를 생성할 수 있다. 예컨대, 다수 개의 이미지 센서들(180-1 내지 180-N)을 통해 획득한 적어도 두 개의 이미지 데이터들을 합성하여 캡쳐 이미지 데이터를 생성하는 경우, 섬네일 생성부(230)는 각 이미지 데이터의 처리 지연 시간에 기반하여 이미지 데이터들을 동기화하여 섬네일 데이터를 생성할 수 있다. 이때, 섬네일 생성부(230)는 메타 데이터에 포함된 이미지 획득 시점 또는 프레임 식별 정보를 이용하여 캡쳐 이미지 데이터와 섬네일 데이터를 연동하여 메모리(130)에 저장할 수 있다.
동영상 생성부(240)는 메모리(130)에 저장된 이미지 처리된 이미지 데이터들을 부호화(encoding)하여 동영상 데이터를 생성할 수 있다. 예를 들어, 동영상 생성부(240)는 비디오 선 처리부와 비디오 부호화부를 포함할 수 있다. 비디오 선 처리부는 메모리(120)에 저장된 이미지 처리된 이미지 데이터들에 대한 줌(zoom), 회전(rotate), 색상 공간 변환 및 플립(flip)과 같은 선처리를 수행하여 메모리(130)에 저장할 수 있다. 비디오 부호화부는 기 설정된 부호화 방식에 따라 비디오 선 처리부에 의해 선처리되어 메모리(120)에 저장된 이미지 데이터를 부호화하여 동영상 데이터를 생성할 수 있다.
미 도시되었지만, 프로세서(120)는 이미지 센서들(180-1 내지 180-N) 로부터 제공받은 하나 또는 그 이상의 이미지 데이터에 이미지 획득 시점(time stamp)을 설정할 수 있는 시간 설정부를 더 포함할 수 있다. 예를 들어, 시간 설정부는 이미지 센서들(180-1 내지 180-N) 로부터 제공받은 각각의 이미지 데이터와 대응되는 시간을 매 프레임 단위로 해당 이미지 데이터의 메타 데이터에 기록할 수 있다. 다른 예를 들어, 이미지 센서들(180-1 내지 180-N) 중 전자 장치(100)에 선택적으로 연결될 수 있는 하나 또는 그 이상의 이미지 센서가 존재하는 경우, 시간 설정부는 전자 장치(101)에 연결된 하나 또는 그 이상의 이미지 센서로부터 제공받은 하나 또는 그 이상의 이미지 데이터의 메타 데이터에 이미지 획득 시점을 설정할 수 있다. 이때, 전자 장치(101)에 선택적으로 연결될 수 있는 하나 또는 그 이상의 이미지 센서를 통해 획득한 이미지는 각각의 이미지 센서에 포함된 별도의 모듈에 의해 이미지 획득 시점이 설정될 수 있다.
상술한 실시 예에서 프로세서(120)는 하나의 이미지 처리부(200)를 통해 이미지 센서들(180-1 내지 180-N)로부터 제공받은 이미지 데이터들을 처리할 수 있다.
다른 실시 예에서 프로세서(120)는 다수 개의 이미지 처리부들을 포함하여 각각의 이미지 센서(180-1 또는 180-N)로부터 제공받은 이미지 데이터를 처리할 수 있다.
도 3은 본 발명의 실시 예에 따른 전자 장치의 블록도를 도시하고 있다.
도 3을 참조하면 전자 장치(300)는 프로세서(310), 메모리(320), 이미지 센서들(330-1 내지 330-N), 외부 이미지 처리부들(340-1 내지 340-(N-1)), 입력부(350), 표시부(360)를 포함할 수 있다. 여기서, 프로세서(310)는 응용프로그램 프로세서(AP)를 포함할 수 있다.
프로세서(310)는 전자장치(300)가 다양한 서비스를 제공하도록 제어할 수 있다.
프로세서(310)는 전자장치(300)에 포함되는 하나 이상의 다른 구성요소(예: 메모리(320), 제 1 이미지 센서(330-1), 외부 이미지 처리부들(340-1 내지 340-(N-1)), 입력부(350), 표시부(360))로부터 수신된 명령을 해독하고, 해독된 명령에 따른 연산이나 데이터 처리를 실행할 수 있다. 예를 들어, 프로세서(310)는 제 1 이미지 센서(330-1)로부터 제공받은 이미지 데이터에 대한 레벨 조정, 잡음 제거, 감마 보정, 표시부(360)에 표시 가능한 포맷으로 변환 중 하나 또는 그 이상의 이미지 처리를 수행할 수 있다. 프로세서(310)는 이미지 처리한 이미지 데이터를 메모리(320)에 저장하거나, 표시부(360)에 표시하도록 제어할 수 있다. 예컨대, 프로세서(310)는 표시부(360)에 표시되는 이미지 데이터(예: YUV 데이터) 및 해당 이미지 데이터에 대한 메타 데이터를 메모리(120)로 전송할 수 있다. 다른 예를 들어, 프로세서(310)는 외부 이미지 처리부들(340-1 내지 340-(N-1))을 통해 메모리(320)에 저장된 이미지들을 표시부(560)에 표시 가능한 포맷으로 변환하여 표시부(360)에 표시하도록 제어할 수 있다. 여기서, 표시부(360)에 표시 가능한 포맷으로 변환하는 이미지 처리는 색상 공간 변환을 포함할 수 있다.
프로세서(310)는 메모리(320)에 저장된 하나 이상의 프로그램을 실행하여 전자장치(300)가 다양한 멀티미디어 서비스를 제공하도록 제어할 수 있다. 예를 들어, 프로세서(310)는 메모리(320)에 저장된 프로그램을 실행하여 이미지 센서들(330-1 내지 330-N)을 통해 획득한 이미지 데이터들 중 적어도 두 개의 이미지 데이터들을 선택하여 합성할 수 있다. 예컨대, 프로세서(310)는 이미지 데이터들에 대응하는 이미지 획득 시점 또는 이미지 처리 지연 시간 및 이미지 획득 시점을 이용하여 적어도 두 개의 이미지 데이터들을 선택하여 합성할 수 있다.
다른 예를 들어, 캡쳐 이벤트가 발생한 경우, 프로세서(310)는 메모리(320)에 저장된 이미지 처리된 이미지 데이터들(예: 프리뷰 이미지) 및 각각의 이미지 데이터에 대한 메타 데이터를 이용하여 캡쳐 이미지 데이터에 대한 섬네일 데이터를 생성할 수 있다. 예컨대, 프로세서(310)는 제 1 이미지 센서(330-1)로부터 제공받은 이미지 데이터들에 대한 이미지 처리를 수행하는 프로세서(310)의 내부 모듈(예: ISP)과 논리적 또는 물리적으로 구분되는 다른 모듈을 이용하여 캡쳐 이미지 데이터에 대한 섬네일 데이터를 생성할 수 있다. 이때, 다른 모듈은 프로세서(310)의 내부에서 이미지를 처리하는 내부 모듈과 논리적 또는 물리적으로 구분되거나, 프로세서(310)와 물리적으로 구분될 수 있다.
메모리(320)는 전자장치(300)에 포함되는 하나 이상의 구성 요소로부터 수신되거나 하나 이상의 구성 요소에 의해 생성된 명령 또는 데이터를 저장할 수 있다.
이미지 센서들(330-1 내지 330-N)은 피사체에 대한 촬영을 통해 획득한 수집 이미지를 프로세서(310)로 제공할 수 있다. 이때, 이미지 센서들(330-1 내지 330-N)은 MIPI, MDDI와 같은 직렬 인터페이스와 병렬 버스와 같은 병렬 인터페이스를 통해 프로세서(310) 또는 외부 이미지 처리부(340-1 내지 340-(N-1))로 이미지를 전송할 수 있다. 여기서, 제 1 이미지 센서(330-1)는 전자장치(300)의 전면에 위치하고, 제 N 이미지 센서(330-N)는 전자장치(300)의 후면에 위치할 수 있다.
외부 이미지 처리부들(340-1 내지 340-(N-1))은 이미지 센서들(330-2 내지 330-N)로부터 제공받은 이미지에 대한 레벨 조정, 잡음 제거, 감마 보정과 같은 이미지 처리하여 프로세서(310)를 통해 메모리(320)에 저장하도록 제어할 수 있다. 여기서, 외부 이미지 처리부들(340-1 내지 340-(N-1))은 이미지 센서들(330-2 내지 330-N)로부터 제공받은 이미지에 대한 이미지 데이터에 이미지 획득 시점(time stamp)을 설정할 수 있는 시간 설정부를 더 포함할 수 있다. 예를 들어, 시간 설정부는 이미지 센서들(330-2 내지 330-N)로부터 제공받은 각각의 이미지 데이터와 대응되는 시간을 매 프레임 단위로 해당 이미지 데이터의 메타 데이터에 기록할 수 있다.
입력부(350)는 사용자에 의해 입력되는 명령 또는 데이터를 프로세서(310) 또는 메모리(320)에 전송할 수 있다. 예를 들어, 입력부(350)는 터치 입력부, 펜 센서, 키 또는 초음파 입력 장치를 포함할 수 있다.
표시부(360)는 전자장치(300)의 상태 정보, 정지 영상, 동영상 또는 데이터와 같은 그래픽으로 사용자 인터페이스를 제공할 수 있다. 예를 들어, 표시부(360)는 프로세서(310)로부터 제공받은 하나 이상의 이미지 데이터를 표시할 수 있다. 다른 예를 들어, 표시부(360)는 프로세서(310)에서 이미지 획득 시점 또는 이미지 획득 시점 및 이미지 처리 지연 시간에 기반하여 선택한 적어도 두 개의 이미지 데이터들을 표시할 수 있다.
미 도시되었지만, 전자장치(300)는 음성 통신 또는 데이터 통신을 통해 다른 전자장치 또는 서버와 통신을 연결할 수 있는 통신부를 더 포함할 수 있다. 여기서, 통신부는 서로 다른 통신 네트워크를 지원하는 다수 개의 통신 서브 모듈들로 구분될 수도 있다.
상술한 실시 예에서 전자 장치(300)는 다수 개의 이미지 센서들(330-1 내지 330-N)을 포함할 수 있다. 이때, 다수 개의 이미지 센서들(330-1 내지 330-N) 중 하나 또는 그 이상의 이미지 센서는 전자 장치(300)에 선택적으로 연결될 수 있다. 예를 들어, 다수 개의 이미지 센서들(330-1 내지 330-N) 중 하나 또는 그 이상의 이미지 센서는 유선 인터페이스를 통해 전자 장치(300)에 선택적으로 연결될 수 있다. 이 경우, 전자 장치(300)에 선택적으로 연결될 수 있는 하나 또는 그 이상의 이미지 센서에 연결되는 외부 이미지 처리부는 전자 장치(300)에 실장되거나, 이미지 센서와 함께 전자 장치(300)에 선택적으로 연결될 수 있다.
다른 예를 들어, 다수 개의 이미지 센서들(330-1 내지 330-N) 중 하나 또는 그 이상의 이미지 센서는 블루투스, 무선랜과 같은 무선 인터페이스를 통해 전자 장치(300)와 선택적으로 연결될 수 있다. 이 경우, 전자 장치(300)에 선택적으로 연결될 수 있는 하나 또는 그 이상의 이미지 센서에 연결되는 외부 이미지 처리부는 전자 장치(300)에 연결되거나, 이미지 센서와 함께 전자 장치(300)에 선택적으로 연결될 수 있다.
도 4는 본 발명의 실시 예에 따른 프로세서의 상세 블록도를 도시하고 있다.
도 4를 참조하면 프로세서(310)는 이미지 처리부(ISP)(400), 내부 인터페이스(410), 포맷 변경부(420), 표시 제어부(430), 이미지 생성 제어부(440), 섬네일 생성부(450) 및 동영상 생성부(460)를 포함할 수 있다.
이미지 처리부(400)는 제 1 이미지 센서(330-1)로부터 제공받은 이미지 데이터에 대한 레벨 조정, 잡음 제거, 감마 보정, 색상 공간 변환 중 하나 또는 그 이상의 이미지 처리를 수행할 수 있다. 이미지 처리부(400)는 이미지 처리한 이미지 데이터를 메모리(320) 또는 표시 제어부(420) 중 하나 이상으로 전송할 수 있다. 예를 들어, 이미지 처리부(400)는 표시부(360)에 표시되는 이미지 데이터(예: YUV 데이터) 및 해당 이미지 데이터에 대한 메타 데이터를 메모리(320)로 전송할 수 있다.
내부 인터페이스(410)는 각각의 외부 이미지 처리부(340-1 또는 340-(N-1))로부터 제공받은 이미지 데이터를 메모리(320)로 전송할 수 있다. 예를 들어, 내부 인터페이스(410)는 MIFI(Mobile Industry Processor Interface), CAMIF(Camera Interface) 중 하나 이상을 포함할 수 있다.
포맷 변경부(420)는 메모리(320)에 저장된 외부 이미지 처리부(340-1 또는 340-(N-1))로부터 제공받은 이미지 데이터를 표시부(360)에 표시 가능한 데이터의 포맷으로 변경할 수 있다. 예를 들어, 포맷 변경부(420)는 메모리(320)로부터 제공받은 이미지 데이터를 색상 공간 변환하여 표시 제어부(430)로 전송할 수 있다. 예컨대, 포맷 변경부(420)는 표시부(360)에 표시 가능한 데이터의 포맷으로 변경한 외부 이미지 처리부(340-1 또는 340-(N-1))로부터 제공받은 이미지 데이터를 메모리(320)에 저장하도록 제어할 수 있다.
표시 제어부(430)는 표시부(360)를 통해 그래픽으로 사용자 인터페이스를 제공하도록 제어할 수 있다. 예를 들어, 표시 제어부(430)는 이미지 처리부(400) 또는 포맷 변경부(420) 중 하나 이상으로부터 제공받은 이미지들을 표시부(360)에 표시하도록 제어할 수 있다. 예컨대, 표시 제어부(430)는 이미지 처리부(400)를 통해 제공받은 제 1 이미지 센서(330-1)의 이미지 데이터와 포맷 변경부(420)를 통해 제공받은 제 N 이미지 센서(330-N)의 이미지 데이터를 표시부(360)에 함께 표시하도록 제어할 수 있다.
이미지 생성 제어부(440)는 이미지 센서들(330-1 내지 330-N)을 통해 획득한 이미지 데이터들 중 적어도 두 개의 이미지 데이터들을 선택하여 합성할 수 있다. 예를 들어, 캡쳐 이벤트가 발생한 경우, 이미지 생성 제어부(440)는 메모리(320)에 저장된 이미지들의 이미지 획득 시점 또는 이미지 처리 지연 시간 및 이미지 획득 시점을 이용하여 적어도 두 개의 이미지 데이터들을 선택하여 합성할 수 있다.
섬네일 생성부(450)는 메모리(320)에 저장된 이미지 처리된 이미지 데이터들 및 각각의 이미지 데이터에 대한 메타 데이터를 이용하여 섬네일(thumbnail) 데이터를 생성할 수 있다. 예를 들어, 캡쳐 이벤트가 발생한 경우, 섬네일 생성부(450)는 메모리(320)에 저장된 각각의 이미지 데이터의 YUV 데이터 및 해당 이미지 데이터에 대한 메타 데이터를 이용하여 섬네일 데이터를 생성할 수 있다. 예컨대, 다수 개의 이미지 센서들(330-1 내지 330-N)을 통해 획득한 적어도 두 개의 이미지 데이터들을 합성하여 캡쳐 이미지 데이터를 생성하는 경우, 섬네일 생성부(450)는 각 이미지 데이터의 처리 지연 시간에 기반하여 이미지 데이터들을 동기화하여 섬네일 데이터를 생성할 수 있다. 이때, 섬네일 생성부(450)는 메타 데이터에 포함된 이미지 획득 시점 또는 프레임 식별 정보를 이용하여 캡쳐 이미지 데이터와 섬네일 데이터를 연동하여 메모리(320)에 저장할 수 있다.
동영상 생성부(460)는 메모리(320)에 저장된 이미지 처리된 이미지 데이터들을 부호화(encoding)하여 동영상 데이터를 생성할 수 있다. 예를 들어, 동영상 생성부(460)는 비디오 선 처리부와 비디오 부호화부를 포함할 수 있다. 비디오 선 처리부는 메모리(320)에 저장된 이미지 처리된 이미지 데이터들에 대한 줌(zoom), 회전(rotate), 색상 공간 변환 및 플립(flip)과 같은 선처리를 수행하여 메모리(320)에 저장할 수 있다. 비디오 부호화부는 기 설정된 부호화 방식에 따라 비디오 선 처리부에 의해 선처리되어 메모리(320)에 저장된 이미지 데이터를 부호화하여 동영상 데이터를 생성할 수 있다.
미 도시되었지만, 프로세서(310)는 제 1 이미지 센서(330-1) 또는 제 1 이미지 센서(330-1) 및 외부 이미지 처리부들(340-1 내지 340-(N-1))로부터 제공받은 이미지 데이터들에 이미지 획득 시점(time stamp)을 설정할 수 있는 시간 설정부를 더 포함할 수 있다. 예를 들어, 시간 설정부는 제 1 이미지 센서(330-1) 로부터 제공받은 이미지 데이터와 대응되는 시간을 매 프레임 단위로 해당 이미지 데이터의 메타 데이터에 기록할 수 있다. 이때, 제 2 이미지 센서(330-2) 내지 제 N 이미지 센서(330-N)를 통해 획득한 이미지 데이터는 각각의 이미지 센서에 연결된 외부 이미지 처리부에 의해 이미지 획득 시점이 설정될 수 있다.
상술한 실시 예에서 프로세서(310)는 외부 이미지 처리부(340-1 또는 340-(N-1))로부터 제공받은 이미지 데이터를 표시부(360)에 표시 가능한 데이터의 포맷으로 변경하는 포맷 변경부(420)를 포함할 수 있다.
다른 실시 예에서 외부 이미지 처리부(340-1 또는 340-(N-1))에서 이미지 데이터를 표시부(360)에 표시 가능한 데이터의 포맷으로 변경 가능한 경우, 프로세서(310)는 포맷 변경부(420)를 포함하지 않도록 구성될 수 있다.
도 5는 본 발명의 실시 예에 따른 전자 장치의 블록도를 도시하고 있다.
도 5를 참조하면 전자 장치(500)는 프로세서(510), 메모리들(520, 550), 이미지 센서들(530-1 내지 530-N), 외부 이미지 처리부들(540-1 내지 540-(N-1)), 표시부(560), 입력부(570)를 포함할 수 있다. 여기서, 프로세서(510)는 응용프로그램 프로세서(AP: Application Processor)를 포함할 수 있다.
프로세서(510)는 전자장치(500)가 다양한 서비스를 제공하도록 제어할 수 있다.
프로세서(510)는 전자장치(500)에 포함되는 하나 이상의 다른 구성요소로부터 수신된 명령을 해독하고, 해독된 명령에 따른 연산이나 데이터 처리를 실행할 수 있다. 예를 들어, 프로세서(510)는 제 1 이미지 센서(530-1)로부터 제공받은 이미지 데이터에 대한 레벨 조정, 잡음 제거, 감마 보정, 표시부(560)에 표시 가능한 포맷으로 변환 중 하나 또는 그 이상의 이미지 처리를 수행할 수 있다. 프로세서(510)는 이미지 처리한 이미지 데이터를 제 1 메모리(520)에 저장하거나, 표시부(560)에 표시하도록 제어할 수 있다. 예컨대, 프로세서(510)는 표시부(560)에 표시되는 이미지 데이터(예: YUV 데이터) 및 해당 이미지 데이터에 대한 메타 데이터를 제 1 메모리(520)로 전송할 수 있다. 여기서, 표시부(560)에 표시 가능한 포맷으로 변환하는 이미지 처리는 색상 공간 변환을 포함할 수 있다.
프로세서(510)는 제 1 메모리(520)에 저장된 하나 이상의 프로그램을 실행하여 전자장치(500)가 다양한 멀티미디어 서비스를 제공하도록 제어할 수 있다. 예를 들어, 프로세서(510)는 메모리(520)에 저장된 프로그램을 실행하여 이미지 센서들(530-1 내지 530-N)을 통해 획득한 이미지 데이터들 중 적어도 두 개의 이미지 데이터들을 선택하여 합성할 수 있다. 예컨대, 프로세서(510)는 이미지 데이터들에 대응하는 이미지 획득 시점 또는 이미지 처리 지연 시간 및 이미지 획득 시점을 이용하여 적어도 두 개의 이미지 데이터들을 선택하여 합성할 수 있다.
다른 예를 들어, 캡쳐 이벤트가 발생한 경우, 프로세서(510)는 제 1 메모리(520)에 저장된 이미지 처리된 이미지 데이터들(예: 프리뷰 이미지) 및 각각의 이미지 데이터에 대한 메타 데이터를 이용하여 캡쳐 이미지 데이터에 대한 섬네일 데이터를 생성할 수 있다. 예컨대, 프로세서(510)는 제 1 이미지 센서(530-1)로부터 제공받은 이미지 데이터들에 대한 이미지 처리를 수행하는 모듈(예: ISP)과 별도의 다른 모듈을 이용하여 캡쳐 이미지 데이터에 대한 섬네일 데이터를 생성할 수 있다.
제 1 메모리(520)는 전자장치(500)에 포함되는 하나 이상의 구성 요소로부터 수신되거나 하나 이상의 구성 요소에 의해 생성된 명령 또는 데이터를 저장할 수 있다.
이미지 센서들(530-1 내지 530-N)은 피사체에 대한 촬영을 통해 획득한 이미지를 프로세서(510)로 제공할 수 있다. 이때, 이미지 센서들(530-1 내지 530-N)은 MIPI, MDDI와 같은 직렬 인터페이스와 병렬 버스와 같은 병렬 인터페이스를 통해 프로세서(510) 또는 외부 이미지 처리부(540-1 내지 540-(N-1))로 이미지를 전송할 수 있다. 여기서, 제 1 이미지 센서(530-1)는 전자장치(500)의 전면에 위치하고, 제 N 이미지 센서(530-N)는 전자장치(500)의 후면에 위치할 수 있다.
외부 이미지 처리부들(540-1 내지 540-(N-1))은 이미지 센서들(530-2 내지 530-N)로부터 제공받은 이미지 데이터에 대한 레벨 조정, 잡음 제거, 감마 보정, 색상 공간 변환과 같은 이미지 처리하여 제 1 메모리(520)에 저장하도록 제어할 수 있다. 또한, 외부 이미지 처리부들(540-1 내지 540-(N-1))은 이미지 센서들(530-2 내지 530-N)로부터 제공받은 이미지 데이터에 시간 정보를 설정하여 제 2 메모리(550)에 저장하도록 제어할 수 있다. 예컨대, 외부 이미지 처리부들(540-1 내지 540-(N-1))은 해당 이미지 데이터의 메타 데이터에 시간 정보를 설정할 수 있다.
제 2 메모리(550)는 외부 이미지 처리부들(540-1 내지 540-(N-1))로부터 제공받은 이미지 처리되지 않은 이미지 데이터를 저장할 수 있다. 예를 들어, 제 2 메모리(550)는 외부 이미지 처리부들(540-1 내지 540-(N-1))로부터 제공받은 로우 이미지 데이터(raw image data)를 저장할 수 있다. 이때, 제 2 메모리(550)는 각각의 외부 이미지 처리부(540-1 또는 540-(N-1)) 별로 존재할 수 있다.
표시부(560)는 전자장치(500)의 상태 정보, 정지 영상, 동영상 또는 데이터와 같은 그래픽으로 사용자 인터페이스를 제공할 수 있다. 예를 들어, 표시부(560)는 프로세서(510)로부터 제공받은 하나 이상의 이미지 데이터를 표시할 수 있다. 다른 예를 들어, 표시부(560)는 프로세서(510)에서 이미지 획득 시점 또는 이미지 획득 시점 및 이미지 처리 지연 시간에 기반하여 선택한 적어도 두 개의 이미지 데이터들을 표시할 수 있다.
입력부(570)는 사용자에 의해 입력되는 명령 또는 데이터를 프로세서(510) 또는 제 1 메모리(520)에 전송할 수 있다. 예를 들어, 입력부(570)는 터치 입력부, 펜 센서, 키 또는 초음파 입력 장치를 포함할 수 있다.
미 도시되었지만, 전자장치(500)는 음성 통신 또는 데이터 통신을 통해 다른 전자장치 또는 서버와 통신을 연결할 수 있는 통신부를 더 포함할 수 있다. 여기서, 통신부는 서로 다른 통신 네트워크를 지원하는 다수 개의 통신 서브 모듈들로 구분될 수도 있다.
상술한 실시 예에서 전자 장치(500)는 다수 개의 이미지 센서들(530-1 내지 530-N)을 포함할 수 있다. 이때, 다수 개의 이미지 센서들(530-1 내지 530-N) 중 하나 또는 그 이상의 이미지 센서는 전자 장치(500)에 선택적으로 연결될 수 있다. 예를 들어, 다수 개의 이미지 센서들(530-1 내지 530-N) 중 하나 또는 그 이상의 이미지 센서는 유선 인터페이스를 통해 전자 장치(500)에 선택적으로 연결될 수 있다. 이 경우, 전자 장치(300)에 선택적으로 연결될 수 있는 하나 또는 그 이상의 이미지 센서에 연결되는 외부 이미지 처리부는 전자 장치(500)에 실장되거나, 이미지 센서와 함께 전자 장치(500)에 선택적으로 연결될 수 있다.
다른 예를 들어, 다수 개의 이미지 센서들(530-1 내지 530-N) 중 하나 또는 그 이상의 이미지 센서는 블루투스, 무선랜과 같은 무선 인터페이스를 통해 전자 장치(500)와 선택적으로 연결될 수 있다. 이 경우, 전자 장치(500)에 선택적으로 연결될 수 있는 하나 또는 그 이상의 이미지 센서에 연결되는 외부 이미지 처리부는 전자 장치(500)에 연결되거나, 이미지 센서와 함께 전자 장치(500)에 선택적으로 연결될 수 있다.
도 6은 본 발명의 실시 예에 따른 프로세서의 상세 블록도를 도시하고 있다.
도 6을 참조하면 프로세서(510)는 이미지 처리부(ISP)(600), 내부 인터페이스(610), 표시 제어부(620), 이미지 생성 제어부(630), 동영상 생성부(640) 및 섬네일 생성부(650)를 포함할 수 있다.
이미지 처리부(600)는 제 1 이미지 센서(530-1)로부터 제공받은 이미지 데이터에 대한 레벨 조정, 잡음 제거, 감마 보정, 색상 공간 변환 중 하나 또는 그 이상의 이미지 처리를 수행할 수 있다. 이미지 처리부(600)는 이미지 처리한 이미지 데이터를 제 1 메모리(520) 또는 표시 제어부(620) 중 하나 이상으로 전송할 수 있다. 예를 들어, 이미지 처리부(600)는 표시부(560)에 표시되는 이미지 데이터(예: YUV 데이터) 및 해당 이미지 데이터에 대한 메타 데이터를 제 1 메모리(520)로 전송할 수 있다.
내부 인터페이스(610)는 각각의 외부 이미지 처리부(540-1 또는 540-(N-1))로부터 제공받은 이미지를 제 1 메모리(520)로 전송할 수 있다. 예를 들어, 내부 인터페이스(610)는 MIFI(Mobile Industry Processor Interface), CAMIF(Camera Interface) 중 하나 이상과 외부 이미지 처리부(540-1 또는 540-(N-1))에서 표시부(560)에 표시 가능한 포맷으로 변경한 이미지를 전송하기 위한 RDI(Raw Data dumping Interface) 포함할 수 있다.
표시 제어부(620)는 표시부(560)를 통해 그래픽으로 사용자 인터페이스를 제공하도록 제어할 수 있다. 예를 들어, 표시 제어부(620)는 이미지 처리부(600) 또는 제 1 메모리(520) 중 하나 이상으로부터 제공받은 이미지 데이터를 표시부(560)에 표시하도록 제어할 수 있다. 예컨대, 표시 제어부(620)는 이미지 처리부(600)를 통해 제공받은 제 1 이미지 센서(630-1)의 이미지 데이터와 제 1 메모리(520)로부터 획득한 제 N 이미지 센서(530-N)의 이미지 데이터를 표시부(560)에 함께 표시하도록 제어할 수 있다.
이미지 생성 제어부(630)는 이미지 센서들(530-1 내지 530-N)을 통해 획득한 이미지 데이터들 중 적어도 두 개의 이미지 데이터들을 선택하여 합성할 수 있다. 예를 들어, 캡쳐 이벤트가 발생한 경우, 이미지 생성 제어부(630)는 제 1 메모리(520)와 제 2 메모리(550)에 저장된 이미지 데이터들의 이미지 획득 시점 또는 이미지 처리 지연 시간 및 이미지 획득 시점을 이용하여 적어도 두 개의 이미지 데이터들을 선택하여 합성할 수 있다.
동영상 생성부(640)는 제 1 메모리(520)와 제 2 메모리(550)에 저장된 이미지 데이터들을 부호화(encoding)하여 동영상 데이터를 생성할 수 있다. 예를 들어, 동영상 생성부(640)는 비디오 선 처리부와 비디오 부호화부를 포함할 수 있다. 비디오 선 처리부는 제 1 메모리(520)와 제 2 메모리(550)에 저장된 이미지 데이터들에 대한 줌(zoom), 회전(rotate), 색상 공간 변환 및 플립(flip)과 같은 선처리를 수행하여 제 1 메모리(520) 및 제 2 메모리(550) 중 하나 이상에 저장할 수 있다. 비디오 부호화부는 기 설정된 부호화 방식에 따라 비디오 선 처리부에 의해 선처리되어 제 1 메모리(520) 및 제 2 메모리(550) 중 하나 이상에 저장된 이미지 데이터를 부호화하여 동영상 데이터를 생성할 수 있다.
섬네일 생성부(650)는 제 1 메모리(520)에 저장된 이미지 처리된 이미지 데이터들(예: 프리뷰 이미지) 및 각각의 이미지 데이터에 대한 메타 데이터를 이용하여 섬네일(thumbnail) 데이터를 생성할 수 있다. 예를 들어, 캡쳐 이벤트가 발생한 경우, 섬네일 생성부(650)는 제 1 메모리(520)에 저장된 각각의 이미지 데이터의 YUV 데이터 및 해당 이미지 데이터에 대한 메타 데이터를 이용하여 섬네일 데이터를 생성할 수 있다. 예컨대, 다수 개의 이미지 센서들(530-1 내지 530-N)을 통해 획득한 적어도 두 개의 이미지 데이터들을 합성하여 캡쳐 이미지 데이터를 생성하는 경우, 섬네일 생성부(650)는 각 이미지 데이터의 처리 지연 시간에 기반하여 이미지 데이터들을 동기화하여 섬네일 데이터를 생성할 수 있다. 이때, 섬네일 생성부(650)는 메타 데이터에 포함된 이미지 획득 시점 또는 프레임 식별 정보를 이용하여 캡쳐 이미지 데이터와 섬네일 데이터를 연동하여 제 1 메모리(520)에 저장할 수 있다.
미 도시되었지만, 프로세서(510)는 제 1 이미지 센서(530-1) 또는 제 1 이미지 센서(530-1) 및 외부 이미지 처리부들(540-1 내지 540-(N-1))로부터 제공받은 이미지 데이터에 이미지 획득 시점(time stamp)을 설정할 수 있는 시간 설정부를 더 포함할 수 있다. 예를 들어, 시간 설정부는 제 1 이미지 센서(530-1)로부터 제공받은 이미지 데이터와 대응되는 시간을 매 프레임 단위로 해당 이미지 데이터의 메타 데이터에 기록할 수 있다. 이때, 제 2 이미지 센서(530-2) 내지 제 N 이미지 센서(530-N)를 통해 획득한 이미지는 각각의 이미지 센서에 연결된 외부 이미지 처리부에 의해 이미지 획득 시점이 설정될 수 있다. 다른 예를 들어, 시간 설정부는 외부 이미지 처리부540-(N-1)로부터 제공받은 이미지 데이터와 대응되는 시간을 매 프레임 단위로 해당 이미지 데이터의 메타 데이터에 기록할 수 있다. 이 경우, 이미지 생성 제어부(630)는 제 1 메모리(520)에 저장된 이미지들의 이미지 획득 시점에 기반하여 합성하기 위한 적어도 두 개의 이미지들을 선택하여 합성할 수 있다.
도 7은 본 발명의 실시 예에 따른 외부 이미지 처리부의 상세 블록도를 도시하고 있다.
도 7을 참조하면 외부 이미지 처리부(540)는 이미지 처리 제어부(700) 및 시간 설정부(710)를 포함할 수 있다.
이미지 처리 제어부(700)는 이미지 센서(530-2 또는 530-N)로부터 제공받은 이미지 데이터를 레벨 조정, 잡음 제거, 감마 보정 및 표시부(560)에 표시 가능한 포맷으로 변환 중 하나 또는 그 이상의 이미지 처리를 수행할 수 있다. 예를 들어, 이미지 처리 제어부(700)는 표시부(560)에 표시 가능한 포맷으로 변환시키기 위해 이미지 센서(530-2 또는 530-N)로부터 제공받은 YUV422의 이미지 데이터를 YUV420의 이미지 데이터로 색상 공간 변환할 수 있다.
이미지 처리 제어부(700)는 제 2 메모리(550)에 저장된 하나 이상의 이미지 데이터를 표시부(560)에 표시 가능한 포맷으로 변환하여 이미지 생성 제어부(630)로 전송할 수 있다. 예를 들어, 이미지 처리 제어부(700)는 도 6의 이미지 생성 제어부(630)의 제어에 따라 제 2 메모리(550)에서 이미지 합성을 위해 선택된 이미지 데이터를 제공받아 표시부(560)에 표시 가능한 포맷으로 변환하여 이미지 생성 제어부(630)로 전송할 수 있다. 다른 예를 들어, 캡쳐 이벤트가 발생한 경우, 제 2 메모리(550)에 저장된 이미지들 중 하나 이상의 이미지 데이터를 표시부(560)에 표시 가능한 포맷으로 변환하여 이미지 생성 제어부(630)로 전송할 수도 있다.
시간 설정부(710)는 이미지 센서(530-2 또는 530-N)로부터 제공받은 이미지 데이터에 이미지 획득 시점(time stamp)을 설정할 수 있다. 예를 들어, 시간 설정부는 시간 삽입부(time stamp block)와 프레임 설정부(frame count block)를 포함하여 이미지 센서(530-2 또는 530-N)로부터 제공받은 이미지 데이터와 대응되는 시간을 매 프레임 단위로 기록할 수 있다.
상술한 실시 예에서 외부 이미지 처리부는 이미지 처리 제어부(700)와 시간 설정부(710)를 포함할 수 있다. 다른 실시 예에서 시간 설정부(710)는 외부 이미지 처리부의 외부에 위치할 수도 있다.
도 8은 본 발명의 실시 예에 따른 메모리의 상세 블록 구성을 도시하고 있다.
도 8을 참조하면 제 1 메모리(520)는 논리적 또는 물리적으로 다수 개의 블록들(800, 810, 820)로 나뉘어 데이터를 저장할 수 있다. 예를 들어, 프로세서(510)의 이미지 처리부(600)로부터 제공받은 이미지 데이터는 제 1 메모리(520)의 세 번째 블록(820)에 저장될 수 있다.
외부 이미지 처리부(540-1 또는 540-(N-1))로부터 제공받은 이미지 데이터는 제 1 메모리(520)의 첫 번째 블록(800)에 저장될 수 있다. 이때, 이미지 데이터는 Y 데이터, UV 데이터, 메타 데이터로 구분되어 첫 번째 블록(800)에 내부 블록들(802, 804, 806)에 저장될 수 있다. 여기서, 메타 데이터는 이미지 데이터의 프레임 식별자(frame ID), 이미지 획득 시점(time stamp), 초점 정보(Auto Focus 정보), 이미지 설정 정보(EXIF: Exchangeable Image File Format) 중 하나 이상을 포함할 수 있다.
캡쳐 이벤트가 발생한 경우, 제 2 메모리(550)에 저장되었더니 이미지 데이터는 외부 이미지 처리부(540-1 또는 540-(N-1))를 통해 제 1 메모리(520)의 세 번째 블록(820)에 저장될 수 있다.
상술한 실시 예에서 전자 장치는 직렬 인터페이스와 병렬 인터페이스를 이용하여 이미지 센서를 통해 생성한 이미지 데이터를 각각의 모듈로 전송할 수 있다. 예를 들어, 전자 장치는 하기 도 9와 같이 구성되는 MIPI 인터페이스를 이용하여 이미지 센서를 통해 생성한 이미지 데이터를 각각의 모듈로 전송할 수 있다.
도 9는 본 발명의 실시 예에 따른 인터페이스의 블록도를 도시하고 있다.
도 9를 참조하면 MIPI 인터페이스는 데이터의 형태에 따른 다수 개의 레인(Lane)들(900)을 포함할 수 있다. 예를 들어, MIPI 인터페이스는 전송하는 데이터 용량에 따라 MIPI 4-Lane PHY, MIPI 2-Lane PHY 및 MIPI 1-Lane PHY로 구성될 수 있다.
MIPI 인터페이스는 각각의 레인(900)에 대응되는 직렬 인터페이스(예: CSI: Camera Serial Interface)(910)를 해당 모듈(930)로 이미지 데이터를 전송할 수 있다. 예를 들어, MIPI 4-Lane PHY는 MIPI CSI_0를 통해 하나 이상의 모듈로 이미지 데이터를 전송하고, MIPI 2-Lane PHY는 MIPI CSI_1을 통해 하나 이상의 모듈로 이미지 데이터를 전송하며, MIPI 1-Lane PHY는 MIPI CSI_2를 통해 하나 이상의 모듈로 이미지 데이터를 전송할 수 있다.
MIPI 인터페이스를 통해 이미지 데이터를 제공받은 모듈은 각 모듈의 특성에 따라 이미지 데이터의 형태를 가공하거나 처리(processing)할 수 있다. 예를 들어, VPE(Video Pre-processing Engine) 모듈은 MIPI 인터페이스를 통해 제공받은 이미지 데이터를 줌, 회전, 색상 공간 변환 및 플립(flip)과 같은 이미지 처리를 수행할 수 있다. JPEG DCD(decoding) 모듈은 MIPI 인터페이스를 통해 제공받은 JPEG 형태의 이미지 데이터를 복호하는데 필요한 하드웨어적인 가속 기능을 지원할 수 있다. VFE(Video Front-end Engine) 모듈은 MIPI 인터페이스를 통해 제공받은 이미지 데이터에 색상 변화와 같은 다양한 효과를 적용할 수 있다. Offline JPEG 모듈은 MIPI 인터페이스를 통해 제공받은 JPEG 형태의 이미지 데이터를 부호화하는데 필요한 하드웨어적인 가속 기능을 지원할 수 있다.
상술한 바와 같이 구성되는 MIPI 인터페이스를 통해 이미지 데이터를 전송하는 경우, 전자 장치는 메모리 및 MIPI 인터페이스의 전송량의 한계로 인해 이미지 데이터를 나눠서 전송하는 분할 전송 방식을 사용할 수 있다. 예를 들어, 11MB의 이미지 데이터를 전송하는 경우, 전자 장치는 도 12a와 같이 11MB의 이미지 데이터를 8MB 데이터(1200)와 3MB의 데이터(1210)로 분할하여 MIPI 인터페이스를 통해 전송할 수 있다. 예컨대, 전자 장치는 11MB의 이미지 데이터를 도 12a와 같이 8MB 데이터(1200)와 3MB의 데이터(1210)로 분할하여 저장하고, 분할된 데이터(1200, 1210)를 PIPE 방식을 통해 전송할 수 있다. MIPI 인터페이스를 통해 분할된 데이터(1200, 1210)를 수신한 전자 장치의 메모리는 하나의 데이터로 취합하거나 분할된 형태로 저장할 수 있다. 전자 장치는 도 12b와 같이 메모리의 크기(예: 분할된 데이터의 크기) 및 데이터의 분할 개수를 유동적으로 설정할 수 있다. 다른 예를 들어, MIPI 인터페이스를 통해 한번에 11MB의 데이터를 전송할 수 있는 경우, 전자 장치는 도 12b와 같이 11MB 중 기 설정된 데이터양(예: 3MB)을 프리뷰 이미지를 위해 사용하고, 나머지 데이터양(예: 8MB)을 이용하여 로우 이미지(raw image) 데이터를 전송할 수 있다. 이 경우, 전자 장치는 로우 이미지 데이터의 크기에 기반하여 로우 이미지 데이터를 한번에 또는 분할하여 MIPI 인터페이스를 통해 전송할 수 있다. 예컨대, 로우 이미지 데이터가 7MB인 경우, 전자 장치는 프리뷰 이미지를 위한 3MB와 로우 이미지 데이터를 위한 7MB를 MIPI를 통해 한번에 전송할 수 있다. 로우 이미지 데이터가 15MB인 경우, 전자 장치는 3MB를 프리뷰 이미지를 위한 고정적으로 사용하고, 로우 이미지 데이터를 위한 8MB 및 7MB로 분할하여 두 번에 걸쳐 MIPI를 통해 한번에 전송할 수 있다. 로우 이미지 데이터를 분할하여 전송한 경우, 전자 장치는 메타 데이터를 이용하여 분할된 로우 이미지 데이터들을 하나의 이미지로 결합할 수 있다.
도 10은 본 발명의 실시 예에 따른 전자 장치에서 섬네일 데이터를 생성하기 위한 흐름도를 도시하고 있다.
도 10을 참조하면 전자 장치는 1001 단계에서 다수 개의 이미지 센서들을 이용하여 이미지 데이터들을 생성할 수 있다. 예를 들어, 전자 장치는 전자 장치의 전면에 위치하는 제 1 이미지 센서와 전자 장치의 후면에 위치하는 제 2 이미지 센서를 이용하여 이미지 데이터들을 생성할 수 있다.
이미지 데이터들을 생성한 경우, 전자 장치는 1003 단계에서 이미지 데이터들을 표시부에 표시 가능한 프리뷰 포맷으로 변환할 수 있다. 예컨대, 전자 장치는 하나 이상의 이미지 처리부(ISP)를 이용하여 이미지 데이터들을 표시부에 표시 가능한 프리뷰 포맷으로 변환할 수 있다. 예를 들어, 도 2를 참조하는 경우, 전자 장치(100)는 이미지 처리부(200)를 이용하여 이미지 센서들(130-1 내지 130-N)을 통해 생성한 이미지 데이터들을 표시부(140)에 표시 가능한 프리뷰 포맷(예: YUV 데이터)으로 변환할 수 있다. 이때, 이미지 처리부(200)는 표시부(140)에 표시 가능한 프리뷰 포맷으로 변환하는 이미지 데이터에 대한 메타 데이터를 함께 생성하여 메모리(120)에 저장할 수 있다. 다른 예를 들어, 도 5 및 도 6을 참조하는 경우, 전자 장치(500)는 이미지 처리부(600)를 이용하여 제 1 이미지 센서(530-1)를 통해 생성한 이미지 데이터를 표시부(140)에 표시 가능한 프리뷰 포맷(예: YUV 데이터)으로 변환하고, 외부 이미지 처리부들(540-1 내지 540-(N-1))을 이용하여 제 2 이미지 센서(530-2) 내지 제 N 이미지 센서(530-N)를 통해 생성한 이미지 데이터들을 표시부(140)에 표시 가능한 프리뷰 포맷으로 변환할 수 있다. 이때, 이미지 처리부(600)와 외부 이미지 처리부들(540-1 내지 540-(N-1))은 표시부(140)에 표시 가능한 프리뷰 포맷으로 변환하는 이미지 데이터에 대한 메타 데이터를 함께 생성하여 제 1 메모리(520) 및 제 2 메모리(550) 중 하나 이상의 메모리에 저장할 수 있다. 여기서, 메타 데이터는 해당 이미지 데이터의 프레임 식별자(frame ID), 이미지 획득 시점(time stamp) 및 이미지 설정 정보(EXIF) 중 하나 이상을 포함할 수 있다.
이미지 데이터들을 표시부에 표시 가능한 프리뷰 포맷으로 변환한 경우, 전자 장치는 1005단계에서 프리뷰 포맷의 데이터를 이용하여 캡쳐 이미지 데이터에 대한 섬네일 데이터를 생성할 수 있다. 예컨대, 전자 장치는 이미지 처리부와 별도의 다른 모듈을 이용하여 섬네일 데이터를 생성할 수 있다. 예를 들어, 도 2를 참조하는 경우, 전자 장치(100)의 섬네일 생성부(230)는 메모리(120)에 저장된 프리뷰 포맷의 이미지 데이터 및 해당 이미지 데이터의 메타 데이터를 이용하여 캡쳐 이미지 데이터에 대한 섬네일 데이터를 생성할 수 있다. 다른 예를 들어, 도 5와 도 6을 참조하는 경우, 전자 장치(500)의 섬네일 생성부(650)는 제 1 메모리(520) 및 제 2 메모리(550) 중 하나 이상의 메모리에 저장된 프리뷰 포맷의 이미지 데이터 및 해당 이미지 데이터의 메타 데이터를 이용하여 캡쳐 이미지 데이터에 대한 섬네일 데이터를 생성할 수 있다.
도 11은 본 발명의 실시 예에 따른 전자 장치에서 섬네일 데이터와 캡쳐 이미지 데이터를 연동하여 저장하기 위한 흐름도를 도시하고 있다.
도 11을 참조하면 전자 장치는 1101 단계에서 다수 개의 이미지 센서들을 이용하여 이미지 데이터들을 생성할 수 있다. 예를 들어, 전자 장치는 전자 장치의 전면에 위치하는 제 1 이미지 센서와 전자 장치의 후면에 위치하는 제 2 이미지 센서를 이용하여 이미지 데이터들을 생성할 수 있다.
이미지 데이터들을 생성한 경우, 전자 장치는 1103 단계에서 이미지 데이터들을 표시부에 표시 가능한 프리뷰 포맷으로 변환할 수 있다. 예를 들어, 전자 장치는 하나 이상의 이미지 처리부(ISP)를 이용하여 이미지 데이터들을 표시부에 표시 가능한 프리뷰 포맷으로 변환할 수 있다. 이때, 전자 장치는 하나 이상의 이미지 처리부에서 프리뷰 포맷으로 변환하는 이미지 데이터 및 해당 이미지 데이터에 대한 메타 데이터를 메모리에 저장할 수 있다. 여기서, 메타 데이터는 해당 이미지 데이터의 프레임 식별자, 이미지 획득 시점 및 이미지 설정 정보 중 하나 이상을 포함할 수 있다.
이미지 데이터들을 표시부에 표시 가능한 프리뷰 포맷으로 변환한 경우, 전자 장치는 1105 단계에서 프리뷰 포맷의 이미지 데이터를 표시부에 표시할 수 있다.
전자 장치는 1107 단계에서 캡쳐 이벤트가 발생하는지 확인할 수 있다. 예를 들어, 전자 장치는 캡쳐 이벤트에 대응하는 하드웨어 버튼의 입력이 감지되는지 확인할 수 있다. 다른 예를 들어, 전자 장치는 캡쳐 이벤트에 대응하는 아이콘의 선택이 감지되는지 확인할 수 있다. 또 다른 예를 들어, 전자 장치는 캡쳐 이벤트에 대응하는 사용자의 제스쳐가 감지되는지 확인할 수 있다.
1107단계에서 캡쳐 이벤트가 발생하지 않는 경우, 전자 장치는 1101 단계에서 다수 개의 이미지 센서들을 이용하여 이미지 데이터들을 생성할 수 있다.
1107단계에서 캡쳐 이벤트가 발생한 경우, 전자 장치는 1109 단계에서 프리뷰 포맷의 이미지 데이터를 이용하여 캡쳐 이미지 데이터에 대한 섬네일 데이터를 생성할 수 있다. 예를 들어, 전자 장치의 전면에 저 용량의 제 1 이미지 센서가 위치하고 후면에 고 용량의 제 2 이미지 센서가 위치하는 경우, 전자 장치는 제 1 이미지 센서를 통해 생성한 저 용량의 이미지 데이터를 표시부에 표시 가능한 프리뷰 이미지 데이터로 사용할 수 있다. 전자 장치는 제 2 이미지 센서를 통해 생성한 고 용량의 이미지 데이터를 프리뷰 포맷으로 변환하여 프리뷰 이미지 데이터를 생성할 수 있다. 이에 따라, 고 용량의 이미지 데이터에 대한 처리 지연 시간에 의해 캡쳐 이벤트 발생 시, 전자 장치는 캡쳐 이벤트 발생 시점에 표시부에 표시된 프리뷰 이미지 데이터에 대응하는 저 용량의 이미지 데이터와 캡쳐 이벤트 발생 시점에 대응되는 이미지 획득 시점을 포함하는 고 용량의 이미지 데이터를 캡쳐 이미지 데이터로 인식하여 합성할 수 있다. 캡쳐 이벤트에 따라 섬 네일 데이터 생성 시, 전자 장치는 캡쳐 이벤트 발생 시점에 표시부에 표시된 저 용량 이미지 데이터의 프리뷰 이미지 데이터와 캡쳐 이벤트 발생 시점에 대응되는 이미지 획득 시점을 포함하는 고 용량의 이미지 데이터에 대한 프리뷰 이미지를 합성하여 섬네일 데이터를 생성할 수 있다. 예컨대, 전자 장치는 이미지 처리부와 별도의 다른 모듈을 이용하여 섬네일 데이터를 생성할 수 있다.
섬네일 데이터를 생성한 경우, 전자 장치는 1111단계에서 섬네일 데이터의 메타 데이터를 이용하여 섬네일 데이터와 캡쳐 이미지 데이터를 연동하여 저장할 수 있다. 예를 들어, 전자 장치는 섬네일 데이터를 생성하는데 사용한 메타 데이터에 포함되는 이미지 획득 시점 또는 프레임 식별 정보를 이용하여 캡쳐 이미지 데이터와 섬네일 데이터를 연동하여 메모리에 저장할 수 있다.
도 13은 본 발명의 또 다른 실시 예에 따른 전자 장치의 블록도를 도시하고 있다. 이하 설명에서 전자 장치(1300)는, 예를 들면, 도 1에 도시된 전자 장치(101)의 전체 또는 일부를 구성할 수 있다.
도 13을 참조하면, 전자 장치(1300)는 하나 이상의 프로세서(1310), SIM(subscriber identification module) 카드(1314), 메모리(1320), 통신 모듈(1330), 센서 모듈(1340), 입력 모듈(1350), 디스플레이(1360), 인터페이스(1370), 오디오 모듈(1380), 카메라 모듈(1391), 전력관리 모듈(1395), 배터리(1396), 인디케이터(1397) 또는 모터(1398)를 포함할 수 있다.
프로세서(1310)(예: 프로세서(120))는 하나 이상의 어플리케이션 프로세서(AP: application processor)(1311) 또는 하나 이상의 커뮤니케이션 프로세서(CP: communication processor)(1313)를 포함할 수 있다. 도 13에서 AP(1311) 및 CP(1313)가 프로세서(1310) 내에 포함된 것으로 도시되었으나, AP(1311) 와 CP(1313)는 서로 다른 IC 패키지들 내에 각각 포함될 수 있다. 한 실시 예에 따르면, AP(1311) 및 CP(1313)는 하나의 IC 패키지 내에 포함될 수 있다.
AP(1311)는 운영체제 또는 응용 프로그램을 구동하여 AP(1311)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 멀티미디어 데이터를 포함한 각종 데이터 처리 및 연산을 수행할 수 있다. AP(1311)는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시예에 따르면, 프로세서(1310)는 GPU(graphic processing unit, 미도시)를 더 포함할 수 있다.
CP(1313)는 전자 장치(1300)(예: 전자 장치(101))와 네트워크로 연결된 다른 전자 장치들(예: 전자 장치(102), 전자 장치(104), 또는 서버(106)) 간의 통신에서 데이터 링크를 관리하고 통신 프로토콜을 변환하는 기능을 수행할 수 있다. CP(1313)는, 예를 들면, SoC로 구현될 수 있다. 한 실시예에 따르면, CP(1313)는 멀티미디어 제어 기능의 적어도 일부를 수행할 수 있다. CP(1313)는, 예를 들면, 가입자 식별 모듈(예: SIM 카드(1314))을 이용하여 통신 네트워크 내에서 전자 장치의 구별 및 인증을 수행할 수 있다. 또한, CP(1313)는 사용자에게 음성 통화, 영상 통화, 문자 메시지 또는 패킷 데이터(packet data) 등의 서비스들을 제공할 수 있다.
또한, CP(1313)는 통신 모듈(1330)의 데이터 송수신을 제어할 수 있다. 도 13에서는, CP(1313), 전력관리 모듈(1395) 또는 메모리(1320) 등의 구성요소들이 AP(1311)와 별개의 구성요소로 도시되어 있으나, 한 실시예에 따르면, AP(1311)가 전술한 구성요소들의 적어도 일부(예: CP(1313))를 포함하도록 구현될 수 있다.
한 실시예에 따르면, AP(1311) 또는 CP(1313)는 각각에 연결된 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, AP(1311) 또는 CP(1313)는 다른 구성요소 중 적어도 하나로부터 수신하거나 다른 구성요소 중 적어도 하나에 의해 생성된 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
SIM 카드(1314)는 가입자 식별 모듈을 포함하는 카드일 수 있으며, 전자 장치의 특정 위치에 형성된 슬롯에 삽입될 수 있다. SIM 카드(1314)는 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
메모리(1320)(예: 메모리(130))는 내장 메모리(1322) 또는 외장 메모리(1324)를 포함할 수 있다. 내장 메모리(1322)는, 예를 들면, 휘발성 메모리(예를 들면, DRAM(dynamic RAM), SRAM(static RAM), SDRAM(synchronous dynamic RAM) 등) 또는 비휘발성 메모리(non-volatile Memory, 예를 들면, OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, NAND flash memory, NOR flash memory 등) 중 적어도 하나를 포함할 수 있다. 한 실시예에 따르면, 내장 메모리 822는 Solid State Drive (SSD)일 수 있다. 외장 메모리(1324)는 flash drive, 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital) 또는 Memory Stick 등을 더 포함할 수 있다. 외장 메모리(1324)는 다양한 인터페이스를 통하여 전자 장치(1300)과 기능적으로 연결될 수 있다. 한 실시예에 따르면, 전자 장치(1300)는 하드 드라이브와 같은 저장 장치(또는 저장 매체)를 더 포함할 수 있다.
통신 모듈(1330)(예: 통신 인터페이스(160))은 무선 통신 모듈(1331) 또는 RF 모듈(1334)을 포함할 수 있다. 무선 통신 모듈(1331)은, 예를 들면, WiFi(1333), BT(bluetooth) (1335), GPS(1337) 또는 NFC(near field communication) (1339)를 포함할 수 있다. 예를 들면, 무선 통신 모듈(1331)은 무선 주파수를 이용하여 무선 통신 기능을 제공할 수 있다. 추가적으로 또는 대체적으로, 무선 통신 모듈(1331)은 전자 장치(1300)를 네트워크(예: Internet, LAN(local area network), WAN(wire area network), telecommunication network, cellular network, satellite network 또는 POTS(plain old telephone service) 등)와 연결시키기 위한 네트워크 인터페이스(예: LAN card) 또는 모뎀 등을 포함할 수 있다.
RF 모듈(1334)은 데이터의 송수신, 예를 들면, RF 신호의 송수신을 담당할 수 있다. RF 모듈(1334)은, 도시되지는 않았으나, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter) 또는 LNA(low noise amplifier) 등을 포함할 수 있다. 또한, RF 모듈(1334)은 무선 통신에서 자유 공간상의 전자파를 송수신하기 위한 부품, 예를 들면, 도체 또는 도선 등을 더 포함할 수 있다.
센서 모듈(1340)은 물리량을 계측하거나 전자 장치(1300)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈(1340)은, 예를 들면, 제스처 센서(1340-A), 자이로 센서(1340-B), 기압 센서(1340-C), 마그네틱 센서(1340-D), 가속도 센서(1340-E), 그립 센서(1340-F), 근접 센서(1340-G), color 센서(1340-H)(예: RGB(red, green, blue) 센서), 생체 센서(1340-I), 온/습도 센서(1340-J), 조도 센서(1340-K) 또는 UV(ultra violet) 센서(1340-M)중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 센서 모듈(1340)은, 예를 들면, 후각 센서(E-nose sensor, 미도시), EMG 센서(electromyography sensor, 미도시), EEG 센서(electroencephalogram sensor, 미도시), ECG 센서(electrocardiogram sensor, 미도시), IR(infra red) 센서(미도시), 홍채 센서(미도시) 또는 지문 센서(미도시) 등을 포함할 수 있다. 센서 모듈(1340)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다.
입력 모듈(1350)은 터치 패널(touch panel)(1352), (디지털) 펜 센서(pen sensor)(1354), 키(key)(1356) 또는 초음파(ultrasonic) 입력 장치(1358)를 포함할 수 있다. 터치 패널(1352)은, 예를 들면, 정전식, 감압식, 적외선 방식 또는 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 인식할 수 있다. 또한, 터치 패널(1352)은 제어 회로를 더 포함할 수도 있다. 정전식의 경우, 물리적 접촉 또는 근접 인식이 가능하다. 터치 패널(1352)은 택타일 레이어(tactile layer)를 더 포함할 수도 있다. 이 경우, 터치 패널(1352)은 사용자에게 촉각 반응을 제공할 수 있다.
(디지털) 펜 센서(1354)는, 예를 들면, 사용자의 터치 입력을 받는 것과 동일 또는 유사한 방법 또는 별도의 인식용 쉬트(sheet)를 이용하여 구현될 수 있다. 키(1356)는, 예를 들면, 물리적인 버튼, 광학식 키, 키패드, 또는 터치키를 포함할 수 있다. 초음파(ultrasonic) 입력 장치(1358)는 초음파 신호를 발생하는 입력 도구를 통해, 전자 장치에서 마이크(예: 마이크(1388))로 음파를 감지하여 데이터를 확인할 수 있는 장치로서, 무선 인식이 가능하다. 한 실시예에 따르면, 전자 장치(1300)는 통신 모듈(1330)를 이용하여 이와 연결된 외부 장치(예: 네트워크, 컴퓨터 또는 서버)로부터 사용자 입력을 수신할 수도 있다.
디스플레이(1360)(예: 디스플레이(150))은 패널(1362), 홀로그램(1364), 또는 프로젝터(1366)을 포함할 수 있다. 패널(1362)은, 예를 들면, LCD(liquid-crystal display) 또는 AM-OLED(active-matrix organic light-emitting diode) 등일 수 있다. 패널(1362)은, 예를 들면, 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 패널(1362)은 터치 패널(1352)과 하나의 모듈로 구성될 수도 있다. 홀로그램(1364)은 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터(1366)는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치(1300)의 내부 또는 외부에 위치할 수 있다. 한 실시예에 따르면, 디스플레이(1360)은 패널(1362), 홀로그램(1364), 또는 프로젝터(1366)를 제어하기 위한 제어 회로를 더 포함할 수 있다.
인터페이스(1370)는, 예를 들면, HDMI(high-definition multimedia interface)(1372), USB(universal serial bus)(1374), 광통신(optical communication) 단자(1376) 또는 D-sub(D-subminiature) 878를 포함할 수 있다. 인터페이스(1370)는, 예를 들면, 도 1에 도시된 통신 인터페이스(160)에 포함될 수 있다. 추가적으로 또는 대체적으로, 인터페이스(1370)는, 예를 들면, MHL(mobile high-definition link(미도시)), SD(secure Digital)/MMC(multi-media card)(미도시) 또는 IrDA(infrared data association, 미도시)를 포함할 수 있다.
오디오 모듈(1380)은 소리(sound)와 전기신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈(1380)의 적어도 일부 구성요소는, 예를 들면, 도 1 에 도시된 입출력 인터페이스(140)에 포함될 수 있다. 오디오 모듈(1380)은, 예를 들면, 스피커(1382), 리시버(1384), 이어폰(1386) 또는 마이크(1388) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
카메라 모듈(1391)은 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈(미도시), ISP(image signal processor, 미도시) 또는 플래쉬 (flash, 미도시)(예: LED 또는 xenon lamp)를 포함할 수 있다.
전력 관리 모듈(1395)은 전자 장치(1300의 전력을 관리할 수 있다. 도시하지는 않았으나, 전력 관리 모듈(1395)은, 예를 들면, PMIC(power management integrated circuit), 충전 IC(charger integrated circuit) 또는 배터리 또는 연료 게이지(battery or fuel gauge)를 포함할 수 있다.
PMIC는, 예를 들면, 집적회로 또는 SoC 반도체 내에 탑재될 수 있다. 충전 방식은 유선과 무선으로 구분될 수 있다. 충전 IC는 배터리를 충전시킬 수 있으며, 충전기로부터의 과전압 또는 과전류 유입을 방지할 수 있다. 한 실시예에 따르면, 충전 IC는 유선 충전 방식 또는 무선 충전 방식 중 적어도 하나를 위한 충전 IC를 포함할 수 있다. 무선 충전 방식으로는, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등이 있으며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로 또는 정류기 등의 회로가 추가될 수 있다.
배터리 게이지는, 예를 들면, 배터리(1396)의 잔량, 충전 중 전압, 전류 또는 온도를 측정할 수 있다. 배터리(1396)는 전기를 저장 또는 생성할 수 있고, 그 저장 또는 생성된 전기를 이용하여 전자 장치(1300)에 전원을 공급할 수 있다. 배터리(1396)는, 예를 들면, 충전식 전지(rechargeable battery), 또는 태양 전자(solar battery)를 포함할 수 있다.
인디케이터(1397)는 전자 장치(1300) 혹은 그 일부(예: AP(1311))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터(1398)는 전기적 신호를 기계적 진동으로 변환할 수 있다. 도시되지는 않았으나, 전자 장치(1300)는 모바일 TV 지원을 위한 처리 장치(예: GPU)를 포함할 수 있다. 모바일 TV지원을 위한 처리 장치는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting) 또는 미디어플로우(media flow) 등의 규격에 따른 미디어 데이터를 처리할 수 있다.
본 발명의 실시 예에 따른 전자 장치의 전술한 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성 요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 본 개시에 따른 전자 장치는 전술한 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 본 개시에 따른 전자 장치의 구성 요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성 요소들의 기능을 동일하게 수행할 수 있다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 전자장치의 동작 순서가 변경 또는 병합되거나 재사용 가능하며 생략 등과 같이 여러 가지 변형이 가능하다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (33)

  1. 전자 장치에 있어서,
    제1 이미지 센서;
    제2 이미지 센서;
    터치 스크린; 및
    프로세서를 포함하고, 상기 프로세서는,
    상기 제1 이미지 센서를 이용하여 제1 이미지 데이터를 획득하고,
    상기 터치 스크린을 통해 상기 제1 이미지 데이터의 적어도 일부를 프리뷰 이미지로서 표시하고,
    상기 터치 스크린을 통해 촬영 이미지를 캡처하기 위한 사용자 입력을 수신하고,
    상기 사용자 입력에 응답하여, 상기 제1 이미지 데이터의 적어도 일부를 이용하여 상기 프리뷰 이미지에 대응하는 제1 썸네일 이미지를 생성하고, 상기 제1 이미지 데이터의 적어도 일부 및 상기 제2 이미지 센서를 이용하여 획득된 제2 이미지 데이터의 적어도 일부를 이용하여 촬영 이미지를 생성하고, 및
    상기 촬영 이미지가 생성된 이후, 상기 촬영 이미지의 적어도 일부를 이용하여 상기 촬영 이미지에 대응하고, 상기 제1 썸네일 이미지와 구별되는 제2 썸네일 이미지를 생성하도록 설정된 전자 장치.
  2. 제 1항에 있어서,
    상기 프로세서는,
    상기 제1 이미지 센서로부터 수신된 제1 이미지 데이터를 처리하는 제1 이미지 처리부, 및
    상기 제2 이미지 센서로부터 수신한 제2 이미지 데이터를 처리하는 제2 이미지 처리부를 포함하는 전자 장치.
  3. 제 1항에 있어서,
    상기 프로세서는, 상기 제1 이미지 데이터를 처리하고, 상기 터치 스크린 상에 표시될 수 있는 포맷의 프리뷰 이미지와 해당 제1 이미지 데이터에 관한 메타 데이터를 생성하도록 설정된 전자 장치.
  4. 제 1항에 있어서,
    상기 제1 이미지 데이터는, 상기 제2 이미지 데이터보다 낮은 해상도의 이미지인 전자 장치.
  5. 제 1항에 있어서,
    상기 제1 썸네일 이미지는, 카메라 어플리케이션이 실행되는 동안 표시되는 이미지인 전자 장치.
  6. 제 1항에 있어서,
    상기 프로세서는,
    상기 사용자 입력에 응답하여, 상기 제1 이미지 데이터의 메타 데이터에 기반하여 상기 제2 이미지 센서를 이용하여 획득된 복수의 이미지 데이터로부터 상기 제2 이미지 데이터를 선택하고, 및
    상기 제1 이미지 데이터의 적어도 일부 및 상기 제2 이미지 데이터의 적어도 일부를 이용하여 상기 촬영 이미지를 생성하도록 설정된 전자 장치.
  7. 제 5항에 있어서,
    상기 제1 이미지 데이터의 메타 데이터는, 이미지 데이터의 프레임 식별 정보, 이미지 획득 시점(time stamp) 및 이미지 설정 정보(EXIF) 중 적어도 하나를 포함하는 전자 장치.
  8. 제 1항에 있어서,
    상기 프로세서는,
    상기 제1 이미지 데이터의 처리 지연 시간 및 상기 제2 이미지 데이터의 처리 지연 시간에 기반하여 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터를 동기화하고, 및
    상기 동기화된 제1 이미지 데이터의 적어도 일부와 상기 동기화된 제2 이미지 데이터의 적어도 일부에 기반하여 상기 촬영 이미지를 생성하도록 설정된 전자 장치.
  9. 제 8항에 있어서,
    상기 제1 이미지 데이터의 처리 지연 시간은, 상기 제2 이미지 데이터의 처리 지연 시간보다 긴 전자 장치.
  10. 전자 장치의 동작 방법에 있어서,
    제1 이미지 센서를 이용하여 제1 이미지 데이터를 획득하는 동작;
    상기 제1 이미지 데이터를 프리뷰 이미지로서 표시하는 동작;
    촬영 이미지를 캡처하기 위한 사용자 입력을 수신하는 동작;
    상기 사용자 입력에 응답하여, 상기 제1 이미지 데이터의 적어도 일부를 이용하여 상기 프리뷰 이미지에 대응하는 제1 썸네일 이미지를 생성하고, 상기 제1 이미지 데이터의 적어도 일부와 제2 이미지 센서를 이용하여 획득된 제2 이미지 데이터의 적어도 일부를 이용하여 촬영 이미지를 생성하는 동작; 및
    상기 촬영 이미지를 생성한 이후, 상기 촬영 이미지의 적어도 일부를 이용하여 상기 촬영 이미지에 대응하고, 상기 제1 썸네일 이미지와 구별되는 제2 썸네일 이미지를 생성하는 동작을 포함하는 방법.
  11. 제 10항에 있어서,
    상기 제1 이미지 데이터를 프리뷰 이미지로서 표시하는 동작은,
    제1 이미지 처리부를 이용하여 하나 또는 그 이상의 이미지 데이터 중 상기 제1 이미지 데이터를 상기 프리뷰 이미지로 변환하는 동작을 포함하는 방법.
  12. 제 11항에 있어서,
    상기 제1 이미지 데이터는, 상기 제2 이미지 데이터보다 낮은 해상도의 이미지인 방법.
  13. 제 10항에 있어서,
    상기 제1 썸네일 이미지는, 카메라 어플리케이션이 실행되는 동안 표시되는 이미지인 방법.
  14. 제 10항에 있어서,
    상기 촬영 이미지를 생성하는 동작은,
    상기 사용자 입력에 응답하여, 상기 제1 이미지 데이터의 메타 데이터에 기반하여 상기 제2 이미지 센서를 이용하여 획득된 복수의 이미지 데이터로부터 상기 제2 이미지 데이터를 선택하는 동작; 및
    상기 제1 이미지 데이터의 적어도 일부 및 상기 제2 이미지 데이터의 적어도 일부를 이용하여 상기 촬영 이미지를 생성하는 동작을 포함하는 방법.
  15. 제 10항에 있어서,
    상기 제1 이미지 데이터의 메타 데이터는, 이미지 데이터의 프레임 식별 정보, 이미지 획득 시점(time stamp) 및 이미지 설정 정보(EXIF) 중 적어도 하나를 포함하는 방법.
  16. 제 10항에 있어서,
    상기 촬영 이미지를 생성하는 동작은,
    상기 제1 이미지 데이터의 처리 지연 시간 및 상기 제2 이미지 데이터의 처리 지연 시간에 기반하여 상기 제1 이미지 데이터 및 상기 제2 이미지 데이터를 동기화하는 동작; 및
    상기 동기화된 제1 이미지 데이터의 적어도 일부와 상기 동기화된 제2 이미지 데이터의 적어도 일부에 기반하여 상기 촬영 이미지를 생성하는 동작을 포함하는 방법.
  17. 제 16항에 있어서,
    상기 제1 이미지 데이터의 처리 지연 시간은, 상기 제2 이미지 데이터의 처리 지연 시간보다 긴 방법.
  18. 휴대용 통신 장치에 있어서,
    제1 이미지 센서;
    제2 이미지 센서;
    터치 스크린; 및
    적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는,
    상기 제1 이미지 센서를 이용하여 제1 해상도를 갖는 제1 이미지를 획득하고,
    상기 터치 스크린을 통해 상기 제1 이미지의 적어도 일부를 프리뷰 이미지로서 표시하고,
    상기 프리뷰 이미지가 표시되는 동안, 상기 터치 스크린을 통해 촬영 이미지를 캡처하기 위한 사용자 입력을 수신하고,
    상기 사용자 입력에 응답하여, 상기 제1 이미지에 대응하는 획득 시점 정보 또는 프레임 식별 정보의 적어도 부분적으로 기반하여 상기 제2 이미지 센서를 이용하여 획득되고, 상기 제1 해상도보다 높은 제2 해상도를 갖는 복수의 제2 이미지들 중 적어도 하나의 제2 이미지를 선택하고,
    상기 제1 이미지 및 상기 적어도 하나의 제2 이미지를 이용하여 촬영 이미지를 생성하고, 및
    상기 제1 이미지의 적어도 일부 및 상기 제1 이미지에 대응하는 상기 획득 시점 정보 또는 상기 프레임 식별 정보 중 대응하는 하나를 이용하여 썸네일 이미지를 생성하도록 설정되며,
    상기 프로세서는, 상기 제1 이미지를 획득하는 동작의 적어도 일부로서, 상기 제1 이미지에 대응하는 메타데이터의 적어도 일부로서 상기 제1 이미지에 대응하는 상기 획득 시점 정보 및 상기 프레임 식별 정보를 생성하도록 설정된 전자 장치.
  19. 제 18항에 있어서,
    상기 적어도 하나의 프로세서, 상기 제1 이미지 센서, 및 상기 제2 이미지 센서와 연결된 인터페이스를 더 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 인터페이스를 통해 상기 제1 이미지 센서로부터 상기 제1 이미지를 수신하고, 및
    상기 인터페이스를 통해 상기 제2 이미지를 수신하도록 설정된 전자 장치.
  20. 제 18항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 제1 이미지의 회득 시점 정보를 상기 적어도 하나의 제2 이미지의 메타데이터로서, 상기 제1 이미지에 대응하는 상기 적어도 하나의 제2 이미지에 기록하도록 설정된 전자 장치.
  21. 제 18항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 제1 이미지의 처리함으로써 야기된 상기 제2 이미지의 처리 지연에 적어도 부분적으로 기반하여 상기 적어도 하나의 제2 이미지를 선택하도록 설정된 전자 장치.
  22. 제 18항에 있어서,
    상기 제2 이미지 센서는, 상기 제1 이미지 센서로부터 상기 휴대용 통신 장치의 반대측에 장착되는 전자 장치.
  23. 제 18항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 프리뷰 이미지보다 낮은 해상도를 갖는 상기 썸네일 이미지를 생성하도록 설정된 전자 장치.
  24. 제 18항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 제1 이미지를 표시하는 동작의 일부로서, 상기 터치 스크린의 제1 영역을 통해 상기 프리뷰 이미지를 표시하고, 및
    상기 프리뷰 이미지가 표시될 때, 실시간으로 상기 썸네일 이미지를 상기 터치 스크린의 제2 영역에 표시하도록 설정된 전자 장치.
  25. 제 18항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 촬영 이미지를 이용하여 다른 썸네일 이미지를 생성하도록 설정된 전자 장치.
  26. 제 25항에 있어서,
    메모리를 더 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 썸네일 이미지 또는 상기 다른 썸네일 이미지 중 적어도 하나와 상기 촬영 이미지를 연관시키고,
    상기 촬영 이미지와 연관된 상기 썸네일 이미지 또는 상기 다른 썸네일 이미지 중 적어도 하나를 상기 메모리에 저장하도록 설정되며,
    상기 썸네일 이미지 또는 상기 다른 썸네일 이미지 중 적어도 하나는, 상기 획득 시점 정보 또는 상기 프레임 식별 정보에 적어도 부분적으로 기반하여 선택되는 전자 장치.
  27. 전자 장치에 있어서,
    제1 이미지 센서;
    제2 이미지 센서;
    터치 스크린; 및
    프로세서를 포함하고, 상기 프로세서는,
    상기 제1 이미지 센서를 이용하여 제1 이미지 데이터를 획득하고,
    상기 제1 이미지 데이터의 적어도 한 부분을 프리뷰 이미지로서 상기 터치 스크린을 통해 표시하고,
    상기 프리뷰 이미지가 표시되는 동안 상기 터치 스크린을 통해 촬영 이미지를 캡처하기 위한 사용자 입력을 수신하고,
    상기 사용자 입력에 응답하여, 상기 제1 이미지 데이터를 이용하여 상기 프리뷰 이미지에 대응하는 제1 썸네일 이미지를 생성하고, 상기 제1 이미지 데이터 및 상기 제2 이미지 센서를 이용하여 획득된 제2 이미지 데이터를 이용하여 촬영 이미지를 생성하고, 및
    상기 촬영 이미지가 생성된 이후, 상기 촬영 이미지의 적어도 한 부분을 이용하여 상기 제1 썸네일 이미지와 시각적으로 구별되고, 상기 촬영 이미지에 대응하는 제2 썸네일 이미지를 생성하도록 설정된 전자 장치.
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
KR1020140025000A 2013-03-13 2014-03-03 이미지를 처리하는 전자장치 및 방법 KR102124188B1 (ko)

Priority Applications (9)

Application Number Priority Date Filing Date Title
EP18204695.3A EP3496389A1 (en) 2013-03-13 2014-03-13 Electronic device and method for processing image
EP14159485.3A EP2779629B1 (en) 2013-03-13 2014-03-13 Electronic device and method for processing image
CN201480014885.9A CN105075241B (zh) 2013-03-13 2014-03-13 电子装置和处理图像的方法
PCT/KR2014/002091 WO2014142564A1 (en) 2013-03-13 2014-03-13 Electronic device and method for processing image
CN201911355618.9A CN110996013B (zh) 2013-03-13 2014-03-13 电子装置和处理图像的方法
US14/210,115 US9635268B2 (en) 2013-03-13 2014-03-13 Electronic device and method for generating thumbnail data
US15/469,321 US10348971B2 (en) 2013-03-13 2017-03-24 Electronic device and method for generating thumbnails based on captured images
US16/505,400 US10633296B2 (en) 2013-03-13 2019-07-08 Electronic device and method for generating thumbnails based on captured images
US16/859,963 US11509807B2 (en) 2013-03-13 2020-04-27 Electronic device and method for generating thumbnails based on captured images

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361780635P 2013-03-13 2013-03-13
US61/780,635 2013-03-13

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020200071034A Division KR102170781B1 (ko) 2013-03-13 2020-06-11 이미지를 처리하는 전자장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140112402A KR20140112402A (ko) 2014-09-23
KR102124188B1 true KR102124188B1 (ko) 2020-06-26

Family

ID=51527596

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020140025000A KR102124188B1 (ko) 2013-03-13 2014-03-03 이미지를 처리하는 전자장치 및 방법
KR1020200071034A KR102170781B1 (ko) 2013-03-13 2020-06-11 이미지를 처리하는 전자장치 및 방법
KR1020200136938A KR102221023B1 (ko) 2013-03-13 2020-10-21 이미지를 처리하는 전자장치 및 방법

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020200071034A KR102170781B1 (ko) 2013-03-13 2020-06-11 이미지를 처리하는 전자장치 및 방법
KR1020200136938A KR102221023B1 (ko) 2013-03-13 2020-10-21 이미지를 처리하는 전자장치 및 방법

Country Status (3)

Country Link
US (3) US8899871B2 (ko)
KR (3) KR102124188B1 (ko)
CN (1) CN105075241B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022005184A1 (ko) * 2020-07-01 2022-01-06 엘지전자 주식회사 로봇 청소기와 이를 구비하는 로봇 청소기 시스템

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102399017B1 (ko) * 2015-11-16 2022-05-17 삼성전자주식회사 이미지 생성 방법 및 장치
KR102553886B1 (ko) * 2015-12-24 2023-07-11 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 제어 방법
CN107220460B (zh) * 2017-06-25 2021-04-09 长安大学 一种高摩阻沥青混合料的配合比设计方法
US10781942B2 (en) * 2018-01-24 2020-09-22 Cciip Llc Method of installing optical fiber and/or innerduct/microduct under a roadway surface using a fill mask to prevent fill material from bonding to the roadway surface
CN108769522B (zh) * 2018-06-06 2021-03-26 中科创达软件科技（深圳）有限公司 图像处理终端及图像处理方法
US11915389B2 (en) 2021-11-12 2024-02-27 Rockwell Collins, Inc. System and method for recreating image with repeating patterns of graphical image file to reduce storage space
US11854110B2 (en) 2021-11-12 2023-12-26 Rockwell Collins, Inc. System and method for determining geographic information of airport terminal chart and converting graphical image file to hardware directives for display unit
US11954770B2 (en) 2021-11-12 2024-04-09 Rockwell Collins, Inc. System and method for recreating graphical image using character recognition to reduce storage space
US11748923B2 (en) 2021-11-12 2023-09-05 Rockwell Collins, Inc. System and method for providing more readable font characters in size adjusting avionics charts
US11842429B2 (en) 2021-11-12 2023-12-12 Rockwell Collins, Inc. System and method for machine code subroutine creation and execution with indeterminate addresses
US11887222B2 (en) 2021-11-12 2024-01-30 Rockwell Collins, Inc. Conversion of filled areas to run length encoded vectors

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010033303A1 (en) 1999-05-13 2001-10-25 Anderson Eric C. Method and system for accelerating a user interface of an image capture unit during play mode

Family Cites Families (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3253146A (en) * 1962-08-16 1966-05-24 Prismo Safety Corp Fluorescent marker pigment for roadways
DE69718080T2 (de) * 1996-01-24 2003-10-30 Mitsubishi Materials Corp Pflasterstein zur Reinigung von NOx
JP3428381B2 (ja) * 1996-08-16 2003-07-22 三菱マテリアル株式会社 ＮＯｘ浄化舗装構造物
US5973734A (en) 1997-07-09 1999-10-26 Flashpoint Technology, Inc. Method and apparatus for correcting aspect ratio in a camera graphical user interface
US7602424B2 (en) 1998-07-23 2009-10-13 Scenera Technologies, Llc Method and apparatus for automatically categorizing images in a digital camera
IT1313119B1 (it) * 1999-08-26 2002-06-17 Quarella Spa Manufatto in lastre composite multistrato di granulati lapidei erelativo procedimento di fabbricazione
JP3820086B2 (ja) 2000-07-31 2006-09-13 オリンパス株式会社 電子カメラ
JP4432233B2 (ja) * 2000-08-25 2010-03-17 株式会社ニコン 電子カメラ
WO2003024094A1 (fr) 2001-09-10 2003-03-20 Nikon Corporation Systeme d'appareil photo numerique, appareil de stockage d'images et appareil photo numerique
US7480864B2 (en) 2001-10-12 2009-01-20 Canon Kabushiki Kaisha Zoom editor
BE1014686A3 (nl) * 2002-03-08 2004-03-02 Cauwenbergh Luc Anna Philomena Betonsteen.
US7511764B2 (en) 2002-07-24 2009-03-31 Alan Neal Cooper Digital camera synchronization
US7337344B2 (en) 2003-01-31 2008-02-26 Point Grey Research Inc. Methods and apparatus for synchronizing devices on different serial data buses
ITMI20030291A1 (it) * 2003-02-18 2004-08-19 Italcementi Spa Massello per pavimentazione fotocatalitica a base cementizia
US7440634B2 (en) 2003-06-17 2008-10-21 The Trustees Of Columbia University In The City Of New York Method for de-blurring images of moving objects
US8199222B2 (en) 2007-03-05 2012-06-12 DigitalOptics Corporation Europe Limited Low-light video frame enhancement
ITMI20041261A1 (it) * 2004-06-23 2004-09-23 Italcementi Spa Pavimentazione fotocatalitica ad elevata durevolezza per l'abbattimento di inquinanti urbani
EP1609910A1 (en) * 2004-06-24 2005-12-28 Global Engineering and Trade S.r.L. A pavement with photocatalytic effect
JP4260094B2 (ja) 2004-10-19 2009-04-30 富士フイルム株式会社 ステレオカメラ
US20060187227A1 (en) * 2005-01-31 2006-08-24 Jung Edward K Storage aspects for imaging device
US7725837B2 (en) 2005-03-31 2010-05-25 Microsoft Corporation Digital image browser
US20070109411A1 (en) 2005-06-02 2007-05-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Composite image selectivity
KR101166504B1 (ko) 2006-03-29 2012-07-20 삼성전자주식회사 휴대용 단말기에서 이미지 캡처 장치 및 방법
DE102006020876A1 (de) * 2006-05-05 2007-11-08 Degussa Ag Verfahren zur Herstellung von hydraulische Bindemittel enthaltenden Produkten hoher Frühfestigkeit
KR100827680B1 (ko) 2006-07-13 2008-05-07 엠텍비젼 주식회사 썸네일 데이터 전송 방법 및 장치
US20080030592A1 (en) 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
US8549435B1 (en) 2006-09-25 2013-10-01 Adobe Systems Incorporated Displaying thumbnails for one or more files to be imported
US20080166114A1 (en) 2007-01-09 2008-07-10 Sony Ericsson Mobile Communications Ab Image deblurring system
CN101420504A (zh) 2007-10-25 2009-04-29 鸿富锦精密工业（深圳）有限公司 图像浏览系统及方法
ITMI20072387A1 (it) * 2007-12-19 2009-06-20 Italcementi Spa Compositi fotocatalitici e prodotti derivati a base di biossido di titanio supportato su metacaolino
KR100935541B1 (ko) 2007-12-28 2010-01-07 엠텍비젼 주식회사 이미지 신호의 처리 방법 및 이를 수행하는 신호 처리 장치
JP4914378B2 (ja) 2008-01-22 2012-04-11 キヤノン株式会社 情報処理装置及び方法、プログラム、記憶媒体
KR20100018335A (ko) 2008-08-06 2010-02-17 삼성디지털이미징 주식회사 썸네일 표시 제어 방법 및 장치, 및 이를 이용한 디지털촬영 장치
KR20100032135A (ko) 2008-09-17 2010-03-25 주식회사 케이티테크 썸네일 이미지 출력방법 및 그 이미지 출력장치
KR100992109B1 (ko) 2008-09-29 2010-11-05 케이씨케미칼 주식회사 랩톱 컴퓨터의 케이스 및 그 제조방법
US20100118175A1 (en) 2008-11-10 2010-05-13 Victor Charles Bruce Imaging Apparatus For Image Integration
US8472051B2 (en) 2008-11-11 2013-06-25 Sharp Kabushiki Kaisha Image forming apparatus and method for displaying preview image of top page of multiple sub-jobs of a print job
ES2331169B1 (es) * 2008-12-10 2010-09-17 Pavimentos De Tudela, S.L Losa para pavimentos y procedimiento de obtenicion de la misma.
KR101500505B1 (ko) 2009-01-29 2015-03-09 엘지전자 주식회사 휴대 단말기 및 그 동작방법
US8576428B2 (en) 2009-03-27 2013-11-05 Kyocera Document Solutions Inc. Image forming apparatus forms an output image from an image-repeated image
KR101405500B1 (ko) 2009-04-08 2014-06-11 삼성전자주식회사 헤어 라인 가공 방법
JP5235798B2 (ja) 2009-06-22 2013-07-10 富士フイルム株式会社 撮影装置及びその制御方法
GB0916329D0 (en) * 2009-09-17 2009-10-28 Tioxide Europe Ltd Stable nano titania sols and a process for their production
EP2343845A3 (en) 2009-12-31 2011-10-19 Thomson Licensing Precise compensation of video propagation duration
KR20110121103A (ko) 2010-04-30 2011-11-07 에스케이텔레시스 주식회사 헤어라인 형성방법
KR20110126831A (ko) * 2010-05-18 2011-11-24 삼성전자주식회사 휴대용 단말기에서 웹 카메라 서비스 제공 방법 및 장치
KR20110133699A (ko) * 2010-06-07 2011-12-14 삼성전자주식회사 휴대용 단말기의 이미지 획득 장치 및 방법
JP4965004B2 (ja) 2010-09-22 2012-07-04 新日本製鐵株式会社 立ち入り制限領域侵入者検出システム、侵入者検出装置、立ち入り制限領域侵入者検出方法、及びそのプログラム
KR101691833B1 (ko) 2010-11-04 2017-01-09 엘지전자 주식회사 이동 단말기 및 이것의 영상 촬영 제어 방법
US8736695B2 (en) * 2010-11-12 2014-05-27 Qualcomm Incorporated Parallel image processing using multiple processors
US9584735B2 (en) * 2010-11-12 2017-02-28 Arcsoft, Inc. Front and back facing cameras
KR101701852B1 (ko) 2010-12-29 2017-02-13 엘지전자 주식회사 이동단말기 및 그 제어방법
US9270875B2 (en) * 2011-07-20 2016-02-23 Broadcom Corporation Dual image capture processing
KR101414788B1 (ko) 2011-08-04 2014-07-03 한국과학기술원 모듈화 기반 지능형 디지털 공간 시스템
KR101550486B1 (ko) 2011-08-05 2015-09-04 주식회사 엘지화학 부착 장치
KR20130017047A (ko) 2011-08-09 2013-02-19 현대자동차주식회사 차량 외관 정보 저장 방법
KR101234770B1 (ko) 2011-08-12 2013-02-19 에이치디씨 주식회사 다양한 종류의 베리포컬렌즈에 사용되는 오토포커스줌 모듈 및 그 제어방법
KR101843450B1 (ko) 2011-08-23 2018-03-29 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
KR101232317B1 (ko) 2011-08-30 2013-02-13 조희문 방문자 위치 확인이 용이한 초인종 시스템
KR101233793B1 (ko) 2011-09-26 2013-02-15 주식회사 매크론 손 동작 인식을 이용한 가상 마우스 구동 방법
KR101233608B1 (ko) 2011-11-10 2013-02-14 조희문 도어 록 장치
KR101233709B1 (ko) 2011-12-27 2013-02-18 자화전자(주) 카메라 렌즈 어셈블리
KR101315951B1 (ko) 2012-02-22 2013-10-08 김정태 마커 인식과 영역 추적을 통한 영상 관리장치
WO2013138298A1 (en) * 2012-03-16 2013-09-19 Intecrete, Llc Multi-layered cement compositions containing photocatalyst particles and method for creating multi-layered cement compositions containing photocatalyst particles
KR101234769B1 (ko) 2012-03-29 2013-02-19 에이치디씨 주식회사 바이너리 ｃｄｍａ를 이용한 원격제어 오토포커스 감시카메라 시스템
KR101231869B1 (ko) 2012-04-24 2013-02-15 주식회사 아이.엠.텍 터치패널용 기판 진공 부착 장치
KR101228349B1 (ko) 2012-07-03 2013-02-13 (주)스마텍 철도시설물 동기화 감시 시스템
KR101233689B1 (ko) 2012-07-17 2013-02-15 (주)델타온 웹 기반 통합건물관리 시스템
KR101234350B1 (ko) 2012-09-26 2013-02-15 주식회사 범아엔지니어링 지피에스 위치좌표에 대한 지형구조 변화 확인용 측지 측량 데이터 업데이트 처리시스템
CN102915669A (zh) 2012-10-17 2013-02-06 中兴通讯股份有限公司 一种实景地图的制作方法和装置
KR101234356B1 (ko) 2012-10-29 2013-02-15 (주)액트론 스위블 힌지유닛을 구비한 카메라 모듈
KR101234917B1 (ko) 2012-10-31 2013-02-19 (주)지오투정보기술 가중치 적용된 임계값에 의한 영상 보정을 이용하는 3차원 공간 데이터 생성 방법 및 시스템
JP2014115863A (ja) 2012-12-11 2014-06-26 Sony Corp 情報処理装置、情報処理方法およびプログラム
KR20130016145A (ko) 2012-12-17 2013-02-14 변동삼 암호화된 결제 인증 정보를 포함한 단말기를 통한 이차원 코드 스캔, 그것에 기초한 온라인 보안 결제 시스템 및 그 방법
KR20130016418A (ko) 2013-01-23 2013-02-14 주식회사 비즈모델라인 결제 에이전트를 이용한 결제 처리 방법
US9493378B2 (en) * 2013-03-13 2016-11-15 Pavement Technology, Inc. Method of embedding photocatalytic titanium dioxide in concrete structures to reduce pollutants via photocatalytic reactions
EP2779629B1 (en) * 2013-03-13 2018-12-26 Samsung Electronics Co., Ltd. Electronic device and method for processing image

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010033303A1 (en) 1999-05-13 2001-10-25 Anderson Eric C. Method and system for accelerating a user interface of an image capture unit during play mode

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022005184A1 (ko) * 2020-07-01 2022-01-06 엘지전자 주식회사 로봇 청소기와 이를 구비하는 로봇 청소기 시스템

Also Published As

Publication number Publication date
KR20140112402A (ko) 2014-09-23
KR20200074067A (ko) 2020-06-24
CN105075241B (zh) 2020-01-21
CN105075241A (zh) 2015-11-18
US11509807B2 (en) 2022-11-22
US10633296B2 (en) 2020-04-28
US20200255350A1 (en) 2020-08-13
KR102170781B1 (ko) 2020-10-28
US20140270954A1 (en) 2014-09-18
US8899871B2 (en) 2014-12-02
US20190335106A1 (en) 2019-10-31
KR102221023B1 (ko) 2021-02-26
KR20200123065A (ko) 2020-10-28

Similar Documents

Publication Publication Date Title
KR102170781B1 (ko) 이미지를 처리하는 전자장치 및 방법
US10348971B2 (en) Electronic device and method for generating thumbnails based on captured images
CN108702480B (zh) 电子设备和用于驱动其显示器的方法
CN104869305B (zh) 处理图像数据的方法及其装置
KR102220443B1 (ko) 깊이 정보를 활용하는 전자 장치 및 방법
KR20160051390A (ko) 전자장치 및 전자장치의 필터 제공 방법
JP6924901B2 (ja) 写真撮影方法および電子装置
KR20150082940A (ko) 화면의 회전을 컨트롤할 수 있는 전자 장치 및 방법
KR102547104B1 (ko) 전자 장치 및 복수의 영상을 처리하는 방법
US10999501B2 (en) Electronic device and method for controlling display of panorama image
KR20150141039A (ko) 웨어러블 전자 장치, 메인 전자 장치, 시스템 및 그 제어 방법
US9747945B2 (en) Method for creating a content and electronic device thereof
KR20150043894A (ko) 복수의 영상의 프리뷰 영역을 조정하는 전자 장치 및 방법
KR20150027934A (ko) 다각도에서 촬영된 영상을 수신하여 파일을 생성하는 전자 장치 및 방법
WO2022170866A1 (zh) 数据传输方法、装置及存储介质
CN114630152A (zh) 用于图像处理器的参数传输方法、装置及存储介质
CN110996013B (zh) 电子装置和处理图像的方法
KR20150050695A (ko) 이미지 처리 방법 및 그 전자 장치
CN114630153A (zh) 用于应用处理器的参数传输方法、装置及存储介质
KR20150026762A (ko) 전송속도를 제어하는 전자 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant