KR102446264B1 - 이동 단말기 - Google Patents

이동 단말기 Download PDF

Info

Publication number
KR102446264B1
KR102446264B1 KR1020217003247A KR20217003247A KR102446264B1 KR 102446264 B1 KR102446264 B1 KR 102446264B1 KR 1020217003247 A KR1020217003247 A KR 1020217003247A KR 20217003247 A KR20217003247 A KR 20217003247A KR 102446264 B1 KR102446264 B1 KR 102446264B1
Authority
KR
South Korea
Prior art keywords
camera
fov
image
mobile terminal
preview
Prior art date
Application number
KR1020217003247A
Other languages
English (en)
Other versions
KR20210019110A (ko
Inventor
윤지원
노은영
양승민
이준화
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20210019110A publication Critical patent/KR20210019110A/ko
Application granted granted Critical
Publication of KR102446264B1 publication Critical patent/KR102446264B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34—Microprocessors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/36—Memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)
  • Telephone Function (AREA)
  • Piezo-Electric Or Mechanical Vibrators, Or Delay Or Filter Circuits (AREA)

Abstract

본 발명은 화각이 상이한 트리플 카메라를 포함하는 이동 단말기에 있어서, 한번의 촬영 신호를 통해 세 개의 이미지를 캡쳐하며 캡쳐 시간을 단축하기 위해, FOV(Field Of View)가 순차적으로 작아지는 FOV 1, FOV 2 및 FOV 3으로 이루어지는 트리플 카메라를 포함하는 이동 단말기에 있어서, 비주얼 정보를 출력하는 디스플레이, 상기 트리플 카메라 및 상기 디스플레이를 제어하는 제어부를 포함하고, 상기 제어부는 FOV 별로 피사체를 동시에 캡쳐하는 신호를 디텍트하고, 상기 디텍트된 신호에 대응하여, 상기 FOV 1 및 FOV 2의 카메라를 오픈하여 각각 이미지를 캡쳐하고, 상기 FOV 1 및 FOV 2의 카메라 중 먼저 이미지를 캡쳐한 카메라를 오프하고, 상기 FOV 3의 카메라를 오픈하여 이미지를 캡쳐하되, 상기 FOV 1 및 FOV 2의 카메라 중 적어도 하나에서 획득한 촬영 설정값을 이용하는 것을 특징으로 하는 이동 단말기.

Description

이동 단말기
본 발명은 이동 단말기에 관한 것이다. 보다 상세하게는, 화각이 상이한 트리플 카메라를 포함하는 이동 단말기에서 한번의 촬영 신호를 통해 세 개의 이미지를 캡쳐하며 챕쳐 시간을 단축하는 기술 분야에 적용이 가능하다.
단말기는 이동 가능여부에 따라 이동 단말기(mobile/portable terminal) 및 고정 단말기(stationary terminal)으로 나뉠 수 있다. 다시 이동 단말기는 사용자의 직접 휴대 가능 여부에 따라 휴대(형) 단말기(handheld terminal) 및 거치형 단말기(vehicle mounted terminal)로 나뉠 수 있다.
이동 단말기의 기능은 다양화 되고 있다. 예를 들면, 데이터와 음성통신, 카메라를 통한 사진촬영 및 비디오 촬영, 음성녹음, 스피커 시스템을 통한 음악파일 재생 그리고 디스플레이부에 이미지나 비디오를 출력하는 기능이 있다. 일부 단말기는 전자게임 플레이 기능이 추가되거나, 멀티미디어 플레이어 기능을 수행한다. 특히 최근의 이동 단말기는 방송과 비디오나 텔레비전 프로그램과 같은 시각적 컨텐츠를 제공하는 멀티캐스트 신호를 수신할 수 있다.
이와 같은 단말기(terminal)는 기능이 다양화됨에 따라 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다.
멀티미디어 기기의 기능이 하나로 사진촬영 기능을 매우 중요한 기능이며, 이에 따라 이동 단말기에 다양한 화각(Field Of View, FOV)을 제공하는 복수의 카메라를 탑재하고 있는 실정이다.
최근 이동 단말기는 ISP(Image Signal Process)의 개수 보다 많은 복수의 카메라를 탑재하고 있는 실정이다. 이 경우, 복수의 카메라를 통해 한번에 이미지를 캡쳐하는 것이 불가능할 수 있다.
또한, 복수의 카메라에서 오픈된 카메라를 변경하여 이미지를 캡쳐하더라도 챕쳐 시간이 오래 걸리는 문제점이 있어, 이를 개선할 필요가 있다.
본 발명은 화각이 상이한 트리플 카메라를 포함하는 이동 단말기에 있어서, 한번의 촬영 신호를 통해 세 개의 이미지를 캡쳐하며 캡쳐 시간을 단축하는 것을 목적으로 한다.
본 발명의 일 실시예에 따라 FOV(Field Of View)가 순차적으로 작아지는 FOV 1, FOV 2 및 FOV 3으로 이루어지는 트리플 카메라를 포함하는 이동 단말기에 있어서, 비주얼 정보를 출력하는 디스플레이, 상기 트리플 카메라 및 상기 디스플레이를 제어하는 제어부를 포함하고, 상기 제어부는 FOV 별로 피사체를 동시에 캡쳐하는 신호를 디텍트하고, 상기 디텍트된 신호에 대응하여, 상기 FOV 1 및 FOV 2의 카메라를 오픈하여 각각 이미지를 캡쳐하고, 상기 FOV 1 및 FOV 2의 카메라 중 먼저 이미지를 캡쳐한 카메라를 오프하고, 상기 FOV 3의 카메라를 오픈하여 이미지를 캡쳐하되, 상기 FOV 1 및 FOV 2의 카메라 중 적어도 하나에서 획득한 촬영 설정값을 이용하는 것을 특징으로 하는 이동 단말기를 제공한다.
본 발명의 다른 실시에에 따라 상기 이동 단말기는 상기 촬영 설정값을 임시로 저장하는 버퍼부를 더 포함하는 것을 특징으로 하는 이동 단말기를 제공한다.
본 발명의 다른 실시에에 따라 상기 제어부는 상기 FOV 3의 카메라가 오픈되면, 상기 버퍼부에 저장된 촬영 설정값을 상기 FOV 3의 카메라로 전달하여 상기 FOV 3의 초기 촬영 설정값을 설정하는 것을 특징으로 한다.
본 발명의 다른 실시에에 따라 상기 촬영 설정값은 AE(auto exposure value), AF(auto focus value) 및 white balance 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명의 다른 실시에에 따라 상기 제어부는 촬영버튼을 한번 누름에 대응하여 FOV 별로 파사체를 동시에 캡쳐하는 신호를 디텍트하는 것을 특징으로 한다.
본 발명의 다른 실시에에 따라 상기 제어부는 상기 트리플 카메라 각각에 기 설정된 촬영 효과를 반영하여 세 개의 이미지를 한번에 획득하는 것을 특징으로 한다.
본 발명의 다른 실시에에 따라 상기 트리플 카메라에서 획득한 세 개의 이미지를 기 설정 순서로 가공하여 하나의 영상을 생성하는 것을 특징으로 한다.
본 발명의 다른 실시에에 따라 상기 제어부는 상기 트리플 카메라에서 획득한 세 개의 이미지 사이에 기 설정 효과를 적용하여 상기 하나의 영상을 생성하는 것을 특징으로 한다.
본 발명의 다른 실시에에 따라 상기 기 설정 효과는 Blur, warp 및 zoom 효과 중 적어도 하나인 것을 특징으로 한다.
본 발명의 다른 실시에에 따라 상기 이동 단말기는 상기 생성된 영상을 저장하는 메모리를 더 포함하고, 상기 제어부는 상기 생성된 영상에 대응하여 상기 트리플 카메라에서 획득한 세 개의 이미지를 저장하도록 상기 메모리를 제어하는 것을 특징으로 한다.
본 발명의 다른 실시에에 따라 상기 제어부는 상기 생성된 영상을 재편집하는 경우, 상기 생성된 영상에 대응하는 세 개의 이미지를 표시하도록 상기 디스플레이를 제어하는 것을 특징으로 한다.
본 발명의 다른 실시에에 따라 상기 제어부는 상기 생성된 영상을 재편집하는 경우, 재편집한 영상에 상기 생성된 영상에 대응되는 세 개의 이미지를 대응하여 저장하도록 상기 메모리를 제어하는 것을 특징으로 한다.
본 발명의 다른 실시에에 따라 상기 제어부는 상기 생성된 영상에 대응하는 세 개의 이미지 사이에 적용된 기 설정 효과, 연결 순서 및 반복 정도 중 적어도 하나를 변경하여 상기 생성된 영상을 재편집하는 것을 특징으로 한다.
본 발명에 따른 이동 단말기의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 한번의 촬영 신호를 통해 트리플 카메라 각각에서 캡쳐된 이미지를 획득할 수 있다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 트리플 카메라에서 이미지를 캡여하는데 소용되는 시간을 단축할 수 있다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 트리플 카메라에서 캡쳐된 이미지를 가공하여 영상을 형성하고, 이를 편리하게 재편집할 수 있다.
본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 해당 기술 분야의 통상의 기술자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.
도 1a는 본 발명과 관련된 이동 단말기를 설명하기 위한 블록도이다.
도 1b 및 1c는 본 발명과 관련된 이동 단말기의 일 예를 서로 다른 방향에서 바라본 개념도이다.
도 2및 3은 본 발명에 따라 복수의 카메라의 멀티 프리뷰를 디스플레이하는 실시예를 나타내기 위한 도면이다.
도 4는 본 발명에 따라 멀티 프리뷰를 생성하기 위해 오픈되는 카메라의 실시예를 나타내기 위한 도면이다.
도 5 및 6은 본 발명에 따라 오픈된 카메라에서 센싱된 프리뷰 및 오픈된 카메라에서 센싱된 프리뷰를 크롭핑하여 생성된 오프된 카메라의 프리뷰의 실시예를 나타내기 위한 도면이다.
도 7 내지 9는 본 발명에 따라 트리플 카메라로 한번에 사진을 캡쳐하는 실시예를 나타내는 도면이다.
도 10은 본 발명에 따라 트리플 카메라로 캡쳐된 이미지 사이에 블러 효과를 적용하여 영상을 생성하는 실시예를 나타내는 도면이다.
도 11 내지 13는 본 발명에 따라 트리플 카메라로 캡쳐된 이미지를 통해 생성된 영상에 대응하여 상기 캡쳐된 이미지를 출력하는 실시예를 나타내는 도면이다.
도 14은 본 발명에 따라 트리플 카메라로 캡쳐된 이미지를 통해 생성된 영상을 재편집하는 실시예를 나타내는 도면이다.
도 15는 본 발명에 따라 멀티 프리뷰를 이용하여 트리플 카메라고 이미지를 캡쳐하고, 영상을 생성하는 실시예를 나타내는 도면이다
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 명세서에서 설명되는 이동 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등이 포함될 수 있다.
그러나, 본 명세서에 기재된 실시 예에 따른 구성은 이동 단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 해당 기술 분야의 통상의 기술자라면 쉽게 알 수 있을 것이다.
도 1a 내지 도 1c를 참조하면, 도 1a는 본 발명과 관련된 이동 단말기를 설명하기 위한 블록도이고, 도 1b 및 1c는 본 발명과 관련된 이동 단말기의 일 예를 서로 다른 방향에서 바라본 개념도이다.
상기 이동 단말기(100)는 무선 통신부(110), 입력부(120), 센싱부(140), 출력부(150), 인터페이스부(160), 메모리(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1a에 도시된 구성요소들은 이동 단말기를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 이동 단말기는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
보다 구체적으로, 상기 구성요소들 중 무선 통신부(110)는, 이동 단말기(100)와 무선 통신 시스템 사이, 이동 단말기(100)와 다른 이동 단말기(100) 사이, 또는 이동 단말기(100)와 외부서버 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 무선 통신부(110)는, 이동 단말기(100)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.
이러한 무선 통신부(110)는, 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114), 위치정보 모듈(115) 중 적어도 하나를 포함할 수 있다.
입력부(120)는, 영상 신호 입력을 위한 카메라(121) 또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰(microphone, 122), 또는 오디오 입력부, 사용자로부터 정보를 입력받기 위한 사용자 입력부(123, 예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.
센싱부(140)는 이동 단말기 내 정보, 이동 단말기를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(140)는 근접센서(141, proximity sensor), 조도 센서(142, illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라(121 참조)), 마이크로폰(microphone, 122 참조), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 이동 단말기는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이(151), 음향 출력부(152), 햅팁 모듈(153), 광 출력부 중 적어도 하나를 포함할 수 있다. 디스플레이(151)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 이동 단말기(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(123)로써 기능함과 동시에, 이동 단말기(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
인터페이스부(160)는 이동 단말기(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부(160)는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다. 이동 단말기(100)에서는, 상기 인터페이스부(160)에 외부 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절할 제어를 수행할 수 있다.
또한, 메모리(170)는 이동 단말기(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(170)는 이동 단말기(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 이동 단말기(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 이동 단말기(100)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 이동 단말기(100)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(170)에 저장되고, 이동 단말기(100) 상에 설치되어, 제어부(180)에 의하여 상기 이동 단말기의 동작(또는 기능)을 수행하도록 구동될 수 있다.
제어부(180)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 이동 단말기(100)의 전반적인 동작을 제어한다. 제어부(180)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(170)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
또한, 제어부(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 도 1a와 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(180)는 상기 응용 프로그램의 구동을 위하여, 이동 단말기(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.
전원공급부(190)는 제어부(180)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 이동 단말기(100)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(190)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체 가능한 형태의 배터리가 될 수 있다.
상기 각 구성요소들 중 적어도 일부는, 이하에서 설명되는 다양한 실시 예들에 따른 이동 단말기의 동작, 제어, 또는 제어방법을 구현하기 위하여 서로 협력하여 동작할 수 있다. 또한, 상기 이동 단말기의 동작, 제어, 또는 제어방법은 상기 메모리(170)에 저장된 적어도 하나의 응용 프로그램의 구동에 의하여 이동 단말기 상에서 구현될 수 있다.
도 1 b 및 1c는 펼쳐진 상태의 폴더블 방식의 이동 단말기에서의 기본적인 특징에 대해 설명한다.
이동 단말기(100)에는 디스플레이(151), 제1 및 제2 음향 출력부(152a, 152b), 근접 센서(141), 조도 센서(142), 광 출력부(154), 제1 및 제2 카메라(121a, 121b), 제1 및 제2 조작유닛(123a, 123b), 마이크로폰(122), 인터페이스부(160) 등이 구비될 수 있다.
이하에서는, 도 1b 및 도 1c에 도시된 바와 같이, 단말기 바디의 전면에 디스플레이(151), 제1 음향 출력부(152a), 근접 센서(141), 조도 센서(142), 광 출력부, 제1 카메라(121a) 및 제1 조작유닛(123a)이 배치되고, 단말기 바디의 측면에 제2 조작유닛(123b), 마이크로폰(122) 및 인터페이스부(160)이 배치되며, 단말기 바디의 후면에 제2 음향 출력부(152b) 및 제2 카메라(121b)가 배치된 이동 단말기(100)를 일 예로 들어 설명한다.
다만, 이들 구성은 이러한 배치에 한정되는 것은 아니다. 이들 구성은 필요에 따라 제외 또는 대체되거나, 다른 면에 배치될 수 있다. 예를 들어, 단말기 바디의 전면에는 제1 조작유닛(123a)이 구비되지 않을 수 있으며, 제2 음향 출력부(152b)는 단말기 바디의 후면이 아닌 단말기 바디의 측면에 구비될 수 있다.
디스플레이(151)는 이동 단말기(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 디스플레이(151)는 이동 단말기(100)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.
디스플레이(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
또한, 디스플레이(151)는 이동 단말기(100)의 구현 형태에 따라 2개 이상 존재할 수 있다. 이 경우, 이동 단말기(100)에는 복수의 디스플레이들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.
디스플레이(151)는 터치 방식에 의하여 제어 명령을 입력 받을 수 있도록, 디스플레이(151)에 대한 터치를 감지하는 터치센서를 포함할 수 있다. 이를 이용하여, 디스플레이(151)에 대하여 터치가 이루어지면, 터치센서는 상기 터치를 감지하고, 제어부(180)는 이에 근거하여 상기 터치에 대응하는 제어명령을 발생시키도록 이루어질 수 있다. 터치 방식에 의하여 입력되는 내용은 문자 또는 숫자이거나, 각종 모드에서의 지시 또는 지정 가능한 메뉴항목 등일 수 있다.
한편, 터치센서는, 터치패턴을 구비하는 필름 형태로 구성되어 디스플레이(151)를 덮는 윈도우(151a)와 디스플레이(151)를 구성하는 복수의 레이어 사이에 배치되거나, 윈도우(151a)의 배면에 직접 패터닝되는 메탈 와이어가 될 수도 있다. 또는, 터치센서는 디스플레이와 일체로 형성될 수 있다. 예를 들어, 터치센서는, 디스플레이의 기판 상에 배치되거나, 디스플레이의 내부에 구비될 수 있다.
이처럼, 디스플레이(151)는 터치센서와 함께 터치 스크린을 형성할 수 있으며, 이 경우에 터치 스크린은 사용자 입력부(123, 도 1a 참조)로 기능할 수 있다. 경우에 따라, 터치 스크린은 제1조작유닛(123a)의 적어도 일부 기능을 대체할 수 있다.
제1 음향 출력부(152a)는 통화음을 사용자의 귀에 전달시키는 리시버(receiver)로 구현될 수 있으며, 제2 음향 출력부(152b)는 각종 알람음이나 멀티미디어의 재생음을 출력하는 라우드 스피커(loud speaker)의 형태로 구현될 수 있다.
디스플레이(151)의 윈도우(151a)에는 제1 음향 출력부(152a)로부터 발생되는 사운드의 방출을 위한 음향홀이 형성될 수 있다. 다만, 본 발명은 이에 한정되는 것은 아니고, 상기 사운드는 구조물 간의 조립틈(예를 들어, 윈도우(151a)와 프론트 케이스(101) 간의 틈)을 따라 방출되도록 구성될 수 있다. 이 경우, 외관상 음향 출력을 위하여 독립적으로 형성되는 홀이 보이지 않거나 숨겨져 이동 단말기(100)의 외관이 보다 심플해질 수 있다.
광 출력부는 이벤트의 발생시 이를 알리기 위한 빛을 출력하도록 이루어진다. 상기 이벤트의 예로는 메시지 수신, 호 신호 수신, 부재중 전화, 알람, 일정 알림, 이메일 수신, 애플리케이션을 통한 정보 수신 등을 들 수 있다. 제어부(180)는 사용자의 이벤트 확인이 감지되면, 빛의 출력이 종료되도록 광 출력부를 제어할 수 있다.
제1 카메라(121a)는 촬영 모드 또는 화상통화 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이(151)에 표시될 수 있으며, 메모리(170)에 저장될 수 있다.
제1 및 제2 조작유닛(123a, 123b)은 이동 단말기(100)의 동작을 제어하기 위한 명령을 입력 받기 위해 조작되는 사용자 입력부(123)의 일 예로서, 조작부(manipulating portion)로도 통칭될 수 있다. 제1 및 제2 조작유닛(123a, 123b)은 터치, 푸시, 스크롤 등 사용자가 촉각적인 느낌을 받으면서 조작하게 되는 방식(tactile manner)이라면 어떤 방식이든 채용될 수 있다. 또한, 제1 및 제2 조작유닛(123a, 123b)은 근접 터치(proximity touch), 호버링(hovering) 터치 등을 통해서 사용자의 촉각적인 느낌이 없이 조작하게 되는 방식으로도 채용될 수 있다.
본 도면에서는 제1 조작유닛(123a)이 터치키(touch key)인 것으로 예시하나, 본 발명이 이에 한정되는 것은 아니다. 예를 들어, 제1 조작유닛(123a)은 푸시키(mechanical key)가 되거나, 터치키와 푸시키의 조합으로 구성될 수 있다.
제1 및 제2 조작유닛(123a, 123b)에 의하여 입력되는 내용은 다양하게 설정될 수 있다. 예를 들어, 제1 조작유닛(123a)은 메뉴, 홈키, 취소, 검색 등의 명령을 입력 받고, 제2 조작유닛(123b)은 제1 또는 제2 음향 출력부(152a, 152b)에서 출력되는 음향의 크기 조절, 디스플레이(151)의 터치 인식 모드로의 전환 등의 명령을 입력 받을 수 있다.
한편, 단말기 바디의 후면에는 사용자 입력부(123)의 다른 일 예로서, 후면 입력부(미도시)가 구비될 수 있다. 이러한 후면 입력부는 이동 단말기(100)의 동작을 제어하기 위한 명령을 입력 받기 위해 조작되는 것으로서, 입력되는 내용은 다양하게 설정될 수 있다. 예를 들어, 전원의 온/오프, 시작, 종료, 스크롤 등과 같은 명령, 제1 및 제2 음향 출력부(152a, 152b)에서 출력되는 음향의 크기 조절, 디스플레이(151)의 터치 인식 모드로의 전환 등과 같은 명령을 입력 받을 수 있다. 후면 입력부는 터치입력, 푸시입력 또는 이들의 조합에 의한 입력이 가능한 형태로 구현될 수 있다.
후면 입력부는 단말기 바디의 두께방향으로 전면의 디스플레이(151)와 중첩되게 배치될 수 있다. 일 예로, 사용자가 단말기 바디를 한 손으로 쥐었을 때 검지를 이용하여 용이하게 조작 가능하도록, 후면 입력부는 단말기 바디의 후면 상단부에 배치될 수 있다. 다만, 본 발명은 반드시 이에 한정되는 것은 아니며, 후면 입력부의 위치는 변경될 수 있다.
이처럼 단말기 바디의 후면에 후면 입력부가 구비되는 경우, 이를 이용한 새로운 형태의 유저 인터페이스가 구현될 수 있다. 또한, 앞서 설명한 터치 스크린 또는 후면 입력부가 단말기 바디의 전면에 구비되는 제1 조작유닛(123a)의 적어도 일부 기능을 대체하여, 단말기 바디의 전면에 제1 조작유닛(123a)이 미배치되는 경우, 디스플레이(151)가 보다 대화면으로 구성될 수 있다.
한편, 이동 단말기(100)에는 사용자의 지문을 인식하는 지문인식센서(143)가 구비될 수 있으며, 제어부(180)는 지문인식센서(143)를 통하여 감지되는 지문정보를 인증수단으로 이용할 수 있다. 상기 지문인식센서는 디스플레이(151) 또는 사용자 입력부(123)에 내장될 수도 있고, 별도의 위치에 구비될 수도 있다.
마이크로폰(122)은 사용자의 음성, 기타 소리 등을 입력 받도록 이루어진다. 마이크로폰(122)은 복수의 개소에 구비되어 스테레오 음향을 입력 받도록 구성될 수 있다.
인터페이스부(160)는 이동 단말기(100)를 외부기기와 연결시킬 수 있는 통로가 된다. 예를 들어, 인터페이스부(160)는 다른 장치(예를 들어, 이어폰, 외장 스피커)와의 연결을 위한 접속단자, 근거리 통신을 위한 포트[예를 들어, 적외선 포트(IrDA Port), 블루투스 포트(Bluetooth Port), 무선 랜 포트(Wireless LAN Port) 등], 또는 이동 단말기(100)에 전원을 공급하기 위한 전원공급단자 중 적어도 하나일 수 있다. 이러한 인터페이스부(160)는 SIM(Subscriber Identification Module) 또는 UIM(User Identity Module), 정보 저장을 위한 메모리 카드 등의 외장형 카드를 수용하는 소켓의 형태로 구현될 수도 있다.
단말기 바디의 후면에는 제2카메라(121b)가 배치될 수 있다. 이 경우, 제2카메라(121b)는 제1카메라(121a)와 실질적으로 반대되는 촬영 방향을 가지게 된다.
제2카메라(121b)는 적어도 하나의 라인을 따라 배열되는 복수의 렌즈를 포함할 수 있다. 복수의 렌즈는 행렬(matrix) 형식으로 배열될 수도 있다. 이러한 카메라는, '어레이(array) 카메라'로 명명될 수 있다. 제2카메라(121b)가 어레이 카메라로 구성되는 경우, 복수의 렌즈를 이용하여 다양한 방식으로 영상을 촬영할 수 있으며, 보다 나은 품질의 영상을 획득할 수 있다.
플래시(124)는 제2카메라(121b)에 인접하게 배치될 수 있다. 플래시(124)는 제2카메라(121b)로 피사체를 촬영하는 경우에 피사체를 향하여 빛을 비추게 된다.
단말기 바디에는 제2 음향 출력부(152b)가 추가로 배치될 수 있다. 제2 음향 출력부(152b)는 제1 음향 출력부(152a)와 함께 스테레오 기능을 구현할 수 있으며, 통화시 스피커폰 모드의 구현을 위하여 사용될 수도 있다.
단말기 바디에는 무선 통신을 위한 적어도 하나의 안테나가 구비될 수 있다. 안테나는 단말기 바디에 내장되거나, 케이스에 형성될 수 있다. 예를 들어, 방송 수신 모듈(111, 도 1a 참조)의 일부를 이루는 안테나는 단말기 바디에서 인출 가능하게 구성될 수 있다. 또는, 안테나는 필름 타입으로 형성되어 후면 커버(103)의 내측면에 부착될 수도 있고, 도전성 재질을 포함하는 케이스가 안테나로서 기능하도록 구성될 수도 있다.
단말기 바디에는 이동 단말기(100)에 전원을 공급하기 위한 전원 공급부(190, 도 1a 참조)가 구비된다. 전원 공급부(190)는 단말기 바디에 내장되거나, 단말기 바디의 외부에서 착탈 가능하게 구성되는 배터리(191)를 포함할 수 있다.
배터리(191)는 인터페이스부(160)에 연결되는 전원 케이블을 통하여 전원을 공급받도록 구성될 수 있다. 또한, 배터리(191)는 무선충전기기를 통하여 무선충전 가능하도록 구성될 수도 있다. 상기 무선충전은 자기유도방식 또는 공진방식(자기공명방식)에 의하여 구현될 수 있다.
한편, 본 도면에서는 후면 커버(103)가 배터리(191)를 덮도록 리어 케이스(102)에 결합되어 배터리(191)의 이탈을 제한하고, 배터리(191)를 외부 충격과 이물질로부터 보호하도록 구성된 것을 예시하고 있다. 배터리(191)가 단말기 바디에 착탈 가능하게 구성되는 경우, 후면 커버(103)는 리어 케이스(102)에 착탈 가능하게 결합될 수 있다.
도 2및 3은 본 발명에 따라 복수의 카메라의 멀티 프리뷰(230)를 디스플레이하는 실시예를 나타내기 위한 도면이다.
멀티미디어 기기의 기능이 하나로 사진촬영 기능을 매우 중요한 기능이며, 이에 따라 이동 단말기에 다양한 화각(Field Of View, FOV)을 제공하는 복수의 카메라를 탑재하고 있는 실정이다.
복수의 카메라는 이동 단말기의 일면에 포함되어 동일한 피사체를 화각에 따라 이미지를 캡쳐할 수 있다.
도 1c는 이동 단말기의 배면에 하나의 제2 카메라(121b)를 포함하는 실시예를 도시하고 있으나, 제2 카메라(121b)는 화각(FOV)를 달리하여 복수개가 구비될 수 있다.
최근 이동 단말기는 ISP(Image Signal Process)의 개수 보다 많은 복수의 카메라를 탑재하고 있는 실정이다. 이 경우, 복수의 카메라를 통해 한번에 이미지를 캡쳐하는 것이 불가능하다.
복수의 카메라는 광각 카메라, 일반각 카메라, 망원 카메라를 포함할 수 있다. 다만, 경우에 따라서는 화각(FOV)를 달리하는 카메라를 더 포함할 수 있다.
복수의 카메라에서 센싱된 프리뷰를 이동단말기의 디스플레이(200)에 동시에 출력하기 위해서는 복수의 카메라의 개수에 대응되는 개수의 ISP를 포함해야 한다.
예를 들어, 광각 카메라, 일반각 카메라, 망원 카메라 각각을 통해 센싱된 프리뷰를 이동단말기의 디스플레이(200)에 동시에 출력하기 위해서는 각각의 카메라에서 이미지 신호를 수신하는 ISP가 세 개 필요하다.
다만, ISP를 복수의 카메라의 개수에 맞춰 구비하는 것은 ISP의 개수의 증가에 따른 비용 증가, 이동 단말기의 크기 증가, 전력 소모 증가, 처리 속도 저하 등에 문제가 발생하는바 바람직하지 않다.
따라서, 본 발명은 두 개의 ISP를 통해 적어도 두 개 이상의 복수의 카메라에 대응되는 프리뷰를 동시에 출력하는 방법을 개시하고자 한다.
이를 위해, 본 발명에 따라 화각(FOV)이 상이한 복수의 카메라를 포함하는 이동 단말기에 있어서, 상기 복수의 카메라 중 오픈된 카메라에서 센싱된 프리뷰를 출력하는 디스플레이(200), 그리고, 상기 복수의 카메라 및 상기 디스플레이(200)를 제어하는 제어부를 포함할 수 있다.
상기 제어부는 두 개의 ISP를 포함할 수 있다.
상기 제어부는 상기 복수의 카메라의 멀티 프리뷰(230)를 출력하는 제1 신호에 대응하여 상기 멀티 프리뷰(230)를 출력하도록 상기 디스플레이를 제어하되, 상기 복수의 카메라 중 오픈된 카메라보다 작은 화각의 카메라가 오프된 경우, 상기 오프된 카메라에서 센싱된 프리뷰를 크롭핑하여 상기 오픈된 카메라의 프리뷰를 생성할 수 있다.
구체적으로, 도 2 및 3을 살펴보면, 이동 단말기는 디스플레이(200)의 제1 영역(210)에 현재 오픈되어 있는 카메라에서 센싱된 프리뷰를 출력하고, 제2 영역(220)에 이동 단말기에 포함된 복수의 카메라에 대응되는 멀티 프리뷰(230)를 출력할 수 있다.
도 2 및 3은 화각이 상이한 복수의 카메라를 세 개(광각, 일반각, 망원 카메라) 포함하는 실시예를 개시하고 있으나, 복수의 카메라 개 수는 세 개에 한정되지 않는다.
멀티 프리뷰(230)은 광각 카메라의 화각에 대응되는 프리뷰(231), 일반각 카메라의 화각에 대응되는 프리뷰(232) 및 망원 카메라의 화각에 대응되는 프리뷰(233)를 포함할 수 있다.
본 발명에 따른 이동 단말기는 ISP를 두 개 포함하고 있기 때문에, 세 개 이상의 카메라에서 프리뷰를 동시에 센싱할 수 없다.
따라서, 본 발명에 따른 이동 단말기는 오픈된 카메라에서 센싱된 프리뷰를 크롭핑하여 상기 오픈된 카메라보다 화각이 작고 오픈된 카메라의 프리뷰를 생성하여 필요한 ISP 개수를 줄일 수 있다.
다만, 오픈된 카메라보다 오프된 카메라가가 화각이 큰 경우, 오픈된 카메라에서 센싱된 프리뷰를 크롭핑하여 오프된 카메라의 프리뷰를 생성할 수 없다.
따라서, 본 발명에 따른 이동 단말기는 오픈된 카메라에서 프리뷰를 센싱하는 ISP에 별도로 하나의 ISP를 더 포함하여 상기 문제점을 해결할 수 있다.
구체적으로, 본 발명에 따른 이동 단말기의 제어부는 상기 복수의 카메라 중 오픈된 카메라보다 큰 화각의 카메라가 오프된 경우, 상기 복수의 카메라 중 가장 큰 화각의 카메라를 추가로 오픈하여 프리뷰를 센싱할 수 있다.
추가로 오픈된 가장 큰 화각의 카메라는 별도로 구비된 ISP를 통해 프리뷰를 센싱할 수 있다.
제어부는 상기 보구의 카메라 중 가장 큰 화각의 카메라를 추가로 오픈한 경우, 오픈된 두 개의 카메라 중 적어도 하나에서 센싱된 프리뷰를 크롭핑하여 오프된 카메라의 프리뷰를 생성할 수 있다.
이하에서, 상기 제1 신호를 수신할 때 오픈된 카메라에 대응하여 추가로 카메라를 오픈하는 프로세스 및 센싱된 프리뷰를 크롭핑하는 실시예를 설명한다.
도 4는 본 발명에 따라 멀티 프리뷰를 생성하기 위해 오픈되는 카메라의 실시예를 나타내기 위한 테이블(400)이다.
도 4의 테이블(400)은 복수의 카메라를 제1 시트(410)에 화각으로 표시하고, 상기 복수의 카메라의 멀티 프리뷰(230, 도 2 참조)를 출력하기 위해 오픈되는 카메라를 제2시트(420) 및 제3 시트(430)로 표시하고 있다.
도 4의 테이블(400)은 복수의 카메라가 광각 카메라, 일반각 카메라 및 망원 카메라 세 개를 표시하는 실시예를 나타내고 있지만, 복수의 카메라가 네 개 이상인 경우에서 이하에서 설명하는 프로세스와 같다.
도 4의 테이블(400)을 구체적으로 살펴보면, 멀티 프리뷰(230, 도 2 참조)를 출력하는 제1 신호를 디텍트할 당시(멀티 프리뷰(230)를 출력하기 전) 제1 영역(210, 도 2 참조)에 프리뷰를 출력하기 위해 오픈된 카메라가 광각 카메라인 경우, 일반각 카메라와 망원 카메라를 추가로 오픈할 필요가 없다. 다만, 상기 제1 신호를 디텍트할 당시 제1 영역(210)에 프리뷰를 출력하기 위해 오픈된 카메라가 일반각 카메라인 경우, 광원 카메라를 추가로 오픈한다. 또한, 상기 제1 신호를 디텍트할 당시 제1 영역(210)에 프리뷰를 출력하기 위해 오픈된 카메라가 망원 카메라인 경우, 광원 카메라를 추가로 오픈한다.
따라서, 일반각 카메라 및 망원 카메라 세 개를 포함하는 이동 단말기는 두 개의 ISP를 통해 멀티 프리뷰(230)를 생성하기 위해, 광각 카메라만 오픈되거나, 광각 카메라와 일반각 카메라가 오픈되거나, 광각 카메라와 망원 카메라가 오픈하여 멀티 프리뷰(230)를 생성할 수 있다.
구체적으로, 각각의 경우에 멀티 프리뷰(230)를 생성하는 방법을 설명하면 다음과 같다.
상기 제1 신호를 디텍트할 당시 제1 영역(210)에 프리뷰를 출력하기 위해 오픈된 카메라가 광각 카메라인 경우, 나머지 오프된 카메라의 프리뷰는 광각 카메라에서 센싱된 프리뷰를 나머지 오프된 카메라의 화각(FOV)에 대응하여 클롭핑하여 나머지 오프된 카메라의 프리뷰를 생성할 수 있다.
또한, 상기 제1 신호를 디텍트할 당시 제1 영역(210)에 프리뷰를 출력하기 위해 오픈된 카메라가 일반각 카메라인 경우, 오프된 망원 카메라의 프리뷰는 일반각 카메라에서 센싱된 프리뷰를 크롭핑하여 생성하고, 광각 카메라는 추가로 구비하는 ISP를 이용하여 프리뷰를 센싱할 수 있다.
또한, 상기 제1 신호를 디텍트할 당시 제1 영역(210)에 프리뷰를 출력하기 위해 오픈된 카메라가 망원 카메라인 경우, 광각 카메라는 추가로 구비하는 ISP를 이용하여 프리뷰를 센싱하고, 오프된 일반각 카메라의 프리뷰는 추가로 오픈된 광각 카메라에서 센싱된 프리뷰를 크롭핑하여 생성할 수 있다.
즉, 본 발명에 따른 이동 단말기는 상기 제1 신호를 디텍트할 당시 제1 영역(210)에 프리뷰를 출력하기 위해 오픈된 카메라가 가장 화각이 큰 카메라인 경우, 하나의 ISP를 이용하여 나머지 오프된 카메라의 프리뷰를 생성하고, 상기 제2 신호를 디텍트할 당시 제1 영역(210)에 프리뷰를 출력하기 위해 오픈된 카메라가 가장 큰 화각의 카메라가 아닌 경우, 가장 큰 화각의 카메라를 오픈하여 나머지 하나의 ISP를 통해 프리뷰를 센싱하고, 나머지 오프된 카메라의 프리뷰는 오픈된 두 개의 카레메라에서 센싱된 프리뷰를 클롭핑 하여 생성할 수 있다.
상기와 같은 프로세스를 통해 본 발명에 따른 이동 단말기는 세 개 이상의 복수의 카메라를 두 개의 ISP만을 이용하여 프리뷰를 동시에 출력할 수 있다.
도 5 는 광각 카메라, 일반각 카메라 및 망원 카메라의 화각(FOV)을 비교한 도면이고, 도 6은 광각 카메라, 일반각 카메라 및 망원 카메라에서 센싱된 프리뷰를 나타낸 도면이다.
광각 카메라, 일반각 카메라 및 망원 카메라는 동일 방향으로 향하여 동일 피사체를 다양한 화각으로 센싱하여 프리뷰를 생성할 수 있다.
광각 카메라의 화각(FOV 1, 510)은 가장 넓고, 일반각 카메라의 화각(FOV 2, 520)은 광각 카메라의 화각(FOV 1, 510)에 포함되며, 망원 카메라의 화각(FOV 3, 530)은 일반각 카메라의 화각(FOV 3, 530)에 포함될 수 있다.
따라서, 광각 카메라로부터 프리뷰를 센싱한 경우, 광각 카메라로부터 센싱된 프리뷰를 통해 오프된 일반각 카메라 및 망원 카메라의 프리뷰를 생성할 수 있다.
구체적으로, 도 6(a)는 광각 카메라에 대응되는 프리뷰를 나타내며, 도 6(b)는 일반각 카메라에 대응되는 프리뷰를 나타내며, 도 6(c)는 망원 카메라에 대응되는 프리뷰를 나타낸다.
각각의 카메라에 대응되는 프리뷰는 동일 크기 이므로, 오프된 카메라의 프리뷰를 생성하는 경우, 센싱된 프리뷰를 크롭핑하여 오프된 카메라가 오픈 당시 센싱하는 프리뷰의 크기에 맞게 확장할 필요가 있다.
따라서, 센싱된 프리뷰를 크롭핑하여 확장된 프리뷰는 화질이 떨어질 수 있다.
다만, 멀티 프리뷰(230, 도 2 참조)는 복수의 카메라의 화각에 대응되록 출력된 복수의 라이브 썸네일로 화각 비교만 직관적으로 제공하는 것인바 화질이 중요하지 않다. 즉, 센싱된 프리뷰를 크롭핑하고 확장한 프리뷰가 화질이 떨어지더라도 크게 문제가 되지 않는다. 또한, 도 2에서 설명된 바와 같이 메인 프리뷰를 출력하는 제1 영역(210, 도 2참조)보다 작은 제2 영역(220, 도 2 참조)에 멀티 프리뷰(230)를 출력하는바 화질은 문제가 되지 않는다.
이하에서는, 멀티 프리뷰(230)를 통해 제1 영역(210, 도 2 참조)에 출력되는 메인 프리뷰를 변경하는 실시예를 살펴본다.
도 7 내지 9는 본 발명에 따라 멀티 프리뷰(230)를 통해 이동 단말기에 출력되는 메인 프리뷰를 변경하는 실시예를 나타내기 위한 도면이다.
멀티 프리뷰(230)를 통해 제1 영역(210)에 출력되는 메인 프리뷰를 변경하는 경우, 오픈된 카메라를 변경할 필요가 있다. 제1 영역(210)에 출력되는 메인 프리뷰는 클롭핑하여 생성되는 프리뷰가 아니고, 오픈된 카메라에서 직접 센싱된 프리뷰일 필요가 있다. 이는 사용자에게 화질 감소 없이 프리뷰를 제공하기 위함이다.
이를 위해, 본 발명에 따른 이동 단말기에 포함되는 제어부는 멀티 프리뷰(230) 중 하나를 선택하는 제2 신호에 대응하여 복수의 카메라 중 오픈된 카메라를 변경할 수 있다.
상기 제2 신호에 대응하여 메인 프리뷰(230)를 출력하는 것을 중단한다면, 상기 제2 신호에 대응하여 선택된 프리뷰에 대응되는 카메라만 오픈 상태로 유지 또는 변경하고, 나머지 카메라는 오프할 수 있다.
구제적으로, 상기 제2 신호에 대응하여 선택된 프리뷰가 클롭핑되어 생성된 경우, 선택된 프리뷰에 대응되는 카메라를 오픈하고, 나머지 오픈된 카메라는 오프할 수 있다. 멀티 프리뷰(230)를 출력하지 않기 때문에, 멀티 프리뷰를 출력하기 위해 필요 이상으로 두 개의 ISP가 모두 구동될 필요가 없다.
또한, 상기 제2 신호에 대응하여 선택된 프리뷰가 오픈된 카메라에서 센싱된 프리뷰인 경우, 선택된 프리뷰에 대응되는 카메라는 오픈 상태를 유지하고, 나머지 카메라 중 오픈된 카메라가 있는 경우, 오프할 수 있다.
다만, 상기 제2 신호에 대응하여 멀티 프리뷰(230)를 출력하는 것을 유지하는 경우, 멀티 프리뷰(230)를 출력하기 위해 오픈된 카메라를 변경할 필요가 있다.
즉, 본 발명에 따른 이동 단말기에 포함되는 제어부는 상기 제2 신호에 대응하여 멀티 프리뷰(230)를 출력하는 것을 유지하되, 상기 제2 신호에 대응하여 오픈된 카메라가 화각이 가장 큰 카메라보다 화각이 작은 경우, 상기 화각이 가장 큰 카메라는 오픈 상태를 유지할 수 있다. 또한, 상기 제어부는 상기 제2 신호에 대응하여 오픈 상태가 변경된 카메라에서 센싱된 카메라를 크롭핑하여 오프된 카메라의 프리뷰를 생성할 수 있다.
구체적으로, 도 7을 통해 상기 제2 신호에 대응하여 메인 프리뷰(230)를 유지하는 실시예를 살펴본다.
멀티 프리뷰(230)는 제1 영역(210)에 출력되는 메인 프리뷰에 대응되는 그래픽 효과(232)를 포함할 수 있다.
도 7에 개시된 그래픽 효과(232)는 멀티 프리뷰(230) 중 제1 영역(210)에 출력되는 메인 프리뷰를 센싱하는 카메라의 화각에 대응되는 프리뷰의 외각을 진하게 표시하는 그래픽 효과이나, 그래픽 효과(232)가 이에 한정되지는 않는다.
도 7는 광각 카메라, 일반각 카메라 및 망원 카메라를 포함하는 이동 단말기의 실시예를 개시 하나, 카메라의 개수는 세 개 이상일 수 있다.
첫번째 디스플레이(200a)는 일반각 카메라에서 메인 프리뷰를 센싱하는 상태에서 멀티 프리뷰(230)를 출력하는 실시예이다.
두번째 디스플레인(200b)는 첫번째 디스플레이(200a)에서 멀티 프리뷰(230) 중 광각 카메라의 화각에 대응되는 프리뷰(231)를 선택(510)하는 제2 신호에 대응하여 광각 카메라에서 메인 프리뷰를 센싱하는 상태에서 멀티 프리뷰(230)를 출력하는 실시예이다.
세번째 디스플레인(200c)는 두번째 디스플레이(200b)에서 멀티 프리뷰(230) 중 망원 카메라의 화각에 대응되는 프리뷰(233)를 선택(510)하는 제2 신호에 대응하여 망각 카메라에서 메인 프리뷰를 센싱하는 상태에서 멀티 프리뷰(230)를 출력하는 실시예이다.
첫번째 디스플레이(200a)는 광각 카메라와 일반각 카메라가 오픈된 상태이고, 망원 카메라는 오픈된 상태이다.
두번째 디스플레이(200b)는 광각 카메라만 오픈된 상태이다.
세번째 디스플레이(200c)는 광각 카메라와 망원 카메라가 오픈된 상태이다.
도 7에서 설명된 바와 같이 제2 신호에 대응하여 메인 프리뷰를 유지하는 경우, 오픈된 카메라가 변경될 수 있다.
본 발명에 따른 이동 단말기에 포함되는 제어부는 상기 제2 신호에 대응하여 오픈 상태가 변경된 카메라에서 센싱된 프리뷰를 크롭핑하여 오프된 카메라의 프리뷰를 생성할 수 있다.
도 7의 경우, 첫번째 디스플레이(200a)는 일반각 카메라에서 센싱된 프리뷰를 클롭핑하여 망원 카메라의 프리뷰를 생성하고, 두번째 디스플레이(200b)는 광각 카메라에서 센싱된 프리뷰를 크롭핑하여 일반각 카메라 및 망원 카메라의 프리뷰를 생성하고, 세번째 디스플레이(200c)는 광각 카메라에서 센싱된 프리뷰를 클롭핑하여 일반각 카메라의 프리뷰를 생성한다.
즉, 제2 신호에 대응하여 복수의 카메라의 오픈 상태가 변경되고, 이에 따라 크롭핑되어 생성되는 프리뷰도 변경될 수 있다.
도 8 은 드래그 터치 입력(520)에 대응하여 제 1 영역(210)에 출력되는 메인 프리뷰를 줌인 또는 줌아웃하며 변경하는 실시예를 도시한 도면이다.
본 발명에 따른 이동 단말기의 디스플레이(200a, 200b, 200c)는 터치 입력 신호를 수신하는 터치 스크린을 포함할 수 있다.
본 발명에 따른 이동 단말기의 제어부는 멀티 프리뷰(230)중 하나를 선택하는 제2 신호가 멀티 프리뷰(230)를 출력하는 제2 영역(220)을 일 방향으로 드래그하여 터치 입력(520)하는 신호인 경우, 상기 터치 입력(520)의 방향에 대응하여 제1 영역(210)에 출력되는 메인 프리뷰를 줌인 또는 줌아웃하며 이동 단말기에 포함되는 복수의 카메라 중 오픈된 카메라를 변경할 수 있다.
첫번째 디스플레이(200a)는 일반각 카메라에서 메인 프리뷰를 센싱하는 상태에서 멀티 프리뷰(230)를 출력하는 실시예이다.
두번째 디스플레인(200b)는 첫번째 디스플레이(200a)에서 멀티 프리뷰(230) 중 광각 카메라의 화각에 대응되는 프리뷰(231)로 드래그 터치 입력(520) 하는 제2 신호에 대응하여 광각 카메라에서 메인 프리뷰를 센싱하는 상태에서 멀티 프리뷰(230)를 출력하는 실시예이다.
세번째 디스플레인(200c)는 두번째 디스플레이(200b)에서 멀티 프리뷰(230) 중 망원 카메라의 화각에 대응되는 프리뷰(233)로 드래그 터치 입력(520) 하는 제2 신호에 대응하여 망각 카메라에서 메인 프리뷰를 센싱하는 상태에서 멀티 프리뷰(230)를 출력하는 실시예이다.
세번째 디스플레인(200c)는 두번째 디스플레이(200b)에서 멀티 프리뷰(230) 중 망원 카메라의 화각에 대응되는 프리뷰(233)를 선택(510)하는 제2 신호에 대응하여 망각 카메라에서 메인 프리뷰를 센싱하는 상태에서 멀티 프리뷰(230)를 출력하는 실시예이다.
첫번째 디스플레이(200a)는 광각 카메라와 일반각 카메라가 오픈된 상태이고, 망원 카메라는 오픈된 상태이다.
두번째 디스플레이(200b)는 광각 카메라만 오픈된 상태이다.
세번째 디스플레이(200c)는 광각 카메라와 망원 카메라가 오픈된 상태이다.
첫번째 디스플레이(200a)에서 두번째 디스플레이(200b)로 변경되는 과정에서, 제1 영역(210)에 디스플레이 되는 메인 프리뷰가 줌아웃되며, 광각 카메라만 오픈된 상태로 변경될 수 있다.
두번째 디스플레이(200b)에서 세번째 디스플레이(200c)로 변경되는 과정에서, 제1 영역(210)에 디스플레이 되는 메인 프리뷰가 줌인되며, 순차적으로 광각 카메라와 일반각 카메라가 오픈된 상태에서 광각 카메라만 각 카메라와 망원 카메라가 오픈된 상태로 변경될 수 있다.
도 8은 상기 제2 신호에 대응하여 멀티 프리뷰(230)를 유지하는 실싱예로, 크롭핑하여 프리뷰를 생성하는 프로세스는 도 7에서 설명된 바와 같다.
도 9은 본 발명에 따라 화각정보 아이콘(250)을 터치하여 멀티 프리뷰(230)를 디스플레이하는 실시예는 나타내는 도면이다.
본 발명에 따른 이동 단말기의 디스플레이(200a, 200b)는 터치 입력 신호를 수신하는 터치 스크린을 포함할 수 있다.
본 발명에 따른 이동 단말기의 제어부는 복수의 카메라의 멀티 프리뷰(230)를 출력하는 제1 신호가 상기 복수의 카메라에 각각 대응되는 화각 정보 아이콘(250)을 기 설정 시간 이상 터치(530)하는 신호일 수 있다.
화각 정보 아이콘(250)은 복수의 카메라에 각각 대응되도록 광각 화각정보 아이콘(251), 일반각 화각정보 아이콘(252) 및 망원 화각정보 아이콘(253)을 포함할 수 있다. 다만, 도 9는 복수의 카메라가 광각 카메라, 일반각 카메라 및 망원 카메라 세 개만을 포함하는 실시예로, 복수의 카메라가 네 개 이상인 경우 이에 대응하여 네 개 이상의 화각정보 아이콘(250)을 출력할 수 있다.
또한, 기 설정 이상 터치(530)되는 화각 정보 아이콘(250)에 대응하여, 멀티 프리뷰(230)를 생성하고, 제1 영역(210)에 출력되는 메인 프리뷰를 결정할 수 있다.
구체적으로, 도 9는 첫번째 디스플레이(200a)에서 제1 영역(210)에 일반각 카메라에서 센싱된 프리뷰를 메인 프리뷰로 출력한 상태에서 망원 화각정보 아이콘(253)을 기 설정 이상 터치(530)한 경우, 두번째 디스플레이(200b)에 메인 프리뷰(230)가 생성됨과 동시에 제1 영역(210)에 표시되는 메인 프리뷰가 망원 카메라에서 센싱된 프리뷰로 변경되는 실시예이다.
도 10은 본 발명에 따라 멀티 프리뷰(230)를 참고하여 사용자가 핀치(Pinch) 줌인/아웃(540)하는 실시예를 나타내는 도면이다.
구체적으로, 도 10은 첫번째 디스플레이(200a)에서 핀치(Pinch) 줌인/아웃(540)하는 신호에 대응하여, 두번째 디스플레이(200b)에 멀티 프리뷰(230)를 출력하는 것을 중단하고, 화각 정보 아이콘(250)을 출력하는 실시예이다.
다만, 경우에 따라서, 핀치(Pinch) 줌인/아웃(540)하는 신호에 대응하여, 멀티 프리뷰(230)를 유지하고, 줌을 변경하며 제1 영역(210)에 출력되는 메인 프리뷰를 변경할 수 있다.
도 11는 본 발명에 따라 멀티 프리뷰(230)를 통해 녹화 중 사진을 캡쳐하는 실시예를 나타내는 도면이다.
첫번째 디스플레이(200a)는 출력된 멀티 프리뷰(230) 중 하나를 기 설정 시간 이상 터치(550a)하여 대응되는 카메라로 녹화를 하는 실시예이다.
두번째 디스플레이(200b)는 녹화 중 멀리 프리뷰(230) 중 하나를 상기 기설정 시간 미만 터치(550b)하여 제1 영역(210)에 출력되는 메인 프리뷰를 변경하는 실시예이다. 다만, 메인 프리뷰가 변경되더라도 녹화를 수행하는 카메라는 변경되지 않을 수 있다.
세번째 디스플레이(200c)는 변경된 메인 프리뷰로 사진을 캡쳐하는 신호(550c)로 녹화중 사진을 캡쳐하는 실시예이다.
도 12 내지 14는 본 발명에 따라 트리플 카메라로 한번에 사진을 캡쳐하는 실시예를 나타내는 도면이다.
멀티미디어 기기의 기능이 하나로 사진촬영 기능을 매우 중요한 기능이며, 이에 따라 이동 단말기에 다양한 화각(Field Of View, FOV)을 제공하는 복수의 카메라를 탑재하고 있는 실정이다.
최근 이동 단말기는 ISP(Image Signal Process)의 개수 보다 많은 복수의 카메라를 탑재하고 있는 실정이다. 이 경우, 복수의 카메라를 통해 한번에 이미지를 캡쳐하는 것이 불가능할 수 있다.
또한, 복수의 카메라에서 오픈된 카메라를 변경하여 이미지를 캡쳐하더라도 챕쳐 시간이 오래 걸리는 문제점이 있어, 이를 개선할 필요가 있다.
이에 따라, 본 발명은 두 개의 ISP를 이용하여 화각이 상이한 트리플 카메라로 한번에 사진을 캡쳐하며, 시간을 단축하는 프로세서를 개시하고자 한다.
이를 위해, 본 발명은 FOV(Field Of View)가 순차적으로 작아지는 FOV 1, FOV 2 및 FOV 3으로 이루어지는 트리플 카메라를 포함하는 이동 단말기에 있어서, 비주얼 정보를 출력하는 디스플레이(200), 상기 트리플 카메라 및 상기 디스플레이(200)를 제어하는 제어부를 포함하고, 상기 제어부는 FOV 별로 피사체를 동시에 캡쳐하는 신호를 디텍트하고, 상기 디텍트된 신호에 대응하여, 상기 FOV 1 및 FOV 2의 카메라를 오픈하여 각각 이미지를 캡쳐하고, 상기 FOV 1 및 FOV 2의 카메라 중 먼저 이미지를 캡쳐한 카메라를 오프하고, 상기 FOV 3의 카메라를 오픈하여 이미지를 캡쳐하되, 상기 FOV 1 및 FOV 2의 카메라 중 적어도 하나에서 획득한 촬영 설정값을 이용하는 것을 특징으로 하는 이동 단말기를 제공할 수 있다.
상기 제어부는 두 개의 ISP를 포함할 수 있다.
또한, 상기 FOV 1, FOV 2 및 FOV 3으로 이루어지는 트리플 카메라는 광각 카메라, 일반각 카메라 및 망원 카메라에 각각 대응될 수 있다.
구체적으로, 도 12는 광각 카메라와 일반각 카메라를 동시에 오픈하여 이미지를 캡쳐하고, 먼저 이미지를 캡쳐가 완료된 광각 카메라를 오프하고, 동시에 망원 카메라를 오픈하여 이미지를 캡쳐하는 실시예를 나타내고 있다.
또한, 도 13은 광각 카메라와 일반각 카메라를 동시에 오픈하여 이미지를 캡쳐하고, 먼저 이미지를 캡쳐가 완료된 광각 카메라를 오프하고, 동시에 망원 카메라를 오픈하여 이미지를 캡쳐하며, 광각 카메라에서 획득된 AE(auto exposure) 촬영 설정값 및 일반각 카메라에서 획득된 AF(auto focus value) 촬영 설정값을 이용하여 광각 카메라에서 이미지를 캡쳐하는 시간을 단축하여 트리플 카메라로 이미지를 캡쳐하는데 시간을 단축하는 실시예를 나타내고 있다.
구체적으로, 도 13은 광각 카메라에서 오토 포커스(Auto Focus)하는데 시간을 500ms에서 400ms로 단축하여 전체 소요되는 시간은 2050~2150ms로 단축하는 실시예를 나타내고 있다.
이를 위해, 본 발명의 상기 이동 단말기는 상기 촬영 설정값을 임시로 저장하는 버퍼부를 더 포함할 수 있다.
또한, 본 발명의 이동 단말기에 포함되는 제어부는 상기 FOV 3의 카메라가 오픈되면, 상기 버퍼부에 저장된 촬영 설정값을 상기 FOV 3의 카메라로 전달하여 상기 FOV 3의 초기 촬영 설정값을 설정할 수 있다.
상기 촬영 설정값은 AE(auto exposure value), AF(auto focus value) 및 white balance 중 적어도 하나를 포함할 수 있다.
또한, 본 발명의 이동 단말기에 포함되는 제어부는 상기 트리플 카메라 각각에 기 설정된 촬영 효과를 반영하여 세 개의 이미지를 한번에 획득할 수 있다.
상기 기 설정된 촬영 효과는 측광, 포커스 중 적어도 하나를 포함할 수 있다.
구체적으로, 도 14는 본 발명에 따라 트리플 카메라로 한번에 사진을 캡쳐하는 과정에서 디스플레이(200)를 구성하는 실시예를 나타내는 도면이다.
본 발명의 이동 단말기에 포함되는 상기 제어부는 촬영버튼을 한번 누름(560)에 대응하여 FOV 별로 파사체를 동시에 캡쳐하는 신호를 디텍트할 수 있다.
첫번째 디스플레이(200a)는 제1 영역(210) 광각 카메라에 대응되는 프리뷰를 출력하고, 트리플 카메라를 통해 한번에 촬영하는 촬영임을 나타내는 제1 인디케이터(270)를 출력하고, 트리플 카메라를 통해 한번에 촬영함에 있어 주의 사항을 표시하는 제2 인디케이터(270)을 표시하며, 촬영버튼을 한번 누름(560)에 대응하여 트리플 카메라를 통해 한번에 이미지를 획득하는 프로세서를 시작할 수 있다.
두번째 디스플레이(200b)는 촬영 진행 정도를 나타내는 제3 인디케이터(280)를 표시하고 있다.
세번째 디스플레이(200c)는 망원 카메라를 통해 촬영이 시작된 경우에 대응되며, 제1 영역에 망원 카메라의 프리뷰를 출력할 수 있다.
또한 본 발명에 포함되는 제어부는 상기 트리플 카메라에서 획득한 세 개의 이미지를 기 설정 순서로 가공하여 하나의 영상을 생성할 수 있는데, 네번째 디스플레이(200c)가 이에 대응될 수 있다.
구체적으로, 네번째 디스플레이(200c)는 트리플 카메라에서 이미지를 캡쳐하는 단계를 마치고, 영상을 가공하는 도중 이를 나타내는 제4 인디케이터(290)를 출력할 수 있다.
이하에선, 상기 트리플 카메라에서 획득한 세 개의 이미지를 기 설정 순서로 가공하여 하나의 영상을 생성 및 표시하는 프로세서를 설명한다.
도 15은 본 발명에 따라 트리플 카메라로 캡쳐된 이미지 사이에 블러 효과를 적용하여 영상을 생성하는 실시예를 나타내는 도면이다.
구체적으로, 도 15(a) 는 광각 카메라, 일반각 카메라 및 망원 카메라의 화각(FOV)을 비교한 도면이다.
광각 카메라, 일반각 카메라 및 망원 카메라는 동일 방향으로 향하여 동일 피사체를 다양한 화각으로 센싱하여 프리뷰를 생성할 수 있다.
광각 카메라의 화각(FOV 1, 510)은 가장 넓고, 일반각 카메라의 화각(FOV 2, 520)은 광각 카메라의 화각(FOV 1, 510)에 포함되며, 망원 카메라의 화각(FOV 3, 530)은 일반각 카메라의 화각(FOV 3, 530)에 포함될 수 있다.
본 발명의 이동단말기에 포함되는 제어부는 상기 트리플 카메라에서 획득한 세 개의 이미지 사이에 기 설정 효과를 적용하여 상기 하나의 영상을 생성할 수 있다.
상기 기 설정 효과는 Blur, warp 및 zoom 효과 중 적어도 하나일 수 있다.
구체적으로, 도15(b)는 도15(A)의 A 방향에 대응하여 광각 카메라에서 캡쳐된 이미지에서 망원 카메라로 캡쳐된 이미지로 줌인되며 Blur 효과로 상기 게 개의 이미지가 연결되는 실시예를 나타내고 있다.
본 발명의 이동 단말기는 상기 생성된 영상을 저장하는 메모리를 더 포함하고, 상기 제어부는 상기 생성된 영상에 대응하여 상기 트리플 카메라에서 획득한 세 개의 이미지를 저장하도록 상기 메모리를 제어할 수 있는데 이는 재편집을 용이하게 할 수 있다. 이와 관련하여 이하에서 설명한다.
도 16 내지 18는 본 발명에 따라 트리플 카메라로 캡쳐된 이미지를 통해 생성된 영상에 대응하여 상기 캡쳐된 이미지를 출력하는 실시예를 나타내는 도면이다.
본 발명에 따른 이동단말기의 제어부는 상기 생성된 영상을 재편집하는 경우, 상기 생성된 영상에 대응하는 세 개의 이미지를 표시하도록 상기 디스플레이(200)를 제어할 수 있다.
구체적으로, 도 16은 디스플레이(200)에 트리플 카메라로 한번에 캡쳐하여 생성된 영상을 재생하기 전 단계에 대응되는 화면 구성일 수 있다.
디스플레이(200)는 상기 생성된 영상의 재생 버튼(310)과 함께, 썸네일(300)을 출력할 수 있으며, 상기 썸네일(300)은 생성된 영상의 썸네일(320a)및 트리플 카메라로 한번에 캡쳐된 세 개의 이미지의 썸네일(320b, 320c, 320d)을 포함할 수 있다.
또한, 디스플레이는(200)는 상기 생성된 영상과 관련된 아이콘(330)을 출력할 수 있다.
상기 생성된 영상과 관련된 아이콘(330)은 상기 생성된 영상과 관련된 정보를 디스플레이 할 수 있는 제1 아이콘(330a), 상기 생성된 영상에 사용된 효과를 변경할 수 있는 제2 아이콘(330b), 상기 생성된 영상을 쉐어할 수 있는 제3 아이콘(330c), 상기 생성된 영상을 삭제할 수 있는 제3 아이콘(330d) 중 적어도 하나를 포함할 수 있다. 다만, 경우에 따라서 다른 기능을 수행하는 아이콘(330)을 더 포함할 수 있다.
구체적으로, 도 17은 디스플레이(200)에 상기 생성된 영상에 대응하여 캡쳐된 이미지를 출력하는 실시예를 나타내고 있다.
첫번째 디스플레(200a)는 제1 영역(210)에 생성된 영상의 썸네일을 출력하는 실시예를 나타내며, 도 16의 디스플레이(200) 화면 구성에 대응될 수 있다.
두번째 디스플레이(200b)는 첫번째 디스플레(200a)에서 화면을 넘기는 드래그 터치 입력(570)에 대응하여 상기 제1 영역(210)에 상기 생성된 영상에 대응되는 세 개의 이미지 중 제1 이미지를 출력하는 실시예를 나타내고 있다.
세번째 디스플레이(200c)는 두번째 디스플레(200b)에서 화면을 넘기는 드래그 터치 입력(570)에 대응하여 상기 제1 영역(210)에 상기 생성된 영상에 대응되는 세 개의 이미지 중 제2 이미지를 출력하는 실시예를 나타내고 있다..
네번째 디스플레이(200d)는 세번째 디스플레(200c)에서 화면을 넘기는 드래그 터치 입력(570)에 대응하여 상기 제1 영역(210)에 상기 생성된 영상에 대응되는 세 개의 이미지 중 제3 이미지를 출력하는 실시예를 나타내고 있다.
다섯번째 디스플레이(200e는 네번째 디스플레(200d)에서 화면을 넘기는 드래그 터치 입력(570)에 대응하여 다음 컨텐츠(Nest contents)를 출력하는 실시예로, 상기 다음 컨텐츠(Nest contents)는 첫번째 내지 네번째 디스플레(200a 내지 200d)에 대응되는 영상과 상이하며, 트리플 카메라로 촬영하여 생성된 다른 영상과 관련된 컨텐츠이거나, 첫번째 내지 네번째 디스플레(200a 내지 200d)에 대응되는 영상을 재편집하여 생성된 영상과 관련된 컨첸츠일 수 있다.
상기 생성된 영상에 대응되는 세 개의 이미지 중 제3 이미지를 출력할 수 있다.
구체적으로, 도 18은 디스플레이(200)에 상기 생성된 영상에 대응하여 캡쳐된 이미지를 출력하는 다른 실시예를 나타내고 있다
첫번째 디스플레(200a)는 제1 영역(210)에 생성된 영상의 썸네일을 출력하는 실시예를 나타내며, 도 16의 디스플레이(200) 화면 구성에 대응될 수 있다.
두번째 디스플레이(200b)는 첫번째 디스플레(200a)에서 썸네일(320) 중 제1 이미지의 썸네일을 선택(580)한 경우에 대응하여, 상기 제1 영역(210)에 상기 생성된 영상에 대응되는 세 개의 이미지 중 제1 이미지를 출력하는 실시예를 나타내고 있다.
세번째 디스플레이(200c)는 두번째 디스플레(200b)에서 썸네일(320) 중 제1 이미지의 썸네일을 선택(580)한 경우에 대응하여, 상기 제1 영역(210)에 상기 생성된 영상에 대응되는 세 개의 이미지 중 제2 이미지를 출력하는 실시예를 나타내고 있다.
네번째 디스플레이(200d)는 세번째 디스플레(200c)에서 썸네일(320) 중 제1 이미지의 썸네일을 선택(580)한 경우에 대응하여, 상기 제1 영역(210)에 상기 생성된 영상에 대응되는 세 개의 이미지 중 제3 이미지를 출력하는 실시예를 나타내고 있다.
또한, 본 발명에 따른 이동 단말기에 포함된 제어부는 상기 생성된 영상에 대응하는 세 개의 이미지 사이에 적용된 기 설정 효과, 연결 순서 및 반복 정도 중 적어도 하나를 변경하여 상기 생성된 영상을 재편집할 수 있다.
구체적으로, 본 발명에 따를 이동 단말기의 제어부는 상기 제어부는 상기 생성된 영상에 대응되는 파일 서두에 상기 트리플 카메라에서 획득한 세 개의 이미지 파일 각각의 위치를 표시하는 XMP(Extensible Metadata Platform) 메타 데이터를 추가하여 상기 메모리에 저장할 수 있다.
또한, 상기 제어부는 상기 생성된 영상을 재편집하는 경우, 상기 XMP 메타 데이터를 통해 상기 트리플 카메라에서 획득한 세 개의 이미지 파일을 디텍트하고, 상기 디텍트된 세 개의 이미지 파일을 이용하여 재편집된 영상을 생성할 수 있다.
또한, 상기 제어부는 상기 재편집된 영상에 대응되는 파일 후미에 상기 디텍트된 세 개의 이미지 파일을 추가하여 상기 메모리에 저장할 수 있다.
또한, 상기 제어부는 상기 재편집된 영상에 대응되는 파일 서두에 상기 디텍트된 세 개의 이미지 파일 각각의 위치를 표시하는 XMP(Extensible Metadata Platform) 메타 데이터를 추가하여 상기 메모리에 저장할 수 있다.
또한, 싱기 제어부는 상기 디텍트된 세 개의 이미지 사이에 적용된 효과, 연결 순서, 및 반복 정도 중 적어도 하나를 변경하여 상기 생성된 영상을 재편집할 수 있다.
도 14은 본 발명에 따라 트리플 카메라로 캡쳐된 이미지를 통해 생성된 영상을 재편집하는 실시예를 나타내는 도면이다.
첫번째 디스플레이(200a)는 도 16의 디스플레이(200) 화면 구성에 대응될 수 있다.
두번째 디스플레이(200b)는 첫번째 디스플레(200a)에서 상기 생성된 영상에 사용된 효과를 변경할 수 있는 제2 아이콘(330b)을 선택(590)한 결과, 변경 가능한 효과를 디스플레이하는 실시예를 나타내는 도면이다.
세번째 디스플레이(200c)는 두번째 디스플레이(200b)에서 상기 생성된 영상에 사용된 효과와 다른 효과를 선택(590)하여 재가공하는 중임을 나타내는 실시예이다.
도 15은 본 발명에 따라 멀티 프리뷰(230)를 이용하여 트리플 카메라로 영상을 생성하는 실시예를 나타내는 도면이다
멀티 프리뷰(230)는 도 2에서 설명된 바와 같이 생성되어 출력될 수 있다.
첫번째 디스플레이(200a)는 멀리 프리뷰(230) 하나의 프리뷰를 순서 설정창(700)의 첫번째에 위치하도록 드래그(600)하여 이에 대응되는 실시예를 나타내고 있다.
두번째 디스플레이(200b)는 멀리 프리뷰(230) 하나의 프리뷰를 순서 설정창(700)의 두번째에 위치하도록 드래그(600)하여 이에 대응되는 실시예를 나타내고 있다.
세번째 디스플레이(200c)는 순서 설정창(700)에 트리플 카메라에서 캡쳐된 이미지를 연결하여 영상을 만드는 순서가 설정되고, 촬영 버튼을 터치(610)하여 상기 영상을 생성하는 실시예를 나타내고 있다.
상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (15)

  1. FOV(Field Of View)가 순차적으로 작아지는 FOV 1, FOV 2 및 FOV 3으로 이루어지는 트리플 카메라를 포함하는 이동 단말기에 있어서,
    비주얼 정보를 출력하는 디스플레이;
    상기 트리플 카메라 및 상기 디스플레이를 제어하는 제어부;를 포함하고,
    상기 제어부는
    FOV 별로 피사체를 동시에 캡쳐하는 신호를 디텍트하고,
    상기 디텍트된 신호에 대응하여, 상기 FOV 1 및 FOV 2의 카메라를 오픈하여 각각 이미지를 캡쳐하고,
    상기 FOV 1 및 FOV 2의 카메라 중 먼저 이미지를 캡쳐한 카메라를 오프하고, 상기 FOV 3의 카메라를 오픈하여 이미지를 캡쳐하되, 상기 FOV 1 및 FOV 2의 카메라 중 적어도 하나에서 획득한 촬영 설정값을 이용하고,
    상기 트리플 카메라에서 획득한 세 개의 이미지를 기 설정 순서로 가공하여 하나의 영상을 생성하는 것을 특징으로 하는 이동 단말기.
  2. 제1 항에 있어서,
    상기 이동 단말기는
    상기 촬영 설정값을 임시로 저장하는 버퍼부를 더 포함하는 것을 특징으로 하는 이동 단말기.
  3. 제2 항에 있어서,
    상기 제어부는
    상기 FOV 3의 카메라가 오픈되면, 상기 버퍼부에 저장된 촬영 설정값을 상기 FOV 3의 카메라로 전달하여 상기 FOV 3의 초기 촬영 설정값을 설정하는 것을 특징으로 하는 이동 단말기.
  4. 제1 항에 있어서,
    상기 촬영 설정값은
    AE(auto exposure value), AF(auto focus value) 및 white balance 중 적어도 하나를 포함하는 것을 특징으로 하는 이동 단말기.
  5. 제1 항에 있어서,
    상기 제어부는
    촬영버튼을 한번 누름에 대응하여 FOV 별로 피사체를 동시에 캡쳐하는 신호를 디텍트하는 것을 특징으로 하는 이동 단말기.
  6. 제1항에 있어서,
    상기 제어부는
    상기 트리플 카메라 각각에 기 설정된 촬영 효과를 반영하여 세 개의 이미지를 한번에 획득하는 것을 특징으로 하는 이동 단말기.
  7. 삭제
  8. 제1 항에 있어서,
    상기 제어부는
    상기 트리플 카메라에서 획득한 세 개의 이미지 사이에 기 설정 효과를 적용하여 상기 하나의 영상을 생성하는 것을 특징으로 하는 이동 단말기.
  9. 제8항에 있어서,
    상기 기 설정 효과는
    Blur, warp 및 zoom 효과 중 적어도 하나인 것을 특징으로 하는 이동 단말기.
  10. 제8항에 있어서,
    상기 이동 단말기는
    상기 생성된 영상을 저장하는 메모리를 더 포함하고,
    상기 제어부는
    상기 생성된 영상에 대응되는 파일 후미에 상기 트리플 카메라에서 획득한 세 개의 이미지 파일을 추가하여 상기 메모리에 저장하는 것을 특징으로 하는 이동 단말기.
  11. 제10항에 있어서,
    상기 제어부는
    상기 생성된 영상에 대응되는 파일 서두에 상기 트리플 카메라에서 획득한 세 개의 이미지 파일 각각의 위치를 표시하는 XMP(Extensible Metadata Platform) 메타 데이터를 추가하여 상기 메모리에 저장하는 것을 특징으로 하는 이동 단말기.
  12. 제11항에 있어서,
    상기 제어부는
    상기 생성된 영상을 재편집하는 경우, 상기 XMP 메타 데이터를 통해 상기 트리플 카메라에서 획득한 세 개의 이미지 파일을 디텍트하고,
    상기 디텍트된 세 개의 이미지 파일을 이용하여 재편집된 영상을 생성하는 것을 특징으로 하는 이동 단말기.
  13. 제12항에 있어서,
    상기 제어부는
    상기 재편집된 영상에 대응되는 파일 후미에 상기 디텍트된 세 개의 이미지 파일을 추가하여 상기 메모리에 저장하는 것을 특징으로 하는 이동 단말기.
  14. 제13항에 있어서,
    상기 제어부는
    상기 재편집된 영상에 대응되는 파일 서두에 상기 디텍트된 세 개의 이미지 파일 각각의 위치를 표시하는 XMP(Extensible Metadata Platform) 메타 데이터를 추가하여 상기 메모리에 저장하는 것을 특징으로 하는 이동 단말기.
  15. 제12항에 있어서,
    싱기 제어부는
    상기 디텍트된 세 개의 이미지 사이에 적용된 효과, 연결 순서, 및 반복 정도 중 적어도 하나를 변경하여 상기 생성된 영상을 재 편집하는 것을 특징으로 하는 이동 단말기.
KR1020217003247A 2018-09-21 2018-09-21 이동 단말기 KR102446264B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2018/011338 WO2020059925A1 (ko) 2018-09-21 2018-09-21 이동 단말기

Publications (2)

Publication Number Publication Date
KR20210019110A KR20210019110A (ko) 2021-02-19
KR102446264B1 true KR102446264B1 (ko) 2022-09-22

Family

ID=69885117

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217003247A KR102446264B1 (ko) 2018-09-21 2018-09-21 이동 단말기

Country Status (4)

Country Link
US (1) US10979627B2 (ko)
EP (1) EP3855713B1 (ko)
KR (1) KR102446264B1 (ko)
WO (1) WO2020059925A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7331529B2 (ja) * 2019-07-29 2023-08-23 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
KR20220072616A (ko) * 2020-11-25 2022-06-02 삼성전자주식회사 복수의 카메라를 포함하는 전자 장치 및 그 전자 장치의 제어 방법
KR20220075028A (ko) 2020-11-26 2022-06-07 삼성전자주식회사 다중 크롭 기능을 갖는 이미지 센서를 포함하는 전자 장치
WO2022119178A1 (ko) * 2020-12-03 2022-06-09 삼성전자 주식회사 플렉서블 디스플레이를 포함하는 전자 장치 및 상기 전자 장치에서 이미지를 촬영하는 방법
CN112911059B (zh) * 2021-01-22 2022-06-07 维沃移动通信（杭州）有限公司 拍照方法、装置、电子设备及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006340108A (ja) * 2005-06-02 2006-12-14 Canon Inc 画像処理装置、画像処理方法、プログラム、及び記憶媒体
CN106454132A (zh) * 2016-11-29 2017-02-22 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7663662B2 (en) * 2005-02-09 2010-02-16 Flir Systems, Inc. High and low resolution camera systems and methods
JP2007043248A (ja) * 2005-07-29 2007-02-15 Eastman Kodak Co 撮像装置
KR101954192B1 (ko) * 2012-11-15 2019-03-05 엘지전자 주식회사 어레이 카메라, 휴대 단말기 및 그 동작 방법
JP6436783B2 (ja) * 2015-01-09 2018-12-12 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
US9979890B2 (en) * 2015-04-23 2018-05-22 Apple Inc. Digital viewfinder user interface for multiple cameras
KR20170006559A (ko) * 2015-07-08 2017-01-18 엘지전자 주식회사 이동단말기 및 그 제어방법
KR20170029330A (ko) * 2015-09-07 2017-03-15 엘지전자 주식회사 이동단말기 및 그 제어방법
KR20170035237A (ko) * 2015-09-22 2017-03-30 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR102547104B1 (ko) * 2016-09-06 2023-06-23 삼성전자주식회사 전자 장치 및 복수의 영상을 처리하는 방법
KR102600504B1 (ko) * 2016-09-07 2023-11-10 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102622754B1 (ko) * 2016-09-07 2024-01-10 삼성전자주식회사 이미지 합성 방법 및 이를 지원하는 전자 장치
CN106791378A (zh) * 2016-11-29 2017-05-31 广东欧珀移动通信有限公司 控制方法、控制装置和电子装置
US20190007589A1 (en) * 2017-06-30 2019-01-03 Qualcomm Incorporated Camera initialization for multiple camera devices
KR20190008610A (ko) * 2017-07-17 2019-01-25 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US10630895B2 (en) * 2017-09-11 2020-04-21 Qualcomm Incorporated Assist for orienting a camera at different zoom levels
US10594925B2 (en) * 2017-12-04 2020-03-17 Qualcomm Incorporated Camera zoom level and image frame capture control
CN110913122B (zh) * 2018-09-18 2021-08-10 北京小米移动软件有限公司 多摄像头的变焦方法、装置、设备及存储介质
KR102629343B1 (ko) * 2018-12-21 2024-01-26 삼성전자주식회사 다중 셀 구조의 카메라 모듈 및 그 카메라 모듈을 포함하는 휴대용 통신 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006340108A (ja) * 2005-06-02 2006-12-14 Canon Inc 画像処理装置、画像処理方法、プログラム、及び記憶媒体
CN106454132A (zh) * 2016-11-29 2017-02-22 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置

Also Published As

Publication number Publication date
EP3855713B1 (en) 2024-02-14
EP3855713A4 (en) 2022-04-06
KR20210019110A (ko) 2021-02-19
WO2020059925A1 (ko) 2020-03-26
EP3855713A1 (en) 2021-07-28
US10979627B2 (en) 2021-04-13
US20200099856A1 (en) 2020-03-26

Similar Documents

Publication Publication Date Title
CN106341522B (zh) 移动终端及其控制方法
KR102446264B1 (ko) 이동 단말기
KR102225947B1 (ko) 이동단말기 및 그 제어방법
EP3246802B1 (en) Mobile terminal and method for controlling the same
KR101678861B1 (ko) 이동단말기 및 그 제어방법
KR102353487B1 (ko) 이동 단말기 및 그 제어 방법
EP3226543A1 (en) Mobile terminal and method for controlling the same
US9489129B2 (en) Mobile terminal setting first and second control commands to user divided first and second areas of a backside touch screen
KR20180095331A (ko) 이동단말기 및 그 제어 방법
KR20170112492A (ko) 이동 단말기 및 그 제어방법
US10887554B2 (en) Mobile terminal with a plurality of cameras respectively having different field of views and method of displaying multi-previews in the same
CN106406688B (zh) 移动终端及其控制方法
KR20170112497A (ko) 이동 단말기 및 그 제어방법
KR20160131720A (ko) 이동단말기 및 그 제어방법
KR20170010485A (ko) 단말 장치 및 단말 장치의 제어 방법
KR20180131908A (ko) 이동 단말기 및 그것의 동작방법
KR20170112493A (ko) 이동 단말기 및 그 제어방법
KR20220102401A (ko) 전자 장치 및 그의 동작 방법
KR102158699B1 (ko) 이동 단말기 제어방법 및 이동 단말기
KR102252509B1 (ko) 이동단말기 및 그 제어방법
KR102611056B1 (ko) 이동 단말기 및 그 제어 방법
KR101751348B1 (ko) 이동단말기 및 그 제어방법
KR102238532B1 (ko) 이동 단말기 및 그 제어방법
KR102151206B1 (ko) 이동 단말기 및 그 제어방법
KR20190041815A (ko) 이동 단말기 및 그것의 동작방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right