WO2020059925A1 - 이동 단말기 - Google Patents

이동 단말기 Download PDF

Info

Publication number
WO2020059925A1
WO2020059925A1 PCT/KR2018/011338 KR2018011338W WO2020059925A1 WO 2020059925 A1 WO2020059925 A1 WO 2020059925A1 KR 2018011338 W KR2018011338 W KR 2018011338W WO 2020059925 A1 WO2020059925 A1 WO 2020059925A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
fov
mobile terminal
image
preview
Prior art date
Application number
PCT/KR2018/011338
Other languages
English (en)
French (fr)
Inventor
윤지원
노은영
양승민
이준화
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020217003247A priority Critical patent/KR102446264B1/ko
Priority to EP18934312.2A priority patent/EP3855713B1/en
Priority to PCT/KR2018/011338 priority patent/WO2020059925A1/ko
Priority to US16/578,216 priority patent/US10979627B2/en
Publication of WO2020059925A1 publication Critical patent/WO2020059925A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34—Microprocessors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/36—Memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Definitions

  • the present invention relates to a mobile terminal. More specifically, the mobile terminal including a triple camera having a different angle of view can be applied to a technical field of capturing three images through a single shooting signal and shortening the chapter time.
  • Terminals can be divided into mobile terminals (mobile / portable terminals) and stationary terminals according to their mobility. Again, the mobile terminal may be divided into a handheld terminal and a vehicle mounted terminal according to whether the user can directly carry it.
  • the functions of mobile terminals are diversifying. For example, there are functions for data and voice communication, photo and video shooting through a camera, voice recording, music file playback through a speaker system, and image or video output on the display.
  • an electronic game play function is added or a multimedia player function is performed.
  • recent mobile terminals can receive multicast signals that provide visual content such as broadcast and video or television programs.
  • such a terminal is a multimedia player having multiple functions, such as taking a picture or a video, playing music or a video file, receiving a game, or broadcasting. Is being implemented.
  • the function of a multimedia device is a very important function of taking a picture, and accordingly, a plurality of cameras providing various field of view (FOV) to a mobile terminal is mounted.
  • FOV field of view
  • a mobile terminal is equipped with a plurality of cameras having more than the number of ISP (Image Signal Process). In this case, it may be impossible to capture an image at a time through a plurality of cameras.
  • ISP Image Signal Process
  • the present invention aims to shorten the capture time by capturing three images through a single shooting signal in a mobile terminal including a triple camera having a different angle of view.
  • a display for outputting visual information the triple camera and It includes a control unit for controlling the display, the control unit detects a signal that simultaneously captures a subject for each FOV, and in response to the detected signal, opens the cameras of the FOV 1 and FOV 2 to capture images, respectively. And, among the cameras of the FOV 1 and FOV 2, the camera that first captured the image is turned off, and the camera of the FOV 3 is opened to capture the image. It provides a mobile terminal characterized by using a value.
  • the mobile terminal provides a mobile terminal characterized in that it further comprises a buffer for temporarily storing the shooting setting value.
  • the controller transfers the shooting setting value stored in the buffer unit to the camera of the FOV 3 and sets the initial shooting setting value of the FOV 3 Is done.
  • the photographing setting value includes at least one of an auto exposure value (AE), an auto focus value (AF), and a white balance.
  • control unit detects a signal that simultaneously captures the projectile for each FOV in response to pressing the photographing button once.
  • control unit is characterized by acquiring three images at a time by reflecting a preset shooting effect in each of the triple cameras.
  • the present invention is characterized in that three images acquired by the triple camera are processed in a preset order to generate one image.
  • control unit is characterized in that it generates the one image by applying a preset effect between three images obtained from the triple camera.
  • the preset effect is characterized in that it is at least one of Blur, warp and zoom effects.
  • the mobile terminal further includes a memory for storing the generated image, and the control unit stores the memory to store three images acquired by the triple camera corresponding to the generated image. It is characterized by controlling.
  • control unit when re-editing the generated image, controls the display to display three images corresponding to the generated image.
  • control unit when re-editing the generated image, controls the memory to store three images corresponding to the generated image correspondingly to the re-edited image. .
  • control unit re-edits the generated image by changing at least one of a preset effect, a connection sequence, and a repetition degree applied between three images corresponding to the generated image. do.
  • an image captured by each of the triple cameras may be acquired through a single shooting signal.
  • an image captured by a triple camera is processed to form an image, and it can be conveniently re-edited.
  • FIG. 1A is a block diagram illustrating a mobile terminal related to the present invention.
  • FIGS. 1B and 1C are conceptual views of an example of a mobile terminal related to the present invention viewed from different directions.
  • FIGS. 2 and 3 are views showing an embodiment of displaying multiple previews of a plurality of cameras according to the present invention.
  • FIG. 4 is a view showing an embodiment of a camera that is opened to generate a multi-preview according to the present invention.
  • FIG 5 and 6 are views illustrating an embodiment of a preview sensed by an opened camera and a preview of an off camera generated by cropping a preview sensed by the opened camera according to the present invention.
  • FIG. 7 to 9 are views showing an embodiment of capturing a picture at a time with a triple camera according to the present invention.
  • FIG. 10 is a view showing an embodiment of generating an image by applying a blur effect between images captured by a triple camera according to the present invention.
  • 11 to 13 are views showing an embodiment of outputting the captured image in response to an image generated through an image captured by a triple camera according to the present invention.
  • FIG. 14 is a diagram showing an embodiment of re-editing an image generated through an image captured by a triple camera according to the present invention.
  • 15 is a view showing an embodiment of capturing an image and generating an image by a triple camera using a multi-preview according to the present invention.
  • Mobile terminals described herein include mobile phones, smart phones, laptop computers, digital broadcasting terminals, personal digital assistants (PDAs), portable multimedia players (PMPs), navigation, and slate PCs.
  • Tablet PC tablet PC
  • ultrabook ultrabook
  • wearable device wearable device, for example, a watch-type terminal (smartwatch), glass-type terminal (smart glass), HMD (head mounted display), etc. may be included have.
  • the configuration according to the embodiment described in the present specification may be applied to a fixed terminal such as a digital TV, a desktop computer, and a digital signage, except when applicable only to a mobile terminal. It is easy for a technician to know.
  • FIG. 1A is a block diagram illustrating a mobile terminal related to the present invention
  • FIGS. 1B and 1C are conceptual views of an example of a mobile terminal related to the present invention viewed from different directions.
  • the mobile terminal 100 includes a wireless communication unit 110, an input unit 120, a sensing unit 140, an output unit 150, an interface unit 160, a memory 170, a control unit 180, and a power supply unit 190 ) And the like.
  • the components shown in FIG. 1A are not essential for implementing a mobile terminal, so the mobile terminal described herein may have more or fewer components than those listed above.
  • the wireless communication unit 110 among the components, between the mobile terminal 100 and the wireless communication system, between the mobile terminal 100 and another mobile terminal 100, or the mobile terminal 100 and an external server It may include one or more modules that enable wireless communication between. Also, the wireless communication unit 110 may include one or more modules connecting the mobile terminal 100 to one or more networks.
  • the wireless communication unit 110 may include at least one of a broadcast receiving module 111, a mobile communication module 112, a wireless Internet module 113, a short-range communication module 114, and a location information module 115. .
  • the input unit 120 may include a camera 121 for inputting a video signal or a video input unit, a microphone for inputting an audio signal (microphone 122), or an audio input unit, a user input unit 123 for receiving information from a user, for example , A touch key, a push key, and the like.
  • the voice data or image data collected by the input unit 120 may be analyzed and processed by a user's control command.
  • the sensing unit 140 may include one or more sensors for sensing at least one of information in the mobile terminal, surrounding environment information surrounding the mobile terminal, and user information.
  • the sensing unit 140 includes a proximity sensor 141, an illumination sensor 142, a touch sensor, an acceleration sensor, a magnetic sensor, and gravity G-sensor, gyroscope sensor, motion sensor, RGB sensor, infrared sensor (IR sensor), fingerprint scan sensor, ultrasonic sensor , Optical sensor (e.g., camera (see 121)), microphone (see 122, battery), battery gauge, environmental sensor (e.g.
  • the mobile terminal disclosed in this specification may combine and use information sensed by at least two or more of these sensors.
  • the output unit 150 is for generating output related to vision, hearing, or tactile sense, and may include at least one of a display 151, an audio output unit 152, a hap tip module 153, and an optical output unit.
  • the display 151 forms a mutual layer structure with the touch sensor or is integrally formed, thereby realizing a touch screen.
  • the touch screen may function as a user input unit 123 that provides an input interface between the mobile terminal 100 and the user, and at the same time, provide an output interface between the mobile terminal 100 and the user.
  • the interface unit 160 serves as a passage with various types of external devices connected to the mobile terminal 100.
  • the interface unit 160 connects a device equipped with a wired / wireless headset port, an external charger port, a wired / wireless data port, a memory card port, and an identification module. It may include at least one of a port, an audio input / output (I / O) port, a video input / output (I / O) port, and an earphone port.
  • I / O audio input / output
  • I / O video input / output
  • earphone port an earphone port
  • the memory 170 stores data supporting various functions of the mobile terminal 100.
  • the memory 170 may store a number of application programs (application programs) that are driven in the mobile terminal 100, data for operation of the mobile terminal 100, and instructions. At least some of these applications may be downloaded from external servers via wireless communication. In addition, at least some of these application programs may exist on the mobile terminal 100 from the time of shipment for basic functions of the mobile terminal 100 (for example, an incoming call, an outgoing function, a message reception, and an outgoing function). Meanwhile, the application program may be stored in the memory 170 and installed on the mobile terminal 100 to be driven by the controller 180 to perform an operation (or function) of the mobile terminal.
  • the controller 180 controls the overall operation of the mobile terminal 100 in addition to the operations related to the application program.
  • the controller 180 may provide or process appropriate information or functions to the user by processing signals, data, information, etc. input or output through the above-described components or by driving an application program stored in the memory 170.
  • controller 180 may control at least some of the components discussed with reference to FIG. 1A to drive an application program stored in the memory 170. Furthermore, the controller 180 may operate by combining at least two or more of the components included in the mobile terminal 100 for driving the application program.
  • the power supply unit 190 receives external power and internal power to supply power to each component included in the mobile terminal 100.
  • the power supply unit 190 includes a battery, and the battery may be a built-in battery or a replaceable battery.
  • At least some of the components may operate in cooperation with each other to implement an operation, control, or control method of a mobile terminal according to various embodiments described below. Also, the operation, control, or control method of the mobile terminal may be implemented on the mobile terminal by driving at least one application program stored in the memory 170.
  • 1B and 1C describe the basic features of the foldable mobile terminal in an unfolded state.
  • the mobile terminal 100 includes a display 151, first and second sound output units 152a and 152b, a proximity sensor 141, an illumination sensor 142, a light output unit 154, and first and second cameras. (121a, 121b), the first and second operation units (123a, 123b), a microphone 122, an interface unit 160, and the like may be provided.
  • a display 151, a first sound output unit 152a, a proximity sensor 141, an illuminance sensor 142, an optical output unit, and a first display are provided on the front surface of the terminal body.
  • the camera 121a and the first operation unit 123a are disposed, and a second operation unit 123b, a microphone 122 and an interface unit 160 are disposed on the side of the terminal body, and are disposed on the rear surface of the terminal body.
  • the mobile terminal 100 in which the 2 sound output unit 152b and the second camera 121b are disposed will be described as an example.
  • first operation unit 123a may not be provided on the front of the terminal body, and the second sound output unit 152b may be provided on the side of the terminal body rather than the rear of the terminal body.
  • the display 151 displays (outputs) information processed by the mobile terminal 100.
  • the display 151 may display execution screen information of an application program driven by the mobile terminal 100, or UI (User Interface) or GUI (Graphic User Interface) information according to the execution screen information.
  • UI User Interface
  • GUI Graphic User Interface
  • the display 151 includes a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display. ), At least one of a 3D display and an e-ink display.
  • LCD liquid crystal display
  • TFT LCD thin film transistor-liquid crystal display
  • OLED organic light-emitting diode
  • flexible display At least one of a 3D display and an e-ink display.
  • two or more displays 151 may be present depending on the implementation form of the mobile terminal 100.
  • a plurality of displays may be spaced apart from one surface or integrally disposed on the mobile terminal 100, or may be disposed on different surfaces.
  • the display 151 may include a touch sensor that senses a touch on the display 151 so that a control command can be input by a touch method. Using this, when a touch is made to the display 151, the touch sensor detects the touch, and the controller 180 can be configured to generate a control command corresponding to the touch based on the touch.
  • the content input by the touch method may be a letter or a number, or an instruction or designable menu item in various modes.
  • the touch sensor is configured in the form of a film having a touch pattern, and is disposed between a window 151a covering the display 151 and a plurality of layers constituting the display 151, or directly on the rear surface of the window 151a. It can also be a patterned metal wire. Alternatively, the touch sensor may be formed integrally with the display. For example, the touch sensor may be disposed on the substrate of the display, or may be provided inside the display.
  • the display 151 may form a touch screen together with a touch sensor, and in this case, the touch screen may function as a user input unit 123 (see FIG. 1A). In some cases, the touch screen may replace at least some functions of the first operation unit 123a.
  • the first sound output unit 152a may be implemented as a receiver that delivers a call sound to the user's ear, and the second sound output unit 152b is a loud speaker that outputs various alarm sounds or multimedia playback sounds. ).
  • An acoustic hole for emitting sound generated from the first sound output unit 152a may be formed in the window 151a of the display 151.
  • the present invention is not limited thereto, and the sound may be configured to be emitted along an assembly gap between structures (for example, a gap between the window 151a and the front case 101). In this case, the appearance of the mobile terminal 100 may be simpler because the holes formed independently for the sound output are not visible or hidden.
  • the light output unit is configured to output light to notify when an event occurs. Examples of the event include message reception, call signal reception, missed calls, alarm, schedule notification, email reception, information reception through an application, and the like.
  • the controller 180 may control the light output unit so that the output of light ends.
  • the first camera 121a processes an image frame of a still image or video obtained by an image sensor in a shooting mode or a video call mode.
  • the processed image frame may be displayed on the display 151 and may be stored in the memory 170.
  • the first and second operation units 123a and 123b are examples of the user input unit 123 that is operated to receive a command for controlling the operation of the mobile terminal 100, and may also be collectively referred to as a manipulating portion. have.
  • the first and second operation units 123a and 123b may be adopted in any manner as long as the user operates the device while receiving a tactile feeling, such as touch, push, scroll.
  • the first and second manipulation units 123a and 123b may be employed in such a way that the user operates without a tactile feeling through a proximity touch, a hovering touch, or the like.
  • the first operation unit 123a is illustrated as a touch key, but the present invention is not limited thereto.
  • the first operation unit 123a may be a mechanical key or a combination of a touch key and a push key.
  • Contents input by the first and second operation units 123a and 123b may be variously set.
  • the first operation unit 123a receives commands such as a menu, home key, cancel, search, etc.
  • the second operation unit 123b is output from the first or second sound output units 152a, 152b. Commands such as adjusting the volume of the sound and switching to the touch recognition mode of the display 151 may be received.
  • a rear input unit (not shown) may be provided.
  • the rear input unit is operated to receive a command for controlling the operation of the mobile terminal 100, and the input content may be variously set. For example, commands such as power on / off, start, end, scroll, and the like, and control the volume of sound output from the first and second sound output units 152a and 152b, to the touch recognition mode of the display 151 You can receive commands such as conversion.
  • the rear input unit may be implemented in a form capable of input by touch input, push input, or a combination thereof.
  • the rear input unit may be disposed to overlap the display 151 on the front side in the thickness direction of the terminal body.
  • the rear input unit may be arranged at the upper rear portion of the terminal body so that it can be easily operated using the index finger.
  • the present invention is not necessarily limited to this, and the position of the rear input unit may be changed.
  • the rear input unit When the rear input unit is provided on the rear of the terminal body, a new type of user interface using the rear input unit may be implemented.
  • the above-described touch screen or rear input unit replaces at least some functions of the first operation unit 123a provided on the front surface of the terminal body, when the first operation unit 123a is not disposed on the front surface of the terminal body,
  • the display 151 may be configured with a larger screen.
  • the mobile terminal 100 may be provided with a fingerprint recognition sensor 143 for recognizing a user's fingerprint, and the controller 180 may use fingerprint information detected through the fingerprint recognition sensor 143 as an authentication means.
  • the fingerprint recognition sensor may be embedded in the display 151 or the user input unit 123, or may be provided in a separate location.
  • the microphone 122 is configured to receive a user's voice, other sounds, and the like.
  • the microphone 122 may be provided at a plurality of locations and configured to receive stereo sound.
  • the interface unit 160 is a passage through which the mobile terminal 100 can be connected to an external device.
  • the interface unit 160 is a connection terminal for connection with other devices (eg, earphones, external speakers), a port for short-range communication (eg, an infrared port (IrDA Port), a Bluetooth port (Bluetooth) Port, Wireless LAN Port, etc.], or at least one of a power supply terminal for supplying power to the mobile terminal 100.
  • the interface unit 160 may be implemented in the form of a socket that accommodates an external card such as a subscriber identification module (SIM) or a user identity module (UIM) or a memory card for storing information.
  • SIM subscriber identification module
  • UIM user identity module
  • a second camera 121b may be disposed on the rear side of the terminal body.
  • the second camera 121b has a shooting direction substantially opposite to the first camera 121a.
  • the second camera 121b may include a plurality of lenses arranged along at least one line.
  • the plurality of lenses may be arranged in a matrix format.
  • Such a camera may be referred to as an 'array camera'.
  • the second camera 121b is configured as an array camera, images may be captured in a variety of ways using a plurality of lenses, and better quality images may be obtained.
  • the flash 124 may be disposed adjacent to the second camera 121b. When the flash 124 photographs the subject with the second camera 121b, the light is directed toward the subject.
  • a second sound output unit 152b may be additionally disposed on the terminal body.
  • the second sound output unit 152b may implement a stereo function together with the first sound output unit 152a, or may be used to implement a speakerphone mode during a call.
  • the terminal body may be provided with at least one antenna for wireless communication.
  • the antenna may be built in the terminal body or may be formed in the case.
  • an antenna forming part of the broadcast receiving module 111 may be configured to be pulled out from the terminal body.
  • the antenna may be formed of a film type and attached to the inner surface of the rear cover 103, or a case including a conductive material may be configured to function as an antenna.
  • the terminal body is provided with a power supply unit 190 (see FIG. 1A) for supplying power to the mobile terminal 100.
  • the power supply unit 190 may include a battery 191 built in the terminal body or configured to be detachable from the outside of the terminal body.
  • the battery 191 may be configured to receive power through a power cable connected to the interface unit 160. Also, the battery 191 may be configured to be wirelessly charged through a wireless charger.
  • the wireless charging may be implemented by a magnetic induction method or a resonance method (magnetic resonance method).
  • the rear cover 103 is coupled to the rear case 102 so as to cover the battery 191 to limit the detachment of the battery 191, and is configured to protect the battery 191 from external impact and foreign matter.
  • the rear cover 103 may be detachably coupled to the rear case 102.
  • FIGS. 2 and 3 are views illustrating an embodiment of displaying a multi-preview 230 of a plurality of cameras according to the present invention.
  • the function of a multimedia device is a very important function of taking a picture, and accordingly, a plurality of cameras providing various field of view (FOV) to a mobile terminal is mounted.
  • FOV field of view
  • a plurality of cameras are included on one surface of the mobile terminal to capture an image according to the angle of view of the same subject.
  • FIG. 1C illustrates an embodiment including one second camera 121b on the rear surface of the mobile terminal, the second camera 121b may be provided with a plurality of different angles of view (FOV).
  • FOV angles of view
  • a mobile terminal is equipped with a plurality of cameras having more than the number of ISP (Image Signal Process). In this case, it is impossible to capture an image at a time through multiple cameras.
  • ISP Image Signal Process
  • the plurality of cameras may include a wide angle camera, a normal angle camera, and a telephoto camera. However, in some cases, a camera having a different angle of view (FOV) may be further included.
  • FOV angle of view
  • an ISP corresponding to the number of the plurality of cameras must be included.
  • the present invention is to disclose a method of simultaneously outputting previews corresponding to at least two or more cameras through two ISPs.
  • the control unit may include two ISPs.
  • the control unit controls the display to output the multi-preview 230 in response to a first signal outputting the multi-preview 230 of the plurality of cameras, but a camera having a smaller angle of view than an open camera among the plurality of cameras
  • a preview of the opened camera may be generated by cropping the preview sensed by the off camera.
  • the mobile terminal outputs a preview sensed by the camera currently opened in the first region 210 of the display 200, and is included in the mobile terminal in the second region 220.
  • the multi-preview 230 corresponding to a plurality of cameras may be output.
  • 2 and 3 disclose an embodiment including three cameras (wide-angle, general-angle, and telephoto cameras) having different angles of view, but the number of the plurality of cameras is not limited to three.
  • the multi-preview 230 may include a preview 231 corresponding to an angle of view of a wide-angle camera, a preview 232 corresponding to an angle of view of a general-angle camera, and a preview 233 corresponding to an angle of view of a telephoto camera.
  • the mobile terminal according to the present invention includes two ISPs, the preview cannot be sensed simultaneously by three or more cameras.
  • the mobile terminal according to the present invention can reduce the number of ISPs required by cropping the preview sensed by the opened camera and generating a preview of the opened camera with a smaller angle of view than the opened camera.
  • the preview of the off camera cannot be generated by cropping the preview sensed by the open camera.
  • the mobile terminal according to the present invention can solve the above problem by further including one ISP separately from the ISP sensing the preview from the opened camera.
  • the controller of the mobile terminal according to the present invention may sense a preview by additionally opening the camera with the largest angle of view among the plurality of cameras when the camera with a larger angle of view than the opened one of the plurality of cameras is off. have.
  • the camera with the largest angle of view opened can sense the preview through a separate ISP.
  • the controller may generate a preview of the off camera by cropping the preview sensed by at least one of the two opened cameras when the camera with the largest angle of view among the bo-gu cameras is additionally opened.
  • FIG. 4 is a table 400 for showing an embodiment of a camera that is opened to create a multi-preview according to the present invention.
  • the table 400 of FIG. 4 displays a plurality of cameras as an angle of view on the first sheet 410, and a second sheet of cameras opened to output multi previews of the plurality of cameras 230 (see FIG. 2) ( 420) and the third sheet 430.
  • the table 400 of FIG. 4 shows an embodiment in which a plurality of cameras display three wide-angle cameras, a normal-angle camera, and a telephoto camera, but is the same as the process described below when the plurality of cameras is four or more.
  • the first area 210 when detecting the first signal outputting the multi preview 230 (see FIG. 2) (before outputting the multi preview 230), the first area 210, FIG. If the camera opened to output the preview in (see 2) is a wide-angle camera, there is no need to open an additional normal-angle camera and a telephoto camera. However, when the camera opened to output a preview to the first area 210 at the time of detecting the first signal is a normal angle camera, the light source camera is additionally opened. In addition, when the camera opened to output a preview to the first area 210 at the time of detecting the first signal is a telephoto camera, the light source camera is additionally opened.
  • a mobile terminal including three normal angle cameras and three telephoto cameras may open only the wide angle camera, the wide angle camera and the normal angle camera, or the wide angle camera to generate the multi-preview 230 through two ISPs.
  • the telephoto camera can be opened to generate a multi-preview 230.
  • a method of generating the multi-preview 230 in each case is as follows.
  • the preview of the remaining off-camera is the preview angle sensed by the wide-angle camera and the angle of view of the other off-camera.
  • FOV cropping in response to
  • the camera opened to output a preview to the first area 210 at the time of detecting the first signal is a normal angle camera
  • the preview of the telephoto camera turned off crops the preview sensed by the normal angle camera.
  • the wide-angle camera can sense the preview using an additional ISP.
  • the wide-angle camera senses the preview using an additional ISP and is turned off.
  • the preview of the normal angle camera may be generated by cropping the preview sensed by the additional wide-angle camera.
  • the mobile terminal according to the present invention detects the first signal and the camera opened to output a preview to the first area 210 at the time of detecting the first signal is the camera having the largest angle of view, the remaining off is performed using one ISP. If a camera opened to generate a preview of an old camera and output a preview to the first area 210 when the second signal is detected is not the camera with the largest angle of view, the camera with the largest angle of view is opened.
  • the preview is sensed through the other ISP, and the preview of the other off-camera can be created by cropping the preview sensed in the two open cameras.
  • the mobile terminal according to the present invention can simultaneously output previews of three or more cameras using only two ISPs.
  • FIG. 5 is a view comparing a field of view (FOV) of a wide-angle camera, a normal-angle camera, and a telephoto camera
  • FIG. 6 is a view showing a preview sensed by the wide-angle camera, the normal-angle camera, and the telephoto camera.
  • FOV field of view
  • a wide-angle camera, a normal-angle camera, and a telephoto camera can generate a preview by sensing the same subject at various angles of view in the same direction.
  • the wide angle camera's field of view (FOV 1, 510) is the widest, and the normal angle camera's field of view (FOV 2, 520) is included in the wide angle camera's field of view (FOV 1, 510), and the telephoto camera's field of view (FOV 3, 530). May be included in the field of view (FOV 3, 530) of the normal angle camera.
  • a preview of the off-angle and telephoto cameras may be generated through the preview sensed from the wide-angle camera.
  • FIG. 6 (a) shows a preview corresponding to a wide-angle camera
  • FIG. 6 (b) shows a preview corresponding to a general-angle camera
  • FIG. 6 (c) shows a preview corresponding to a telephoto camera.
  • the preview corresponding to each camera is the same size, when generating a preview of the off camera, it is necessary to crop the sensed preview and expand it to the size of the preview sensed when the off camera is opened.
  • cropping the sensed preview may reduce the quality of the expanded preview.
  • the multi-view intuitively provides only a view angle comparison with a plurality of live thumbnails output to correspond to a view angle of a plurality of cameras, so image quality is not important. That is, even if the sensed preview is cropped and the expanded preview is degraded, it is not a problem.
  • the multi preview 230 is output to the second area 220 (see FIG. 2) smaller than the first area 210 (see FIG. 2) that outputs the main preview, the image quality is problematic. Does not work.
  • FIG. 7 to 9 are views showing an embodiment of changing a main preview output to a mobile terminal through the multi-preview 230 according to the present invention.
  • the main preview output to the first area 210 is changed through the multi preview 230, it is necessary to change the opened camera.
  • the main preview output to the first area 210 is not a preview generated by cropping, but needs to be a preview sensed directly by an open camera. This is to provide a preview to the user without reducing image quality.
  • control unit included in the mobile terminal according to the present invention may change an open camera among a plurality of cameras in response to a second signal for selecting one of the multi previews 230.
  • the output of the main preview 230 is stopped in response to the second signal, only the camera corresponding to the preview selected in response to the second signal may be kept open or changed, and the remaining cameras may be turned off.
  • the camera corresponding to the selected preview may be opened, and the remaining opened cameras may be turned off. Since the multi preview 230 is not output, it is not necessary to operate both ISPs more than necessary to output the multi preview.
  • the camera corresponding to the selected preview may remain open, and if there is an open camera among the remaining cameras, it may be turned off.
  • control unit included in the mobile terminal according to the present invention maintains outputting the multi-preview 230 in response to the second signal, but the camera opened in response to the second signal has a larger angle of view than the camera having the largest angle of view. In this small case, the camera with the largest angle of view may remain open.
  • the controller may generate a preview of an off camera by cropping a camera sensed from a camera whose open state is changed in response to the second signal.
  • the multi-preview 230 may include a graphic effect 232 corresponding to the main preview output to the first area 210.
  • the graphic effect 232 disclosed in FIG. 7 is a graphic effect that darkly displays an outer angle of a preview corresponding to an angle of view of a camera sensing a main preview output to the first area 210 of the multi-preview 230, or a graphic effect ( 232) is not limited to this.
  • a mobile terminal 7 discloses an embodiment of a mobile terminal including a wide-angle camera, a general-angle camera, and a telephoto camera, but the number of cameras may be three or more.
  • the first display 200a is an embodiment in which the multi-preview 230 is output while the main preview is sensed by each general camera.
  • the second display 200b senses the main preview from the wide-angle camera in response to a second signal that selects (510) the preview 231 corresponding to the wide-angle camera's angle of view among the multi-preview 230 on the first display 200a. This is an embodiment of outputting the multi preview 230 in a state.
  • the third display 200c senses the main preview from the oblivion camera in response to a second signal that selects 510 a preview 233 corresponding to the view angle of the telephoto camera among the multi previews 230 on the second display 200b. This is an embodiment of outputting the multi preview 230 in a state.
  • the first display 200a has a wide-angle camera and a normal-angle camera open, and a telephoto camera is open.
  • the second display 200b is in a state where only a wide-angle camera is opened.
  • the third display 200c has a wide-angle camera and a telephoto camera open.
  • the opened camera may be changed.
  • the controller included in the mobile terminal according to the present invention may generate a preview of the off camera by cropping the preview preview sensed by the camera whose open state is changed in response to the second signal.
  • the first display 200a crops the preview sensed by the general-angle camera to generate a preview of the telephoto camera
  • the second display 200b crops the preview sensed by the wide-angle camera
  • the preview of the telephoto camera is generated
  • the third display 200c crops the preview sensed by the wide-angle camera to generate a preview of the normal-angle camera.
  • the open states of the plurality of cameras are changed, and accordingly, the preview generated by cropping may also be changed.
  • FIG. 8 is a diagram illustrating an embodiment in which the main preview output to the first area 210 is zoomed in or zoomed out and changed in response to the drag touch input 520.
  • the display 200a, 200b, 200c of the mobile terminal according to the present invention may include a touch screen that receives a touch input signal.
  • the control unit of the mobile terminal is a signal for drag input 520 by dragging the second region 220 in which the second signal for selecting one of the multi previews 230 outputs the multi preview 230 in one direction.
  • the main preview output to the first area 210 may be zoomed in or out, and an opened camera among a plurality of cameras included in the mobile terminal may be changed.
  • the first display 200a is an embodiment in which the multi-preview 230 is output while the main preview is sensed by each general camera.
  • the second display 200b receives the main preview from the wide-angle camera in response to the second signal dragging the touch input 520 from the first display 200a to the preview 231 corresponding to the wide-angle camera's angle of view among the multi-preview 230. This is an embodiment of outputting the multi preview 230 in the sensing state.
  • the third display 200c receives the main preview from the oblivion camera in response to a second signal that is dragged and touched 520 from the multi-view 230 on the second display 200b to the preview 233 corresponding to the telephoto camera's angle of view. This is an embodiment of outputting the multi preview 230 in the sensing state.
  • the third display 200c senses the main preview from the oblivion camera in response to a second signal that selects (510) the preview 233 corresponding to the view angle of the telephoto camera among the multi previews 230 on the second display 200b. This is an embodiment of outputting the multi preview 230 in a state.
  • the first display 200a has a wide-angle camera and a normal-angle camera open, and a telephoto camera is open.
  • the second display 200b is in a state where only a wide-angle camera is opened.
  • the third display 200c has a wide-angle camera and a telephoto camera open.
  • the main preview displayed on the first area 210 is zoomed out, and only a wide-angle camera may be changed to an open state.
  • the main preview displayed in the first area 210 is zoomed in, and only the wide-angle camera and each wide-angle camera are sequentially opened. And telephoto camera can be changed to open.
  • FIG. 8 is a silsing example in which the multi-preview 230 is maintained in response to the second signal, and the process of cropping to generate a preview is as described in FIG. 7.
  • FIG. 9 is a view showing an embodiment of displaying a multi-view 230 by touching the angle of view information icon 250 according to the present invention.
  • the display 200a, 200b of the mobile terminal according to the present invention may include a touch screen that receives a touch input signal.
  • the control unit of the mobile terminal according to the present invention is a signal for the first signal outputting the multi-preview 230 of a plurality of cameras to touch 530 the angle of view information icon 250 corresponding to the plurality of cameras for a predetermined time or more. You can.
  • the angle of view information icon 250 may include a wide angle angle of view information icon 251, a general angle angle of view information icon 252, and a telephoto angle of view information icon 253 to correspond to a plurality of cameras, respectively.
  • FIG. 9 is an embodiment in which a plurality of cameras includes only three wide-angle cameras, a general-angle camera, and a telephoto camera. If there are more than four cameras, four or more angle of view information icons 250 may be output correspondingly. You can.
  • a multi-preview 230 may be generated, and a main preview output to the first area 210 may be determined.
  • FIG. 9 touches (530) a telephoto angle of view information icon 253 more than a preset value while outputting a preview sensed by each normal camera as a main preview in the first area 210 on the first display 200a.
  • the main preview 230 is generated on the second display 200b and the main preview displayed on the first area 210 is changed to the preview sensed by the telephoto camera.
  • FIG. 10 is a diagram illustrating an embodiment in which a user pinches zoom in / out 540 with reference to the multi preview 230 according to the present invention.
  • FIG. 10 stops outputting the multi preview 230 to the second display 200b in response to a pinch zoom-in / out 540 signal from the first display 200a, and the angle of view information icon ( 250).
  • FIG. 11 is a view showing an embodiment of capturing a picture during recording through the multi-preview 230 according to the present invention.
  • the first display 200a is an embodiment in which one of the outputted multi previews 230 is touched (550a) for a predetermined time or more to record with a corresponding camera.
  • the second display 200b is an embodiment in which one of the far previews 230 is touched 550b below the preset time during recording to change the main preview output to the first area 210. However, even if the main preview is changed, the camera performing the recording may not be changed.
  • the third display 200c is an embodiment of capturing a picture during recording with a signal 550c for capturing a picture with the changed main preview.
  • FIGS. 12 to 14 are views showing an embodiment of capturing a picture at a time with a triple camera according to the present invention.
  • the function of a multimedia device is a very important function of taking a picture, and accordingly, a plurality of cameras providing various field of view (FOV) to a mobile terminal is mounted.
  • FOV field of view
  • a mobile terminal is equipped with a plurality of cameras having more than the number of ISP (Image Signal Process). In this case, it may be impossible to capture an image at a time through a plurality of cameras.
  • ISP Image Signal Process
  • the present invention intends to disclose a processor that captures photos at a time with a triple camera having a different angle of view using two ISPs and shortens the time.
  • the present invention is a mobile terminal including a triple camera consisting of FOV 1, FOV 2, and FOV 3, in which the field of view (FOV) is sequentially reduced, the display 200 outputting visual information, the triple camera And a control unit controlling the display 200, wherein the control unit detects a signal that simultaneously captures a subject for each FOV, and in response to the detected signal, opens the cameras of the FOV 1 and FOV 2, Each of the images is captured, and among the cameras of the FOV 1 and FOV 2, the camera that first captured the image is turned off, and the camera of the FOV 3 is opened to capture the image, but at least one of the cameras of the FOV 1 and FOV 2 It is possible to provide a mobile terminal characterized by using the acquired shooting setting value.
  • the control unit may include two ISPs.
  • the triple cameras composed of the FOV 1, the FOV 2, and the FOV 3 may correspond to a wide-angle camera, a normal-angle camera, and a telephoto camera, respectively.
  • FIG. 12 illustrates an embodiment in which a wide-angle camera and a normal-angle camera are simultaneously opened to capture an image, and the first wide-angle camera that captures the image is turned off, and at the same time a telephoto camera is opened to capture an image.
  • FIG. 13 captures an image by simultaneously opening a wide-angle camera and a normal-angle camera, first turns off the wide-angle camera in which the image is captured, and simultaneously opens a telephoto camera to capture the image, and the AE obtained from the wide-angle camera
  • FIG. 13 shows an embodiment in which the time required to auto focus in a wide-angle camera is shortened from 500 ms to 400 ms, and the total time required is shortened from 2050 to 2150 ms.
  • the mobile terminal of the present invention may further include a buffer unit for temporarily storing the shooting setting value.
  • control unit included in the mobile terminal of the present invention may transfer the shooting settings stored in the buffer unit to the camera of the FOV 3 to set the initial shooting settings of the FOV 3 .
  • the photographing setting value may include at least one of auto exposure value (AE), auto focus value (AF), and white balance.
  • control unit included in the mobile terminal of the present invention may acquire three images at a time by reflecting a preset shooting effect in each of the triple cameras.
  • the preset shooting effect may include at least one of metering and focus.
  • FIG. 14 is a view showing an embodiment of configuring the display 200 in the process of capturing a picture at a time with a triple camera according to the present invention.
  • the control unit included in the mobile terminal of the present invention may detect a signal that simultaneously captures a projectile for each FOV in response to pressing the photographing button once (560).
  • the first display 200a outputs a preview corresponding to the wide-angle camera of the first area 210, outputs a first indicator 270 indicating that the camera is shooting at once through the triple camera, and shoots at once through the triple camera.
  • a second indicator 270 indicating precautions may be displayed, and a processor for acquiring an image at a time through a triple camera may be started in response to pressing the photographing button once (560).
  • the second display 200b displays a third indicator 280 indicating the degree of shooting progress.
  • the third display 200c corresponds to a case in which shooting is started through a telephoto camera, and a preview of the telephoto camera can be output to the first area.
  • control unit included in the present invention can process the three images obtained from the triple camera in a preset order to generate one image, and the fourth display 200c may correspond thereto.
  • the fourth display 200c may finish capturing the image from the triple camera, and output a fourth indicator 290 indicating this while processing the image.
  • 15 is a view showing an embodiment of generating an image by applying a blur effect between images captured by a triple camera according to the present invention.
  • FIG. 15 (a) is a view comparing a field of view (FOV) of a wide-angle camera, a normal-angle camera, and a telephoto camera.
  • FOV field of view
  • a wide-angle camera, a normal-angle camera, and a telephoto camera can generate a preview by sensing the same subject at various angles of view in the same direction.
  • the wide angle camera's field of view (FOV 1, 510) is the widest, and the normal angle camera's field of view (FOV 2, 520) is included in the wide angle camera's field of view (FOV 1, 510), and the telephoto camera's field of view (FOV 3, 530). May be included in the field of view (FOV 3, 530) of the normal angle camera.
  • the control unit included in the mobile terminal of the present invention can generate the one image by applying a preset effect between three images obtained from the triple camera.
  • the preset effect may be at least one of Blur, warp and zoom effects.
  • FIG. 15 (b) shows an embodiment in which the image captured by the wide-angle camera is zoomed in from the image captured by the wide-angle camera to the image captured by the telephoto camera corresponding to the direction A in FIG. have.
  • the mobile terminal of the present invention further includes a memory for storing the generated image, and the control unit can control the memory to store three images acquired by the triple camera corresponding to the generated image, Editing can be facilitated. This will be described below.
  • 16 to 18 are views illustrating an embodiment of outputting the captured image in response to an image generated through an image captured by a triple camera according to the present invention.
  • the controller of the mobile terminal may control the display 200 to display three images corresponding to the generated image.
  • FIG. 16 may be a screen configuration corresponding to a step before playing an image generated by capturing at once with a triple camera on the display 200.
  • the display 200 may output a thumbnail 300 together with the playback button 310 of the generated image, and the thumbnail 300 is captured three times at a time with a thumbnail 320a and a triple camera of the generated image Thumbnails 320 images, 320c, and 320d may be included.
  • the display 200 may output an icon 330 related to the generated image.
  • the icon 330 related to the generated image includes a first icon 330a capable of displaying information related to the generated image, a second icon 330b capable of changing an effect used in the generated image, and the It may include at least one of a third icon 330c that can share the generated image and a third icon 330d that can delete the generated image. However, in some cases, an icon 330 performing another function may be further included.
  • FIG. 17 shows an embodiment of outputting the captured image in response to the generated image on the display 200.
  • the first display 200a represents an embodiment in which a thumbnail of an image generated in the first area 210 is output, and may correspond to the screen configuration of the display 200 of FIG. 16.
  • the second display 200b outputs the first image among the three images corresponding to the generated image to the first area 210 in response to the drag touch input 570 passing the screen on the first display 200a. It shows an example.
  • the third display 200c outputs a second image among the three images corresponding to the generated image in the first area 210 in response to the drag touch input 570 that flips the screen on the second display 200b. It shows an example.
  • the fourth display 200d outputs a third image among the three images corresponding to the generated image in the first area 210 in response to the drag touch input 570 that flips the screen on the third display 200c. It shows an example.
  • the fifth display 200e is an embodiment in which the next contents (Nest contents) are output in response to the drag touch input 570 that flips the screen on the fourth display (200d), wherein the next contents are the first to fourth displays ( Contents related to other images generated by a triple camera or different from images corresponding to 200a to 200d), or content related to images generated by re-editing images corresponding to the first to fourth displays 200a to 200d) You can.
  • a third image among the three images corresponding to the generated image may be output.
  • FIG. 18 shows another embodiment of outputting the captured image in response to the generated image on the display 200
  • the first display 200a represents an embodiment in which a thumbnail of an image generated in the first area 210 is output, and may correspond to the screen configuration of the display 200 of FIG. 16.
  • the second display 200b corresponds to the case where a thumbnail of the first image among the thumbnails 320 is selected 580 in the first display 200a, and the three corresponding to the generated image in the first area 210 are displayed. An embodiment of outputting a first image among images is shown.
  • the third display 200c corresponds to a case in which the thumbnail of the first image among the thumbnails 320 is selected 580 in the second display 200b, and the three corresponding to the generated image in the first area 210. An example of outputting a second image among images is shown.
  • the fourth display 200d corresponds to a case in which the thumbnail of the first image is selected 580 from the thumbnails 320 in the third display 200c, and the three corresponding to the generated image in the first area 210. An embodiment of outputting a third image among images is shown.
  • control unit included in the mobile terminal according to the present invention can re-edit the generated image by changing at least one of a preset effect, connection order, and repetition degree applied between three images corresponding to the generated image. have.
  • control unit of the mobile terminal the control unit XMP (Extensible Metadata Platform) metadata indicating the location of each of the three image files obtained from the triple camera at the beginning of the file corresponding to the generated image
  • control unit XMP Extensible Metadata Platform
  • the controller detects three image files acquired from the triple camera through the XMP metadata and re-edits them using the detected three image files. You can create an image.
  • control unit may add the detected three image files to the file tail corresponding to the re-edited image and store them in the memory.
  • control unit may add XMP (Extensible Metadata Platform) metadata indicating the location of each of the three detected image files to the beginning of a file corresponding to the re-edited image and store it in the memory.
  • XMP Extensible Metadata Platform
  • the singer controller may re-edit the generated image by changing at least one of an effect applied between the three detected images, a connection order, and a repetition degree.
  • FIG. 14 is a diagram showing an embodiment of re-editing an image generated through an image captured by a triple camera according to the present invention.
  • the first display 200a may correspond to the screen configuration of the display 200 of FIG. 16.
  • the second display 200b is a view showing an embodiment of displaying a changeable effect as a result of selecting (590) a second icon 330b that can change the effect used for the generated image in the first display 200a. .
  • the third display 200c is an embodiment showing that the second display 200b is reprocessing by selecting 590 an effect different from the effect used in the generated image.
  • 15 is a view showing an embodiment of generating an image with a triple camera using the multi-preview 230 according to the present invention.
  • the multi-preview 230 may be generated and output as described in FIG. 2.
  • the first display 200a shows an embodiment corresponding to this by dragging 600 a preview so far as to be positioned at the first of the order setting window 700.
  • the second display 200b shows an embodiment corresponding to this by dragging 600 of one preview away from the preview 230 to be positioned on the second of the order setting window 700.
  • the third display 200c shows an embodiment in which an order of creating an image is set by connecting an image captured by a triple camera to the order setting window 700, and the photographing button is touched 610 to generate the image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)
  • Telephone Function (AREA)
  • Piezo-Electric Or Mechanical Vibrators, Or Delay Or Filter Circuits (AREA)

Abstract

본 발명은 화각이 상이한 트리플 카메라를 포함하는 이동 단말기에 있어서, 한번의 촬영 신호를 통해 세 개의 이미지를 캡쳐하며 캡쳐 시간을 단축하기 위해, FOV(Field Of View)가 순차적으로 작아지는 FOV 1, FOV 2 및 FOV 3으로 이루어지는 트리플 카메라를 포함하는 이동 단말기에 있어서, 비주얼 정보를 출력하는 디스플레이, 상기 트리플 카메라 및 상기 디스플레이를 제어하는 제어부를 포함하고, 상기 제어부는 FOV 별로 피사체를 동시에 캡쳐하는 신호를 디텍트하고, 상기 디텍트된 신호에 대응하여, 상기 FOV 1 및 FOV 2의 카메라를 오픈하여 각각 이미지를 캡쳐하고, 상기 FOV 1 및 FOV 2의 카메라 중 먼저 이미지를 캡쳐한 카메라를 오프하고, 상기 FOV 3의 카메라를 오픈하여 이미지를 캡쳐하되, 상기 FOV 1 및 FOV 2의 카메라 중 적어도 하나에서 획득한 촬영 설정값을 이용하는 것을 특징으로 하는 이동 단말기.

Description

이동 단말기
본 발명은 이동 단말기에 관한 것이다. 보다 상세하게는, 화각이 상이한 트리플 카메라를 포함하는 이동 단말기에서 한번의 촬영 신호를 통해 세 개의 이미지를 캡쳐하며 챕쳐 시간을 단축하는 기술 분야에 적용이 가능하다.
단말기는 이동 가능여부에 따라 이동 단말기(mobile/portable terminal) 및 고정 단말기(stationary terminal)으로 나뉠 수 있다. 다시 이동 단말기는 사용자의 직접 휴대 가능 여부에 따라 휴대(형) 단말기(handheld terminal) 및 거치형 단말기(vehicle mounted terminal)로 나뉠 수 있다.
이동 단말기의 기능은 다양화 되고 있다. 예를 들면, 데이터와 음성통신, 카메라를 통한 사진촬영 및 비디오 촬영, 음성녹음, 스피커 시스템을 통한 음악파일 재생 그리고 디스플레이부에 이미지나 비디오를 출력하는 기능이 있다. 일부 단말기는 전자게임 플레이 기능이 추가되거나, 멀티미디어 플레이어 기능을 수행한다. 특히 최근의 이동 단말기는 방송과 비디오나 텔레비전 프로그램과 같은 시각적 컨텐츠를 제공하는 멀티캐스트 신호를 수신할 수 있다.
이와 같은 단말기(terminal)는 기능이 다양화됨에 따라 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다.
멀티미디어 기기의 기능이 하나로 사진촬영 기능을 매우 중요한 기능이며, 이에 따라 이동 단말기에 다양한 화각(Field Of View, FOV)을 제공하는 복수의 카메라를 탑재하고 있는 실정이다.
최근 이동 단말기는 ISP(Image Signal Process)의 개수 보다 많은 복수의 카메라를 탑재하고 있는 실정이다. 이 경우, 복수의 카메라를 통해 한번에 이미지를 캡쳐하는 것이 불가능할 수 있다.
또한, 복수의 카메라에서 오픈된 카메라를 변경하여 이미지를 캡쳐하더라도 챕쳐 시간이 오래 걸리는 문제점이 있어, 이를 개선할 필요가 있다.
본 발명은 화각이 상이한 트리플 카메라를 포함하는 이동 단말기에 있어서, 한번의 촬영 신호를 통해 세 개의 이미지를 캡쳐하며 캡쳐 시간을 단축하는 것을 목적으로 한다.
본 발명의 일 실시예에 따라 FOV(Field Of View)가 순차적으로 작아지는 FOV 1, FOV 2 및 FOV 3으로 이루어지는 트리플 카메라를 포함하는 이동 단말기에 있어서, 비주얼 정보를 출력하는 디스플레이, 상기 트리플 카메라 및 상기 디스플레이를 제어하는 제어부를 포함하고, 상기 제어부는 FOV 별로 피사체를 동시에 캡쳐하는 신호를 디텍트하고, 상기 디텍트된 신호에 대응하여, 상기 FOV 1 및 FOV 2의 카메라를 오픈하여 각각 이미지를 캡쳐하고, 상기 FOV 1 및 FOV 2의 카메라 중 먼저 이미지를 캡쳐한 카메라를 오프하고, 상기 FOV 3의 카메라를 오픈하여 이미지를 캡쳐하되, 상기 FOV 1 및 FOV 2의 카메라 중 적어도 하나에서 획득한 촬영 설정값을 이용하는 것을 특징으로 하는 이동 단말기를 제공한다.
본 발명의 다른 실시에에 따라 상기 이동 단말기는 상기 촬영 설정값을 임시로 저장하는 버퍼부를 더 포함하는 것을 특징으로 하는 이동 단말기를 제공한다.
본 발명의 다른 실시에에 따라 상기 제어부는 상기 FOV 3의 카메라가 오픈되면, 상기 버퍼부에 저장된 촬영 설정값을 상기 FOV 3의 카메라로 전달하여 상기 FOV 3의 초기 촬영 설정값을 설정하는 것을 특징으로 한다.
본 발명의 다른 실시에에 따라 상기 촬영 설정값은 AE(auto exposure value), AF(auto focus value) 및 white balance 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명의 다른 실시에에 따라 상기 제어부는 촬영버튼을 한번 누름에 대응하여 FOV 별로 파사체를 동시에 캡쳐하는 신호를 디텍트하는 것을 특징으로 한다.
본 발명의 다른 실시에에 따라 상기 제어부는 상기 트리플 카메라 각각에 기 설정된 촬영 효과를 반영하여 세 개의 이미지를 한번에 획득하는 것을 특징으로 한다.
본 발명의 다른 실시에에 따라 상기 트리플 카메라에서 획득한 세 개의 이미지를 기 설정 순서로 가공하여 하나의 영상을 생성하는 것을 특징으로 한다.
본 발명의 다른 실시에에 따라 상기 제어부는 상기 트리플 카메라에서 획득한 세 개의 이미지 사이에 기 설정 효과를 적용하여 상기 하나의 영상을 생성하는 것을 특징으로 한다.
본 발명의 다른 실시에에 따라 상기 기 설정 효과는 Blur, warp 및 zoom 효과 중 적어도 하나인 것을 특징으로 한다.
본 발명의 다른 실시에에 따라 상기 이동 단말기는 상기 생성된 영상을 저장하는 메모리를 더 포함하고, 상기 제어부는 상기 생성된 영상에 대응하여 상기 트리플 카메라에서 획득한 세 개의 이미지를 저장하도록 상기 메모리를 제어하는 것을 특징으로 한다.
본 발명의 다른 실시에에 따라 상기 제어부는 상기 생성된 영상을 재편집하는 경우, 상기 생성된 영상에 대응하는 세 개의 이미지를 표시하도록 상기 디스플레이를 제어하는 것을 특징으로 한다.
본 발명의 다른 실시에에 따라 상기 제어부는 상기 생성된 영상을 재편집하는 경우, 재편집한 영상에 상기 생성된 영상에 대응되는 세 개의 이미지를 대응하여 저장하도록 상기 메모리를 제어하는 것을 특징으로 한다.
본 발명의 다른 실시에에 따라 상기 제어부는 상기 생성된 영상에 대응하는 세 개의 이미지 사이에 적용된 기 설정 효과, 연결 순서 및 반복 정도 중 적어도 하나를 변경하여 상기 생성된 영상을 재편집하는 것을 특징으로 한다.
본 발명에 따른 이동 단말기의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 한번의 촬영 신호를 통해 트리플 카메라 각각에서 캡쳐된 이미지를 획득할 수 있다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 트리플 카메라에서 이미지를 캡여하는데 소용되는 시간을 단축할 수 있다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 트리플 카메라에서 캡쳐된 이미지를 가공하여 영상을 형성하고, 이를 편리하게 재편집할 수 있다.
본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 해당 기술 분야의 통상의 기술자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.
도 1a는 본 발명과 관련된 이동 단말기를 설명하기 위한 블록도이다.
도 1b 및 1c는 본 발명과 관련된 이동 단말기의 일 예를 서로 다른 방향에서 바라본 개념도이다.
도 2및 3은 본 발명에 따라 복수의 카메라의 멀티 프리뷰를 디스플레이하는 실시예를 나타내기 위한 도면이다.
도 4는 본 발명에 따라 멀티 프리뷰를 생성하기 위해 오픈되는 카메라의 실시예를 나타내기 위한 도면이다.
도 5 및 6은 본 발명에 따라 오픈된 카메라에서 센싱된 프리뷰 및 오픈된 카메라에서 센싱된 프리뷰를 크롭핑하여 생성된 오프된 카메라의 프리뷰의 실시예를 나타내기 위한 도면이다.
도 7 내지 9는 본 발명에 따라 트리플 카메라로 한번에 사진을 캡쳐하는 실시예를 나타내는 도면이다.
도 10은 본 발명에 따라 트리플 카메라로 캡쳐된 이미지 사이에 블러 효과를 적용하여 영상을 생성하는 실시예를 나타내는 도면이다.
도 11 내지 13는 본 발명에 따라 트리플 카메라로 캡쳐된 이미지를 통해 생성된 영상에 대응하여 상기 캡쳐된 이미지를 출력하는 실시예를 나타내는 도면이다.
도 14은 본 발명에 따라 트리플 카메라로 캡쳐된 이미지를 통해 생성된 영상을 재편집하는 실시예를 나타내는 도면이다.
도 15는 본 발명에 따라 멀티 프리뷰를 이용하여 트리플 카메라고 이미지를 캡쳐하고, 영상을 생성하는 실시예를 나타내는 도면이다
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 명세서에서 설명되는 이동 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등이 포함될 수 있다.
그러나, 본 명세서에 기재된 실시 예에 따른 구성은 이동 단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 해당 기술 분야의 통상의 기술자라면 쉽게 알 수 있을 것이다.
도 1a 내지 도 1c를 참조하면, 도 1a는 본 발명과 관련된 이동 단말기를 설명하기 위한 블록도이고, 도 1b 및 1c는 본 발명과 관련된 이동 단말기의 일 예를 서로 다른 방향에서 바라본 개념도이다.
상기 이동 단말기(100)는 무선 통신부(110), 입력부(120), 센싱부(140), 출력부(150), 인터페이스부(160), 메모리(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1a에 도시된 구성요소들은 이동 단말기를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 이동 단말기는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
보다 구체적으로, 상기 구성요소들 중 무선 통신부(110)는, 이동 단말기(100)와 무선 통신 시스템 사이, 이동 단말기(100)와 다른 이동 단말기(100) 사이, 또는 이동 단말기(100)와 외부서버 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 무선 통신부(110)는, 이동 단말기(100)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.
이러한 무선 통신부(110)는, 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114), 위치정보 모듈(115) 중 적어도 하나를 포함할 수 있다.
입력부(120)는, 영상 신호 입력을 위한 카메라(121) 또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰(microphone, 122), 또는 오디오 입력부, 사용자로부터 정보를 입력받기 위한 사용자 입력부(123, 예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.
센싱부(140)는 이동 단말기 내 정보, 이동 단말기를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(140)는 근접센서(141, proximity sensor), 조도 센서(142, illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라(121 참조)), 마이크로폰(microphone, 122 참조), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 이동 단말기는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이(151), 음향 출력부(152), 햅팁 모듈(153), 광 출력부 중 적어도 하나를 포함할 수 있다. 디스플레이(151)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 이동 단말기(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(123)로써 기능함과 동시에, 이동 단말기(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
인터페이스부(160)는 이동 단말기(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부(160)는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다. 이동 단말기(100)에서는, 상기 인터페이스부(160)에 외부 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절할 제어를 수행할 수 있다.
또한, 메모리(170)는 이동 단말기(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(170)는 이동 단말기(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 이동 단말기(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 이동 단말기(100)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 이동 단말기(100)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(170)에 저장되고, 이동 단말기(100) 상에 설치되어, 제어부(180)에 의하여 상기 이동 단말기의 동작(또는 기능)을 수행하도록 구동될 수 있다.
제어부(180)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 이동 단말기(100)의 전반적인 동작을 제어한다. 제어부(180)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(170)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
또한, 제어부(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 도 1a와 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(180)는 상기 응용 프로그램의 구동을 위하여, 이동 단말기(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.
전원공급부(190)는 제어부(180)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 이동 단말기(100)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(190)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체 가능한 형태의 배터리가 될 수 있다.
상기 각 구성요소들 중 적어도 일부는, 이하에서 설명되는 다양한 실시 예들에 따른 이동 단말기의 동작, 제어, 또는 제어방법을 구현하기 위하여 서로 협력하여 동작할 수 있다. 또한, 상기 이동 단말기의 동작, 제어, 또는 제어방법은 상기 메모리(170)에 저장된 적어도 하나의 응용 프로그램의 구동에 의하여 이동 단말기 상에서 구현될 수 있다.
도 1 b 및 1c는 펼쳐진 상태의 폴더블 방식의 이동 단말기에서의 기본적인 특징에 대해 설명한다.
이동 단말기(100)에는 디스플레이(151), 제1 및 제2 음향 출력부(152a, 152b), 근접 센서(141), 조도 센서(142), 광 출력부(154), 제1 및 제2 카메라(121a, 121b), 제1 및 제2 조작유닛(123a, 123b), 마이크로폰(122), 인터페이스부(160) 등이 구비될 수 있다.
이하에서는, 도 1b 및 도 1c에 도시된 바와 같이, 단말기 바디의 전면에 디스플레이(151), 제1 음향 출력부(152a), 근접 센서(141), 조도 센서(142), 광 출력부, 제1 카메라(121a) 및 제1 조작유닛(123a)이 배치되고, 단말기 바디의 측면에 제2 조작유닛(123b), 마이크로폰(122) 및 인터페이스부(160)이 배치되며, 단말기 바디의 후면에 제2 음향 출력부(152b) 및 제2 카메라(121b)가 배치된 이동 단말기(100)를 일 예로 들어 설명한다.
다만, 이들 구성은 이러한 배치에 한정되는 것은 아니다. 이들 구성은 필요에 따라 제외 또는 대체되거나, 다른 면에 배치될 수 있다. 예를 들어, 단말기 바디의 전면에는 제1 조작유닛(123a)이 구비되지 않을 수 있으며, 제2 음향 출력부(152b)는 단말기 바디의 후면이 아닌 단말기 바디의 측면에 구비될 수 있다.
디스플레이(151)는 이동 단말기(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 디스플레이(151)는 이동 단말기(100)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.
디스플레이(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
또한, 디스플레이(151)는 이동 단말기(100)의 구현 형태에 따라 2개 이상 존재할 수 있다. 이 경우, 이동 단말기(100)에는 복수의 디스플레이들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.
디스플레이(151)는 터치 방식에 의하여 제어 명령을 입력 받을 수 있도록, 디스플레이(151)에 대한 터치를 감지하는 터치센서를 포함할 수 있다. 이를 이용하여, 디스플레이(151)에 대하여 터치가 이루어지면, 터치센서는 상기 터치를 감지하고, 제어부(180)는 이에 근거하여 상기 터치에 대응하는 제어명령을 발생시키도록 이루어질 수 있다. 터치 방식에 의하여 입력되는 내용은 문자 또는 숫자이거나, 각종 모드에서의 지시 또는 지정 가능한 메뉴항목 등일 수 있다.
한편, 터치센서는, 터치패턴을 구비하는 필름 형태로 구성되어 디스플레이(151)를 덮는 윈도우(151a)와 디스플레이(151)를 구성하는 복수의 레이어 사이에 배치되거나, 윈도우(151a)의 배면에 직접 패터닝되는 메탈 와이어가 될 수도 있다. 또는, 터치센서는 디스플레이와 일체로 형성될 수 있다. 예를 들어, 터치센서는, 디스플레이의 기판 상에 배치되거나, 디스플레이의 내부에 구비될 수 있다.
이처럼, 디스플레이(151)는 터치센서와 함께 터치 스크린을 형성할 수 있으며, 이 경우에 터치 스크린은 사용자 입력부(123, 도 1a 참조)로 기능할 수 있다. 경우에 따라, 터치 스크린은 제1조작유닛(123a)의 적어도 일부 기능을 대체할 수 있다.
제1 음향 출력부(152a)는 통화음을 사용자의 귀에 전달시키는 리시버(receiver)로 구현될 수 있으며, 제2 음향 출력부(152b)는 각종 알람음이나 멀티미디어의 재생음을 출력하는 라우드 스피커(loud speaker)의 형태로 구현될 수 있다.
디스플레이(151)의 윈도우(151a)에는 제1 음향 출력부(152a)로부터 발생되는 사운드의 방출을 위한 음향홀이 형성될 수 있다. 다만, 본 발명은 이에 한정되는 것은 아니고, 상기 사운드는 구조물 간의 조립틈(예를 들어, 윈도우(151a)와 프론트 케이스(101) 간의 틈)을 따라 방출되도록 구성될 수 있다. 이 경우, 외관상 음향 출력을 위하여 독립적으로 형성되는 홀이 보이지 않거나 숨겨져 이동 단말기(100)의 외관이 보다 심플해질 수 있다.
광 출력부는 이벤트의 발생시 이를 알리기 위한 빛을 출력하도록 이루어진다. 상기 이벤트의 예로는 메시지 수신, 호 신호 수신, 부재중 전화, 알람, 일정 알림, 이메일 수신, 애플리케이션을 통한 정보 수신 등을 들 수 있다. 제어부(180)는 사용자의 이벤트 확인이 감지되면, 빛의 출력이 종료되도록 광 출력부를 제어할 수 있다.
제1 카메라(121a)는 촬영 모드 또는 화상통화 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이(151)에 표시될 수 있으며, 메모리(170)에 저장될 수 있다.
제1 및 제2 조작유닛(123a, 123b)은 이동 단말기(100)의 동작을 제어하기 위한 명령을 입력 받기 위해 조작되는 사용자 입력부(123)의 일 예로서, 조작부(manipulating portion)로도 통칭될 수 있다. 제1 및 제2 조작유닛(123a, 123b)은 터치, 푸시, 스크롤 등 사용자가 촉각적인 느낌을 받으면서 조작하게 되는 방식(tactile manner)이라면 어떤 방식이든 채용될 수 있다. 또한, 제1 및 제2 조작유닛(123a, 123b)은 근접 터치(proximity touch), 호버링(hovering) 터치 등을 통해서 사용자의 촉각적인 느낌이 없이 조작하게 되는 방식으로도 채용될 수 있다.
본 도면에서는 제1 조작유닛(123a)이 터치키(touch key)인 것으로 예시하나, 본 발명이 이에 한정되는 것은 아니다. 예를 들어, 제1 조작유닛(123a)은 푸시키(mechanical key)가 되거나, 터치키와 푸시키의 조합으로 구성될 수 있다.
제1 및 제2 조작유닛(123a, 123b)에 의하여 입력되는 내용은 다양하게 설정될 수 있다. 예를 들어, 제1 조작유닛(123a)은 메뉴, 홈키, 취소, 검색 등의 명령을 입력 받고, 제2 조작유닛(123b)은 제1 또는 제2 음향 출력부(152a, 152b)에서 출력되는 음향의 크기 조절, 디스플레이(151)의 터치 인식 모드로의 전환 등의 명령을 입력 받을 수 있다.
한편, 단말기 바디의 후면에는 사용자 입력부(123)의 다른 일 예로서, 후면 입력부(미도시)가 구비될 수 있다. 이러한 후면 입력부는 이동 단말기(100)의 동작을 제어하기 위한 명령을 입력 받기 위해 조작되는 것으로서, 입력되는 내용은 다양하게 설정될 수 있다. 예를 들어, 전원의 온/오프, 시작, 종료, 스크롤 등과 같은 명령, 제1 및 제2 음향 출력부(152a, 152b)에서 출력되는 음향의 크기 조절, 디스플레이(151)의 터치 인식 모드로의 전환 등과 같은 명령을 입력 받을 수 있다. 후면 입력부는 터치입력, 푸시입력 또는 이들의 조합에 의한 입력이 가능한 형태로 구현될 수 있다.
후면 입력부는 단말기 바디의 두께방향으로 전면의 디스플레이(151)와 중첩되게 배치될 수 있다. 일 예로, 사용자가 단말기 바디를 한 손으로 쥐었을 때 검지를 이용하여 용이하게 조작 가능하도록, 후면 입력부는 단말기 바디의 후면 상단부에 배치될 수 있다. 다만, 본 발명은 반드시 이에 한정되는 것은 아니며, 후면 입력부의 위치는 변경될 수 있다.
이처럼 단말기 바디의 후면에 후면 입력부가 구비되는 경우, 이를 이용한 새로운 형태의 유저 인터페이스가 구현될 수 있다. 또한, 앞서 설명한 터치 스크린 또는 후면 입력부가 단말기 바디의 전면에 구비되는 제1 조작유닛(123a)의 적어도 일부 기능을 대체하여, 단말기 바디의 전면에 제1 조작유닛(123a)이 미배치되는 경우, 디스플레이(151)가 보다 대화면으로 구성될 수 있다.
한편, 이동 단말기(100)에는 사용자의 지문을 인식하는 지문인식센서(143)가 구비될 수 있으며, 제어부(180)는 지문인식센서(143)를 통하여 감지되는 지문정보를 인증수단으로 이용할 수 있다. 상기 지문인식센서는 디스플레이(151) 또는 사용자 입력부(123)에 내장될 수도 있고, 별도의 위치에 구비될 수도 있다.
마이크로폰(122)은 사용자의 음성, 기타 소리 등을 입력 받도록 이루어진다. 마이크로폰(122)은 복수의 개소에 구비되어 스테레오 음향을 입력 받도록 구성될 수 있다.
인터페이스부(160)는 이동 단말기(100)를 외부기기와 연결시킬 수 있는 통로가 된다. 예를 들어, 인터페이스부(160)는 다른 장치(예를 들어, 이어폰, 외장 스피커)와의 연결을 위한 접속단자, 근거리 통신을 위한 포트[예를 들어, 적외선 포트(IrDA Port), 블루투스 포트(Bluetooth Port), 무선 랜 포트(Wireless LAN Port) 등], 또는 이동 단말기(100)에 전원을 공급하기 위한 전원공급단자 중 적어도 하나일 수 있다. 이러한 인터페이스부(160)는 SIM(Subscriber Identification Module) 또는 UIM(User Identity Module), 정보 저장을 위한 메모리 카드 등의 외장형 카드를 수용하는 소켓의 형태로 구현될 수도 있다.
단말기 바디의 후면에는 제2카메라(121b)가 배치될 수 있다. 이 경우, 제2카메라(121b)는 제1카메라(121a)와 실질적으로 반대되는 촬영 방향을 가지게 된다.
제2카메라(121b)는 적어도 하나의 라인을 따라 배열되는 복수의 렌즈를 포함할 수 있다. 복수의 렌즈는 행렬(matrix) 형식으로 배열될 수도 있다. 이러한 카메라는, '어레이(array) 카메라'로 명명될 수 있다. 제2카메라(121b)가 어레이 카메라로 구성되는 경우, 복수의 렌즈를 이용하여 다양한 방식으로 영상을 촬영할 수 있으며, 보다 나은 품질의 영상을 획득할 수 있다.
플래시(124)는 제2카메라(121b)에 인접하게 배치될 수 있다. 플래시(124)는 제2카메라(121b)로 피사체를 촬영하는 경우에 피사체를 향하여 빛을 비추게 된다.
단말기 바디에는 제2 음향 출력부(152b)가 추가로 배치될 수 있다. 제2 음향 출력부(152b)는 제1 음향 출력부(152a)와 함께 스테레오 기능을 구현할 수 있으며, 통화시 스피커폰 모드의 구현을 위하여 사용될 수도 있다.
단말기 바디에는 무선 통신을 위한 적어도 하나의 안테나가 구비될 수 있다. 안테나는 단말기 바디에 내장되거나, 케이스에 형성될 수 있다. 예를 들어, 방송 수신 모듈(111, 도 1a 참조)의 일부를 이루는 안테나는 단말기 바디에서 인출 가능하게 구성될 수 있다. 또는, 안테나는 필름 타입으로 형성되어 후면 커버(103)의 내측면에 부착될 수도 있고, 도전성 재질을 포함하는 케이스가 안테나로서 기능하도록 구성될 수도 있다.
단말기 바디에는 이동 단말기(100)에 전원을 공급하기 위한 전원 공급부(190, 도 1a 참조)가 구비된다. 전원 공급부(190)는 단말기 바디에 내장되거나, 단말기 바디의 외부에서 착탈 가능하게 구성되는 배터리(191)를 포함할 수 있다.
배터리(191)는 인터페이스부(160)에 연결되는 전원 케이블을 통하여 전원을 공급받도록 구성될 수 있다. 또한, 배터리(191)는 무선충전기기를 통하여 무선충전 가능하도록 구성될 수도 있다. 상기 무선충전은 자기유도방식 또는 공진방식(자기공명방식)에 의하여 구현될 수 있다.
한편, 본 도면에서는 후면 커버(103)가 배터리(191)를 덮도록 리어 케이스(102)에 결합되어 배터리(191)의 이탈을 제한하고, 배터리(191)를 외부 충격과 이물질로부터 보호하도록 구성된 것을 예시하고 있다. 배터리(191)가 단말기 바디에 착탈 가능하게 구성되는 경우, 후면 커버(103)는 리어 케이스(102)에 착탈 가능하게 결합될 수 있다.
도 2및 3은 본 발명에 따라 복수의 카메라의 멀티 프리뷰(230)를 디스플레이하는 실시예를 나타내기 위한 도면이다.
멀티미디어 기기의 기능이 하나로 사진촬영 기능을 매우 중요한 기능이며, 이에 따라 이동 단말기에 다양한 화각(Field Of View, FOV)을 제공하는 복수의 카메라를 탑재하고 있는 실정이다.
복수의 카메라는 이동 단말기의 일면에 포함되어 동일한 피사체를 화각에 따라 이미지를 캡쳐할 수 있다.
도 1c는 이동 단말기의 배면에 하나의 제2 카메라(121b)를 포함하는 실시예를 도시하고 있으나, 제2 카메라(121b)는 화각(FOV)를 달리하여 복수개가 구비될 수 있다.
최근 이동 단말기는 ISP(Image Signal Process)의 개수 보다 많은 복수의 카메라를 탑재하고 있는 실정이다. 이 경우, 복수의 카메라를 통해 한번에 이미지를 캡쳐하는 것이 불가능하다.
복수의 카메라는 광각 카메라, 일반각 카메라, 망원 카메라를 포함할 수 있다. 다만, 경우에 따라서는 화각(FOV)를 달리하는 카메라를 더 포함할 수 있다.
복수의 카메라에서 센싱된 프리뷰를 이동단말기의 디스플레이(200)에 동시에 출력하기 위해서는 복수의 카메라의 개수에 대응되는 개수의 ISP를 포함해야 한다.
예를 들어, 광각 카메라, 일반각 카메라, 망원 카메라 각각을 통해 센싱된 프리뷰를 이동단말기의 디스플레이(200)에 동시에 출력하기 위해서는 각각의 카메라에서 이미지 신호를 수신하는 ISP가 세 개 필요하다.
다만, ISP를 복수의 카메라의 개수에 맞춰 구비하는 것은 ISP의 개수의 증가에 따른 비용 증가, 이동 단말기의 크기 증가, 전력 소모 증가, 처리 속도 저하 등에 문제가 발생하는바 바람직하지 않다.
따라서, 본 발명은 두 개의 ISP를 통해 적어도 두 개 이상의 복수의 카메라에 대응되는 프리뷰를 동시에 출력하는 방법을 개시하고자 한다.
이를 위해, 본 발명에 따라 화각(FOV)이 상이한 복수의 카메라를 포함하는 이동 단말기에 있어서, 상기 복수의 카메라 중 오픈된 카메라에서 센싱된 프리뷰를 출력하는 디스플레이(200), 그리고, 상기 복수의 카메라 및 상기 디스플레이(200)를 제어하는 제어부를 포함할 수 있다.
상기 제어부는 두 개의 ISP를 포함할 수 있다.
상기 제어부는 상기 복수의 카메라의 멀티 프리뷰(230)를 출력하는 제1 신호에 대응하여 상기 멀티 프리뷰(230)를 출력하도록 상기 디스플레이를 제어하되, 상기 복수의 카메라 중 오픈된 카메라보다 작은 화각의 카메라가 오프된 경우, 상기 오프된 카메라에서 센싱된 프리뷰를 크롭핑하여 상기 오픈된 카메라의 프리뷰를 생성할 수 있다.
구체적으로, 도 2 및 3을 살펴보면, 이동 단말기는 디스플레이(200)의 제1 영역(210)에 현재 오픈되어 있는 카메라에서 센싱된 프리뷰를 출력하고, 제2 영역(220)에 이동 단말기에 포함된 복수의 카메라에 대응되는 멀티 프리뷰(230)를 출력할 수 있다.
도 2 및 3은 화각이 상이한 복수의 카메라를 세 개(광각, 일반각, 망원 카메라) 포함하는 실시예를 개시하고 있으나, 복수의 카메라 개 수는 세 개에 한정되지 않는다.
멀티 프리뷰(230)은 광각 카메라의 화각에 대응되는 프리뷰(231), 일반각 카메라의 화각에 대응되는 프리뷰(232) 및 망원 카메라의 화각에 대응되는 프리뷰(233)를 포함할 수 있다.
본 발명에 따른 이동 단말기는 ISP를 두 개 포함하고 있기 때문에, 세 개 이상의 카메라에서 프리뷰를 동시에 센싱할 수 없다.
따라서, 본 발명에 따른 이동 단말기는 오픈된 카메라에서 센싱된 프리뷰를 크롭핑하여 상기 오픈된 카메라보다 화각이 작고 오픈된 카메라의 프리뷰를 생성하여 필요한 ISP 개수를 줄일 수 있다.
다만, 오픈된 카메라보다 오프된 카메라가가 화각이 큰 경우, 오픈된 카메라에서 센싱된 프리뷰를 크롭핑하여 오프된 카메라의 프리뷰를 생성할 수 없다.
따라서, 본 발명에 따른 이동 단말기는 오픈된 카메라에서 프리뷰를 센싱하는 ISP에 별도로 하나의 ISP를 더 포함하여 상기 문제점을 해결할 수 있다.
구체적으로, 본 발명에 따른 이동 단말기의 제어부는 상기 복수의 카메라 중 오픈된 카메라보다 큰 화각의 카메라가 오프된 경우, 상기 복수의 카메라 중 가장 큰 화각의 카메라를 추가로 오픈하여 프리뷰를 센싱할 수 있다.
추가로 오픈된 가장 큰 화각의 카메라는 별도로 구비된 ISP를 통해 프리뷰를 센싱할 수 있다.
제어부는 상기 보구의 카메라 중 가장 큰 화각의 카메라를 추가로 오픈한 경우, 오픈된 두 개의 카메라 중 적어도 하나에서 센싱된 프리뷰를 크롭핑하여 오프된 카메라의 프리뷰를 생성할 수 있다.
이하에서, 상기 제1 신호를 수신할 때 오픈된 카메라에 대응하여 추가로 카메라를 오픈하는 프로세스 및 센싱된 프리뷰를 크롭핑하는 실시예를 설명한다.
도 4는 본 발명에 따라 멀티 프리뷰를 생성하기 위해 오픈되는 카메라의 실시예를 나타내기 위한 테이블(400)이다.
도 4의 테이블(400)은 복수의 카메라를 제1 시트(410)에 화각으로 표시하고, 상기 복수의 카메라의 멀티 프리뷰(230, 도 2 참조)를 출력하기 위해 오픈되는 카메라를 제2시트(420) 및 제3 시트(430)로 표시하고 있다.
도 4의 테이블(400)은 복수의 카메라가 광각 카메라, 일반각 카메라 및 망원 카메라 세 개를 표시하는 실시예를 나타내고 있지만, 복수의 카메라가 네 개 이상인 경우에서 이하에서 설명하는 프로세스와 같다.
도 4의 테이블(400)을 구체적으로 살펴보면, 멀티 프리뷰(230, 도 2 참조)를 출력하는 제1 신호를 디텍트할 당시(멀티 프리뷰(230)를 출력하기 전) 제1 영역(210, 도 2 참조)에 프리뷰를 출력하기 위해 오픈된 카메라가 광각 카메라인 경우, 일반각 카메라와 망원 카메라를 추가로 오픈할 필요가 없다. 다만, 상기 제1 신호를 디텍트할 당시 제1 영역(210)에 프리뷰를 출력하기 위해 오픈된 카메라가 일반각 카메라인 경우, 광원 카메라를 추가로 오픈한다. 또한, 상기 제1 신호를 디텍트할 당시 제1 영역(210)에 프리뷰를 출력하기 위해 오픈된 카메라가 망원 카메라인 경우, 광원 카메라를 추가로 오픈한다.
따라서, 일반각 카메라 및 망원 카메라 세 개를 포함하는 이동 단말기는 두 개의 ISP를 통해 멀티 프리뷰(230)를 생성하기 위해, 광각 카메라만 오픈되거나, 광각 카메라와 일반각 카메라가 오픈되거나, 광각 카메라와 망원 카메라가 오픈하여 멀티 프리뷰(230)를 생성할 수 있다.
구체적으로, 각각의 경우에 멀티 프리뷰(230)를 생성하는 방법을 설명하면 다음과 같다.
상기 제1 신호를 디텍트할 당시 제1 영역(210)에 프리뷰를 출력하기 위해 오픈된 카메라가 광각 카메라인 경우, 나머지 오프된 카메라의 프리뷰는 광각 카메라에서 센싱된 프리뷰를 나머지 오프된 카메라의 화각(FOV)에 대응하여 클롭핑하여 나머지 오프된 카메라의 프리뷰를 생성할 수 있다.
또한, 상기 제1 신호를 디텍트할 당시 제1 영역(210)에 프리뷰를 출력하기 위해 오픈된 카메라가 일반각 카메라인 경우, 오프된 망원 카메라의 프리뷰는 일반각 카메라에서 센싱된 프리뷰를 크롭핑하여 생성하고, 광각 카메라는 추가로 구비하는 ISP를 이용하여 프리뷰를 센싱할 수 있다.
또한, 상기 제1 신호를 디텍트할 당시 제1 영역(210)에 프리뷰를 출력하기 위해 오픈된 카메라가 망원 카메라인 경우, 광각 카메라는 추가로 구비하는 ISP를 이용하여 프리뷰를 센싱하고, 오프된 일반각 카메라의 프리뷰는 추가로 오픈된 광각 카메라에서 센싱된 프리뷰를 크롭핑하여 생성할 수 있다.
즉, 본 발명에 따른 이동 단말기는 상기 제1 신호를 디텍트할 당시 제1 영역(210)에 프리뷰를 출력하기 위해 오픈된 카메라가 가장 화각이 큰 카메라인 경우, 하나의 ISP를 이용하여 나머지 오프된 카메라의 프리뷰를 생성하고, 상기 제2 신호를 디텍트할 당시 제1 영역(210)에 프리뷰를 출력하기 위해 오픈된 카메라가 가장 큰 화각의 카메라가 아닌 경우, 가장 큰 화각의 카메라를 오픈하여 나머지 하나의 ISP를 통해 프리뷰를 센싱하고, 나머지 오프된 카메라의 프리뷰는 오픈된 두 개의 카레메라에서 센싱된 프리뷰를 클롭핑 하여 생성할 수 있다.
상기와 같은 프로세스를 통해 본 발명에 따른 이동 단말기는 세 개 이상의 복수의 카메라를 두 개의 ISP만을 이용하여 프리뷰를 동시에 출력할 수 있다.
도 5 는 광각 카메라, 일반각 카메라 및 망원 카메라의 화각(FOV)을 비교한 도면이고, 도 6은 광각 카메라, 일반각 카메라 및 망원 카메라에서 센싱된 프리뷰를 나타낸 도면이다.
광각 카메라, 일반각 카메라 및 망원 카메라는 동일 방향으로 향하여 동일 피사체를 다양한 화각으로 센싱하여 프리뷰를 생성할 수 있다.
광각 카메라의 화각(FOV 1, 510)은 가장 넓고, 일반각 카메라의 화각(FOV 2, 520)은 광각 카메라의 화각(FOV 1, 510)에 포함되며, 망원 카메라의 화각(FOV 3, 530)은 일반각 카메라의 화각(FOV 3, 530)에 포함될 수 있다.
따라서, 광각 카메라로부터 프리뷰를 센싱한 경우, 광각 카메라로부터 센싱된 프리뷰를 통해 오프된 일반각 카메라 및 망원 카메라의 프리뷰를 생성할 수 있다.
구체적으로, 도 6(a)는 광각 카메라에 대응되는 프리뷰를 나타내며, 도 6(b)는 일반각 카메라에 대응되는 프리뷰를 나타내며, 도 6(c)는 망원 카메라에 대응되는 프리뷰를 나타낸다.
각각의 카메라에 대응되는 프리뷰는 동일 크기 이므로, 오프된 카메라의 프리뷰를 생성하는 경우, 센싱된 프리뷰를 크롭핑하여 오프된 카메라가 오픈 당시 센싱하는 프리뷰의 크기에 맞게 확장할 필요가 있다.
따라서, 센싱된 프리뷰를 크롭핑하여 확장된 프리뷰는 화질이 떨어질 수 있다.
다만, 멀티 프리뷰(230, 도 2 참조)는 복수의 카메라의 화각에 대응되록 출력된 복수의 라이브 썸네일로 화각 비교만 직관적으로 제공하는 것인바 화질이 중요하지 않다. 즉, 센싱된 프리뷰를 크롭핑하고 확장한 프리뷰가 화질이 떨어지더라도 크게 문제가 되지 않는다. 또한, 도 2에서 설명된 바와 같이 메인 프리뷰를 출력하는 제1 영역(210, 도 2참조)보다 작은 제2 영역(220, 도 2 참조)에 멀티 프리뷰(230)를 출력하는바 화질은 문제가 되지 않는다.
이하에서는, 멀티 프리뷰(230)를 통해 제1 영역(210, 도 2 참조)에 출력되는 메인 프리뷰를 변경하는 실시예를 살펴본다.
도 7 내지 9는 본 발명에 따라 멀티 프리뷰(230)를 통해 이동 단말기에 출력되는 메인 프리뷰를 변경하는 실시예를 나타내기 위한 도면이다.
멀티 프리뷰(230)를 통해 제1 영역(210)에 출력되는 메인 프리뷰를 변경하는 경우, 오픈된 카메라를 변경할 필요가 있다. 제1 영역(210)에 출력되는 메인 프리뷰는 클롭핑하여 생성되는 프리뷰가 아니고, 오픈된 카메라에서 직접 센싱된 프리뷰일 필요가 있다. 이는 사용자에게 화질 감소 없이 프리뷰를 제공하기 위함이다.
이를 위해, 본 발명에 따른 이동 단말기에 포함되는 제어부는 멀티 프리뷰(230) 중 하나를 선택하는 제2 신호에 대응하여 복수의 카메라 중 오픈된 카메라를 변경할 수 있다.
상기 제2 신호에 대응하여 메인 프리뷰(230)를 출력하는 것을 중단한다면, 상기 제2 신호에 대응하여 선택된 프리뷰에 대응되는 카메라만 오픈 상태로 유지 또는 변경하고, 나머지 카메라는 오프할 수 있다.
구제적으로, 상기 제2 신호에 대응하여 선택된 프리뷰가 클롭핑되어 생성된 경우, 선택된 프리뷰에 대응되는 카메라를 오픈하고, 나머지 오픈된 카메라는 오프할 수 있다. 멀티 프리뷰(230)를 출력하지 않기 때문에, 멀티 프리뷰를 출력하기 위해 필요 이상으로 두 개의 ISP가 모두 구동될 필요가 없다.
또한, 상기 제2 신호에 대응하여 선택된 프리뷰가 오픈된 카메라에서 센싱된 프리뷰인 경우, 선택된 프리뷰에 대응되는 카메라는 오픈 상태를 유지하고, 나머지 카메라 중 오픈된 카메라가 있는 경우, 오프할 수 있다.
다만, 상기 제2 신호에 대응하여 멀티 프리뷰(230)를 출력하는 것을 유지하는 경우, 멀티 프리뷰(230)를 출력하기 위해 오픈된 카메라를 변경할 필요가 있다.
즉, 본 발명에 따른 이동 단말기에 포함되는 제어부는 상기 제2 신호에 대응하여 멀티 프리뷰(230)를 출력하는 것을 유지하되, 상기 제2 신호에 대응하여 오픈된 카메라가 화각이 가장 큰 카메라보다 화각이 작은 경우, 상기 화각이 가장 큰 카메라는 오픈 상태를 유지할 수 있다. 또한, 상기 제어부는 상기 제2 신호에 대응하여 오픈 상태가 변경된 카메라에서 센싱된 카메라를 크롭핑하여 오프된 카메라의 프리뷰를 생성할 수 있다.
구체적으로, 도 7을 통해 상기 제2 신호에 대응하여 메인 프리뷰(230)를 유지하는 실시예를 살펴본다.
멀티 프리뷰(230)는 제1 영역(210)에 출력되는 메인 프리뷰에 대응되는 그래픽 효과(232)를 포함할 수 있다.
도 7에 개시된 그래픽 효과(232)는 멀티 프리뷰(230) 중 제1 영역(210)에 출력되는 메인 프리뷰를 센싱하는 카메라의 화각에 대응되는 프리뷰의 외각을 진하게 표시하는 그래픽 효과이나, 그래픽 효과(232)가 이에 한정되지는 않는다.
도 7는 광각 카메라, 일반각 카메라 및 망원 카메라를 포함하는 이동 단말기의 실시예를 개시 하나, 카메라의 개수는 세 개 이상일 수 있다.
첫번째 디스플레이(200a)는 일반각 카메라에서 메인 프리뷰를 센싱하는 상태에서 멀티 프리뷰(230)를 출력하는 실시예이다.
두번째 디스플레인(200b)는 첫번째 디스플레이(200a)에서 멀티 프리뷰(230) 중 광각 카메라의 화각에 대응되는 프리뷰(231)를 선택(510)하는 제2 신호에 대응하여 광각 카메라에서 메인 프리뷰를 센싱하는 상태에서 멀티 프리뷰(230)를 출력하는 실시예이다.
세번째 디스플레인(200c)는 두번째 디스플레이(200b)에서 멀티 프리뷰(230) 중 망원 카메라의 화각에 대응되는 프리뷰(233)를 선택(510)하는 제2 신호에 대응하여 망각 카메라에서 메인 프리뷰를 센싱하는 상태에서 멀티 프리뷰(230)를 출력하는 실시예이다.
첫번째 디스플레이(200a)는 광각 카메라와 일반각 카메라가 오픈된 상태이고, 망원 카메라는 오픈된 상태이다.
두번째 디스플레이(200b)는 광각 카메라만 오픈된 상태이다.
세번째 디스플레이(200c)는 광각 카메라와 망원 카메라가 오픈된 상태이다.
도 7에서 설명된 바와 같이 제2 신호에 대응하여 메인 프리뷰를 유지하는 경우, 오픈된 카메라가 변경될 수 있다.
본 발명에 따른 이동 단말기에 포함되는 제어부는 상기 제2 신호에 대응하여 오픈 상태가 변경된 카메라에서 센싱된 프리뷰를 크롭핑하여 오프된 카메라의 프리뷰를 생성할 수 있다.
도 7의 경우, 첫번째 디스플레이(200a)는 일반각 카메라에서 센싱된 프리뷰를 클롭핑하여 망원 카메라의 프리뷰를 생성하고, 두번째 디스플레이(200b)는 광각 카메라에서 센싱된 프리뷰를 크롭핑하여 일반각 카메라 및 망원 카메라의 프리뷰를 생성하고, 세번째 디스플레이(200c)는 광각 카메라에서 센싱된 프리뷰를 클롭핑하여 일반각 카메라의 프리뷰를 생성한다.
즉, 제2 신호에 대응하여 복수의 카메라의 오픈 상태가 변경되고, 이에 따라 크롭핑되어 생성되는 프리뷰도 변경될 수 있다.
도 8 은 드래그 터치 입력(520)에 대응하여 제 1 영역(210)에 출력되는 메인 프리뷰를 줌인 또는 줌아웃하며 변경하는 실시예를 도시한 도면이다.
본 발명에 따른 이동 단말기의 디스플레이(200a, 200b, 200c)는 터치 입력 신호를 수신하는 터치 스크린을 포함할 수 있다.
본 발명에 따른 이동 단말기의 제어부는 멀티 프리뷰(230)중 하나를 선택하는 제2 신호가 멀티 프리뷰(230)를 출력하는 제2 영역(220)을 일 방향으로 드래그하여 터치 입력(520)하는 신호인 경우, 상기 터치 입력(520)의 방향에 대응하여 제1 영역(210)에 출력되는 메인 프리뷰를 줌인 또는 줌아웃하며 이동 단말기에 포함되는 복수의 카메라 중 오픈된 카메라를 변경할 수 있다.
첫번째 디스플레이(200a)는 일반각 카메라에서 메인 프리뷰를 센싱하는 상태에서 멀티 프리뷰(230)를 출력하는 실시예이다.
두번째 디스플레인(200b)는 첫번째 디스플레이(200a)에서 멀티 프리뷰(230) 중 광각 카메라의 화각에 대응되는 프리뷰(231)로 드래그 터치 입력(520) 하는 제2 신호에 대응하여 광각 카메라에서 메인 프리뷰를 센싱하는 상태에서 멀티 프리뷰(230)를 출력하는 실시예이다.
세번째 디스플레인(200c)는 두번째 디스플레이(200b)에서 멀티 프리뷰(230) 중 망원 카메라의 화각에 대응되는 프리뷰(233)로 드래그 터치 입력(520) 하는 제2 신호에 대응하여 망각 카메라에서 메인 프리뷰를 센싱하는 상태에서 멀티 프리뷰(230)를 출력하는 실시예이다.
세번째 디스플레인(200c)는 두번째 디스플레이(200b)에서 멀티 프리뷰(230) 중 망원 카메라의 화각에 대응되는 프리뷰(233)를 선택(510)하는 제2 신호에 대응하여 망각 카메라에서 메인 프리뷰를 센싱하는 상태에서 멀티 프리뷰(230)를 출력하는 실시예이다.
첫번째 디스플레이(200a)는 광각 카메라와 일반각 카메라가 오픈된 상태이고, 망원 카메라는 오픈된 상태이다.
두번째 디스플레이(200b)는 광각 카메라만 오픈된 상태이다.
세번째 디스플레이(200c)는 광각 카메라와 망원 카메라가 오픈된 상태이다.
첫번째 디스플레이(200a)에서 두번째 디스플레이(200b)로 변경되는 과정에서, 제1 영역(210)에 디스플레이 되는 메인 프리뷰가 줌아웃되며, 광각 카메라만 오픈된 상태로 변경될 수 있다.
두번째 디스플레이(200b)에서 세번째 디스플레이(200c)로 변경되는 과정에서, 제1 영역(210)에 디스플레이 되는 메인 프리뷰가 줌인되며, 순차적으로 광각 카메라와 일반각 카메라가 오픈된 상태에서 광각 카메라만 각 카메라와 망원 카메라가 오픈된 상태로 변경될 수 있다.
도 8은 상기 제2 신호에 대응하여 멀티 프리뷰(230)를 유지하는 실싱예로, 크롭핑하여 프리뷰를 생성하는 프로세스는 도 7에서 설명된 바와 같다.
도 9은 본 발명에 따라 화각정보 아이콘(250)을 터치하여 멀티 프리뷰(230)를 디스플레이하는 실시예는 나타내는 도면이다.
본 발명에 따른 이동 단말기의 디스플레이(200a, 200b)는 터치 입력 신호를 수신하는 터치 스크린을 포함할 수 있다.
본 발명에 따른 이동 단말기의 제어부는 복수의 카메라의 멀티 프리뷰(230)를 출력하는 제1 신호가 상기 복수의 카메라에 각각 대응되는 화각 정보 아이콘(250)을 기 설정 시간 이상 터치(530)하는 신호일 수 있다.
화각 정보 아이콘(250)은 복수의 카메라에 각각 대응되도록 광각 화각정보 아이콘(251), 일반각 화각정보 아이콘(252) 및 망원 화각정보 아이콘(253)을 포함할 수 있다. 다만, 도 9는 복수의 카메라가 광각 카메라, 일반각 카메라 및 망원 카메라 세 개만을 포함하는 실시예로, 복수의 카메라가 네 개 이상인 경우 이에 대응하여 네 개 이상의 화각정보 아이콘(250)을 출력할 수 있다.
또한, 기 설정 이상 터치(530)되는 화각 정보 아이콘(250)에 대응하여, 멀티 프리뷰(230)를 생성하고, 제1 영역(210)에 출력되는 메인 프리뷰를 결정할 수 있다.
구체적으로, 도 9는 첫번째 디스플레이(200a)에서 제1 영역(210)에 일반각 카메라에서 센싱된 프리뷰를 메인 프리뷰로 출력한 상태에서 망원 화각정보 아이콘(253)을 기 설정 이상 터치(530)한 경우, 두번째 디스플레이(200b)에 메인 프리뷰(230)가 생성됨과 동시에 제1 영역(210)에 표시되는 메인 프리뷰가 망원 카메라에서 센싱된 프리뷰로 변경되는 실시예이다.
도 10은 본 발명에 따라 멀티 프리뷰(230)를 참고하여 사용자가 핀치(Pinch) 줌인/아웃(540)하는 실시예를 나타내는 도면이다.
구체적으로, 도 10은 첫번째 디스플레이(200a)에서 핀치(Pinch) 줌인/아웃(540)하는 신호에 대응하여, 두번째 디스플레이(200b)에 멀티 프리뷰(230)를 출력하는 것을 중단하고, 화각 정보 아이콘(250)을 출력하는 실시예이다.
다만, 경우에 따라서, 핀치(Pinch) 줌인/아웃(540)하는 신호에 대응하여, 멀티 프리뷰(230)를 유지하고, 줌을 변경하며 제1 영역(210)에 출력되는 메인 프리뷰를 변경할 수 있다.
도 11는 본 발명에 따라 멀티 프리뷰(230)를 통해 녹화 중 사진을 캡쳐하는 실시예를 나타내는 도면이다.
첫번째 디스플레이(200a)는 출력된 멀티 프리뷰(230) 중 하나를 기 설정 시간 이상 터치(550a)하여 대응되는 카메라로 녹화를 하는 실시예이다.
두번째 디스플레이(200b)는 녹화 중 멀리 프리뷰(230) 중 하나를 상기 기설정 시간 미만 터치(550b)하여 제1 영역(210)에 출력되는 메인 프리뷰를 변경하는 실시예이다. 다만, 메인 프리뷰가 변경되더라도 녹화를 수행하는 카메라는 변경되지 않을 수 있다.
세번째 디스플레이(200c)는 변경된 메인 프리뷰로 사진을 캡쳐하는 신호(550c)로 녹화중 사진을 캡쳐하는 실시예이다.
도 12 내지 14는 본 발명에 따라 트리플 카메라로 한번에 사진을 캡쳐하는 실시예를 나타내는 도면이다.
멀티미디어 기기의 기능이 하나로 사진촬영 기능을 매우 중요한 기능이며, 이에 따라 이동 단말기에 다양한 화각(Field Of View, FOV)을 제공하는 복수의 카메라를 탑재하고 있는 실정이다.
최근 이동 단말기는 ISP(Image Signal Process)의 개수 보다 많은 복수의 카메라를 탑재하고 있는 실정이다. 이 경우, 복수의 카메라를 통해 한번에 이미지를 캡쳐하는 것이 불가능할 수 있다.
또한, 복수의 카메라에서 오픈된 카메라를 변경하여 이미지를 캡쳐하더라도 챕쳐 시간이 오래 걸리는 문제점이 있어, 이를 개선할 필요가 있다.
이에 따라, 본 발명은 두 개의 ISP를 이용하여 화각이 상이한 트리플 카메라로 한번에 사진을 캡쳐하며, 시간을 단축하는 프로세서를 개시하고자 한다.
이를 위해, 본 발명은 FOV(Field Of View)가 순차적으로 작아지는 FOV 1, FOV 2 및 FOV 3으로 이루어지는 트리플 카메라를 포함하는 이동 단말기에 있어서, 비주얼 정보를 출력하는 디스플레이(200), 상기 트리플 카메라 및 상기 디스플레이(200)를 제어하는 제어부를 포함하고, 상기 제어부는 FOV 별로 피사체를 동시에 캡쳐하는 신호를 디텍트하고, 상기 디텍트된 신호에 대응하여, 상기 FOV 1 및 FOV 2의 카메라를 오픈하여 각각 이미지를 캡쳐하고, 상기 FOV 1 및 FOV 2의 카메라 중 먼저 이미지를 캡쳐한 카메라를 오프하고, 상기 FOV 3의 카메라를 오픈하여 이미지를 캡쳐하되, 상기 FOV 1 및 FOV 2의 카메라 중 적어도 하나에서 획득한 촬영 설정값을 이용하는 것을 특징으로 하는 이동 단말기를 제공할 수 있다.
상기 제어부는 두 개의 ISP를 포함할 수 있다.
또한, 상기 FOV 1, FOV 2 및 FOV 3으로 이루어지는 트리플 카메라는 광각 카메라, 일반각 카메라 및 망원 카메라에 각각 대응될 수 있다.
구체적으로, 도 12는 광각 카메라와 일반각 카메라를 동시에 오픈하여 이미지를 캡쳐하고, 먼저 이미지를 캡쳐가 완료된 광각 카메라를 오프하고, 동시에 망원 카메라를 오픈하여 이미지를 캡쳐하는 실시예를 나타내고 있다.
또한, 도 13은 광각 카메라와 일반각 카메라를 동시에 오픈하여 이미지를 캡쳐하고, 먼저 이미지를 캡쳐가 완료된 광각 카메라를 오프하고, 동시에 망원 카메라를 오픈하여 이미지를 캡쳐하며, 광각 카메라에서 획득된 AE(auto exposure) 촬영 설정값 및 일반각 카메라에서 획득된 AF(auto focus value) 촬영 설정값을 이용하여 광각 카메라에서 이미지를 캡쳐하는 시간을 단축하여 트리플 카메라로 이미지를 캡쳐하는데 시간을 단축하는 실시예를 나타내고 있다.
구체적으로, 도 13은 광각 카메라에서 오토 포커스(Auto Focus)하는데 시간을 500ms에서 400ms로 단축하여 전체 소요되는 시간은 2050~2150ms로 단축하는 실시예를 나타내고 있다.
이를 위해, 본 발명의 상기 이동 단말기는 상기 촬영 설정값을 임시로 저장하는 버퍼부를 더 포함할 수 있다.
또한, 본 발명의 이동 단말기에 포함되는 제어부는 상기 FOV 3의 카메라가 오픈되면, 상기 버퍼부에 저장된 촬영 설정값을 상기 FOV 3의 카메라로 전달하여 상기 FOV 3의 초기 촬영 설정값을 설정할 수 있다.
상기 촬영 설정값은 AE(auto exposure value), AF(auto focus value) 및 white balance 중 적어도 하나를 포함할 수 있다.
또한, 본 발명의 이동 단말기에 포함되는 제어부는 상기 트리플 카메라 각각에 기 설정된 촬영 효과를 반영하여 세 개의 이미지를 한번에 획득할 수 있다.
상기 기 설정된 촬영 효과는 측광, 포커스 중 적어도 하나를 포함할 수 있다.
구체적으로, 도 14는 본 발명에 따라 트리플 카메라로 한번에 사진을 캡쳐하는 과정에서 디스플레이(200)를 구성하는 실시예를 나타내는 도면이다.
본 발명의 이동 단말기에 포함되는 상기 제어부는 촬영버튼을 한번 누름(560)에 대응하여 FOV 별로 파사체를 동시에 캡쳐하는 신호를 디텍트할 수 있다.
첫번째 디스플레이(200a)는 제1 영역(210) 광각 카메라에 대응되는 프리뷰를 출력하고, 트리플 카메라를 통해 한번에 촬영하는 촬영임을 나타내는 제1 인디케이터(270)를 출력하고, 트리플 카메라를 통해 한번에 촬영함에 있어 주의 사항을 표시하는 제2 인디케이터(270)을 표시하며, 촬영버튼을 한번 누름(560)에 대응하여 트리플 카메라를 통해 한번에 이미지를 획득하는 프로세서를 시작할 수 있다.
두번째 디스플레이(200b)는 촬영 진행 정도를 나타내는 제3 인디케이터(280)를 표시하고 있다.
세번째 디스플레이(200c)는 망원 카메라를 통해 촬영이 시작된 경우에 대응되며, 제1 영역에 망원 카메라의 프리뷰를 출력할 수 있다.
또한 본 발명에 포함되는 제어부는 상기 트리플 카메라에서 획득한 세 개의 이미지를 기 설정 순서로 가공하여 하나의 영상을 생성할 수 있는데, 네번째 디스플레이(200c)가 이에 대응될 수 있다.
구체적으로, 네번째 디스플레이(200c)는 트리플 카메라에서 이미지를 캡쳐하는 단계를 마치고, 영상을 가공하는 도중 이를 나타내는 제4 인디케이터(290)를 출력할 수 있다.
이하에선, 상기 트리플 카메라에서 획득한 세 개의 이미지를 기 설정 순서로 가공하여 하나의 영상을 생성 및 표시하는 프로세서를 설명한다.
도 15은 본 발명에 따라 트리플 카메라로 캡쳐된 이미지 사이에 블러 효과를 적용하여 영상을 생성하는 실시예를 나타내는 도면이다.
구체적으로, 도 15(a) 는 광각 카메라, 일반각 카메라 및 망원 카메라의 화각(FOV)을 비교한 도면이다.
광각 카메라, 일반각 카메라 및 망원 카메라는 동일 방향으로 향하여 동일 피사체를 다양한 화각으로 센싱하여 프리뷰를 생성할 수 있다.
광각 카메라의 화각(FOV 1, 510)은 가장 넓고, 일반각 카메라의 화각(FOV 2, 520)은 광각 카메라의 화각(FOV 1, 510)에 포함되며, 망원 카메라의 화각(FOV 3, 530)은 일반각 카메라의 화각(FOV 3, 530)에 포함될 수 있다.
본 발명의 이동단말기에 포함되는 제어부는 상기 트리플 카메라에서 획득한 세 개의 이미지 사이에 기 설정 효과를 적용하여 상기 하나의 영상을 생성할 수 있다.
상기 기 설정 효과는 Blur, warp 및 zoom 효과 중 적어도 하나일 수 있다.
구체적으로, 도15(b)는 도15(A)의 A 방향에 대응하여 광각 카메라에서 캡쳐된 이미지에서 망원 카메라로 캡쳐된 이미지로 줌인되며 Blur 효과로 상기 게 개의 이미지가 연결되는 실시예를 나타내고 있다.
본 발명의 이동 단말기는 상기 생성된 영상을 저장하는 메모리를 더 포함하고, 상기 제어부는 상기 생성된 영상에 대응하여 상기 트리플 카메라에서 획득한 세 개의 이미지를 저장하도록 상기 메모리를 제어할 수 있는데 이는 재편집을 용이하게 할 수 있다. 이와 관련하여 이하에서 설명한다.
도 16 내지 18는 본 발명에 따라 트리플 카메라로 캡쳐된 이미지를 통해 생성된 영상에 대응하여 상기 캡쳐된 이미지를 출력하는 실시예를 나타내는 도면이다.
본 발명에 따른 이동단말기의 제어부는 상기 생성된 영상을 재편집하는 경우, 상기 생성된 영상에 대응하는 세 개의 이미지를 표시하도록 상기 디스플레이(200)를 제어할 수 있다.
구체적으로, 도 16은 디스플레이(200)에 트리플 카메라로 한번에 캡쳐하여 생성된 영상을 재생하기 전 단계에 대응되는 화면 구성일 수 있다.
디스플레이(200)는 상기 생성된 영상의 재생 버튼(310)과 함께, 썸네일(300)을 출력할 수 있으며, 상기 썸네일(300)은 생성된 영상의 썸네일(320a)및 트리플 카메라로 한번에 캡쳐된 세 개의 이미지의 썸네일(320b, 320c, 320d)을 포함할 수 있다.
또한, 디스플레이는(200)는 상기 생성된 영상과 관련된 아이콘(330)을 출력할 수 있다.
상기 생성된 영상과 관련된 아이콘(330)은 상기 생성된 영상과 관련된 정보를 디스플레이 할 수 있는 제1 아이콘(330a), 상기 생성된 영상에 사용된 효과를 변경할 수 있는 제2 아이콘(330b), 상기 생성된 영상을 쉐어할 수 있는 제3 아이콘(330c), 상기 생성된 영상을 삭제할 수 있는 제3 아이콘(330d) 중 적어도 하나를 포함할 수 있다. 다만, 경우에 따라서 다른 기능을 수행하는 아이콘(330)을 더 포함할 수 있다.
구체적으로, 도 17은 디스플레이(200)에 상기 생성된 영상에 대응하여 캡쳐된 이미지를 출력하는 실시예를 나타내고 있다.
첫번째 디스플레(200a)는 제1 영역(210)에 생성된 영상의 썸네일을 출력하는 실시예를 나타내며, 도 16의 디스플레이(200) 화면 구성에 대응될 수 있다.
두번째 디스플레이(200b)는 첫번째 디스플레(200a)에서 화면을 넘기는 드래그 터치 입력(570)에 대응하여 상기 제1 영역(210)에 상기 생성된 영상에 대응되는 세 개의 이미지 중 제1 이미지를 출력하는 실시예를 나타내고 있다.
세번째 디스플레이(200c)는 두번째 디스플레(200b)에서 화면을 넘기는 드래그 터치 입력(570)에 대응하여 상기 제1 영역(210)에 상기 생성된 영상에 대응되는 세 개의 이미지 중 제2 이미지를 출력하는 실시예를 나타내고 있다..
네번째 디스플레이(200d)는 세번째 디스플레(200c)에서 화면을 넘기는 드래그 터치 입력(570)에 대응하여 상기 제1 영역(210)에 상기 생성된 영상에 대응되는 세 개의 이미지 중 제3 이미지를 출력하는 실시예를 나타내고 있다.
다섯번째 디스플레이(200e는 네번째 디스플레(200d)에서 화면을 넘기는 드래그 터치 입력(570)에 대응하여 다음 컨텐츠(Nest contents)를 출력하는 실시예로, 상기 다음 컨텐츠(Nest contents)는 첫번째 내지 네번째 디스플레(200a 내지 200d)에 대응되는 영상과 상이하며, 트리플 카메라로 촬영하여 생성된 다른 영상과 관련된 컨텐츠이거나, 첫번째 내지 네번째 디스플레(200a 내지 200d)에 대응되는 영상을 재편집하여 생성된 영상과 관련된 컨첸츠일 수 있다.
상기 생성된 영상에 대응되는 세 개의 이미지 중 제3 이미지를 출력할 수 있다.
구체적으로, 도 18은 디스플레이(200)에 상기 생성된 영상에 대응하여 캡쳐된 이미지를 출력하는 다른 실시예를 나타내고 있다
첫번째 디스플레(200a)는 제1 영역(210)에 생성된 영상의 썸네일을 출력하는 실시예를 나타내며, 도 16의 디스플레이(200) 화면 구성에 대응될 수 있다.
두번째 디스플레이(200b)는 첫번째 디스플레(200a)에서 썸네일(320) 중 제1 이미지의 썸네일을 선택(580)한 경우에 대응하여, 상기 제1 영역(210)에 상기 생성된 영상에 대응되는 세 개의 이미지 중 제1 이미지를 출력하는 실시예를 나타내고 있다.
세번째 디스플레이(200c)는 두번째 디스플레(200b)에서 썸네일(320) 중 제1 이미지의 썸네일을 선택(580)한 경우에 대응하여, 상기 제1 영역(210)에 상기 생성된 영상에 대응되는 세 개의 이미지 중 제2 이미지를 출력하는 실시예를 나타내고 있다.
네번째 디스플레이(200d)는 세번째 디스플레(200c)에서 썸네일(320) 중 제1 이미지의 썸네일을 선택(580)한 경우에 대응하여, 상기 제1 영역(210)에 상기 생성된 영상에 대응되는 세 개의 이미지 중 제3 이미지를 출력하는 실시예를 나타내고 있다.
또한, 본 발명에 따른 이동 단말기에 포함된 제어부는 상기 생성된 영상에 대응하는 세 개의 이미지 사이에 적용된 기 설정 효과, 연결 순서 및 반복 정도 중 적어도 하나를 변경하여 상기 생성된 영상을 재편집할 수 있다.
구체적으로, 본 발명에 따를 이동 단말기의 제어부는 상기 제어부는 상기 생성된 영상에 대응되는 파일 서두에 상기 트리플 카메라에서 획득한 세 개의 이미지 파일 각각의 위치를 표시하는 XMP(Extensible Metadata Platform) 메타 데이터를 추가하여 상기 메모리에 저장할 수 있다.
또한, 상기 제어부는 상기 생성된 영상을 재편집하는 경우, 상기 XMP 메타 데이터를 통해 상기 트리플 카메라에서 획득한 세 개의 이미지 파일을 디텍트하고, 상기 디텍트된 세 개의 이미지 파일을 이용하여 재편집된 영상을 생성할 수 있다.
또한, 상기 제어부는 상기 재편집된 영상에 대응되는 파일 후미에 상기 디텍트된 세 개의 이미지 파일을 추가하여 상기 메모리에 저장할 수 있다.
또한, 상기 제어부는 상기 재편집된 영상에 대응되는 파일 서두에 상기 디텍트된 세 개의 이미지 파일 각각의 위치를 표시하는 XMP(Extensible Metadata Platform) 메타 데이터를 추가하여 상기 메모리에 저장할 수 있다.
또한, 싱기 제어부는 상기 디텍트된 세 개의 이미지 사이에 적용된 효과, 연결 순서, 및 반복 정도 중 적어도 하나를 변경하여 상기 생성된 영상을 재편집할 수 있다.
도 14은 본 발명에 따라 트리플 카메라로 캡쳐된 이미지를 통해 생성된 영상을 재편집하는 실시예를 나타내는 도면이다.
첫번째 디스플레이(200a)는 도 16의 디스플레이(200) 화면 구성에 대응될 수 있다.
두번째 디스플레이(200b)는 첫번째 디스플레(200a)에서 상기 생성된 영상에 사용된 효과를 변경할 수 있는 제2 아이콘(330b)을 선택(590)한 결과, 변경 가능한 효과를 디스플레이하는 실시예를 나타내는 도면이다.
세번째 디스플레이(200c)는 두번째 디스플레이(200b)에서 상기 생성된 영상에 사용된 효과와 다른 효과를 선택(590)하여 재가공하는 중임을 나타내는 실시예이다.
도 15은 본 발명에 따라 멀티 프리뷰(230)를 이용하여 트리플 카메라로 영상을 생성하는 실시예를 나타내는 도면이다
멀티 프리뷰(230)는 도 2에서 설명된 바와 같이 생성되어 출력될 수 있다.
첫번째 디스플레이(200a)는 멀리 프리뷰(230) 하나의 프리뷰를 순서 설정창(700)의 첫번째에 위치하도록 드래그(600)하여 이에 대응되는 실시예를 나타내고 있다.
두번째 디스플레이(200b)는 멀리 프리뷰(230) 하나의 프리뷰를 순서 설정창(700)의 두번째에 위치하도록 드래그(600)하여 이에 대응되는 실시예를 나타내고 있다.
세번째 디스플레이(200c)는 순서 설정창(700)에 트리플 카메라에서 캡쳐된 이미지를 연결하여 영상을 만드는 순서가 설정되고, 촬영 버튼을 터치(610)하여 상기 영상을 생성하는 실시예를 나타내고 있다.
상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (15)

  1. FOV(Field Of View)가 순차적으로 작아지는 FOV 1, FOV 2 및 FOV 3으로 이루어지는 트리플 카메라를 포함하는 이동 단말기에 있어서,
    비주얼 정보를 출력하는 디스플레이;
    상기 트리플 카메라 및 상기 디스플레이를 제어하는 제어부;를 포함하고,
    상기 제어부는
    FOV 별로 피사체를 동시에 캡쳐하는 신호를 디텍트하고,
    상기 디텍트된 신호에 대응하여, 상기 FOV 1 및 FOV 2의 카메라를 오픈하여 각각 이미지를 캡쳐하고,
    상기 FOV 1 및 FOV 2의 카메라 중 먼저 이미지를 캡쳐한 카메라를 오프하고, 상기 FOV 3의 카메라를 오픈하여 이미지를 캡쳐하되, 상기 FOV 1 및 FOV 2의 카메라 중 적어도 하나에서 획득한 촬영 설정값을 이용하는 것을 특징으로 하는 이동 단말기.
  2. 제1 항에 있어서,
    상기 이동 단말기는
    상기 촬영 설정값을 임시로 저장하는 버퍼부를 더 포함하는 것을 특징으로 하는 이동 단말기.
  3. 제2 항에 있어서,
    상기 제어부는
    상기 FOV 3의 카메라가 오픈되면, 상기 버퍼부에 저장된 촬영 설정값을 상기 FOV 3의 카메라로 전달하여 상기 FOV 3의 초기 촬영 설정값을 설정하는 것을 특징으로 하는 이동 단말기.
  4. 제1 항에 있어서,
    상기 촬영 설정값은
    AE(auto exposure value), AF(auto focus value) 및 white balance 중 적어도 하나를 포함하는 것을 특징으로 하는 이동 단말기.
  5. 제1 항에 있어서,
    상기 제어부는
    촬영버튼을 한번 누름에 대응하여 FOV 별로 파사체를 동시에 캡쳐하는 신호를 디텍트하는 것을 특징으로 하는 이동 단말기.
  6. 제1항에 있어서,
    상기 제어부는
    상기 트리플 카메라 각각에 기 설정된 촬영 효과를 반영하여 세 개의 이미지를 한번에 획득하는 것을 특징으로 하는 이동 단말기.
  7. 제1항에 있어서,
    상기 트리플 카메라에서 획득한 세 개의 이미지를 기 설정 순서로 가공하여 하나의 영상을 생성하는 것을 특징으로 하는 이동 단말기.
  8. 제7 항에 있어서,
    상기 제어부는
    상기 트리플 카메라에서 획득한 세 개의 이미지 사이에 기 설정 효과를 적용하여 상기 하나의 영상을 생성하는 것을 특징으로 하는 이동 단말기.
  9. 제8항에 있어서,
    상기 기 설정 효과는
    Blur, warp 및 zoom 효과 중 적어도 하나인 것을 특징으로 하는 이동 단말기.
  10. 제8항에 있어서,
    상기 이동 단말기는
    상기 생성된 영상을 저장하는 메모리를 더 포함하고,
    상기 제어부는
    상기 생성된 영상에 대응되는 파일 후미에 상기 트리플 카메라에서 획득한 세 개의 이미지 파일을 추가하여 상기 메모리에 저장하는 것을 특징으로 하는 이동 단말기.
  11. 제10항에 있어서,
    상기 제어부는
    상기 생성된 영상에 대응되는 파일 서두에 상기 트리플 카메라에서 획득한 세 개의 이미지 파일 각각의 위치를 표시하는 XMP(Extensible Metadata Platform) 메타 데이터를 추가하여 상기 메모리에 저장하는 것을 특징으로 하는 이동 단말기.
  12. 제11항에 있어서,
    상기 제어부는
    상기 생성된 영상을 재편집하는 경우, 상기 XMP 메타 데이터를 통해 상기 트리플 카메라에서 획득한 세 개의 이미지 파일을 디텍트하고,
    상기 디텍트된 세 개의 이미지 파일을 이용하여 재편집된 영상을 생성하는 것을 특징으로 하는 이동 단말기.
  13. 제12항에 있어서,
    상기 제어부는
    상기 재편집된 영상에 대응되는 파일 후미에 상기 디텍트된 세 개의 이미지 파일을 추가하여 상기 메모리에 저장하는 것을 특징으로 하는 이동 단말기.
  14. 제13항에 있어서,
    상기 제어부는
    상기 제편집된 영상에 대응되는 파일 서두에 상기 디텍트된 세 개의 이미지 파일 각각의 위치를 표시하는 XMP(Extensible Metadata Platform) 메타 데이터를 추가하여 상기 메모리에 저장하는 것을 특징으로 하는 이동 단말기.
  15. 제12항에 있어서,
    싱기 제어부는
    상기 디텍트된 세 개의 이미지 사이에 적용된 효과, 연결 순서, 및 반복 정도 중 적어도 하나를 변경하여 상기 생성된 영상을 재 편집하는 것을 특징으로 하는 이동 단말기.
PCT/KR2018/011338 2018-09-21 2018-09-21 이동 단말기 WO2020059925A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020217003247A KR102446264B1 (ko) 2018-09-21 2018-09-21 이동 단말기
EP18934312.2A EP3855713B1 (en) 2018-09-21 2018-09-21 Mobile terminal
PCT/KR2018/011338 WO2020059925A1 (ko) 2018-09-21 2018-09-21 이동 단말기
US16/578,216 US10979627B2 (en) 2018-09-21 2019-09-20 Mobile terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2018/011338 WO2020059925A1 (ko) 2018-09-21 2018-09-21 이동 단말기

Publications (1)

Publication Number Publication Date
WO2020059925A1 true WO2020059925A1 (ko) 2020-03-26

Family

ID=69885117

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/011338 WO2020059925A1 (ko) 2018-09-21 2018-09-21 이동 단말기

Country Status (4)

Country Link
US (1) US10979627B2 (ko)
EP (1) EP3855713B1 (ko)
KR (1) KR102446264B1 (ko)
WO (1) WO2020059925A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7331529B2 (ja) * 2019-07-29 2023-08-23 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
KR20220072616A (ko) * 2020-11-25 2022-06-02 삼성전자주식회사 복수의 카메라를 포함하는 전자 장치 및 그 전자 장치의 제어 방법
KR20220075028A (ko) 2020-11-26 2022-06-07 삼성전자주식회사 다중 크롭 기능을 갖는 이미지 센서를 포함하는 전자 장치
EP4239440A4 (en) * 2020-12-03 2024-05-01 Samsung Electronics Co Ltd ELECTRONIC DEVICE COMPRISING A FLEXIBLE DISPLAY DEVICE AND METHOD FOR CAPTURING AN IMAGE IN AN ELECTRONIC DEVICE

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060175549A1 (en) * 2005-02-09 2006-08-10 Miller John L High and low resolution camera systems and methods
JP2006340108A (ja) * 2005-06-02 2006-12-14 Canon Inc 画像処理装置、画像処理方法、プログラム、及び記憶媒体
KR20170006559A (ko) * 2015-07-08 2017-01-18 엘지전자 주식회사 이동단말기 및 그 제어방법
CN106454132A (zh) * 2016-11-29 2017-02-22 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
KR20170029330A (ko) * 2015-09-07 2017-03-15 엘지전자 주식회사 이동단말기 및 그 제어방법

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007043248A (ja) * 2005-07-29 2007-02-15 Eastman Kodak Co 撮像装置
KR101954192B1 (ko) * 2012-11-15 2019-03-05 엘지전자 주식회사 어레이 카메라, 휴대 단말기 및 그 동작 방법
JP6436783B2 (ja) * 2015-01-09 2018-12-12 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
EP3286915B1 (en) * 2015-04-23 2021-12-08 Apple Inc. Digital viewfinder user interface for multiple cameras
KR20170035237A (ko) * 2015-09-22 2017-03-30 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR102547104B1 (ko) * 2016-09-06 2023-06-23 삼성전자주식회사 전자 장치 및 복수의 영상을 처리하는 방법
KR102600504B1 (ko) * 2016-09-07 2023-11-10 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102622754B1 (ko) * 2016-09-07 2024-01-10 삼성전자주식회사 이미지 합성 방법 및 이를 지원하는 전자 장치
CN106791378A (zh) * 2016-11-29 2017-05-31 广东欧珀移动通信有限公司 控制方法、控制装置和电子装置
US20190007589A1 (en) * 2017-06-30 2019-01-03 Qualcomm Incorporated Camera initialization for multiple camera devices
KR20190008610A (ko) * 2017-07-17 2019-01-25 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US10630895B2 (en) * 2017-09-11 2020-04-21 Qualcomm Incorporated Assist for orienting a camera at different zoom levels
US10594925B2 (en) * 2017-12-04 2020-03-17 Qualcomm Incorporated Camera zoom level and image frame capture control
CN110913122B (zh) * 2018-09-18 2021-08-10 北京小米移动软件有限公司 多摄像头的变焦方法、装置、设备及存储介质
KR102629343B1 (ko) * 2018-12-21 2024-01-26 삼성전자주식회사 다중 셀 구조의 카메라 모듈 및 그 카메라 모듈을 포함하는 휴대용 통신 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060175549A1 (en) * 2005-02-09 2006-08-10 Miller John L High and low resolution camera systems and methods
JP2006340108A (ja) * 2005-06-02 2006-12-14 Canon Inc 画像処理装置、画像処理方法、プログラム、及び記憶媒体
KR20170006559A (ko) * 2015-07-08 2017-01-18 엘지전자 주식회사 이동단말기 및 그 제어방법
KR20170029330A (ko) * 2015-09-07 2017-03-15 엘지전자 주식회사 이동단말기 및 그 제어방법
CN106454132A (zh) * 2016-11-29 2017-02-22 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3855713A4 *

Also Published As

Publication number Publication date
EP3855713A1 (en) 2021-07-28
EP3855713B1 (en) 2024-02-14
KR102446264B1 (ko) 2022-09-22
EP3855713A4 (en) 2022-04-06
US20200099856A1 (en) 2020-03-26
KR20210019110A (ko) 2021-02-19
US10979627B2 (en) 2021-04-13

Similar Documents

Publication Publication Date Title
WO2018159864A1 (ko) 이동 단말기 및 그 이동 단말기의 제어 방법
WO2016035921A1 (ko) 이동 단말기 및 그것의 제어방법
WO2017051975A1 (ko) 이동 단말기 및 그 제어방법
WO2020171290A1 (ko) 이동 단말기 및 이동 단말기를 구비한 전자장치
WO2017082508A1 (ko) 와치형 단말기 및 그 제어방법
WO2016182132A1 (ko) 이동단말기 및 그 제어방법
WO2016171334A1 (ko) 카메라 모듈
WO2016052814A1 (en) Mobile terminal and method of controlling the same
WO2017048076A1 (en) Display apparatus and method for controlling display of display apparatus
WO2020059925A1 (ko) 이동 단말기
WO2017094926A1 (ko) 단말 장치 및 제어 방법
WO2017018603A1 (ko) 이동 단말기 및 이의 제어방법
WO2016175424A1 (ko) 이동 단말기 및 그 제어 방법
WO2019168238A1 (ko) 이동단말기 및 그 제어 방법
WO2015194723A1 (ko) 이동단말기 및 그 제어방법
WO2017086538A1 (ko) 이동 단말기 및 이의 제어방법
WO2021025534A1 (ko) 카메라 프리뷰 이미지를 제공하기 위한 전자 장치 및 그의 동작 방법
WO2015194694A1 (ko) 이동 단말기
WO2018090822A1 (zh) 基于智能手表的移动终端相机控制方法及控制系统
WO2016039498A1 (ko) 이동 단말기 및 그 제어 방법
WO2017200182A1 (en) Mobile terminal and control method thereof
WO2022154387A1 (ko) 전자 장치 및 그의 동작 방법
WO2018052159A1 (ko) 이동 단말기 및 그 제어방법
WO2018034376A1 (ko) 이동단말기 및 그 제어 방법
WO2017018680A1 (ko) 이동 단말기 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18934312

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20217003247

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018934312

Country of ref document: EP

Effective date: 20210421