WO2019050361A1 - 복수의 카메라를 통해 수신되는 이미지를 처리하기 위한 장치 및 방법 - Google Patents

복수의 카메라를 통해 수신되는 이미지를 처리하기 위한 장치 및 방법 Download PDF

Info

Publication number
WO2019050361A1
WO2019050361A1 PCT/KR2018/010558 KR2018010558W WO2019050361A1 WO 2019050361 A1 WO2019050361 A1 WO 2019050361A1 KR 2018010558 W KR2018010558 W KR 2018010558W WO 2019050361 A1 WO2019050361 A1 WO 2019050361A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
processor
image
cameras
encoded data
Prior art date
Application number
PCT/KR2018/010558
Other languages
English (en)
French (fr)
Inventor
정용희
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US16/645,673 priority Critical patent/US20200267328A1/en
Publication of WO2019050361A1 publication Critical patent/WO2019050361A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K1/00—Printed circuits
    • H05K1/18—Printed circuits structurally associated with non-printed electric components
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K1/00—Printed circuits
    • H05K1/18—Printed circuits structurally associated with non-printed electric components
    • H05K1/181—Printed circuits structurally associated with non-printed electric components associated with surface mounted components
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K1/00—Printed circuits
    • H05K1/18—Printed circuits structurally associated with non-printed electric components
    • H05K1/182—Printed circuits structurally associated with non-printed electric components associated with components mounted in the printed circuit board, e.g. insert mounted components [IMC]
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K7/00—Constructional details common to different types of electric apparatus
    • H05K7/14—Mounting supporting structure in casing or on frame or rack
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K7/00—Constructional details common to different types of electric apparatus
    • H05K7/14—Mounting supporting structure in casing or on frame or rack
    • H05K7/1401—Mounting supporting structure in casing or on frame or rack comprising clamping or extracting means
    • H05K7/1402—Mounting supporting structure in casing or on frame or rack comprising clamping or extracting means for securing or extracting printed circuit boards
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K1/00—Printed circuits
    • H05K1/02—Details
    • H05K1/14—Structural association of two or more printed circuits
    • H05K1/144—Stacked arrangements of planar printed circuit boards
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K2201/00—Indexing scheme relating to printed circuits covered by H05K1/00
    • H05K2201/04—Assemblies of printed circuits
    • H05K2201/042—Stacked spaced PCBs; Planar parts of folded flexible circuits having mounted components in between or spaced from each other
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K2201/00—Indexing scheme relating to printed circuits covered by H05K1/00
    • H05K2201/09—Shape and layout
    • H05K2201/09009—Substrate related
    • H05K2201/09027—Non-rectangular flat PCB, e.g. circular
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K2201/00—Indexing scheme relating to printed circuits covered by H05K1/00
    • H05K2201/10—Details of components or other objects attached to or integrated in a printed circuit board
    • H05K2201/10007—Types of components
    • H05K2201/10121—Optical component, e.g. opto-electronic component
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K2201/00—Indexing scheme relating to printed circuits covered by H05K1/00
    • H05K2201/10—Details of components or other objects attached to or integrated in a printed circuit board
    • H05K2201/10007—Types of components
    • H05K2201/10151—Sensor
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K2201/00—Indexing scheme relating to printed circuits covered by H05K1/00
    • H05K2201/10—Details of components or other objects attached to or integrated in a printed circuit board
    • H05K2201/10431—Details of mounted components
    • H05K2201/10507—Involving several components
    • H05K2201/10545—Related components mounted on both sides of the PCB

Definitions

  • Various embodiments relate to an apparatus and method for processing an image received via a plurality of cameras.
  • Such an apparatus may acquire a plurality of images for an omni-directional image or may generate an image such as a panoramic image, an omni-directional image or the like based on the obtained plurality of images.
  • An apparatus used for generating an omnidirectional image may comprise a plurality of cameras.
  • a plurality of processors may be required to process the images obtained from the plurality of cameras. Processing of a plurality of images obtained from a plurality of cameras may require more computation processing than processing of a single image, or may cause a lot of power consumption.
  • an efficient configuration may be required in an arrangement in which a plurality of cameras and processors are arranged on a printed circuit board, in an electrical connection between each of the cameras and the processor, an efficient configuration may be required.
  • Various embodiments may provide an efficient arrangement in which a plurality of cameras and processors are disposed on a printed circuit board, and a connection configuration between each of the cameras and the processor.
  • An electronic device includes: a housing; A plurality of cameras including a first camera and a second camera disposed in a first area of the housing, the first camera being disposed so as to intersect the optical axis with the second camera; A plurality of cameras including a third camera and a fourth camera disposed in a second area of the housing, the third camera being disposed so as to cross an optical axis with the fourth camera, And the optical axis are substantially parallel; A first processor connected to the first camera and the third camera through a first designated interface; And a second processor coupled to the second camera and the fourth camera to a second designated interface.
  • An apparatus includes a printed circuit board (PCB); A first camera set including a plurality of cameras disposed along the periphery of the printed circuit board and oriented substantially parallel to the printed circuit board; A second camera set including a plurality of cameras disposed along the periphery of the printed circuit board so as to be interleaved with each of the cameras included in the first camera set, the plurality of cameras being substantially parallel to the printed circuit board; And at least one second processor disposed on the printed circuit board, wherein the first camera set comprises at least one first signal line formed by first signal lines formed on the printed circuit board, The second camera set may be configured to be coupled to the at least one second processor by second signal lines formed on the printed circuit board.
  • PCB printed circuit board
  • An apparatus comprising: a printed circuit board (PCB); A top camera disposed on a first side of the printed circuit board and oriented to be perpendicular to the printed circuit board; 16 side cameras disposed along the periphery of an opposing second side of the first side of the printed circuit board and oriented parallel to the printed circuit board; A first processor disposed on the first surface of the printed circuit board and connected to the tower camera; And at least one processor disposed on the second side of the printed circuit board and connected to the side cameras.
  • PCB printed circuit board
  • a top camera disposed on a first side of the printed circuit board and oriented to be perpendicular to the printed circuit board
  • 16 side cameras disposed along the periphery of an opposing second side of the first side of the printed circuit board and oriented parallel to the printed circuit board
  • a first processor disposed on the first surface of the printed circuit board and connected to the tower camera; And at least one processor disposed on the second side of the printed circuit board and connected to the side cameras.
  • an electronic device including a connection configuration between a plurality of cameras and processors may be capable of efficient operation in terms of computation and power management for image processing.
  • the apparatus and method according to various embodiments can reduce power consumption of the apparatus by adaptively turning off power according to the mode.
  • FIG. 1 is a block diagram of an electronic device in a network environment for processing images received using a plurality of cameras, in accordance with various embodiments.
  • FIG. 2 is a block diagram of a camera module in accordance with various embodiments.
  • Figure 3 shows an example of the functional configuration of an apparatus for acquiring a plurality of images according to various embodiments.
  • FIG. 4 is a perspective view of an electronic device according to various embodiments.
  • FIG. 5 is an exploded perspective view of an electronic device according to various embodiments.
  • FIG. 6 shows the camera's field of view (FOV), in accordance with various embodiments.
  • Figure 7 illustrates an exemplary stereoscopic pair of cameras according to various embodiments.
  • Figure 8 shows a top view of an exemplary camera arrangement of a camera system according to various embodiments.
  • FIG. 9 is a side view of a camera system according to various embodiments.
  • Figure 10 illustrates an exemplary set of overlapped images taken by a camera system in accordance with various embodiments.
  • 11A and 11B are plan views showing an example of a printed circuit board according to various embodiments.
  • FIG. 12 is a plan view showing another example of a printed circuit board according to various embodiments.
  • 13A to 13C show examples of the layout structure of a plurality of cameras and a printed circuit board according to various embodiments.
  • FIG 14 shows an example of the functional configuration of an apparatus for power control according to various embodiments.
  • 15 shows another example of the functional configuration of an apparatus for controlling power in accordance with various embodiments.
  • FIG. 16 shows an example of a plurality of images obtained by an apparatus according to various embodiments.
  • FIG 17 shows an example of the operation of an apparatus for power control according to various embodiments.
  • FIG 18 shows an example of signal flow in an apparatus for power control according to various embodiments.
  • FIG 19 illustrates an example of mode control operation of an apparatus for controlling power in accordance with various embodiments.
  • Figure 20 illustrates an example of a user interface (UI) displayed in a device according to various embodiments.
  • UI user interface
  • Figure 21 shows another example of mode control operation of an apparatus for controlling power in accordance with various embodiments.
  • FIG. 22 illustrates another example of a user interface displayed in an apparatus according to various embodiments.
  • Figure 23 shows an example of the functional configuration of an apparatus for controlling the processing of an image in accordance with various embodiments.
  • FIG 24 shows another example of the functional configuration of an apparatus for controlling the processing of an image according to various embodiments.
  • Figure 25 shows another example of the functional configuration of an apparatus for controlling the processing of an image in accordance with various embodiments.
  • Figure 26 illustrates another example of the functional configuration of an apparatus for controlling the processing of an image in accordance with various embodiments.
  • Figure 27 illustrates an example of the operation of an apparatus for controlling the processing of an image in accordance with various embodiments.
  • 29 illustrates an example of the operation of another device that receives a data set in accordance with various embodiments.
  • FIG 30 shows an example of the functional configuration of an electronic device for processing an audio signal according to various embodiments.
  • 31 illustrates an example of the operation of a processor that processes audio signals in accordance with various embodiments.
  • 32 illustrates an example of changing the direction of audio in an electronic device according to various embodiments.
  • 33 illustrates an example of the operation of an apparatus for processing an audio signal in accordance with various embodiments.
  • 34 illustrates an example of the operation of an electronic device that generates a plurality of second audio signals in accordance with various embodiments.
  • 35 illustrates an example of a plurality of second audio signals generated according to various embodiments.
  • Figure 36 illustrates an example of the functional configuration of an apparatus that compensates for distortion in accordance with various embodiments.
  • Figure 38 shows an example of an image for compensating for distortion according to various embodiments.
  • Figure 39 shows another example of an image for compensating for distortion according to various embodiments.
  • 40 illustrates another example of a technique for determining information for compensating for distortion in accordance with various embodiments.
  • 41 shows an example of the operation of an apparatus for transmitting information for compensating for distortion in accordance with various embodiments.
  • Figure 42 illustrates an example of the operation of an apparatus that provides a distortion compensation mode in accordance with various embodiments.
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100 for processing images received using a plurality of cameras, in accordance with various embodiments.
  • an electronic device 101 in a network environment 100 communicates with an electronic device 102 via a first network 198 (e.g., near-field wireless communication) or a second network 199 (E. G., Remote wireless communication).
  • a first network 198 e.g., near-field wireless communication
  • a second network 199 E. G., Remote wireless communication
  • ≪ / RTI &gt the electronic device 101 is capable of communicating with the electronic device 104 through the server 108.
  • the electronic device 101 includes a processor 120, a memory 130, an input device 150, an audio output device 155, a display device 160, an audio module 170, a sensor module 176, an interface 177, a haptic module 179, a camera module 180, a power management module 188, a battery 189, a communication module 190, a subscriber identity module 196, and an antenna module 197 ).
  • at least one (e.g., display 160 or camera module 180) of these components may be omitted from the electronic device 101, or other components may be added.
  • some components such as, for example, a sensor module 176 (e.g., a fingerprint sensor, an iris sensor, or an illuminance sensor) embedded in a display device 160 Can be integrated.
  • Processor 120 may be configured to operate at least one other component (e.g., hardware or software component) of electronic device 101 connected to processor 120 by driving software, e.g., And can perform various data processing and arithmetic operations.
  • Processor 120 loads and processes commands or data received from other components (e.g., sensor module 176 or communication module 190) into volatile memory 132 and processes the resulting data into nonvolatile memory 134.
  • the processor 120 may operate in conjunction with a main processor 121 (e.g., a central processing unit or an application processor) and, independently, or additionally or alternatively, Or a co-processor 123 (e.g., a graphics processing unit, an image signal processor, a sensor hub processor, or a communications processor) specific to the designated function.
  • a main processor 121 e.g., a central processing unit or an application processor
  • a co-processor 123 e.g., a graphics processing unit, an image signal processor, a sensor hub processor, or a communications processor
  • the coprocessor 123 may be operated separately from or embedded in the main processor 121.
  • the coprocessor 123 may be used in place of the main processor 121, for example, while the main processor 121 is in an inactive (e.g., sleep) state, At least one component (e.g., display 160, sensor module 176, or communications module 176) of the components of electronic device 101 (e.g., 190) associated with the function or states.
  • the coprocessor 123 e.g., an image signal processor or communications processor
  • the coprocessor 123 is implemented as a component of some other functionally related component (e.g., camera module 180 or communication module 190) .
  • Memory 130 may store various data used by at least one component (e.g., processor 120 or sensor module 176) of electronic device 101, e.g., software (e.g., program 140) ), And input data or output data for the associated command.
  • the memory 130 may include a volatile memory 132 or a non-volatile memory 134.
  • the program 140 may be software stored in the memory 130 and may include, for example, an operating system 142, a middleware 144,
  • the input device 150 is an apparatus for receiving a command or data to be used for a component (e.g., processor 120) of the electronic device 101 from the outside (e.g., a user) of the electronic device 101,
  • a component e.g., processor 120
  • a microphone, a mouse, or a keyboard may be included.
  • the sound output device 155 is a device for outputting a sound signal to the outside of the electronic device 101.
  • the sound output device 155 may be a speaker for general use such as a multimedia reproduction or a sound reproduction, .
  • the receiver may be formed integrally or separately with the speaker.
  • Display device 160 may be an apparatus for visually providing information to a user of electronic device 101 and may include, for example, a display, a hologram device, or a projector and control circuitry for controlling the projector. According to one embodiment, the display device 160 may include a touch sensor or a pressure sensor capable of measuring the intensity of the pressure on the touch.
  • the audio module 170 is capable of bi-directionally converting sound and electrical signals. According to one embodiment, the audio module 170 may acquire sound through the input device 150, or may be connected to the audio output device 155, or to an external electronic device (e.g., Electronic device 102 (e.g., a speaker or headphone)).
  • an external electronic device e.g., Electronic device 102 (e.g., a speaker or headphone)
  • the sensor module 176 may generate an electrical signal or data value corresponding to an internal operating state (e.g., power or temperature) of the electronic device 101, or an external environmental condition.
  • the sensor module 176 may be a gesture sensor, a gyro sensor, a barometric sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an infrared sensor, Or an illuminance sensor.
  • the interface 177 may support a designated protocol that may be wired or wirelessly connected to an external electronic device (e.g., the electronic device 102).
  • the interface 177 may include a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital interface
  • audio interface an audio interface
  • the connection terminal 178 may be a connector such as an HDMI connector, a USB connector, an SD card connector, or an audio connector that can physically connect the electronic device 101 and an external electronic device (e.g., the electronic device 102) (E.g., a headphone connector).
  • an HDMI connector such as an HDMI connector, a USB connector, an SD card connector, or an audio connector that can physically connect the electronic device 101 and an external electronic device (e.g., the electronic device 102) (E.g., a headphone connector).
  • the haptic module 179 may convert electrical signals into mechanical stimuli (e.g., vibrations or movements) or electrical stimuli that the user may perceive through tactile or kinesthetic sensations.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 can capture a still image and a moving image.
  • the camera module 180 may include one or more lenses, an image sensor, an image signal processor, or a flash.
  • the power management module 188 is a module for managing the power supplied to the electronic device 101, and may be configured as at least a part of, for example, a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 is an apparatus for supplying power to at least one component of the electronic device 101 and may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
  • the communication module 190 is responsible for establishing a wired or wireless communication channel between the electronic device 101 and an external electronic device (e.g., electronic device 102, electronic device 104, or server 108) Lt; / RTI > Communication module 190 may include one or more communication processors that support wired communication or wireless communication, operating independently of processor 120 (e.g., an application processor).
  • the communication module 190 may include a wireless communication module 192 (e.g., a cellular communication module, a short range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (E.g., a local area network (LAN) communication module, or a power line communication module), and the corresponding communication module may be used to communicate with a first network 198 (e.g., Bluetooth, WiFi direct, Communication network) or a second network 199 (e.g., a telecommunications network such as a cellular network, the Internet, or a computer network (e.g., a LAN or WAN)).
  • a wireless communication module 192 e.g., a cellular communication module, a short range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 E.g., a local area network (LAN) communication module, or a power line communication module
  • the wireless communication module 192 may use the user information stored in the subscriber identification module 196 to identify and authenticate the electronic device 101 within the communication network.
  • the antenna module 197 may include one or more antennas for externally transmitting or receiving signals or power.
  • the communication module 190 e.g., the wireless communication module 192 may transmit signals to or receive signals from an external electronic device via an antenna suitable for the communication method.
  • Some of the components are connected to each other via a communication method (e.g., bus, general purpose input / output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI) (Such as commands or data) can be exchanged between each other.
  • a communication method e.g., bus, general purpose input / output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI) (Such as commands or data) can be exchanged between each other.
  • the command or data may be transmitted or received between the electronic device 101 and the external electronic device 104 via the server 108 connected to the second network 199.
  • Each of the electronic devices 102 and 104 may be the same or a different kind of device as the electronic device 101.
  • all or a portion of the operations performed in the electronic device 101 may be performed in another or a plurality of external electronic devices.
  • the electronic device 101 in the event that the electronic device 101 has to perform some function or service automatically or upon request, the electronic device 101 may be capable of executing the function or service itself, And may request the external electronic device to perform at least some functions associated therewith.
  • the external electronic device receiving the request can execute the requested function or additional function and transmit the result to the electronic device 101.
  • the electronic device 101 can directly or additionally process the received result to provide the requested function or service.
  • cloud computing, distributed computing, or client-server computing technology may be used.
  • FIG. 2 is a block diagram 200 of a camera module 180, in accordance with various embodiments.
  • the camera module 180 includes a lens assembly 210, a flash 220, an image sensor 230, an image stabilizer 240, a memory 250 (e.g., a buffer memory), or an image signal processor (260).
  • the lens assembly 210 can collect light emitted from a subject, which is an object of image photographing.
  • the lens assembly 210 may include one or more lenses.
  • the camera module 180 may include a plurality of lens assemblies 210. In this case, the camera module 180 may be, for example, a dual camera, a 360 degree camera, or a spherical camera.
  • the plurality of lens assemblies 210 may have the same lens properties (e.g., angle of view, focal length, autofocus, f number, or optical zoom), or at least one lens assembly may have at least one lens lens assembly It can have one other lens attribute.
  • the lens assembly 210 may include, for example, a wide-angle lens or a telephoto lens.
  • the flash 220 may emit a light source used to enhance the light emitted from the subject. Flash 220 may include one or more light emitting diodes (e.g., red-green-blue (RGB) LEDs, white LEDs, infrared LEDs, or ultraviolet LEDs), or xenon lamps.
  • RGB red-green-blue
  • the image sensor 230 can acquire an image corresponding to the subject by converting the light transmitted from the subject through the lens assembly 210 into an electrical signal.
  • the image sensor 230 may include a selected one of the image sensors of different properties, such as, for example, an RGB sensor, a BW (black and white) sensor, an IR sensor, A plurality of image sensors having different attributes, or a plurality of image sensors having different attributes.
  • Each of the image sensors included in the image sensor 230 may be implemented by, for example, a CCD (charged coupled device) sensor or a CMOS (complementary metal oxide semiconductor) sensor.
  • the image stabilizer 240 is configured to respond to the movement of the camera module 180 or the electronic device 101 including it to at least partially compensate for the negative effects (e.g., image jitter) At least one lens or image sensor 230 included in the assembly 210 may be moved or controlled in a particular direction (e.g., adjusting the read-out timing).
  • the image stabilizer 240 may be implemented as an optical image stabilizer, for example, and may include a gyro sensor (not shown) or an acceleration sensor (not shown) disposed inside or outside the camera module 180 Can be used to detect the motion.
  • the memory 250 may at least temporarily store at least a portion of the image acquired through the image sensor 230 for subsequent image processing operations. For example, if image acquisition according to the shutter is delayed or a plurality of images are acquired at high speed, the acquired original image (e.g., a high resolution image) is stored in the memory 250, and a corresponding copy An image (e.g., a low resolution image) may be previewed via the display device 160. Thereafter, at least a portion of the original image that was stored in the memory 250 may be acquired and processed by, for example, the image signal processor 260 if the specified condition is satisfied (e.g., user input or system command). According to one embodiment, the memory 250 may be comprised of at least a portion of the memory 130, or a separate memory operated independently thereof.
  • the image signal processor 260 performs image processing (e.g., depth map generation, three-dimensional modeling, panorama generation, feature point extraction, and image processing) on an image acquired through the image sensor 230 or an image stored in the memory 250, Image synthesis, or image compensation (e.g., noise reduction, resolution adjustment, brightness adjustment, blurring, sharpening, or softening) 260 may perform control (e.g., exposure time control, or lead-out timing control, etc.) for at least one of the components (e.g., image sensor 230) included in camera module 180.
  • image processing e.g., depth map generation, three-dimensional modeling, panorama generation, feature point extraction, and image processing
  • Image synthesis e.g., image compensation
  • control e.g., exposure time control, or lead-out timing control, etc.
  • the image processed by the signal processor 260 may be stored back into the memory 250 for further processing or may be stored in the external components of the camera module 180 such as the memory 130,
  • the image signal processor 260 may comprise at least a portion of the processor 120 or may be coupled to the processor 120 and /
  • the image processed by the image signal processor 260 may be processed by the processor 120 as it is or after additional image processing, and then displayed on the display device (not shown) 160 < / RTI >
  • the electronic device 101 may include two or more camera modules 180, each having a different attribute or function.
  • at least one camera module 180 may be a wide angle camera or a front camera, and at least one other camera module may be a telephoto camera or a rear camera.
  • the electronic device can be various types of devices.
  • the electronic device can include, for example, at least one of a portable communication device (e.g., a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance.
  • a portable communication device e.g., a smart phone
  • a computer device e.g., a laptop, a desktop, a smart phone
  • portable multimedia device e.g., a portable multimedia device
  • portable medical device e.g., a portable medical device
  • camera e.g., a camera
  • a wearable device e.g., a portable medical device
  • first component is "(functionally or communicatively) connected” or “connected” to another (second) component, May be connected directly to the component, or may be connected through another component (e.g., a third component).
  • module includes units comprised of hardware, software, or firmware and may be used interchangeably with terms such as, for example, logic, logic blocks, components, or circuits.
  • a module may be an integrally constructed component or a minimum unit or part thereof that performs one or more functions.
  • the module may be configured as an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document may include instructions stored on a machine-readable storage medium (e.g., internal memory 136 or external memory 138) readable by a machine (e.g., a computer) Software (e.g., program 140).
  • the device may include an electronic device (e.g., electronic device 101) in accordance with the disclosed embodiments as an apparatus capable of calling stored instructions from the storage medium and operating according to the called instructions.
  • a processor e.g., processor 120
  • the processor may perform the function corresponding to the instruction, either directly or using other components under the control of the processor.
  • the instructions may include code generated or executed by the compiler or interpreter.
  • a device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary' means that the storage medium does not include a signal and is tangible, but does not distinguish whether data is stored semi-permanently or temporarily on the storage medium.
  • the method according to various embodiments disclosed herein may be provided in a computer program product.
  • a computer program product can be traded between a seller and a buyer as a product.
  • a computer program product may be distributed in the form of a machine readable storage medium (eg, compact disc read only memory (CD-ROM)) or distributed online through an application store (eg PlayStore TM).
  • CD-ROM compact disc read only memory
  • PlayStore TM application store
  • at least a portion of the computer program product may be temporarily stored, or temporarily created, on a storage medium such as a manufacturer's server, a server of an application store, or a memory of a relay server.
  • Each of the components may be comprised of a single entity or a plurality of entities, and some of the subcomponents described above may be omitted, or other subcomponents May be further included in various embodiments.
  • some components e.g., modules or programs
  • Figure 3 shows an example of the functional configuration of an apparatus for acquiring a plurality of images according to various embodiments.
  • the apparatus 300 includes a processor 310, a memory 320, a camera 330, a communication interface 340, a power management integrated circuit (PMIC) 350, a microphone 360, An input device 370, and / or a display 390.
  • PMIC power management integrated circuit
  • the processor 310 may be configured to control at least one other component (e.g., hardware or software component) of the device 300 that is coupled to the processor 310 by driving software, e.g., And can perform various data processing and arithmetic operations.
  • Processor 310 may load or process instructions or data received from other components (e.g., camera 330 or communication interface 340) into a volatile memory (e.g., memory 320) Volatile memory (e.g., memory 320).
  • processor 310 may be implemented as a main processor (e.g., a central processing unit (CPU), an application processor (CPU), an image signal processor (DSP), a digital signal processor And additionally or alternatively, may use a lower power than the main processor, or may include a co-processor specific to the specified function.
  • the coprocessor can be operated separately from or embedded in the main processor.
  • the coprocessor may be used in place of the main processor, for example, while the main processor is in an inactive (e.g., sleep) state, or with the main processor while the main processor is in an active , At least some of the functions or states associated with at least one component (e.g., camera 330, communication interface 340, etc.) of the device.
  • the coprocessor may be implemented as some component of another functionally related component (e.g., camera 330 or communication interface 340).
  • the number of processors 310 may vary depending on the number of cameras 330 or the size of the image acquired through the camera. For example, when the number of cameras 330 is 17, the number of processors 310 may be five.
  • the processor 310 may be comprised of a first processor connected to one camera and controlling the overall operation of the apparatus 300, and a second processor to a fourth processor respectively connected to the four cameras.
  • Each of the first to fifth processors may control at least one camera connected to each of the first to fifth processors.
  • Each of the first processor to the fifth processor may encode an image obtained through at least one camera connected to the first processor to the fifth processor.
  • the memory 320 may comprise a plurality of programs (or instructions).
  • the plurality of programs may be executed by the processor 310.
  • the plurality of programs may include an operating system, middleware, a device driver, or an application.
  • Memory 320 may include volatile memory, non-volatile memory, and / or non-volatile media.
  • the volatile memory may be a dynamic RAM, an SRAM, a synchronous DRAM, a phase-change RAM, a magnetic RAM, an RRAM, a FeRAM (ferroelectric RAM), and the like.
  • the non-volatile memory may include read only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable ROM (EEPROM) .
  • the non-volatile media includes a hard disk drive (HDD), a solid state disk (SSD), an embedded multi media card (eMMC), a universal flash storage (UFS) can do.
  • HDD hard disk drive
  • SSD solid state disk
  • the camera 330 may capture a still image and a moving image.
  • the camera 330 may include one or more lenses, one or more image sensors, or one or more flashes.
  • the camera 330 may acquire an image of the scene of the camera and the side part to acquire an image of the scene of the upper part of the device 300 Lt; / RTI > camera.
  • the camera 330 includes a plurality of cameras, at least some of the plurality of cameras may be comprised of pairs of cameras.
  • the FOV of each of the plurality of cameras may overlap some of the FOVs of the other cameras. With this superposition, the camera 330 can acquire a plurality of images for generating an omni-directional image.
  • the camera 330 may provide the processor 310 with information about the acquired plurality of images.
  • the communication interface 340 may support establishing a wired or wireless communication channel between the device 300 and another device (e.g., the electronic device 300 shown in FIG. 3), and performing communications over the established communication channel have.
  • communication interface 340 may be a wireless communication module (e.g., a cellular communication module, a short range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module ) Communication module, a UART (universal asynchronous receiver / transmitter) communication module, a LAN (local area network) communication module, or a power line communication module), and using the corresponding communication module, Or may communicate with the other device via a computer network.
  • the communication modules may be implemented as a single chip or may be implemented as separate chips.
  • the communication interface 340 may include an I / O interface provided for communication between the one or more I / O devices and the device 300.
  • the one or more I / O devices may be a keyboard, a keypad, an external microphone, an external monitor, a mouse, a printer, a scanner, a speaker, a still camera, a stylus, a tablet, a touch screen,
  • the I / O interface may support a designated protocol that can be wired or wirelessly connected to the one or more I / O devices.
  • the I / O interface 380 may include a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital
  • the PMIC 350 may be used to power at least one component of the device 300 (e.g., processor 310, communication interface 340, etc.).
  • the PMIC 350 may be constituted by a switching regulator or a linear regulator.
  • the PMIC 350 may be configured to provide power to each of the plurality of cameras or power to each of the plurality of processors.
  • the PMIC 350 may include a first PMIC coupled to the first processor, a second PMIC coupled to the second processor, a third PMIC coupled to the third processor, 4 PMIC, and a fifth PMIC coupled to the fifth processor.
  • Each of the first processor to the fifth processor may be independently connected to the PMIC. For example, while the first processor is powered via the first PMIC, the supply of power to the second processor may be interrupted.
  • the apparatus 300 includes a first PMIC for powering a processor associated with the first field of view and a processor associated with (or connected to) the first field of view, a camera associated with the second field of view, And a second PMIC for powering the processor associated with (or connected to) the camera associated with the second field of view.
  • the microphone 360 may be used to acquire audio.
  • the microphone 360 may acquire audio while acquiring a plurality of images through the camera 330.
  • the microphone 360 may be configured in plurality to provide sound (e.g., stereo sound or 5.1 channel sound) in the reproduction of the omnidirectional image.
  • the plurality of microphones may be configured to have directivity.
  • each of the plurality of microphones may be directionally distributed in the device 300 to differentiate the direction of the received audio.
  • each of the plurality of microphones may provide a higher gain to certain components of the received audio based on the direction of the received audio.
  • the microphone 360 may include a plurality of microphones, and may process the signals received from the plurality of microphones to distinguish the input direction of the audio signal.
  • the electronic device 101 or processor 310 may identify the input direction of the audio signal based at least on the input time difference of the received signal.
  • the input device 370 may be a device for receiving instructions or data from an external (e.g., user) device 300 for use in a component (e.g., processor 310)
  • the input device 370 may be configured as a touch screen capable of receiving the user's touch input.
  • the input device 370 may be configured with at least one physical key capable of receiving user input.
  • Display 390 may be a device for visually presenting information to a user of device 300.
  • the input device 370 is implemented as a touch screen
  • the display 390 and the input device 370 may be implemented as a single device.
  • the electronic device 101 or device 300 may perform the following procedure.
  • a device may use a plurality of cameras to obtain a plurality of images.
  • an apparatus may use a plurality of cameras of the apparatus to obtain a plurality of images for generating a composite image, such as a panoramic image, an omnidirectional image, or the like.
  • the plurality of cameras may be comprised of pairs of cameras.
  • a first one of the plurality of cameras and a second one of the plurality of cameras may be included in a first pair of the pairs of cameras.
  • the first camera is configured to be directed in a first direction and may have a first field of view (FOV) or a first angle of view (AOV).
  • the second camera is configured to be directed in a second direction corresponding to the first direction, and may have a second FOV (or AOV) partially overlapped with the first FOV.
  • the FOV may indicate a range of a view that the camera can take.
  • the FOV can be changed depending on the change of the focus of the lens or the like.
  • the FOV may be related to an optical axis.
  • At least one image of the plurality of images may be partially overlapped with at least one other image of the plurality of images.
  • the apparatus may obtain an image having a portion overlapping another image to generate the omnidirectional image.
  • the FOV of at least one of the plurality of cameras may be partially overlapped with the FOV of at least one other camera of the plurality of cameras.
  • the apparatus may control the plurality of cameras such that starting or ending of the plurality of images is synchronized.
  • the apparatus can acquire the plurality of images synchronized by controlling the plurality of cameras.
  • the apparatus may encode the plurality of images.
  • the apparatus may include at least one processor for encoding the plurality of images.
  • the number of the at least one processor may be determined based on the number of the plurality of images or the size of each of the plurality of images. For example, if the number of the plurality of images is 17, the number of the at least one processor may be five.
  • each of the at least one processor may generate encoded data by encoding at least a portion of the plurality of images.
  • the encoded data may be independently decodable.
  • the apparatus for encoding the plurality of images may be the same apparatus as the apparatus for obtaining the plurality of images, or may be an apparatus for distinguishing from the apparatus for obtaining the plurality of images.
  • the apparatus may generate an omnidirectional image by stitching the plurality of images based on the encoded data.
  • the apparatus may generate a plurality of decoded images by decoding the encoded data.
  • the apparatus may generate the omnidirectional image by stitching (or compositing) the plurality of decoded images.
  • the apparatus may generate the omni-directional image by stitching the plurality of decoded images based on an alignment of the plurality of decoded images.
  • the apparatus for generating an omnidirectional image may be the same apparatus as the apparatus for acquiring the plurality of images or the apparatus for encoding the plurality of images, and the apparatus for acquiring the plurality of images or the apparatus for encoding the plurality of images Or may be a device that is distinct from the device.
  • an omnidirectional image may be generated through a procedure for obtaining the plurality of images, a procedure for encoding the obtained plurality of images, and a procedure for performing image stitching based on the encoded data .
  • Various embodiments described below may be associated with such procedures.
  • the electronic device 400 may include a housing 410 defining an exterior space and an interior space for mounting internal components.
  • the electronic device 400 includes a first surface 4001 facing the first direction (e.g., the z-axis direction) 4001, a second surface 4002 facing the first surface 4001, (Or side) 4002 that surrounds the space defined by the first surface 4001 (or the bottom surface) 4003 and the first surface 4001 and the second surface 4003 .
  • the electronic device 400 includes a display 412 (e.g., display 390 in FIG. 3) and a navigation 411 (e.g., a display 390 in FIG. 3) disposed on a first side 4001 of the housing 410.
  • Display 412 may include a graphical user interface (GUI) of electronic device 500.
  • the user interface may display a menu for determining the mode of the electronic device 400 or a status of the electronic device 400, for example, battery remaining amount information and the like.
  • the navigation 411 may be provided to the user as input means for navigating the graphical user interface displayed on the display 412. Alternatively, the navigation unit 411 may function as a button for turning on / off the power of the electronic device 400.
  • the electronic device 400 may further include an indicator, a speaker, and the like disposed on the first side 4001 of the housing 410.
  • the indicator may include, for example, an LED device, and may visually provide status information of the electronic device 500 to the user, and the speaker may provide status information of the electronic device 500 to the user audibly .
  • the electronic device 400 may include a plurality of cameras.
  • the electronic device 400 may include a first camera 421 disposed on an upper surface 4001 of the housing 410 and a plurality of second cameras 422 disposed on a side surface 4002 .
  • the first camera 421 may be disposed substantially at the center of the top surface 4001 of the electronic device 400 so as to capture an upward view of the electronic device 400.
  • the side cameras 422 may be attached to the side 4002 of the electronic device 400 in any suitable number and configuration that can capture all views along the horizontal plane of the electronic device 400.
  • the electronic device 400 may utilize images photographed through the first camera 421 and the second cameras 422 to produce a 2D and / or 3D omnidirectional image (or , A 360 degree full view (full 360 degree view)).
  • FIG. 5 is an exploded perspective view of an electronic device according to various embodiments.
  • the electronic device 500 of FIG. 5 may be the same as or similar to at least one of the components of the electronic device 200 or 400 of FIGS. 2 and 4, and redundant descriptions are omitted below.
  • the electronic device 500 includes an upper housing 510, a lower housing 520, a printed circuit board (PCB) 530, a plurality of cameras A heat sink 540, a heat sink or heat spreader 550, and a battery 560.
  • PCB printed circuit board
  • the upper housing 510 and the upper housing 510 define an inner space in which the various components of the electronic device 500 may be mounted and an appearance of the electronic device 500 .
  • the upper housing 510 substantially defines the upper surface (e.g., 4001 of FIG. 4) of the electronic device 500 and the lower housing 510 substantially defines the bottom surface E.g., 4003 in FIG. 4).
  • At least a portion of each of the upper housing 510 and the lower housing 520 has a curved shape and together define the side of the electronic device 500 (e.g., 4002 in Fig. 4).
  • each of the housings 510 and / or 520 of the electronic device 500 may be designed to have any arbitrary shape for the aesthetically pleasing and / It can have an appropriate shape.
  • the electronic device 500 may further include a separate housing for defining a side (e.g., 4002 in FIG. 4).
  • the upper housing 510 and the lower housing 520 may be integrally formed with each other or may be respectively formed and assembled.
  • the printed circuit board 530, the plurality of cameras 540, the heat sink 550, and the battery 560 are disposed in the inner space between the upper housing 510 and the lower housing 520 .
  • a processor may include, for example, one or more of a central processing unit, at least one graphics processor, an image signal processor, a sensor hub processor, or a communications processor.
  • the memory may include, for example, volatile memory or non-volatile memory.
  • the interface may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, and / or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital
  • the plurality of cameras 540 may include a top camera 541 and a plurality of side cameras 542.
  • the top camera 541 may be arranged to take an upward view of the electronic device 500 through the top surface of the electronic device 500.
  • a plurality of side cameras 542 may be disposed along a periphery of the electronic device 500 according to a predetermined rule.
  • the plurality of side cameras 542 may be disposed such that each optical axis is directed to the side of the electronic device 500.
  • the plurality of side cameras 542 may be disposed on the printed circuit board 430 such that each optical axis is parallel to the plane of the printed circuit board.
  • the plurality of side cameras 542 may be arranged such that all of the optical axes are in the same plane.
  • the plurality of side cameras 542 can take all directions along the horizontal plane of the electronic device 500.
  • the optical axes of the plurality of side cameras 542 and the top camera 541 may be orthogonal to each other.
  • the top camera 541 may be fixedly coupled to the upper housing 510 and / or the printed circuit board 530.
  • the plurality of cameras 540 may be stably mounted by the structural support of the housings 510 and 520.
  • the plurality of cameras 540 may be electrically connected to at least one processor disposed on the printed circuit board 530.
  • the plurality of side cameras 542 may be fixedly coupled or coupled to the upper housing 510, the lower housing 520, and / or the printed circuit board 530.
  • the top camera 541 may be connected or fixedly coupled to approximately the center of the first side 531 of the printed circuit board 530, and the plurality of side cameras 542 may be coupled to the first side 531 Fixedly coupled or connected along a rim or a peripheral portion of the second surface 532 of the printed circuit board 530, which is opposed to the first surface 531 of the printed circuit board 530.
  • the embodiment is not limited thereto, and the plurality of cameras 540 may be coupled to the first surface 531 and / or the second surface 532 of the printed circuit board 530 in any suitable configuration .
  • the heat discharging body 550 receives heat from a heat component as a heat source included in the electronic device 500 and emits heat to the air to lower the heat of the electronic device 500.
  • the heat sink 550 may be made of a material having a high thermal conductivity, for example, copper or aluminum. According to one embodiment, the heat sink 550 may be configured to receive heat in contact with a processor or memory mounted on the printed circuit board 530. According to another embodiment, the electronic device 500 may further include a separate device for heat dissipation, for example, a heat pipe, a cooler, and the like.
  • the battery 560 may be an apparatus for supplying power to at least one component of the electronic device 500, for example, a non-rechargeable primary battery, or a rechargeable secondary battery, or a fuel cell .
  • the battery 560 may be disposed, for example, below the printed circuit board 530. As another example, the battery 560 may be disposed on substantially the same plane.
  • the battery 560 may be disposed integrally within the electronic device 500 and may be detachably configured with the electronic device 500.
  • the electronic device 500 may further include a plurality of microphones (not shown).
  • the plurality of microphones may be configured to receive audio associated with at least one of the images obtained through the plurality of cameras 420.
  • Figure 6 shows the camera's field of view (FOV), in accordance with various embodiments.
  • the description of the camera 600 disclosed in Fig. 6 below may be a description of each of the plurality of cameras 540 described above.
  • the camera 600 may include an image sensor 610 configured to capture a series of images as unique photographic images or video.
  • the camera 600 may include a charge-coupled device (CCD) image sensor or a complementary metal-oxide-semiconductor (CMOS) active pixel image sensor.
  • CCD charge-coupled device
  • CMOS complementary metal-oxide-semiconductor
  • the image sensor 610 of the camera 600 may have an approximate 16: 9, 4: 3, 3: 2, or any suitable aspect ratio.
  • the aspect ratio can be a ratio of the width to the height of the sensor.
  • the width of the image sensor 610 may be longer than the height.
  • the height of the image sensor 610 may be greater than the width.
  • the width and height of the image sensor 610 may be expressed in the form of a number of pixels on two axes of the image sensor 610.
  • the image sensor 610 may have a width or height of 500 to 8000 pixels.
  • an image sensor 610 of 1920 pixels wide and 1080 pixels high can be said to have an aspect ratio of 16: 9.
  • the camera 600 may include a lens or lens assembly that collects incoming light and focuses the focal area of the image sensor 610.
  • the lens or lens assembly of the camera 600 may include a fisheye lens, a wide-angle lens, and a telephoto lens having various fields of view based on various focal lengths.
  • the camera 600 may include a field of view (FOV) based at least in part on the location of the camera 600, the focal length, or the magnification of the lens assembly and the location or size of the image sensor 610 ).
  • FOV field of view
  • the FOV of the camera 600 may indicate a horizontal, vertical, or diagonal range of a particular scene that can be photographed through the camera 600.
  • Objects (or objects) in the FOV of the camera 600 may be captured by the image sensor 610 of the camera 600 and objects outside the FOV may not be displayed on the image sensor 610.
  • the FOV can be referred to as an angle of view (AOV).
  • the FOV or AOV may indicate an angular range of a particular scene that can be captured (or imaged) by the camera 600.
  • the camera 600 may have a horizontal field of view (FOV H ) and a vertical field of view (FOV V ) oriented substantially perpendicular to each other.
  • the camera 600 may have a horizontal field of view (FOV H ) in the range of 30 degrees to 100 degrees and a vertical field of view (FOV V ) in the range of 90 degrees to 200 degrees.
  • the FOV H of the camera 600 may be wider than the FOV V of the camera 600.
  • the camera 600 may have an FOV V in the range of 30 degrees to 80 degrees and a FOV H in the range of 90 degrees to 200 degrees.
  • the camera 600 having different FOV H and FOV V may correspond to an aspect ratio of the image sensor 610.
  • specific cameras having specific FOVs are assumed and assumed, but the electronic device according to various embodiments (e.g., 400 in FIG. 4) may include any suitable image sensors and any suitable lenses.
  • FIG. 7 illustrates an exemplary stereoscopic pair 700 of cameras according to various embodiments.
  • Stereoscopic pair 700 may include two cameras, referred to as left camera 710L and right camera 710R, respectively.
  • the left camera 710L and the right camera 710R can acquire (or capture) images corresponding to the left and right eyes of a person, respectively.
  • each of the left camera 710L and the right camera 710R of the stereo pair of scopes 700 may have an orientation 711 (or optical axis) corresponding to the direction or angle to which it is pointing.
  • the orientation 711 may be represented by a line toward the center of the FOV of the camera 710.
  • the orientation 711 of the camera 710 may be oriented approximately perpendicular to the longitudinal axis of the camera 710 and may be directed generally perpendicular to the surface of the camera lens assembly or image sensor.
  • the orientation 711 may be the same as the optical axis (or the central axis) of the camera lens.
  • the orientation 711L of the left camera 710L and the orientation 711R of the right camera 710R are approximately orthogonal to the axis 712, respectively, and the orientations 711L and 711R correspond respectively to cameras can mean that the optical axis of the FOV of H 710L and 710R).
  • the orientations 711L and 711R may be horizontal to each other. In other words, the FOV H of the orientations 711L and 711R can be made substantially the same.
  • the orientations 711L and 711R may be substantially parallel to each other.
  • the left camera 710L and the right camera 710R may correspond to cameras pointing in the same direction, and these cameras 710L and 710R may be defined as having the same orientation.
  • the left camera 710L and the right camera 710R may have orientations with angles between certain angles that are not parallel (non-zero).
  • the left camera 710L and the right camera 710R which have the same orientation, may face each other with ⁇ 0.1 °, ⁇ 0.5 °, ⁇ 1 °, ⁇ 3 °, or any appropriate angle value
  • orientations 711L and 711R having directions away from each other.
  • a pair of stereoscopic pairs 700 may have a constant spaced distance between the left camera 710L and the right camera 710R.
  • the distance may be referred to as inter-camera spacing (ICS).
  • ICS can be measured by the specifications of the corresponding two points or cameras of the left and right cameras 710L and 710R.
  • cameras 710L and 710R of stereoscopic pair 700 correspond to lines connecting cameras 710L and 710R and are generally perpendicular to orientations 711L and 711R Along the axis 712, by an ICS distance.
  • the ICS may correspond to an approximate average distance between human pupils, or an inter-pupillary distance (IPD).
  • Stereoscopic pair 700 may have an ICS of 6 cm to 11 cm.
  • the stereoscopic pair 700 according to various embodiments can be assumed to have an ICS of 6 cm to 7 cm.
  • the embodiment is not limited thereto, and it may have an ICS that is larger or smaller than the average IP.
  • An image photographed using a pair of stereo scopes having such a larger ICS value can provide the viewer with an image having improved 3D characteristics when reproduced.
  • the stereo-scopic pair may have an ICS of any suitable length designed according to the size of the entire imaging device, or a factor such as the field of view (FOV) of the camera lens.
  • FOV field of view
  • Figure 8 shows a portion of a top view of an exemplary camera arrangement of a camera system in accordance with various embodiments.
  • the camera system 800 includes a plurality of nth camera pairs 810 (or pairs of stereo scopes) constituted by a left camera 811-Ln and a right camera 811-Rn .
  • the first left camera 811-L1 and the first right camera 811-R1 constitute the first camera pair 810-1
  • the camera 811-R2 can configure the second camera pair 810-2.
  • the camera system 800 may further include additional camera pairs, such as an nth camera pair 810-n.
  • each of the cameras 811 may be located on a horizontal plane, or on the same plane.
  • the cameras 811 of the camera system 800 may include a straight line, a curve, an ellipse (or a portion of an ellipse), a circle (or a portion of a circle), or any appropriate form Edge).
  • the cameras 811 of the camera system 800 may be arranged with a certain rule along the rim or periphery of a printed circuit board (e.g., 530 of FIG. 5) having a specific shape.
  • a camera system 800 having cameras 811 arranged along a circle (dashed line) is used to project images (e.g., images) over a 360 degree panoramic view (or cylindrical side view) As shown in FIG.
  • the cameras 811 may be oriented towards the side of the camera system 800 (or electronic device).
  • Each of the cameras 811 of the camera system 800 may be located on the same plane and each of the cameras 811 may have an FOV H rotated along the same plane and a FOV V oriented perpendicular to the horizontal plane.
  • each of the cameras 811 of the camera system 800 may be located on the same plane and may be located on the same orientation or orientation 812 of each of the cameras 811.
  • the cameras 811 may be disposed so as to be substantially parallel to the arrangement plane (e.g., 531 in Fig. 5) of the printed circuit board on which the cameras 811 are disposed.
  • the first left camera 811-L1 and the first right camera 811-R2, the second left camera 811-L2, the second right camera 811-R2, the nth left camera 811- -Ln and the nth right camera 811-Rn may be located along the circle (dashed line) on the same plane and may be located on the orientations of each of the cameras 811, Lt; / RTI > That is, the orientation 812 of each camera 811 may indicate the horizontal direction of the same plane.
  • the camera system 800 may include a plurality of camera pairs 810 interleaved with each other.
  • one of the first camera pair 810-1 may be located between the cameras of the adjacent second camera pair 810-2.
  • a pair of adjacent or adjacent cameras may point to a pair of cameras positioned side by side, or one camera of a pair of cameras may point to a pair of cameras positioned between two cameras of another pair of cameras .
  • the camera pair 810-2 may be interleaved between the camera pairs 810-1 and vice versa.
  • the second right camera 811-R2 is located between the first cameras 811-L1 and 811-R1, and the first left camera 811- And may be located between the second cameras 811-L2 and 811-R2.
  • the cameras 811 of each pair of cameras 810 may be uniformly arranged such that the pairs of cameras 810 adjacent to each other may be angled with respect to each other by an angle of?.
  • the [theta] angle may correspond to the difference in orientation or the angular spacing of each of the camera pairs 810 that are adjacent to each other.
  • the first camera pair 810-1 including the first left camera 811-L1 and the second camera pair 810-n including the nth right camera 811-n are different in the angle of?
  • the angle [theta] between adjacent camera pairs Ln-Rn may be approximately the same for an adjacent pair of cameras 810 of the camera system 800.
  • each of the adjacent camera pairs 810 of the camera system 800 may be angled relative to one another at 26, 30, 36, 45, 60, 90 or any suitable angle.
  • the angle ⁇ between each pair of adjacent cameras is expressed as ⁇ 360 ° / m .
  • the camera system 900 includes side cameras 910 arranged along the edge or periphery of the camera system 900, And a top camera 910T that is angled to the camera.
  • the side camera 910 can take a cylindrical side view and the top camera 910T can take a top view that forms a roof on a cylindrical side view.
  • the cylindrical side view and top view can be combined to provide the user with an "omnidirectional image" or "360 degree view” of 2D and / or 3D.
  • the camera system 900 may further include a bottom camera (not shown) that is oriented downward.
  • the camera system 900 may further include at least two top cameras 910T (e.g., a left top camera capable of forming a stereo-scopic pair, and a right top camera) have.
  • the camera system 900 is comprised of side cameras 910 with a top camera 910T and / or a bottom camera and a FOV V of greater than or equal to 180 degrees, You can shoot a full 360 degree view using only.
  • the camera system 900 may include side cameras 910 arranged along the periphery of the camera system 900 and a top camera 910T located in the center.
  • Each of the side cameras 910 and the top camera 910T may be at least partially the same or similar to the camera 600 described in Fig.
  • the side cameras 910 may be the same or similar to the cameras (e.g., 811) described in FIG. 8 and may be arranged to form a pair of stereo scopes on the same side as described above.
  • the top camera 910T may be disposed substantially orthogonal to the side cameras 910. [ The orientations 911 of the side cameras 910 may be parallel to the arranged horizontal plane of the side cameras 910.
  • the orientation 911T of the top camera 910T can be substantially orthogonal to the orientation 911 of the side cameras 910.
  • the embodiment is not so limited, and the camera system 900 according to various embodiments may have the arrangement and arrangement of any suitable side camera 910 and any suitable top camera 910T.
  • the top camera 910T may have a field of view (FOV T ) that at least partially overlaps or shares a vertical view (FOV V ) of one or more side cameras 910.
  • the top camera 910T includes a top portion of the image captured by the top camera 910T and a portion of the image captured by the side cameras 910 (e.g., a cylindrical side view) And may have a top overlap 921 between the tops.
  • the top overlap 921 may overlap 10% to 30% of the FOV V of the side cameras 910 and / or the FOV T of the FOV H of the top camera 910T.
  • the top camera 910T may have a greater FOV than the side cameras 910 relatively.
  • the FOV T of the top camera 910T may have 140 ° to 185 °.
  • Figure 10 illustrates an exemplary set of overlapped images taken by a camera system in accordance with various embodiments.
  • the camera system 1000 includes a plurality of left cameras 1011, a plurality of right cameras 1012, and at least one top camera 1013, each of which constitutes a pair of stereo scopes ).
  • the side cameras 1011 and 1012 may be the same or similar to the cameras (e.g., 811) described in the drawings and may be disposed on the same side.
  • the top camera 1013 may be the same as or similar to the top camera (e.g., 910T) described in FIG. 9, and the side cameras 1011 and 1012 may be arranged to be orthogonally oriented.
  • the embodiments are not so limited, and the camera system 1000 according to various embodiments may have any suitable side cameras and configuration and arrangement of the top cameras.
  • a camera system 1000 may have eight stereo scopic pairs, and thus may include eight left cameras 1011 and eight right cameras 1012 .
  • the left camera images IL can be photographed or obtained from the left cameras 1011.
  • the right cameras 1012 can be photographed or obtained from the right cameras 1012.
  • the top image IT can be photographed or obtained from the top camera 1013.
  • the camera system 1000 may combine the left camera images IL and the top image ITop to provide an omni-directional image of 2D (or a 2D 360 degree full view).
  • the camera system 1000 may combine the right camera images IR and the top image ITop to provide an omni-directional image of 2D.
  • the left camera images IL are images corresponding to the left eye of a person
  • the right camera images IR may be images corresponding to the right eye of a person, (Or a 3D 360 degree full view) of the 3D, using the left camera images IL, the right camera images IR, and the top image IT.
  • the camera system 1000 can use only one of the left camera images IL and the right camera images IR to provide a 2D omni-directional image.
  • the left cameras 1011 and the right cameras 1012 included in the camera system 1000 can be arranged in a paired, cross-positioned manner, as described above, Images photographed from the cameras may partially overlap each other to generate left camera images IL and right camera images IR.
  • the left camera images IL may include a first left camera image IL-1 to an eighth left camera image IL-8.
  • the overlapped areas 1020-Ln may correspond to overlapping or sharing parts of the images IL of the neighboring left cameras 1011.
  • the first overlapping area 1021-L1 may be an overlapped area of the first left camera image IL-1 and the second left camera image IL-2
  • the eighth overlap area 1021- -L8 may be overlapped areas of the first left camera image IL-1 and the eighth left camera image IL-8.
  • the right camera images IR may include a first right camera image IL-1 to an eighth right camera image IL-8.
  • the overlapped areas 1020-Rn may correspond to the overlapping or sharing parts of the images IR of the neighboring right cameras 1011.
  • the overlap region 1020-T of the top image ITop may partially overlap the top of the side camera images, e.g., the left camera images IL and / or the right camera images IR .
  • the overlap area 1021-T may correspond to a border area of the top image ITop.
  • overlapping areas 1020-T may be used to stitch top images (ITop) with the images obtained from at least one of the side cameras 1011 and 1012.
  • the camera system 1100 may include a printed circuit board 1110 and a plurality of cameras 1110 that are uniformly disposed along the perimeter or periphery of the printed circuit board 1110 have.
  • the printed circuit board 1110 of FIGS. 11A and 11B may be at least partially identical or similar to the printed circuit board 530 described in FIG. 5, and the camera system 1100 comprised by the plurality of cameras 1120 May be at least partially identical or similar to the camera system 800, 900, 1000 described in Figures 8-10.
  • the first camera 1120-1 to the sixteenth camera 1120-16 may be arranged in a clockwise direction along the periphery of the printed circuit board 1100 have.
  • the first camera 1120-1 to the sixteenth camera 1120-16 may be disposed on the same side of the printed circuit board 1100.
  • the orientation (e.g., the horizontal viewing angle FOV H ) of each of the first camera 1120-1 to the sixteenth camera 1120-16 is set on the arrangement plane of the printed circuit board 1100 531).
  • Each of the first camera 1120-1 to the sixteenth camera 1120-16 may be configured to form eight stereo-scopic pairs.
  • the first camera 1120-1 and the fourth camera 1120-4 may constitute a first pair of stereo scopes 1130.
  • the first camera 1120-1 may be referred to as a first left camera
  • the fourth camera 1120-4 may be referred to as a first right camera.
  • the plurality of cameras 1110 i.e., the first camera 1120-1 to the sixteenth camera 1120-16
  • the left camera set includes a first camera 1120-1, a third camera 1120-3, a fifth camera 1120-5, a seventh camera 1120-7, a ninth camera 1120- 9, an eleventh camera 1120-11, a thirteenth camera 1120-13, and a fifteenth camera 1120-15.
  • the right camera set includes a second camera 1120-2, a fourth camera 1120-4, a sixth camera 1120-6, an eighth camera 1120-8, a tenth camera 1120-10 A twelfth camera 1120-12, a fourteenth camera 1120-14, and a sixteenth camera 1116-16.
  • each of the eight left and right camera sets may be arranged in an intersecting relation with each other.
  • the first camera 1120-1 corresponding to the first left camera corresponds to the second camera 1120-2 corresponding to the first right camera and the 16th camera 1120-16 corresponding to the eighth right camera
  • the second camera 1120-2 and the sixteenth camera 1120-16 The second camera 1120-2 and the sixteenth camera 1120-16.
  • the printed circuit board 1110 is mounted on a printed circuit board 1110 such that a plurality of cameras 1120 do not project beyond the outermost 1111 (or the housing 410 Shape.
  • the printed circuit board 1110 may include at least one protrusion 1113 formed along a periphery.
  • the plurality of cameras 1120 are devices that are sensitive to an external impact as an optical device.
  • the plurality of cameras 1120 may be malfunctioning due to an external impact or may be caused by external shocks to the camera system 1100 (or electronic device) An error may occur, or quality deterioration of the photographed image due to scratches or the like on the lens may be caused.
  • the printed circuit board 1110 has a configuration or arrangement in which the plurality of cameras 1120 are disposed in the outermost portion 1111 without protruding from the outermost portion 1111, The cameras 1120 can be protected from external shocks.
  • a camera system 1100 can be operatively and electronically connected, respectively, to a plurality of processors 1140 and 1150, respectively.
  • Each of the plurality of processors 1140 and 1150 can encode (or image-process) an electrical brightness signal obtained from a connected camera (or an image sensor) into a digital image.
  • each of the plurality of processors 1140, 1150 may be referred to as an image processor.
  • each of the plurality of processors 1140 and 1150 includes a field programmable gate array (FPGA), and may be operatively and electrically connected to each of the plurality of cameras 1110 through it.
  • FPGA field programmable gate array
  • the left camera set may be connected to the left processor 1140.
  • the first camera 1120-1, the third camera 1120-3, the fifth camera 1120-5, the seventh camera 1120-7, the ninth camera 1120-9, 11 camera 1120-11, the thirteenth camera 1120-13, and the fifteenth camera 1120-15 may be connected to the left processor 1140.
  • the right camera set may be connected to the right processor 1150.
  • the second camera 1120-2, the fourth camera 1120-4, the sixth camera 1120-6, the eighth camera 1120-8, the tenth camera 1120-10, 12 camera 1120-12, the fourteenth camera 1120-14, and the sixteenth camera 1116-16 may be connected to the right processor 1150.
  • a plurality of electrical connections between the plurality of cameras 1120 and the processors 1140 and 1150 may be made by a plurality of conductive patterns formed on the printed circuit board 1110.
  • the printed circuit board 1110 may be implemented as a multilayer printed circuit board to prevent interference between a plurality of conductive patterns.
  • the plurality of electrical connections may be made of at least one or a combination of two or more of a conductive pattern formed on the printed circuit board 1110, a flexible printed circuit board (FPCB), and wiring .
  • the electrical connection between the left camera set and the left processor 1140 and the electrical connection between the right camera set and the right processor 1150 can be defined as a first configuration.
  • the left processor 1140 may provide left camera images (e.g., IL in FIG. 10) based on images obtained from the left camera set
  • the right processor 1150 may provide (E.g., IR in FIG. 10) based on the acquired images.
  • the camera system 1100 may provide a 2D omnidirectional image based on the left camera images, via control and / or powering to the left processor 1140.
  • the camera system 1100 can provide a 2D omnidirectional image based on the right camera images, via control and / or power to the right processor 1150.
  • Camera system 1100 can provide a 3D omnidirectional image based on left / right camera images through control and / or powering of left processor 1140 and right processor 1150 have.
  • camera system 1100 in accordance with various embodiments of the present disclosure, can provide a 2D omni-directional image through control and / or powering to either left processor 1140 and right processor 1150 .
  • Processors in accordance with various embodiments of the present disclosure may be comprised of a plurality of processors.
  • the left processor 1140 may be comprised of a first left processor 1141 and a second left processor 1142
  • the right processor 1150 may include a first right processor 1151 and a second right processor And a processor 1152.
  • each of the plurality of processors 1141, 1142, 1151, and 1152 may further include an FPGA.
  • the first camera 1120-1, the third camera 1120-3, the fifth camera 1120-5, and the seventh camera 1120-7 are connected to the first left processor 1141, As shown in FIG.
  • the ninth camera 1120-9, the eleventh camera 1120-11, the thirteenth camera 1120-13 and the fifteenth camera 1120-15 may be electrically connected to the second right processor 1142 .
  • the second camera 1120-2, the fourth camera 1120-4, the sixth camera 1120-6, and the eighth camera 1120-8 are electrically connected to the first right processor 1151 .
  • the tenth camera 1120-10, the twelfth camera 1120-12, the fourteenth camera 1120-14 and the sixteenth camera 1116-16 may be electrically connected to the second right processor 1152 .
  • a plurality of electrical connections between the plurality of cameras 1120 and the processors 1141, 1142, 1151 and 1152 can be made to a plurality of interfaces (or signal lines, conductive patterns) formed on the printed circuit board 1110 have.
  • the first left processor 1141 may be coupled to a plurality of cameras (e.g., 1120-1, 1120-3, 1120-5, 1120-7) by first interfaces 1112-1 .
  • the second left processor 1142 may be coupled with a plurality of cameras (e.g., 1120-9, 1120-11, 1120-13, 1120-15) by second interfaces 1112-2 .
  • the first right processor 1151 may be coupled with a plurality of cameras (e.g., 1120-2, 1120-4, 1120-6, 1120-8) by third interfaces 1112-3 .
  • the second right processor 1152 may be coupled with a plurality of cameras (e.g., 1120-10, 1120-12, 1120-14, 1120-16) by fourth interfaces 1112-4 .
  • the printed circuit board 1110 may be implemented as a multilayer printed circuit board to prevent interference between a plurality of interfaces.
  • the electrical connection between the camera and the processor may be accomplished by at least one of, or a combination of, a conductive pattern formed on the printed circuit board 1110, a flexible printed circuit board (FPCB) Lt; / RTI >
  • the electrical connection between the left camera set and the first and second left processors 1141 and 1142 and the electrical connection between the right camera set and the first and second right processors 1151 and 1152 are the same as the second configuration can be defined as a configuration.
  • the camera system 1100 may be configured such that at least one or more of the left and right processors 1141, 1142, 1151, and 1152 are controlled and / And / or an omni-directional image of 2D or 3D based on the right camera images.
  • the camera system 1100 may provide 2D panoramic images through control and / or powering on one of the left and right processors 1141, 1142, 1151, and 1152.
  • each of the plurality of cameras 1120 may be configured to be electrically connected to a functionally related processor other than a processor disposed adjacent to the printed circuit board 1110.
  • a functionally related processor other than a processor disposed adjacent to the printed circuit board 1110.
  • the printed circuit board 1110 includes interfaces that each of the cameras 1120 can be electrically connected to a functionally related processor, regardless of the complexity of the interfaces and hence the design / process difficulties can do.
  • the camera system 1100 in accordance with various embodiments of the present disclosure may include a processor (e. G., A processor, etc.), depending on the type of image (e.g., 2D panoramic view, 2D or 3D omni-directional image, 1141, 1142, 1151, or 1152 may be needed. That is, the camera system 1100, which includes a plurality of cameras 1120 and a connection configuration (e.g., a first configuration, a second configuration) between the processors 1140 and 1150 according to various embodiments of the present disclosure, And can be efficiently operated in terms of power management.
  • a processor e. G., A processor, etc.
  • connection between the plurality of cameras 1120 and the processors is not limited to the number of the plurality of cameras 1120, the kind of images obtained from the plurality of cameras 1120, The number of processors, the placement of processors, and the like.
  • the printed circuit board 1110 may include a plurality of protrusions 1113 at regular intervals along the perimeter.
  • the plurality of cameras 1120 may be arranged to have a pair of cameras adjacent to each other in the area between the projections 1113.
  • An area between the projections 1113 may be defined as a recess 1114.
  • the first camera 1120-1 and the second camera 1120-2 may be disposed in the first concave portion 1114-1.
  • the third camera 1120-3 and the fourth camera 1120-4 may be disposed in the second concave portion 1114-2 adjacent to the first concave portion 1114-1.
  • the fifth camera 1120-5 and the sixth camera 1120-6 may be disposed in the third concave portion 1114-2 adjacent to the second concave portion 1114-2.
  • the first camera 1120-1 and the second camera 1120-2 may be arranged such that the optical axis (or orientation) intersects at an interval of a specific angle?.
  • the first camera 1120-1 and the second camera 1120-2 can photograph the field of view (FOV) in which substantially the majority of the areas overlap, from different angles.
  • the first camera 1120-1 and the fourth camera 1120-4 may be arranged such that the optical axes thereof are substantially parallel to each other.
  • the first camera 1120-1 and the fourth camera 1120-4 may constitute a stereo-scopic pair for acquiring images corresponding to the left and right eyes, respectively.
  • the optical axes of the first camera 1120-1 and the fifth camera 1120-5 may be substantially orthogonal (90 [deg.]). And the remaining sixth cameras 1120-6 to 1620-116 may be disposed on the printed circuit board 1110 according to the above arrangement relationship.
  • the camera system 1100 may include a plurality of processors 1141, 1142, 1151, and 1152 disposed on a printed circuit board 1110.
  • the plurality of processors may be disposed on one side of the printed circuit board 1110 together with the plurality of cameras 1120.
  • the first processor 1141 may be disposed on the printed circuit board 1110 in an area adjacent to the first camera 1120-1 and the second camera 1120-2.
  • the second processor 1151 may be disposed on the printed circuit board 1110 in a region adjacent to the third camera 1120-3 and the fourth camera 1120-4.
  • the first camera 1120-1 may be electrically connected to the first processor 1141 and the fourth camera 1120-4 may be electrically connected to the second processor 1151.
  • the second camera 1120-2 may be electrically connected to the second processor 1151 instead of the adjacent first processor 1141.
  • the third camera 1120-3 may be electrically connected to the first processor 1141, not to the adjacent second processor 1151.
  • the fifth camera 1120-5 and the seventh camera 1120-7 may be electrically connected to the first processor 1141 other than the adjacent processors 1151 or 1152.
  • the first processor 1141 may be coupled with a plurality of cameras (e.g., 1120-1, 1120-3, 1120-5, 1120-7) by first designated interfaces 1112-1 .
  • the second processor 1151 may be coupled to a plurality of cameras (e.g., 1120-2, 1120-4, 1120-6, 1120-8) by second designated interfaces 1112-3.
  • the third processor 1142 may be coupled with a plurality of cameras (e.g., 1120-9, 1120-11, 1120-13, 1120-15) by third designated interfaces 1112-2.
  • the fourth processor 1152 may be coupled to a plurality of cameras (e.g., 1120-10, 1120-12, 1120-14, and 1120-16) by fourth designated interfaces 1112-4.
  • the camera system 1100 can acquire a 2D panoramic view (A-A ') only by controlling the first processor 1141.
  • the camera system 1100 can acquire a 3D panoramic view A-A 'only by controlling the first processor 1141 and the second processor 1142.
  • the camera system 1100 can acquire a forward view of the 2D by controlling only the first processor 1141 and the fourth processor 1152.
  • Camera system 1100 may obtain a forward view of 3D with control over all processors 1141, 1142, 1151, and 1152. That is, each of the plurality of cameras 1120 may be configured to be electrically connected to a functionally related processor other than a processor disposed adjacent to the printed circuit board 1110.
  • the printed circuit board 1110 may be implemented as a multilayer printed circuit board to prevent interference between a plurality of interfaces.
  • the electrical connection between the camera and the processor may be accomplished by at least one of, or a combination of, a conductive pattern formed on the printed circuit board 1110, a flexible printed circuit board (FPCB) Lt; / RTI > That is, the printed circuit board 1110 includes interfaces that each of the cameras 1120 can be electrically connected to a functionally related processor, regardless of the complexity of the interfaces and hence the design / process difficulties can do.
  • FPCB flexible printed circuit board
  • a camera system 1200 may include a printed circuit board 1210, a processor 1220 mounted on a printed circuit board 1210, and the like.
  • the printed circuit board 1110 of FIG. 12 may be at least partially the same or similar to the printed circuit board 530 illustrated in FIG.
  • the top camera 1230 included in the camera system 1200 may be operatively and electrically coupled to the processor 1220.
  • the processor 1220 may encode (or image-process) the electrical brightness signal obtained from the connected top camera 1230 into a digital image.
  • processor 1220 may be referred to as an image processor.
  • the processor 1220 includes a field programmable gate array (FPGA), through which it can be operatively and electrically coupled to the top camera 1230.
  • FPGA field programmable gate array
  • the processor 1220 may operate as a main processor (e. G., 310 of FIG. 3) as well as processing of images obtained from the top camera 1230 by the camera system 1200.
  • Processor 1220 may be configured to drive software (e.g., a program or instruction) to control at least one other component (e.g., hardware or software component) of processor 1220, electronic device And can perform various data processing and arithmetic operations.
  • processor 1220 may receive image data obtained from other cameras (e.g., 1120 of Figure 11) from other processors (e.g., 1141, 1142, 1151, 1152 of Figure 11) Image data obtained from the image processing unit 1230 can be combined.
  • the processor 1220 can collectively operate the image data acquired by the camera system 1200.
  • the embodiment is not limited thereto, and the number of processors 1220 and other processors (e.g., 1141, 1142, 1151, and 1152 in FIG. 11) and the arithmetic processing method can be made in any suitable configuration.
  • the processor 1220 may receive image data obtained directly from other cameras (e.g., 1120 of FIG. 11), receive and process the image data obtained from the top camera 1230 .
  • the configuration of the processors will be described later in detail.
  • the processor 1220 may include at least one communication interface (e.g., 340 of FIG. 3).
  • Processor 1220 may be coupled to at least one of the other processors (e.g., 1141, 1142, 1151, and 1152 of Figure 11) for image data reception using a communication interface, , And a communication interface.
  • a connection between the processor 1220 and other processors may include at least one of a via hole, a conductive pattern, a wiring, and a cable formed in the printed circuit board 1210.
  • 13A to 13C show examples of the layout structure of a plurality of cameras and a printed circuit board according to various embodiments.
  • a camera system 1300 may include a double (both) -side printed circuit board.
  • a processor connected to the top camera 1320 may be mounted on the upper surface 1311 of the printed circuit board 1310.
  • a plurality of side cameras 1330 may be disposed along the periphery of the printed circuit board 1310 and a plurality of side cameras (not shown) may be disposed on the rear surface 1312 of the printed circuit board 1310 1330 may be implemented.
  • the upper surface 1311 of the printed circuit board 1310 may be composed of the printed circuit board 1210 shown in Fig. 12, and the lower surface 1312 may be composed of the printed circuit board 1110 shown in Fig. 11 . Therefore, the camera system 1300 can have a thickness reduction effect (slimming down) of the camera system 1300 by including a double-sided printed circuit board.
  • the camera system 1300 may include a plurality of single-sided printed circuit boards.
  • the camera system 1300 may include a first printed circuit board 1310 and a second printed circuit board 1340 that forms a duplex with the first printed circuit board 1310.
  • a processor connected to the top camera 1320 may be mounted on the second printed circuit board 1340.
  • a plurality of side cameras 1330 may be disposed along the periphery of the second printed circuit board 1310 and at least one processor 1330 connected to the plurality of side cameras 1330 may be disposed on the first printed circuit board 1310. [ Can be mounted.
  • the second printed circuit board 1340 may be composed of the printed circuit board 1210 shown in FIG. 12, and the first printed circuit board 1310 may be composed of the printed circuit board 1110 shown in FIG. 11 .
  • a camera system 1300 may include a printed circuit board 1310 and a supporter 1350 disposed on the printed circuit board 1310.
  • the support system 1300 may include a plurality of components.
  • the plurality of side cameras 1330 may be disposed along the periphery of the printed circuit board 1310 and the top camera 1320 may be disposed on the support 1350 on the printed circuit board 1310.
  • the support body 1350 can be fixedly coupled to the top camera 1320.
  • the support 1350 can have any suitable structure so that the top camera 1320 can be stably fixed.
  • the printed circuit board 1310 can mount at least one processor connected to the top camera 1320 and the plurality of side cameras 1330.
  • the printed circuit board may have any suitable structure in which at least one processor connected to a top camera, a plurality of side cameras, cameras may be mounted.
  • FIG. 14 shows an example of the functional configuration of an apparatus for power control according to various embodiments. This functional configuration may be included in the device 300 shown in FIG.
  • the apparatus 300 includes a first processor 310-1, a second processor 310-2, a third processor 310-3, a first camera 330-1, A first PMIC 350-1, a second PMIC 350-2, and a third PMIC 350-3.
  • the first processor 310-1 may control the overall operation of the device 300.
  • the first processor 310-1 is coupled to other components of the device 300 such as a second processor 310-2, a third processor 310-3, a second PMIC 350-2, (350-3), etc.) to control the overall operation of the device (300).
  • the second processor 310-2 may be operatively coupled to the first camera 330-1.
  • the second processor 310-2 may acquire an image through the first camera 330-1.
  • the second processor 310-2 may encode the obtained image.
  • the second processor 310-2 may generate the encoded data by encoding the obtained image.
  • the second processor 310-2 may provide the encoded data to the first processor 310-1.
  • the second processor 310-2 may be operatively coupled to the second PMIC 350-2.
  • the second processor 310-2 may operate based on the power provided by the second PMIC 350-2.
  • the third processor 310-3 may be operatively coupled to the second camera 330-2. And the third processor 310-3 can acquire an image through the second camera 330-2. The third processor 310-3 may encode the obtained image. The third processor 310-3 can generate the encoded data by encoding the obtained image. The third processor 310-3 may provide the encoded data to the first processor 310-1.
  • the third processor 310-3 may be operatively coupled to the third PMIC 350-3.
  • the third processor 310-3 may operate based on the power provided from the third PMIC 350-3.
  • Each of the first processor 310-1, the second processor 310-2, and the third processor 310-3 may correspond to the processor 310 shown in FIG.
  • the first camera 330-1 may be operatively coupled to the second processor 310-2.
  • the first camera 330-1 may be configured to be oriented in the first direction.
  • the first camera 330-1 may have a first optical axis (e.g., 711L in Fig. 7).
  • the first camera 330-1 may have a first FOV (or a first AOV (angle of view)).
  • the second camera 330-2 may be operatively coupled to the third processor 310-3. And the second camera 330-2 may be configured to be oriented in a second direction corresponding to the first direction. And the second camera 330-2 may have a second optical axis (e.g., 711R in Fig. 7). And the second camera 330-2 may have a second FOV that partially overlaps with the first FOV.
  • the second camera 330-2 is configured to be directed in the second direction corresponding to the first direction and has the second FOV partially overlapping with the first FOV, (Relative to) the first camera 330-1, and can perform the same function as the left eye of a human.
  • the first camera 330-1 can perform the same function as the right eye of a person, as compared with the second camera 330-2.
  • the final image may be a 2D image, and when both the image obtained through the first camera and the image obtained through the second camera are used The final image may be a 3D image.
  • Optical data related to the image obtained through the second camera 330-2 may be provided to the third processor 310-3.
  • Each of the first camera 330-1 and the second camera 330-2 may correspond to the camera 330 shown in FIG.
  • Each of the first camera 330-1 and the second camera 330-2 may be a group or a set of a plurality of cameras.
  • the first PMIC 350-1 may be configured to provide power to the first processor 310-1.
  • the second PMIC 350-2 may be configured to provide power to the second processor 310-2.
  • the third PMIC 350-3 may be configured to provide power to the third processor 310-3.
  • Each of the first PMIC 350-1, the second PMIC 350-2, and the third PMIC 350-3 may correspond to the PMIC 350 shown in FIG.
  • the first processor 310-1 may control the second PMIC 350-2 based on the mode (or mode of operation) of the device.
  • the mode of the apparatus can be changed according to the attribute of the image to be generated.
  • the mode of the apparatus may include a first mode for generating a 2D (two-dimensional space) image, and a second mode for generating a 3D image.
  • the final image may include an omni-directional image, a panoramic image, and the like.
  • the mode of the device may be changed based on user input.
  • the first processor 310-1 may change the mode of the device based on user input received via the input device 370 shown in FIG.
  • the mode of the device may be changed based on the state of the battery included in the device 300.
  • the first processor 310-1 may change the mode of the apparatus from the second mode to the first mode in response to confirming that the remaining amount of the battery is less than the reference value.
  • the reference value may be a fixed value or a changeable value. When the reference value is configured with a changeable value, the reference value may be changed based on user input or user selection.
  • the operation of the first camera 330-1 of the first camera 330-1 and the second camera 330-2 may not be required.
  • the operation of the second processor 310-2 of the second processor 310-2 and the third processor 310-3 is not required .
  • the first processor 310-1 may be a second processor that controls the acquisition of an image through the first camera 330-1 based on the device 300 operating in the first mode, (Or restrict) the power supply to the power source 310-2. To block the power supply, the first processor 310-1 may send a first control signal to the second PMIC 350-2.
  • the second processor 310-2 whose power supply is interrupted can be switched to a state requiring booting to start (or restart) the operation.
  • the first processor 310-1 may be a second processor that controls the acquisition of an image through the first camera 330-1 based on the device 300 operating in the first mode,
  • the second PMIC 350-2 can be controlled so that power lower than the normal power is supplied to the second PMIC 350-2.
  • the second processor 310-2 receiving the power lower than the normal power may be switched to a state in which booting is not required to start the operation. In other words, the second processor 310-2, which is supplied with power lower than the normal power, can be switched to the sleep state (or the standby state).
  • the first processor 310-1 may be a second processor that controls the acquisition of an image via the first camera 330-1 based on the device 300 operating in the second mode (Or normal power supply) to the power source 310-2. For resuming the power supply, the first processor 310-1 may send a second control signal to the second PMIC 350-2. When the power is supplied or resumed, the second processor 310-2 may control the first camera 330-1 or may activate the first camera 330-1 to encode the image obtained through the first camera 330-1 Lt; / RTI >
  • a plurality of cameras included in a pair of cameras for performing a function corresponding to a person's binocular (E.g., a third processor 310-3) connected to a camera (e.g., a second camera 330-2) for performing a function corresponding to one eye of a person of the second camera 330-2) (E.g., the first camera 330-1 and the second camera 330-2) included in the pair of cameras for performing functions corresponding to the binocular of the person (E.g., the second processor 310-2) connected to another camera (e.g., the first camera 330-1) for performing a function corresponding to the first camera 310-1.
  • a camera e.g., a second camera 330-2
  • another camera e.g., the first camera 330-1 for performing a function corresponding to the first camera 310-1.
  • the apparatus 300 may include a plurality of processors (e.g., second processor 310-2 and third processor 310-3), depending on the mode of the device 300, Can be individually controlled. Through individual control of these processors, the device 300 according to various embodiments can reduce power consumption.
  • the apparatus 300 according to various embodiments may be configured to block power provided to the second processor 310-2 in the first mode for generating a 2D image, ) To power less than normal power, thereby reducing the power consumed for image acquisition.
  • FIG. 15 shows another example of the functional configuration of an apparatus for controlling power in accordance with various embodiments.
  • This functional configuration may be included in the device 300 shown in Fig. 16 shows an example of a plurality of images obtained by an apparatus according to various embodiments.
  • the apparatus 300 includes a plurality of processors (a first processor 310-1 to a fifth processor 310-5), a plurality of cameras (a first camera 330-1 to a 17 cameras 330-17), a plurality of PMICs (a first PMIC 350-1 through a fifth PMIC 350-5), and a battery 1500.
  • the first processor 310-1 may control the overall operation of the device 300.
  • the first processor 310-1 may be coupled to other processors (e.g., the second processor 310-2, the third processor 310-3, the fourth processor 310-4, Processor 310-5, etc.) to be operatively coupled with the other processor.
  • the first processor 310-1 may receive encoding data for an image obtained via at least one camera connected to the other processor from the other processor.
  • the first processor 310-1 may include a PMIC (e.g., a second PMIC 350-2, a third PMIC 350-3, a fourth PMIC 350 -4), the fifth PMIC 350-5, etc.) to change the state of the other processor.
  • a PMIC e.g., a second PMIC 350-2, a third PMIC 350-3, a fourth PMIC 350 -4
  • the fifth PMIC 350-5 etc.
  • the first processor 310-1 may control a PMIC operatively coupled to the other processor to block power provided to the other processor.
  • the first processor 310-1 may control the PMIC operatively connected to the other processor to resume powering the other processor.
  • the first processor 310-1 may be operatively coupled to the seventeenth camera 330-17, thereby acquiring an image through the seventeenth camera 330-17.
  • the first processor 310-1 may be powered from the battery 1500 via the first PMIC 350-1.
  • Each of the second to third processors 310-2 to 310-5 can acquire an image through a plurality of cameras connected to the second processor 310-2 to the fifth processor 310-5 have.
  • Each of the second processor 310-2 to the fifth processor 310-5 may generate encoding data for the obtained image.
  • Each of the second processor 310-2 to the fifth processor 310-5 receives power from the battery 1500 through each of the second PMIC 350-2 to the fifth PMIC 350-5 .
  • the first to third processors 310-1 to 310-5 may correspond to the processor 310 shown in FIG.
  • Each of the first camera 330-1, the third camera 330-3, the fifth camera 330-5 and the seventh camera 330-7 is operatively connected to the second processor 310-2 .
  • the first camera 330-1 may be configured to face in a first direction and may have a first FOV.
  • the first camera 330-1 can perform a function corresponding to the right eye of a person.
  • the first camera 330-1 is configured to be directed in a second direction corresponding to the first direction, and a second camera 330-2 having a second FOV partially overlapped with the first FOV, A first pair can be constructed.
  • the second camera 330-2 may perform a function corresponding to the left eye of a person.
  • the second camera 330-2 may be operatively connected to a third processor 310-3 that is distinct from the second processor 310-2.
  • the third camera 330-3 may be configured to face in the third direction, and may have a third FOV.
  • the third camera 330-3 can perform a function corresponding to the right eye of a person.
  • the third camera 330-3 is configured to be directed in a fourth direction corresponding to the third direction, and a fourth camera 330-4 having a fourth FOV partially overlapped with the third FOV, A second pair can be constructed.
  • the fourth camera 330-4 may perform a function corresponding to the left eye of a person.
  • the fourth camera 330-4 may be operatively connected to a third processor 310-3 that is distinct from the second processor 310-2.
  • the fifth camera 330-5 may be configured to face in the fifth direction, and may have a fifth FOV.
  • the fifth camera 330-5 may perform a function corresponding to the right eye of a person.
  • the fifth camera 330-5 is configured to be directed in a sixth direction corresponding to the fifth direction, and a sixth camera 330-6 having a sixth FOV partially overlapped with the fifth FOV, A third pair can be constructed.
  • the sixth camera 330-6 may perform a function corresponding to the left eye of a person.
  • the sixth camera 330-6 may be operatively coupled to a third processor 310-3 that is distinct from the second processor 310-2.
  • the seventh camera 330-7 may be configured to face in the seventh direction, and may have a seventh FOV.
  • the seventh camera 330-7 can perform a function corresponding to the right eye of a person.
  • the seventh camera 330-7 is configured to be directed in an eighth direction corresponding to the seventh direction, and an eighth camera 330-8 having an eighth FOV partially overlapped with the seventh FOV, A fourth pair can be constructed.
  • the eighth camera 330-8 may perform a function corresponding to the left eye of a person.
  • the eighth camera 330-8 may be operatively coupled to a third processor 310-3 that is distinct from the second processor 310-2.
  • the ninth camera 330-9, the eleventh camera 330-11, the thirteenth camera 330-13 and the fifteenth camera 330-15 are operatively connected to the fourth processor 310-4 .
  • the ninth camera 330-9 may be configured to face in the ninth direction, and may have a ninth FOV.
  • the ninth camera 330-9 can perform a function corresponding to the right eye of a person.
  • the ninth camera 330-9 is configured to be oriented in a tenth direction corresponding to the ninth direction, and a tenth camera 330-10 having a tenth FOV partially overlapped with the ninth FOV, A fifth pair can be constructed.
  • the tenth camera 330-10 may perform a function corresponding to the left eye of a person.
  • the tenth camera 330-10 may be operatively connected to a fifth processor 310-5, which is distinct from the fourth processor 310-4.
  • the eleventh camera 330-11 may be configured to face in the eleventh direction, and may have an eleventh FOV.
  • the eleventh camera 330-11 may perform a function corresponding to the right eye of a person.
  • the eleventh camera 330-11 is configured to be directed in a twelfth direction corresponding to the eleventh direction, and a twelfth camera 330-12 having a twelfth FOV partially overlapped with the eleventh FOV, A sixth pair can be formed.
  • the twelfth camera 330-12 may perform a function corresponding to the left eye of a person.
  • the twelfth camera 330-12 may be operatively connected to a fifth processor 310-5, which is distinct from the fourth processor 310-4.
  • the thirteenth camera 330-13 may be configured to face in the thirteenth direction, and may have a thirteenth FOV.
  • the thirteenth camera 330-13 can perform a function corresponding to the right eye of a person.
  • the thirteenth camera 330-13 is configured to be directed in a fourteenth direction corresponding to the thirteenth direction and a fourteenth camera 330-14 having a fourteenth FOV partially overlapped with the thirteenth FOV, A seventh pair can be formed.
  • the fourteenth camera 330-14 may perform a function corresponding to the left eye of a person.
  • the fourteenth camera 330-14 may be operatively coupled to a fifth processor 310-5, which is distinct from the fourth processor 310-4.
  • the fifteenth camera 330-15 may be configured to face in the fifteenth direction and may have a fifteenth FOV.
  • the fifteenth camera 330-15 can perform a function corresponding to the right eye of a person.
  • the fifteenth camera 330-15 is configured to be directed in a sixteenth direction corresponding to the fifteenth direction, and a sixteenth camera 330-16 having a sixteenth FOV partially overlapped with the fifteenth FOV, Eighth pair.
  • the sixteenth camera 330-16 may perform a function corresponding to the left eye of a person.
  • the sixteenth camera 330-16 may be operatively connected to a fifth processor 310-5, which is distinct from the fourth processor 310-4.
  • the first FOV is partially overlapped with the third FOV and partially overlapped with the fifteenth FOV
  • the second FOV is partially overlapped with the fourth FOV
  • the third FOV is partially overlapped with the first FOV and partially overlapped with the fifth FOV
  • the fourth FOV is partially overlapped with the second FOV and partially overlapped with the sixth FOV
  • the fifth FOV is partially overlapped with the third FOV and partially overlapped with the seventh FOV
  • the sixth FOV is partially overlapped with the fourth FOV and partially overlapped with the eighth FOV
  • the seventh FOV is partially overlapped with the fifth FOV and partially overlapped with the ninth FOV and the eighth FOV is partially overlapped with the sixth FOV and partially overlapped with the tenth FOV
  • the ninth FOV is partially overlapped with the seventh FOV and partially overlapped with the eleventh FOV
  • the tenth FOV is partially overlapped with the eighth FOV
  • the eleventh FOV partially overlaps with the ninth FOV and partially overlaps with the thirteen
  • the seventeenth camera 330-17 may be operatively coupled to the first processor 310-1.
  • the seventeenth camera 330-17 may be configured to face in the seventeenth direction, and may have a seventeenth FOV.
  • the seventeenth direction may be substantially perpendicular to the first direction to the sixteenth direction.
  • the seventeenth FOV is partially overlapped with the first FOV, partially overlapped with the second FOV, partially overlapped with the third FOV, partially overlapped with the fourth FOV, partially overlapped with the fifth FOV Partially overlapping with the sixth FOV, partially overlapping with the seventh FOV, partially overlapping with the eighth FOV, partially overlapping with the ninth FOV, and partially overlapping with the tenth FOV, Partially overlapped with the twelfth FOV, partially overlapped with the thirteenth FOV, partially overlapped with the thirteenth FOV, partially overlapped with the 14th FOV, partially overlapped with the 15th FOV, and partially overlapped with the 16th FOV have.
  • the first camera 330-1 is used to acquire a first image
  • the second camera 330-2 is used to acquire a second image
  • the third camera 330-3 is used to acquire a second image
  • a fourth camera 330-4 is used to acquire a fourth image
  • a fifth camera 330-5 is used to acquire a fifth image
  • a sixth camera 330 -6 is used to acquire the sixth image
  • the seventh camera 330-7 is used to acquire the seventh image
  • the eighth camera 330-8 is used to acquire the eighth image
  • the ninth camera 330-9 is used to acquire the ninth image
  • the tenth camera 330-10 is used to acquire the tenth image
  • the eleventh camera 330-11 is used to acquire the ninth image
  • the twelfth camera 330-12 is used to acquire the twelfth image
  • the thirteenth camera 330-13 is used to acquire the thirteenth image
  • the fourteenth camera 330-14 is used to acquire the fourteenth image
  • the fifteenth camera 330-15 is used to acquire the fifteenth
  • the second image, the fourth image, the sixth image, the eighth image, the tenth image, the twelfth image, the fourteenth image may include a scene corresponding to a human right eye.
  • the second image, the fourth image, the sixth image, the eighth image, the tenth image, the twelfth image, the fourteenth image, and the sixteenth image are combined to generate an omnidirectional 3D image , The first image, the third image, the fifth image, the seventh image, the ninth image, the eleventh image, the thirteenth image, and the fifteenth image.
  • the seventeenth image may be used to supplement the first image to the sixteenth image.
  • the second image, the fourth image, the sixth image, the eighth image, the tenth image, the twelfth image, the fourteenth image, and the sixteenth image may be forward direction 2D May be combined to produce an image.
  • the seventeenth image may include at least one of the second image, the fourth image, the sixth image, the eighth image, the tenth image, the 12 image, the 14th image, and the 16th image.
  • the seventeenth image may include at least one of the first image, the third image, the fifth image, the seventh image, the ninth image, The eleventh image, the thirteenth image, and the fifteenth image.
  • the second image, the fourth image, the sixth image, and the eighth image (or the tenth image, the twelfth image, the fourteenth image, and the sixteenth image) May be combined to produce a panoramic 2D image (i.e., a 180 degree image).
  • the seventeenth image may include at least one of the second image, the fourth image, the sixth image, and the eighth image (or the tenth image, The twelfth image, the fourteenth image, and the sixteenth image).
  • the first image, the third image, the fifth image, and the seventh image May be combined to produce another panoramic 2D image.
  • the seventeenth image is obtained by combining the first image, the third image, the fifth image, and the seventh image (or the ninth image, , The eleventh image, the thirteenth image, and the fifteenth image).
  • Each of the first PMIC 350-1 to the fifth PMIC 350-5 may be used to provide power to each of the first processor 310-1 to the fifth processor 310-5.
  • Each of the second PMIC 350-2 to the fifth PMIC 350-5 is connected to the second processor 310-2 to the fifth processor 310-1 based on the control signal transmitted from the first processor 310-1. -5) can be controlled.
  • Battery 1500 may be charged through a power supply connected to device 300.
  • the battery 1500 can be configured to be rechargeable.
  • the battery 1500 may provide power to the first PMIC 350-1 through the fifth PMIC 350-5 operatively connected to the battery 1500, respectively.
  • the battery 1500 may be configured to be removable from the device 300.
  • the first processor 310-1 may determine the mode of the device 300. [ The mode of the device 300 may be changed according to user input or may be changed according to the state of the battery 1500. [ The first processor 310-1 may change the state associated with the power of the first processor 310-1 and / or at least one of the other processors based on the mode of the identified device.
  • the first processor 310-1 may communicate with the second processor 310-2 and the fourth processor
  • the second PMIC 350-2 and the fourth PMIC 350-4 may be respectively controlled so as to block the power provided to the first PMIC 350-4 and the fourth PMIC 350-4, respectively.
  • the first processor 310-1 is responsive to confirming that the mode of the device 300 is a mode for generating the omnidirectional 2D image and the second PMIC 350-2 and the fourth PMIC 350-4
  • the power to be supplied to the second processor 310-2 and the power of the fourth processor 310-4 can be cut off, respectively. As shown in Fig.
  • the first processor 310-1 may block the power provided to the second processor 310-2 and the fourth processor 310-4 because acquisition of the image and the 15th image may not be required have. Through this interception, the device 300 can reduce the power required for the generation of the omnidirectional 2D image.
  • the first processor 310-1 may be responsive to confirming that the mode of the device 300 is a mode for generating a panoramic 2D image, such as a second processor 310-2, a fourth processor The fourth PMIC 350-4, and the fifth PMIC 350-5 to block the power provided to the first processor 310-4 and the fifth processor 310-5, respectively, Respectively.
  • the first processor 310-1 is responsive to confirming that the mode of the device 300 is a mode for generating the panoramic 2D image, the second PMIC 350-2, the fourth PMIC 350-4, To the second processor 310-2, the fourth processor 310-4, and the fifth processor 310-5 by transmitting the first control signal to each of the fifth PMIC 350-5 and the fifth PMIC 350-5 Respectively.
  • the acquisition of the 12th image, the 13th image, the 14th image, the 15th image, and the 16th image may not be required, so that the first processor 310-1 may be connected to the second processor 310 -2), the fourth processor 310-4, and the fifth processor 310-5.
  • the device 300 can reduce the power required for the generation of the panoramic 2D image.
  • the first processor 310-1 may determine that the mode of the device 300 is a mode for generating an omnidirectional 3D image, It is possible to control the PMIC connected to the other processor to resume the supply of power to the processor (e.g., the second processor 310-2, the fourth processor 310-4, the fifth processor 310-5, etc.) .
  • the apparatus 300 can acquire a plurality of images for generation of an omnidirectional 3D image.
  • the apparatus 300 may be coupled to a camera that performs a function corresponding to the other eye of a person from a processor coupled with a camera that performs a function corresponding to one eye of the person
  • a processor coupled with a camera that performs a function corresponding to one eye of the person
  • FIG. 17 shows an example of the operation of an apparatus for power control according to various embodiments. This operation may be performed by any of the devices 300 shown in Figure 3, the device 300 shown in Figure 14, the device 300 shown in Figure 15, or the components of the device 300, 310), the first processor 310-1 of FIG. 14, or the first processor 310-1 of FIG. 15).
  • the first processor 310-1 may verify that the device 300 operates in the first of the plurality of modes.
  • the first processor 310-1 can verify that the device 300 is operating in the first mode among the plurality of modes in order to reduce the power consumed for acquiring the image.
  • the plurality of modes includes a mode for obtaining a plurality of images for generating an omni-directional 2D image, a mode for acquiring a plurality of images for generating an omni-directional 3D image, a mode for acquiring a plurality of images And / or a mode for obtaining a plurality of images for generating a panoramic 3D image.
  • the first mode may be a mode in which acquisition of some of the images that the device 300 can acquire is not required.
  • the first mode may include a mode for obtaining a plurality of images for generating an omni-directional 2D image, a mode for obtaining a plurality of images for generating a panoramic 2D image, and / Or may be a mode for acquiring a plurality of images for generation.
  • the first processor 310-1 may monitor whether a user input is detected through an input device 370 of the device 300, or whether the state of the battery of the device 300 is a designated state The device 300 can verify that it is operating in the first mode.
  • the first processor 310-1 may control to shut down the power provided to the second processor 310-2.
  • the second processor 310-2 may be a processor operatively coupled to at least one camera not being used in the first mode (i.e., at least one camera for which acquisition of an image is not required).
  • the first mode since the second processor 310-2 is not required to control at least one camera connected to the second processor 310-2 to acquire an image, Processor.
  • the second processor 310-2 whose power supply is interrupted may be booted for reactivation.
  • the first processor 310-1 may reduce power supplied to the second processor 310-2 in response to confirming that the device 300 is operating in the first mode, .
  • first processor 310-1 may provide power less than normal power to second processor 310-2 have.
  • the first processor 310-1 may provide the second processor 310-2 with power lower than the normal power so that the second processor 310-2 does not perform the boot again even if the second processor 310-2 is reactivated.
  • a first processor 310-1 may be coupled to a second processor 310-2 when a fast response rate (i.e., fast state transition) of the second processor 310-2 is desired, 310-2, and may provide power to the second processor 310-2 lower than normal power.
  • FIG. 18 shows an example of signal flow in an apparatus for power control according to various embodiments.
  • This signal flow can be caused within the device 300 shown in Fig. 3, the device 300 shown in Fig. 14, and the device 300 shown in Fig.
  • the first processor 310-1 can verify that the device 300 is operating in the first of the plurality of modes.
  • the first processor 310-1 may be configured to use at least one processor or camera from among a plurality of imaging modes that the device 300 can provide by the device 300 Use of all cameras connected to the processor) is not required.
  • the at least one processor may include a second processor 310-2.
  • the first processor 310-1 may receive a signal indicating the status of the second processor 310-2 from the second processor 310-2.
  • the first processor 310-1 may receive a signal indicating the status of the second processor 310-2 from the second processor 310-2 based on the first communication technique.
  • a signal indicative of the state of the second processor 310-2 may be transmitted from the second processor 310-2 in response to a request from the first processor 310-1.
  • a signal indicative of the state of the second processor 310-2 may be transmitted from the second processor 310-2 based on a designated period.
  • the signal indicating the state of the second processor 310-2 may be a signal indicating that the normal power is supplied to the second processor 310-2 or a power lower than the normal power is supplied to the second processor 310-2 , It may be transmitted from the second processor 310-2 every predetermined period.
  • a signal indicating the state of the second processor 310-2 may be used to indicate whether or not power is being supplied to the second processor 310-2.
  • the first communication scheme may be associated with GPIO (general purpose input / output). Unlike the case of FIG. 18, when the second processor 310-2 is not supplied with power, the first processor 310-1 can not receive the signal indicating the state of the second processor 310-2 It is possible to confirm that the power is not supplied to the second processor 310-2.
  • the first processor 310-1 may determine whether the state of the second processor 310-2 is active. The first processor 310-1 determines whether the state of the second processor 310-2 is active based on a signal indicating the state of the second processor 310-2 received from the second processor 310-2 Can be confirmed. If it is determined that the state of the second processor 310-2 is not active (e.g., if the second processor 310-2 is being supplied with power lower than the normal power, 2) is blocked, the first processor 310-1 can maintain the state of the second processor 310-2. Alternatively, if it is determined that the state of the second processor 310-2 is active, the first processor 310-1 may perform operation 1840. [
  • the first processor 310-1 transmits a control signal for shutting off the power provided to the second processor 310-2 To the second PMIC 350-2 operatively coupled to the second processor 310-2.
  • the first processor 310-1 sets a control signal for shutting off the power provided to the second processor 310-2 2 communication technique.
  • the second communication scheme may be associated with a serial peripheral interface (SPI).
  • the second PMIC 350-2 may receive a control signal for blocking power provided from the first processor 310-1 to the second processor 310-2 through the second communication technique.
  • the second PMIC 350-2 may block the power provided to the second processor 310-2 in response to receiving the control signal.
  • the second PMIC 350-2 may block the power provided to the second processor 310-2 in order to reduce the power unnecessarily consumed due to the operation of the second processor 310-2.
  • Figure 18 illustrates shutting down (or ceasing) the supply of power to the second processor 310-2 in response to confirming that the device 300 is operating in the first mode, This is only an example for explanation.
  • the first processor 310-1 may be configured to reduce the power provided to the second processor 310-2, in response to confirming that the device 300 is operating in the first mode Control signal to the second PMIC 350-2.
  • the second PMIC 350-2 which receives a control signal to reduce the power provided to the second processor 310-2, may provide the second processor 310-2 with less power than normal power.
  • a first processor 310-1 may be coupled to another processor (e.g., second processor 310-2) or to a PMIC 2 < / RTI > PMIC 350-2), the consumption of power consumed for image acquisition can be reduced.
  • another processor e.g., second processor 310-2
  • FIG. 19 illustrates an example of mode control operation of an apparatus for controlling power in accordance with various embodiments. This operation may be performed by any of the devices 300 shown in Figure 3, the device 300 shown in Figure 14, the device 300 shown in Figure 15, or the components of the device 300, 310), the first processor 310-1 of FIG. 14, or the first processor 310-1 of FIG. 15).
  • Figure 20 illustrates an example of a user interface (UI) displayed in a device according to various embodiments.
  • UI user interface
  • Operations 1910 through 1940 of FIG. 19 may relate to operation 1710 of FIG.
  • the first processor 310-1 may display a menu for determining the mode of the device 300.
  • FIG. 20 the first processor 310-1 displays a user interface (UI) 2000 including the menu through the display 390 shown in FIG. can do.
  • the menu may include a plurality of modes available in the device 300.
  • the menu may include a panoramic mode for obtaining a panoramic image, a 2D mode for acquiring a 2D image, and a 3D mode for acquiring a 3D image.
  • the menu may be displayed based on various conditions.
  • the first processor 310-1 may display the menu based on a user's operation for displaying the menu.
  • the first processor 310-1 may display the menu based on the booting of the device 300. For example,
  • the first processor 310-1 may include a display (e.g., display 160) of an electronic device (e.g., electronic device 101) coupled to the device 300, The menu may be displayed. To this end, the first processor 310-1 may transmit the information for displaying the menu to the electronic device 101 via the communication interface 340 shown in Fig. The electronic device 101 may display the menu via an application for the device (e.g., an application for remotely controlling the device 300), based on the information received from the device 300.
  • an application for the device e.g., an application for remotely controlling the device 300
  • the first processor 310-1 may determine whether it detects an input to the displayed menu. When detecting an input to the displayed menu, the first processor 310-1 may perform an operation 1930. [ Alternatively, if an input to the displayed menu is not detected, the first processor 310-1 may continuously monitor the menu to monitor whether or not the input is detected.
  • the first processor 310-1 may drive a timer in response to the menu being displayed.
  • the timer can be used to limit the time at which the menu is displayed. For example, if an input to the displayed menu is not detected until the timer expires, the first processor 310-1 may control the device 300 to operate in a default mode .
  • the length of the timer may have a fixed value or a variable value. For example, the length of the timer can be changed according to the remaining amount of the battery of the apparatus 300. As another example, the length of the timer can be changed according to the setting of the user.
  • the first processor 310-1 may receive information on the input to the menu from the electronic device 101.
  • the first processor 310-1 determines whether the detected input is an input to a first object representing the first mode of the plurality of modes .
  • the first mode may be a mode in which driving of at least one of the plurality of processors included in the apparatus 300 is not required.
  • the first mode may be a mode requiring a lower power consumption than at least one other mode in the plurality of modes.
  • the first mode may be the second mode or the panorama mode.
  • the processor 310-1 may detect whether the detected input is an input to an object representing a panorama mode or an object representing a 2D mode.
  • the first processor 310-1 may perform operation 1940. Alternatively, the first processor 310-1 may terminate the algorithm if it verifies that the detected input is not an input to the object representing the first mode of the plurality of modes.
  • the first processor 310-1 may verify that the device 300 is operating in the first mode.
  • the first processor 310-1 may determine a power state of the processor coupled to at least one camera that does not acquire an image in the first mode based on confirming that the device 300 is operating in the first mode To perform an operation for changing the display area.
  • the first processor 310-1 may determine the mode of the device 300 according to the user's input, and may determine, based on the determined mode, The power consumed for obtaining the image can be reduced.
  • Figure 21 shows another example of mode control operation of an apparatus for controlling power in accordance with various embodiments. This operation may be performed by any of the devices 300 shown in Figure 3, the device 300 shown in Figure 14, the device 300 shown in Figure 15, or the components of the device 300, 310), the first processor 310-1 of FIG. 14, or the first processor 310-1 of FIG. 15).
  • FIG. 22 illustrates another example of a user interface displayed in an apparatus according to various embodiments.
  • Operations 2110 through 2160 of FIG. 21 may be associated with operation 1710 of FIG.
  • the first processor 310-1 may verify that the device 300 operates in the second mode of the plurality of modes.
  • the second mode may be a mode in which all of the plurality of cameras included in the apparatus 300 are used.
  • the second mode may be a mode for generating an omnidirectional 3D image.
  • the second mode may be a mode consuming more power than the at least one mode that is different from the second mode in the plurality of modes.
  • the first processor 310-1 may monitor the state of the battery 1500. [ For example, the first processor 310-1 may monitor the state of the battery 1500 to confirm power consumption according to the second mode.
  • the first processor 310-1 may determine whether the state of the monitored battery 1500 is in a specified state.
  • the designated state may be related to the power state of the battery 1500.
  • the designated state may include a state where the remaining amount of the battery 1500 is less than the reference value.
  • the first processor 310-1 determines whether the remaining usage time of the device 300 determined by the remaining amount of the battery 1500 and the remaining usage time of the device 300 when the remaining amount of the battery 1500 is less than the reference value, And the time to be used to acquire (i. E., Expected use time).
  • the first processor 310-1 may determine whether to switch to the first mode based on the determined relationship.
  • the designated state may include a state in which the reduction rate of the power of the battery 1500 is equal to or higher than a specified rate. If the state of the battery 1500 is not the designated state, the first processor 310-1 can continuously monitor the state of the battery 1500. [ Alternatively, when the state of the battery 1500 is the designated state, the first processor 310-1 may perform the operation 2140. [
  • the first processor 310-1 displays a message indicating that the mode of the device 300 is switched to the first mode, in response to confirming that the state of the battery 1500 is the designated state .
  • the first mode is a mode consuming less power than the second mode, and the number of cameras (or less than the number of processors used in the second mode) that is smaller than the number of cameras used in the second mode (Or processors).
  • the first processor 310-1 may include a UI 2200 that includes a message indicating that the mode of the device 300 is switched to the first mode for reducing power consumption Can be displayed.
  • UI 2200 may include text 2205 indicating that the first mode is switched.
  • the UI 2200 may include a timer 2210 indicating a time remaining until the switch to the first mode.
  • the timer 2210 can be driven on condition that it confirms that the state of the battery 1500 is the designated state.
  • the length of the timer 2210 may be a fixed value. The length of the timer 2210 may be changed according to the setting of the user or the state of the battery.
  • the first processor 310-1 may switch the mode of the device 300 to the first mode.
  • the first processor 310-1 may switch the mode of the device 300 to the first mode based on confirming that the state of the battery 1500 is the designated state.
  • the first processor 310-1 may switch the mode of the device 300 to the first mode in response to confirming that the state of the battery 1500 is the designated state.
  • the UI 2200 may not include the timer 2210. Operation 2140 and operation 2150 may be performed simultaneously or in reverse order.
  • the first processor 310-1 may verify that the device 300 is operating in the first mode by switching the mode of the device 300 to the first mode.
  • the first processor 310-1 may switch the mode of the device according to the state of the battery to a mode capable of adaptively reducing power consumption, The power consumed by the device 300 can be reduced.
  • Figure 23 shows an example of the functional configuration of an apparatus for controlling the processing of an image in accordance with various embodiments. This functional configuration may be included in the device 300 shown in FIG.
  • the apparatus 300 includes a first processor 310-1, a second processor 310-2, a third processor 310-3, a memory 320, a first camera 330-1 , A second camera 330-2, a first PMIC 350-1, a second PMIC 350-2, and a third PMIC 350-3.
  • the first processor 310-1 is capable of taking images (e.g., images) from other processors (e.g., second processor 310-2, third processor 310-3, etc.) of the device 300 operatively connected to the camera Or acquisition) or request encoding data of the photographed image.
  • the first processor 310-1 transmits the first encoded data for the image obtained through the first camera 330-1 to the second processor 310-2 operatively connected to the first camera 330-1. ).
  • the first processor 310-1 transmits the second encoded data for the image obtained through the second camera 330-2 to a third processor 310-2 operatively connected to the second camera 330-2. ).
  • the first encoded data and the second encoded data are usable to generate a final image.
  • Each of the first encoded data and the second encoded data may be independently decodable.
  • the first processor 310-1 can confirm the mode of the device 300.
  • the mode of the apparatus 300 may include at least one of a mode for generating an omni-directional 2D image, a mode for generating a panoramic 2D image, a mode for generating a panoramic 3D image, or a mode for generating an omni-directional 3D image .
  • the mode of the device 300 may include a mode using all the cameras of the device 300 and a mode using some of the cameras of the device 300.
  • the first processor 310-1 may determine the mode of the device 300 to determine which processor to request the encoded data.
  • the first processor 310-1 May request encoded data only from the third processor 310-3.
  • the first processor 310-1 can reduce the amount of computation of the second processor 310-2 by not requesting the encoding data to the second processor 310-2.
  • the first processor 310-1 may be provided to the second processor 310-2 to the second PMIC 350-2 to reduce the power consumed by the second processor 310-2 (Or a signal for reducing the power provided to the second processor 310-2) to shut down the power.
  • 2 processor 310-2 and the third processor 310-3 respectively.
  • the first processor 310-1 may correspond to the processor 310 of the device 300 shown in FIG.
  • the second processor 310-2 may receive the encoded data from the first processor 310-1.
  • the request for the encoded data may be received by the first processor 310-1 in response to ascertaining that the mode of the device 300 is a mode required to acquire an image via the first camera 310-1 Lt; / RTI >
  • the second processor 310-2 may obtain the image through the first camera 330-1 operatively coupled to the second processor 310-2. And the second processor 310-2 may encode the obtained image. The second processor 310-2 may generate the first encoded data by encoding the obtained image.
  • the first encoded data may be independently decodable.
  • the first encoded data may be configured to be decodable independently, without coupling with other encoded data (e.g., a combination with second encoded data generated by the third processor 310-3).
  • the second processor 310-2 may provide the first encoded data to the third processor 310-3.
  • the second processor 310-2 may correspond to the processor 310 of the device 300 shown in FIG.
  • the third processor 310-3 may receive the encoded data from the first processor 310-1.
  • the request for the encoded data may be received from the first processor 310-1, regardless of the mode of the device 300 when acquisition of the image is desired.
  • the second camera 330-2 operatively connected to the third processor 310-3 is a camera that is always used regardless of the mode of the device 300, May be received from the first processor 310-1 regardless of the mode of the device 300 when an event occurs to acquire an image in the device 300.
  • the third processor 310-3 may obtain the image through the second camera 330-2 operatively connected to the third processor 310-3.
  • the third processor 310-3 may encode the obtained image.
  • the third processor 310-3 can generate the second encoded data by encoding the obtained image.
  • the second encoded data may be independently decodable.
  • the second encoded data may be configured to be decodable independently, without coupling with other encoded data (e.g., a combination with the first encoded data generated by the second processor 310-2).
  • the third processor 310-3 may provide the second encoded data to the first processor 310-1.
  • the third processor 310-3 may transmit the second encoded data along with the first encoded data to the first processor 310-2, (310-1).
  • the first encoded data and the second encoded data provided to the first processor 310-1 may be independent from each other.
  • the third processor 310-3 may provide the first encoded data and the second encoded data to the first processor 310-1 as separate data.
  • the third processor 310-3 may correspond to the processor 310 of the device 300 shown in FIG.
  • the first processor 310-1 may receive only the second encoded data from the third processor 310-3 when the apparatus 300 operates in a mode in which it is not required that the apparatus 300 acquire an image through the first camera, can do.
  • the first encoded data and the second encoded data may be received from the third processor 310-3 have.
  • the first processor 310-1 may process the received encoded data.
  • the first processor 310-1 may store the received encoded data (e.g., the first encoded data and / or the second encoded data) as a single data set. For example, when the apparatus 300 operates in a mode in which it is not required for the apparatus 300 to acquire an image through the first camera, the first processor 310-1 transmits only the received second encoded data to one data It can be saved as a set. In another example, if the device 300 is operating in a mode where it is desired for the device 300 to acquire an image through the first camera, the first processor 310-1 may be configured to receive the first encoded data and the received All of the second encoded data can be stored as one data set.
  • the received encoded data e.g., the first encoded data and / or the second encoded data
  • the one data set may be a data processing unit for generating a final image (e.g., an omni-directional 2D image, an omni-directional 3D image, a panoramic 2D image, a panoramic 3D image, etc.).
  • the encoding data contained in the one data set can be decoded independently of the other encoding data contained in the one data set.
  • the first processor 310-1 may store the one data set in the memory 320.
  • the first processor 310-1 may be configured to generate a final image based on the one data set in another device (e.g., the electronic device 101 shown in FIG. 1) And store the set in the memory 320.
  • the first processor 310-1 may store the one data set in the memory 320 to generate a final image based on the one data set in the device 300.
  • the first processor 310-1 may transmit the received encoded data as one data set to another device (e.g., electronic device 101).
  • the first processor 310-1 may transmit the one data set to the other device to generate the final image based on the one data set at the other device.
  • Encoded data in the one data set transmitted to the other device may be decodable independently in the other device. For example, if the first encoded data and the second encoded data are included in the one data set, the other device, which has received the one data set, reads the first encoded data and the second encoded data from the one data set, And decodes the first encoded data regardless of whether the second encoded data is decoded or not, thereby generating at least one image. And the other apparatus receiving the one data set checks the second encoded data from the one data set and decodes the second encoded data irrespective of whether the first encoded data is decoded or not, Images can be generated.
  • device 300 may send one data set to another device.
  • the other device may receive the one data set.
  • the other apparatus may decode at least some data included in the one data set.
  • the other apparatus may decode the first encoded data to generate an omnidirectional 2D image, to generate an omni-directional 2D image.
  • the other apparatus may further include a second encoding unit for decoding the first encoded data to generate the forward direction 2D image to obtain images taken from the plurality of cameras included in the first encoded data, Directional 2D image can be generated.
  • the apparatus 300 may generate the final image independently of the mode of the device 300 in the image acquisition procedure by configuring the encoded data to be decodable independently. For example, although device 300 has acquired a plurality of images based on a mode using both first camera 330-1 and second camera 330-2, device 300 or device 300 The connected electronic device 101 may determine that the first encoding data for the image obtained from the first camera 330-1 and the second encoding data for the image obtained from the second camera 330-2 And generate a final image based on the first encoded data (or the second encoded data) of the data.
  • the first camera 330-1 may be operatively coupled to the second processor 310-2.
  • the first camera 330-1 may be configured to be oriented in the first direction.
  • the first camera 330-1 may have a first FOV.
  • Optical data related to the image obtained through the first camera 330-1 may be provided to the second processor 310-2.
  • the first camera 330-1 may correspond to the camera 330 of the device 300 shown in FIG.
  • the second camera 330-2 may be operatively coupled to the third processor 310-3. And the second camera 330-2 may be configured to be oriented in a second direction corresponding to the first direction. And the second camera 330-2 may have a second FOV that partially overlaps with the first FOV.
  • the second camera 330-2 is configured to be directed in the second direction corresponding to the first direction and has the second FOV partially overlapping with the first FOV, (Relative to) the first camera 330-1, and can perform the same function as the left eye of a human. In other words, the first camera 330-1 can perform the same function as the right eye of a person, as compared with the second camera 330-2.
  • the final image may be a 2D image, and the image obtained through the first camera 330-1 and the image obtained through the second camera 330-2 ), The final image may be a 3D image.
  • Optical data related to the image obtained through the second camera 330-2 may be provided to the third processor 310-3.
  • the second camera 330-2 may be a camera used, regardless of the mode of the device 300, when the device 300 acquires an image.
  • the second camera 330-2 may be a camera used regardless of the mode when it is set to operate in both the 2D mode operation and the 3D mode operation.
  • the second camera 330-2 may correspond to the camera 330 of the device 300 shown in FIG.
  • the first PMIC 350-1 may be used to provide power to the first processor 310-1.
  • the second PMIC 350-2 may be used to provide power to the second processor 310-2.
  • the second PMIC 350-2 stops providing power to the second processor 310-2 from the first processor 310-1 or reduces the power provided to the second processor 310-2 , It may stop providing power to the second processor 310-2 or may reduce the power provided to the second processor 310-2.
  • the third PMIC 350-3 may be used to provide power to the third processor 310-3.
  • the first PMIC 350-1, the second PMIC 350-2 and the third PMIC 350-3 may correspond to the PMIC 350 of the device 300 shown in FIG.
  • the memory 320 may store or temporarily store the encoded data to be provided.
  • the memory 320 may store the provided encoded data as the one data set. For example, if only the second encoded data is provided, the memory 320 may store only the second encoded data as one data set. As another example, when the second encoded data and the third encoded data are provided, the memory 320 may store both the first encoded data and the second encoded data as one data set.
  • one dataset stored in memory 320 may be transmitted to another device (e.g., electronic device 101) for decoding and stitching to produce a final image.
  • one dataset stored in memory 320 may be decoded and stitched in device 300 to produce a final image.
  • the apparatus 300 may include a processor (e.g., a third processor 310-3) coupled to a camera that is used regardless of the mode of the apparatus 300, (E.g., a second processor 310-2) connected to a camera that is not used depending on the mode.
  • a processor e.g., a third processor 310-3
  • the device 300 can reduce the amount of computation required to execute a particular mode.
  • the second camera 330-2 of the device 300 may be a camera used, regardless of the mode of the device 300, when the device 300 acquires an image.
  • the second camera 330-2 may be a camera used regardless of the mode when it is set to operate in both the 2D mode operation and the 3D mode operation.
  • the encoded data generated in the device 300 may be independently decodable.
  • the device 300 can independently operate the attributes of the final image desired in the image acquisition step and the attributes of the final image in the image stitching step.
  • the apparatus performing the operation of generating the final image can inquire encoded data more quickly.
  • FIG. 24 shows another example of the functional configuration of an apparatus for controlling the processing of an image according to various embodiments. This functional configuration may be included in the device 300 shown in FIG.
  • each of the first camera 330-1 through the sixteenth camera 330-16 may correspond to the first camera 330-1 through the sixteenth camera 330-16 shown in FIG. 15 .
  • the apparatus 300 includes a first processor 310-1 to a fifth processor 310-5, a memory 320, a first camera 330-1 to a 16th camera 330-16 ), A communication interface 340, a microphone 360-1, and a microphone 360-2.
  • the first processor 310-1 is responsive to the device 300 operating in a mode for generating an omni-directional 3D image, and the second processor 310-2, the third processor 310-3, 4 processor 310-4, and the fifth processor 310-5.
  • the first processor 310-1 includes a first camera 330-1 configured to acquire the first image, a third camera 330-3 configured to acquire the third image, , And a second camera (310-2) operatively coupled to a seventh camera (330-7) configured to acquire the seventh image, And may request encoded data generated by encoding the third image, the fifth image, and the seventh image.
  • the first processor 310-1 includes a ninth camera 330-9 configured to obtain the ninth image, an eleventh camera 330-11 configured to obtain the eleventh image, To a fourth processor (310-4) operatively connected to a fifteenth camera (330-15) configured to obtain the fifteenth image, And may request encoded data generated by encoding the eleventh image, the thirteenth image, and the fifteenth image.
  • the first processor 310-1 may transmit a synchronization signal for synchronization of the first camera 330-1 through the sixteenth camera 330-16.
  • the synchronization signal may include information related to the operating frequency.
  • the first processor 310-1 may transmit the synchronization signal to each of the first camera 330-1 through the sixteenth camera 330-16.
  • Some of the transmitted synchronization signals may have a phase different from other ones of the transmitted synchronization signals in order to reduce noise caused between the cameras.
  • at least one of the synchronization signals may have a first phase, while at least one other synchronization signal of the synchronization signals may have a second phase.
  • the first camera 330-1, the second camera 330-2, the third camera 330-3, the fourth camera 330-4, the ninth camera 330-9 The phase of the sync signal provided to the first camera set including the first camera 330-10, the eleventh camera 330-11, and the twelfth camera 330-12 and the phase of the sync signal provided to the fifth camera 330-5,
  • the sixth camera 330-6, the seventh camera 330-7, the eighth camera 330-8, the thirteenth camera 330-13, the fourteenth camera 330-14, the fifteenth camera 330 -15), and the 16th camera 330-16 may be 180 degrees.
  • the first processor 310-1 may synchronize the acquisition times of the plurality of images obtained from the cameras 330-1 to 330-16 through the transmission of the synchronization signal.
  • the phase of the sync signal provided to each of the fourteenth camera 330-14, the second camera 330-2 and the sixth camera 330-6 is the same as that of the first camera 330-1
  • the first processor 310-1 includes a second processor 310-2, a third processor 310-3, a fourth processor 310-4, and a fifth processor 310-5
  • the synchronization signal can be transmitted to each of the plurality of mobile stations.
  • Each of the transmitted synchronization signals may be received by the first camera 330-1 through the sixteenth camera 330-16 through the second processor 310-2 through the fifth processor 310-5 .
  • At least some of the first camera 330-1 through the sixteenth camera 330-16 may include a second processor 310-2, a third processor 310-3, a fourth processor 310-3, The third processor 310-4, and the fifth processor 310-5.
  • the second processor 310-2 is operatively coupled to the first camera 330-1, the third camera 330-3, the fifth camera 330-5, and the seventh camera 330-7 .
  • the second processor 310-2 is connected to the first camera 330-1, the third camera 330-3, the fifth camera 330-3, and the third camera 330-3 through a field programmable gate array (FPGA) (not shown) 5, and the seventh camera 330-7.
  • the second processor 310-2 acquires the first image through the first camera 330-1, acquires the third image through the third camera 330-3, and acquires the third image through the fifth camera 330-5 To acquire a fifth image, and a seventh camera 330-7 to obtain a seventh image.
  • FPGA field programmable gate array
  • the second processor 310-2 may receive the first image, the third image, the fifth image, and the seventh image through the FPGA.
  • the second processor 310-2 may generate the first encoded data based on the first image, the third image, the fifth image, and the seventh image.
  • the second processor 310-2 may generate the first encoded data by encoding the first image, the third image, the fifth image, and the seventh image.
  • the first encoded data may be independently decodable regardless of other encoded data.
  • the second processor 310-2 may provide the first encoded data to the fourth processor 310-4.
  • the fourth processor 310-4 is operatively coupled to the ninth camera 330-9, the eleventh camera 330-11, the thirteenth camera 330-13, and the fifteenth camera 330-15 .
  • the fourth processor 310-4 acquires the ninth image through the ninth camera 330-9, acquires the eleventh image through the eleventh camera 330-11, To obtain a thirteenth image, and a fifteenth camera 330-15 to obtain a fifteenth image.
  • the fourth processor 310-4 may receive the ninth image, the eleventh image, the thirteenth image, and the fifteenth image through the FPGA.
  • the fourth processor 310-4 may generate the third encoded data based on the ninth image, the eleventh image, the thirteenth image, and the fifteenth image.
  • the fourth processor 310-4 may generate the third encoded data by encoding the ninth image, the eleventh image, the thirteenth image, and the fifteenth image.
  • the third encoded data may be independently decodable regardless of other encoded data.
  • the fourth processor 310-4 may provide the first encoded data and the third encoded data to the fifth processor 310-5. Each of the first encoded data and the third encoded data provided to the fifth processor 310-5 can be independently decodable.
  • the fifth processor 310-5 is operatively coupled to the tenth camera 330-10, the twelfth camera 330-12, the fourteenth camera 330-14, and the sixteenth camera 330-16 .
  • the fifth processor 310-5 is connected to the tenth camera 330-10, the twelfth camera 330-12, the fourteenth camera 330-14, and the sixteenth camera 330- 16, respectively.
  • the fifth processor 310-5 acquires the tenth image through the tenth camera 330-10, acquires the twelfth image through the twelfth camera 330-12, ), And obtain the 16th image through the 16th camera 330-16.
  • the fifth processor 310-5 may receive the tenth image, the twelfth image, the fourteenth image, and the sixteenth image through the FPGA.
  • the fifth processor 310-5 may generate the fourth encoded data based on the tenth image, the twelfth image, the fourteenth image, and the sixteenth image.
  • the fifth processor 310-5 may generate the fourth encoded data by encoding the tenth image, the twelfth image, the fourteenth image, and the sixteenth image.
  • the fourth encoded data may be independently decodable regardless of other encoded data.
  • the fifth processor 310-5 may provide the first encoded data, the third encoded data, and the fourth encoded data to the third processor 310-3. Each of the first encoded data, the third encoded data, and the fourth encoded data provided to the third processor 310-3 can be independently decodable.
  • the third processor 310-3 is operatively coupled to the second camera 330-2, the fourth camera 330-4, the sixth camera 330-6, and the eighth camera 330-8 .
  • the third processor 310-3 is connected to the second camera 330-2, the fourth camera 330-4, the sixth camera 330-6, and the eighth camera 330- 8). ≪ / RTI >
  • the third processor 310-3 obtains the second image through the second camera 330-2 and obtains the fourth image through the fourth camera 330-4 and the sixth camera 330-6 , And obtain an eighth image through the eighth camera 330-8.
  • the third processor 310-3 may receive the second image, the fourth image, the sixth image, and the eighth image through the FPGA.
  • the third processor 310-3 may generate the second encoded data based on the second image, the fourth image, the sixth image, and the eighth image.
  • the third processor 310-3 may generate the second encoded data by encoding the second image, the fourth image, the sixth image, and the eighth image.
  • the second encoded data may be independently decodable regardless of other encoded data.
  • the third processor 310-3 receives audio associated with at least one of the first through the sixteenth images through the microphone 360-2 operatively connected to the third processor 310-3 .
  • the microphone 360-2 may not be included in the device 300, according to embodiments.
  • the microphone 360-2 may be configured as a set or group of a plurality of microphones, according to embodiments.
  • the third processor 310-3 may generate the second audio encoded data based on the received audio.
  • the second audio encoded data may be independently decodable regardless of other encoded data.
  • the third processor 310-3 transmits the first encoded data, the second encoded data, the third encoded data, the fourth encoded data, and the second audio encoded data to the first processor 310-1 .
  • the first encoded data, the second encoded data, the third encoded data, the fourth encoded data, and the second audio encoded data provided to the first processor 310-1 are independently decodable .
  • the first processor 310-1 in response to the apparatus 300 operating in a mode for generating an omni-directional 3D image, ), And generate the fifth encoded data based on the acquired seventeenth image.
  • the first processor 310-1 is responsive to the device 300 operating in a mode for generating an omni-directional 3D image, a microphone 360-1 operatively connected to the first processor 310-1, To receive audio associated with at least one of the first image to the seventeenth image.
  • the first processor 310-1 may generate the first audio encoded data based on the received audio.
  • the first audio encoded data may be independently decodable regardless of other encoded data.
  • the first processor 310-1 receives the first encoded data, the second encoded data, the received third encoded data, the received fourth encoded data, the generated fifth encoded data, The received second audio encoded data, and the generated first audio encoded data as one data set for generating the forward direction 3D image.
  • the arrangement order of the encoded data is such that the first encoded data, the third encoded data, the fourth encoded data, the second encoded data, the fifth encoded data, Encoded data, the second audio encoded data, and the first audio encoded data sequence.
  • the first processor 310-1 may store the configured one data set in the memory 320. [ The first processor 310-1 may transmit the configured one data set to another device (e.g., the electronic device 101 for stitching) via the communication interface 340. [ Each of the various data contained in one stored or transmitted data set may be independently decodable.
  • the apparatus 300 may be configured to generate an omnidirectional 3D image, wherein the first encoded data to the fourth encoded data, the first audio encoded data, the second audio encoded data Lt; / RTI > Since each of the first encoding data, the fourth encoding data, the first audio encoding data, and the second audio encoding data is independently decodable, it is possible for the device (300) Directional 2D image, a panoramic 2D image, or a panoramic 3D image, rather than the omnidirectional 3D image, through the optional decoding, even though the apparatus 300 has generated the provided encoded data through a mode for generating an omni-directional 3D image Images and the like can be generated.
  • Apparatus 300 in accordance with various embodiments may include synchronization signals transmitted from a first processor 310-1 to a second processor 310-2 to a fifth processor 310-5, -1 to the first camera 310-1 through the 16 cameras 310-16 through the synchronization signals transmitted from the first camera 310-1 to the 16 cameras 310-16, .
  • the apparatus 300 may reduce the noise that may occur during signaling of the synchronization signal by changing the phase of at least some of the synchronization signals.
  • Figure 25 shows another example of the functional configuration of an apparatus for controlling the processing of an image in accordance with various embodiments. This functional configuration may be included in the device 300 shown in FIG.
  • the components corresponds to each of the components included in the apparatus 300 shown in Fig. 24 .
  • the first processor 310-1 is responsive to the device 300 operating in a mode for generating an omni-directional 2D image, and the fifth processor 310-5 and the third processor 310-5 310-3) to request encoded data.
  • the first processor 310-1 includes a tenth camera 330-10 configured to obtain the tenth image, a twelfth camera 330-12 configured to obtain the twelfth image, To a fifth processor (310-5) operatively connected to a sixteenth camera (330-16) configured to obtain the sixteenth image, And may request encoded data generated by encoding the twelfth image, the fourteenth image, and the sixteenth image.
  • the first processor 310-1 includes a second camera 330-2 configured to acquire the second image, a fourth camera 330-4 configured to acquire the fourth image, And a third processor (310-3) operatively connected to an eighth camera (330-8) configured to acquire the eighth image, wherein the second camera (330-3) And may request encoded data generated by encoding the fourth image, the sixth image, and the eighth image.
  • the first processor 310-1 includes a second camera 330-2, a fourth camera 330-4, a sixth camera 330-6, an eighth camera 330-8, a tenth camera 330-3, -10), the twelfth camera 330-12, the fourteenth camera 330-14, and the sixteenth camera 330-16.
  • the synchronization signal may include information related to the operating frequency.
  • the first processor 310-1 may include a second camera 330-2, a fourth camera 330-4, a sixth camera 330-6, an eighth camera 330-8, It is possible to transmit the synchronization signal to each of the tenth camera 330-10, the twelfth camera 330-12, the fourteenth camera 330-14, and the sixteenth camera 330-16.
  • Some of the transmitted sync signals may have a different phase from the other of the transmitted sync signals in order to reduce noise caused between the cameras.
  • the phase of the sync signal provided to each of the tenth camera 330-10, the fourteenth camera 330-14, the second camera 330-2, and the sixth camera 330-6 is A twelfth camera 330-12, a twelfth camera 330-12, and a seventeenth camera 330-12 that can be disposed adjacent to the fourteenth camera 330-14, the second camera 330-2, and the sixth camera 330-6, -16, the fourth camera 330-4, and the eighth camera 330-8, respectively.
  • the phase difference of the synchronization signals may be 180 degrees.
  • the first processor 310-1 may transmit the synchronization signal to each of the fifth processor 310-5 and the third processor 310-3.
  • Each of the transmitted synchronizing signals is transmitted to the second camera 330-2, the fourth camera 330-4, the sixth camera 330-3, and the third camera 330-3 through the fifth processor 310-5 and the third processor 310-3,
  • the second camera 330-2, the fourth camera 330-4, the sixth camera 330-6, the eighth camera 330-8, the tenth camera 330-10, the twelfth camera 330 -12), the fourteenth camera 330-14, and the sixteenth camera 330-16 are connected to the fifth processor 310-5 and the third processor 310-3 in order to reduce the noise, It is possible to receive the synchronization signal in which the phase conversion is performed by at least
  • a method of generating an omnidirectional 2D image comprising the steps of: generating a first image, a third image, a fifth image, a seventh image, a ninth image, an eleventh image, a thirteenth image, Since acquisition is not required, the first processor 310-1 may not request the encoded data to the second processor 310-2 and the fourth processor 310-4.
  • the first processor 310-1 may block power provided to the second processor 310-2 and the fourth processor 310-4 that are not used for the generation of the omnidirectional 2D image
  • the second processor 310-2 and the fourth processor 310-2 to reduce the power provided to the second processor 310-2 and the fourth processor 310-4 that are not used for the generation of the omni-directional 2D image
  • the fifth processor 310-5 obtains the tenth image through the tenth camera 330-10, acquires the twelfth image through the twelfth camera 330-12, Acquire the 14th image through the 14th camera 330-14, and obtain the 16th image through the 16th camera 330-16.
  • the fifth processor 310-5 may generate the fourth encoded data based on the tenth image, the twelfth image, the fourteenth image, and the sixteenth image.
  • the fourth encoded data may be independently decodable regardless of other encoded data.
  • the fifth processor 310-5 may provide the fourth encoded data to the third processor 310-3.
  • the third processor 310-3 obtains the second image via the second camera 330-2, acquires the fourth image via the fourth camera 330-4, Acquire the sixth image through the sixth camera 330-6, and acquire the eighth image through the eighth camera 330-8.
  • the third processor 310-3 may generate the second encoded data based on the second image, the fourth image, the sixth image, and the eighth image.
  • the second encoded data may be independently decodable regardless of other encoded data.
  • the third processor 310-3 receives the second image, the fourth image, the sixth image, the eighth image, the tenth image, the twelfth image, the 14th image, An image, and audio associated with at least one image of the sixteenth image.
  • the microphone 360-2 may not be included in the device 300, according to embodiments.
  • the microphone 360-2 may be configured as a set or group of a plurality of microphones, according to embodiments.
  • the third processor 310-3 may generate the second audio encoded data based on the received audio.
  • the second audio encoded data may be independently decodable regardless of other encoded data.
  • the third processor 310-3 may provide the second encoded data, the fourth encoded data, and the second audio encoded data to the first processor 310-1.
  • Each of the second encoded data, the fourth encoded data, and the second audio encoded data provided to the first processor 310-1 can be independently decodable.
  • the first processor 310-1 may determine that the at least one of the acquired images and the at least one of the acquired images via the microphone 360-1 in response to the device 300 operating in a mode for generating an omni-directional 2D image. And can receive related audio. The first processor 310-1 may generate the first audio encoded data based on the received audio. The first audio encoded data may be independently decodable regardless of other encoded data.
  • the first processor 310-1 receives the second encoded data, the received fourth encoded data, the generated fifth encoded data, the received second audio encoded data, and the generated first audio encoding
  • the data may be configured as one data set for generating the forward direction 2D image.
  • the arrangement order of the encoded data is such that the fourth encoded data, the second encoded data, the fifth encoded data, the second audio encoded data, And may be a first audio encoded data sequence.
  • the first processor 310-1 may store the configured one data set in the memory 320.
  • the first processor 310-1 may transmit the configured one data set to another device (e.g., the electronic device 101 for stitching) via the communication interface 340.
  • the configured one data set may be transmitted to the other device in real time when the device 300 is operating in a mode for generating a forward 2D image.
  • Each of the various data contained in one stored or transmitted data set may be independently decodable.
  • the apparatus 300 may include at least one camera not used for the generation of an omnidirectional 2D image, a processor coupled to at least one camera used for generating an omni-directional 2D image, By connecting to another processor, it is possible to reduce the amount of computation required to generate encoded data in the device 300.
  • An apparatus that is provided with encoded data through the apparatus 300 may be configured to selectively generate the forward encoded 2D image through selective decoding to generate a forward 2D image, A panoramic 2D image, and the like can be generated.
  • the apparatus 300 may reduce the amount of computation required in the decoding procedure and the stitching procedure for the generation of the final image.
  • Figure 26 illustrates another example of the functional configuration of an apparatus for controlling the processing of an image in accordance with various embodiments. This functional configuration may be included in the device 300 shown in FIG.
  • components corresponds to each of the components included in the apparatus 300 shown in Fig. 24 .
  • the first processor 310-1 may request the encoded data from the third processor 310-3 in response to the device 300 operating in a mode for generating a panoramic 2D image have. Referring to FIG. 16, it may be required to obtain the second image, the fourth image, the sixth image, and the eighth image to produce a panoramic 2D image.
  • the first processor 310-1 includes a second camera 330-2 configured to obtain the second image, a fourth camera 330-4 configured to obtain the fourth image, (310-3) operatively connected to an eighth camera (330-8) configured to acquire the eighth image, and a third camera (310-3) operatively connected to the eighth camera The fourth image, the sixth image, and the eighth image.
  • the first processor 310-1 may be configured to provide the second camera 330-2, the fourth camera 330-4, the sixth camera 330-6, and the eighth The second camera 330-2, the fourth camera 330-4, the sixth camera 330-2, and the third camera 330-3 by transmitting a synchronization signal to each of the cameras 330-8, The second camera 330-6, and the eighth camera 330-8.
  • the first processor 310 -1 may not request the encoded data from the second processor 310-2, the fourth processor 310-4, and the fifth processor 310-5.
  • the first processor 310-1 includes a second processor 310-2, a fourth processor 310-4, a fifth processor 310-4 (not shown) that are not used for the generation of the panoramic 2D image,
  • a second PMIC 350-2 (not shown) connected to the second processor 310-2, the fourth processor 310-4, and the fifth processor 310-5, (Not shown), and the fifth PMIC 350-5, respectively.
  • the third processor 310-3 obtains the second image via the second camera 330-2, acquires the fourth image via the fourth camera 330-4, Acquire the sixth image through the sixth camera 330-6, and acquire the eighth image through the eighth camera 330-8.
  • the third processor 310-3 may generate the second encoded data based on the second image, the fourth image, the sixth image, and the eighth image.
  • the second encoded data may be independently decodable regardless of other encoded data.
  • the third processor 310-3 receives the second image, the fourth image, the sixth image, the eighth image, the tenth image, the twelfth image, the 14th image, An image, and audio associated with at least one image of the sixteenth image.
  • the third processor 310-3 may generate the second audio encoded data based on the received audio.
  • the second audio encoded data may be independently decodable regardless of other encoded data.
  • the third processor 310-3 may provide the second encoded data and the second audio encoded data to the first processor 310-1.
  • the second encoded data and the second audio encoded data provided to the first processor 310-1 may be independently decodable.
  • the first processor 310-1 obtains the seventeenth image through the seventeenth camera in response to the device 300 operating in a mode for generating a panoramic 2D image,
  • the fifth encoded data may be generated.
  • the first processor 310-1 is operative to determine whether the device 300 is associated with at least one image of the acquired images via the microphone 360-1 in response to the device 300 operating in a mode for generating a panoramic 2D image Audio can be received.
  • the first processor 310-1 may generate the first audio encoded data based on the received audio.
  • the first audio encoded data may be independently decodable regardless of other encoded data.
  • the first processor 310-1 generates the panoramic 2D image by using the received second encoded data, the generated fifth encoded data, the received second audio encoded data, and the generated first audio encoded data And a single data set to be used in the present invention.
  • the arrangement order of the encoded data is such that, as shown in FIG. 26, the second encoded data, the fifth encoded data, the second audio encoded data, and the first audio encoded data have.
  • the first processor 310-1 may store the configured one data set in the memory 320. [ The first processor 310-1 may transmit the configured one data set to the other device via the communication interface 340. [ The configured one data set may be transmitted to the other device in real time when the device 300 is operating in a mode for generating a panoramic 2D image. Each of the various data contained in one stored or transmitted data set may be independently decodable.
  • the apparatus 300 may include at least one camera that is not used for the generation of a panoramic 2D image, a processor coupled to at least one camera used for generation of the panoramic 2D image, Thereby reducing the amount of computation required to produce the encoded data in the device 300.
  • Figure 27 illustrates an example of the operation of an apparatus for controlling the processing of an image in accordance with various embodiments. Such an operation may be performed using the device 300 shown in Figure 3, the device 300 shown in Figures 23-26, or the components of the device 300 (e.g., the processor 310 of Figure 3, (E.g., the first processor 310-1).
  • the processor 310 of Figure 3 E.g., the first processor 310-1
  • the first processor 310-1 may determine the mode of the device 300.
  • the first processor 310-1 may be coupled to the device 300 to determine at least one target processor to transmit a request for encoded data among a plurality of processors included in the device 300. For example, Can be confirmed.
  • the mode of the device 300 may be determined based on the input detected via the UI 2000 shown in FIG.
  • the first processor 310-1 may perform operations 2720 through 2740.
  • the first mode is a mode in which the second processor 310-2 uses the second processor 310-2 or the first processor 310-2 of the third processor 310-3 310-1) may not be required.
  • the first processor 310-1 may perform operations 2750 through 2770.
  • the second mode may be a mode requiring use of the second processor 310-2 and the third processor 310-3.
  • the first processor 310-1 may request the encoded data from the third processor 310-3.
  • the first processor 310-1 may request the encoded data only to the third processor 310-3 in order to reduce the amount of computation for obtaining the encoded data.
  • the third processor 310-3 may receive the request.
  • the first processor 310-1 may receive the second encoded data from the third processor 310-3.
  • the second encoded data may be generated in the third processor 310-3 based on the image obtained through the second camera 310-2 operatively connected to the third processor 310-3.
  • the received second encoded data may be independently decodable.
  • the first processor 310-1 may process the second encoded data into a single data set.
  • the first processor 310-1 may store the one data set that includes the second encoded data in the memory 320 of the device 300.
  • the second encoded data may be independently decodable for each of a plurality of images obtained from each of the plurality of cameras, when the second camera 310-2 is comprised of a plurality of cameras .
  • the information about each of the plurality of images may be included in the second encoded data in an order corresponding to the arrangement of each of the plurality of cameras.
  • the first processor 310-1 may send the one data set containing the second encoded data to another device (e.g., electronic device 101).
  • the first processor 310-1 in response to confirming that the mode of the device 300 is the second mode, sends a request to the second processor 310-2 and the third processor 310-3 Encoding data may be requested. Since the second mode is required to acquire and encode the image of the second processor 310-2, the first processor 310-1 transmits the image to the second processor 310-2 and the third processor 310-3 Encoding data may be requested. Each of the second processor 310-2 and the third processor 310-3 may receive the request.
  • the first processor 310-1 may receive the first encoded data and the second encoded data from the third processor 310-3.
  • the first encoded data may be generated based on an image obtained through a first camera 330-1 operatively connected to a second processor 310-2.
  • the first encoded data may be provided from the second processor 310-2 to the first processor 310-1 via the third processor 310-3.
  • the first encoded data may be independently decodable regardless of whether the second encoded data is decoded or not.
  • the second encoded data may be generated based on an image obtained through a second camera 330-2 operatively connected to the third processor 310-3.
  • the second encoded data can be independently decoded regardless of whether the first encoded data is decoded or not.
  • the first processor 310-1 may process the first encoded data and the second encoded data into a single data set. Processing the first encoded data and the second encoded data with the one data set may be a concept distinct from combining the first encoded data and the second encoded data. Wherein the first encoded data can be configured independently of the second encoded data in the one data set and the second encoded data can be configured independently of the first encoded data in the one data set have.
  • the first processor 310-1 may store the one data set in the memory 320 of the device 300. In one embodiment, In various embodiments, the first processor 310-1 may send the one data set to another device (e.g., electronic device 101).
  • the other apparatus that has received the one data set can obtain information related to the image obtained through the first camera 330-1 by extracting and decoding only the first encoded data in the one data set have.
  • the other apparatus that has received the one data set can obtain information related to the image obtained through the second camera 330-2 by extracting and decoding only the second encoded data in the one data set have.
  • each of the first encoded data and the second encoded data in the transmitted one data set can be independently decodable.
  • the apparatus 300 can generate and provide independently decodable encoded data, thereby reducing the amount of computation required for image acquisition and image processing.
  • the apparatus 300 may selectively drive the processor according to the mode of the apparatus 300, thereby reducing the amount of computation required for image acquisition and image processing.
  • FIG. 28 illustrates an example of signal flow in an apparatus that controls processing of an image in accordance with various embodiments.
  • This signal flow can be caused within the device 300 shown in Fig. 3, the device 300 shown in Figs. 23-26.
  • the first processor 310-1 may determine the mode of the device 300.
  • the first processor 310-1 can determine the mode of the device 300 to specify the object to which the encoded data is to be requested.
  • operations 2820 to 2850 operations 2820 to 2850 .
  • 2875 can be performed.
  • the first processor 310-1 may request encoded data only from the third processor 310-3. Since the apparatus 300 is configured such that the operation of the second processor 310-2 is not required in the first mode, the first processor 310-1 can only transmit the encoded data to the third processor 310-3 Can be requested.
  • the first processor 310-1 in response to confirming that the mode of the device 300 is the first mode, the first processor 310-1 is coupled to the second PMIC 350- 2 to shut down the power provided to the second processor 310-2. Since the apparatus 300 is configured such that the operation of the second processor 310-2 is not required in the first mode, the first processor 310-1 can control the second processor 310-2 to disable the second processor 310-2 Signal can be transmitted. And the second PMIC 350-2 may receive the control signal.
  • Operation 2820 and operation 2830 may be performed simultaneously or in reverse order. In other words, operations 2820 and 2830 may be performed in any order.
  • the second PMIC 350-2 may block the power provided to the second processor 310-2.
  • the third processor 310-3 in response to the request, sends to the first processor 310-1 second encoded data that is generated based on the image obtained from the second camera 330-2 .
  • the first processor 310-1 may receive the second encoded data.
  • Operation 2830 and operation 2840 may be performed simultaneously or in reverse order. In other words, operations 2830 and 2840 may be performed in any order.
  • the first processor 310-1 may store only the second encoded data in the memory 320 as one data set.
  • the first processor 310-1 may store the one data set in the memory 320 to post-process the one data set or to transmit the one data set to another device.
  • the first processor 310-1 may request encoded data from the third processor 310-3.
  • the third processor 310-3 may receive the request.
  • the first processor 310-1 may request the encoded data from the second processor 310-2.
  • the second processor 310-2 may receive the request.
  • Operation 2855 and operation 2860 may be performed simultaneously or in reverse order. In other words, operations 2855 and 2860 may be performed in any order.
  • the second processor 310-2 in response to the request, transmits the first encoded data generated based on the image obtained through the first camera 330-1 to the third processor 310-3, .
  • the first encoded data may be independently decodable.
  • the third processor 310-3 may receive the first encoded data.
  • the third processor 310-3 generates second encoded data based on the image obtained via the second camera 330-2 and second encoded data generated based on the request, To the first processor 310-1.
  • the second encoded data may be independently decodable.
  • the first processor 310-1 may receive the first encoded data and the second encoded data.
  • the first processor 310-1 may store the first encoded data and the second encoded data as one data set.
  • the first processor 310-1 may store the one data set to post-process the one data set composed of the first encoded data and the second encoded data, or transmit the data set to another device.
  • Each of the first encoded data and the second encoded data constituting the one data set may be independently decodable in the apparatus 300 or the other apparatus.
  • FIG. 29 illustrates an example of the operation of another device that receives a data set in accordance with various embodiments. This operation can be performed by the processor 120 in the electronic device 101 or the electronic device 101 shown in Fig.
  • the processor 120 may receive at least one data set from another device (e.g., device 300).
  • the at least one data set may be configured by the device 300.
  • the at least one data set may comprise the first encoded data and the second encoded data.
  • the at least one data set may consist of only the second encoded data.
  • the processor 120 may verify the configuration of the at least one data set. In various embodiments, the processor 120 can verify the configuration of the at least one data set in response to the reception. Processor 120 may perform operation 2930 based on confirming that the configuration of the at least one data set is a first configuration. Alternatively, the processor 120 may perform operations 2940 through 2950 based on confirming that the configuration of the at least one data set is a second configuration.
  • the processor 120 may decode only the second encoded data to generate a 2D image file. Because the at least one data set can consist solely of the second encoded data, the processor 120 obtains the second encoded data from the at least one data set, and decodes the obtained second encoded data , The 2D image file may be generated as a final image.
  • the processor 120 decodes the first encoded data to generate a first 2D image file, To generate a second 2D image file.
  • Each of the first encoded data and the second encoded data may be independently decodable and may be used to generate an independent image file.
  • the processor 120 may generate a 3D image file based on the first 2D image file and the second 2D image file.
  • the processor 120 may synthesize (or stitch) the first 2D image file and the second 2D image file to generate the 3D image file.
  • the processor 120 may use only the first 2D image file as the final image file, or use only the second 2D image file as the final image file. In other words, since each of the first encoded data and the second encoded data is independently decodable, the processor 120 generates the file based on the first encoded data and the second encoded data generated based on the second encoded data The file can be used adaptively.
  • FIG. 30 shows an example of the functional configuration of an electronic device for processing an audio signal according to various embodiments. This functional configuration may be included in the electronic device 300 shown in FIG.
  • 31 illustrates an example of the operation of a processor that processes audio signals in accordance with various embodiments.
  • the electronic device 101 may be an electronic device that receives a plurality of images and a plurality of audio signals for an omni-directional image from the device 300 shown in Fig.
  • the electronic device 101 may be an electronic device that generates the omni-directional image or an electronic device that reproduces the omni-directional image.
  • the electronic device 101 may include a processor 120, a memory 130, an input device 150, and a display device 160.
  • Processor 120 may be operatively coupled to memory 130, input device 150, and display device 160.
  • the processor 120 may control the memory 130, the input device 150, and the display device 160 via the connection.
  • the processor 120 may display a plurality of images for the omnidirectional image, via the display device 160, by executing a plurality of instructions stored in the memory 130.
  • Processor 120 may display the plurality of images for editing of the omnidirectional image.
  • the processor 120 may display the plurality of images to change the reference direction of the omnidirectional image from the first direction to the second direction.
  • the displayed plurality of images may be obtained based on the first direction (or with a specific camera as a central camera) at the device 300 or the like.
  • the processor 120 may display the plurality of images within an UI of an application for changing a reference direction of the omnidirectional image.
  • the processor 120 may detect, via the input device 150, an input for changing the reference direction of the omni-directional image by executing a plurality of instructions stored in the memory 130 .
  • the processor 120 may detect an input for changing the reference direction of the omni-directional image from the first direction to the second direction.
  • the input may include an input for selecting a k-th image corresponding to the second direction among the displayed plurality of images.
  • the input for selecting the k-th image may be a long-touch input, a drag input, a double-tap input, a force touch input, or the like for the k-th image.
  • processor 120 in response to detecting (or receiving) the input, executes a plurality of instructions stored in memory 130 to generate a plurality of first audio signals for the forward image Can be identified.
  • the plurality of first audio signals may be obtained through a plurality of microphones while acquiring the plurality of images, respectively.
  • Processor 120 may identify the plurality of first audio signals from the data set received from device 300. [
  • Each of the plurality of first audio signals may be a signal received through a plurality of microphones.
  • Each of the plurality of first audio signals may be received through the plurality of microphones capable of adaptively changing a gain (or a recording mode) according to what the reference direction is.
  • the processor 120 may execute a plurality of instructions stored in the memory 130 in response to detecting (or receiving) the input, thereby determining a difference between the first direction and the second direction
  • a difference value can be determined.
  • the difference value may be used to adjust the plurality of first audio signals in accordance with the change of the reference direction.
  • the difference value may be used to generate a plurality of modified second audio signals from the plurality of first audio signals.
  • each of the plurality of second audio signals may constitute a plurality of channel audio data.
  • each of the plurality of second audio signals may be output through each of the plurality of channels.
  • the difference value may be determined based on a positional relationship between the first direction and the second direction.
  • the difference value may be composed of at least one of a parameter indicating an angle or a parameter indicating an orientation.
  • the difference value may indicate the number of images arranged between the m-th image corresponding to the first direction among the plurality of images and the k-th image corresponding to the second direction among the plurality of images .
  • the difference value may be replaced by another value.
  • the difference value may be replaced with a value indicating a direction to the reference direction (or a center view).
  • information about the difference value may be obtained with the plurality of first audio signals.
  • the processor (120) comprises a plurality of cameras
  • the order of the encoded data for each of the images can be changed.
  • the processor 120 may send information to the other device about the difference value, which is determined according to the changed order of the encoded data for each of the plurality of images.
  • the other apparatus may generate the second audio signals based on the received information.
  • the processor 120 may change the order (or combination) of the plurality of first images according to the altered order of the encoded data for each of the plurality of images, And transmit the information about the plurality of second audio signals to another device.
  • the processor 120 may be configured to execute the plurality of instructions stored in the memory 130 to generate the plurality of second audio signals modified from the plurality of first audio signals based on the determined difference value, Can be generated.
  • the plurality of second audio signals may be audio signals corresponding to the omnidirectional image with the second direction as a reference direction.
  • Each of the plurality of second audio signals may be associated with a respective plurality of channels for a surround effect.
  • the plurality of channels may include a 5.1 channel left channel, a 5.1 channel right channel, a 5.1 channel center channel, a 5.1 channel surround left channel, The 5.1 channel surround light channel, and the 5.1 channel wooper channel.
  • Each of the plurality of second audio signals may be output through each of the plurality of channels.
  • the plurality of second audio signals may include an output device for the 5.1 channel left channel, an output device for the 5.1 channel write channel, an output device for the 5.1 channel center channel, An output device for the surround left channel, an output device for the 5.1 channel surround light channel, and an output device for the 5.1 channel woofer channel.
  • the processor 120 may provide the determined difference value to the input unit 3110-1 through the input unit 3110-5, respectively.
  • Each of the input units 3110-1 to 3110-5 may correspond to a plurality of channels.
  • the input unit 3110-1 may be configured for the 5.1 channel left channel
  • the input unit 3110-2 may be configured for the 5.1 channel write channel
  • the input unit 3110-3
  • the input unit 3110-4 may be configured for the 5.1 channel surround left channel
  • the input unit 3110-5 may be configured for the 5.1 channel surround channel.
  • the processor 120 may provide the plurality of first audio signals to the input unit 3110-1 through the input unit 3110-5, respectively.
  • the processor 120 may provide the plurality of first audio signals to the input units 3110-1 to 3110-5, respectively.
  • the input unit 3110-1 may determine a combination of the plurality of first audio signals corresponding (or suitable) to the channel associated with the input unit 3110-1, based on the provided difference value. For example, the input unit 3110-1 may convert at least one of the plurality of first audio signals into a signal corresponding to the left channel of the 5.1 channel (e.g., At least one audio signal received via at least one microphone disposed on the left side of the camera corresponding to the audio signal). In another example, the input unit 3110-4 may determine at least one other audio signal among the plurality of first audio signals as a signal corresponding to the 5.1 channel surround left channel based on the difference value provided . In various embodiments, at least some of the at least one other audio signal may be common to at least a portion of the at least one audio signal. In various embodiments, all of said at least one other audio signal may not be common to all of said at least one audio signal.
  • the input unit 3110-1 may convert at least one of the plurality of first audio signals into a signal corresponding to the
  • Each of the input units 3110-1 to 3110-5 can provide information on at least one determined audio signal to the delay compensating unit 3120-1 to the delay compensating unit 3120-5.
  • Each of the delay compensating unit 3120-1 to delay compensating unit 3120-5 may be used to compensate for a delay caused by a difference in position between a plurality of microphones that acquire the plurality of first audio signals .
  • Each of the delay compensating unit 3120-1 to the delay compensating unit 3120-5 includes at least one of the at least one audio signal received in each of the delay compensating units 3120-1 to 3120-5, Can be compensated for.
  • each of the delay compensating unit 3120-1 to the delay compensating unit 3120-5 may be configured so that each of the plurality of second audio signals is output in a state in which they are synchronized, At least some of the delays can be compensated.
  • Each of the delay compensating unit 3120-1 to the delay compensating unit 3120-5 provides the delayed compensated at least one audio signal to the weight applying unit 3130-1 to the weight applying unit 3130-5 can do.
  • Each of the weight applying unit 3130-1 to the weight applying unit 3130-5 may receive information on the difference value.
  • Each of the weight applying unit 3130-1 to the weight applying unit 3130-5 may receive the at least one delayed audio signal.
  • Each of the weight applying unit 3130-1 to the weight applying unit 3130-5 may retrieve information about a weight based on the difference value and the at least one audio signal.
  • the information on the weights may include data on at least one weight to be applied to the at least one audio signal.
  • the information on the weights may be used to provide beamforming or directionality to the plurality of second audio signals.
  • the information on the weight can be stored in advance in the memory 130.
  • the data for the at least one weight may be associated with the difference value.
  • the difference value a may be associated with the first data for the at least one weight
  • the difference value b may be associated with the second data for the at least one weight.
  • the data for the at least one weight may be configured for each combination of at least some of the plurality of first audio signals.
  • Each of the weight applying unit 3130-1 to the weight applying unit 3130-5 may obtain at least one weight corresponding to the difference value and the at least one audio signal from information on the weight.
  • Each of the weight applying unit 3130-1 to the weight applying unit 3130-5 may generate each of the plurality of second audio signals by applying the obtained at least one weight to the at least one audio signal have.
  • the processor 120 may be configured such that each of the generated plurality of second audio signals is an audio signal corresponding to the forward direction image in which the reference direction is changed in the second direction.
  • Each of the plurality of second audio signals may be output through an output device in the electronic device 101 or an output device in another device connected to the electronic device.
  • the apparatus 300 may process the plurality of audio signals.
  • the apparatus 300 may include a first camera and a second camera, and may include one or more first transducers corresponding to the first camera and a second transducer corresponding to the second camera One or more second transducers.
  • the apparatus 300 may obtain the plurality of audio signals through the one or more first transducers if the first camera is comprised of a central camera.
  • the device 300 can acquire audio that matches the central image acquired through the first camera, which is a center camera. For example, audio data in the center direction corresponding to the center image included in the obtained audio may have a higher gain than audio data in at least one direction other than the center direction.
  • the apparatus 300 may obtain the plurality of different audio signals through the one or more second transducers if the second camera is comprised of a central camera.
  • the device 300 can acquire audio that matches the central image acquired through the second camera, which is a center camera. For example, audio data in the center direction corresponding to the center image included in the obtained audio may have a higher gain than audio data in at least one direction other than the center direction.
  • FIG. 32 illustrates an example of changing the direction of audio in an electronic device according to various embodiments. Such an example may be configured in the electronic device 101 of FIG. 1, the electronic device 101 of FIG. 30, or the processor 120 included in the electronic device 101.
  • the processor 120 may process a plurality of images 3200.
  • the plurality of images 3200 may be images obtained or generated with the reference direction as a direction corresponding to the k-th image.
  • the plurality of images 3200 may have an image for an omni-directional image and a k-th image as a reference image.
  • the plurality of first audio signals associated with the plurality of images 3200 may be obtained considering that it is output or transmitted as in the example 3220.
  • the plurality of first audio signals may be audio signals configured to correspond to the kth image as a reference image.
  • Each of the plurality of first audio signals includes an audio signal for the left side of the k-th image, an audio signal for the right side, an audio signal for the center, an audio signal for the left rear side, and an audio signal for the right rear side .
  • the processor 320 may receive an input for changing the reference direction of the plurality of images 3200 from the first direction to the second direction.
  • the input may be received from an external device.
  • the second direction may correspond to the first of the plurality of images 3200.
  • Processor 320 may change the reference direction of the omnidirectional image from the first direction to the second direction in response to receiving the input.
  • the processor 320 may calculate a difference value between the first direction and the second direction in response to receiving the input.
  • the processor 320 may assign at least one of the plurality of first audio signals to each of the plurality of second audio signals based on the difference value.
  • the processor 320 may generate each of the plurality of second audio signals by applying a weight to each of the at least one audio signal.
  • Each of the plurality of second audio signals may be generated based on a positional relationship between a camera corresponding to the second direction and a plurality of microphones receiving the plurality of first audio signals.
  • each of the plurality of second audio signals may include an audio signal received through at least one microphone disposed on the left side of the camera corresponding to the second direction, an audio signal received through the microphone corresponding to the second direction An audio signal received through at least one microphone arranged in the first direction, an audio signal received through at least one microphone arranged in the periphery of the camera corresponding to the second direction, And an audio signal received via at least one microphone disposed in the rear right of the camera corresponding to the second direction.
  • Each of the plurality of second audio signals may be a signal to which a directional change (e.g., rotation 3260) is applied as in the example 3255.
  • a directional change e.g., rotation 3260
  • the electronic device 101 can generate a plurality of second audio signals that match the forward direction image with the reference direction changed.
  • FIG. 33 illustrates an example of the operation of an apparatus for processing an audio signal in accordance with various embodiments. This operation can be performed by the electronic device 101 shown in FIG. 1, the electronic device 101 shown in FIG. 30, or the processor 120 included in the electronic device 101.
  • the processor 120 may receive an input for changing a reference direction of an omnidirectional image from a first direction to a second direction.
  • the reference direction may be a direction disposed at a front side of the user at a point of starting reproduction of the omnidirectional image.
  • the input may be received from an external device.
  • the reference direction may be a direction that is a reference of the omnidirectional image.
  • the reference direction may be a direction set in a procedure of acquiring a plurality of images for the omnidirectional image.
  • the reference direction set in the procedure for acquiring the plurality of images may be discordant according to a main direction to be used at the time of reproduction and a context included in the plurality of images. To resolve this discrepancy, a change in the reference direction may be required at the electronic device 101.
  • the processor 120 may generate the modified plurality of second audio signals from the plurality of first audio signals based on a difference value between the first direction and the second direction.
  • the processor 120 may determine at least one of the plurality of first audio signals to be allocated for each of the plurality of second audio signals based on the difference value.
  • the processor 120 may generate the plurality of second audio signals by applying a weight corresponding to each of the plurality of second audio signals to at least a portion of the determined at least one audio signal.
  • the plurality of second audio signals may be configured to output the second direction in a reference direction.
  • the plurality of second audio signals may be generated or output with the plurality of images for playback of the omnidirectional image.
  • FIG. 34 illustrates an example of the operation of an electronic device that generates a plurality of second audio signals in accordance with various embodiments. This operation can be performed by the electronic device 101 shown in FIG. 1, the electronic device 101 shown in FIG. 30, or the processor 120 included in the electronic device 101.
  • Operation 3410 to operation 3430 in Fig. 34 may correspond to operation 3320 in Fig.
  • the processor 120 may assign at least one of the plurality of first audio signals to each of the plurality of second audio signals based on the difference value. In other words, the processor 120 may determine a combination of the plurality of first audio signals for each of the plurality of second audio signals to be generated, based on the difference value.
  • processor 120 may apply a weight to each of the at least one audio signal to generate a plurality of second audio signals, respectively.
  • the processor 120 may generate each of the plurality of second audio signals by applying a delay that varies according to the changed direction to each of the at least one audio signal. For example, the processor 120 may use the information on the weights shown in Fig. 31 to determine a weight to be applied to each of the at least one audio signal.
  • the processor 120 may generate each of the plurality of second audio signals by applying a weight obtained from information on the weight to each of the at least one audio signal.
  • the processor 120 may process the plurality of second audio signals. For example, the processor 120 may output each of the plurality of second audio signals through an output device corresponding to each of the plurality of channels for reproduction of the omnidirectional image. As another example, the processor 120 may store the plurality of second audio signals for post processing or playback of the omnidirectional image. As another example, the processor 120 may transmit information about the plurality of second audio signals to the other device for playback on another device of the omnidirectional image.
  • 35 illustrates an example of a plurality of second audio signals generated according to various embodiments.
  • the plurality of second audio signals shown in FIG. 35 may be configured for 5.1 channels.
  • the plurality of second audio signals shown in FIG. 35 include a signal for 5.1 channel left (or front left), a signal for 5.1 channel light (or front right), a signal for center 5.1 channel, A signal for left, and a signal for 5.1-channel surround light.
  • a graph 3510 may represent a plurality of second audio signals generated according to various embodiments, when the rotation in the reference direction is 0 degrees.
  • Graph 3530 can represent a plurality of second audio signals generated according to various embodiments when the rotation in the reference direction is 45 degrees.
  • the electronic device 101 may provide an audio signal corresponding to a changed reference direction of the omnidirectional image.
  • Graph 3550 can represent a plurality of second audio signals generated according to various embodiments when the rotation in the reference direction is 90 degrees.
  • the electronic device 101 may provide an audio signal corresponding to a changed reference direction of the omnidirectional image.
  • Graph 3570 can represent a plurality of second audio signals generated according to various embodiments when the rotation in the reference direction is 135 degrees.
  • the electronic device 101 may provide an audio signal corresponding to a changed reference direction of the omnidirectional image.
  • Figure 36 illustrates an example of the functional configuration of an apparatus that compensates for distortion in accordance with various embodiments.
  • This functional configuration may be included in the device 300 shown in FIG.
  • Figure 38 shows an example of an image for compensating for distortion according to various embodiments.
  • Figure 39 shows another example of an image for compensating for distortion according to various embodiments.
  • 40 illustrates another example of a technique for determining information for compensating for distortion in accordance with various embodiments.
  • the apparatus 300 includes a processor 310, a memory 320, a plurality of memories (e.g., memory 3600-1 to memory 3600-n), a plurality of cameras (e.g., (First camera 330-1 through n-th camera 330-n), and a communication interface 340.
  • the processor 310 may be operatively coupled to each of the first camera 330-1 through the nth camera 330-n.
  • the processor 310 may acquire a plurality of images through the first camera 330-1 through the nth camera 330-n.
  • Each of the first camera 330-1 to the n-th camera 330-n may be used to acquire a plurality of images for generating an omni-directional image or a panoramic image.
  • the first camera 330-1 of the first camera 330-1 to the nth camera 330-n is exposed through a part of the top surface of the housing of the apparatus 300,
  • the first camera 330-1 and other cameras of the n-th camera 330-1 to the n-th camera 330-n may be exposed through a part of the side surface of the housing.
  • the first camera 330-1 may be disposed on the other side of the other cameras.
  • Each of the first camera 330-1 to the nth camera 330-n may be operatively connected to each of the plurality of memories 3600-1 to 3600-n.
  • Each of the first camera 330-1 through the nth camera 330-n may be disposed in a housing of the apparatus 300 to have a designated FOV. At least one of the first camera 330-1 to the n-th camera 330-n may be configured to receive a FOV different from the designated FOV due to an error occurring during the manufacturing process or an error occurring during use of the device 300 (Not shown).
  • the FOV different from the designated FOV may cause a change in the positional relationship between the plurality of images. In other words, at least one image obtained through the at least one camera having a different FOV from the designated FOV may have distortion.
  • the first camera 330-1 to the nth camera 330-n may receive information for compensating for the distortion from the memory 3600-1 to the memory 3600-n, respectively. At least one camera among the first camera 330-1 to the n-th camera 230-n having a different FOV from the designated FOV may transmit information for compensating for the distortion to the processor 310.
  • the processor 310 may perform signaling with each of the first camera 330-1 through the nth camera 330-n.
  • the processor 310 may receive information for compensating for distortion from at least one of the first camera 330-1 through the nth camera 330-n.
  • the information for compensating for the distortion may be caused by at least one of the first camera 330-1 to the n-th camera 330-n having a FOV different from the FOV designated for the at least one camera .
  • the at least one camera is connected (or disposed) to a housing of the device 300 differently than the target, then the at least one camera can be configured to determine the FOV of the at least one camera targeted FOV) and a different FOV.
  • the at least one camera may be located at a different location than the desired location in the housing, due to an error that occurred during the manufacture of the device 300, or an error that occurred due to an impact during use of the device 300 have. Due to this arrangement, the at least one camera may have a different FOV than the specified FOV.
  • the information for compensating for the distortion can be used to adjust the distortion of the image caused by this FOV.
  • the at least one camera may include an image sensor (not shown) included in the at least one camera, and an image sensor included in the at least one camera,
  • the positional relationship between the lenses included in the at least one camera may be different from the designated positional relationship (or the targeted positional relationship). Due to this positional relationship, the at least one camera may have a different FOV than the specified FOV.
  • the information for compensating for the distortion can be used to reduce the distortion of the image caused by this FOV.
  • the processor 310 may be configured to communicate, via the communication interface 340, information about a plurality of images comprising at least one image comprising the distortion to another device (e.g., electronic device 101) .
  • the processor 310 may transmit, via the communication interface 340, information for compensating for the distortion to the other device.
  • the information for compensating for the distortion may be used in the other device to modify or correct at least some of the plurality of images in a procedure for generating the final image.
  • the information for compensating for the distortion may be determined based on the position of the reference object included in the image obtained through the at least one camera.
  • the processor 310 may determine whether the housing is in a first state in which the housing is tilted from a horizontality by a specified elevation angle?
  • a first image including the reference object 3710 may be obtained through the first camera 330-1 exposed through a part of the upper surface.
  • the designated elevation angle? 3715 is set such that the first camera 330-1 and the nth camera 330-n (or the kth camera 330-k) Can be set so as to acquire an image of the user.
  • the specified elevation angle [theta] 3715 may be 45 degrees.
  • the processor 310 includes a reference object 3710 through the first camera 330-1 in a second state rotated by a specified azimuth angle? 3755 in the first state
  • the second image can be acquired.
  • the processor 310 may obtain the first image 3810 through the first camera 330-1 in the first state, and in the second state, The second image 3820 may be acquired through the camera 330-1.
  • the azimuth? 3755 may be 180 degrees. If the first camera 330-1 has a different FOV than the specified FOV, the positional relationship between the first image 3810 and the second image 3820 may be represented as image 3830. [ When the first image 3810 is rotated by an angle corresponding to the azimuth?
  • the processor 310 can verify that the first camera 330-1 has a different FOV than the specified FOV. It can be seen that the processor 310 has an axis torsion within the first camera 330-1.
  • the processor 310 may provide at least one value to the first camera 3820 so that the position of the reference object in the first image 3810 rotated by the angle is matched to the position of the reference object in the second image 3820. [ -1), as the information for compensating for the distortion of the image obtained through the image processing.
  • the at least one value may include at least one of a value representing a pitch rotation, a value representing a yaw rotation, or a value indicating a roll rotation.
  • the specified elevation angle [theta] 3715 may not be an essential element. For example, if the position of the reference object 3710 is included in the field of view of the first camera 330-1 and in the field of view of other cameras (e.g., the k-th camera 330-k, the n-th camera 330- The device 300 may perform the operations described with respect to Figures 36-42, with the elevation angle [theta] 3715 not tilted by the specified elevation angle [theta] 3715.
  • the processor 310 obtains a first image including the reference object 3710 via the first camera 330-1 in the first state And acquire a third image including the reference object 3710 through the n-th camera 330-n in the first state.
  • the processor 310 acquires a second image including the reference object 3710 via the first camera 330-1 in the second state, and in the second state, 330-k to obtain a fourth image that includes the reference object 3710.
  • the k-th camera 330-k may be determined differently depending on the size of the azimuth? 3755.
  • the processor 310 can confirm that the position of the reference object in the first image 3810 rotated by the angle matches the position of the reference object in the second image 3820.
  • the processor 310 may acquire the third image 3910 via the n-th camera 330-n in the first state, and the k-th camera 330- k to obtain the fourth image 3920.
  • the azimuth? 3755 may be 180 degrees.
  • the positional relationship between the third image 3910 and the fourth image 3920 is determined by the position of the image 3930 when the nth camera 330-n or the kth camera 330-k has a different FOV from the designated FOV. ).
  • the position of the reference object in the third image 3910 is May not coincide with the position of the reference object in the fourth image 3920.
  • the processor 310 may determine that the position compensated in the third image 3910 based on the azimuth? 3755 is equal to the position of the reference object in the fourth image 3920 May be determined as information for compensating distortion of an image obtained through at least one of the n-th camera 330-n or the k-th camera 330-k.
  • the at least one value may include at least one of a value representing a pitch rotation, a value representing a yaw rotation, or a value indicating a roll rotation.
  • the processor 310 may include a torsion of the axis of the at least one camera caused by a positional relationship between the at least one camera and the housing, and a torsion of a lens within the at least one camera, The torsion of the axis of the at least one camera caused by the positional relationship between the image sensors can be adjusted.
  • a processor 310 obtains an image including a reference object 4010 that is a first distance away from the device 300, An image including the reference object 4020 spaced apart from the first distance by a second distance may be obtained.
  • the processor 310 may be configured to determine, based on the technique described with reference to Figures 37-39, the twisting of the axis of the at least one camera caused by the positional relationship between the at least one camera and the housing, To compensate for twisting of the axis of the at least one camera caused by the positional relationship between the lens in the at least one camera and the image sensor in the at least one camera.
  • the processor 310 may be configured to provide an image (e.g., an image) obtained through a camera exposed through a portion of the top surface of the housing in a first state, A position of an object in the image acquired through a camera exposed through a portion of the top surface of the housing in a second state rotated from the first state, a portion of the side surface of the housing in the first state, (300) based on at least one of a position of an object in an image obtained via an exposed camera, or a position of an object in an image acquired via another camera exposed through a portion of a side surface of the housing in the second state, (E.g., having a FOV different from the designated FOV, twisting of the axis) of at least one of the plurality of cameras included in the camera Information for compensation can be generated. With this information, the device 300 can compensate for the distortion contained in the image in the post-processing operation of the acquired image.
  • an image e.g., an image obtained through a camera exposed through a portion of the top surface of
  • FIG. 41 shows an example of the operation of an apparatus for transmitting information for compensating an image according to various embodiments. This operation can be performed by the device 300 shown in Fig. 3, the device 300 shown in Fig. 36, or the processor 310 included in the device 300. [
  • the processor 310 may acquire a plurality of images via a plurality of cameras (e.g., first camera 330-1 through n-th camera 330-n) .
  • the first camera 330-1 of the plurality of cameras may be exposed through a part of the upper surface of the housing of the apparatus 300 and the first camera 330-1 and the other cameras of the plurality of cameras may be exposed May be exposed through a portion of the side surface of the housing of the device 300, respectively.
  • the first image obtained through the first camera 330-1 is associated with a scene in the upper portion of the housing, and each of the images obtained through the different cameras is associated with a side portion of the housing Quot; scene " of < / RTI >
  • the processor 310 may generate encoded data for the plurality of images.
  • the processor 310 may send information to the other device for information about the plurality of images and for compensating for at least one distortion contained in at least one image of the plurality of images.
  • the other device may include the electronic device 101 shown in FIG. 1 as an apparatus for stitching the plurality of images.
  • the information for compensating for the at least one distortion may be stored in the device 300 during manufacture of the device 300 and may be stored in the device 300 during use of the device 300.
  • the information for compensating for the at least one distortion may be stored in at least a part of a plurality of memories connected to each of the plurality of cameras or may be stored in a memory 320 connected to the processor 310.
  • the apparatus 300 may provide information for compensating for the distortion to compensate for distortion caused by at least one camera disposed differently from the targeted design in image processing operations, And may store information for providing to the device or compensating for the distortion. With this information, the device 300 can generate a final image having a desired quality without adjusting the physical location of the at least one camera.
  • Figure 42 illustrates an example of the operation of an apparatus that provides a compensation mode in accordance with various embodiments. This operation can be performed by the device 300 shown in Fig. 3, the device 300 shown in Fig. 36, or the processor 310 included in the device 300. [
  • the processor 310 may detect an input for entering a compensation mode.
  • the device 300 may provide a compensation mode to compensate for twisting, etc. of the axes of at least one camera.
  • Processor 310 may include an input for entering a compensation mode through receipt of an input to an object for entering a specified input (e.g., long touch input, double tap input, force touch input, drag input, etc.) Can be detected.
  • a specified input e.g., long touch input, double tap input, force touch input, drag input, etc.
  • processor 310 may enter the compensation mode in response to detection of the input. For example, in the compensation mode, the processor 310 may display a UI that guides the operation described through Figs. 37 to 40 and the like.
  • the processor 310 may obtain a plurality of images including an object for compensation in the compensation mode.
  • the object for compensation may correspond to the reference object of FIGS. 37 to 40.
  • FIG. The processor 310 may obtain a plurality of images including the object to detect and compensate for errors in the at least one camera.
  • the processor 310 may determine information for compensating for at least one distortion based at least in part on the plurality of images comprising the object for compensating for the distortion. For example, the processor 310 may determine information for compensating for the at least one distortion based on the techniques described in Figures 37-40.
  • the processor 310 may process the determined information. In various embodiments, the processor 310 may store the determined information. In various embodiments, the processor 310 may send the determined information to another device. In various embodiments, the processor 310 may update information for compensating for the at least one distortion.
  • the apparatus 300 may provide information for compensating for digital techniques for distortion due to the placement of at least one of the plurality of cameras included in the apparatus 300 .
  • the device 300 or other device that generates an image based on the plurality of images acquired through the device 300 can provide a final image with a quality above a specified quality.
  • the electronic device may include a housing (or a circuit board (e.g., 1110 of Figure 11B), a first camera (e.g., Figure 11B) disposed in a first area of the housing 11b of the housing 1120-1) and a second camera (e.g., 1120-2 of Figure 11b), the first camera is arranged to intersect the optical axis with the second camera, the second camera A plurality of cameras including a third camera (for example, 1120-3 in FIG. 11B) and a fourth camera (for example, 1120-4 in FIG. 11B) disposed in a region (for example, 1114-2 in FIG.
  • a housing or a circuit board (e.g., 1110 of Figure 11B)
  • a first camera e.g., Figure 11B
  • a second camera e.g., 1120-2 of Figure 11b
  • the first camera is arranged to intersect the optical axis with the second camera
  • the second camera A plurality of cameras including a third camera (for example, 1120
  • the third camera is disposed so as to intersect the optical axis with the fourth camera, the fourth camera is disposed so as to be substantially parallel to the optical axis of the first camera, :
  • a first processor e.g., 1141 of FIG. 11B
  • a second processor e.g., 1151 of FIG. 11B
  • a designated interface e.g., 1112-3 in FIG. 11B.
  • the electronic device further includes a circuit board (e.g., 1110 of FIG. 11B), wherein the first camera (e.g., 1120-1 of FIG. 11B), the second camera (e.g., 2), at least one of the third camera (e.g., 1120-3 in FIG. 11B) or the fourth camera (e.g., 1120-4 in FIG. 11B) may be disposed on one side of the circuit board.
  • the first camera e.g., 1120-1 of FIG. 11B
  • the second camera e.g., 2
  • at least one of the third camera e.g., 1120-3 in FIG. 11B
  • the fourth camera e.g., 1120-4 in FIG. 11B
  • the first processor (e.g., 1141 of FIG. 11B) according to one embodiment processes images obtained through the first camera and the third camera, and the second processor (e.g., 1151 of FIG. 11B) 2 < / RTI > camera and the fourth camera.
  • the housing (or the circuit board (e.g., 1110 of FIG. 11B)) may be coupled to a third region (e.g., 1114-3 in FIG. 11B) and at least a portion of the third region (For example, 1120-5 in Fig. 11B) arranged adjacent to each other, and the optical axis of the fifth camera and the optical axis of the fourth camera may be arranged to be substantially orthogonal.
  • a third region e.g., 1114-3 in FIG. 11B
  • the optical axis of the fifth camera and the optical axis of the fourth camera may be arranged to be substantially orthogonal.
  • the electronic device further comprises a third processor (e.g., 120 of FIG. 29), and the third processor is configured to use a two- dimensional image, and to provide a three-dimensional (3D) image using the images obtained from the first processor and the second processor.
  • a third processor e.g., 120 of FIG. 29
  • the third processor is configured to use a two- dimensional image, and to provide a three-dimensional (3D) image using the images obtained from the first processor and the second processor.
  • An apparatus includes a printed circuit board (PCB) (e.g., 1110 of FIG. 11A); A first set of cameras (e.g., 1120-1, 1120-3, 1120-3, and 1150-3) of FIG. 11A that includes a plurality of cameras disposed along the periphery of the printed circuit board and oriented substantially parallel to the printed circuit board , 1120-5, 1120-7, 1120-9, 1120-11, 1120-13, 1120-15); A second camera set disposed along the periphery of the printed circuit board to be interleaved with each of the cameras included in the first camera set and including a plurality of cameras substantially parallel to the printed circuit board, 1120-2, 1120-4, 1120-6, 1120-8, 1120-10, 1120-12, 1120-14, 1120-16 of FIG.
  • PCB printed circuit board
  • the first camera set includes at least one first processor (e.g., 1140 of Figure 11A) and at least one second processor
  • the second camera set is connected to the at least one first processor by first interfaces formed on a printed circuit board and the second camera set is connected to the at least one second processor by second interfaces formed on the printed circuit board Can be configured to be connected.
  • At least one of the first camera set, the second camera set, the at least one first processor, or the at least one second processor has a first side (e.g., a first side) of the printed circuit board 13a < / RTI > 1312).
  • a third camera e.g., 1230 of Figure 12
  • a third processor e.g., 1220 of Figure 12 coupled to the third camera are further included that are oriented to be substantially perpendicular to the printed circuit board can do.
  • the third processor may be configured to be disposed on a second side (e.g., 1311 in Figure 13A) opposite the first side of the printed circuit board.
  • the printed circuit board may include a double-sided printed circuit board.
  • At least one of the first interfaces e.g., 1112-1, 1121-2 in FIG. 11A
  • the second interfaces e.g., 1121-3, 1121-4 in FIG. 11A
  • the cameras included in the first camera set and the second camera set may constitute at least one pair of stereo scopes.
  • the first camera set and the cameras included in the second camera set may each have an associated FOV H such that the captured images have at least some overlapping areas with each other.
  • the cameras included in the first camera set and the second camera set may be configured such that the captured images have a FOV V associated with each other such that they have at least some overlapping areas with the images taken by the third camera.
  • the third processor is configured to receive first image data corresponding to a 360 degree panoramic view from the at least one first processor, or the at least one second processor; And a two-dimensional (2D) omni-directional image based on the first image data and the second image data corresponding to the top view received from the third camera.
  • the third processor is configured to: receive, from the at least one first processor, first image data corresponding to a 360 degree panorama view having a first orientation; From the at least one second processor, second image data corresponding to a 360 degree panoramic view having a second orientation; And a three-dimensional (3D) omni-directional image based on the first image data, the second image data, and the third image data corresponding to the top view received from the third camera.
  • first image data corresponding to a 360 degree panorama view having a first orientation
  • second image data corresponding to a 360 degree panoramic view having a second orientation
  • a three-dimensional (3D) omni-directional image based on the first image data, the second image data, and the third image data corresponding to the top view received from the third camera.
  • the at least one first processor includes a third processor (e.g., 1141 of FIG. 11A) and a fourth processor (e.g., 1142 of FIG. 11A) (E.g., 1120-1, 1120-3, 1120-5, 1120-7 of FIG. 11A) included in the set, and the fourth processor is connected to at least one of the cameras included in the first camera set (E.g., 1120-9, 1120-11, 1120-13, 1120-15 of Figure 11A), and the at least one second processor is coupled to a fifth processor (e.g., 1151 of Figure 11A) And a fifth processor (e.g., 1152 of FIG.
  • a third processor e.g., 1141 of FIG. 11A
  • a fourth processor e.g., 1142 of FIG. 11A
  • the fourth processor is connected to at least one of the cameras included in the first camera set (E.g., 1120-9, 1120-11, 1120-13, 1120-15 of Figure 11A)
  • the fifth processor includes at least one sixth camera included in the second camera set (e.g., 1120-2, 1120-4, 1120 1120-8, 1120-14, 1120-8) of the second camera set, and the sixth processor is connected to at least one of the seventh cameras (e.g., 1120-10, 1120-12, 1120-14, 1120-8, 16) .
  • the at least one fourth camera is interdigitated with the at least one sixth camera, and the at least one fifth camera may be arranged with the at least one seventh camera.
  • a 180-degree panoramic view e.g., Q1-Q2 in Fig. 11A
  • the printed circuit board may have at least one protrusion (e.g., 1113 in FIG. 11A) that protrudes further outward than cameras included in the first and second set of cameras have.
  • at least one protrusion e.g., 1113 in FIG. 11A
  • An apparatus comprising: a printed circuit board (PCB); A top camera disposed on a first side of the printed circuit board and oriented to be perpendicular to the printed circuit board; 16 side cameras disposed along the periphery of an opposing second side of the first side of the printed circuit board and oriented parallel to the printed circuit board; A first processor (e.g., 1220 of Figure 12) disposed on the first side of the printed circuit board and coupled to the tower camera; And at least one processor (e.g., 1140 and 1150 of FIG. 11A) disposed on the second side of the printed circuit board and coupled to the side cameras.
  • PCB printed circuit board
  • a top camera disposed on a first side of the printed circuit board and oriented to be perpendicular to the printed circuit board
  • 16 side cameras disposed along the periphery of an opposing second side of the first side of the printed circuit board and oriented parallel to the printed circuit board
  • a first processor e.g., 1220 of Figure 12
  • At least one processor e.g
  • the side cameras include eight left cameras corresponding to a left camera of a pair of stereoscopic pairs and eight right cameras corresponding to a right camera of the pair of stereoscopic pairs,
  • the right cameras may be arranged crossing each other along a second side of the printed circuit board.
  • the at least one processor includes a second processor, a third processor, a fourth processor, a fifth processor, wherein a portion of the right camera is coupled to a second processor, A portion of the left cameras may be coupled to a third processor, and a remaining portion of the left cameras may be coupled to a fourth processor.
  • the second processor, the fifth processor, the third processor, and the fourth processor are sequentially connected in order or in any order, and the first processor is one of the at least one processor Lt; / RTI >
  • sequential connections of the second processor, the fifth processor, the third processor, and the fourth processor may be formed by interfaces formed on the printed circuit board.
  • a computer-readable storage medium storing one or more programs (software modules) may be provided.
  • One or more programs stored on a computer-readable storage medium are configured for execution by one or more processors in an electronic device.
  • the one or more programs include instructions that cause the electronic device to perform the methods in accordance with the embodiments of the present disclosure or the claims of the present disclosure.
  • Such programs may be stored in a computer readable medium such as a random access memory, a non-volatile memory including a flash memory, a read only memory (ROM), an electrically erasable programmable ROM (EEPROM), a magnetic disc storage device, a compact disc-ROM (CD-ROM), digital versatile discs (DVDs) An optical storage device, or a magnetic cassette. Or a combination of some or all of these. In addition, a plurality of constituent memories may be included.
  • a computer readable medium such as a random access memory, a non-volatile memory including a flash memory, a read only memory (ROM), an electrically erasable programmable ROM (EEPROM), a magnetic disc storage device, a compact disc-ROM (CD-ROM), digital versatile discs (DVDs) An optical storage device, or a magnetic cassette. Or a combination of some or all of these.
  • a plurality of constituent memories may be included.
  • the program may also be stored on a communication network, such as the Internet, an intranet, a local area network (LAN), a communication network such as a wide area network (WLAN) And can be stored in an attachable storage device that can be accessed.
  • a storage device may be connected to an apparatus performing an embodiment of the present disclosure via an external port. Further, a separate storage device on the communication network may be connected to an apparatus performing the embodiments of the present disclosure.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)

Abstract

본 개시의 다양한 실시 예에 따르는 전자 장치는, 하우징; 상기 하우징의 제1 영역에 배치된 제 1 카메라 및 제 2 카메라를 포함하는 복수의 카메라들, 상기 제 1 카메라는 상기 제 2 카메라와 광축이 교차하도록 배치되고; 상기 하우징의 제 2영역에 배치된 제 3 카메라 및 제 4 카메라를 포함하는 복수의 카메라들, 상기 제 3 카메라는 상기 제 4 카메라와 광축이 교차하도록 배치되고, 상기 제 4 카메라는 상기 제 1 카메라와 광축이 실질적으로 평행하도록 배치되고; 상기 제 1 카메라 및 제 3 카메라와 제 1 지정된 인터페이스로 연결되는 제 1 프로세서; 및 상기 제 2 카메라 및 제 4 카메라와 제 2 지정된 인터페이스로 연결되는 제 2프로세서를 포함할 수 있다. 그 밖의 다양한 실시 예가 가능하다.

Description

복수의 카메라를 통해 수신되는 이미지를 처리하기 위한 장치 및 방법
다양한 실시예들은 복수의 카메라들을 통해 수신되는 이미지를 처리하기 위한 장치(apparatus) 및 그의 방법에 관한 것이다.
기술의 발달로, 가상 현실(virtual reality)을 제공하는 컨텐츠(content)의 보급이 증가하고 있다. 이러한 컨텐츠의 생성을 위해, 파노라마 이미지, 전방향(omnidirectional) 이미지 등과 같은 이미지를 처리하는 장치가 개발되고 있다. 이러한 장치는 전방향 이미지를 위한 복수의 이미지들을 획득하거나 획득된 복수의 이미지들에 기반하여 파노라마 이미지, 전방향 이미지 등과 같은 이미지를 생성할 수 있다.
전방향 이미지의 생성을 위해 이용되는 장치는 복수의 카메라들을 포함할 수 있다. 복수의 카메라들로부터 획득된 이미지를 처리하기 위하여 복수의 프로세서가 필요할 수 있다. 복수의 카메라들로부터 획득된 복수의 이미지들의 처리는, 하나의 이미지(single image)의 처리보다 많은 연산 처리를 필요로 하거나, 많은 전력 소모를 야기할 수 있다. 따라서, 복수의 카메라들 및 프로세서들이 인쇄회로기판에 배치되는 배열, 카메라들 각각과 프로세서와의 전기적 연결에 있어서, 효율적인 구성이 요구될 수 있다.
다양한 실시 예들은, 복수의 카메라들 및 프로세서들이 인쇄회로기판에 배치되는 효율적인 배열(arrangement), 및 카메라들 각각과 프로세서와의 연결(connection) 구성을 제공할 수 있다.
본 문서에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 다양한 실시 예에 따르는 전자 장치는, 하우징; 상기 하우징의 제1 영역에 배치된 제 1 카메라 및 제 2 카메라를 포함하는 복수의 카메라들, 상기 제 1 카메라는 상기 제 2 카메라와 광축이 교차하도록 배치되고; 상기 하우징의 제 2영역에 배치된 제 3 카메라 및 제 4 카메라를 포함하는 복수의 카메라들, 상기 제 3 카메라는 상기 제 4 카메라와 광축이 교차하도록 배치되고, 상기 제 4 카메라는 상기 제 1 카메라와 광축이 실질적으로 평행하도록 배치되고; 상기 제 1 카메라 및 제 3 카메라와 제 1 지정된 인터페이스로 연결되는 제 1 프로세서; 및 상기 제 2 카메라 및 제 4 카메라와 제 2 지정된 인터페이스로 연결되는 제 2프로세서를 포함할 수 있다.
다양한 실시예들에 따른 장치(apparatus)는, 인쇄회로기판(printed circuit board, PCB); 상기 인쇄회로기판의 둘레를 따라 배치되고 상기 인쇄회로기판과 실질적으로 평행하게 정향(oriented)된 복수의 카메라를 포함하는 제1 카메라 셋(set); 상기 제1 카메라 셋에 포함된 카메라 각각과 교차 배열(interleaved)되도록 상기 인쇄회로기판의 둘레를 따라 배치되며, 상기 인쇄회로기판과 실질적으로 평행하게 정향된 복수의 카메라를 포함하는 제2 카메라 셋; 및 상기 인쇄회로기판 상에 배치되는 적어도 하나의 제1 프로세서, 및 적어도 하나의 제2 프로세서를 포함하되, 상기 제1 카메라 셋은 상기 인쇄회로기판 상에 형성된 제1 신호라인들에 의하여 상기 적어도 하나의 제1 프로세서에 연결되고, 상기 제2 카메라 셋은 상기 인쇄회로기판 상에 형성된 제2 신호라인들에 의하여 상기 적어도 하나의 제2 프로세서에 연결되도록 구성될 수 있다.
다양한 실시예들에 따른 장치에 있어서, 인쇄회로기판(printed circuit board, PCB); 상기 인쇄회로기판의 제1 면 상에 배치되고, 상기 인쇄회로기판에 수직하도록 정향된 탑 카메라; 상기 인쇄회로기판의 상기 제1 면의 대향하는 제2 면의 둘레를 따라 배치되고, 상기 인쇄회로기판과 평행하게 정향된 16개의 측면 카메라들; 상기 인쇄회로기판의 상기 제1 면에 배치되고 상기 탑 카메라와 연결되는 제1 프로세서; 및 상기 인쇄회로기판의 상기 제2 면에 배치되고 상기 측면 카메라들과 연결되는 적어도 하나의 프로세서를 포함할 수 있다.
다양한 실시 예에 따르는, 복수의 카메라들 및 프로세서들 간의 연결구성을 포함하는 전자 장치는 영상 처리를 위한 연산, 전력 관리의 측면에서 효율적인 운영이 가능할 수 있다.
다양한 실시 예들에 따른 장치 및 그의 방법은, 모드에 따라 적응적으로 파워를 차단함으로써, 장치의 전력 소모를 감소시킬 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 다양한 실시예들에 따른, 복수의 카메라를 이용하여 수신한 이미지를 처리하기 위한, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 다양한 실시예들에 따른 카메라 모듈의 블록도이다.
도 3은 다양한 실시예들에 따라 복수의 이미지들을 획득하는 장치의 기능적 구성의 예를 도시한다.
도 4는 다양한 실시 예에 따르는 전자 장치의 사시도이다.
도 5는 다양한 실시 예에 따르는 전자 장치의 분리 사시도이다.
도 6은 다양한 실시 예에 따르는 카메라의 관측 시야(field of view, FOV)를 도시한다.
도 7은 다양한 실시 예에 따르는 카메라들의 예시적인 스테레오스코픽 쌍을 도시한다.
도 8은 다양한 실시 예에 따르는 카메라 시스템의 예시적인 카메라 배치에 대한 평면도를 도시한다.
도 9는 다양한 실시 예에 따르는 카메라 시스템에 대한 측면도이다.
도 10은 다양한 실시 예에 따르는 카메라 시스템이 촬영한 중첩된 이미지들(overlapped images)의 예시적인 셋을 도시한다.
도 11a 및 11b는 다양한 실시 예에 따른 인쇄회로기판의 일 예를 나타내는 평면도이다.
도 12은 다양한 실시 예에 따른 인쇄회로기판의 다른 예를 나타내는 평면도이다.
도 13a 내지 도 13c는 다양한 실시 예에 따르는 복수의 카메라들과 인쇄회로기판의 배치구조의 예들을 도시한다.
도 14는 다양한 실시예들에 따라 전력을 제어하는 장치의 기능적 구성의 예를 도시한다.
도 15는 다양한 실시예들에 따라 전력을 제어하는 장치의 기능적 구성의 다른 예를 도시한다.
도 16은 다양한 실시예들에 따른 장치에 의해 획득되는 복수의 이미지들의 예를 도시한다.
도 17은 다양한 실시예들에 따라 전력을 제어하는 장치의 동작의 예를 도시한다.
도 18은 다양한 실시예들에 따라 전력을 제어하는 장치 내의 신호 흐름의 예를 도시한다.
도 19는 다양한 실시예들에 따라 전력을 제어하는 장치의 모드 제어 동작의 예를 도시한다.
도 20은 다양한 실시예들에 따른 장치에서 표시되는 사용자 인터페이스(UI, user interface)의 예를 도시한다.
도 21은 다양한 실시예들에 따라 전력을 제어하는 장치의 모드 제어 동작의 다른 예를 도시한다.
도 22는 다양한 실시예들에 따른 장치에서 표시되는 사용자 인터페이스의 다른 예를 도시한다.
도 23은 다양한 실시예들에 따라 이미지의 처리를 제어하는 장치의 기능적 구성의 예를 도시한다.
도 24는 다양한 실시예들에 따라 이미지의 처리를 제어하는 장치의 기능적 구성의 다른 예를 도시한다.
도 25는 다양한 실시예들에 따라 이미지의 처리를 제어하는 장치의 기능적 구성의 또 다른 예를 도시한다.
도 26은 다양한 실시예들에 따라 이미지의 처리를 제어하는 장치의 기능적 구성의 또 다른 예를 도시한다.
도 27은 다양한 실시예들에 따라 이미지의 처리를 제어하는 장치의 동작의 예를 도시한다.
도 28은 다양한 실시예들에 따라 이미지의 처리를 제어하는 장치 내의 신호 흐름의 예를 도시한다.
도 29는 다양한 실시예들에 따라 데이터 셋을 수신하는 다른 장치의 동작의 예를 도시한다.
도 30은 다양한 실시예들에 따라 오디오 신호를 처리하는 전자 장치의 기능적 구성의 예를 도시한다.
도 31은 다양한 실시예들에 따라 오디오 신호를 처리하는 프로세서의 동작의 예를 도시한다.
도 32는 다양한 실시예들에 따른 전자 장치에서 오디오의 방향을 변경하는 예를 도시한다.
도 33은 다양한 실시예들에 따라 오디오 신호를 처리하는 장치의 동작의 예를 도시한다.
도 34는 다양한 실시예들에 따라 복수의 제2 오디오 신호들을 생성하는 전자 장치의 동작의 예를 도시한다.
도 35는 다양한 실시예들에 따라 생성된 복수의 제2 오디오 신호들의 예를 도시한다.
도 36은 다양한 실시예들에 따라 왜곡을 보상하는 장치의 기능적 구성의 예를 도시한다.
도 37은 다양한 실시예들에 따라 왜곡을 보상하기 위한 정보를 결정하는 기법의 예를 도시한다.
도 38은 다양한 실시예들에 따른 왜곡을 보상하기 위한 이미지의 예를 도시한다.
도 39는 다양한 실시예들에 따른 왜곡을 보상하기 위한 이미지의 다른 예를 도시한다.
도 40은 다양한 실시예들에 따라 왜곡을 보상하기 위한 정보를 결정하는 기법의 다른 예를 도시한다.
도 41은 다양한 실시예들에 따라 왜곡을 보상하기 위한 정보를 송신하는 장치의 동작의 예를 도시한다.
도 42는 다양한 실시예들에 따라 왜곡 보상 모드를 제공하는 장치의 동작의 예를 도시한다.
도 1은, 다양한 실시예들에 따라, 복수의 카메라를 이용하여 수신한 이미지를 처리하기 위한, 네트워크 환경(100) 내의 전자 장치(101)의 블럭도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 및 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 예를 들면, 표시 장치(160)(예: 디스플레이)에 임베디드된 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)의 경우와 같이, 일부의 구성요소들이 통합되어 구현될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 구동하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 및 연산을 수행할 수 있다. 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하여 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 운영되고, 추가적으로 또는 대체적으로, 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화된 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 여기서, 보조 프로세서(123)는 메인 프로세서(121)와 별개로 또는 임베디드되어 운영될 수 있다.
이런 경우, 보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 수행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부 구성 요소로서 구현될 수 있다. 메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서모듈(176))에 의해 사용되는 다양한 데이터, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 저장할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 저장되는 소프트웨어로서, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 장치(150)는, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신하기 위한 장치로서, 예를 들면, 마이크, 마우스, 또는 키보드를 포함할 수 있다.
음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력하기 위한 장치로서, 예를 들면, 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용되는 스피커와 전화 수신 전용으로 사용되는 리시버를 포함할 수 있다. 일실시예에 따르면, 리시버는 스피커와 일체 또는 별도로 형성될 수 있다.
표시 장치(160)는 전자 장치(101)의 사용자에게 정보를 시각적으로 제공하기 위한 장치로서, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 표시 장치(160)는 터치 회로(touch circuitry) 또는 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 장치(150) 를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 유선 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102)(예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 내부의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 외부 전자 장치(예: 전자 장치(102))와 유선 또는 무선으로 연결할 수 있는 지정된 프로토콜을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는 HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102))를 물리적으로 연결시킬 수 있는 커넥터, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈, 이미지 센서, 이미지 시그널 프로세서, 또는 플래시를 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리하기 위한 모듈로서, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구성될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급하기 위한 장치로서, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))간의 유선 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되는, 유선 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함하고, 그 중 해당하는 통신 모듈을 이용하여 제 1 네트워크(198)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 상술한 여러 종류의 통신 모듈(190)은 하나의 칩으로 구현되거나 또는 각각 별도의 칩으로 구현될 수 있다.
일실시예에 따르면, 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 사용자 정보를 이용하여 통신 네트워크 내에서 전자 장치(101)를 구별 및 인증할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부로 송신하거나 외부로부터 수신하기 위한 하나 이상의 안테나들을 포함할 수 있다. 일시예에 따르면, 통신 모듈(190)(예: 무선 통신 모듈(192))은 통신 방식에 적합한 안테나를 통하여 신호를 외부 전자 장치로 송신하거나, 외부 전자 장치로부터 수신할 수 있다.
상기 구성요소들 중 일부 구성요소들은 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input/output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되어 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 외부 전자 장치에서 실행될 수 있다. 일실시예에 따르면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 외부 전자 장치에게 요청할 수 있다. 상기 요청을 수신한 외부 전자 장치는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2는, 다양한 실시예들에 따른, 카메라 모듈(180)의 블럭도(200)이다. 도 2를 참조하면, 카메라 모듈(180)은 렌즈 어셈블리(210), 플래쉬(220), 이미지 센서(230), 이미지 스태빌라이저(240), 메모리(250)(예: 버퍼 메모리), 또는 이미지 시그널 프로세서(260)를 포함할 수 있다. 렌즈 어셈블리(210)는 이미지 촬영의 대상인 피사체로부터 방출되는 빛을 수집할 수 있다. 렌즈 어셈블리(210)는 하나 또는 그 이상의 렌즈들을 포함할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 복수의 렌즈 어셈블리(210)들을 포함할 수 있다. 이런 경우, 카메라 모듈(180)은, 예를 들면, 듀얼 카메라, 360도 카메라, 또는 구형 카메라(spherical camera)일 수 있다. 복수의 렌즈 어셈블리(210)들은 동일한 렌즈 속성(예: 화각, 초점 거리, 자동 초점, f 넘버(f number), 또는 광학 줌)을 갖거나, 또는 적어도 하나의 렌즈 어셈블리는 다른 렌즈 렌즈 어셈블리와 적어도 하나의 다른 렌즈 속성을 가질 수 있다. 렌즈 어셈블리(210)는, 예를 들면, 광각 렌즈 또는 망원 렌즈를 포함할 수 있다. 플래쉬(220)는 피사체로부터 방출되는 빛을 강화하기 위하여 사용되는 광원을 방출할 수 있다. 플래쉬(220)는 하나 이상의 발광 다이오드들(예: RGB(red-green-blue) LED, white LED, infrared LED, 또는 ultraviolet LED), 또는 xenon lamp를 포함할 수 있다.
이미지 센서(230)는 피사체로부터 렌즈 어셈블리(210) 를 통해 전달된 빛을 전기적인 신호로 변환함으로써, 상기 피사체에 대응하는 이미지를 획득할 수 있다. 일실시예에 따르면, 이미지 센서(230)는, 예를 들면, RGB 센서, BW(black and white) 센서, IR 센서, 또는 UV 센서와 같이 속성이 다른 이미지 센서들 중 선택된 하나의 이미지 센서, 동일한 속성을 갖는 복수의 이미지 센서들, 또는 다른 속성을 갖는 복수의 이미지 센서들을 포함할 수 있다. 이미지 센서(230)에 포함된 각각의 이미지 센서는, 예를 들면, CCD(charged coupled device) 센서 또는 CMOS(complementary metal oxide semiconductor) 센서로 구현될 수 있다.
이미지 스태빌라이저(240)는 카메라 모듈(180) 또는 이를 포함하는 전자 장치(101)의 움직임에 반응하여, 촬영되는 이미지에 대한 상기 움직임에 의한 부정적인 영향(예: 이미지 흔들림)을 적어도 일부 보상하기 위하여 렌즈 어셈블리(210)에 포함된 적어도 하나의 렌즈 또는 이미지 센서(230)를 특정한 방향으로 움직이거나 제어(예: 리드 아웃(read-out) 타이밍을 조정 등)할 수 있다. 일실시예에 따르면, 이미지 스태빌라이저(240)는, 예를 들면, 광학식 이미지 스태빌라이저로 구현될 수 있으며, 카메라 모듈(180)의 내부 또는 외부에 배치된 자이로 센서(미도시) 또는 가속도 센서(미도시)를 이용하여 상기 움직임을 감지할 수 있다.
메모리(250)는 이미지 센서(230)를 통하여 획득된 이미지의 적어도 일부를 다음 이미지 처리 작업을 위하여 적어도 일시 저장할 수 있다. 예를 들어, 셔터에 따른 이미지 획득이 지연되거나, 또는 복수의 이미지들이 고속으로 획득되는 경우, 획득된 원본 이미지(예: 높은 해상도의 이미지)는 메모리(250)에 저장이 되고, 그에 대응하는 사본 이미지(예: 낮은 해상도의 이미지)는 표시 장치(160)를 통하여 프리뷰될 수 있다. 이후, 지정된 조건이 만족되면(예: 사용자 입력 또는 시스템 명령) 메모리(250)에 저장되었던 원본 이미지의 적어도 일부가, 예를 들면, 이미지 시그널 프로세서(260)에 의해 획득되어 처리될 수 있다. 일실시예에 따르면, 메모리(250)는 메모리(130)의 적어도 일부로, 또는 이와는 독립적으로 운영되는 별도의 메모리로 구성될 수 있다.
이미지 시그널 프로세서(260)는 이미지 센서(230)를 통하여 획득된 이미지 또는 메모리(250)에 저장된 이미지에 대하여 이미지 처리(예: 깊이 지도(depth map) 생성, 3차원 모델링, 파노라마 생성, 특징점 추출, 이미지 합성, 또는 이미지 보상(예: 노이즈 감소, 해상도 조정, 밝기 조정, 블러링(blurring), 샤프닝(sharpening), 또는 소프트닝(softening))을 수행할 수 있다. 추가적으로 또는 대체적으로, 이미지 시그널 프로세서(260)는 카메라 모듈(180)에 포함된 구성 요소들 중 적어도 하나(예: 이미지 센서(230))에 대한 제어(예: 노출 시간 제어, 또는 리드 아웃 타이밍 제어 등)를 수행할 수 있다. 이미지 시그널 프로세서(260)에 의해 처리된 이미지는 추가 처리를 위하여 메모리(250)에 다시 저장 되거나 카메라 모듈(180)의 외부 구성 요소(예: 메모리(130), 표시 장치(160), 전자 장치(102), 전자 장치(104), 또는 서버(108))로 전달될 수 있다. 일실시예에 따르면, 이미지 시그널 프로세서(260)는 프로세서(120)의 적어도 일부로 구성되거나, 프로세서(120)와 독립적으로 운영되는 별도의 프로세서로 구성될 수 있다. 별도의 프로세서로 구성된 경우, 이미지 시그널 프로세서(260)에 의해 처리된 이미지들은 프로세서(120)에 의하여 그대로 또는 추가의 이미지 처리를 거친 후 표시 장치(160)를 통해 표시될 수 있다.
일실시예에 따르면, 전자 장치(101)는 각각 다른 속성 또는 기능을 가진 둘 이상의 카메라 모듈(180)들을 포함할 수 있다. 이런 경우, 예를 들면, 적어도 하나의 카메라 모듈(180)은 광각 카메라 또는 전면 카메라이고, 적어도 하나의 다른 카메라 모듈은 망원 카메라 또는 후면 카메라일 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치 중 적어도 하나를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 명령어를 포함하는 소프트웨어(예: 프로그램(140))로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치(예: 전자 장치(101))를 포함할 수 있다. 상기 명령이 프로세서(예: 프로세서(120))에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
도 3은 다양한 실시예들에 따라 복수의 이미지들을 획득하는 장치의 기능적 구성의 예를 도시한다.
도 3을 참조하면, 장치(300)는 프로세서(310), 메모리(320), 카메라(330), 통신 인터페이스(340), PMIC(power management integrated circuit)(350), 마이크로폰(microphone)(360), 입력 장치(370), 및/또는 디스플레이(390)를 포함할 수 있다.
프로세서(310)는, 예를 들면, 소프트웨어(예: 프로그램 또는 명령어 등)를 구동하여 프로세서(310)에 연결된 장치(300)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 및 연산을 수행할 수 있다. 프로세서(310)는 다른 구성요소(예: 카메라(330) 또는 통신 인터페이스(340) 등)로부터 수신된 명령 또는 데이터를 휘발성 메모리(예: 메모리(320))에 로드하여 처리하고, 결과 데이터를 비휘발성 메모리(예: 메모리(320))에 저장할 수 있다. 다양한 실시예들에서, 프로세서(310)는 메인 프로세서(예: CPU(central processing unit), AP(application processor), ISP(image signal processor), DSP(digital signal processor) 등), 및 이와는 독립적으로 운영되고, 추가적으로 또는 대체적으로, 메인 프로세서보다 저전력을 사용하거나, 또는 지정된 기능에 특화된 보조 프로세서를 포함할 수 있다. 상기 보조 프로세서는, 메인 프로세서와 별개로 또는 임베디드되어 운용될 수 있다.
이런 경우, 보조 프로세서는, 예를 들면, 메인 프로세서가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서를 대신하여, 또는 메인 프로세서가 액티브(예: 기능 수행) 상태에 있는 동안 메인 프로세서와 함께, 장치의 구성요소들 중 적어도 하나의 구성요소(예: 카메라(330), 통신 인터페이스(340) 등)와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 다양한 실시예들에서, 보조 프로세서는, 기능적으로 관련 있는 다른 구성 요소(예: 카메라(330) 또는 통신 인터페이스(340) 등)의 일부 구성요소로서 구현될 수 있다. 다양한 실시예들에서, 프로세서(310)의 수가 복수인 경우, 프로세서(310)는 장치(300)의 전반적인 동작을 제어하기 위한 프로세서, 카메라(330)의 동작을 제어하거나 카메라(330)를 통해 획득되는 이미지를 처리하기 위한 프로세서를 포함할 수 있다. 프로세서(310)의 수는 카메라(330)의 수 또는 카메라를 통해 획득되는 이미지의 크기에 따라 변경될 수 있다. 예를 들어, 카메라(330)의 수가 17인 경우, 프로세서(310)의 수는 5개일 수 있다. 예를 들면, 프로세서(310)는 하나의 카메라에 연결되고 장치(300)의 전반적인 동작을 제어하는 제1 프로세서, 및 4개의 카메라와 각각 연결되는 제2 프로세서 내지 제4 프로세서로 구성될 수 있다. 상기 제1 프로세서 내지 상기 제5 프로세서 각각은, 상기 제1 프로세서 내지 상기 제5 프로세서 각각에 연결된 적어도 하나의 카메라를 제어할 수 있다. 상기 제1 프로세서 내지 상기 제5 프로세서 각각은, 상기 제1 프로세서 내지 상기 제5 프로세서 각각에 연결된 적어도 하나의 카메라를 통해 획득되는 이미지를 인코딩할 수 있다.
메모리(320)는 복수의 프로그램(또는 명령어)들을 포함할 수 있다. 상기 복수의 프로그램들은, 프로세서(310)에 의해 실행될 수 있다. 상기 복수의 프로그램들은, 운영 체제, 미들 웨어, 디바이스 드라이버, 또는 어플리케이션을 포함할 수 있다. 메모리(320)는 휘발성 메모리, 비휘발성 메모리, 및/또는 불휘발성 매체를 포함할 수 있다. 다양한 실시예들에서, 상기 휘발성 메모리는, DRAM(dynamic RAM), SRAM(static RAM), SDRAM(synchronous DRAM), PRAM(phase-change RAM), MRAM(magnetic RAM), RRAM(resistive RAM), FeRAM(ferroelectric RAM) 등을 포함할 수 있다. 다양한 실시예들에서, 상기 불휘발성 메모리는 ROM(read only memory), PROM(programmable ROM), EPROM(electrically programmable ROM), EEPROM(electrically erasable ROM), 플래시 메모리(flash memory) 등을 포함할 수 있다. 다양한 실시예들에서, 상기 불휘발성 매체는, HDD(hard disk drive), SSD(solid state disk), eMMC(embedded multi media card), UFS(universal flash storage), SD(secure digital) 카드 등을 포함할 수 있다.
카메라(330)는 정지 영상 및 동영상을 촬영할 수 있다. 다양한 실시예들에서, 카메라(330)는 하나 이상의 렌즈들, 하나 이상의 이미지 센서들, 또는 하나 이상의 플래시들을 포함할 수 있다. 다양한 실시예들에서, 카메라(330)는 장치(300)의 상단 부분(upper part)의 장면(scene)에 대한 이미지를 획득하기 위한 카메라 및 사이드 부분(side part)의 장면에 대한 이미지를 획득하기 위한 카메라를 포함할 수 있다. 다양한 실시예들에서, 카메라(330)가 복수의 카메라들을 포함하는 경우, 상기 복수의 카메라들 중 적어도 일부는 카메라들의 쌍들로 구성될 수 있다. 다양한 실시예들에서, 상기 복수의 카메라들 각각의 FOV는 다른 카메라의 FOV와 일부 중첩될 수 있다. 이러한 중첩을 이용하여, 카메라(330)는 전방향 이미지를 생성하기 위한 복수의 이미지들을 획득할 수 있다. 카메라(330)는 상기 획득된 복수의 이미지들에 대한 정보를 프로세서(310)에게 제공할 수 있다.
통신 인터페이스(340)는 장치(300)와 다른 장치(예: 도 3에 도시된 전자 장치(300) 등) 사이의 유선 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 다양한 실시예들에서, 통신 인터페이스(340)는 무선 통신 모듈(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(예: USB(universal serial bus) 통신 모듈, UART(universal asynchronous receiver/transmitter) 통신 모듈, LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함하고, 그 중 해당하는 통신 모듈을 이용하여 근거리 통신 네트워크, 원거리 통신 네트워크, 또는 컴퓨터 네트워크를 통해 상기 다른 장치와 통신할 수 있다. 상술한 통신 모듈들은 하나의 칩으로 구현되거나 또는 각각 별도의 칩으로 구현될 수 있다.
통신 인터페이스(340)는 하나 이상의 I/O 장치들과 장치(300) 사이의 통신을 위해 제공되는 I/O 인터페이스를 포함할 수 있다. 상기 하나 이상의 I/O 장치들은 키보드, 키패드, 외부 마이크로폰, 외부 모니터, 마우스, 프린터, 스캐너, 스피커, 스틸 카메라, 스타일러스, 태블릿, 터치 스크린, 트랙볼, 비디오 카메라 등일 수 있다. 상기 I/O 인터페이스는 상기 하나 이상의 I/O 장치들과 유선 또는 무선으로 연결할 수 있는 지정된 프로토콜을 지원할 수 있다. 다양한 실시예들에서, I/O 인터페이스(380)는 HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD 카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
PMIC(350)는 장치(300)의 적어도 하나의 구성요소(예: 프로세서(310), 통신 인터페이스(340) 등)에게 파워를 공급하기 위해 이용될 수 있다. PMIC(350)는 스위칭 레귤레이터(switching regulator)로 구성될 수도 있고, 선형 레귤레이터(linear regulator)로 구성될 수도 있다. PMIC(350)는 복수의 카메라들 각각에게 파워를 공급하거나 복수의 프로세서들 각각에게 파워를 공급하기 위해, 복수로 구성될 수도 있다. 예를 들면, PMIC(350)는 상기 제1 프로세서와 연결되는 제1 PMIC, 상기 제2 프로세서와 연결되는 제2 PMIC, 상기 제3 프로세서와 연결되는 제3 PMIC, 상기 제4 프로세서와 연결되는 제4 PMIC, 상기 제5 프로세서와 연결되는 제5 PMIC를 포함할 수 있다. 상기 제1 프로세서 내지 상기 제5 프로세서 각각은, 개별적으로 PMIC와 연결됨으로써, 독립적으로 동작할 수 있다. 예를 들면, 상기 제1 프로세서가 상기 제1 PMIC를 통해 파워를 공급 받는 동안, 상기 제2 프로세서로의 파워의 공급은 차단될 수 있다.
다양한 실시예들에서, 장치(300)는 제1 시야와 관련된 카메라 및 상기 제1 시야와 관련된 상기 카메라와 관련된(또는 연결된) 프로세서의 파워 공급을 위한 제1 PMIC와, 제2 시야와 관련된 카메라 및 상기 제2 시야와 관련된 상기 카메라와 관련된(또는 연결된) 프로세서의 파워 공급을 위한 제2 PMIC를 포함할 수 있다.
마이크로폰(360)은 오디오를 획득하기 위해 이용될 수 있다. 마이크로폰(360)은, 카메라(330)를 통해 복수의 이미지들을 획득하는 동안, 오디오를 획득할 수 있다. 마이크로폰(360)은 상기 전방향 이미지의 재생에서 사운드(예: 스테레오 사운드 또는 5.1 채널 사운드)를 제공하기 위해, 복수로 구성될 수 있다. 다양한 실시예들에 따르면, 마이크로폰(360)이 복수의 마이크로폰들을 포함하는 경우, 상기 복수의 마이크로폰들은, 지향성(directivity)을 가지도록 구성될 수 있다. 예를 들면, 상기 복수의 마이크로폰들 각각은 수신되는 오디오의 방향을 구분하기 위해 장치(300)에서 방향 별로 분포될 수 있다. 다른 예를 들면, 상기 복수의 마이크로폰들 각각은 수신되는 오디오의 방향에 기반하여 수신되는 오디오의 특정 성분에 보다 높은 이득을 부여할 수도 있다. 다양한 실시예에 따르면, 마이크로폰(360)은 복수의 마이크로폰을 포함할 수 있으며, 복수의 마이크에서 수신된 신호를 처리하여, 오디오 신호의 입력 방향을 구분할 수 있다. 다양한 실시예들에서, 전자 장치(101) 또는 프로세서(310)는 상기 수신되는 신호의 입력 시간 차에 적어도 기반하여 상기 오디오 신호의 입력 방향을 구분할 수 있다.
입력 장치(370)는 장치(300)의 구성요소(예: 프로세서(310))에 사용될 명령 또는 데이터를 장치(300)의 외부(예: 사용자)로부터 수신하기 위한 장치일 수 있다. 예를 들면, 입력 장치(370)는 사용자의 터치 입력을 수신할 수 있는 터치 스크린으로 구성될 수 있다. 다른 예를 들면, 입력 장치(370)는 사용자 입력을 수신할 수 있는 적어도 하나의 물리적 키로 구성될 수 있다.
디스플레이(390)는 장치(300)의 사용자에게 정보를 시각적으로 제공하기 위한 장치일 수 있다. 입력 장치(370)가 터치 스크린으로 구현되는 경우, 디스플레이(390)와 입력 장치(370)는 하나의 장치로 구현될 수도 있다.
다양한 실시예들에 따른 전자 장치(101) 또는 장치(300)는 하기와 같은 절차를 수행할 수 있다.
장치(예: 도 3에 도시된 장치(300) 등)는, 복수의 카메라들을 이용하여, 복수의 이미지들을 획득할 수 있다. 다양한 실시예들에서, 장치는, 상기 장치의 복수의 카메라들을 이용하여, 파노라마 이미지, 전방향 이미지 등과 같은 합성 이미지를 생성하기 위한 복수의 이미지들을 획득할 수 있다.
다양한 실시예들에서, 상기 복수의 카메라들 중 적어도 일부는, 카메라들의 쌍(pair)들로 구성될 수 있다. 예를 들면, 상기 복수의 카메라들 중 제1 카메라 및 상기 복수의 카메라들 중 제2 카메라는, 상기 카메라들의 쌍들 중 제1 쌍에 포함될 수 있다. 상기 제1 카메라는, 제1 방향으로 향하도록 구성되며, 제1 FOV(field of view) 또는 제1 AOV(angle of view)를 가질 수 있다. 상기 제2 카메라는, 상기 제1 방향에 상응하는 제2 방향으로 향하도록 구성되며, 상기 제1 FOV와 일부 중첩되는 제2 FOV(또는 AOV)를 가질 수 있다. 상기 FOV는, 카메라가 촬영할 수 있는 뷰(view)의 범위(range)를 나타낼 수 있다. 상기 FOV는, 렌즈의 초점의 변경 등에 따라 변경될 수 있다. 상기 FOV는, 광축과 관련될 수 있다.
다양한 실시예들에서, 상기 복수의 이미지들 중 적어도 하나의 이미지는, 상기 복수의 이미지들 중 적어도 하나의 다른 이미지와 일부 중첩될 수 있다. 상기 장치는, 상기 전방향 이미지를 생성하기 위해, 다른 이미지와 중첩된 부분을 가지는 이미지를 획득할 수 있다. 일부 중첩된 이미지를 획득하기 위해, 상기 복수의 카메라들 중 적어도 하나의 카메라의 FOV는, 상기 복수의 카메라들 중 적어도 하나의 다른 카메라의 FOV와 일부 중첩될 수 있다.
다양한 실시예들에서, 상기 장치는, 상기 복수의 이미지들의 시작(starting) 또는 끝(ending)이 동기화되도록, 상기 복수의 카메라들을 제어할 수 있다. 상기 장치는, 상기 복수의 카메라들을 제어함으로써, 동기화된 상기 복수의 이미지들을 획득할 수 있다.
다양한 실시예들에서, 상기 장치는, 상기 복수의 이미지들을 인코딩할 수 있다. 상기 장치는, 상기 복수의 이미지들을 인코딩하기 위한 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서의 수는, 상기 복수의 이미지들의 수 또는 상기 복수의 이미지들 각각의 사이즈에 기반하여 결정될 수 있다. 예를 들어, 상기 복수의 이미지들의 수가 17인 경우, 상기 적어도 하나의 프로세서의 수는 5일 수 있다.
다양한 실시예들에서, 상기 적어도 하나의 프로세서 각각은, 상기 복수의 이미지들 중 적어도 일부를 인코딩함으로써 인코딩 데이터를 생성할 수 있다. 상기 인코딩 데이터는 독립적으로 디코딩 가능할 수 있다.
상기 복수의 이미지들을 인코딩하는 장치는, 상기 복수의 이미지들을 획득하는 장치와 동일한 장치일 수도 있고, 상기 복수의 이미지들을 획득하는 장치와 구별되는 장치일 수도 있다.
장치는, 상기 인코딩 데이터에 기반하여 상기 복수의 이미지들을 스티칭(stitching)함으로써 전방향 이미지를 생성할 수 있다. 다양한 실시예들에서, 장치는, 상기 인코딩 데이터를 디코딩함으로써 복수의 디코딩된 이미지들을 생성할 수 있다. 상기 장치는 상기 복수의 디코딩된 이미지들을 스티칭(또는 합성)함으로써 상기 전방향 이미지를 생성할 수 있다. 상기 장치는, 상기 복수의 디코딩된 이미지들의 배치(alignment)에 기반하여 상기 복수의 디코딩된 이미지들을 스티칭함으로써 상기 전방향 이미지를 생성할 수 있다.
상기 전방향 이미지를 생성하는 장치는, 상기 복수의 이미지들을 획득하는 장치 또는 상기 복수의 이미지들을 인코딩하는 장치와 동일한 장치일 수도 있고, 상기 복수의 이미지들을 획득하는 장치 또는 상기 복수의 이미지들을 인코딩하는 장치와 구별되는 장치일 수도 있다.
상술한 바와 같이, 전방향 이미지는, 상기 복수의 이미지들을 획득하는 절차, 상기 획득된 복수의 이미지들을 인코딩하는 절차, 및 인코딩된 데이터에 기반하여 이미지 스티칭을 수행하는 절차를 통해, 생성될 수 있다. 이하, 후술되는 다양한 실시예들은, 이러한 절차들과 관련될 수 있다.
도 4는 다양한 실시 예에 따르는 전자 장치의 사시도이다. 도 4를 참조하면, 전자 장치(400)는 외관 및 내부 구성부품들을 실장하는 내부 공간을 정의하는 하우징(410)을 포함할 수 있다. 전자 장치(400)는 제1방향(예: z축 방향)을 향하는 제1면(또는, 상면(top surface))(4001), 제1면(4001)에 대향하는 방향으로 배치되는 제2면(또는, 바닥면(bottom surface))(4003), 제1면(4001)과 제2면(4003)이 정의하는 공간을 둘러싸는 제3면(또는, 측면)(4002)을 포함할 수 있다.
다양한 실시 예에 따르면, 전자 장치(400)는 하우징(410)의 제1면(4001)에 배치된 디스플레이(412)(예: 도 3의 디스플레이(390)) 및, 네비게이션(411)(예: 도 3의 입력장치(370))를 포함할 수 있다. 디스플레이(412)는 전자 장치(500)의 그래픽 사용자 인터페이스(graphic user interface, GUI)를 포함할 수 있다. 사용자 인터페이스는 전자 장치(400)의 모드를 결정하기 위한 메뉴 또는 전자 장치(400)의 상태, 예를 들어, 배터리 잔량 정보 등을 표시할 수 있다. 네비게이션(411)은 디스플레이(412)에 표시된 그래픽 사용자 인터페이스를 조작(navigate)하기 위한 입력수단으로써, 사용자에게 제공될 수 있다. 또는, 네비게이션(411)은 전자 장치(400)의 전원을 온/오프 하기 위한 버튼으로써 기능할 수 있다. 일 실시 예에 따르면, 전자 장치(400)는 하우징(410)의 제1면(4001)에 배치된 인디케이터(indicator), 스피커(speaker) 등을 더 포함할 수 있다. 인디케이터는 예를 들어, LED 장치를 포함할 수 있으며, 전자 장치(500)의 상태 정보를 사용자에게 시각적으로 제공할 수 있으며, 스피커는 전자 장치(500)의 상태 정보를 사용자에게 청각적으로 제공할 수 있다.
다양한 실시 예에 따르면, 전자 장치(400)는 복수의 카메라들을 포함할 수 있다. 예를 들면, 전자 장치(400)는 하우징(410)의 상면(4001)에 배치된 제1 카메라(421) 및 측면(4002)에 배치된 복수의 제2 카메라들(422)을 포함할 수 있다. 제1 카메라(421)는, 전자 장치(400)의 위쪽으로의 뷰(upward view)를 촬영할 수 있도록 전자 장치(400)의 상면(4001)의 대략 중심 상에 배치될 수 있다. 측면 카메라들(422)은 전자 장치(400)의 수평면을 따라 모든 시야를 촬영할 수 있는 임의의 적절한 수와 구성(configuration)(또는, 배열(arrangement))으로 전자 장치(400)의 측면(4002)을 따라 배치될 수 있다. 일 실시 예에 따르면 전자 장치(400)는, 제1 카메라(421) 및 제2 카메라들(422)을 통해 촬영한 이미지들을 이용하여, 2D 및/또는 3D의 전방향 이미지(omnidirectional image)(또는, 360도 전체 뷰(full 360도 view))를 제공할 수 있다.
도 5는 다양한 실시 예에 따르는 전자 장치의 분리 사시도이다. 도 5의 전자 장치(500)는 도2 및 도4의 전자 장치(200 또는 400)의 구성요소들 중 적어도 하나와 동일 또는 유사할 수 있으며, 중복되는 설명은 이하 생략한다.
도 5를 참조하면, 전자 장치(500)는, 상부 하우징(top housing)(510), 하부 하우징(bottom housing)(520), 인쇄회로기판(printed circuit board, PCB)(530), 복수의 카메라들(540), 방열체(heat sink 또는 heat spreader)(550), 및 배터리(560)를 포함할 수 있다.
일 실시 예에 따르면, 상부 하우징(510)과 상부 하우징(510)은, 전자 장치(500)의 다양한 구성 부품들이 실장 될 수 있는 내부 공간(inner space) 및 전자 장치(500)의 외관을 정의할 수 있다. 예를 들어, 상부 하우징(510)은 실질적으로 전자 장치(500)의 상면(예: 도 4의 4001)의 대부분을 정의하며, 하부 하우징(510)은 실질적으로 전자 장치(500)의 바닥면(예: 도4의 4003)의 대부분을 정의할 수 있다. 상부 하우징(510) 및 하부 하우징(520) 각각의 적어도 일부가 곡면 형상을 가지며, 함께 전자 장치(500)의 측면(예: 도 4의 4002)을 정의할 수 있다. 다만, 실시 예가 이에 한정되는 것은 아니며, 전자 장치(500)의 각 하우징들(510 및/또는 520)은 전자 장치(500)의 심미적 만족감(aesthetically pleasing) 및/또는 기능을 고려한 설계 상의 이유로 임의의 적절한 형상을 가질 수 있다. 다른 실시 예에 따르면, 전자 장치(500)는, 측면(예: 도 4의 4002)을 정의하기 위한 별도의 하우징을 더 포함할 수 있다. 상부 하우징(510) 및 하부 하우징(520)은 서로 일체로 형성(integrally formed)되거나, 각각 형성되어 조립될 수 있다.
일 실시 예에 따르면, 인쇄회로기판(530), 복수의 카메라들(540), 방열체(550) 및 배터리(560)는, 상부 하우징(510)과 하부 하우징(520) 사이의 내부 공간에 배치될 수 있다.
인쇄회로기판(530)에는, 프로세서, 메모리, 및/또는 인터페이스가 실장(또는, 배치)될 수 있다. 프로세서는, 예를 들어, 중앙처리장치, 적어도 하나의 그래픽 프로세서, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서 중 하나 또는 그 이상을 포함할 수 있다. 메모리는, 예를 들어, 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 인터페이스는, 예를 들어, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 및/또는 오디오 인터페이스를 포함할 수 있다. 인터페이스는, 예를 들어, 전자 장치(500)를 외부 전자 장치와 전기적 또는 물리적으로 연결시킬 수 있으며, USB 커넥터, SD 카드/MMC 커넥터, 또는 오디오 커넥터를 포함할 수 있다.
복수의 카메라들(540)은 탑 카메라(541) 및 복수의 측면 카메라들(542)을 포함할 수 있다. 탑 카메라(541)는 전자 장치(500)의 상면을 통하여, 전자 장치(500)의 위쪽으로의 시야를 촬영할 수 있도록 배치될 수 있다. 복수의 측면 카메라들(542)을 전자 장치(500)의 테두리(edge) 또는 주변(periphery)을 따라 일정한 규칙에 따라 배치될 수 있다. 복수의 측면 카메라들(542)은 각각의 광축이 전자 장치(500)의 측면을 향하도록 배치될 수 있다. 예를 들어, 복수의 측면 카메라들(542)은 인쇄회로기판(430) 상에 배치되되 각각의 광축이 인쇄회로기판의 평면에 평행하도록 배치될 수 있다. 복수의 측면 카메라들(542)은 각각의 광축 모두가 서로 같은 평면을 이루도록 배치될 수 있다. 그에 따라 복수의 측면 카메라들(542)들은 전자 장치(500)의 수평면을 따라 모든 방향를 촬영할 수 있다. 복수의 측면 카메라들(542)과 탑 카메라(541)의 광축은 서로 직교할 수 있다. 일 실시 예에 따르면, 탑 카메라(541)는 상부 하우징(510) 및/또는 인쇄회로기판(530)에 고정 결합(fixedly coupled) 될 수 있다. 일 실시 예에 따르면, 복수의 카메라들(540)은 하우징들(510 및 520)의 구조적인 지지에 의하여 안정적으로 실장 될 수 있다. 복수의 카메라들(540)은 인쇄회로기판(530)에 배치된 적어도 하나의 프로세서에 전기적으로 연결될 수 있다. 일 실시 예에 따르면 복수의 측면 카메라들(542)은 상부 하우징(510), 하부 하우징(520) 및/또는 인쇄회로기판(530)에 고정 결합하거나 연결될 수 있다. 일 실시 예에 따르면, 탑 카메라(541)는 인쇄회로기판(530)의 제1면(531)의 대략 중심부에 연결되거나 고정 결합할 수 있고, 복수의 측면 카메라들(542)은 제1면(531)에 대향된, 인쇄회로기판(530)의 제2면(532)의 테두리 또는 주변부를 따라 일정한 규칙에 따라 배치되어 고정 결합하거나, 연결될 수 있다. 다만, 실시 예가 이에 한정되는 것은 아니며, 복수의 카메라들(540)은 인쇄회로기판(530)의 제1면(531) 및/또는 제2면(532)에 임의의 적절한 구성으로 결합할 수 있다.
방열체(550)는 전자 장치(500) 내에 포함된 각종 열원으로서의 발열 부품(heat component as heat source)로부터 열을 전달받아 공기 중으로 열을 발산하여 전자 장치(500)의 열을 낮출 수 있다. 방열체(550)는 열전도율이 높은 예를 들어, 구리, 알루미늄 등의 소재로 구성될 수 있다. 일 실시 예에 따르면, 방열체(550)는 인쇄회로기판(530)에 실장된 프로세서 또는 메모리와 접촉하여 열을 전달받도록 구성될 수 있다. 다른 실시 예에 따르면 전자 장치(500)는,열 발산을 위한 별도의 장치, 예를 들어 히트 파이프(heat pipe), 쿨러(cooler)등을 더 포함할 수 있다.
배터리(560)는 전자 장치(500)의 적어도 하나의 구성 요소에 전력을 공급하기 위한 장치로써, 예를 들어, 재충전 불가능한 1차 전지, 또는 재충전 가능한 2차 전지, 또는 연료 전지를 포함할 수 있다. 배터리(560)는, 예를 들어, 인쇄회로기판(530)의 하부에 배치될 수 있다. 다른 예를 들어, 배터리(560)는 실질적으로 동일 평면 상에 배치될 수 있다. 배터리(560)는 전자 장치(500) 내부에 일체로 배치될 수 있고, 전자 장치(500)와 분리 가능하게(detachably) 구성될 수도 있다.
어떤 실시 예에 따르면, 전자 장치(500)는 복수의 마이크로폰(microphone)(미도시)을 더 포함할 수 있다. 복수의 마이크로폰은 복수의 카메라들(420)을 통해 획득한 이미지들 중 적어도 하나와 관련된 오디오를 수신하도록 구성될 수 있다.
도 6은 다양한 실시 예에 따르는 카메라의 관측 시야(field of view, FOV)를 도시한다. 이하 도 6에 개시된 카메라(600)에 대한 설명은, 앞서 설명된 복수의 카메라들(540) 각각에 대한 설명일 수 있다. 도 6을 참조하면, 카메라(600)는 독자적인 사진 이미지들 또는 비디오로써 일련의 이미지들을 캡쳐하도록 구성된 이미지 센서(610)를 포함할 수 있다. 예를 들어, 카메라(600)는 CCD(charge-coupled device) 이미지 센서 또는 CMOS(complementary metal-oxide-semiconductor) 액티브 픽셀 이미지 센서를 포함할 수 있다.
다양한 실시 예들에서, 카메라(600)의 이미지 센서(610)는 대략적으로 16:9, 4:3, 3:2, 또는 임의의 적절한 종횡 비(aspect ratio)를 가질 수 있다. 종횡 비는 센서의 높이에 대한 너비의 비율일 수 있다. 다양한 실시 예에 따르면, 이미지 센서(610)의 너비는 높이보다 길 수 있다. 다른 실시 예들에서는, 이미지 센서(610)의 높이가 너비보다 길 수 있다. 다양한 실시 예에 따르면, 이미지 센서(610)의 너비와 높이는 이미지 센서(610)의 2개의 축 상의 픽셀들의 수의 형식으로 표현될 수 있다. 예를 들면, 이미지 센서(610)는 500내지 8000 픽셀의 너비 또는 높이를 가질 수 있다. 다른 예를 들면, 1920 픽셀 너비 및 1080 픽셀 높이의 이미지 센서(610)는 16:9의 종횡 비를 가진다고 할 수 있다.
다양한 실시 예에 따르면, 카메라(600)는 들어오는 빛을 모으고, 이미지 센서(610)의 초점 영역(focal area)으로 집중시키는 렌즈 또는 렌즈 어셈블리(assembly)를 포함할 수 있다. 카메라(600)의 렌즈 또는 렌즈 어셈블리는 다양한 초점거리에 기반하여 다양한 시야를 가지는 어안(fisheye) 렌즈, 광각(wide-angle) 렌즈, 망원(telephoto) 렌즈를 포함할 수 있다.
다양한 실시 예에 따르면, 카메라(600)는 카메라(600)의 위치, 초점 길이, 또는 렌즈 어셈블리의 배율 및 이미지 센서(610)의 위치나 사이즈의 적어도 부분적으로 기반하는 관측 시야(field of view, FOV)를 가질 수 있다. 다양한 실시 예에서, 카메라(600)의 FOV는, 카메라(600)를 통해 촬영 가능한 특정 장면의 수평적, 수직적, 또는 사선 범위를 가리킬 수 있다. 카메라(600)의 FOV내의 오브젝트(또는, 피사체)들은 카메라(600)의 이미지 센서(610)에 의하여 캡쳐될 수 있고, FOV 외부의 오브젝트들은 이미지 센서(610) 상에 나타나지 않을 수 있다. 다양한 실시 예에서, FOV는 시선 각도(angle of view, AOV)라고 칭할 수 있다.
다양한 실시 예에서, FOV 또는 AOV는 카메라(600)에 의해 캡쳐(또는, 이미징)될 수 있는 특정 장면(scene)의 각도 범위를 가리킬 수 있다. 예를 들어, 카메라(600)는 서로 대략적으로 수직방향으로 정렬(oriented) 된 수평적 시야(FOVH) 및 수직적 시야(FOVV)를 가질 수 있다. 예를 들어, 카메라(600)는 30도 내지 100도 범위 내의 수평적 시야(FOVH)를 및 90도 내지 200도 범위 내의 수직적 시야(FOVV)를 가질 수 있다. 다양한 실시 예에서, 카메라(600)의 FOVH는 카메라(600)의 FOVV보다 넓을 수 있다. 예를 들어, 카메라(600)는 30도 내지 80도 범위 내의 FOVV 및 90도 내지 200도 범위 내의 FOVH를 가질 수 있다. 다양한 실시 예에서, 상이한 FOVH 및 FOVV를 가지는 카메라(600)는 이미지 센서(610)의 종횡비에 대응될 수 있다. 이하, 특정 FOV를 가지는 특정 카메라들을 상정하여 설명하나, 다양한 실시 예에 따르는 전자 장치(예: 도 4의 400)는 임의의 적절한 이미지 센서들 및 임의의 적절한 렌즈들을 포함할 수 있다.
도 7은 다양한 실시 예에 따르는 카메라들의 예시적인 스테레오스코픽 쌍(stereoscopic pair)(700)을 도시한다.
다양한 실시 예에 따르는 스테레오스코픽 쌍(700)은 좌측 카메라(710L)와 우측 카메라(710R)로 각각 지칭되는 2개의 카메라들을 포함할 수 있다. 좌측 카메라(710L) 및 우측 카메라(710R)는 사람의 좌안 및 우안에 각각 대응하는 이미지들을 획득(또는, 캡쳐)할 수 있다.
일 실시 예에 따르면, 스테레오스코픽 쌍(700)의 좌측 카메라(710L)와 우측 카메라(710R) 각각은 가리키는 방향 또는 각도에 해당하는 오리엔테이션(orientation)(711)(또는, 광축)을 가질 수 있다. 일 실시 예에서, 오리엔테이션(711)은 카메라(710)의 FOV의 중앙을 향하는 라인(Line)에 의하여 표현될 수 있다. 일 실시 예에서, 카메라(710)의 오리엔테이션(711)은 카메라(710)의 대략 세로축을 향할 수 있고, 카메라 렌즈 어셈블리 또는 이미지 센서의 표면에 대략적으로 직교하는 방향을 향할 수 있다. 또는, 오리엔테이션(711)은 카메라 렌즈의 광축(또는 중심축)과 동일할 수 있다. 예를 들어, 스테레오스코픽 쌍(700)의 카메라들(710L 및 710R) 사이의 라인에 해당하는 축(712)에 대략적으로 직교하는 방향을 향할 수 있다. 도 7을 참조하면, 좌측 카메라(710L)의 오리엔테이션(711L) 및 우측 카메라(710R)의 오리엔테이션(711R)은 각각 축(712)에 대략 직교하고, 오리엔테이션들(711L 및 711R)은 각각 카메라들(710L 및 710R)의 FOVH의 광축을 의미할 수 있다. 오리엔테이션들(711L 및 711R)은 서로 수평을 이룰 수 있다. 다시 말하면, 오리엔테이션들(711L 및 711R)의 FOVH가 실질적으로 동일 면을 이룰 수 있다. 오리엔테이션들(711L 및 711R)은 서로 실질적으로 평행할 수 있다. 다시 말하면, 좌측 카메라(710L) 및 우측 카메라(710R)는 동일한 방향을 가리키는 카메라들에 해당할 수 있고, 이러한 카메라들(710L 및 710R)는 동일한 오리엔테이션을 가지는 것으로 정의될 수 있다.
다양한 실시 예에 따르면, 좌측 카메라(710L) 및 우측 카메라(710R)는 상호 평행하지 않은(0이 아닌(non-zero)) 특정 각도의 사이각을 가지는 오리엔테이션들을 가질 수 있다. 예를 들어, 동일한 오리엔테이션을 가지는 좌측 카메라(710L) 및 우측 카메라(710R)는 서로, ±0.1°, ±0.5°, ±1°, ±3° 또는 임의의 적절한 각도 값을 가지고, 서로를 향하거나 서로로부터 멀어지는 방향을 가지는 오리엔테이션들(711L 및 711R)을 가질 수 있다. 이하 본 개시의 실시 예에서는 서로 동일한 방향을 가리키는 오리엔테이션들을 가지는 특정 스테레오스코픽 쌍을 상정하여 설명하나, 본 개시의 전자 장치(예: 400)는 임의의 적절한 오리엔테이션들을 가지는 임의의 스테레오스코픽 쌍들을 포함할 수 있다.
다양한 실시 예에 따르면, 한 쌍의 스테레오스코픽 쌍(700)은 좌측 카메라(710L) 및 우측 카메라(710R) 서로 간의 일정 간격 이격된 거리를 가질 수 있다. 상기 거리는 카메라 서로간 간격(ICS; inter-camera spacing)로 지칭될 수 있다. 여기서 ICS는 좌/우측 카메라(710L 및 710R)의 대응하는 2개의 포인트들 또는 카메라들이 가지는 사양(specification)에 의하여 측정될 수 있다. 예를 들어, 2개의 카메라(710)들의 중간점 사이의 거리, 2개의 카메라(710)들의 세로축들 간의 거리, 또는 2개의 카메라(710)들의 오리엔테이션(711)들 간의 거리에 대응할 수 있다. 일 실시 예에 따르면, 스테레오스코픽 쌍(700)의 카메라들(710L 및 710R)는, 카메라들(710L) 및(710R)을 연결하는 라인에 해당하고 오리엔테이션들(711L 및 711R)에 대략적으로 수직하는 축(712)을 따라, ICS거리만큼 이격될 수 있다.
일 실시 예에 따르면, ICS는 사람의 양 동공들 간의 근사적 평균 거리, 또는 동공간 거리(inter-pupillary distance: IPD)에 대응할 수 있다. 스테레오스코픽 쌍(700)은 6cm 내지 11cm의 ICS를 가질 수 있다. 인간의 근사적 평균 IPD가 약 6.5cm 를 가짐에 대응하여, 다양한 실시 예에 따르는 스테레오스코픽 쌍(700)은 6cm 내지 7cm 의 ICS를 가지는 것으로 상정될 수 있다. 다만 실시 예가 이에 한정되는 것은 아니며, 평균 IP보다 더 크거나 작은 ICS를 가질 수 있다. 이러한 더 큰 ICS 값을 가지는 스테레오스코픽 쌍을 이용하여 촬영한 영상은 재생될 때 향상된 3D 특성을 가지는 영상을 시청자에게 제공할 수 있다. 일 실시 예에 따르면, 스테레오스코픽 쌍은 전체 촬영 장치의 크기, 또는 카메라 렌즈의 시야(FOV) 등의 요소(factor)에 따라 설계되는 임의의 적절한 길이의 ICS를 가질 수 있다.
도 8은 다양한 실시 예에 따르는 카메라 시스템의 예시적인 카메라 배치에 대한 평면도 일부를 도시한다. 도 8을 참조하면, 카메라 시스템(800)은 좌측 카메라(811-Ln) 및 우측 카메라(811-Rn)에 의해 구성되는 복수의 제n 카메라 쌍(810)(또는, 스테레오스코픽 쌍)들을 포함할 수 있다. 예를 들어, 제1 좌측 카메라(811-L1) 및 제1 우측 카메라(811-R1)는 제1 카메라 쌍(810-1)을 구성하고, 제2 좌측 카메라(811-L2) 및 제2 우측 카메라(811-R2)는 제2 카메라 쌍(810-2)을 구성할 수 있다. 일 실시 예에 따르면, 카메라 시스템 800은 또는, 제n 카메라 쌍(810-n)과 같은 추가적인 카메라 쌍들을 더 포함할 수 있다.
다양한 실시 예에 따르면, 카메라(811)들 각각은, 수평면, 또는 동일 면에 위치될 수 있다. 예를 들어, 카메라 시스템(800)의 카메라(811)들은 일직선, 곡선, 타원(또는 타원의 일부), 원(또는 원의 일부), 또는 임의의 적절한 형태(또는 형태의 일부)의 테두리(또는 엣지)를 따라 배열 될 수 있다. 일 실시 예에 따르면 카메라 시스템(800)의 카메라(811)들은 특정 형상을 가지는 인쇄회로기판(예: 도 5의 530)의 테두리 또는 주변을 따라 일정한 규칙으로 배치될 수 있다. 도 8을 참조하면, 일 실시 예에서, 원형(파선)을 따라 배열된 카메라(811)들을 갖는 카메라 시스템(800)은 360도의 파노라마 뷰(또는 원통형 사이드 뷰(cylindrical side view))에 걸쳐 이미지들을 촬영하도록 구성될 수 있다. 예를 들어, 카메라(811)들은 카메라 시스템(800)(또는, 전자 장치)의 측면을 향하도록 정향될 수 있다. 카메라 시스템(800)의 카메라(811)들 각각은 동일 면에 위치될 수 있고, 카메라(811)들 각각은 동일 면을 따라 정향된 FOVH 및 수평면에 수직하도록 정향된 FOVV를 가질 수 있다. 다시 말하면, 카메라 시스템(800)의 카메라(811)들 각각은 동일 면에 위치될 수 있고, 카메라(811)들 각각의 오리엔테이션(812) 또는 그 동일 면에 위치될 수 있다. 카메라(811)들은 카메라들(811)이 배치된 인쇄회로기판의 배치 면(예: 도 5의 531)과 실질적으로 평행을 이루도록 배치될 수 있다. 예를 들어, 제1 좌측 카메라(811-L1) 및 제1 우측 카메라(811-R2), 제2 좌측 카메라(811-L2), 제2 우측 카메라(811-R2), 제n 좌측 카메라(811-Ln), 및 제n 우측 카메라(811-Rn)를 포함하는 카메라(811)들은 동일 면에서 원형(파선)을 따라 위치될 수 있고, 카메라(811)들 각각의 오리엔테이션들 또는 그 동일 면에 위치될 수 있다. 즉, 각각의 카메라(811)들의 오리엔테이션(812)은 동일 면의 수평 방향을 가리킬 수 있다.
일 실시 예에 따르면, 카메라 시스템(800)은 서로 교차 배치된(interleaved) 복수의 카메라 쌍(810)들을 포함할 수 있다. 예를 들어, 제 1 카메라 쌍(810-1) 중 하나의 카메라가 인접한 제 2 카메라 쌍(810-2)의 카메라들 사이에 위치될 수 있다. 다른 예를 들어, 제2 카메라 쌍(810-2) 중 하나의 카메라 또는 제 1 카메라 쌍(810-1)의 카메라들 사이에 위치될 수 있다. 일 실시 예에서, 인접하거나 접해있는 카메라 쌍은 서로 나란히 위치된 카메라 쌍을 가리킬 수 있고, 또는 카메라 쌍의 하나의 카메라가 다른 카메라 쌍의 두 카메라들 사이에 위치되도록 배치된 카메라 쌍을 가리킬 수 있다. 다시 말하면, 카메라 쌍(810-2) 은 카메라 쌍(810-1) 사이에 개재되고(interleaved), 그 반대도 마찬가지일 수 있다. 예를 들어, 카메라 쌍들이 교차 배치됨에 따라, 제2 우측 카메라(811-R2)는 제1 카메라들(811-L1 및 811-R1) 사이에 위치되고, 제1 좌측 카메라(811-L1)는 제2 카메라들(811-L2 및 811-R2) 사이에 위치될 수 있다.
다양한 실시 예에 따르면 각각의 카메라 쌍(810)의 카메라(811)들은 균일하게 배열될 수 있으며, 그에 따라 서로 인접한 카메라 쌍(810)들은 서로에 대하여 θ각도로 정향 될 수 있다. 일 실시 예에 따르면, θ각도는 서로 인접한 카메라 쌍(810)들 각각의 오리엔테이션의 차이 또는 각도 간격(angular spacing)에 대응할 수 있다. 제1 좌측 카메라(811-L1)가 포함된 제1 카메라 쌍(810-1)과, 제n 우측 카메라(811-n)가 포함된 제2 카메라 쌍(810-n)은 θ각도의 차이를 가지도록 위치될 수 있다. 일 실시 예에 따르면, 인접한 카메라 쌍(Ln-Rn)들 간의 θ각도는 카메라 시스템(800)의 인접한 카메라 쌍(810)에 대해 대략 동일할 수 있다. 예를 들어, 카메라 시스템(800)의 인접한 카메라 쌍(810)각각은 서로에 대해 26°, 30°, 36°, 45°, 60°, 90° 또는 임의의 적절한 각도로 정향될 수 있다. 일 실시 예에 따르면, m개의 균일한 간격으로 원을 따라 배열된 카메라 쌍(810)들을 가지는 카메라 시스템(800)에서, 각각의 인접한 카메라 쌍 간의 θ각도는, θ≒360도/m으로 표현될 수 있다. 예를 들어, m=8로서, 균일한 간격으로 원형을 따라 배치된 8개의 카메라 쌍을 포함한 카메라 시스템에서 θ각도는 대략 360도/8=45°일 수 있다. 다른 예를 들면, m=12로서, 균일한 간격으로 원형을 따라 배치된 12개의 카메라 쌍을 포함한 카메라 시스템에서 θ각도는 대략 360도/12=30°일 수 있다.
도 9는 다양한 실시 예에 따르는 카메라 시스템에 대한 측면도이다. 일 실시 예에 따르면 카메라 시스템(900)은, 카메라 시스템(900)의 테두리(edge) 또는 주변(periphery)을 따라 배열된 측면 카메라들(side cameras)(910) 및 카메라 시스템(900)의 위 방향으로 정향된 탑 카메라(top camera)(910T)를 포함할 수 있다. 측면 카메라(910)는 원통형 사이드 뷰(cylindrical side view)를 촬영할 수 있고, 탑 카메라(910T)는 원통형 사이드 뷰 상의 지붕(roof)을 형성하는 탑 뷰(top view)를 촬영할 수 있다. 원통형 사이드 뷰와 탑 뷰는 서로 결합하여 사용자에게 2D 및/또는 3D 의 '전방향 이미지(omnidirectional image)' 또는 '360도 전체 뷰(full 360도 view)'를 제공할 있다. 다른 실시 예에 따르면 카메라 시스템(900)은 아래 방향으로 정향된 바닥 카메라(bottom camera)(미도시)를 더 포함할 수 있다. 또 다른 실시 예에 따르면, 카메라 시스템(900)은 적어도 두 개 이상의 탑 카메라(910T)들(예를 들어, 스테레오스코픽 쌍을 구성할 수 있는 좌측 탑 카메라, 및 우측 탑 카메라)을 더 포함할 수 있다. 또 다른 실시 예 따르면, 카메라 시스템(900)은 탑 카메라(910T) 및/또는 바닥 카메라가 없이 180도이상의 FOVV를 가지는 측면 카메라(910)들로 구성되고, 그에 따라, 측면 카메라(910)들 만을 이용하여 360도 전체 뷰를 촬영할 수 있다.
도 9를 참조하면, 카메라 시스템(900)은 카메라 시스템(900)의 주변을 따라 배열된 측면 카메라(910)들 및 중심부에 위치된 탑 카메라(910T)를 포함할 수 있다. 측면 카메라(910)들 및 탑 카메라(910T) 각각은 도 6에서 설명된 카메라(600)와 적어도 일부 동일하거나 유사할 수 있다. 측면 카메라(910)들은 도 8에서 설명된 카메라들(예: 811)과 동일 또는 유사할 수 있으며 앞서 설명한 바와 같이 동일 면에 스테레오스코픽 쌍을 구성하도록 배치될 수 있다. 일 실시 예에 따르면, 탑 카메라(910T)는 측면 카메라(910)들과 대략 직교하도록 배치될 수 있다. 측면 카메라(910)들의 오리엔테이션(911)들은 측면 카메라(910)들의 배치된 수평면과 평행할 수 있다. 탑 카메라(910T)의 오리엔테이션(911T)은 측면 카메라(910)들의 오리엔테이션(911)과 대략 직교할 수 있다. 다만 실시 예가 이에 한정되는 것은 아니며, 다양한 실시 예에 따르는 카메라 시스템(900)은 임의의 적절한 측면 카메라(910)들의 배열 및 임의의 적절한 탑 카메라(910T)의 구성 및 배열을 가질 수 있다.
일 실시 예에 따르면, 탑 카메라(910T)는 하나 이상의 측면 카메라(910)들의 수직적 시야(FOVV)와 적어도 일부 중첩(partially overlap) 또는 공유하는 시야(FOVT)를 가질 수 있다. 일 실시 예에 따르면, 탑 카메라(910T)는, 탑 카메라(910T)가 촬영한 이미지(예: 탑 뷰)의 테두리 부분과, 측면 카메라(910)들이 촬영한 이미지(예: 원통형 사이드 뷰)의 상부 사이의 탑 오버랩(top overlap)(921)을 가질 수 있다. 탑 오버랩(921)은, 측면 카메라(910)들의 FOVV 및/또는 탑 카메라(910T)의 FOVH의 FOVT의 10% 내지 30%를 오버랩 할 수 있다. 일 실시 예에 따르면, 탑 카메라(910T)는 상대적으로 측면 카메라(910)들 보다 큰 FOV를 가질 수 있다. 예를 들어, 탑 카메라(910T)의 FOVT는 140° 내지 185°를 가질 수 있다.
도 10은 다양한 실시 예에 따르는 카메라 시스템이 촬영한 중첩된 이미지들(overlapped images)의 예시적인 셋을 도시한다.
도 10의 실시 예에서, 카메라 시스템(1000)은, 그 각각이 스테레오스코픽 쌍을 구성하는, 복수의 좌측 카메라(1011)들, 복수의 우측 카메라(1012)들, 및 적어도 하나의 탑 카메라(1013)를 포함할 수 있다. 측면 카메라들(1011 및 1012)은, 도 에서 설명된 카메라들(예: 811)과 동일 또는 유사할 수 있으며 동일 면에 배치될 수 있다. 탑 카메라(1013)는, 도 9에서 설명된 탑 카메라(예: 910T)와 동일 또는 유사할 수 있으며, 측면 카메라들(1011 및 1012) 직교하여 정향 되도록 배치될 수 있다. 다만 실시 예가 이에 한정되는 것은 아니며 다양한 실시 예에 따르는 카메라 시스템(1000)은 임의의 적절한 측면 카메라들 및 탑 카메라의 구성 및 배열을 가질 수 있다.
도 10을 참조하면, 다양한 실시 예에 따르는 카메라 시스템(1000)은 8개의 스테레오스코픽 쌍을 가질 수 있으며, 그에 따라, 8개의 좌측 카메라(1011) 및 8개의 우측 카메라(1012)를 포함할 수 있다. 좌측 카메라 이미지들(IL)은 좌측 카메라(1011)들로부터 촬영 또는 획득될 수 있다 우측 카메라들(1012)은 우측 카메라(1012)들로부터 촬영 또는 획득될 수 있다. 탑 이미지(IT)는 탑 카메라(1013)으로부터 촬영 또는 획득될 수 있다. 일 실시 예에 따르면, 카메라 시스템(1000)은 좌측 카메라 이미지들(IL) 및 탑 이미지(ITop)를 결합하여 2D의 전방향 이미지(또는 2D 360도 전체 뷰)를 제공할 수 있다. 다른 실시 예에서 따르면, 카메라 시스템(1000)은 우측 카메라 이미지들(IR) 및 탑 이미지(ITop)를 결합하여 2D의 전방향 이미지를 제공할 수 있다. 또 다른 실시 예에 따르면, 좌측 카메라 이미지들(IL)은 사람의 좌안에 해당하는 이미지들이며, 우측 카메라 이미지들(IR)은 사람의 우안에 해당하는 이미지들일 수 있으며, 그에 따라 카메라 시스템(1000)은, 좌측 카메라 이미지들(IL), 우측 카메라 이미지들(IR), 및 탑 이미지(IT)를 이용하여, 3D의 전방향 이미지(또는 3D 360도 전체 뷰)를 제공할 수 있다. 카메라 시스템(1000)은, 2D의 전방향 이미지를 제공하기 위해서, 좌측 카메라 이미지들(IL)과 우측 카메라 이미지들(IR) 중 어느 하나 만이 사용 할 수 있다.
일 실시 예에 따르면, 카메라 시스템(1000)이 포함하는 좌측 카메라(1011)들 및 우측 카메라(1012)들은, 전술한 바와 같이, 짝을 지어 교차 배치되는 방식으로 배치될 수 있고, 그에 따라 각각의 카메라들로부터 촬영된 이미지들이 서로 부분적으로 중첩되어 좌측 카메라 이미지들(IL) 및 우측 카메라 이미지들(IR)을 생성할 수 있다.
일 실시 예에 따르면, 좌측 카메라 이미지들(IL)은 제1 좌측 카메라 이미지(IL-1) 내지 제8 좌측 카메라 이미지(IL-8)를 포함할 수 있다. 중첩 영역(overlapped area)(1020-Ln)들은 이웃한 좌측 카메라(1011)들의 이미지들(IL)의 중첩 또는 공유하는 부분들에 해당할 수 있다. 예를 들어, 제1 중첩 영역(1021-L1)은 제1 좌측 카메라 이미지(IL-1)와 제2 좌측 카메라 이미지(IL-2)의 서로 중첩된 영역일 수 있으며, 제8 중첩 영역(1021-L8)은 제1 좌측 카메라 이미지(IL-1)와 제8 좌측 카메라 이미지(IL-8)의 서로 중첩된 영역일 수 있다. 마찬가지로, 우측 카메라 이미지들(IR)은 제1 우측 카메라 이미지(IL-1) 내지 제8 우측 카메라 이미지(IL-8)를 포함할 수 있다. 중첩 영역(overlapped area)(1020-Rn)들은 이웃한 우측 카메라(1011)들의 이미지들(IR)의 중첩 또는 공유하는 부분들에 해당할 수 있다. 탑 이미지(ITop)의 중첩 영역(1020-T)은, 측면 카메라 이미지들, 예를 들어, 좌측 카메라 이미지들(IL) 및/또는 우측 카메라 이미지들(IR)의 상부와 부분적으로 중첩할 수 있다. 중첩 영역(1021-T)은 탑 이미지(ITop)의 테두리 영역에 해당될 수 있다. 일 실시 예에 따르면, 적어도 하나 이상의 측면 카메라들(1011 및 1012)로부터 획득된 이미지들과 탑 이미지(ITop)를 스티칭(stitching) 하기 위해 중첩 영역(1020-T)이 이용될 수 있다.
도 11a 및 도 11b는 다양한 실시 예에 따른 인쇄회로기판의 일 예를 나타내는 평면도이다. 도 11a 및 11b를 참조하면, 카메라 시스템(1100)은, 인쇄회로기판(1110) 및, 인쇄회로기판(1110)의 테두리 또는 주변을 따라 균일하게 배치된 복수의 카메라들(1110)을 포함할 수 있다. 도 11a 및 도 11b의 인쇄회로기판(1110)은 도 5에서 설명된 인쇄회로기판(530)과 적어도 일부 동일 또는 유사할 수 있으며, 복수의 카메라들(1120)이 구성하는 카메라 시스템(1100)은 도 8 내지 도 10에서 설명된 카메라 시스템(800, 900, 1000)과 적어도 일부 동일하거나 유사할 수 있다.
도 11a 및 도 11b를 참조하면, 일 실시 예에 따르는 제1 카메라(1120-1) 내지 제16 카메라(1120-16)는 인쇄회로기판(1100)의 둘레를 따라 시계 방향으로 순서대로 배치될 수 있다. 제1 카메라(1120-1) 내지 제16 카메라(1120-16)는 인쇄회로기판(1100)의 동일 면에 배치될 수 있다. 제1 카메라(1120-1) 내지 제16 카메라(1120-16) 각각의 오리엔테이션(예:수평 시야각(FOVH))은 인쇄회로기판(1100)의 배치 면(예: 도 5의 제1면(531))과 평행을 이룰 수 있다. 제1 카메라(1120-1) 내지 제16 카메라(1120-16) 각각은 8개의 스테레오스코픽 쌍을 이루도록 구성될 수 있다. 예를 들어, 제1 카메라(1120-1) 및 제4 카메라(1120-4)는, 제1 스테레오스코픽 쌍(1130)을 구성할 수 있다. 그에 따라, 제1 카메라(1120-1)는 제1 좌측 카메라로 지칭될 수 있고, 제4 카메라(1120-4)는 제1 우측 카메라로 지칭될 수 있다. 따라서, 도 8의 실시 예에서, 복수의 카메라들(1110)(즉, 제1 카메라(1120-1) 내지 제16 카메라(1120-16))는 8개의 스테레오스코픽 쌍을 구성하는 8개의 좌측 카메라 셋과 8개의 우측 카메라 셋으로 구성될 수 있다. 예를 들어, 좌측 카메라 셋은 제1 카메라(1120-1), 제3 카메라(1120-3), 제5 카메라(1120-5), 제7 카메라(1120-7), 제9 카메라(1120-9), 제11 카메라(1120-11), 제13 카메라(1120-13), 및 제15 카메라(1120-15)를 포함할 수 있다. 또한, 우측 카메라 셋은, 제2 카메라(1120-2), 제4 카메라(1120-4), 제6 카메라(1120-6), 제8 카메라(1120-8), 제10 카메라(1120-10), 제12 카메라(1120-12), 제14 카메라(1120-14), 및 제16 카메라(1116-16)를 포함할 수 있다. 일 실시 예에 따르면 8개의 좌측 카메라 셋 및 우측 카메라 셋 각각은 서로 교차 배열될 수 있다. 예를 들어, 제1 좌측 카메라에 해당하는 제1 카메라(1120-1)는 제1 우측 카메라에 해당하는 제2 카메라(1120-2) 및 제8 우측 카메라에 해당하는 제16 카메라(1120-16)의 사이에서, 제2 카메라(1120-2) 및 제16 카메라(1120-16)와 인접하여 배치될 수 있다.
일 실시 예에 따르면, 인쇄회로기판(1110)은, 복수의 카메라들(1120)이 인쇄회로기판(1110)의 최외각(1111)(또는 하우징(예: 도 4의 410))보다 돌출되지 않는 형상을 가질 수 있다. 예를 들어, 인쇄회로기판(1110)은 테두리(periphery)를 따라 형성된 적어도 하나의 돌출부(1113)를 포함할 수 있다. 복수의 카메라들(1120)은, 광학 장치로서 외부 충격에 민감한 장치로서, 외부 충격에 의한, 오동작이나 복수의 카메라들(1120)은 카메라 시스템(1100)(또는 전자 장치)에 대한 외부 충격에 의한 오류가 발생하거나, 렌즈에 대한 긁힘 등에 의한 촬영된 이미지의 질적 저하가 야기될 수 있다. 따라서(Accordingly), 인쇄회로기판(1110)이, 복수의 카메라들(1120)이 최외각(1111) 보다 돌출되지 않고, 최외각(1111) 안에 배치되는 구성 또는 배열을 가지는 형상을 가짐으로써, 복수의 카메라들(1120)을 외부 충격으로부터 보호할 수 있다.
도 11a를 참조하여, 본 개시의 다양한 실시 예에 따르는 카메라 시스템(1100)을 일 측면(aspect)에서 설명하기로 한다. 일 실시 예에 따르면, 복수의 카메라들(1110)은, 복수의 프로세서들(1140, 1150)에 각각 나누어 동작적으로 및 전기적으로(operatively and electronically) 연결될 수 있다. 복수의 프로세서들(1140, 1150) 각각은 연결된 카메라(또는, 이미지 센서)로부터 획득한 전기적 밝기 신호를 디지털 이미지로 인코딩(encoding)(또는, 이미지 프로세싱)할 수 있다. 따라서 복수의 프로세서들(1140, 1150) 각각은 이미지 프로세서로 지칭될 수 있다. 일 실시 예에 따르면, 복수의 프로세서들(1140, 1150) 각각은 FPGA(field programmable gate array)를 포함하고, 이를 통해 복수의 카메라들(1110) 각각과 동작적으로 및 전기적으로 연결될 수 있다.
예를 들어, 좌측 카메라 셋은 좌측 프로세서(1140)에 연결될 있다. 예를 들어, 제1 카메라(1120-1), 제3 카메라(1120-3), 제5 카메라(1120-5), 제7 카메라(1120-7), 제9 카메라(1120-9), 제11 카메라(1120-11), 제13 카메라(1120-13), 및 제15 카메라(1120-15)는 좌측 프로세서(1140)에 연결될 수 있다.
예를 들어, 우측 카메라 셋은 우측 프로세서(1150)에 연결될 수 있다. 예를 들어, 제2 카메라(1120-2), 제4 카메라(1120-4), 제6 카메라(1120-6), 제8 카메라(1120-8), 제10 카메라(1120-10), 제12 카메라(1120-12), 제14 카메라(1120-14), 및 제16 카메라(1116-16)는 우측 프로세서(1150)에 연결될 수 있다.
복수의 카메라들(1120)과 프로세서들(1140, 1150) 사이의 복수의 전기적 연결은 인쇄회로기판(1110)에 형성된 복수의 도전성 패턴들에 의할 수 있다. 일 실시 예에 따르면 인쇄회로기판(1110)은, 복수의 도전성 패턴들 간의 간섭을 방지하기 위하여, 다층 인쇄회로기판(multilayer printed circuit board)으로 구현될 수 있다. 다른 실시 예에 따르면 복수의 전기적 연결은, 인쇄회로기판(1110)에 형성된 도전성 패턴, 가요성 인쇄회로기판(flexible printed circuit board, FPCB), 및 와이어링 중 적어도 하나 또는 둘 이상의 조합으로도 구성될 수 있다.
앞서 설명한 실시 예에서, 좌측 카메라 셋과 좌측 프로세서(1140)와의 전기적 연결, 및 우측 카메라 셋과 우측 프로세서(1150)와의 전기적 연결은 제1 구성(configuration)으로 정의될 수 있다. 제1 구성에 의하여, 좌측 프로세서(1140)는 좌측 카메라 셋으로부터 획득한 이미지들에 기반한 좌측 카메라 이미지들(예: 도 10의 IL)을 제공할 수 있으며, 우측 프로세서(1150)는 우측 카메라 셋으로부터 획득한 이미지들에 기반한 우측 카메라 이미지들(예: 도 10의 IR)을 제공할 수 있다. 예를 들어, 카메라 시스템(1100)은, 좌측 프로세서(1140)에 대한 제어 및/또는 전력 공급을 통하여, 좌측 카메라 이미지들에 기반한 2D 전방향 이미지를 제공할 수 있다. 다른 예를 들어, 카메라 시스템(1100)은, 우측 프로세서(1150)에 대한 제어 및/또는 전력 공급을 통하여, 우측 카메라 이미지들에 기반한 2D 전방향 이미지를 제공할 수 있다. 또 다른 예를 들어, 카메라 시스템(1100)은, 좌측 프로세서(1140) 및 우측 프로세서(1150)의 제어 및/또는 전력 공급을 통하여, 좌/우측 카메라 이미지들에 기반한 3D 전방향 이미지를 제공할 수 있다. 따라서(Accordingly), 본 개시의 다양한 실시 예에 따르는, 카메라 시스템(1100)은 좌측 프로세서(1140) 및 우측 프로세서(1150) 중 어느 하나에 대한 제어 및/또는 전력 공급을 통하여, 2D 전방향 이미지를 제공할 수 있다.
본 개시의 다양한 실시 예에 따르는 프로세서들(예: 1140 및 1150)은 복수의 프로세서로 구성될 수 있다. 예를 들어, 좌측 프로세서(1140)는, 제1 좌측 프로세서(1141) 및 제2 좌측 프로세서(1142)로 구성될 수 있으며, 우측 프로세서(1150)는, 제1 우측 프로세서(1151) 및 제2 우측 프로세서(1152)로 구성될 수 있다. 일 실시 예에 따르면 복수의 프로세서들(1141, 1142, 1151, 1152) 각각은 FPGA를 더 포함할 수 있다. 일 실시 예에 따르면, 제1 카메라(1120-1), 제3 카메라(1120-3), 제5 카메라(1120-5), 및 제7 카메라(1120-7)는 제1 좌측 프로세서(1141)에 전기적으로 연결될 수 있다. 제9 카메라(1120-9), 제11 카메라(1120-11), 제13 카메라(1120-13), 및 제15 카메라(1120-15)는 제2 우측 프로세서(1142)에 전기적으로 연결될 수 있다. 또한, 제2 카메라(1120-2), 제4 카메라(1120-4), 제6 카메라(1120-6), 및 제8 카메라(1120-8)는 제1 우측 프로세서(1151)에 전기적으로 연결될 수 있다. 제10 카메라(1120-10), 제12 카메라(1120-12), 제14 카메라(1120-14), 및 제16 카메라(1116-16)는 제2 우측 프로세서(1152)에 전기적으로 연결될 수 있다. 복수의 카메라들(1120)과 프로세서들(1141, 1142, 1151, 1152) 사이의 복수의 전기적 연결은 인쇄회로기판(1110)에 형성된 복수의 인터페이스(또는 신호라인, 도전성 패턴)들에 의할 수 있다. 예를 들어, 제1 좌측 프로세서(1141)는 제1 인터페이스들(1112-1)에 의해 복수의 카메라들(예: 1120-1, 1120-3, 1120-5, 1120-7)과 연결될 수 있다. 예를 들어, 제2 좌측 프로세서(1142)는 제2 인터페이스들(1112-2)에 의해 복수의 카메라들(예: 1120-9, 1120-11, 1120-13, 1120-15)과 연결될 수 있다. 예를 들어, 제1 우측 프로세서(1151)는 제3 인터페이스들(1112-3)에 의해 복수의 카메라들(예: 1120-2, 1120-4, 1120-6, 1120-8)과 연결될 수 있다. 예를 들어, 제2 우측 프로세서(1152)는 제4 인터페이스들(1112-4)에 의해 복수의 카메라들(예: 1120-10, 1120-12, 1120-14, 1120-16)과 연결될 수 있다.
일 실시 예에 따르면 인쇄회로기판(1110)은, 복수의 인터페이스들 간의 간섭을 방지하기 위하여, 다층 인쇄회로기판(multilayer printed circuit board)으로 구현될 수 있다. 다른 실시 예에 따르면 카메라와 프로세서간의 전기적 연결은, 인쇄회로기판(1110)에 형성된 도전성 패턴, 가요성 인쇄회로기판(flexible printed circuit board, FPCB), 및 와이어링 중 적어도 하나 또는 둘 이상의 조합으로도 구성될 수 있다.
앞서 설명한 실시 예에서, 좌측 카메라 셋과 제1, 2 좌측 프로세서들(1141, 1142)와의 전기적 연결, 및 우측 카메라 셋과 제1, 2 우측 프로세서들(1151, 1152)와의 전기적 연결은 제2 구성(configuration)으로 정의될 수 있다. 제2 구성에 의하여, 카메라 시스템(1100)은, 좌, 우측 프로세서들(1141, 1142, 1151, 1152)의 중 적어도 하나 또는 둘 이상이 조합에 대한 제어 및/또는 전력 공급을 통하여, 좌측 카메라 이미지 및/또는 우측 카메라 이미지들에 기반한 2D 또는 3D의 전방향 이미지를 제공할 수 있다. 더하여, 카메라 시스템(1100)은 좌, 우측 프로세서들(1141, 1142, 1151, 1152) 중 하나에 대한 제어 및/또는 전력 공급을 통하여 2D 파노라마 이미지를 제공할 수 있다.
앞서 설명한 제1 구성 및 제2 구성에 따르면, 복수의 카메라들(1120) 각각은 인쇄회로기판(1110) 상에서 인접하게 배치된 프로세서가 아닌 기능적으로 관련된 프로세서에 전기적으로 연결되도록 구성될 수 있다. 예를 들어, 인쇄회로기판(1110)을 사분면(quadrant)으로 나눈다고 가정하였을 때, 제2 사분면(Q2)에 포함된 제1 카메라(1120-1), 제2 카메라(1120-2), 제15 카메라(1120-15), 및 제16 카메라(1120-16)는 가장 인접한 제1 좌측 프로세서(1141)에 연결되지 않고, 각각 다른 프로세서에 연결될 수 있다. 즉, 인쇄회로기판(1110)은, 인터페이스들의 복잡성(complexity), 및 그에 따른 설계/공정 상의 어려움에도 불구하고, 카메라들(1120)들 각각이 기능적으로 관련된 프로세서에 전기적으로 연결될 수 있는 인터페이스들을 포함할 수 있다.
따라서(Accordingly), 본 개시의 다양한 실시 예에 따르는 카메라 시스템(1100)은, 획득하고자 하는 이미지의 종류(예: 2D 파노라마 뷰, 2D 또는 3D의 전방향 이미지 등)에 따라, 관련된 프로세서(예: 1141, 1142, 1151, 또는 1152)에 대한 제어 만이 필요로 할 수 있다. 즉, 본 개시의 다양한 실시 예에 따르는 복수의 카메라들(1120)과 프로세서들(1140, 1150) 간의 연결구성(예: 제1 구성, 제2 구성)을 포함하는 카메라 시스템(1100)은 영상 처리를 위한 연산, 전력 관리의 측면에서 효율적인 운영이 가능할 수 있다.
다만 실시 예가 상술한 바에 한정되는 것은 아니며, 복수의 카메라들(1120)과 프로세서들 간의 연결은, 복수의 카메라들(1120)의 개수, 복수의 카메라들(1120)로부터 획득되는 이미지들의 종류, 및 프로세서들의 개수, 프로세서의 배치 등, 다양한 설계 요소에 의해 재구성 될 수 있다.
이하, 도 11b를 참조하여 본 개시의 다양한 실시 예에 따르는 카메라 시스템(1100)을 다른 측면(another aspect)에서 설명하기로 한다. 일 실시 예에 따르면, 인쇄회로기판(1110)은 둘레를 따라 일정 간격의 복수의 돌출부(1113)들을 포함할 수 있다. 복수의 카메라들(1120)은 돌출부(1113)들 사이의 영역에 서로 인접한 카메라 쌍을 가지도록 배열될 수 있다. 돌출부(1113)들 사이의 영역은 오목부(1114)로 정의될 수 있다. 예를 들어, 제1 카메라(1120-1) 및 제2 카메라(1120-2)는 제1 오목부(1114-1)에 배치될 수 있다. 제3 카메라(1120-3) 및 제4 카메라(1120-4)는 제1 오목부(1114-1)에 인접한 제2 오목부(1114-2)에 배치될 수 있다. 제5 카메라(1120-5) 및 제6 카메라(1120-6)는 제2 오목부(1114-2)에 인접한 제3 오목부(1114-2)에 배치될 수 있다.
제1 카메라(1120-1)와 제2 카메라(1120-2)는 광축(또는 오리엔테이션)이 상호 특정 각도(θ)의 간격으로 교차하도록 배치될 수 있다. 다시 말하면, 제1 카메라(1120-1) 및 제2 카메라(1120-2)는 실질적으로 대부분의 영역이 중첩되는 시야(FOV)를 다른 각도에서 촬영할 수 있다. 제1 카메라(1120-1)와 제4 카메라(1120-4)는 각각의 광축이 실질적으로 평행하도록 배치될 수 있다. 제1 카메라(1120-1)와 제4 카메라(1120-4)는 각각 좌안 및 우안에 해당하는 이미지를 획득하는 스테레오스코픽 쌍을 구성할 수 있다. 일 실시 예에 따르면 특정 각도(θ)가 45°인 경우, 제1 카메라(1120-1) 및 제5 카메라(1120-5)의 광축은 실질적으로 직교(90°)를 이룰 수 있다. 나머지 제6 카메라(1120-6) 내지 제16 카메라(1120-16)도 상술한 배치 관계에 따라 인쇄회로기판(1110)에 배치될 수 있다.
일 실시 예에 따르면, 카메라 시스템(1100)은 인쇄회로기판(1110)에 배치된 복수의 프로세서들(1141, 1142, 1151, 1152)을 포함할 수 있다. 복수의 프로세서들은 복수의 카메라들(1120)과 함께 인쇄회로기판(1110)의 일 면에 배치될 수 있다. 일 실시 예에 따르면, 제1 프로세서(1141)는 인쇄회로기판(1110)에서 제1 카메라(1120-1) 및 제2 카메라(1120-2)와 인접한 영역에 배치될 수 있다. 제2 프로세서(1151)는 인쇄회로기판(1110)에서 제3 카메라(1120-3) 및 제4 카메라(1120-4)와 인접한 영역에 배치될 수 있다.
일 실시 예에 따르면, 제1 카메라(1120-1)는 제1 프로세서(1141)에 전기적으로 연결되고 제4 카메라(1120-4)는 제2 프로세서(1151)에 전기적으로 연결될 수 있다. 제2 카메라(1120-2)는 인접한 제1 프로세서(1141)가 아닌 제2 프로세서(1151)에 전기적으로 연결될 수 있다. 또한, 제3 카메라(1120-3)는 인접한 제2 프로세서(1151)가 아닌 제1 프로세서(1141)에 전기적으로 연결될 수 있다. 제5 카메라(1120-5) 및 제7 카메라(1120-7)도 인접한 프로세서들(1151 또는 1152)이 아닌 제1 프로세서(1141)에 전기적으로 연결될 수 있다. 예를 들어, 제1 프로세서(1141)는 제1 지정된 인터페이스들(1112-1)에 의해 복수의 카메라들(예: 1120-1, 1120-3, 1120-5, 1120-7)과 연결될 수 있다. 제2 프로세서(1151)는 제2 지정된 인터페이스들(1112-3)에 의해 복수의 카메라들(예: 1120-2, 1120-4, 1120-6, 1120-8)과 연결될 수 있다. 제3 프로세서(1142)는 제3 지정된 인터페이스들(1112-2)에 의해 복수의 카메라들(예: 1120-9, 1120-11, 1120-13, 1120-15)과 연결될 수 있다. 제4 프로세서(1152)는 제4 지정된 인터페이스들(1112-4)에 의해 복수의 카메라들(예: 1120-10, 1120-12, 1120-14, 1120-16)과 연결될 수 있다.
따라서, 본 개시의 다양한 실시 예에 따르는 카메라 시스템(1100)은 제1 프로세서(1141)에 대한 제어만으로 2D의 파노라마 뷰(A-A')를 획득할 수 있다. 카메라 시스템(1100)은 제1 프로세서(1141) 및 제2 프로세서(1142)에 대한 제어만으로 3D의 파노라마 뷰(A-A')를 획득할 수 있다. 카메라 시스템(1100)은 제1 프로세서(1141) 및 제4 프로세서(1152)에 대한 제어만으로 2D의 전 방향 뷰를 획득할 수 있다. 카메라 시스템(1100)은 모든 프로세서들(1141, 1142, 1151, 1152)에 대한 제어로 3D의 전 방향 뷰를 획득할 수 있다. 즉, 복수의 카메라들(1120) 각각은 인쇄회로기판(1110) 상에서 인접하게 배치된 프로세서가 아닌 기능적으로 관련된 프로세서에 전기적으로 연결되도록 구성될 수 있다.
일 실시 예에 따르면 인쇄회로기판(1110)은, 복수의 인터페이스들 간의 간섭을 방지하기 위하여, 다층 인쇄회로기판(multilayer printed circuit board)으로 구현될 수 있다. 다른 실시 예에 따르면 카메라와 프로세서간의 전기적 연결은, 인쇄회로기판(1110)에 형성된 도전성 패턴, 가요성 인쇄회로기판(flexible printed circuit board, FPCB), 및 와이어링 중 적어도 하나 또는 둘 이상의 조합으로도 구성될 수 있다. 즉, 인쇄회로기판(1110)은, 인터페이스들의 복잡성(complexity), 및 그에 따른 설계/공정 상의 어려움에도 불구하고, 카메라들(1120)들 각각이 기능적으로 관련된 프로세서에 전기적으로 연결될 수 있는 인터페이스들을 포함할 수 있다.
도 12은 다양한 실시 예에 따른 인쇄회로기판의 다른 예를 나타내는 평면도이다. 도 12를 참조하면, 카메라 시스템(1200)은, 인쇄회로기판(1210), 인쇄회로기판(1210) 상에 실장된 프로세서(1220)를 포함할 수 있다. 도 12의 인쇄회로기판(1110)은 도 5에서 설명된 인쇄회로기판(530)과 적어도 일부 동일 또는 유사할 수 있다.
일 실시 예에 따르면, 카메라 시스템(1200)에 포함된 탑 카메라(1230)는 프로세서(1220)에 동작적으로 및 전기적으로 연결 될 수 있다. 프로세서(1220)는 연결된 탑 카메라(1230)로부터 획득한 전기적 밝기 신호를 디지털 이미지로 인코딩(또는, 이미지 프로세싱)할 수 있다. 따라서 프로세서(1220)는 이미지 프로세서로 지칭될 수 있다. 일 실시 예에 따르면, 프로세서(1220)는 FPGA(field programmable gate array)를 포함하고, 이를 통해 탑 카메라(1230)와 동작적으로 및 전기적으로 연결될 수 있다.
일 실시 예에 따르면, 프로세서(1220)는 카메라 시스템(1200)은 탑 카메라(1230)로부터 획득한 이미지의 처리뿐만 아니라, 메인 프로세서(예: 도 3의 310)로서 동작할 수 있다. 프로세서(1220)는 소프트웨어(예: 프로그램 또는 명령어 등)를 구동하여 프로세서(1220), 전자 장치(예: 도 3의 300)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 및 연산을 수행할 수 있다. 예를 들어, 프로세서(1220)는, 다른 프로세서들(예: 도 11의 1141, 1142, 1151, 1152)으로부터 다른 카메라들(예: 도 11의 1120)로부터 획득한 이미지 데이터를 수신 받고, 탑 카메라(1230)로부터 획득한 이미지 데이터를 결합할 수 있다. 즉, 프로세서(1220)는, 카메라 시스템(1200)이 획득하는 이미지 데이터를 총괄하여 운영할 수 있다. 다만, 실시 예가 이에 국한되는 것은 아니며, 프로세서(1220) 및 다른 프로세서들(예: 도 11의 1141, 1142, 1151, 1152)의 개수 및 연산 처리 방법은 임의의 적절한 구성으로 이뤄질 수 있다. 예를 들어, 프로세서(1220)가 다른 카메라들(예: 도 11의 1120)로 부터 직접 획득된 이미지 데이터를 수신받고, 탑 카메라(1230)로부터 획득한 이미지 데이터를 수신받아 통합하여 처리할 수 있다. 프로세서들의 구성에 대하여 구체적으로 후술하기로 한다.
일 실시 예에 따르면, 프로세서(1220)는 적어도 하나의 통신 인터페이스(예: 도 3의 340)를 포함할 수 있다. 프로세서(1220)는, 통신 인터페이스를 이용하여 다른 프로세서들(예: 도 11의 1141, 1142, 1151, 1152) 중 적어도 하나와, 이미지 데이터 수신을 위해, 연결될 수 있으며, 또는, 이미지 데이터 송신을 위해, 통신 인터페이스와 연결될 수 있다. 일 실시 예에 따르면 프로세서(1220)와 다른 프로세서들과의 연결은 인쇄회로기판(1210)에 형성된 비아 홀(via hole), 도전성 패턴, 와이어링, 및 케이블 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따르는 프로세서(1220)가 다른 프로세서들 및/또는 인터페이스들에 연결되는 구성은 후술하여 구체적으로 설명하기로 한다.
도 13a 내지 도 13c는 다양한 실시 예에 따르는 복수의 카메라들과 인쇄회로기판의 배치구조의 예들을 도시한다.
도 13a를 참조하면, 일 실시 예에 따르는 카메라 시스템(1300)은 양면 인쇄회로기판(double(both)-side printed circuit board)를 포함할 수 있다. 인쇄회로기판(1310)의 상면(1311)에는 탑 카메라(1320)(또는, 도 5의 541)와 연결된 프로세서가 실장 될 수 있다. 인쇄회로기판(1310)의 배면(1312)에는 복수의 측면 카메라들(1330)(또는, 도 5의 542)이 인쇄회로기판(1310)의 주변을 따라 배치될 수 있고, 복수의 측면 카메라들(1330)과 연결된 적어도 하나의 프로세서가 실장 될 수 있다. 여기에서, 인쇄회로기판(1310)의 상면(1311)은 도 12에 개시된 인쇄회로기판(1210)으로 구성될 수 있으며, 하 면(1312)은 도 11에 개시된 인쇄회로기판(1110)으로 구성될 수 있다. 따라서, 카메라 시스템(1300)은, 양면 인쇄회로기판을 포함함으로써, 카메라 시스템(1300)의 두께 감소(슬림화) 효과를 가질 수 있다.
도 13b를 참조하면, 일 실시 예에 따르는 카메라 시스템(1300)은 복수의 단면 인쇄회로기판(single(one)-side printed circuit board)를 포함할 수 있다. 예를 들어, 카메라 시스템(1300)은 제1 인쇄회로기판(1310) 및 제1 인쇄회로기판(1310)과 복층 구조(duplex)를 형성하는 제2 인쇄회로기판(1340)을 포함할 수 있다. 제2 인쇄회로기판(1340)에는, 탑 카메라(1320)와 연결된 프로세서가 실장 될 수 있다. 제1 인쇄회로기판(1310)에는, 복수의 측면 카메라들(1330)이 제2 인쇄회로기판(1310)의 주변을 따라 배치될 수 있고, 복수의 측면 카메라들(1330)과 연결된 적어도 하나의 프로세서가 실장 될 수 있다. 여기에서, 제2 인쇄회로기판(1340)은 도 12에 개시된 인쇄회로기판(1210)으로 구성될 수 있으며, 제1 인쇄회로기판(1310)은 도 11에 개시된 인쇄회로기판(1110)으로 구성될 수 있다.
도 13c를 참조하면, 일 실시 예에 따르는 카메라 시스템(1300)은 인쇄회로기판(1310) 및 인쇄회로기판(1310) 상에 배치되는 지지체(supporter)(1350)를 포함할 수 있다. 복수의 측면 카메라들(1330)은, 인쇄회로기판(1310)의 둘레를 따라 배치될 수 있으며, 탑 카메라(1320)는 인쇄회로기판(1310) 상의, 지지체(1350)에 배치될 수 있다. 지지체(1350)는 탑 카메라(1320)가 고정 결합할 수 있다. 지지체(1350)는 탑 카메라(1320)가 안정적으로 고정될 수 있도록 임의의 적절한 구조를 가질 수 있다. 인쇄회로기판(1310)은 탑 카메라(1320) 및 복수의 측면 카메라들(1330)과 연결된 적어도 하나의 프로세서들을 실장 할 수 있다.
도 13a 내지 13c에 개시된 실시 예에 한정되는 것은 아니며, 인쇄회로기판은 탑 카메라, 복수의 측면 카메라들, 카메라들과 연결된 적어도 하나의 프로세서가 실장 될 수 있는 임의의 적절한 구조를 가질 수 있다.
도 14는 다양한 실시예들에 따라 전력을 제어하는 장치의 기능적 구성의 예를 도시한다. 이러한 기능적 구성은 도 3에 도시된 장치(300)에 포함될 수 있다.
도 14를 참조하면, 장치(300)는 제1 프로세서(310-1), 제2 프로세서(310-2), 제3 프로세서(310-3), 제1 카메라(330-1), 제2 카메라(330-2), 제1 PMIC(350-1), 제2 PMIC(350-2), 및 제3 PMIC(350-3)를 포함할 수 있다.
제1 프로세서(310-1)는 장치(300)의 전반적인 동작을 제어할 수 있다. 제1 프로세서(310-1)는 장치(300)의 다른 구성요소(예: 제2 프로세서(310-2), 제3 프로세서(310-3), 제2 PMIC(350-2), 제3 PMIC(350-3) 등)와 동작적으로 연결됨으로써 장치(300)의 전반적인 동작을 제어할 수 있다.
제2 프로세서(310-2)는 제1 카메라(330-1)와 동작적으로 연결될 수 있다. 제2 프로세서(310-2)는 제1 카메라(330-1)를 통해 이미지를 획득할 수 있다. 제2 프로세서(310-2)는 상기 획득된 이미지를 인코딩할 수 있다. 제2 프로세서(310-2)는 상기 획득된 이미지를 인코딩함으로써, 인코딩 데이터를 생성할 수 있다. 제2 프로세서(310-2)는 상기 인코딩 데이터를 제1 프로세서(310-1)에게 제공할 수 있다.
제2 프로세서(310-2)는 제2 PMIC(350-2)와 동작적으로 연결될 수 있다. 제2 프로세서(310-2)는 제2 PMIC(350-2)로부터 제공되는 파워에 기반하여 동작할 수 있다.
제3 프로세서(310-3)는 제2 카메라(330-2)와 동작적으로 연결될 수 있다. 제3 프로세서(310-3)는 제2 카메라(330-2)를 통해 이미지를 획득할 수 있다. 제3 프로세서(310-3)는 상기 획득된 이미지를 인코딩할 수 있다. 제3 프로세서(310-3)는 상기 획득된 이미지를 인코딩함으로써, 인코딩 데이터를 생성할 수 있다. 제3 프로세서(310-3)는 상기 인코딩 데이터를 제1 프로세서(310-1)에게 제공할 수 있다.
제3 프로세서(310-3)는 제3 PMIC(350-3)와 동작적으로 연결될 수 있다. 제3 프로세서(310-3)는 제3 PMIC(350-3)로부터 제공되는 파워에 기반하여 동작할 수 있다.
제1 프로세서(310-1), 제2 프로세서(310-2), 및 제3 프로세서(310-3) 각각은 도 3에 도시된 프로세서(310)에 상응할 수 있다.
제1 카메라(330-1)는 제2 프로세서(310-2)와 동작적으로 연결될 수 있다. 제1 카메라(330-1)는 제1 방향으로 향하도록 구성될 수 있다. 제1 카메라(330-1)는 제1 광축(예: 도 7의 711L)을 가질 수 있다. 제1 카메라(330-1)는 제1 FOV(또는 제1 AOV(angle of view)를 가질 수 있다. 제1 카메라(330-1)를 통해 획득되는 이미지와 관련된 광학적 데이터(optical data)는 제2 프로세서(310-2)에게 제공될 수 있다.
제2 카메라(330-2)는 제3 프로세서(310-3)와 동작적으로 연결될 수 있다. 제2 카메라(330-2)는 상기 제1 방향에 상응하는 제2 방향으로 향하도록 구성될 수 있다. 제2 카메라(330-2)는 제2 광축(예: 도 7의 711R)을 가질 수 있다. 제2 카메라(330-2)는 상기 제1 FOV와 일부 중첩되는 제2 FOV를 가질 수 있다. 제2 카메라(330-2)는 상기 제1 방향에 상응하는 상기 제2 방향으로 향하도록 구성되고, 상기 제1 FOV와 일부 중첩되는 상기 제2 FOV를 가지기 때문에, 제2 카메라(330-2)는, 제1 카메라(330-1)와 비교하여(relative to), 사람(human)의 좌안(left eye)과 같은 기능을 수행할 수 있다. 달리 표현하면, 제1 카메라(330-1)는, 제2 카메라(330-2)와 비교하여, 사람의 우안(right eye)과 같은 기능을 수행할 수 있다. 다시 말해, 제2 카메라(330-2)를 통해 획득되는 이미지만을 이용하는 경우에서 최종 이미지는 2D 이미지일 수 있으며, 제1 카메라를 통해 획득되는 이미지 및 제2 카메라를 통해 획득되는 이미지 모두를 이용하는 경우에서 최종 이미지는 3D 이미지일 수 있다. 제2 카메라(330-2)를 통해 획득되는 이미지와 관련된 광학적 데이터는 제3 프로세서(310-3)에게 제공될 수 있다.
제1 카메라(330-1) 및 제2 카메라(330-2) 각각은 도 3에 도시된 카메라(330)에 상응할 수 있다. 제1 카메라(330-1) 및 제2 카메라(330-2) 각각은, 복수의 카메라들의 그룹(group) 또는 집합(set)으로 구성될 수 있다.
제1 PMIC(350-1)는 제1 프로세서(310-1)에게 파워를 제공하도록 구성될 수 있다. 제2 PMIC(350-2)는 제2 프로세서(310-2)에게 파워를 제공하도록 구성될 수 있다. 제3 PMIC(350-3)는 제3 프로세서(310-3)에게 파워를 제공하도록 구성될 수 있다. 제1 PMIC(350-1), 제2 PMIC(350-2), 및 제3 PMIC(350-3) 각각은 도 3에 도시된 PMIC(350)에 상응할 수 있다.
다양한 실시예들에서, 제1 프로세서(310-1)는 장치의 모드(또는 동작 모드)에 기반하여 제2 PMIC(350-2)를 제어할 수 있다. 상기 장치의 모드는, 생성될 이미지의 속성에 따라 변경될 수 있다. 예를 들면, 상기 장치의 모드는, 2D(two-dimensional space) 이미지를 생성하기 위한 제1 모드, 3D 이미지를 생성하기 위한 제2 모드를 포함할 수 있다. 상기 최종 이미지는, 전방향 이미지, 파노라마 이미지 등을 포함할 수 있다. 다양한 실시예들에서, 상기 장치의 모드는, 사용자 입력에 기반하여 변경될 수 있다. 예를 들면, 제1 프로세서(310-1)는 도 3에 도시된 입력 장치(370)를 통해 수신되는 사용자 입력에 기반하여 상기 장치의 모드를 변경할 수 있다. 다양한 실시예들에서, 상기 장치의 모드는, 장치(300)에 포함된 배터리의 상태에 기반하여 변경될 수 있다. 예를 들면, 제1 프로세서(310-1)는, 상기 배터리의 잔여량이 기준값 이하임을 확인하는 것에 응답하여, 상기 장치의 모드를 상기 제2 모드에서 상기 제1 모드로 변경할 수 있다. 상기 기준값은, 고정된 값일 수도 있고, 변경 가능한 값일 수도 있다. 상기 기준값이 변경 가능한 값으로 구성되는(configured with) 경우, 상기 기준값은 사용자 입력 또는 사용자 선택에 기반하여 변경될 수 있다.
상기 장치(300)가 상기 제1 모드에서 동작하는 경우, 제1 카메라(330-1) 및 제2 카메라(330-2) 중 제1 카메라(330-1)의 동작은 요구되지 않을 수 있다. 달리 표현하면, 상기 장치(300)가 상기 제1 모드에서 동작하는 경우, 제2 프로세서(310-2) 및 제3 프로세서(310-3) 중 제2 프로세서(310-2)의 동작은 요구되지 않을 수 있다. 다양한 실시예들에서, 제1 프로세서(310-1)는 장치(300)가 상기 제1 모드에서 동작하는 것에 기반하여 제1 카메라(330-1)를 통해 이미지를 획득하는 것을 제어하는 제2 프로세서(310-2)로의 파워 공급을 차단(또는 제한(restrict))할 수 있다. 상기 파워 공급의 차단을 위해, 제1 프로세서(310-1)는 제2 PMIC(350-2)에게 제1 제어 신호를 송신할 수 있다. 파워 공급이 차단된 제2 프로세서(310-2)는 동작을 개시(또는 재개)하기 위한 부팅(booting)이 요구되는 상태로 전환될 수 있다. 다양한 실시예들에서, 제1 프로세서(310-1)는 장치(300)가 상기 제1 모드에서 동작하는 것에 기반하여 제1 카메라(330-1)를 통해 이미지를 획득하는 것을 제어하는 제2 프로세서(310-2)에 정상 파워보다 낮은 파워가 공급되도록 제2 PMIC(350-2)를 제어할 수 있다. 상기 정상 파워보다 낮은 파워를 제공 받는 제2 프로세서(310-2)는 동작을 개시하기 위한 부팅이 요구되지 않는 상태로 전환될 수 있다. 다시 말해, 상기 정상 파워보다 낮은 파워를 제공 받는 제2 프로세서(310-2)는 슬립 상태(또는 대기 상태(standby state))로 전환될 수 있다. 다양한 실시예들에서, 제1 프로세서(310-1)는 장치(300)가 상기 제2 모드에서 동작하는 것에 기반하여 제1 카메라(330-1)를 통해 이미지를 획득하는 것을 제어하는 제2 프로세서(310-2)로의 파워 공급(또는 정상 파워 공급)을 재개할 수 있다. 상기 파워 공급의 재개를 위해, 제1 프로세서(310-1)는 제2 PMIC(350-2)에게 제2 제어 신호를 송신할 수 있다. 상기 파워가 공급되거나 재개되는 경우, 제2 프로세서(310-2)는 제1 카메라(330-1)를 제어할 수 있거나 제1 카메라(330-1)를 통해 획득되는 이미지를 인코딩할 수 있는 활성 상태에서 동작할 수 있다.
상술한 바와 같이, 다양한 실시예들에 따른 장치(300)에서, 사람의 양안에 상응하는 기능을 수행하기 위한 카메라들의 쌍에 포함된 복수의 카메라들(예: 제1 카메라(330-1) 및 제2 카메라(330-2)) 중 사람의 한쪽 눈에 상응하는 기능을 수행하기 위한 카메라(예: 제2 카메라(330-2))와 연결되는 프로세서(예: 제3 프로세서(310-3))는 사람의 양안에 상응하는 기능을 수행하기 위한 카메라들의 쌍에 포함된 복수의 카메라들(예: 제1 카메라(330-1) 및 제2 카메라(330-2)) 중 사람의 다른쪽 눈에 상응하는 기능을 수행하기 위한 다른 카메라(예: 제1 카메라(330-1))와 연결되는 프로세서(예: 제2 프로세서(310-2))와 분리될 수 있다. 이러한 분리로 인하여, 다양한 실시예들에 따른 장치(300)는, 장치(300)의 모드에 따라 복수의 프로세서들(예: 제2 프로세서(310-2) 및 제3 프로세서(310-3))의 상태를 개별적으로 제어할 수 있다. 이러한 프로세서들의 개별적 제어를 통해 다양한 실시예들에 따른 장치(300)는 파워 소모를 감소시킬 수 있다. 예를 들면, 다양한 실시예들에 따른 장치(300)는, 2D 이미지를 생성하기 위한 상기 제1 모드에서, 제2 프로세서(310-2)에게 제공되는 파워를 차단하거나 제2 프로세서(310-2)에게 정상 파워보다 낮은 파워를 제공함으로써, 이미지 획득을 위해 소모되는 파워를 감소시킬 수 있다.
도 15는 다양한 실시예들에 따라 전력을 제어하는 장치의 기능적 구성의 다른 예를 도시한다. 이러한 기능적 구성은, 도 3에 도시된 장치(300)에 포함될 수 있다. 도 16은 다양한 실시예들에 따른 장치에 의해 획득되는 복수의 이미지들의 예를 도시한다.
도 15를 참조하면, 장치(300)는 복수의 프로세서들(제1 프로세서(310-1) 내지 제5 프로세서(310-5)), 복수의 카메라들(제1 카메라(330-1) 내지 제 17 카메라(330-17)), 복수의 PMIC들(제1 PMIC(350-1) 내지 제5 PMIC(350-5)), 및 배터리 1500을 포함할 수 있다.
제1 프로세서(310-1)는 장치(300)의 전반적인 동작을 제어할 수 있다. 다양한 실시예들에서, 제1 프로세서(310-1)는, 다른 프로세서(예: 제2 프로세서(310-2), 제3 프로세서(310-3), 제4 프로세서(310-4), 제5 프로세서(310-5) 등)와 동작적으로 연결됨으로써, 상기 다른 프로세서와 연동될 수 있다. 예를 들면, 제1 프로세서(310-1)는 상기 다른 프로세서와 연결된 적어도 하나의 카메라를 통해 획득된 이미지에 대한 인코딩 데이터를 상기 다른 프로세서로부터 수신할 수 있다. 다양한 실시예들에서, 제1 프로세서(310-1)는, 다른 프로세서와 동작적으로 연결된 PMIC(예: 제2 PMIC(350-2), 제3 PMIC(350-3), 제4 PMIC(350-4), 제5 PMIC(350-5) 등)와 동작적으로 연결됨으로써, 상기 다른 프로세서의 상태를 변경할 수 있다. 예를 들면, 제1 프로세서(310-1)는 상기 다른 프로세서에 제공되는 파워를 차단하도록 상기 다른 프로세서와 동작적으로 연결된 PMIC를 제어할 수 있다. 다른 예를 들면, 제1 프로세서(310-1)는 상기 다른 프로세서로의 파워의 공급을 재개하도록 상기 다른 프로세서와 동작적으로 연결된 PMIC를 제어할 수 있다. 다양한 실시예들에서, 제1 프로세서(310-1)는, 제17 카메라(330-17)와 동작적으로 연결됨으로써, 제17 카메라(330-17)를 통해 이미지를 획득할 수 있다. 다양한 실시예들에서, 제1 프로세서(310-1)는 배터리(1500)로부터 제1 PMIC(350-1)를 통해 파워를 제공받을 수 있다.
제2 프로세서(310-2) 내지 제5 프로세서(310-5) 각각은, 제2 프로세서(310-2) 내지 제5 프로세서(310-5) 각각과 연결된 복수의 카메라들을 통해 이미지를 획득할 수 있다. 제2 프로세서(310-2) 내지 제5 프로세서(310-5) 각각은 상기 획득된 이미지에 대한 인코딩 데이터를 생성할 수 있다. 제2 프로세서(310-2) 내지 제5 프로세서(310-5) 각각은, 배터리(1500)로부터 제2 PMIC(350-2) 내지 제5 PMIC(350-5) 각각을 통해, 파워를 제공받을 수 있다.
제1 프로세서(310-1) 내지 제5 프로세서(310-5)는 도 2에 도시된 프로세서(310)에 상응할 수 있다.
제1 카메라(330-1), 제3 카메라(330-3), 제5 카메라(330-5), 제7 카메라(330-7) 각각은 제2 프로세서(310-2)에 동작적으로 연결될 수 있다.
제1 카메라(330-1)는 제1 방향으로 향하도록 구성될 수 있으며, 제1 FOV를 가질 수 있다. 제1 카메라(330-1)는 사람의 우안에 상응하는 기능을 수행할 수 있다. 제1 카메라(330-1)는 상기 제1 방향에 상응하는 제2 방향으로 향하도록 구성되며, 상기 제1 FOV와 일부 중첩되는 제2 FOV를 가지는 제2 카메라(330-2)와 함께 카메라들의 제1 쌍을 구성할 수 있다. 상기 제2 카메라(330-2)는 사람의 좌안에 상응하는 기능을 수행할 수 있다. 상기 제2 카메라(330-2)는 제2 프로세서(310-2)와 구별되는 제3 프로세서(310-3)에 동작적으로 연결될 수 있다.
제3 카메라(330-3)는 제3 방향으로 향하도록 구성될 수 있으며, 제3 FOV를 가질 수 있다. 제3 카메라(330-3)는 사람의 우안에 상응하는 기능을 수행할 수 있다. 제3 카메라(330-3)는 상기 제3 방향에 상응하는 제4 방향으로 향하도록 구성되며, 상기 제3 FOV와 일부 중첩되는 제4 FOV를 가지는 제4 카메라(330-4)와 함께 카메라들의 제2 쌍을 구성할 수 있다. 상기 제4 카메라(330-4)는 사람의 좌안에 상응하는 기능을 수행할 수 있다. 상기 제4 카메라(330-4)는 제2 프로세서(310-2)와 구별되는 제3 프로세서(310-3)에 동작적으로 연결될 수 있다.
제5 카메라(330-5)는 제5 방향으로 향하도록 구성될 수 있으며, 제5 FOV를 가질 수 있다. 제5 카메라(330-5)는 사람의 우안에 상응하는 기능을 수행할 수 있다. 제5 카메라(330-5)는 상기 제5 방향에 상응하는 제6 방향으로 향하도록 구성되며, 상기 제5 FOV와 일부 중첩되는 제6 FOV를 가지는 제6 카메라(330-6)와 함께 카메라들의 제3 쌍을 구성할 수 있다. 상기 제6 카메라(330-6)는 사람의 좌안에 상응하는 기능을 수행할 수 있다. 상기 제6 카메라(330-6)는 제2 프로세서(310-2)와 구별되는 제3 프로세서(310-3)에 동작적으로 연결될 수 있다.
제7 카메라(330-7)는 제7 방향으로 향하도록 구성될 수 있으며, 제7 FOV를 가질 수 있다. 제7 카메라(330-7)는 사람의 우안에 상응하는 기능을 수행할 수 있다. 제7 카메라(330-7)는 상기 제7 방향에 상응하는 제8 방향으로 향하도록 구성되며, 상기 제7 FOV와 일부 중첩되는 제8 FOV를 가지는 제8 카메라(330-8)와 함께 카메라들의 제4 쌍을 구성할 수 있다. 상기 제8 카메라(330-8)는 사람의 좌안에 상응하는 기능을 수행할 수 있다. 상기 제8 카메라(330-8)는 제2 프로세서(310-2)와 구별되는 제3 프로세서(310-3)에 동작적으로 연결될 수 있다.
제9 카메라(330-9), 제11 카메라(330-11), 제13 카메라(330-13), 제15 카메라(330-15) 각각은 제4 프로세서(310-4)에 동작적으로 연결될 수 있다.
제9 카메라(330-9)는 제9 방향으로 향하도록 구성될 수 있으며, 제9 FOV를 가질 수 있다. 제9 카메라(330-9)는 사람의 우안에 상응하는 기능을 수행할 수 있다. 제9 카메라(330-9)는 상기 제9 방향에 상응하는 제10 방향으로 향하도록 구성되며, 상기 제9 FOV와 일부 중첩되는 제10 FOV를 가지는 제10 카메라(330-10)와 함께 카메라들의 제5 쌍을 구성할 수 있다. 상기 제10 카메라(330-10)는 사람의 좌안에 상응하는 기능을 수행할 수 있다. 상기 제10 카메라(330-10)는 제4 프로세서(310-4)와 구별되는 제5 프로세서(310-5)에 동작적으로 연결될 수 있다.
제11 카메라(330-11)는 제11 방향으로 향하도록 구성될 수 있으며, 제11 FOV를 가질 수 있다. 제11 카메라(330-11)는 사람의 우안에 상응하는 기능을 수행할 수 있다. 제11 카메라(330-11)는 상기 제11 방향에 상응하는 제12 방향으로 향하도록 구성되며, 상기 제11 FOV와 일부 중첩되는 제12 FOV를 가지는 제12 카메라(330-12)와 함께 카메라들의 제6 쌍을 구성할 수 있다. 상기 제12 카메라(330-12)는 사람의 좌안에 상응하는 기능을 수행할 수 있다. 상기 제12 카메라(330-12)는 제4 프로세서(310-4)와 구별되는 제5 프로세서(310-5)에 동작적으로 연결될 수 있다.
제13 카메라(330-13)는 제13 방향으로 향하도록 구성될 수 있으며, 제13 FOV를 가질 수 있다. 제13 카메라(330-13)는 사람의 우안에 상응하는 기능을 수행할 수 있다. 제13 카메라(330-13)는 상기 제13 방향에 상응하는 제14 방향으로 향하도록 구성되며, 상기 제13 FOV와 일부 중첩되는 제14 FOV를 가지는 제14 카메라(330-14)와 함께 카메라들의 제7 쌍을 구성할 수 있다. 상기 제14 카메라(330-14)는 사람의 좌안에 상응하는 기능을 수행할 수 있다. 상기 제14 카메라(330-14)는 제4 프로세서(310-4)와 구별되는 제5 프로세서(310-5)에 동작적으로 연결될 수 있다.
제15 카메라(330-15)는 제15 방향으로 향하도록 구성될 수 있으며, 제15 FOV를 가질 수 있다. 제15 카메라(330-15)는 사람의 우안에 상응하는 기능을 수행할 수 있다. 제15 카메라(330-15)는 상기 제15 방향에 상응하는 제16 방향으로 향하도록 구성되며, 상기 제15 FOV와 일부 중첩되는 제16 FOV를 가지는 제16 카메라(330-16)와 함께 카메라들의 제8 쌍을 구성할 수 있다. 상기 제16 카메라(330-16)는 사람의 좌안에 상응하는 기능을 수행할 수 있다. 상기 제16 카메라(330-16)는 제4 프로세서(310-4)와 구별되는 제5 프로세서(310-5)에 동작적으로 연결될 수 있다.
전방향 이미지를 생성하기 위해, 상기 제1 FOV는, 상기 제3 FOV와 일부 중첩되고, 상기 제15 FOV와 일부 중첩되며, 상기 제2 FOV는, 상기 제4 FOV와 일부 중첩되고, 상기 제16 FOV와 일부 중첩되며, 상기 제3 FOV는, 상기 제1 FOV와 일부 중첩되고, 상기 제5 FOV와 일부 중첩되며, 상기 제4 FOV는, 상기 제2 FOV와 일부 중첩되고, 상기 제6 FOV와 일부 중첩되며, 상기 제5 FOV는, 상기 제3 FOV와 일부 중첩되고, 상기 제7 FOV와 일부 중첩되며, 상기 제6 FOV는, 상기 제4 FOV와 일부 중첩되고, 상기 제8 FOV와 일부 중첩되며, 상기 제7 FOV는, 상기 제5 FOV와 일부 중첩되고, 상기 제9 FOV와 일부 중첩되며, 상기 제8 FOV는, 상기 제6 FOV와 일부 중첩되고, 상기 제10 FOV와 일부 중첩되며, 상기 제9 FOV는, 상기 제7 FOV와 일부 중첩되고, 상기 제11 FOV와 일부 중첩되며, 상기 제10 FOV는, 상기 제8 FOV와 일부 중첩되고, 상기 제12 FOV와 일부 중첩되며, 상기 제11 FOV는, 상기 제9 FOV와 일부 중첩되고, 상기 제13 FOV와 일부 중첩되며, 상기 제12 FOV는, 상기 제10 FOV와 일부 중첩되고, 상기 제14 FOV와 일부 중첩되며, 상기 제13 FOV는, 상기 제11 FOV와 일부 중첩되고, 상기 제15 FOV와 일부 중첩되며, 상기 제14 FOV는, 상기 제12 FOV와 일부 중첩되고, 상기 제16 FOV와 일부 중첩되며, 상기 제15 FOV는, 상기 제1 FOV와 일부 중첩되고, 상기 제13 FOV와 일부 중첩되며, 상기 제16 FOV는, 상기 제2 FOV와 일부 중첩되고, 상기 제14 FOV와 일부 중첩될 수 있다.
제17 카메라(330-17)는 제1 프로세서(310-1)와 동작적으로 연결될 수 있다. 제 17 카메라(330-17)는 제17 방향으로 향하도록 구성될 수 있으며, 제17 FOV를 가질 수 있다. 상기 제17 방향은, 상기 제1 방향 내지 상기 제16 방향에 실질적으로 수직할 수 있다. 상기 제17 FOV는, 상기 제1 FOV와 일부 중첩되고, 상기 제2 FOV와 일부 중첩되고, 상기 제3 FOV와 일부 중첩되고, 상기 제4 FOV와 일부 중첩되고, 상기 제5 FOV와 일부 중첩되고, 상기 제6 FOV와 일부 중첩되고, 상기 제7 FOV와 일부 중첩되고, 상기 제8 FOV와 일부 중첩되고, 상기 제9 FOV와 일부 중첩되고, 상기 제10 FOV와 일부 중첩되고, 상기 제11 FOV와 일부 중첩되고, 상기 제12 FOV와 일부 중첩되고, 상기 제13 FOV와 일부 중첩되고, 상기 제14 FOV와 일부 중첩되고, 상기 제15 FOV와 일부 중첩되고, 상기 제16 FOV와 일부 중첩될 수 있다.
제1 카메라(330-1)는 제1 이미지를 획득하기 위해 이용되고, 제2 카메라(330-2)는 제2 이미지를 획득하기 위해 이용되고, 제3 카메라(330-3)는 제3 이미지를 획득하기 위해 이용되고, 제4 카메라(330-4)는 제4 이미지를 획득하기 위해 이용되고, 제5 카메라(330-5)는 제5 이미지를 획득하기 위해 이용되고, 제6 카메라(330-6)는 제6 이미지를 획득하기 위해 이용되고, 제7 카메라(330-7)는 제7 이미지를 획득하기 위해 이용되고, 제8 카메라(330-8)는 제8 이미지를 획득하기 위해 이용되고, 제9 카메라(330-9)는 제9 이미지를 획득하기 위해 이용되고, 제10 카메라(330-10)는 제10 이미지를 획득하기 위해 이용되고, 제11 카메라(330-11)는 제11 이미지를 획득하기 위해 이용되고, 제12 카메라(330-12)는 제12 이미지를 획득하기 위해 이용되고, 제13 카메라(330-13)는 제13 이미지를 획득하기 위해 이용되고, 제14 카메라(330-14)는 제14 이미지를 획득하기 위해 이용되고, 제15 카메라(330-15)는 제15 이미지를 획득하기 위해 이용되고, 제16 카메라(330-16)는 제16 이미지를 획득하기 위해 이용되며, 제17 카메라(330-17)는 제17 이미지를 획득하기 위해 이용될 수 있다.
예를 들어, 도 16을 참조하면, 상기 제2 이미지, 상기 제4 이미지, 상기 제6 이미지, 상기 제8 이미지, 상기 제10 이미지, 상기 제12 이미지, 상기 제14 이미지, 및 상기 제16 이미지는, 사람의 좌안에 상응하는 장면(scene)을 포함할 수 있으며, 상기 제1 이미지, 상기 제3 이미지, 상기 제5 이미지, 상기 제7 이미지, 상기 제9 이미지, 상기 제11 이미지, 상기 제13 이미지, 및 상기 제15 이미지는, 사람의 우안에 상응하는 장면(scene)을 포함할 수 있다. 상기 제2 이미지, 상기 제4 이미지, 상기 제6 이미지, 상기 제8 이미지, 상기 제10 이미지, 상기 제12 이미지, 상기 제14 이미지, 및 상기 제16 이미지는, 전방향 3D 이미지를 생성하기 위해, 상기 제1 이미지, 상기 제3 이미지, 상기 제5 이미지, 상기 제7 이미지, 상기 제9 이미지, 상기 제11 이미지, 상기 제13 이미지, 및 상기 제15 이미지와 결합될 수 있다. 도 16에 도시하지 않았으나, 상기 제17 이미지는, 상기 제1 이미지 내지 상기 제16 이미지를 보완하기 위해 이용될 수 있다.
다른 예를 들어, 상기 제2 이미지, 상기 제4 이미지, 상기 제6 이미지, 상기 제8 이미지, 상기 제10 이미지, 상기 제12 이미지, 상기 제14 이미지, 및 상기 제16 이미지는, 전방향 2D 이미지를 생성하기 위해 결합될 수 있다. 도 16에 도시하지 않았으나, 상기 제17 이미지는, 상기 전방향 2D 이미지를 생성하기 위해, 상기 제2 이미지, 상기 제4 이미지, 상기 제6 이미지, 상기 제8 이미지, 상기 제10 이미지, 상기 제12 이미지, 상기 제14 이미지, 및 상기 제16 이미지와 결합될 수 있다.
또 다른 예를 들어, 상기 제1 이미지, 상기 제3 이미지, 상기 제5 이미지, 상기 제7 이미지, 상기 제9 이미지, 상기 제11 이미지, 상기 제13 이미지, 및 상기 제15 이미지는, 다른 전방향 2D 이미지를 생성하기 위해 결합될 수 있다. 도 16에 도시하지 않았으나, 상기 제17 이미지는, 상기 다른 전방향 2D 이미지를 생성하기 위해, 상기 제1 이미지, 상기 제3 이미지, 상기 제5 이미지, 상기 제7 이미지, 상기 제9 이미지, 상기 제11 이미지, 상기 제13 이미지, 및 상기 제15 이미지와 결합될 수 있다.
또 다른 예를 들어, 상기 제2 이미지, 상기 제4 이미지, 상기 제6 이미지, 및 상기 제8 이미지(또는, 상기 제10 이미지, 상기 제12 이미지, 상기 제14 이미지, 및 상기 제16 이미지)는, 파노라마 2D 이미지(즉, 180도 이미지)를 생성하기 위해 결합될 수 있다. 도 16에 도시하지 않았으나, 상기 제17 이미지는, 상기 파노라마 2D 이미지를 생성하기 위해, 상기 제2 이미지, 상기 제4 이미지, 상기 제6 이미지, 및 상기 제8 이미지(또는, 상기 제10 이미지, 상기 제12 이미지, 상기 제14 이미지, 및 상기 제16 이미지)와 결합될 수 있다.
또 다른 예를 들어, 상기 제1 이미지, 상기 제3 이미지, 상기 제5 이미지, 및 상기 제7 이미지(또는, 상기 제9 이미지, 상기 제11 이미지, 상기 제13 이미지, 및 상기 제15 이미지)는, 다른 파노라마 2D 이미지를 생성하기 위해 결합될 수 있다. 도 16에 도시하지 않았으나, 상기 제17 이미지는, 상기 다른 파노라마 2D 이미지를 생성하기 위해, 상기 제1 이미지, 상기 제3 이미지, 상기 제5 이미지, 및 상기 제7 이미지(또는, 상기 제9 이미지, 상기 제11 이미지, 상기 제13 이미지, 및 상기 제15 이미지)와 결합될 수 있다.
제1 PMIC(350-1) 내지 제 5 PMIC(350-5) 각각은, 제1 프로세서(310-1) 내지 제5 프로세서(310-5) 각각에게 파워를 제공하기 위해 이용될 수 있다.
제2 PMIC(350-2) 내지 제5 PMIC(350-5) 각각은, 제1 프로세서(310-1)로부터 송신되는 제어 신호에 기반하여 제2 프로세서(310-2) 내지 제5 프로세서(310-5) 각각에게 제공되는 파워를 제어할 수 있다.
배터리(1500)는 장치(300)와 연결되는 파워 공급 장치를 통해 충전될 수 있다. 다시 말해, 배터리(1500)는 충전 가능하도록 구성될 수 있다. 배터리(1500)는 배터리(1500)와 동작적으로 각각 연결된 제1 PMIC(350-1) 내지 제5 PMIC(350-5)에게 파워를 제공할 수 있다. 다양한 실시예들에서, 배터리(1500)는 장치(300)로부터 탈부착 가능하도록 구성될 수 있다.
다양한 실시예들에서, 제1 프로세서(310-1)는, 장치(300)의 모드를 확인할 수 있다. 상기 장치(300)의 모드는, 사용자 입력에 따라 변경될 수도 있고, 배터리(1500)의 상태에 따라 변경될 수도 있다. 제1 프로세서(310-1)는, 확인된 장치의 모드에 기반하여, 제1 프로세서(310-1)와 다른 프로세서들 중 적어도 하나의 프로세서의 파워와 관련된 상태를 변경할 수 있다.
예를 들면, 제1 프로세서(310-1)는, 장치(300)의 모드가 전방향 2D 이미지를 생성하기 위한 모드임을 확인하는 것에 응답하여, 제2 프로세서(310-2) 및 제4 프로세서(310-4)에 제공되는 파워를 각각 차단하도록 제2 PMIC(350-2) 및 제4 PMIC(350-4)를 각각 제어할 수 있다. 제1 프로세서(310-1)는, 장치(300)의 모드가 상기 전방향 2D 이미지를 생성하기 위한 모드임을 확인하는 것에 응답하여, 제2 PMIC(350-2) 및 제4 PMIC(350-4) 각각에게 제1 제어 신호를 송신함으로써, 제2 프로세서(310-2) 및 제4 프로세서(310-4)에 제공되는 파워를 각각 차단할 수 있다. 도 16에 도시된 바와 같이, 상기 전방향 2D 이미지를 생성하기 위해 상기 제1 이미지, 상기 제3 이미지, 상기 제5 이미지, 상기 제7 이미지, 상기 제9 이미지, 상기 제11 이미지, 상기 제13 이미지, 및 상기 제15 이미지의 획득은 요구되지 않을 수 있기 때문에, 제1 프로세서(310-1)는 제2 프로세서(310-2) 및 제4 프로세서(310-4)에게 제공되는 파워를 차단할 수 있다. 이러한 차단을 통해, 장치(300)는 상기 전방향 2D 이미지의 생성을 위해 요구되는 전력을 감소시킬 수 있다.
다른 예를 들면, 제1 프로세서(310-1)는, 장치(300)의 모드가 파노라마 2D 이미지를 생성하기 위한 모드임을 확인하는 것에 응답하여, 제2 프로세서(310-2), 제4 프로세서(310-4), 및 제5 프로세서(310-5)에 제공되는 파워를 각각 차단하도록 제2 PMIC(350-2), 제4 PMIC(350-4), 및 제5 PMIC(350-5)를 각각 제어할 수 있다. 제1 프로세서(310-1)는, 장치(300)의 모드가 상기 파노라마 2D 이미지를 생성하기 위한 모드임을 확인하는 것에 응답하여, 제2 PMIC(350-2), 제4 PMIC(350-4), 및 제5 PMIC(350-5) 각각에게 상기 제1 제어 신호를 송신함으로써, 제2 프로세서(310-2), 제4 프로세서(310-4), 및 제5 프로세서(310-5)에게 제공되는 파워를 각각 차단할 수 있다. 도 16에 도시된 바와 같이, 상기 파노라마 2D 이미지를 생성하기 위해 상기 제1 이미지, 상기 제3 이미지, 상기 제5 이미지, 상기 제7 이미지, 상기 제9 이미지, 상기 제10 이미지, 상기 제11 이미지, 상기 제12 이미지, 상기 제13 이미지, 상기 제14 이미지, 상기 제15 이미지, 및 상기 제16 이미지의 획득은 요구되지 않을 수 있기 때문에, 제1 프로세서(310-1)는 제2 프로세서(310-2), 제4 프로세서(310-4), 및 제5 프로세서(310-5)에게 제공되는 파워를 차단할 수 있다. 이러한 차단을 통해, 장치(300)는 상기 파노라마 2D 이미지의 생성을 위해 요구되는 전력을 감소시킬 수 있다.
또 다른 예를 들면, 제1 프로세서(310-1)는, 장치(300)의 모드가 전방향 3D 이미지를 생성하기 위한 모드임을 확인하는 것에 응답하여, 파워의 공급이 차단(또는 중단)된 다른 프로세서(예: 제2 프로세서(310-2), 제4 프로세서(310-4), 제5 프로세서(310-5) 등)로의 파워의 공급을 재개하도록 상기 다른 프로세서와 연결된 PMIC를 제어할 수 있다. 제1 프로세서(310-1)는, 장치(300)의 모드가 상기 전방향 3D 이미지를 생성하기 위한 모드임을 확인하는 것에 응답하여, 파워의 공급이 차단된 다른 프로세서와 연결된 PMIC에게 제2 제어 신호를 송신함으로써, 상기 다른 프로세서로의 파워의 공급을 재개할 수 있다. 이러한 파워의 공급의 재개를 통해, 장치(300)는 전방향 3D 이미지의 생성을 위한 복수의 이미지들을 획득할 수 있다.
상술한 바와 같이, 다양한 실시예들에 따른 장치(300)는, 사람의 한쪽 눈에 상응하는 기능을 수행하는 카메라와 결합되는 프로세서로부터 사람의 다른쪽 눈에 상응하는 기능을 수행하는 카메라와 결합되는 프로세서를 분리함으로써, 복수의 이미지들을 획득하기 위해 소모되는 파워를 감소시킬 수 있다.
도 17은 다양한 실시예들에 따라 전력을 제어하는 장치의 동작의 예를 도시한다. 이러한 동작은, 도 3에 도시된 장치(300), 도 14에 도시된 장치(300), 도 15에 도시된 장치(300), 또는 장치(300)의 구성요소(예: 도 3의 프로세서(310), 도 14의 제1 프로세서(310-1), 또는 도 15의 제1 프로세서(310-1))에 의해 수행될 수 있다.
도 17을 참조하면, 동작 1710에서, 제1 프로세서(310-1)는 장치(300)가 복수의 모드들 중 제1 모드로 동작함을 확인할 수 있다. 제1 프로세서(310-1)는 이미지의 획득을 위해 소모되는 파워를 감소시키기 위하여, 장치(300)가 상기 복수의 모드들 중 상기 제1 모드로 동작함을 확인할 수 있다. 상기 복수의 모드들은, 전방향 2D 이미지를 생성하기 위한 복수의 이미지들을 획득하기 위한 모드, 전방향 3D 이미지를 생성하기 위한 복수의 이미지들을 획득하기 위한 모드, 파노라마 2D 이미지를 생성하기 위한 복수의 이미지들을 획득하기 위한 모드, 및/또는 파노라마 3D 이미지를 생성하기 위한 복수의 이미지들을 획득하기 위한 모드를 포함할 수 있다. 상기 제1 모드는, 장치(300)가 획득할 수 있는 이미지들 중 일부 이미지의 획득이 요구되지 않는 모드일 수 있다. 예를 들면, 상기 제1 모드는, 전방향 2D 이미지를 생성하기 위한 복수의 이미지들을 획득하기 위한 모드, 파노라마 2D 이미지를 생성하기 위한 복수의 이미지들을 획득하기 위한 모드, 및/또는 파노라마 3D 이미지를 생성하기 위한 복수의 이미지들을 획득하기 위한 모드일 수 있다.
다양한 실시예들에서, 제1 프로세서(310-1)는, 장치(300)의 입력 장치(370)를 통해 사용자 입력이 검출되는지 여부를 모니터링하거나 장치(300)의 배터리의 상태가 지정된 상태인지 여부를 모니터링함으로써, 장치(300)가 제1 모드로 동작함을 확인할 수 있다.
동작 1720에서, 제1 프로세서(310-1)는 제2 프로세서(310-2)에게 제공되는 파워를 차단하는 것을 제어할 수 있다. 제2 프로세서(310-2)는 상기 제1 모드에서 이용되지 않는 적어도 하나의 카메라(즉, 이미지의 획득이 요구되지 않는 적어도 하나의 카메라)와 동작적으로 연결된 프로세서일 수 있다. 상기 제1 모드에서, 제2 프로세서(310-2)는 이미지를 획득하기 위해 제2 프로세서(310-2)와 연결된 적어도 하나의 카메라를 제어하는 것이 요구되지 않기 때문에, 파워의 공급이 필요하지 않은 프로세서일 수 있다. 파워의 공급이 차단된 제2 프로세서(310-2)는 재활성화를 위해 부팅이 요구될 수 있다. 대안적으로(alternatively), 제1 프로세서(310-1)는, 장치(300)가 상기 제1 모드에서 동작함을 확인하는 것에 응답하여, 제2 프로세서(310-2)에 공급되는 파워를 감소시킬 수 있다. 예를 들면, 제1 프로세서(310-1)는 장치(300)가 상기 제1 모드에서 동작함을 확인하는 것에 응답하여, 정상 파워보다 낮은 파워를 제2 프로세서(310-2)에게 제공할 수도 있다. 제1 프로세서(310-1)는 상기 정상 파워보다 낮은 파워를 제2 프로세서(310-2)에게 제공함으로써, 제2 프로세서(310-2)가 재활성화 되더라도 재차 부팅을 수행하지 않도록 할 수 있다. 다양한 실시예들에 따른 장치(300)에서, 제1 프로세서(310-1)는, 제2 프로세서(310-2)의 빠른 반응 속도(즉, 빠른 상태 전환)이 요구되는 경우, 제2 프로세서(310-2)로의 파워의 공급을 차단하지 않고, 제2 프로세서(310-2)에게 정상 파워보다 낮은 파워를 제공할 수도 있다.
도 18은 다양한 실시예들에 따라 전력을 제어하는 장치 내의 신호 흐름의 예를 도시한다. 이러한 신호 흐름은, 도 3에 도시된 장치(300), 도 14에 도시된 장치(300), 도 15에 도시된 장치(300) 내에서 야기될 수 있다.
도 18을 참조하면, 동작 1810에서, 제1 프로세서(310-1)는 장치(300)가 복수의 모드들 중 제1 모드로 동작함을 확인할 수 있다. 제1 프로세서(310-1)는 장치(300)가 장치(300)가 제공할 수 있는 복수의 촬영 모드(shooting mode)들 중에서 적어도 하나의 프로세서 또는 카메라의 이용(use) (또는 상기 적어도 하나의 프로세서와 연결된 모든 카메라의 이용)을 요구하지 않는 제1 촬영 모드로 동작함을 확인할 수 있다. 상기 적어도 하나의 프로세서는, 제2 프로세서(310-2)를 포함할 수 있다.
동작 1820에서, 제1 프로세서(310-1)는, 제2 프로세서(310-2)로부터 제2 프로세서(310-2)의 상태를 나타내는 신호를 수신할 수 있다. 제1 프로세서(310-1)는, 제1 통신 기법에 기반하여, 제2 프로세서(310-2)로부터 제2 프로세서(310-2)의 상태를 나타내는 신호를 수신할 수 있다. 다양한 실시예들에서, 제2 프로세서(310-2)의 상태를 나타내는 신호는, 제1 프로세서(310-1)의 요청에 응답하여, 제2 프로세서(310-2)로부터 송신될 수 있다. 다양한 실시예들에서, 제2 프로세서(310-2)의 상태를 나타내는 신호는, 지정된(designated) 주기에 기반하여 제2 프로세서(310-2)로부터 송신될 수 있다. 예를 들면, 제2 프로세서(310-2)의 상태를 나타내는 신호는, 제2 프로세서(310-2)에게 정상 파워가 공급되거나 제2 프로세서(310-2)에게 정상 파워보다 낮은 파워가 공급되는 경우, 상기 지정된 주기마다 제2 프로세서(310-2)로부터 송신될 수 있다. 제2 프로세서(310-2)의 상태를 나타내는 신호는 제2 프로세서(310-2)에 파워가 공급되고 있는 중인지 여부를 나타내기 위해 이용될 수 있다. 상기 제1 통신 기법은, GPIO(general purpose input/output)와 관련될 수 있다. 도 18의 도시와 달리, 제2 프로세서(310-2)에 파워가 공급되지 않는 상태인 경우, 제1 프로세서(310-1)는 제2 프로세서(310-2)의 상태를 나타내는 신호의 미수신을 통해 제2 프로세서(310-2)에게 파워가 공급되고 있지 않음을 확인할 수도 있다.
동작 1830에서, 제1 프로세서(310-1)는 제2 프로세서(310-2)의 상태가 활성 상태인지 여부를 확인할 수 있다. 제1 프로세서(310-1)는, 제2 프로세서(310-2)로부터 수신된 제2 프로세서(310-2)의 상태를 나타내는 신호에 기반하여 제2 프로세서(310-2)의 상태가 활성 상태인지 여부를 확인할 수 있다. 제2 프로세서(310-2)의 상태가 활성 상태가 아님을 확인하는 경우(예: 제2 프로세서(310-2)에게 정상 파워보다 낮은 파워가 제공되고 있는 상태인 경우 또는 제2 프로세서(310-2)로의 파워의 공급이 차단되고 있는 상태인 경우), 제1 프로세서(310-1)는 제2 프로세서(310-2)의 상태를 유지할 수 있다. 이와 달리, 제2 프로세서(310-2)의 상태가 활성 상태임을 확인하는 경우, 제1 프로세서(310-1)는 동작 1840을 수행할 수 있다.
동작 1840에서, 제2 프로세서(310-2)의 상태가 활성 상태임을 확인하는 경우, 제1 프로세서(310-1)는 제2 프로세서(310-2)에게 제공되는 파워를 차단하기 위한 제어 신호를 제2 프로세서(310-2)와 동작적으로 연결된 제2 PMIC(350-2)에게 송신할 수 있다. 제1 프로세서(310-1)는, 제2 프로세서(310-2)의 상태가 활성 상태임을 확인하는 것에 응답하여, 제2 프로세서(310-2)에게 제공되는 파워를 차단하기 위한 제어 신호를 제2 통신 기법을 통해 송신할 수 있다. 상기 제2 통신 기법은, SPI(serial peripheral interface)와 관련될 수 있다. 제2 PMIC(350-2)는 제1 프로세서(310-1)로부터 제2 프로세서(310-2)에게 제공되는 파워를 차단하기 위한 제어 신호를 상기 제2 통신 기법을 통해 수신할 수 있다.
동작 1850에서, 제2 PMIC(350-2)는, 상기 제어 신호의 수신에 응답하여, 제2 프로세서(310-2)에게 제공되는 파워를 차단할 수 있다. 제2 PMIC(350-2)는, 제2 프로세서(310-2)의 동작으로 인하여 불필요하게 소비되는 파워를 감소시키기 위하여, 제2 프로세서(310-2)에게 제공되는 파워를 차단할 수 있다.
도 18은 장치(300)가 제1 모드로 동작함을 확인하는 것에 응답하여, 제2 프로세서(310-2)로의 파워의 공급을 차단(또는 중단(cease, terminate))하는 것을 예시하고 있지만, 이는 설명을 위한 예시일 뿐이다. 다양한 실시예들에서, 제1 프로세서(310-1)는 장치(300)가 상기 제1 모드로 동작함을 확인하는 것에 응답하여, 제2 프로세서(310-2)에 제공되는 파워를 감소시키기 위한 제어 신호를 제2 PMIC(350-2)에게 송신할 수도 있다. 제2 프로세서(310-2)에 제공되는 파워를 감소시키기 위한 제어 신호를 수신하는 제2 PMIC(350-2)는 제2 프로세서(310-2)에게 정상 파워보다 낮은 파워를 제공할 수 있다.
상술한 바와 같이, 다양한 실시예들에 따른 장치(300)에서, 제1 프로세서(310-1)는 다른 프로세서(예: 제2 프로세서(310-2)) 또는 다른 프로세서와 연결된 PMIC(예: 제2 PMIC(350-2))와의 시그널링을 통해 이미지의 획득을 위해 소모되는 파워의 소모를 감소시킬 수 있다.
도 19는 다양한 실시예들에 따라 전력을 제어하는 장치의 모드 제어 동작의 예를 도시한다. 이러한 동작은, 도 3에 도시된 장치(300), 도 14에 도시된 장치(300), 도 15에 도시된 장치(300), 또는 장치(300)의 구성요소(예: 도 3의 프로세서(310), 도 14의 제1 프로세서(310-1), 또는 도 15의 제1 프로세서(310-1))에 의해 수행될 수 있다.
도 20은 다양한 실시예들에 따른 장치에서 표시되는 사용자 인터페이스(UI, user interface)의 예를 도시한다.
도 19의 동작 1910 내지 동작 1940은 도 17의 동작 1710과 관련될 수 있다.
도 19를 참조하면, 동작 1910에서, 제1 프로세서(310-1)는 장치(300)의 모드를 결정하기 위한 메뉴를 표시할 수 있다. 예를 들어, 도 20을 참조하면, 제1 프로세서(310-1)는, 도 3에 도시된 디스플레이(390)를 통해, 상기 메뉴를 포함하는 사용자 인터페이스(UI, user interface)(2000)를 표시할 수 있다. 상기 메뉴는, 장치(300)에서 이용 가능한(available) 복수의 모드들을 포함할 수 있다. 예를 들면, 상기 메뉴는, 파노라마 이미지를 획득하기 위한 파노라마 모드, 2D 이미지를 획득하기 위한 2D 모드, 3D 이미지를 획득하기 위한 3D 모드를 포함할 수 있다.
상기 메뉴는 다양한 조건들에 기반하여 표시될 수 있다. 예를 들면, 제1 프로세서(310-1)는, 상기 메뉴를 표시하기 위한 사용자의 조작에 기반하여, 상기 메뉴를 표시할 수 있다. 다른 예를 들면, 제1 프로세서(310-1)는, 장치(300)의 부팅(booting)에 기반하여, 상기 메뉴를 표시할 수도 있다.
다양한 실시예들에서, 제1 프로세서(310-1)는, 도 19의 도시와 달리, 장치(300)와 연결된 전자 장치(예: 전자 장치(101))의 디스플레이(예: 표시 장치(160))를 통해 상기 메뉴를 표시할 수도 있다. 이를 위해, 제1 프로세서(310-1)는, 도 3에 도시된 통신 인터페이스(340)를 통해, 상기 메뉴를 표시하기 위한 정보를 상기 전자 장치(101)에게 송신할 수 있다. 상기 전자 장치(101)는, 장치(300)으로부터 수신된 상기 정보에 기반하여, 상기 장치를 위한 어플리케이션(예: 장치(300)를 원격 제어하기 위한 어플리케이션)을 통해 상기 메뉴를 표시할 수 있다.
동작 1920에서, 제1 프로세서(310-1)는 상기 표시된 메뉴에 대한 입력을 검출하는지 여부를 확인할 수 있다. 상기 표시된 메뉴에 대한 입력을 검출하는 경우, 제1 프로세서(310-1)는 동작 1930을 수행할 수 있다. 이와 달리, 상기 표시된 메뉴에 대한 입력을 검출하지 못하는 경우, 제1 프로세서(310-1)는 상기 메뉴를 지속적으로 표시하면서 상기 입력이 검출되는지 여부를 모니터링할 수 있다.
다양한 실시예들에서, 제1 프로세서(310-1)는, 상기 메뉴가 표시되는 것에 응답하여, 타이머를 구동할 수 있다. 상기 타이머는, 상기 메뉴가 표시되는 시간을 제한하기 위해 이용될 수 있다. 예를 들어, 상기 타이머가 만료될 때까지 상기 표시된 메뉴에 대한 입력이 검출되지 않는 경우, 제1 프로세서(310-1)는 장치(300)가 기본 모드(default mode)에서 동작하도록 제어할 수 있다. 상기 타이머의 길이는, 고정된 값을 가질 수도 있고, 가변 값을 가질 수도 있다. 예를 들면, 상기 타이머의 길이는, 장치(300)의 배터리의 잔여량에 따라 변경될 수 있다. 다른 예를 들면, 상기 타이머의 길이는, 사용자의 설정에 따라 변경될 수 있다.
도 19의 도시와 달리, 상기 메뉴가 전자 장치(101)에서 표시되는 경우, 제1 프로세서(310-1)는, 전자 장치(101)로부터 상기 메뉴에 대한 입력에 관한 정보를 수신할 수 있다.
동작 1930에서, 상기 메뉴에 대한 입력을 검출하는 것에 응답하여, 제1 프로세서(310-1)는 상기 검출된 입력이 상기 복수의 모드들 중 상기 제1 모드를 나타내는 제1 객체에 대한 입력인지 여부를 확인할 수 있다. 상기 제1 모드는, 장치(300)에 포함된 복수의 프로세서들 중 적어도 하나의 프로세서의 구동이 요구되지 않는 모드일 수 있다. 상기 제1 모드는, 상기 복수의 모드들 내의 적어도 하나의 다른 모드보다 낮은 파워 소모가 요구되는 모드일 수 있다. 상기 제1 모드는, 상기 제2 모드 또는 상기 파노라마 모드일 수 있다. 예를 들어, 도 20을 참조하면, 프로세서(310-1)는 상기 검출된 입력이 파노라마 모드를 나타내는 객체 또는 2D 모드를 나타내는 객체에 대한 입력인지 여부를 검출할 수 있다. 상기 검출된 입력이 상기 복수의 모드들 중 상기 제1 모드를 나타내는 상기 제1 객체에 대한 입력임을 확인하는 경우, 제1 프로세서(310-1)는 동작 1940을 수행할 수 있다. 이와 달리, 상기 검출된 입력이 상기 복수의 모드들 중 상기 제1 모드를 나타내는 상기 객체에 대한 입력이 아님을 확인하는 경우, 제1 프로세서(310-1)는 본 알고리즘을 종료할 수 있다.
동작 1940에서, 제1 프로세서(310-1)는 장치(300)가 상기 제1 모드로 동작함을 확인할 수 있다. 제1 프로세서(310-1)는, 장치(300)가 상기 제1 모드로 동작함을 확인하는 것에 기반하여, 상기 제1 모드에서 이미지를 획득하지 않는 적어도 하나의 카메라와 연결된 프로세서의 파워 상태를 변경하기 위한 동작을 수행할 수 있다.
상술한 바와 같이, 다양한 실시예들에 따른 장치(300)에서 제1 프로세서(310-1)는 사용자의 입력에 따라 장치(300)의 모드를 결정하고, 결정된 모드에 기반하여 장치(300)에서 이미지의 획득을 위해 소모되는 파워를 감소시킬 수 있다.
도 21은 다양한 실시예들에 따라 전력을 제어하는 장치의 모드 제어 동작의 다른 예를 도시한다. 이러한 동작은, 도 3에 도시된 장치(300), 도 14에 도시된 장치(300), 도 15에 도시된 장치(300), 또는 장치(300)의 구성요소(예: 도 3의 프로세서(310), 도 14의 제1 프로세서(310-1), 또는 도 15의 제1 프로세서(310-1))에 의해 수행될 수 있다.
도 22는 다양한 실시예들에 따른 장치에서 표시되는 사용자 인터페이스의 다른 예를 도시한다.
도 21의 동작 2110 내지 동작 2160은 도 17의 동작 1710과 관련될 수 있다.
도 21을 참조하면, 동작 2110에서, 제1 프로세서(310-1)는 장치(300)가 복수의 모드들 중 제2 모드로 동작함을 확인할 수 있다. 상기 제2 모드는, 장치(300)에 포함된 복수의 카메라들 모두가 이용되는 모드일 수 있다. 예를 들면, 상기 제2 모드는, 전방향 3D 이미지를 생성하기 위한 모드일 수 있다. 상기 제2 모드는, 상기 복수의 모드들에서 상기 제2 모드와 다른 적어도 하나의 모드보다 많은 파워를 소모하는 모드일 수 있다.
동작 2120에서, 제1 프로세서(310-1)는 배터리(1500)의 상태를 모니터링할 수 있다. 예를 들면, 제1 프로세서(310-1)는 상기 제2 모드에 따른 파워 소모를 확인하기 위해, 배터리(1500)의 상태를 모니터링할 수 있다.
동작 2130에서, 제1 프로세서(310-1)는, 모니터링된 배터리(1500)의 상태가 지정된 상태인지 여부를 확인할 수 있다. 상기 지정된 상태는, 배터리(1500)의 전력 상태와 관련될 수 있다. 예를 들면, 상기 지정된 상태는, 배터리(1500)의 잔여량이 기준값 미만인 상태를 포함할 수 있다. 제1 프로세서(310-1)는, 배터리(1500)의 잔여량이 상기 기준값 미만인 경우, 배터리(1500)의 잔여량에 의해 결정되는 장치(300)의 남은 사용 시간과 장치(300)가 복수의 이미지들을 획득하기 위해 이용될 시간(즉, 사용 예상 시간) 사이의 관계를 결정할 수 있다. 제1 프로세서(310-1)는 상기 결정된 관계에 기반하여 상기 제1 모드로의 전환 여부를 결정할 수 있다. 다른 예를 들면, 상기 지정된 상태는, 배터리(1500)의 전력의 감소 속도가 지정된 속도 이상인 상태를 포함할 수 있다. 상기 배터리(1500)의 상태가 상기 지정된 상태가 아닌 경우, 제1 프로세서(310-1)는 배터리(1500)의 상태를 지속적으로 모니터링할 수 있다. 이와 달리, 상기 배터리(1500)의 상태가 상기 지정된 상태인 경우, 제1 프로세서(310-1)는 동작 2140을 수행할 수 있다.
동작 2140에서, 제1 프로세서(310-1)는, 배터리(1500)의 상태가 상기 지정된 상태임을 확인하는 것에 응답하여, 장치(300)의 모드가 상기 제1 모드로 전환됨을 나타내는 메시지를 표시할 수 있다. 상기 제1 모드는, 상기 제2 모드보다 낮은 파워를 소모하는 모드로, 상기 제2 모드에서 이용되는 카메라들의 수보다 작은(또는 상기 제2 모드에서 이용되는 프로세서들의 수보다 작은) 수의 카메라들(또는 프로세서들)을 이용하는 모드일 수 있다. 예를 들어, 도 22를 참조하면, 제1 프로세서(310-1)는, 파워 소모의 감소를 위해 장치(300)의 모드가 상기 제1 모드로 전환됨을 나타내는 메시지를 포함하는 UI(2200)를 표시할 수 있다. UI(2200)는 상기 제1 모드로 전환됨을 나타내는 텍스트(2205)를 포함할 수 있다. UI(2200)는 상기 제1 모드로의 전환까지 남은 시간을 나타내는 타이머(2210)를 포함할 수 있다. 타이머(2210)는 배터리(1500)의 상태가 상기 지정된 상태임을 확인하는 것을 조건으로 구동될 수 있다. 타이머(2210)의 길이는, 고정된 값으로 구성될 수 있다. 타이머(2210)의 길이는, 사용자의 설정 또는 배터리의 상태에 따라 변화될 수도 있다.
동작 2150에서, 제1 프로세서(310-1)는 장치(300)의 모드를 상기 제1 모드로 전환할 수 있다. 제1 프로세서(310-1)는, 배터리(1500)의 상태가 상기 지정된 상태임을 확인하는 것에 기반하여, 장치(300)의 모드를 상기 제1 모드로 전환할 수 있다. 다양한 실시예들에서, 제1 프로세서(310-1)는, 배터리(1500)의 상태가 상기 지정된 상태임을 확인하는 것에 응답하여, 장치(300)의 모드를 상기 제1 모드로 전환할 수 있다. UI(2200)는 타이머(2210)를 포함하지 않을 수 있다. 동작 2140 및 동작 2150은 동시에 수행될 수도 있고, 역순으로 수행될 수도 있다.
동작 2160에서, 제1 프로세서(310-1)는 장치(300)의 모드를 상기 제1 모드로 전환함으로써, 장치(300)가 상기 제1 모드로 동작함을 확인할 수 있다.
상술한 바와 같이, 다양한 실시예들에 따른 장치(300)에서 제1 프로세서(310-1)는, 배터리의 상태에 따라 장치의 모드를 적응적으로 파워 소모를 감소시킬 수 있는 모드로 전환함으로써, 장치(300)에서 소비되는 파워를 감소시킬 수 있다.
도 23은 다양한 실시예들에 따라 이미지의 처리를 제어하는 장치의 기능적 구성의 예를 도시한다. 이러한 기능적 구성은 도 3에 도시된 장치(300)에 포함될 수 있다.
도 23을 참조하면, 장치(300)는 제1 프로세서(310-1), 제2 프로세서(310-2), 제3 프로세서(310-3), 메모리(320), 제1 카메라(330-1), 제2 카메라(330-2), 제1 PMIC(350-1), 제2 PMIC(350-2), 및 제3 PMIC(350-3)를 포함할 수 있다.
제1 프로세서(310-1)는, 카메라와 동작적으로 연결된 장치(300)의 다른 프로세서(예: 제2 프로세서(310-2), 제3 프로세서(310-3) 등)에게 이미지의 촬영(또는 획득)을 요청하거나 촬영된 이미지의 인코딩 데이터를 요청할 수 있다. 제1 프로세서(310-1)는, 제1 카메라(330-1)를 통해 획득되는 이미지에 대한 제1 인코딩 데이터를 제1 카메라(330-1)에 동작적으로 연결된 제2 프로세서(310-2)에게 요청할 수 있다. 제1 프로세서(310-1)는, 제2 카메라(330-2)를 통해 획득되는 이미지에 대한 제2 인코딩 데이터를 제2 카메라(330-2)에 동작적으로 연결된 제3 프로세서(310-2)에게 요청할 수 있다. 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터는, 최종 이미지를 생성하기 위해 이용 가능(usable)하다. 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터 각각은, 독립적으로 디코딩 가능할 수 있다(decodable).
제1 프로세서(310-1)는, 장치(300)의 모드를 확인할 수 있다. 장치(300)의 모드는, 전방향 2D 이미지를 생성하기 위한 모드, 파노라마 2D 이미지를 생성하기 위한 모드, 파노라마 3D 이미지를 생성하기 위한 모드, 또는 전방향 3D 이미지를 생성하기 위한 모드 중 하나 이상을 포함할 수 있다. 장치(300)의 모드는, 장치(300)의 모든 카메라들을 이용하는 모드 및 장치(300)의 카메라들 중 일부를 이용하는 모드를 포함할 수 있다. 제1 프로세서(310-1)는, 인코딩 데이터를 요청할 프로세서를 결정하기 위해, 장치(300)의 모드를 확인할 수 있다. 예를 들어, 장치(300)가 이미지의 획득을 위해 제1 카메라(330-1)를 이용하지 않고 제2 카메라(330-2)를 이용하는 모드로 동작하는 경우, 제1 프로세서(310-1)는 제3 프로세서(310-3)에게만 인코딩 데이터를 요청할 수 있다. 제1 프로세서(310-1)는 제2 프로세서(310-2)에게 인코딩 데이터를 요청하지 않음으로써, 제2 프로세서(310-2)의 연산량을 감소시킬 수 있다. 뿐만 아니라, 제1 프로세서(310-1)는 제2 프로세서(310-2)에 의해 소비되는 파워를 감소시키기 위해, 제2 PMIC(350-2)에게 제2 프로세서(310-2)에 제공되는 파워를 차단하기 위한 신호(또는 제2 프로세서(310-2)에게 제공되는 파워를 감소시키기 위한 신호)를 송신할 수 있다. 다른 예를 들어, 장치(300)가 이미지의 획득을 위해 제1 카메라(330-1) 및 제2 카메라(330-2)를 이용하는 모드로 동작하는 경우, 제1 프로세서(310-1)는 제2 프로세서(310-2) 및 제3 프로세서(310-3)에게 인코딩 데이터를 각각 요청할 수 있다.
제1 프로세서(310-1)는 도 3에 도시된 장치(300)의 프로세서(310)에 상응할 수 있다.
제2 프로세서(310-2)는 제1 프로세서(310-1)로부터 인코딩 데이터를 요청 받을 수 있다. 상기 인코딩 데이터의 요청은, 제1 프로세서(310-1)가 장치(300)의 모드가 제1 카메라를 통해 이미지를 획득하는 것이 요구되는 모드임을 확인하는 것에 응답하여, 제1 프로세서(310-1)로부터 수신될 수 있다.
제2 프로세서(310-2)는, 상기 요청에 응답하여, 제2 프로세서(310-2)와 동작적으로 연결된 제1 카메라(330-1)를 통해 이미지를 획득할 수 있다. 제2 프로세서(310-2)는 상기 획득된 이미지를 인코딩할 수 있다. 제2 프로세서(310-2)는 상기 획득된 이미지를 인코딩함으로써 제1 인코딩 데이터를 생성할 수 있다. 상기 제1 인코딩 데이터는, 독립적으로 디코딩 가능할 수 있다. 상기 제1 인코딩 데이터는, 다른 인코딩 데이터와의 결합(예: 제3 프로세서(310-3)에 의해 생성되는 제2 인코딩 데이터와의 결합) 없이, 독립적으로 디코딩 가능하도록 구성될 수 있다.
제2 프로세서(310-2)는 상기 제1 인코딩 데이터를 제3 프로세서(310-3)에게 제공할 수 있다.
제2 프로세서(310-2)는 도 3에 도시된 장치(300)의 프로세서(310)에 상응할 수 있다.
제3 프로세서(310-3)는, 제1 프로세서(310-1)로부터 인코딩 데이터를 요청 받을 수 있다. 다양한 실시예들에서, 상기 인코딩 데이터의 요청은, 이미지의 획득이 요구되는 경우 장치(300)의 모드와 관계없이, 제1 프로세서(310-1)로부터 수신될 수 있다. 달리 표현하면, 제3 프로세서(310-3)와 동작적으로 연결된 제2 카메라(330-2)는 장치(300)의 모드와 관계없이 항상 이용되는 카메라이기 때문에, 상기 인코딩 데이터의 요청은, 장치(300)에서 이미지를 획득하기 위한 이벤트가 발생하는 경우, 장치(300)의 모드와 관계없이 제1 프로세서(310-1)로부터 수신될 수 있다.
제3 프로세서(310-3)는 상기 요청에 응답하여, 제3 프로세서(310-3)와 동작적으로 연결된 제2 카메라(330-2)를 통해 이미지를 획득할 수 있다. 제3 프로세서(310-3)는 상기 획득된 이미지를 인코딩할 수 있다. 제3 프로세서(310-3)는 상기 획득된 이미지를 인코딩함으로써, 제2 인코딩 데이터를 생성할 수 있다. 상기 제2 인코딩 데이터는, 독립적으로 디코딩 가능할 수 있다. 상기 제2 인코딩 데이터는, 다른 인코딩 데이터와의 결합(예: 제2 프로세서(310-2)에 의해 생성되는 상기 제1 인코딩 데이터와의 결합) 없이, 독립적으로 디코딩 가능하도록 구성될 수 있다.
제3 프로세서(310-3)는 상기 제2 인코딩 데이터를 제1 프로세서(310-1)에게 제공할 수 있다. 다양한 실시예들에서, 제2 프로세서(310-2)로부터 상기 제1 인코딩 데이터를 수신하는 경우, 제3 프로세서(310-3)는 상기 제1 인코딩 데이터와 함께 상기 제2 인코딩 데이터를 제1 프로세서(310-1)에게 제공할 수 있다. 제1 프로세서(310-1)에게 제공되는 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터는 서로 독립적일 수 있다. 달리 표현하면, 제3 프로세서(310-3)는 상기 제1 인코딩 데이터와 상기 제2 인코딩 데이터를 별개의 데이터로 제1 프로세서(310-1)에게 제공할 수 있다.
제3 프로세서(310-3)는, 도 2에 도시된 장치(300)의 프로세서(310)에 상응할 수 있다.
제1 프로세서(310-1)는, 장치(300)가 제1 카메라를 통해 이미지를 획득하는 것이 요구되지 않는 모드에서 동작하는 경우, 상기 제2 인코딩 데이터만을 제3 프로세서(310-3)로부터 수신할 수 있다. 이와 달리, 장치(300)가 제1 카메라를 통해 이미지를 획득하는 것이 요구되는 모드에서 동작하는 경우, 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터를 제3 프로세서(310-3)로부터 수신할 수 있다.
제1 프로세서(310-1)는 수신된 인코딩 데이터를 처리할 수 있다.
다양한 실시예들에서, 제1 프로세서(310-1)는 상기 수신된 인코딩 데이터(예: 상기 제1 인코딩 데이터 및/또는 상기 제2 인코딩 데이터)를 하나의 데이터 셋으로 저장할 수 있다. 예를 들면, 제1 프로세서(310-1)는, 장치(300)가 상기 제1 카메라를 통해 이미지를 획득하는 것이 요구되지 않는 모드에서 동작하는 경우, 상기 수신된 제2 인코딩 데이터만을 하나의 데이터 셋(set)으로 저장할 수 있다. 다른 예를 들면, 제1 프로세서(310-1)는, 장치(300)가 상기 제1 카메라를 통해 이미지를 획득하는 것이 요구되는 모드에서 동작하는 경우, 상기 수신된 제1 인코딩 데이터 및 상기 수신된 제2 인코딩 데이터 모두를 하나의 데이터 셋으로 저장할 수 있다. 상기 하나의 데이터 셋은, 최종 이미지(예: 전방향 2D 이미지, 전방향 3D 이미지, 파노라마 2D 이미지, 파노라마 3D 이미지 등)를 생성하기 위한 데이터 처리 단위일 수 있다. 상기 하나의 데이터 셋 내에 포함된 인코딩 데이터는, 상기 하나의 데이터 셋 내에 포함된 다른 인코딩 데이터와 관계없이, 독립적으로 디코딩될 수 있다. 제1 프로세서(310-1)는, 상기 하나의 데이터 셋을 메모리(320)에 저장할 수 있다. 예를 들면, 제1 프로세서(310-1)는, 다른 장치(예: 도 1에 도시된 전자 장치(101))에서 상기 하나의 데이터 셋에 기반하여 최종 이미지를 생성하기 위해, 상기 하나의 데이터 셋을 메모리(320)에 저장할 수 있다. 다른 예를 들면, 제1 프로세서(310-1)는, 장치(300)에서 상기 하나의 데이터 셋에 기반하여 최종 이미지를 생성하기 위해, 상기 하나의 데이터 셋을 메모리(320)에 저장할 수 있다.
다양한 실시예들에서, 제1 프로세서(310-1)는 상기 수신된 인코딩 데이터를 하나의 데이터 셋으로 다른 장치(예: 전자 장치(101))에게 송신할 수 있다. 제1 프로세서(310-1)는, 상기 다른 장치에서 상기 하나의 데이터 셋에 기반하여 상기 최종 이미지를 생성하기 위해, 상기 다른 장치에게 상기 하나의 데이터 셋을 송신할 수 있다. 상기 다른 장치에게 송신되는 상기 하나의 데이터 셋 내의 인코딩 데이터는, 상기 다른 장치에서 독립적으로 디코딩 가능할 수 있다. 예를 들어, 상기 하나의 데이터 셋 내에 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터가 포함된 경우, 상기 하나의 데이터 셋을 수신한 상기 다른 장치는, 상기 하나의 데이터 셋으로부터 상기 제1 인코딩 데이터를 확인하고, 상기 제2 인코딩 데이터의 디코딩 여부와 관계없이 상기 제1 인코딩 데이터를 디코딩함으로써, 적어도 하나의 이미지를 생성할 수 있다. 상기 하나의 데이터 셋을 수신한 상기 다른 장치는, 상기 하나의 데이터 셋으로부터 상기 제2 인코딩 데이터를 확인하고, 상기 제1 인코딩 데이터의 디코딩 여부와 관계없이 상기 제2 인코딩 데이터를 디코딩함으로써, 하나의 이미지를 생성할 수 있다.
다양한 실시예에 따르면, 장치(300)은 다른 장치에게 하나의 데이터 셋을 송신할 수 있다. 상기 다른 장치는 상기 하나의 데이터 셋을 수신할 수 있다. 상기 다른 장치는,,상기 하나의 데이터 셋에 포함된 적어도 일부 데이터를 디코딩 할 수 있다. 예를 들어, 상기 다른 장치는, 전방향 2D 이미지를 생성하기 위하여, 제 1 인코딩 데이터를 디코딩하여 전방향 2D 이미지를 생성할 수 있다. 상기 다른 장치는, 상기 전방향 2D 이미지를 생성을 위하여, 제1 인코딩 데이터를 디코딩함으로써, 상기 제1 인코딩 데이터에 포함되고, 복수의 카메라들로부터 촬영된 이미지들을 획득하고, 상기 획득된 이미지들을 스티칭함으로써 전방향 2D 이미지를 생성할 수 있다.
다양한 실시예들에 따른 장치(300)는, 독립적으로 디코딩 가능하도록 인코딩 데이터를 구성함으로써, 이미지 획득 절차에서의 장치(300)의 모드와 관계없이 최종 이미지를 생성할 수 있다. 예를 들어, 장치(300)는 제1 카메라(330-1) 및 제2 카메라(330-2) 모두를 이용하는 모드에 기반하여 복수의 이미지들을 획득하였더라도, 장치(300) 또는 장치(300)와 연결된 전자 장치(101)는, 스티칭 절차에서, 제1 카메라(330-1)로부터 획득된 이미지에 대한 상기 제1 인코딩 데이터 및 제2 카메라(330-2)로부터 획득된 이미지에 대한 상기 제2 인코딩 데이터 중 상기 제1 인코딩 데이터(또는 상기 제2 인코딩 데이터)에 기반하여 최종 이미지를 생성할 수 있다.
제1 카메라(330-1)는 제2 프로세서(310-2)와 동작적으로 연결될 수 있다. 제1 카메라(330-1)는 제1 방향으로 향하도록 구성될 수 있다. 제1 카메라(330-1)는 제1 FOV를 가질 수 있다. 제1 카메라(330-1)를 통해 획득되는 이미지와 관련된 광학적 데이터(optical data)는 제2 프로세서(310-2)에게 제공될 수 있다.
제1 카메라(330-1)는 도 3에 도시된 장치(300)의 카메라(330)에 상응할 수 있다.
제2 카메라(330-2)는 제3 프로세서(310-3)와 동작적으로 연결될 수 있다. 제2 카메라(330-2)는 상기 제1 방향에 상응하는 제2 방향으로 향하도록 구성될 수 있다. 제2 카메라(330-2)는 상기 제1 FOV와 일부 중첩되는 제2 FOV를 가질 수 있다. 제2 카메라(330-2)는 상기 제1 방향에 상응하는 상기 제2 방향으로 향하도록 구성되고, 상기 제1 FOV와 일부 중첩되는 상기 제2 FOV를 가지기 때문에, 제2 카메라(330-2)는, 제1 카메라(330-1)와 비교하여(relative to), 사람(human)의 좌안(left eye)과 같은 기능을 수행할 수 있다. 달리 표현하면, 제1 카메라(330-1)는, 제2 카메라(330-2)와 비교하여, 사람의 우안(right eye)과 같은 기능을 수행할 수 있다. 다시 말해, 제2 카메라(330-2)를 통해 획득되는 이미지만을 이용하는 경우에서 최종 이미지는 2D 이미지일 수 있으며, 제1 카메라(330-1)를 통해 획득되는 이미지 및 제2 카메라(330-2)를 통해 획득되는 이미지 모두를 이용하는 경우에서 최종 이미지는 3D 이미지일 수 있다. 제2 카메라(330-2)를 통해 획득되는 이미지와 관련된 광학적 데이터는 제3 프로세서(310-3)에게 제공될 수 있다. 한 실시예에 따르면, 제2 카메라(330-2)는, 장치(300)가 이미지를 획득하는 경우, 장치(300)의 모드와 관계없이, 이용되는 카메라일 수 있다. 예를 들어, 제 2 카메라(330-2)는, 2D 모드 동작 및 3D 모드 동작 모두 동작하도록 설정된 경우, 모드와 관계없이 이용되는 카메라일 수 있다.
제2 카메라(330-2)는 도 3에 도시된 장치(300)의 카메라(330)에 상응할 수 있다.
제1 PMIC(350-1)는 제1 프로세서(310-1)에게 파워를 제공하기 위해 이용될 수 있다.
제2 PMIC(350-2)는 제2 프로세서(310-2)에게 파워를 제공하기 위해 이용될 수 있다. 제2 PMIC(350-2)는, 제1 프로세서(310-1)로부터 제2 프로세서(310-2)에게 파워를 제공하는 것을 중단하거나 제2 프로세서(310-2)에게 제공되는 파워를 감소시키기 위한 신호를 수신하는 경우, 제2 프로세서(310-2)에게 파워를 제공하는 것을 중단하거나 제2 프로세서(310-2)에게 제공되는 파워를 감소시킬 수 있다.
제3 PMIC(350-3)는 제3 프로세서(310-3)에게 파워를 제공하기 위해 이용될 수 있다. 제1 PMIC(350-1), 제2 PMIC(350-2), 및 제3 PMIC(350-3)는 도 3에 도시된 장치(300)의 PMIC(350)에 상응할 수 있다.
메모리(320)는 제공되는 인코딩 데이터를 저장하거나, 임시적으로(temporarily) 저장할 수 있다. 메모리(320)는 제공되는 인코딩 데이터를 상기 하나의 데이터 셋으로 저장할 수 있다. 예를 들어, 상기 제2 인코딩 데이터만이 제공되는 경우, 메모리(320)는 상기 제2 인코딩 데이터만을 하나의 데이터 셋으로 저장할 수 있다. 다른 예를 들어, 상기 제2 인코딩 데이터 및 상기 제3 인코딩 데이터가 제공되는 경우, 메모리(320)는 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터 모두를 하나의 데이터 셋으로 저장할 수 있다. 다양한 실시예들에서, 메모리(320)에 저장된 하나의 데이터 셋은, 최종 이미지를 생성하기 위한 디코딩 및 스티칭을 위해, 다른 장치(예: 전자 장치(101))에 송신될 수 있다. 다양한 실시예들에서, 메모리(320)에 저장된 하나의 데이터 셋은, 최종 이미지를 생성하기 위해, 장치(300)에서 디코딩되고 스티칭될 수 있다.
상술한 바와 같이, 다양한 실시예들에서, 장치(300)는 장치(300)의 모드에 관계없이 이용되는 카메라와 연결되는 프로세서(예: 제3 프로세서(310-3))와 장치(300)의 모드에 따라 이용되지 않는 카메라와 연결되는 프로세서(예: 제2 프로세서(310-2))를 구분할 수 있다. 이러한 구분을 통해, 장치(300)는 특정 모드를 실행하기 위해 요구되는 연산량을 감소시킬 수 있다. 예를 들면, 장치(300)의 제2 카메라(330-2)는, 장치(300)가 이미지를 획득하는 경우, 장치(300)의 모드와 관계없이, 이용되는 카메라일 수 있다. 예를 들어, 제 2 카메라(330-2)는, 2D 모드 동작 및 3D 모드 동작 모두 동작하도록 설정된 경우, 모드와 관계없이 이용되는 카메라일 수 있다.
다양한 실시예들에서, 장치(300)에서 생성되는 인코딩 데이터는 독립적으로 디코딩 가능할 수 있다. 독립적으로 디코딩 가능하도록 구성된 인코딩 데이터를 통해, 장치(300)는 이미지 획득 단계에서 목표된 최종 이미지의 속성과 이미지 스티칭 단계에서의 최종 이미지의 속성을 독립적으로 운영할 수 있다. 독립적으로 디코딩 가능하도록 구성된 인코딩 데이터를 통해, 상기 최종 이미지를 생성하는 동작을 수행하는 장치는, 보다 빠르게 인코딩 데이터를 조회할 수 있다.
도 24는 다양한 실시예들에 따라 이미지의 처리를 제어하는 장치의 기능적 구성의 다른 예를 도시한다. 이러한 기능적 구성은 도 3에 도시된 장치(300)에 포함될 수 있다.
도 24에서, 제1 카메라(330-1) 내지 제16 카메라(330-16) 각각은 도 15에 도시된 제1 카메라(330-1) 내지 제16 카메라(330-16)에 상응할 수 있다.
도 24를 참조하면, 장치(300)는 제1 프로세서(310-1) 내지 제5 프로세서(310-5), 메모리(320), 제1 카메라(330-1) 내지 제16 카메라(330-16), 통신 인터페이스(340), 마이크로폰(360-1), 및 마이크로폰(360-2)을 포함할 수 있다.
제1 프로세서(310-1)는, 장치(300)가 전방향 3D 이미지를 생성하기 위한 모드로 동작하는 것에 응답하여, 제2 프로세서(310-2), 제3 프로세서(310-3), 제4 프로세서(310-4), 및 제5 프로세서(310-5)에게 인코딩 데이터를 요청할 수 있다. 도 16을 참조하면, 전방향 3D 이미지를 생성하기 위해, 상기 제1 이미지 내지 상기 제16 이미지를 획득하는 것이 요구될 수 있다. 제1 프로세서(310-1)는, 상기 제1 이미지를 획득하도록 구성되는 제1 카메라(330-1), 상기 제3 이미지를 획득하도록 구성되는 제3 카메라(330-3), 상기 제5 이미지를 획득하도록 구성되는 제5 카메라(330-5), 및 상기 제7 이미지를 획득하도록 구성된 제7 카메라(330-7)와 동작적으로 연결된 제2 프로세서(310-2)에게 상기 제1 이미지, 상기 제3 이미지, 상기 제5 이미지, 및 상기 제7 이미지를 인코딩함으로써 생성되는 인코딩 데이터를 요청할 수 있다. 제1 프로세서(310-1)는, 상기 제9 이미지를 획득하도록 구성되는 제9 카메라(330-9), 상기 제11 이미지를 획득하도록 구성되는 제11 카메라(330-11), 상기 제13 이미지를 획득하도록 구성되는 제13 카메라(330-13), 및 상기 제15 이미지를 획득하도록 구성된 제15 카메라(330-15)와 동작적으로 연결된 제4 프로세서(310-4)에게 상기 제9 이미지, 상기 제11 이미지, 상기 제13 이미지, 및 상기 제15 이미지를 인코딩함으로써 생성되는 인코딩 데이터를 요청할 수 있다.
제1 프로세서(310-1)는 제1 카메라(330-1) 내지 제16 카메라(330-16)의 동기(synchronization)를 위해, 동기 신호를 송신할 수 있다. 상기 동기 신호는, 동작 주파수와 관련된 정보를 포함할 수 있다. 예를 들면, 제1 프로세서(310-1)는 제1 카메라(330-1) 내지 제16 카메라(330-16) 각각에게 상기 동기 신호를 송신할 수 있다. 상기 송신되는 동기 신호들 중 일부는, 카메라들 사이에서 야기되는 노이즈(noise)를 감소시키기 위해, 상기 송신되는 동기 신호들 중 다른 일부와 다른 위상을 가질 수 있다. 예를 들면, 상기 동기 신호들 중 적어도 하나의 동기 신호는, 제1 위상을 가지는 반면, 상기 동기 신호들 중 적어도 하나의 다른 동기 신호는, 제2 위상을 가질 수 있다. 예를 들면, 제1 카메라(330-1), 제2 카메라(330-2), 제3 카메라(330-3), 제4 카메라(330-4), 제9 카메라(330-9), 제10 카메라(330-10), 제11 카메라(330-11), 및 제12 카메라(330-12)를 포함하는 제1 카메라 셋에 제공되는 동기 신호의 위상과 제5 카메라(330-5), 제6 카메라(330-6), 제7 카메라(330-7), 제8 카메라(330-8), 제13 카메라(330-13), 제14 카메라(330-14), 제15 카메라(330-15), 및 제16 카메라(330-16)를 포함하는 제2 카메라 셋에 제공되는 동기 신호의 위상 사이의 차는 180도일 수 있다. 제1 프로세서(310-1)는, 상기 동기 신호의 송신을 통해, 카메라(330-1) 내지 카메라(330-16)를 획득되는 복수의 이미지들의 획득 시점을 일치시킬 수 있다. 다른 예를 들면, 제1 카메라(330-1), 제5 카메라(330-5), 제9 카메라(330-9), 제13 카메라(330-11), 제10 카메라(330-10), 제 14 카메라(330-14), 제2 카메라(330-2), 및 제6 카메라(330-6) 각각에게 제공되는 동기 신호의 위상은, 제1 카메라(330-1), 제5 카메라(330-5), 제9 카메라(330-9), 제13 카메라(330-11), 제10 카메라(330-10), 제 14 카메라(330-14), 제2 카메라(330-2), 및 제6 카메라(330-6) 각각과 인접하게 배치될 수 있는 제3 카메라(330-3), 제7 카메라(330-7), 제 11 카메라(330-11), 제 15 카메라(330-15), 제12 카메라(330-12), 제16 카메라(330-16), 제4 카메라(330-4), 및 제8 카메라(330-8) 각각에게 제공되는 동기 신호의 위상과 다를 수 있다. 상기 동기 신호들의 위상 차는 180도일 수 있다.
또 다른 예를 들면, 제1 프로세서(310-1)는 제2 프로세서(310-2), 제3 프로세서(310-3), 제4 프로세서(310-4), 및 제5 프로세서(310-5) 각각에게 상기 동기 신호를 송신할 수 있다. 상기 송신된 동기 신호들 각각은 제2 프로세서(310-2) 내지 제5 프로세서(310-5) 각각을 통해 제1 카메라(330-1) 내지 제16 카메라(330-16)에게 수신될 수 있다. 상기 제1 카메라(330-1) 내지 제16 카메라(330-16) 중 적어도 일부는, 노이즈의 감소를 위해, 제2 프로세서(310-2), 제3 프로세서(310-3), 제4 프로세서(310-4), 및 제5 프로세서(310-5) 중 적어도 일부에 의해 위상 변환이 수행된 동기 신호를 수신할 수 있다.
제2 프로세서(310-2)는 제1 카메라(330-1), 제3 카메라(330-3), 제5 카메라(330-5), 및 제7 카메라(330-7)와 동작적으로 연결될 수 있다. 예를 들면, 제2 프로세서(310-2)는 FPGA(field programmable gate array)(미도시)를 통해 제1 카메라(330-1), 제3 카메라(330-3), 제5 카메라(330-5), 및 제7 카메라(330-7)와 동작적으로 연결될 수 있다. 제2 프로세서(310-2)는 제1 카메라(330-1)를 통해 제1 이미지를 획득하고, 제3 카메라(330-3)를 통해 제3 이미지를 획득하고, 제5 카메라(330-5)를 통해 제5 이미지를 획득하며, 제7 카메라(330-7)를 통해 제7 이미지를 획득할 수 있다. 제2 프로세서(310-2)는 상기 제1 이미지, 상기 제3 이미지, 상기 제5 이미지, 및 상기 제7 이미지를 FPGA를 통해 수신할 수 있다. 제2 프로세서(310-2)는 상기 제1 이미지, 상기 제3 이미지, 상기 제5 이미지, 및 상기 제7 이미지에 기반하여 제1 인코딩 데이터를 생성할 수 있다. 제2 프로세서(310-2)는 상기 제1 이미지, 상기 제3 이미지, 상기 제5 이미지, 및 상기 제7 이미지를 인코딩함으로써, 상기 제1 인코딩 데이터를 생성할 수 있다. 상기 제1 인코딩 데이터는, 다른 인코딩 데이터와 관계없이, 독립적으로 디코딩 가능할 수 있다. 제2 프로세서(310-2)는 상기 제1 인코딩 데이터를 제4 프로세서(310-4)에게 제공할 수 있다.
제4 프로세서(310-4)는 제9 카메라(330-9), 제11 카메라(330-11), 제13 카메라(330-13), 및 제15 카메라(330-15)와 동작적으로 연결될 수 있다. 예를 들면, 제4 프로세서(310-4)는 FPGA를 통해 제9 카메라(330-9), 제11 카메라(330-11), 제13 카메라(330-13), 및 제15 카메라(330-15)와 동작적으로 연결될 수 있다. 제4 프로세서(310-4)는 제9 카메라(330-9)를 통해 제9 이미지를 획득하고, 제11 카메라(330-11)를 통해 제11 이미지를 획득하고, 제13 카메라(330-13)를 통해 제13 이미지를 획득하며, 제15 카메라(330-15)를 통해 제15 이미지를 획득할 수 있다. 제4 프로세서(310-4)는 상기 제9 이미지, 상기 제11 이미지, 상기 제13 이미지, 및 상기 제15 이미지를 FPGA를 통해 수신할 수 있다. 제4 프로세서(310-4)는 상기 제9 이미지, 상기 제11 이미지, 상기 제13 이미지, 및 상기 제15 이미지에 기반하여 제3 인코딩 데이터를 생성할 수 있다. 제4 프로세서(310-4)는 상기 제9 이미지, 상기 제11 이미지, 상기 제13 이미지, 및 상기 제15 이미지를 인코딩함으로써, 상기 제3 인코딩 데이터를 생성할 수 있다. 상기 제3 인코딩 데이터는, 다른 인코딩 데이터와 관계없이 독립적으로 디코딩 가능할 수 있다. 제4 프로세서(310-4)는 상기 제1 인코딩 데이터 및 상기 제3 인코딩 데이터를 제5 프로세서(310-5)에게 제공할 수 있다. 상기 제5 프로세서(310-5)에 제공되는 상기 제1 인코딩 데이터 및 상기 제3 인코딩 데이터 각각은 독립적으로 디코딩 가능하도록 구성될 수 있다.
제5 프로세서(310-5)는 제10 카메라(330-10), 제12 카메라(330-12), 제14 카메라(330-14), 및 제16 카메라(330-16)와 동작적으로 연결될 수 있다. 예를 들면, 제5 프로세서(310-5)는 FPGA를 통해 제10 카메라(330-10), 제12 카메라(330-12), 제14 카메라(330-14), 및 제16 카메라(330-16)와 동작적으로 연결될 수 있다. 제5 프로세서(310-5)는 제10 카메라(330-10)를 통해 제10 이미지를 획득하고, 제12 카메라(330-12)를 통해 제12 이미지를 획득하고, 제14 카메라(330-14)를 통해 제14 이미지를 획득하며, 제16 카메라(330-16)를 통해 제16 이미지를 획득할 수 있다. 제5 프로세서(310-5)는 상기 제10 이미지, 상기 제12 이미지, 상기 제14 이미지, 및 상기 제16 이미지를 FPGA를 통해 수신할 수 있다. 제5 프로세서(310-5)는 상기 제10 이미지, 상기 제12 이미지, 상기 제14 이미지, 및 상기 제16 이미지에 기반하여 제4 인코딩 데이터를 생성할 수 있다. 제5 프로세서(310-5)는 상기 제10 이미지, 상기 제12 이미지, 상기 제14 이미지, 및 상기 제16 이미지를 인코딩함으로써, 상기 제4 인코딩 데이터를 생성할 수 있다. 상기 제4 인코딩 데이터는, 다른 인코딩 데이터와 관계없이 독립적으로 디코딩 가능할 수 있다. 제5 프로세서(310-5)는 상기 제1 인코딩 데이터, 상기 제3 인코딩 데이터, 상기 제4 인코딩 데이터를 제3 프로세서(310-3)에게 제공할 수 있다. 상기 제3 프로세서(310-3)에 제공되는 상기 제1 인코딩 데이터, 상기 제3 인코딩 데이터, 및 상기 제4 인코딩 데이터 각각은 독립적으로 디코딩 가능하도록 구성될 수 있다.
제3 프로세서(310-3)는 제2 카메라(330-2), 제4 카메라(330-4), 제6 카메라(330-6), 및 제8 카메라(330-8)와 동작적으로 연결될 수 있다. 예를 들면, 제3 프로세서(310-3)는 FPGA를 통해 제2 카메라(330-2), 제4 카메라(330-4), 제6 카메라(330-6), 및 제8 카메라(330-8)와 동작적으로 연결될 수 있다. 제3 프로세서(310-3)는 제2 카메라(330-2)를 통해 제2 이미지를 획득하고, 제4 카메라(330-4)를 통해 제4 이미지를 획득하고, 제6 카메라(330-6)를 통해 제6 이미지를 획득하며, 제8 카메라(330-8)를 통해 제8 이미지를 획득할 수 있다. 제3 프로세서(310-3)는 상기 제2 이미지, 상기 제4 이미지, 상기 제6 이미지, 및 상기 제8 이미지를 FPGA를 통해 수신할 수 있다. 제3 프로세서(310-3)는 상기 제2 이미지, 상기 제4 이미지, 상기 제6 이미지, 및 상기 제8 이미지에 기반하여 제2 인코딩 데이터를 생성할 수 있다. 제3 프로세서(310-3)는 상기 제2 이미지, 상기 제4 이미지, 상기 제6 이미지, 및 상기 제8 이미지를 인코딩함으로써, 상기 제2 인코딩 데이터를 생성할 수 있다. 상기 제2 인코딩 데이터는, 다른 인코딩 데이터와 관계없이 독립적으로 디코딩 가능할 수 있다.
제3 프로세서(310-3)는 제3 프로세서(310-3)와 동작적으로 연결된 마이크로폰(360-2)을 통해 상기 제1 이미지 내지 상기 제16 이미지 중 적어도 하나의 이미지와 관련된 오디오를 수신할 수 있다. 마이크로폰(360-2)는, 실시예들에 따라, 장치(300)에 포함되지 않을 수 있다. 마이크로폰(360-2)는, 실시예들에 따라, 복수의 마이크로폰들의 세트 또는 그룹으로 구성될 수도 있다. 제3 프로세서(310-3)는 상기 수신된 오디오에 기반하여 제2 오디오 인코딩 데이터를 생성할 수 있다. 상기 제2 오디오 인코딩 데이터는, 다른 인코딩 데이터와 관계없이 독립적으로 디코딩 가능할 수 있다.
제3 프로세서(310-3)는 상기 제1 인코딩 데이터, 상기 제2 인코딩 데이터, 상기 제3 인코딩 데이터, 상기 제4 인코딩 데이터, 및 상기 제2 오디오 인코딩 데이터를 제1 프로세서(310-1)에게 제공할 수 있다. 제1 프로세서(310-1)에 제공되는 상기 제1 인코딩 데이터, 상기 제2 인코딩 데이터, 상기 제3 인코딩 데이터, 상기 제4 인코딩 데이터, 및 상기 제2 오디오 인코딩 데이터 각각은 독립적으로 디코딩 가능하도록 구성될 수 있다.
도 24에 도시하지 않았으나, 제1 프로세서(310-1)는, 장치(300)가 전방향 3D 이미지를 생성하기 위한 모드로 동작하는 것에 응답하여, 도 15에 도시된 제17 카메라(330-17)에 상응하는 제17 카메라를 통해 제17 이미지를 획득하고, 획득된 제17 이미지에 기반하여 제5 인코딩 데이터를 생성할 수 있다.
제1 프로세서(310-1)는, 장치(300)가 전방향 3D 이미지를 생성하기 위한 모드로 동작하는 것에 응답하여, 제1 프로세서(310-1)에 동작적으로 연결된 마이크로폰(360-1)을 통해 상기 제1 이미지 내지 상기 제17 이미지 중 적어도 하나의 이미지와 관련된 오디오를 수신할 수 있다. 제1 프로세서(310-1)는 상기 수신된 오디오에 기반하여 제1 오디오 인코딩 데이터를 생성할 수 있다. 상기 제1 오디오 인코딩 데이터는, 다른 인코딩 데이터와 관계없이 독립적으로 디코딩 가능할 수 있다.
제1 프로세서(310-1)는 상기 수신된 제1 인코딩 데이터, 상기 수신된 제2 인코딩 데이터, 상기 수신된 제3 인코딩 데이터, 상기 수신된 제4 인코딩 데이터, 상기 생성된 제5 인코딩 데이터, 상기 수신된 제2 오디오 인코딩 데이터, 및 상기 생성된 제1 오디오 인코딩 데이터를 상기 전방향 3D 이미지를 생성하기 위한 하나의 데이터 셋으로 구성할 수 있다. 상기 하나의 데이터 셋 내에서, 인코딩 데이터의 배치 순서는, 도 24에 도시된 바와 같이, 상기 제1 인코딩 데이터, 상기 제3 인코딩 데이터, 상기 제4 인코딩 데이터, 상기 제2 인코딩 데이터, 상기 제5 인코딩 데이터, 상기 제2 오디오 인코딩 데이터, 및 상기 제1 오디오 인코딩 데이터 순일 수 있다. 제1 프로세서(310-1)는 상기 구성된 하나의 데이터 셋을 메모리(320)에 저장할 수 있다. 제1 프로세서(310-1)는 상기 구성된 하나의 데이터 셋을 통신 인터페이스(340)를 통해 다른 장치(예: 스티칭을 위한 전자 장치(101))에게 송신할 수 있다. 상기 저장되거나 송신되는 하나의 데이터 셋 내에 포함되는 다양한 데이터 각각은, 독립적으로 디코딩 가능할 수 있다.
상술한 바와 같이, 다양한 실시예들에 따른 장치(300)는 전방향 3D 이미지를 생성하기 위해, 상기 제1 인코딩 데이터 내지 상기 제4 인코딩 데이터, 상기 제1 오디오 인코딩 데이터, 상기 제2 오디오 인코딩 데이터를 생성할 수 있다. 상기 제1 인코딩 데이터 내지 상기 제4 인코딩 데이터, 상기 제1 오디오 인코딩 데이터, 상기 제2 오디오 인코딩 데이터 각각은, 독립적으로 디코딩 가능하도록 구성되기 때문에, 상기 장치(300)를 통해 인코딩 데이터를 제공 받는 장치는, 장치(300)가 전방향 3D 이미지를 생성하기 위한 모드를 통해 상기 제공된 인코딩 데이터를 생성하였다 하더라도, 선택적 디코딩을 통해 상기 전방향 3D 이미지가 아닌 전방향 2D 이미지, 파노라마 2D 이미지, 또는 파노라마 3D 이미지 등을 생성할 수 있다.
다양한 실시예들에 따른 장치(300)는 제1 프로세서(310-1)로부터 제2 프로세서(310-2) 내지 제5 프로세서(310-5)에게 각각 송신되는 동기 신호들 또는 제1 프로세서(310-1)로부터 제1 카메라(310-1) 내지 16 카메라(310-16)에게 각각 송신되는 동기 신호들을 통해 제1 카메라(310-1) 내지 16 카메라(310-16)의 이미지 획득 시점을 일치시킬 수 있다. 다양한 실시예들에 따른 장치(300)는 상기 동기 신호들 중 적어도 일부의 위상을 변환함으로써, 동기 신호의 시그널링 중 발생할 수 있는 노이즈를 감소시킬 수 있다.
도 25는 다양한 실시예들에 따라 이미지의 처리를 제어하는 장치의 기능적 구성의 또 다른 예를 도시한다. 이러한 기능적 구성은 도 3에 도시된 장치(300)에 포함될 수 있다.
도 25에서, 장치(300)에 포함된 구성요소들(예: 제1 프로세서(310-1) 내지 제5 프로세서(310-5), 메모리(320), 제1 카메라(330-1) 내지 제16 카메라(330-16), 통신 인터페이스(340), 마이크로폰(360-1), 및 마이크로폰(360-2)) 각각은 도 24에 도시된 장치(300)에 포함된 구성요소들 각각에 상응할 수 있다.
도 25를 참조하면, 제1 프로세서(310-1)는, 장치(300)가 전방향 2D 이미지를 생성하기 위한 모드로 동작하는 것에 응답하여, 제5 프로세서(310-5) 및 제3 프로세서(310-3)에게 인코딩 데이터를 요청할 수 있다. 도 16을 참조하면, 전방향 2D 이미지를 생성하기 위해, 상기 제2 이미지, 상기 제4 이미지, 상기 제6 이미지, 상기 제8 이미지, 상기 제10 이미지, 상기 제12 이미지, 상기 제14 이미지, 및 상기 제16 이미지를 획득하는 것이 요구될 수 있다. 제1 프로세서(310-1)는, 상기 제10 이미지를 획득하도록 구성되는 제10 카메라(330-10), 상기 제12 이미지를 획득하도록 구성되는 제12 카메라(330-12), 상기 제14 이미지를 획득하도록 구성되는 제14 카메라(330-14), 및 상기 제16 이미지를 획득하도록 구성된 제16 카메라(330-16)와 동작적으로 연결된 제5 프로세서(310-5)에게 상기 제10 이미지, 상기 제12 이미지, 상기 제14 이미지, 및 상기 제16 이미지를 인코딩함으로써 생성되는 인코딩 데이터를 요청할 수 있다. 제1 프로세서(310-1)는, 상기 제2 이미지를 획득하도록 구성되는 제2 카메라(330-2), 상기 제4 이미지를 획득하도록 구성되는 제4 카메라(330-4), 상기 제6 이미지를 획득하도록 구성되는 제6 카메라(330-6), 및 상기 제8 이미지를 획득하도록 구성된 제8 카메라(330-8)와 동작적으로 연결된 제3 프로세서(310-3)에게 상기 제2 이미지, 상기 제4 이미지, 상기 제6 이미지, 및 상기 제8 이미지를 인코딩함으로써 생성되는 인코딩 데이터를 요청할 수 있다.
제1 프로세서(310-1)는 제2 카메라(330-2), 제4 카메라(330-4), 제6 카메라(330-6), 제8 카메라(330-8), 제10 카메라(330-10), 제12 카메라(330-12), 제14 카메라(330-14), 및 제16 카메라(330-16)의 동기를 위해, 동기 신호를 송신할 수 있다. 상기 동기 신호는, 동작 주파수와 관련된 정보를 포함할 수 있다. 예를 들면, 제1 프로세서(310-1)는, 제2 카메라(330-2), 제4 카메라(330-4), 제6 카메라(330-6), 제8 카메라(330-8), 제10 카메라(330-10), 제12 카메라(330-12), 제14 카메라(330-14), 및 제16 카메라(330-16) 각각에게 상기 동기 신호를 송신할 수 있다. 상기 송신되는 동기 신호들 중 일부는, 카메라들 사이에서 야기되는 노이즈를 감소시키기 위해, 상기 송신되는 동기 신호들 중 다른 일부와 다른 위상을 가질 수 있다.
다른 예를 들면, 제10 카메라(330-10), 제 14 카메라(330-14), 제2 카메라(330-2), 및 제6 카메라(330-6) 각각에게 제공되는 동기 신호의 위상은, 제 14 카메라(330-14), 제2 카메라(330-2), 및 제6 카메라(330-6) 각각과 인접하게 배치될 수 있는 제12 카메라(330-12), 제16 카메라(330-16), 제4 카메라(330-4), 및 제8 카메라(330-8) 각각에게 제공되는 동기 신호의 위상과 다를 수 있다. 상기 동기 신호들의 위상 차는 180도일 수 있다.
또 다른 예를 들면, 제1 프로세서(310-1)는 제5 프로세서(310-5) 및 제3 프로세서(310-3) 각각에게 상기 동기 신호를 송신할 수 있다. 상기 송신된 동기 신호들 각각은, 제5 프로세서(310-5) 및 제3 프로세서(310-3) 각각을 통해 제2 카메라(330-2), 제4 카메라(330-4), 제6 카메라(330-6), 제8 카메라(330-8), 제10 카메라(330-10), 제12 카메라(330-12), 제14 카메라(330-14), 및 제16 카메라(330-16) 각각에게 수신될 수 있다. 제2 카메라(330-2), 제4 카메라(330-4), 제6 카메라(330-6), 제8 카메라(330-8), 제10 카메라(330-10), 제12 카메라(330-12), 제14 카메라(330-14), 및 제16 카메라(330-16) 중 적어도 일부는, 노이즈의 감소를 위해, 제5 프로세서(310-5) 및 제3 프로세서(310-3) 중 적어도 일부에 의해 위상 변환이 수행된 동기 신호를 수신할 수 있다.
전방향 2D 이미지를 생성하기 위해, 상기 제1 이미지, 상기 제3 이미지, 상기 제5 이미지, 상기 제7 이미지, 상기 제9 이미지, 상기 제11 이미지, 상기 제13 이미지, 및 상기 제15 이미지의 획득은 요구되지 않기 때문에, 제1 프로세서(310-1)는 제2 프로세서(310-2) 및 제4 프로세서(310-4)에게 인코딩 데이터를 요청하지 않을 수 있다. 다양한 실시예들에서, 제1 프로세서(310-1)는 전방향 2D 이미지의 생성을 위해 이용되지 않는 제2 프로세서(310-2) 및 제4 프로세서(310-4)에게 제공되는 파워를 차단하거나 전방향 2D 이미지의 생성을 위해 이용되지 않는 제2 프로세서(310-2) 및 제4 프로세서(310-4)에게 제공되는 파워를 감소시키도록 제2 프로세서(310-2) 및 제4 프로세서(310-4)와 각각 연결된 제2 PMIC(350-2)(미도시) 및 제4 PMIC(350-4)(미도시) 각각을 제어할 수 있다.
제5 프로세서(310-5)는, 상기 요청에 응답하여, 제10 카메라(330-10)를 통해 제10 이미지를 획득하고, 제12 카메라(330-12)를 통해 제12 이미지를 획득하고, 제14 카메라(330-14)를 통해 제14 이미지를 획득하며, 제16 카메라(330-16)를 통해 제16 이미지를 획득할 수 있다. 제5 프로세서(310-5)는 상기 제10 이미지, 상기 제12 이미지, 상기 제14 이미지, 및 상기 제16 이미지에 기반하여 제4 인코딩 데이터를 생성할 수 있다. 상기 제4 인코딩 데이터는 다른 인코딩 데이터와 관계없이 독립적으로 디코딩 가능할 수 있다. 제5 프로세서(310-5)는 상기 제4 인코딩 데이터를 제3 프로세서(310-3)에게 제공할 수 있다.
제3 프로세서(310-3)는, 상기 요청에 응답하여, 제2 카메라(330-2)를 통해 제2 이미지를 획득하고, 제4 카메라(330-4)를 통해 제4 이미지를 획득하고, 제6 카메라(330-6)를 통해 제6 이미지를 획득하며, 제8 카메라(330-8)를 통해 제8 이미지를 획득할 수 있다. 제3 프로세서(310-3)는 상기 제2 이미지, 상기 제4 이미지, 상기 제6 이미지, 및 상기 제8 이미지에 기반하여 제2 인코딩 데이터를 생성할 수 있다. 상기 제2 인코딩 데이터는, 다른 인코딩 데이터와 관계없이 독립적으로 디코딩 가능할 수 있다.
제3 프로세서(310-3)는 마이크로폰(360-2)을 통해 상기 제2 이미지, 상기 제4 이미지, 상기 제6 이미지, 상기 제8 이미지, 상기 제10 이미지, 상기 제12 이미지, 상기 제14 이미지, 및 상기 제16 이미지 중 적어도 하나의 이미지와 관련된 오디오를 수신할 수 있다. 마이크로폰(360-2)는, 실시예들에 따라, 장치(300)에 포함되지 않을 수 있다. 마이크로폰(360-2)는, 실시예들에 따라, 복수의 마이크로폰들의 세트 또는 그룹으로 구성될 수도 있다. 제3 프로세서(310-3)는 상기 수신된 오디오에 기반하여 제2 오디오 인코딩 데이터를 생성할 수 있다. 상기 제2 오디오 인코딩 데이터는, 다른 인코딩 데이터와 관계없이 독립적으로 디코딩 가능할 수 있다.
제3 프로세서(310-3)는 상기 제2 인코딩 데이터, 상기 제4 인코딩 데이터, 및 상기 제2 오디오 인코딩 데이터를 제1 프로세서(310-1)에게 제공할 수 있다. 제1 프로세서(310-1)에게 제공되는 상기 제2 인코딩 데이터, 상기 제4 인코딩 데이터, 및 상기 제2 오디오 인코딩 데이터 각각은 독립적으로 디코딩 가능하도록 구성될 수 있다.
제1 프로세서(310-1)는, 장치(300)가 전방향 2D 이미지를 생성하기 위한 모드로 동작하는 것에 응답하여, 제17 카메라를 통해 상기 제17 이미지를 획득하고, 상기 획득된 제17 이미지에 기반하여 제5 인코딩 데이터를 생성할 수 있다.
제1 프로세서(310-1)는, 장치(300)가 전방향 2D 이미지를 생성하기 위한 모드로 동작하는 것에 응답하여, 마이크로폰(360-1)을 통해 상기 획득된 이미지들 중 적어도 하나의 이미지와 관련된 오디오를 수신할 수 있다. 제1 프로세서(310-1)는 상기 수신된 오디오에 기반하여 제1 오디오 인코딩 데이터를 생성할 수 있다. 상기 제1 오디오 인코딩 데이터는, 다른 인코딩 데이터와 관계없이 독립적으로 디코딩 가능할 수 있다.
제1 프로세서(310-1)는 상기 수신된 제2 인코딩 데이터, 상기 수신된 제4 인코딩 데이터, 상기 생성된 제5 인코딩 데이터, 상기 수신된 제2 오디오 인코딩 데이터, 및 상기 생성된 제1 오디오 인코딩 데이터를 상기 전방향 2D 이미지를 생성하기 위한 하나의 데이터 셋으로 구성할 수 있다. 상기 하나의 데이터 셋 내에서, 인코딩 데이터의 배치 순서는, 도 25에 도시된 바와 같이, 상기 제4 인코딩 데이터, 상기 제2 인코딩 데이터, 상기 제5 인코딩 데이터, 상기 제2 오디오 인코딩 데이터, 및 상기 제1 오디오 인코딩 데이터 순일 수 있다. 제1 프로세서(310-1)는 상기 구성된 하나의 데이터 셋을 메모리(320)에 저장할 수 있다. 제1 프로세서(310-1)는 상기 구성된 하나의 데이터 셋을 통신 인터페이스(340)를 통해 다른 장치(예: 스티칭을 위한 전자 장치(101))에게 송신할 수 있다. 상기 구성된 하나의 데이터 셋은, 장치(300)가 전방향 2D 이미지를 생성하기 위한 모드에서 동작하는 경우, 실시간으로 상기 다른 장치에게 송신될 수 있다. 상기 저장되거나 송신되는 하나의 데이터 셋 내에 포함되는 다양한 데이터 각각은, 독립적으로 디코딩 가능할 수 있다.
상술한 바와 같이, 다양한 실시예들에 따른 장치(300)는 전방향 2D 이미지의 생성을 위해 이용되지 않는 적어도 하나의 카메라를 전방향 2D 이미지의 생성을 위해 이용되는 적어도 하나의 카메라와 연결된 프로세서와 다른 프로세서에 연결함으로써, 장치(300)에서 인코딩 데이터를 생성하기 위해 요구되는 연산량을 감소시킬 수 있다.
다양한 실시예들에 따른 장치(300)에서 생성되는 제2 인코딩 데이터, 제4 인코딩 데이터, 제5 인코딩 데이터, 제2 오디오 인코딩 데이터, 및 제1 오디오 인코딩 데이터 각각은 독립적으로 디코딩 가능하기 때문에, 상기 장치(300)를 통해 인코딩 데이터를 제공 받는 장치는, 장치(300)가 전방향 2D 이미지를 생성하기 위한 모드를 통해 상기 제공된 인코딩 데이터를 생성하였다 하더라도, 선택적 디코딩을 통해 상기 전방향 2D 이미지가 아닌 파노라마 2D 이미지 등을 생성할 수 있다. 다시 말해, 다양한 실시예들에 따른 장치(300)는 최종 이미지의 생성을 위한 디코딩 절차 및 스티칭 절차에서 요구되는 연산량을 감소시킬 수 있다.
도 26은 다양한 실시예들에 따라 이미지의 처리를 제어하는 장치의 기능적 구성의 또 다른 예를 도시한다. 이러한 기능적 구성은 도 3에 도시된 장치(300)에 포함될 수 있다.
도 26에서, 장치(300)에 포함된 구성요소들(예: 제1 프로세서(310-1) 내지 제5 프로세서(310-5), 메모리(320), 제1 카메라(330-1) 내지 제16 카메라(330-16), 통신 인터페이스(340), 마이크로폰(360-1), 및 마이크로폰(360-2)) 각각은 도 24에 도시된 장치(300)에 포함된 구성요소들 각각에 상응할 수 있다.
도 26을 참조하면, 제1 프로세서(310-1)는, 장치(300)가 파노라마 2D 이미지를 생성하기 위한 모드로 동작하는 것에 응답하여, 제3 프로세서(310-3)에게 인코딩 데이터를 요청할 수 있다. 도 16을 참조하면, 파노라마 2D 이미지를 생성하기 위해, 상기 제2 이미지, 상기 제4 이미지, 상기 제6 이미지, 및 상기 제8 이미지를 획득하는 것이 요구될 수 있다. 제1 프로세서(310-1)는 상기 제2 이미지를 획득하도록 구성되는 제2 카메라(330-2), 상기 제4 이미지를 획득하도록 구성되는 제4 카메라(330-4), 상기 제6 이미지를 획득하도록 구성되는 제6 카메라(330-6), 및 상기 제8 이미지를 획득하도록 구성된 제8 카메라(330-8)와 동작적으로 연결된 제3 프로세서(310-3)에게 상기 제2 이미지, 상기 제4 이미지, 상기 제6 이미지, 및 상기 제8 이미지를 인코딩함으로써 생성되는 인코딩 데이터를 요청할 수 있다.
제1 프로세서(310-1)는, 도 25에서 설명된 바와 유사한 방식으로, 제2 카메라(330-2), 제4 카메라(330-4), 제6 카메라(330-6), 및 제8 카메라(330-8) 각각에게 동기 신호를 송신하거나, 제3 프로세서(310-3)에게 동기 신호를 송신함으로써, 제2 카메라(330-2), 제4 카메라(330-4), 제6 카메라(330-6), 및 제8 카메라(330-8)를 동기화할 수 있다.
파노라마 2D 이미지를 생성하기 위해, 상기 제1 이미지, 상기 제3 이미지, 상기 제5 이미지, 상기 제7 이미지, 상기 제9 이미지 내지 상기 제16 이미지의 획득은 요구되지 않기 때문에, 제1 프로세서(310-1)는 제2 프로세서(310-2), 제4 프로세서(310-4), 및 제5 프로세서(310-5)에게 인코딩 데이터를 요청하지 않을 수 있다. 다양한 실시예들에서, 제1 프로세서(310-1)는 파노라마 2D 이미지의 생성을 위해 이용되지 않는 제2 프로세서(310-2), 제4 프로세서(310-4), 제5 프로세서(310-5) 각각에게 제공되는 파워를 차단하거나 파노라마 2D 이미지의 생성을 위해 이용되지 않는 제2 프로세서(310-2), 제4 프로세서(310-4), 제5 프로세서(310-5) 각각에게 제공되는 파워를 감소시키도록 제2 프로세서(310-2), 제4 프로세서(310-4), 및 제5 프로세서(310-5)와 각각 연결된 제2 PMIC(350-2)(미도시), 제4 PMIC(350-4)(미도시), 및 제5 PMIC(350-5) 각각을 제어할 수 있다.
제3 프로세서(310-3)는, 상기 요청에 응답하여, 제2 카메라(330-2)를 통해 제2 이미지를 획득하고, 제4 카메라(330-4)를 통해 제4 이미지를 획득하고, 제6 카메라(330-6)를 통해 제6 이미지를 획득하며, 제8 카메라(330-8)를 통해 제8 이미지를 획득할 수 있다. 제3 프로세서(310-3)는 상기 제2 이미지, 상기 제4 이미지, 상기 제6 이미지, 및 상기 제8 이미지에 기반하여 제2 인코딩 데이터를 생성할 수 있다. 상기 제2 인코딩 데이터는, 다른 인코딩 데이터와 관계없이 독립적으로 디코딩 가능할 수 있다.
제3 프로세서(310-3)는 마이크로폰(360-2)을 통해 상기 제2 이미지, 상기 제4 이미지, 상기 제6 이미지, 상기 제8 이미지, 상기 제10 이미지, 상기 제12 이미지, 상기 제14 이미지, 및 상기 제16 이미지 중 적어도 하나의 이미지와 관련된 오디오를 수신할 수 있다. 제3 프로세서(310-3)는 상기 수신된 오디오에 기반하여 제2 오디오 인코딩 데이터를 생성할 수 있다. 상기 제2 오디오 인코딩 데이터는, 다른 인코딩 데이터와 관계없이 독립적으로 디코딩 가능할 수 있다.
제3 프로세서(310-3)는 상기 제2 인코딩 데이터 및 상기 제2 오디오 인코딩 데이터를 제1 프로세서(310-1)에게 제공할 수 있다. 제1 프로세서(310-1)에게 제공되는 상기 제2 인코딩 데이터 및 상기 제2 오디오 인코딩 데이터 각각은 독립적으로 디코딩 가능하도록 구성될 수 있다.
제1 프로세서(310-1)는, 장치(300)가 파노라마 2D 이미지를 생성하기 위한 모드로 동작하는 것에 응답하여, 제17 카메라를 통해 상기 제17 이미지를 획득하고, 상기 획득된 제17 이미지에 기반하여 제5 인코딩 데이터를 생성할 수 있다.
제1 프로세서(310-1)는, 장치(300)가 파노라마 2D 이미지를 생성하기 위한 모드로 동작하는 것에 응답하여, 마이크로폰(360-1)을 통해 상기 획득된 이미지들 중 적어도 하나의 이미지와 관련된 오디오를 수신할 수 있다. 제1 프로세서(310-1)는 상기 수신된 오디오에 기반하여 제1 오디오 인코딩 데이터를 생성할 수 있다. 상기 제1 오디오 인코딩 데이터는, 다른 인코딩 데이터와 관계없이 독립적으로 디코딩 가능할 수 있다.
제1 프로세서(310-1)는 상기 수신된 제2 인코딩 데이터, 상기 생성된 제5 인코딩 데이터, 상기 수신된 제2 오디오 인코딩 데이터, 및 상기 생성된 제1 오디오 인코딩 데이터를 상기 파노라마 2D 이미지를 생성하기 위한 하나의 데이터 셋으로 구성할 수 있다. 상기 하나의 데이터 셋 내에서, 인코딩 데이터의 배치 순서는, 도 26에 도시된 바와 같이, 제2 인코딩 데이터, 상기 제5 인코딩 데이터, 상기 제2 오디오 인코딩 데이터, 및 상기 제1 오디오 인코딩 데이터 순일 수 있다. 제1 프로세서(310-1)는 상기 구성된 하나의 데이터 셋을 메모리(320)에 저장할 수 있다. 제1 프로세서(310-1)는 상기 구성된 하나의 데이터 셋을 통신 인터페이스(340)를 통해 다른 장치에게 송신할 수 있다. 상기 구성된 하나의 데이터 셋은, 장치(300)가 파노라마 2D 이미지를 생성하기 위한 모드에서 동작하는 경우, 실시간으로 상기 다른 장치에게 송신될 수 있다. 상기 저장되거나 송신되는 하나의 데이터 셋 내에 포함되는 다양한 데이터 각각은, 독립적으로 디코딩 가능할 수 있다.
상술한 바와 같이, 다양한 실시예들에 따른 장치(300)는 파노라마 2D 이미지의 생성을 위해 이용되지 않는 적어도 하나의 카메라를 파노라마 2D 이미지의 생성을 위해 이용되는 적어도 하나의 카메라와 연결된 프로세서와 다른 프로세서에 연결함으로써, 장치(300)에서 인코딩 데이터를 생성하기 위해 요구되는 연산량을 감소시킬 수 있다.
도 27은 다양한 실시예들에 따라 이미지의 처리를 제어하는 장치의 동작의 예를 도시한다. 이러한 동작은, 도 3에 도시된 장치(300), 도 23 내지 26에 도시된 장치(300), 또는 장치(300)의 구성요소(예: 도 3의 프로세서(310), 도 23 내지 26의 제1 프로세서(310-1))에 의해 수행될 수 있다.
도 27을 참조하면, 동작 2710에서, 제1 프로세서(310-1)는 장치(300)의 모드를 확인할 수 있다. 다양한 실시예들에서, 제1 프로세서(310-1)는, 장치(300)에 포함된 복수의 프로세서들 중에서 인코딩 데이터의 요청을 송신하기 위한 적어도 하나의 목표 프로세서를 결정하기 위해, 장치(300)의 모드를 확인할 수 있다. 다양한 실시예들에서, 장치(300)의 모드는, 도 20에 도시된 UI(2000)를 통해 검출되는 입력에 기반하여 결정될 수 있다. 장치(300)의 모드가 제1 모드임을 확인하는 것에 응답하여, 제1 프로세서(310-1)는 동작 2720 내지 동작 2740을 수행할 수 있다. 상기 제1 모드는, 제2 프로세서(310-2) 및 제3 프로세서(310-3) 중 제2 프로세서(310-2)의 이용(또는 제2 프로세서(310-2)와 연결된 제1 카메라(310-1)의 이용)이 요구되지 않는 모드일 수 있다. 장치(300)의 모드가 제2 모드임을 확인하는 것에 응답하여, 제1 프로세서(310-1)는 동작 2750 내지 동작 2770을 수행할 수 있다. 상기 제2 모드는, 제2 프로세서(310-2) 및 제3 프로세서(310-3)의 이용이 요구되는 모드일 수 있다.
동작 2720에서, 장치(300)의 모드가 상기 제1 모드임을 확인하는 것에 응답하여, 제1 프로세서(310-1)는, 제3 프로세서(310-3)에게 인코딩 데이터를 요청할 수 있다. 제1 프로세서(310-1)는, 인코딩 데이터의 획득을 위한 연산량을 감소시키기 위해, 제3 프로세서(310-3)에게만 상기 인코딩 데이터를 요청할 수 있다. 제3 프로세서(310-3)는 상기 요청을 수신할 수 있다.
동작 2730에서, 제1 프로세서(310-1)는 제3 프로세서(310-3)로부터 제2 인코딩 데이터를 수신할 수 있다. 상기 제2 인코딩 데이터는, 제3 프로세서(310-3)와 동작적으로 연결된 제2 카메라(310-2)를 통해 획득되는 이미지에 기반하여 제3 프로세서(310-3)에서 생성될 수 있다. 상기 수신된 제2 인코딩 데이터는 독립적으로 디코딩 가능할 수 있다.
동작 2740에서, 제1 프로세서(310-1)는 상기 제2 인코딩 데이터를 하나의 데이터 셋으로 처리할 수 있다. 다양한 실시예들에서, 제1 프로세서(310-1)는 상기 제2 인코딩 데이터를 포함하는 상기 하나의 데이터 셋을 장치(300)의 메모리(320)에 저장할 수 있다. 다양한 실시예들에서, 상기 제2 인코딩 데이터는, 제2 카메라(310-2)가 복수의 카메라들로 구성되는 경우, 상기 복수의 카메라들 각각으로부터 획득되는 복수의 이미지들 각각 별로 독립적으로 디코딩 가능할 수 있다. 상기 복수의 이미지들 각각에 대한 정보는, 상기 복수의 카메라들 각각의 배치에 상응하는 순서로 상기 제2 인코딩 데이터 내에 포함될 수 있다. 다양한 실시예들에서, 제1 프로세서(310-1)는 상기 제2 인코딩 데이터를 포함하는 상기 하나의 데이터 셋을 다른 장치(예: 전자 장치(101))에게 송신할 수 있다.
동작 2750에서, 장치(300)의 모드가 상기 제2 모드임을 확인하는 것에 응답하여, 제1 프로세서(310-1)는, 제2 프로세서(310-2) 및 제3 프로세서(310-3)에게 인코딩 데이터를 요청할 수 있다. 상기 제2 모드는 제2 프로세서(310-2)의 이미지 획득 및 인코딩이 요구되기 때문에, 제1 프로세서(310-1)는 제2 프로세서(310-2) 및 제3 프로세서(310-3)에게 인코딩 데이터를 요청할 수 있다. 제2 프로세서(310-2) 및 제3 프로세서(310-3) 각각은 상기 요청을 수신할 수 있다.
동작 2760에서, 제1 프로세서(310-1)는 제3 프로세서(310-3)로부터 제1 인코딩 데이터 및 제2 인코딩 데이터를 수신할 수 있다. 상기 제1 인코딩 데이터는, 제2 프로세서(310-2)와 동작적으로 연결된 제1 카메라(330-1)를 통해 획득되는 이미지에 기반하여 생성될 수 있다. 상기 제1 인코딩 데이터는, 제2 프로세서(310-2)로부터 제3 프로세서(310-3)를 통해 제1 프로세서(310-1)에게 제공될 수 있다. 상기 제1 인코딩 데이터는, 상기 제2 인코딩 데이터의 디코딩 여부와 관계없이 독립적으로 디코딩 가능할 수 있다. 상기 제2 인코딩 데이터는, 제3 프로세서(310-3)와 동작적으로 연결된 제2 카메라(330-2)를 통해 획득되는 이미지에 기반하여 생성될 수 있다. 상기 제2 인코딩 데이터는, 상기 제1 인코딩 데이터의 디코딩 여부와 관계없이 독립적으로 디코딩 가능할 수 있다.
동작 2770에서, 제1 프로세서(310-1)는 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터를 하나의 데이터 셋으로 처리할 수 있다. 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터를 상기 하나의 데이터 셋으로 처리한다는 것은, 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터를 결합하는 것과 구별되는 개념일 수 있다. 상기 제1 인코딩 데이터는 상기 하나의 데이터 셋 내에서 상기 제2 인코딩 데이터와 독립적으로 구성될 수 있고, 상기 제2 인코딩 데이터는 상기 하나의 데이터 셋 내에서 상기 제1 인코딩 데이터와 독립적으로 구성될 수 있다. 다양한 실시예들에서, 제1 프로세서(310-1)는 상기 하나의 데이터 셋을 장치(300)의 메모리(320)에 저장할 수 있다. 다양한 실시예들에서, 제1 프로세서(310-1)는 상기 하나의 데이터 셋을 다른 장치(예: 전자 장치(101))에게 송신할 수 있다. 상기 하나의 데이터 셋을 수신한 상기 다른 장치는, 상기 하나의 데이터 셋 내에서 상기 제1 인코딩 데이터만을 추출하여 디코딩함으로써 제1 카메라(330-1)를 통해 획득된 이미지와 관련된 정보를 획득할 수 있다. 상기 하나의 데이터 셋을 수신한 상기 다른 장치는, 상기 하나의 데이터 셋 내에서 상기 제2 인코딩 데이터만을 추출하여 디코딩함으로써 제2 카메라(330-2)를 통해 획득된 이미지와 관련된 정보를 획득할 수 있다. 다시 말해, 상기 송신된 하나의 데이터 셋 내의 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터 각각은 독립적으로 디코딩 가능할 수 있다.
상술한 바와 같이, 다양한 실시예들에 따른 장치(300)는, 독립적으로 디코딩 가능한 인코딩 데이터를 생성하고 제공함으로써, 이미지 획득 및 이미지 처리에 요구되는 연산량을 감소시킬 수 있다. 다양한 실시예들에 따른 장치(300)는 장치(300)의 모드에 따라 선택적으로 프로세서를 구동함으로써, 이미지 획득 및 이미지 처리에 요구되는 연산량을 감소시킬 수 있다.
도 28은 다양한 실시예들에 따라 이미지의 처리를 제어하는 장치 내의 신호 흐름의 예를 도시한다. 이러한 신호 흐름은, 도 3에 도시된 장치(300), 도 23 내지 26에 도시된 장치(300) 내에서 야기될 수 있다.
도 28을 참조하면, 동작 2810에서, 제1 프로세서(310-1)는 장치(300)의 모드를 확인할 수 있다. 제1 프로세서(310-1)는, 인코딩 데이터를 요청할 대상을 특정하기 위해, 장치(300)의 모드를 확인할 수 있다. 제1 프로세서(310-1)가 장치(300)의 모드가 제2 프로세서(310-2)의 연산이 요구되지 않는 제1 모드임을 확인하는 경우, 장치(300) 내에서 동작 2820 내지 동작 2850이 수행될 수 있다. 이와 달리, 제1 프로세서(310-1)가 장치(300)의 모드가 제2 프로세서(310-2)의 연산이 요구되는 제2 모드임을 확인하는 경우, 장치(300) 내에서 동작 2855 내지 동작 2875가 수행될 수 있다.
동작 2820에서, 장치(300)의 모드가 상기 제1 모드임을 확인하는 것에 응답하여, 제1 프로세서(310-1)는 제3 프로세서(310-3)에게만 인코딩 데이터를 요청할 수 있다. 장치(300)는 상기 제1 모드에서 제2 프로세서(310-2)의 연산은 요구되지 않도록 구성되기 때문에, 제1 프로세서(310-1)는 제3 프로세서(310-3)에게만 상기 인코딩 데이터를 요청할 수 있다.
동작 2830에서, 장치(300)의 모드가 상기 제1 모드임을 확인하는 것에 응답하여, 제1 프로세서(310-1)는 제2 프로세서(310-2)와 동작적으로 연결된 제2 PMIC(350-2)에게 제2 프로세서(310-2)에게 제공되는 파워를 차단하기 위한 제어 신호를 송신할 수 있다. 장치(300)는 상기 제1 모드에서 제2 프로세서(310-2)의 연산은 요구되지 않도록 구성되기 때문에, 제1 프로세서(310-1)는 제2 프로세서(310-2)를 비활성화하기 위한 제어 신호를 송신할 수 있다. 제2 PMIC(350-2)는 상기 제어 신호를 수신할 수 있다.
동작 2820 및 동작 2830은 동시에 수행될 수도 있고, 역순으로 수행될 수도 있다. 다시 말해, 동작 2820 및 동작 2830은 순서에 관계없이 수행될 수 있다.
동작 2835에서, 제2 PMIC(350-2)는 제2 프로세서(310-2)에 제공되는 파워를 차단할 수 있다.
동작 2840에서, 제3 프로세서(310-3)는 상기 요청에 응답하여, 제2 카메라(330-2)로부터 획득되는 이미지에 기반하여 생성되는 제2 인코딩 데이터를 제1 프로세서(310-1)에게 제공할 수 있다. 제1 프로세서(310-1)는 상기 제2 인코딩 데이터를 수신할 수 있다.
동작 2830과 동작 2840은 동시에 수행될 수도 있고, 역순으로 수행될 수도 있다. 다시 말해, 동작 2830 및 동작 2840은 순서에 관계없이 수행될 수 있다.
동작 2850에서, 제1 프로세서(310-1)는 상기 제2 인코딩 데이터만을 하나의 데이터 셋으로 메모리(320)에 저장할 수 있다. 제1 프로세서(310-1)는 상기 하나의 데이터 셋을 후처리하거나 또는 상기 하나의 데이터 셋을 다른 장치에게 송신하기 위해, 상기 하나의 데이터 셋을 메모리(320)에 저장할 수 있다.
동작 2855에서, 장치(300)의 모드가 상기 제2 모드임을 확인하는 것에 응답하여, 제1 프로세서(310-1)는 제3 프로세서(310-3)에게 인코딩 데이터를 요청할 수 있다. 제3 프로세서(310-3)는 상기 요청을 수신할 수 있다.
동작 2860에서, 장치(300)의 모드가 상기 제2 모드임을 확인하는 것에 응답하여, 제1 프로세서(310-1)는 제2 프로세서(310-2)에게 인코딩 데이터를 요청할 수 있다. 제2 프로세서(310-2)는 상기 요청을 수신할 수 있다.
동작 2855 및 동작 2860은 동시에 수행될 수도 있고, 역순으로 수행될 수도 있다. 다시 말해, 동작 2855 및 동작 2860은 순서에 관계없이 수행될 수 있다.
동작 2865에서, 제2 프로세서(310-2)는 상기 요청에 응답하여, 제1 카메라(330-1)를 통해 획득되는 이미지에 기반하여 생성된 제1 인코딩 데이터를 제3 프로세서(310-3)에게 송신할 수 있다. 상기 제1 인코딩 데이터는 독립적으로 디코딩 가능할 수 있다. 제3 프로세서(310-3)는 상기 제1 인코딩 데이터를 수신할 수 있다.
동작 2870에서, 제3 프로세서(310-3)는 상기 요청에 기반하여, 제2 카메라(330-2)를 통해 획득되는 이미지에 기반하여 생성된 제2 인코딩 데이터 및 상기 수신된 제1 인코딩 데이터를 제1 프로세서(310-1)에게 제공할 수 있다. 상기 제2 인코딩 데이터는 독립적으로 디코딩 가능할 수 있다. 제1 프로세서(310-1)는 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터를 수신할 수 있다.
동작 2875에서, 제1 프로세서(310-1)는 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터를 하나의 데이터 셋으로 저장할 수 있다. 제1 프로세서(310-1)는 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터로 구성된 상기 하나의 데이터 셋을 후처리하거나, 다른 장치에게 송신하기 위해, 상기 하나의 데이터 셋을 저장할 수 있다. 상기 하나의 데이터 셋을 구성하는 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터 각각은 장치(300) 또는 상기 다른 장치에서 독립적으로 디코딩 가능할 수 있다.
도 29는 다양한 실시예들에 따라 데이터 셋을 수신하는 다른 장치의 동작의 예를 도시한다. 이러한 동작은 도 1에 도시된 전자 장치(101) 또는 전자 장치(101) 내의 프로세서(120)에 의해 수행될 수 있다.
도 29를 참조하면, 동작 2910에서, 프로세서(120)는 다른 장치(예: 장치(300))로부터 적어도 하나의 데이터 셋을 수신할 수 있다. 상기 적어도 하나의 데이터 셋은 장치(300)에 의해 구성될 수 있다. 예를 들면, 상기 적어도 하나의 데이터 셋은, 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터로 구성될 수 있다. 다른 예를 들면, 상기 적어도 하나의 데이터 셋은, 상기 제2 인코딩 데이터만으로 구성될 수도 있다.
동작 2920에서, 프로세서(120)는, 상기 적어도 하나의 데이터 셋의 구성(configuration)을 확인할 수 있다. 다양한 실시예들에서, 프로세서(120)는, 상기 수신에 응답하여, 상기 적어도 하나의 데이터 셋의 구성을 확인할 수 있다. 프로세서(120)는, 상기 적어도 하나의 데이터 셋의 구성이 제1 구성임을 확인하는 것에 기반하여, 동작 2930을 수행할 수 있다. 이와 달리, 프로세서(120)는 상기 적어도 하나의 데이터 셋의 구성이 제2 구성임을 확인하는 것에 기반하여 동작 2940 내지 동작 2950을 수행할 수 있다.
동작 2930에서, 상기 적어도 하나의 데이터 셋의 구성이 제1 구성임을 확인하는 것에 기반하여, 프로세서(120)는 상기 제2 인코딩 데이터만을 디코딩하여 2D 이미지 파일을 생성할 수 있다. 상기 적어도 하나의 데이터 셋은 상기 제2 인코딩 데이터만으로 구성될 수 있기 때문에, 프로세서(120)는 상기 적어도 하나의 데이터 셋으로부터 상기 제2 인코딩 데이터를 획득하고, 상기 획득된 제2 인코딩 데이터를 디코딩함으로써, 상기 2D 이미지 파일을 최종 이미지로서 생성할 수 있다.
동작 2940에서, 상기 적어도 하나의 데이터 셋의 구성이 제2 구성임을 확인하는 것에 기반하여, 프로세서(120)는 상기 제1 인코딩 데이터를 디코딩하여 제1 2D 이미지 파일을 생성하고, 상기 제2 인코딩 데이터를 디코딩하여 제2 2D 이미지 파일을 생성할 수 있다. 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터 각각은 독립적으로 디코딩 가능할 수 있으며, 독립적인 이미지 파일을 생성하기 위해 이용될 수 있다.
동작 2950에서, 프로세서(120)는 상기 제1 2D 이미지 파일 및 상기 제2 2D 이미지 파일에 기반하여 3D 이미지 파일을 생성할 수 있다. 프로세서(120)는 상기 제1 2D 이미지 파일 및 상기 제2 2D 이미지 파일을 합성(또는 스티칭)함으로써, 상기 3D 이미지 파일을 생성할 수 있다.
도 29의 동작 2950과 달리, 프로세서(120)는 상기 제1 2D 이미지 파일만을 최종 이미지 파일로 이용할 수도 있고, 상기 제2 2D 이미지 파일만을 상기 최종 이미지 파일로 이용할 수도 있다. 다시 말해, 상기 제1 인코딩 데이터 및 상기 제2 인코딩 데이터 각각은 독립적으로 디코딩 가능하기 때문에, 프로세서(120)는 상기 제1 인코딩 데이터에 기반하여 생성되는 파일 및 상기 제2 인코딩 데이터에 기반하여 생성되는 파일을 적응적으로 이용할 수 있다.
도 30은 다양한 실시예들에 따라 오디오 신호를 처리하는 전자 장치의 기능적 구성의 예를 도시한다. 이러한 기능적 구성은 도 3에 도시된 전자 장치(300)에 포함될 수 있다.
도 31은 다양한 실시예들에 따라 오디오 신호를 처리하는 프로세서의 동작의 예를 도시한다.
도 30에서, 전자 장치(101)는 도 3 등에 도시된 장치(300)로부터 전방향 이미지를 위한 복수의 이미지들 및 복수의 오디오 신호들을 수신한 전자 장치일 수 있다. 전자 장치(101)는 상기 전방향 이미지를 생성하는 전자 장치 또는 상기 전방향 이미지를 재생하는 전자 장치일 수 있다.
도 30을 참조하면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 표시 장치(160)를 포함할 수 있다.
프로세서(120)는 메모리(130), 입력 장치(150), 및 표시 장치(160)와 동작적으로 연결될 수 있다. 프로세서(120)는 상기 연결을 통해 메모리(130), 입력 장치(150), 및 표시 장치(160)를 제어할 수 있다.
다양한 실시예들에서, 프로세서(120)는, 메모리(130)에 저장된 복수의 명령어들을 실행함으로써, 표시 장치(160)를 통해, 상기 전방향 이미지를 위한 복수의 이미지들을 표시할 수 있다. 프로세서(120)는, 상기 전방향 이미지의 편집(editing)을 위해 상기 복수의 이미지들을 표시할 수 있다. 예를 들면, 프로세서(120)는 상기 전방향 이미지의 기준 방향을 제1 방향에서 제2 방향으로 변경하기 위해, 상기 복수의 이미지들을 표시할 수 있다. 상기 표시된 복수의 이미지들은, 장치(300) 등에서 상기 제1 방향에 기반하여(또는 특정 카메라를 중심 카메라로 하여) 획득될 수 있다. 프로세서(120)는, 상기 전방향 이미지의 기준 방향을 변경하기 위한 어플리케이션의 UI 내(within)에서, 상기 복수의 이미지들을 표시할 수 있다.
다양한 실시예들에서, 프로세서(120)는, 메모리(130)에 저장된 복수의 명령어들을 실행함으로써, 입력 장치(150)를 통해, 상기 전방향 이미지의 기준 방향을 변경하기 위한 입력을 검출할 수 있다. 프로세서(120)는 상기 전방향 이미지의 기준 방향을 상기 제1 방향에서 제2 방향으로 변경하기 위한 입력을 검출할 수 있다. 상기 입력은, 상기 표시된 복수의 이미지들 중 상기 제2 방향에 상응하는 제k 이미지를 선택하는 입력을 포함할 수 있다. 예를 들어, 상기 제k 이미지를 선택하는 입력은, 상기 제k 이미지에 대한 롱 터치 입력, 드래그 입력, 더블 탭 입력, 포스 터치(force touch) 입력 등일 수 있다.
다양한 실시예들에서, 프로세서(120)는 상기 입력을 검출(또는 수신)하는 것에 응답하여, 메모리(130)에 저장된 복수의 명령어들을 실행함으로써, 상기 전방향 이미지를 위한 복수의 제1 오디오 신호들을 확인(identify)할 수 있다. 상기 복수의 제1 오디오 신호들은, 상기 복수의 이미지들을 획득하는 동안 복수의 마이크로폰들을 통해 각각 획득될 수 있다. 프로세서(120)는 장치(300)으로부터 수신된 상기 데이터 셋으로부터 상기 복수의 제1 오디오 신호들을 확인할 수 있다. 상기 복수의 제1 오디오 신호들 각각은, 복수의 마이크들을 통해 수신되는 신호일 수 있다. 상기 복수의 제1 오디오 신호들 각각은, 상기 기준 방향이 무엇인지에 따라 적응적으로 이득(또는 녹음 모드)을 변경할 수 있는 상기 복수의 마이크들을 통해 수신될 수 있다.
다양한 실시예들에서, 프로세서(120)는, 상기 입력을 검출(또는 수신)하는 것에 응답하여, 메모리(130)에 저장된 복수의 명령어들을 실행함으로써, 상기 제1 방향과 상기 제2 방향 사이의 차이 값(difference value)을 결정할 수 있다. 상기 차이 값은, 상기 기준 방향의 변경에 따라 상기 복수의 제1 오디오 신호들을 조정하기 위해 이용될 수 있다. 상기 차이 값은, 상기 복수의 제1 오디오 신호들로부터 변경된 복수의 제2 오디오 신호들을 생성하기 위해 이용될 수 있다. 예를 들면, 상기 복수의 제2 오디오 신호들 각각은, 복수 채널 오디오 데이터를 구성할 수 있다. 예를 들면, 상기 복수의 제2 오디오 신호들 각각은 복수의 채널들 각각을 통해 출력될 수 있다. 상기 차이 값은, 상기 제1 방향과 상기 제2 방향 사이의 위치 관계에 기반하여 결정될 수 있다. 상기 차이 값은, 각도(angle)를 나타내는 파라미터 또는 방향(orientation)을 나타내는 파라미터 중 하나 이상으로 구성될 수 있다. 상기 차이 값은, 상기 복수의 이미지들 중 상기 제1 방향에 상응하는 제m 이미지와 상기 복수의 이미지들 중 상기 제2 방향에 상응하는 상기 제k 이미지 사이에 배치된 이미지들의 수를 나타낼 수도 있다. 다양한 실시예들에서, 상기 차이값은 다른 값으로 대체될 수도 있다. 예를 들면, 상기 차이 값은, 상기 기준 방향(또는 센터 뷰(view))에 대한 방향을 나타내는 값으로 대체될 수 있다. 다양한 실시예들에서, 상기 차이 값에 대한 정보는, 상기 복수의 제1 오디오 신호들과 함께 획득될 수 있다.
다양한 실시예들에서, 상기 복수의 이미지들을 획득하는 동안, 상기 기준 방향이 상기 제1 방향에서 상기 제2 방향으로 변경되는 경우, 프로세서(120)는, 상기 복수의 카메라들을 이용하여 획득되는 복수의 이미지들 각각에 대한 인코딩 데이터의 순서를 변경할 수 있다. 일부 실시예들에서, 프로세서(120)는 상기 복수의 이미지들 각각에 대한 인코딩 데이터의 상기 변경된 순서에 따라 결정되는 상기 차이값에 대한 정보를 다른 장치에게 송신할 수 있다. 상기 다른 장치는, 상기 수신된 정보에 기반하여 상기 제2 오디오 신호들을 생성할 수 있다. 다른 일부 실시예들에서, 프로세서(120)는 상기 복수의 이미지들 각각에 대한 인코딩 데이터의 상기 변경된 순서에 따라 상기 복수의 제1 이미지들의 순서(또는 조합)을 변경함으로써, 상기 제2 방향에 매칭되는 상기 복수의 제2 오디오 신호들을 생성하고, 상기 복수의 제2 오디오 신호들에 대한 정보를 다른 장치에게 송신할 수 있다.
다양한 실시예들에서, 프로세서(120)는, 메모리(130)에 저장된 복수의 명령어들을 실행함으로써, 상기 결정된 차이값에 기반하여 상기 복수의 제1 오디오 신호들로부터 변경된 상기 복수의 제2 오디오 신호들을 생성할 수 있다. 상기 복수의 제2 오디오 신호들은, 상기 제2 방향을 기준 방향으로 하는 상기 전방향 이미지에 상응하는 오디오 신호들일 수 있다. 상기 복수의 제2 오디오 신호들 각각은, 서라운드 효과(surround effect)를 위해 복수의 채널들 각각과 관련될 수 있다. 예를 들면, 상기 복수의 채널들은, 5.1 채널의 레프트(left) 채널, 상기 5.1 채널의 라이트(right) 채널, 상기 5.1 채널의 센터(center) 채널, 상기 5.1 채널의 서라운드(surround) 레프트 채널, 상기 5.1 채널의 서라운드 라이트 채널, 및 상기 5.1 채널의 우퍼(wooper) 채널을 포함할 수 있다. 상기 복수의 제2 오디오 신호들 각각은, 상기 복수의 채널들 각각을 통해 출력될 수 있다. 예를 들면, 상기 복수의 제2 오디오 신호들은, 상기 5.1 채널의 레프트 채널을 위한 출력 장치, 상기 5.1 채널의 라이트 채널을 위한 출력 장치, 상기 5.1 채널의 센터 채널을 위한 출력 장치, 상기 5.1 채널의 서라운드 레프트 채널을 위한 출력 장치, 상기 5.1 채널의 서라운드 라이트 채널을 위한 출력 장치, 및 상기 5.1 채널의 우퍼 채널을 위한 출력 장치를 통해 출력될 수 있다.
예를 들어, 도 31을 참조하면, 프로세서(120)는 상기 결정된 차이값을 입력부(3110-1) 내지 입력부(3110-5)에게 각각 제공할 수 있다. 입력부(3110-1) 내지 입력부(3110-5) 각각은, 복수의 채널들에 상응할 수 있다. 예를 들면, 입력부(3110-1)는 상기 5.1 채널의 레프트 채널을 위해 구성될 수 있고, 입력부(3110-2)는 상기 5.1 채널의 라이트 채널을 위해 구성될 수 있고, 입력부(3110-3)는 상기 5.1 채널의 센터 채널을 위해 구성될 수 있고, 입력부(3110-4)는 상기 5.1 채널의 서라운드 레프트 채널을 위해 구성될 수 있으며, 입력부(3110-5)는 상기 5.1 채널의 서라운드 라이트 채널을 위해 구성될 수 있다.
프로세서(120)는 상기 복수의 제1 오디오 신호들을 입력부(3110-1) 내지 입력부(3110-5)에게 각각 제공할 수 있다. 예를 들면, 프로세서(120)는 상기 복수의 제1 오디오 신호들을 입력부(3110-1) 내지 입력부(3110-5)에게 각각 제공할 수 있다.
입력부(3110-1)는, 상기 제공된 차이값에 기반하여, 입력부(3110-1)와 관련된 채널에 상응하는(또는 적합한) 상기 복수의 제1 오디오 신호들의 조합을 결정할 수 있다. 예를 들면, 입력부(3110-1)는 상기 제공된 차이값에 기반하여 상기 복수의 제1 오디오 신호들 중 적어도 하나의 오디오 신호를 상기 5.1 채널의 레프트 채널에 상응하는 신호(예: 상기 제2 방향에 상응하는 카메라의 좌측에 배치된 적어도 하나의 마이크로폰을 통해 수신되는 적어도 하나의 오디오 신호)로 결정할 수 있다. 다른 예를 들면, 입력부(3110-4)는 상기 제공된 차이값에 기반하여 상기 복수의 제1 오디오 신호들 중 적어도 하나의 다른 오디오 신호를 상기 5.1 채널의 서라운드 레프트 채널에 상응하는 신호로 결정할 수 있다. 다양한 실시예들에서, 상기 적어도 하나의 다른 오디오 신호 중 적어도 일부는 상기 적어도 하나의 오디오 신호 중 적어도 일부와 공통될 수 있다. 다양한 실시예들에서, 상기 적어도 하나의 다른 오디오 신호 전부는 상기 적어도 하나의 오디오 신호 전부와 공통되지 않을 수도 있다.
입력부(3110-1) 내지 입력부(3110-5) 각각은 결정된 적어도 하나의 오디오 신호에 대한 정보를 딜레이 보상부(3120-1) 내지 딜레이 보상부(3120-5)에 각각 제공할 수 있다. 딜레이 보상부(3120-1) 내지 딜레이 보상부(3120-5) 각각은 상기 복수의 제1 오디오 신호들을 획득하는 복수의 마이크로폰들 사이의 위치 차이에 의해 야기되는 딜레이를 보상하기 위해 이용될 수 있다. 딜레이 보상부(3120-1) 내지 딜레이 보상부(3120-5) 각각은, 딜레이 보상부(3120-1) 내지 딜레이 보상부(3120-5) 각각에 수신되는 상기 적어도 하나의 오디오 신호 중 적어도 일부의 딜레이를 보상할 수 있다. 예를 들면, 딜레이 보상부(3120-1) 내지 딜레이 보상부(3120-5) 각각은, 상기 복수의 제2 오디오 신호들 각각이 동기를 유지한 상태에서 출력되도록, 상기 적어도 하나의 오디오 신호 중 적어도 일부의 딜레이를 보상할 수 있다.
딜레이 보상부(3120-1) 내지 딜레이 보상부(3120-5) 각각은 상기 딜레이가 보상된 상기 적어도 하나의 오디오 신호를 가중치 적용부(3130-1) 내지 가중치 적용부(3130-5)에게 제공할 수 있다.
가중치 적용부(3130-1) 내지 가중치 적용부(3130-5) 각각은 상기 차이값에 대한 정보를 제공 받을 수 있다. 가중치 적용부(3130-1) 내지 가중치 적용부(3130-5) 각각은 상기 딜레이가 보상된 상기 적어도 하나의 오디오 신호를 제공 받을 수 있다.
가중치 적용부(3130-1) 내지 가중치 적용부(3130-5) 각각은, 상기 차이값 및 상기 적어도 하나의 오디오 신호에 기반하여 가중치에 대한 정보를 검색할 수 있다. 상기 가중치에 대한 정보는, 상기 적어도 하나의 오디오 신호에 적용될 적어도 하나의 가중치에 대한 데이터를 포함할 수 있다. 상기 가중치에 대한 정보는, 상기 복수의 제2 오디오 신호들에 빔포밍(beamforming) 또는 지향성을 제공하기 위해 이용될 수 있다. 상기 가중치에 대한 정보는, 메모리(130)에 미리 저장될 수 있다. 상기 가중치에 대한 정보에서, 상기 적어도 하나의 가중치에 대한 데이터는 상기 차이값과 연계될 수 있다. 예를 들면, 차이값 a는 상기 적어도 하나의 가중치에 대한 제1 데이터와 연계되고, 차이값 b는 상기 적어도 하나의 가중치에 대한 제2 데이터와 연계될 수 있다. 상기 적어도 하나의 가중치에 대한 데이터는, 상기 복수의 제1 오디오 신호들 중 적어도 일부의 조합 별로 구성될 수 있다.
가중치 적용부(3130-1) 내지 가중치 적용부(3130-5) 각각은, 상기 가중치에 대한 정보로부터 상기 차이값 및 상기 적어도 하나의 오디오 신호에 상응하는 적어도 하나의 가중치를 획득할 수 있다. 가중치 적용부(3130-1) 내지 가중치 적용부(3130-5) 각각은, 상기 획득된 적어도 하나의 가중치를 상기 적어도 하나의 오디오 신호에 적용함으로써 상기 복수의 제2 오디오 신호들 각각을 생성할 수 있다.
프로세서(120)는 상기 생성된 복수의 제2 오디오 신호들 각각은, 상기 기준 방향이 상기 제2 방향으로 변경된 상기 전방향 이미지에 상응하는 오디오 신호일 수 있다. 상기 복수의 제2 오디오 신호들 각각은, 전자 장치(101) 내의 출력 장치 또는 전자 장치와 연결된 다른 장치 내의 출력 장치를 통해 출력될 수 있다.
도 31은 장치(300)로부터 복수의 이미지들 및 복수의 오디오 신호들을 수신하는 전자 장치(101)에서 상기 복수의 오디오 신호들을 처리하는 예를 도시한다. 도 31의 도시와 독립적으로, 다양한 실시예들에서, 장치(300)에서 상기 복수의 오디오 신호들을 처리할 수 있음을 유의하여야 한다. 예를 들면, 다양한 실시예들에 따른 장치(300)는 제1 카메라 및 제2 카메라를 포함하고, 상기 제1 카메라에 대응하는 하나 이상의 제1 트랜스듀서(transducer)들 및 상기 제2 카메라에 대응하는 하나 이상의 제2 트랜스듀서들을 포함할 수 있다. 장치(300)는, 상기 제1 카메라가 중심 카메라로 구성되는 경우, 상기 하나 이상의 제1 트랜스듀서들을 통해 상기 복수의 오디오 신호들을 획득할 수 있다. 상기 하나 이상의 제1 트랜스듀서들을 통해 상기 복수의 오디오 신호들을 획득함으로써, 장치(300)는 중심 카메라인 상기 제1 카메라를 통해 획득되는 중심 이미지와 매칭되는 오디오를 획득할 수 있다. 예를 들면, 상기 획득된 오디오 내에 포함된 상기 중심 이미지와 상응하는 중심 방향의 오디오 데이터는 상기 중심 방향과 다른 적어도 하나의 방향의 오디오 데이터보다 높은 이득을 가질 수 있다. 장치(300)는, 상기 제2 카메라가 중심 카메라로 구성되는 경우, 상기 하나 이상의 제2 트랜스듀서들을 통해 상기 복수의 다른 오디오 신호들을 획득할 수 있다. 상기 하나 이상의 제2 트랜스듀서들을 통해 상기 복수의 다른 오디오 신호들을 획득함으로써, 장치(300)는 중심 카메라인 상기 제2 카메라를 통해 획득되는 중심 이미지와 매칭되는 오디오를 획득할 수 있다. 예를 들면, 상기 획득된 오디오 내에 포함된 상기 중심 이미지와 상응하는 중심 방향의 오디오 데이터는 상기 중심 방향과 다른 적어도 하나의 방향의 오디오 데이터보다 높은 이득을 가질 수 있다.
상술한 바와 같이, 다양한 실시예들에 따른 전자 장치(101)는 전방향 이미지의 기준 방향이 상기 제1 방향에서 상기 제2 방향으로 변경되는 경우, 상기 제1 방향 및 상기 제2 방향 사이의 차이값에 기반하여 상기 전방향 이미지를 위한 복수의 제1 오디오 신호들을 복수의 제2 오디오 신호들로 변경할 수 있다. 상기 변경을 통해, 다양한 실시예들에 따른 전자 장치(101)는, 기준 방향의 변경에 따른 오디오 신호와 전방향 이미지의 불일치를 해소할 수 있다. 상기 변경을 통해, 다양한 실시예들에 따른 전자 장치(101)는, 이미지 획득 절차의 기준 방향이 다른 방향으로 변경되더라도, 이를 보상할 수 있다.
도 32는 다양한 실시예들에 따른 전자 장치에서 오디오의 방향을 변경하는 예를 도시한다. 이러한 예는, 도 1의 전자 장치(101), 도 30의 전자 장치(101), 또는 전자 장치(101)에 포함된 프로세서(120)에서 구성될 수 있다.
도 32를 참조하면, 프로세서(120)는 복수의 이미지들(3200)을 처리할 수 있다. 복수의 이미지들(3200)은 제k 이미지에 상응하는 방향을 기준 방향으로 하여 획득되거나 생성된 이미지들일 수 있다. 복수의 이미지들(3200)은, 전방향 이미지를 위한 이미지로, 제k 이미지를 기준 이미지로 가질 수 있다. 복수의 이미지들(3200)과 관련되는 상기 복수의 제1 오디오 신호들은 예시도(3220)와 같이 출력되거나 송신될 것을 고려하여 획득될 수 있다. 예를 들면, 상기 복수의 제1 오디오 신호들은, 상기 제k 이미지를 기준 이미지인 경우에 상응하도록 구성된 오디오 신호들일 수 있다. 상기 복수의 제1 오디오 신호들 각각은, 상기 제k 이미지의 좌측을 위한 오디오 신호, 우측을 위한 오디오 신호, 센터를 위한 오디오 신호, 좌후방을 위한 오디오 신호, 및 우후방 방향을 위한 오디오 신호를 포함할 수 있다.
프로세서(320)는 복수의 이미지들(3200)의 기준 방향을 상기 제1 방향에서 상기 제2 방향으로 변경하기 위한 입력을 수신할 수 있다. 상기 입력은, 외부 장치로부터 수신될 수도 있다. 상기 제2 방향은 복수의 이미지들(3200) 중 제l 이미지에 상응할 수 있다. 프로세서(320)는 상기 입력의 수신에 응답하여 상기 전방향 이미지의 기준 방향을 상기 제1 방향에서 상기 제2 방향으로 변경할 수 있다. 프로세서(320)는 상기 입력의 수신에 응답하여 상기 제1 방향과 상기 제2 방향 사이의 차이값을 산출할 수 있다. 프로세서(320)는 상기 차이값에 기반하여 상기 복수의 제2 오디오 신호들 각각에 상기 복수의 제1 오디오 신호들 중 적어도 하나의 오디오 신호를 할당할 수 있다. 프로세서(320)는 상기 적어도 하나의 오디오 신호 각각에 가중치를 적용함으로써 상기 복수의 제2 오디오 신호들 각각을 생성할 수 있다. 상기 복수의 제2 오디오 신호들 각각은, 상기 제2 방향에 상응하는 카메라와 상기 복수의 제1 오디오 신호들을 수신한 복수의 마이크로폰들 사이의 위치 관계에 기반하여 생성될 수 있다. 예를 들면, 상기 복수의 제2 오디오 신호들 각각은, 상기 제2 방향에 상응하는 카메라의 좌방에 배치된 적어도 하나의 마이크로폰을 통해 수신된 오디오 신호, 상기 제2 방향에 상응하는 카메라의 우방에 배치된 적어도 하나의 마이크로폰을 통해 수신된 오디오 신호, 상기 제2 방향에 상응하는 카메라의 주변에 배치된 적어도 하나의 마이크로폰을 통해 수신된 오디오 신호, 상기 제2 방향에 상응하는 카메라의 좌후방에 배치된 적어도 하나의 마이크로폰을 통해 수신된 오디오 신호, 및 상기 제2 방향에 상응하는 카메라의 우후방에 배치된 적어도 하나의 마이크로폰을 통해 수신된 오디오 신호를 포함할 수 있다. 상기 복수의 제2 오디오 신호들 각각은 예시도(3255)와 같이 방향성의 변경(예: 회전(3260))이 적용된 신호일 수 있다. 이러한 방향성의 변경을 통해, 전자 장치(101)는 기준 방향이 변경된 전방향 이미지에 매칭되는 복수의 제2 오디오 신호들을 생성할 수 있다.
도 33은 다양한 실시예들에 따라 오디오 신호를 처리하는 장치의 동작의 예를 도시한다. 이러한 동작은, 도 1에 도시된 전자 장치(101), 도 30에 도시된 전자 장치(101), 또는 전자 장치(101)에 포함된 프로세서(120)에 의해 수행될 수 있다.
도 33을 참조하면, 동작 3310에서, 프로세서(120)는 전방향 이미지의 기준 방향을 제1 방향에서 제2 방향으로 변경하기 위한 입력을 수신할 수 있다. 상기 기준 방향은, 상기 전방향 이미지의 재생을 개시하는 시점에서 사용자의 정면에 배치되는 방향일 수 있다. 상기 입력은 외부 장치로부터 수신될 수도 있다. 상기 기준 방향은, 상기 전방향 이미지의 기준이 되는 방향일 수 있다. 상기 기준 방향은, 상기 전방향 이미지를 위한 복수의 이미지들을 획득하는 절차에서 설정된 방향일 수 있다. 상기 복수의 이미지들을 획득하는 절차에서 설정된 상기 기준 방향은, 재생 시에 이용될 메인 방향과 상기 복수의 이미지들에 포함된 컨텍스트(context)에 따라 불일치될 수 있다. 이러한 불일치를 해소하기 위해, 상기 기준 방향의 변경이 전자 장치(101)에서 요구될 수 있다.
동작 3320에서, 프로세서(120)는 상기 제1 방향과 상기 제2 방향 사이의 차이값에 기반하여 상기 복수의 제1 오디오 신호들로부터 변경된 상기 복수의 제2 오디오 신호들을 생성할 수 있다. 프로세서(120)는 상기 차이값에 기반하여 상기 복수의 제2 오디오 신호들 각각을 위해 할당될 상기 복수의 제1 오디오 신호들 중 적어도 하나의 오디오 신호를 결정할 수 있다. 프로세서(120)는 상기 결정된 적어도 하나의 오디오 신호 중 적어도 일부에 상기 복수의 제2 오디오 신호들 각각에 상응하는 가중치를 적용함으로써, 상기 복수의 제2 오디오 신호들을 생성할 수 있다. 상기 복수의 제2 오디오 신호들은, 상기 제2 방향을 기준 방향으로 출력되도록 구성될 수 있다. 상기 복수의 제2 오디오 신호들은, 상기 전방향 이미지의 재생을 위해 상기 복수의 이미지들과 함께 생성되거나 출력될 수 있다.
도 34는 다양한 실시예들에 따라 복수의 제2 오디오 신호들을 생성하는 전자 장치의 동작의 예를 도시한다. 이러한 동작은, 도 1에 도시된 전자 장치(101), 도 30에 도시된 전자 장치(101), 또는 전자 장치(101)에 포함된 프로세서(120)에 의해 수행될 수 있다.
도 34의 동작 3410 내지 동작 3430은 도 33의 동작 3320에 상응할 수 있다.
동작 3410에서, 프로세서(120)는 상기 차이값에 기반하여 복수의 제2 오디오 신호들 각각에 상기 복수의 제1 오디오 신호들 중 적어도 하나의 오디오 신호를 할당할 수 있다. 달리 표현하면, 프로세서(120)는, 상기 차이값에 기반하여, 생성될 복수의 제2 오디오 신호들 각각을 위한 상기 복수의 제1 오디오 신호들의 조합을 결정할 수 있다.
동작 3420에서, 프로세서(120)는 상기 적어도 하나의 오디오 신호 각각에 가중치를 적용하여 복수의 제2 오디오 신호들을 각각 생성할 수 있다. 프로세서(120)는 상기 적어도 하나의 오디오 신호 각각에 상기 변경된 방향에 따라 변경되는 딜레이를 적용하여 상기 복수의 제2 오디오 신호들을 각각 생성할 수도 있다. 예를 들면, 프로세서(120)는, 도 31에 도시된 가중치에 대한 정보를 이용하여, 상기 적어도 하나의 오디오 신호 각각에 적용될 가중치를 결정할 수 있다. 프로세서(120)는 상기 가중치에 대한 정보로부터 획득된 가중치를 상기 적어도 하나의 오디오 신호 각각에 적용함으로써, 상기 복수의 제2 오디오 신호들 각각을 생성할 수 있다.
동작 3430에서, 프로세서(120)는 상기 복수의 제2 오디오 신호들을 처리할 수 있다. 예를 들면, 프로세서(120)는 상기 전방향 이미지의 재생을 위해 상기 복수의 제2 오디오 신호들 각각을 복수의 채널들 각각에 상응하는 출력 장치를 통해 출력할 수 있다. 다른 예를 들면, 프로세서(120)는 상기 전방향 이미지의 후처리 또는 재생을 위해 상기 복수의 제2 오디오 신호들을 저장할 수 있다. 또 다른 예를 들면, 프로세서(120)는 상기 전방향 이미지의 다른 장치에서의 재생을 위해, 상기 복수의 제2 오디오 신호들에 대한 정보를 상기 다른 장치에게 송신할 수 있다.
도 35는 다양한 실시예들에 따라 생성된 복수의 제2 오디오 신호들의 예를 도시한다.
도 35에 도시된 복수의 제2 오디오 신호들은 5.1 채널을 위해 구성될 수 있다. 도 35에 도시된 복수의 제2 오디오 신호들은 5.1 채널의 레프트(또는 front left)를 위한 신호, 5.1 채널의 라이트(또는 front right)를 위한 신호, 5.1 채널의 센터를 위한 신호, 5.1 채널의 서라운드 레프트를 위한 신호, 및 5.1 채널의 서라운드 라이트를 위한 신호를 포함할 수 있다.
도 35를 참조하면, 그래프 3510은, 기준 방향의 회전이 0도인 경우, 다양한 실시예들에 따라 생성된 복수의 제2 오디오 신호들을 나타낼 수 있다.
그래프 3530은, 기준 방향의 회전이 45도인 경우, 다양한 실시예들에 따라 생성된 복수의 제2 오디오 신호들을 나타낼 수 있다. 그래프 3510와 그래프 3530을 비교하면, 상기 복수의 제2 오디오 신호들이 상기 기준 방향의 변경에 따라 회전됨을 확인할 수 있다. 다시 말해, 다양한 실시예들에 따른 전자 장치(101)는 전방향 이미지의 변경된 기준 방향에 상응하는 오디오 신호를 제공할 수 있다.
그래프 3550은, 기준 방향의 회전이 90도인 경우, 다양한 실시예들에 따라 생성된 복수의 제2 오디오 신호들을 나타낼 수 있다. 그래프 3510와 그래프 3550을 비교하면, 상기 복수의 제2 오디오 신호들이 상기 기준 방향의 변경에 따라 회전됨을 확인할 수 있다. 다시 말해, 다양한 실시예들에 따른 전자 장치(101)는 전방향 이미지의 변경된 기준 방향에 상응하는 오디오 신호를 제공할 수 있다.
그래프 3570은, 기준 방향의 회전이 135도인 경우, 다양한 실시예들에 따라 생성된 복수의 제2 오디오 신호들을 나타낼 수 있다. 그래프 3510와 그래프 3570을 비교하면, 상기 복수의 제2 오디오 신호들이 상기 기준 방향의 변경에 따라 회전됨을 확인할 수 있다. 다시 말해, 다양한 실시예들에 따른 전자 장치(101)는 전방향 이미지의 변경된 기준 방향에 상응하는 오디오 신호를 제공할 수 있다.
도 36은 다양한 실시예들에 따라 왜곡을 보상하는 장치의 기능적 구성의 예를 도시한다. 이러한 기능적 구성은 도 3에 도시된 장치(300)에 포함될 수 있다.
도 37은 다양한 실시예들에 따라 왜곡을 보상하기 위한 정보를 결정하는 기법의 예를 도시한다.
도 38은 다양한 실시예들에 따른 왜곡을 보상하기 위한 이미지의 예를 도시한다.
도 39는 다양한 실시예들에 따른 왜곡을 보상하기 위한 이미지의 다른 예를 도시한다.
도 40은 다양한 실시예들에 따라 왜곡을 보상하기 위한 정보를 결정하는 기법의 다른 예를 도시한다.
도 36을 참조하면, 장치(300)는 프로세서(310), 메모리(320), 복수의 메모리들(예: 메모리(3600-1) 내지 메모리(3600-n)), 복수의 카메라들(예: 제1 카메라(330-1) 내지 제n 카메라(330-n)), 및 통신 인터페이스(340)를 포함할 수 있다.
프로세서(310)는 제1 카메라(330-1) 내지 제n 카메라(330-n) 각각과 동작적으로 연결될 수 있다. 프로세서(310)는 제1 카메라(330-1) 내지 제n 카메라(330-n)를 통해 복수의 이미지들을 획득할 수 있다.
제1 카메라(330-1) 내지 제n 카메라(330-n) 각각은 전방향 이미지 또는 파노라마 이미지를 생성하기 위한 복수의 이미지들을 획득하기 위해 이용될 수 있다. 제1 카메라(330-1) 내지 제n 카메라(330-n) 중 제1 카메라(330-1)는 장치(300)의 하우징의 상면(top surface)의 일부를 통해 노출되고, 제2 카메라(330-1) 내지 제n 카메라(330-n) 중 제1 카메라(330-1)와 다른 카메라들 각각은, 하우징의 옆면(side surface)의 일부를 통해 노출될 수 있다. 다시 말해, 제1 카메라(330-1)는 다른 카메라들과 다른 면에 배치될 수 있다. 제1 카메라(330-1) 내지 제n 카메라(330-n) 각각은 상기 복수의 메모리(3600-1) 내지 메모리(3600-n) 각각과 동작적으로 연결될 수 있다.
제1 카메라(330-1) 내지 제n 카메라(330-n) 각각은 지정된 FOV를 가지도록 장치(300)의 하우징(housing)에 배치될 수 있다. 제1 카메라(330-1) 내지 제n 카메라(330-n) 중 적어도 하나의 카메라는 제조 과정 중에서 발생하는 오류 또는 장치(300)의 사용 중 발생하는 오류로 인하여, 상기 지정된 FOV와 다른 FOV를 가지도록 하우징(housing)에 배치될 수 있다. 상기 지정된 FOV와 다른 FOV는 상기 복수의 이미지들 사이의 위치 관계의 변경을 야기할 수 있다. 다시 말해, 상기 지정된 FOV와 다른 FOV를 가지는 상기 적어도 하나의 카메라를 통해 획득되는 적어도 하나의 이미지는, 왜곡을 가질 수 있다. 제1 카메라(330-1) 내지 제n 카메라(330-n) 각각은 메모리(3600-1) 내지 메모리(3600-n) 각각으로부터 상기 왜곡을 보상하기 위한 정보를 제공받을 수 있다. 제1 카메라(330-1) 내지 제n 카메라(230-n) 중 상기 지정된 FOV와 다른 FOV를 가지는 적어도 하나의 카메라는, 상기 왜곡을 보상하기 위한 정보를 프로세서(310)에게 송신할 수 있다.
프로세서(310)는 제1 카메라(330-1) 내지 제n 카메라(330-n) 각각과 시그널링을 수행할 수 있다. 다양한 실시예들에서, 프로세서(310)는 제1 카메라(330-1) 내지 제n 카메라(330-n) 중 적어도 하나의 카메라로부터 왜곡을 보상하기 위한 정보를 수신할 수 있다. 상기 왜곡을 보상하기 위한 정보는, 제1 카메라(330-1) 내지 제n 카메라(330-n) 중 적어도 하나의 카메라가 상기 적어도 하나의 카메라를 위해 지정된 FOV와 다른 FOV가 가지는 것에 의해 야기될 수 있다. 예를 들면, 상기 적어도 하나의 카메라가 장치(300)의 하우징(housing)에 목표와 다르게 연결된 경우(또는 배치된 경우), 상기 적어도 하나의 카메라는 상기 적어도 하나의 카메라의 지정된 FOV(또는 목표(targeted) FOV)와 다른 FOV를 가질 수 있다. 예를 들면, 상기 적어도 하나의 카메라는, 장치(300)의 제조 과정에서 발생된 오류 또는 장치(300)의 이용 중 충격으로 발생된 오류로 인하여, 하우징 내의 목표된 위치와 다른 위치에 배치될 수 있다. 이러한 배치로 인하여, 상기 적어도 하나의 카메라는 상기 지정된 FOV와 다른 FOV를 가질 수 있다. 상기 왜곡을 보상하기 위한 정보는, 이러한 FOV에 의해 야기되는 이미지의 왜곡을 조정(adjust)하기 위해 이용될 수 있다.
다른 예를 들면, 상기 적어도 하나의 카메라는, 장치(300)의 제조 과정에서 발생된 오류 또는 장치(300)의 이용 중 충격으로 발생된 오류로 인하여, 상기 적어도 하나의 카메라에 포함된 이미지 센서와 상기 적어도 하나의 카메라에 포함된 렌즈 사이의 위치 관계가 지정된 위치 관계(또는 목표된 위치 관계)와 달라질 수 있다. 이러한 위치 관계로 인하여, 상기 적어도 하나의 카메라는 상기 지정된 FOV와 다른 FOV를 가질 수 있다. 상기 왜곡을 보상하기 위한 정보는, 이러한 FOV에 의해 야기되는 이미지의 왜곡을 감소시키기 위해 이용될 수 있다.
프로세서(310)는, 통신 인터페이스(340)를 통해, 상기 왜곡을 포함하는 적어도 하나의 이미지를 포함하는 복수의 이미지들에 대한 정보를 최종 이미지를 생성하는 다른 장치(예: 전자 장치(101))에게 송신할 수 있다. 프로세서(310)는, 통신 인터페이스(340)를 통해, 상기 왜곡을 보상하기 위한 정보를 상기 다른 장치에게 송신할 수 있다. 상기 왜곡을 보상하기 위한 정보는, 상기 최종 이미지를 생성하는 절차에서 상기 복수의 이미지들 중 적어도 일부를 수정하거나 보정하기 위해 상기 다른 장치에서 이용될 수 있다.
상기 왜곡을 보상하기 위한 정보는, 상기 적어도 하나의 카메라를 통해 획득되는 이미지 내에 포함된 기준 객체의 위치에 기반하여 결정될 수 있다. 예를 들어, 도 37을 참조하면, 개념도(3700)에서, 프로세서(310)는 상기 하우징을 수평 상태(horizontality)로부터 지정된 고도각(elevation angle) θ(3715) 만큼 기울인 제1 상태에서 상기 하우징의 상면의 일부를 통해 노출되는 제1 카메라(330-1)를 통해 기준 객체(3710)를 포함하는 제1 이미지를 획득할 수 있다. 상기 지정된 고도각(elevation angle) θ(3715)은, 제1 카메라(330-1)와 제n 카메라(330-n)(또는 제k 카메라(330-k))가 동시에 기준 객체(3710)에 대한 이미지를 획득할 수 있도록 설정될 수 있다. 예를 들면, 상기 지정된 고도각(elevation angle) θ(3715)은 45도일 수 있다. 개념도(3750)에서, 프로세서(310)는 상기 제1 상태에서 지정된 방위각(azimuth angle) φ(3755) 만큼 회전시킨 제2 상태에서 제1 카메라(330-1)를 통해 기준 객체(3710)를 포함하는 제2 이미지를 획득할 수 있다. 예를 들어, 도 38을 참조하면, 프로세서(310)는 상기 제1 상태에서 제1 카메라(330-1)를 통해 상기 제1 이미지(3810)를 획득할 수 있고, 상기 제2 상태에서 제1 카메라(330-1)를 통해 상기 제2 이미지(3820)를 획득할 수 있다. 도 38의 예에서, 상기 방위각 φ(3755)는 180도일 수 있다. 제1 카메라(330-1)가 지정된 FOV와 다른 FOV를 가지는 경우, 상기 제1 이미지(3810)와 상기 제2 이미지(3820) 사이의 위치 관계는 이미지(3830)와 같이 나타낼 수 있다. 상기 제1 이미지(3810)를 상기 방위각 φ(3755)에 상응하는 각도 만큼 회전 시키는 경우, 상기 이미지(3830)에서와 같이, 상기 제1 이미지(3810) 내의 기준 객체의 위치는 상기 제2 이미지(3820) 내의 기준 객체와 일치하지 않을 수 있다. 이러한 이미지 분석을 통해, 프로세서(310)는 제1 카메라(330-1)가 상기 지정된 FOV와 다른 FOV를 가짐을 확인할 수 있다. 프로세서(310)는 제1 카메라(330-1) 내에서 축(axis)의 비틀림(torsion)을 가짐을 확인할 수 있다. 프로세서(310)는, 상기 제1 이미지(3810) 내의 기준 객체를 상기 각도 만큼 회전 시킨 위치가 상기 제2 이미지(3820) 내의 기준 객체의 위치에 일치되도록 하는 적어도 하나의 값을 제1 카메라(330-1)를 통해 획득되는 이미지의 왜곡을 보상하기 위한 정보로 결정할 수 있다. 상기 적어도 하나의 값은, 피치(pitch) 회전을 나타내는 값, 요(yaw) 회전 을 나타내는 값, 또는 롤(roll) 회전을 나타내는 값 중 하나 이상을 포함할 수 있다.
상기 지정된 고도각(elevation angle) θ(3715)은 필수적인 요소가 아닐 수 있다. 예를 들면, 기준 객체(3710)의 위치가 제1 카메라(330-1)의 시야 및 다른 카메라(예: 제k 카메라(330-k), 제n 카메라(330-n) 등의 시야에 포함되도록 조정하는 것에 의해, 장치(300)는, 상기 지정된 고도각(elevation angle) θ(3715)만큼 기울어지지 않은 상태에서, 도 36 내지 도 42를 통해 설명되는 동작을 수행할 수도 있다.
다른 예를 들어, 도 37을 참조하면, 개념도(3700)에서, 프로세서(310)는 상기 제1 상태에서 제1 카메라(330-1)를 통해 기준 객체(3710)를 포함하는 제1 이미지를 획득하고, 상기 제1 상태에서 제n 카메라(330-n)를 통해 기준 객체(3710)를 포함하는 제3 이미지를 획득할 수 있다. 개념도(3750)에서, 프로세서(310)는 상기 제2 상태에서 제1 카메라(330-1)를 통해 기준 객체(3710)를 포함하는 제2 이미지를 획득하고, 상기 제2 상태에서 제k 카메라(330-k)를 통해 기준 객체(3710)를 포함하는 제4 이미지를 획득할 수 있다. 제k 카메라(330-k)는 상기 방위각 φ(3755)의 크기에 따라 다르게 결정될 수 있다. 프로세서(310)는 상기 제1 이미지(3810) 내의 기준 객체를 상기 각도 만큼 회전 시킨 위치가 상기 제2 이미지(3820) 내의 기준 객체의 위치와 일치함을 확인할 수 있다. 프로세서(310)는, 제1 카메라(330-1)가 축의 비틀림을 가지지 않거나, 제1 카메라(330-1)의 축의 비틀림을 상술한 예를 통해 보상한 경우, 도 39와 같이 제n 카메라(330-n) 및 제k 카메라(330-k) 중 적어도 하나가 가지는 축의 비틀림을 보상할 수 있다. 도 39를 참조하면, 프로세서(310)는 상기 제1 상태에서 제n 카메라(330-n)를 통해 상기 제3 이미지(3910)를 획득할 수 있고, 상기 제2 상태에서 제k 카메라(330-k)를 통해 상기 제4 이미지(3920)를 획득할 수 있다. 도 39의 예에서, 상기 방위각 φ(3755)는 180도일 수 있다. 제n 카메라(330-n) 또는 제k 카메라(330-k)가 지정된 FOV와 다른 FOV를 가지는 경우, 상기 제3 이미지(3910)와 상기 제4 이미지(3920) 사이의 위치 관계는 이미지(3930)와 같이 나타낼 수 있다. 상기 이미지(3930)에서와 같이, 제n 카메라(330-n) 또는 제k 카메라(330-k) 중 적어도 하나가 축의 비틀림을 가지는 경우, 상기 제3 이미지(3910) 내에서 기준 객체의 위치는 상기 제4 이미지(3920) 내에서 기준 객체의 위치와 일치되지 않을 수 있다. 프로세서(310)는, 상기 제3 이미지(3910) 내에서 기준 객체를 상기 방위각 φ(3755)에 기반하여 보상시킨 위치가 상기 제4 이미지(3920) 내의 기준 객체의 위치에 일치되도록 하는 적어도 하나의 값을 제n 카메라(330-n) 또는 제k 카메라(330-k) 중 적어도 하나를 통해 획득되는 이미지의 왜곡을 보상하기 위한 정보로 결정할 수 있다. 상기 적어도 하나의 값은, 피치(pitch) 회전을 나타내는 값, 요(yaw) 회전 을 나타내는 값, 또는 롤(roll) 회전을 나타내는 값 중 하나 이상을 포함할 수 있다.
다양한 실시예들에서, 프로세서(310)는 상기 적어도 하나의 카메라와 상기 하우징 사이의 위치 관계에 의해 야기되는 상기 적어도 하나의 카메라의 축의 비틀림 및 상기 적어도 하나의 카메라 내의 렌즈와 상기 적어도 하나의 카메라 내의 이미지 센서 사이의 위치 관계에 의해 야기되는 상기 적어도 하나의 카메라의 축의 비틀림을 조정할 수 있다. 예를 들어, 도 40을 참조하면, 개념도(4000)에서, 프로세서(310)는 장치(300)로부터 제1 거리 만큼 이격된 기준 객체(4010)를 포함하는 이미지를 획득하고, 장치(300)로부터 상기 제1 거리와 다른 제2 거리 만큼 이격된 기준 객체(4020)를 포함하는 이미지를 획득할 수 있다. 프로세서(310)는, 도 37 내지 39을 통해 설명된 기법에 기반하여, 상기 적어도 하나의 카메라와 상기 하우징 사이의 위치 관계에 의해 야기되는 상기 적어도 하나의 카메라의 축의 비틀림 뿐 아니라 상기 적어도 하나의 카메라 내의 렌즈와 상기 적어도 하나의 카메라 내의 이미지 센서 사이의 위치 관계에 의해 야기되는 상기 적어도 하나의 카메라의 축의 비틀림을 보상할 수 있다.
상술한 바와 같이, 다양한 실시예들에 따른 장치(300)에서, 프로세서(310)는 장치(300)의 하우징을 기울인 제1 상태에서 상기 하우징의 상면의 일부를 통해 노출되는 카메라를 통해 획득되는 이미지 내의 객체의 위치, 상기 제1 상태로부터 회전 시킨 제2 상태에서 상기 하우징의 상면의 일부를 통해 노출되는 카메라를 통해 획득되는 이미지 내의 객체의 위치, 상기 제1 상태에서 상기 하우징의 옆면의 일부를 통해 노출되는 카메라를 통해 획득되는 이미지 내의 객체의 위치, 또는 상기 제2 상태에서 상기 하우징의 옆면의 일부를 통해 노출되는 다른 카메라를 통해 획득되는 이미지 내의 객체의 위치 중 하나 이상에 기반하여 장치(300) 내에 포함된 복수의 카메라들 중 적어도 하나의 카메라가 가지는 오류(예: 지정된 FOV와 다른 FOV를 가지는 것, 축의 비틀림)를 보상하기 위한 정보를 생성할 수 있다. 이러한 정보를 통해, 장치(300)는, 획득되는 이미지의 후처리 동작에서 이미지에 포함된 왜곡을 보상할 수 있다.
도 41은 다양한 실시예들에 따라 이미지를 보상하기 위한 정보를 송신하는 장치의 동작의 예를 도시한다. 이러한 동작은, 도 3에 도시된 장치(300), 도 36에 도시된 장치(300), 또는 장치(300) 내에 포함된 프로세서(310)에 의해 수행될 수 있다.
도 41을 참조하면, 동작 4110에서, 프로세서(310)는 복수의 카메라들(예: 제1 카메라(330-1) 내지 제n 카메라(330-n))를 통해 복수의 이미지들을 획득할 수 있다. 상기 복수의 카메라들 중 제1 카메라(330-1)는 장치(300)의 하우징의 상면의 일부를 통해 노출될 수 있고, 상기 복수의 카메라들 중 제1 카메라(330-1)와 다른 카메라들은 장치(300)의 하우징의 옆면의 일부를 통해 각각 노출될 수 있다. 예를 들면, 제1 카메라(330-1)를 통해 획득되는 제1 이미지는, 하우징의 상위 부분의 장면(scene)과 관련되고, 상기 다른 카메라들을 통해 획득되는 이미지들 각각은, 하우징의 옆 부분의 장면(scene)과 관련될 수 있다. 프로세서(310)는 상기 복수의 이미지들에 대한 인코딩 데이터를 생성할 수 있다.
동작 4120에서, 프로세서(310)는 상기 복수의 이미지들에 대한 정보 및 상기 복수의 이미지들 중 적어도 하나의 이미지에 포함된 적어도 하나의 왜곡을 보상하기 위한 정보를 다른 장치에게 송신할 수 있다. 예를 들면, 상기 다른 장치는, 상기 복수의 이미지들을 스티칭하는 장치로, 도 1에 도시된 전자 장치(101)를 포함할 수 있다. 상기 적어도 하나의 왜곡을 보상하기 위한 정보는, 장치(300)의 제조 과정 중 장치(300)에 저장될 수도 있고, 장치(300)의 이용 과정 중 장치(300)에 저장될 수도 있다. 상기 적어도 하나의 왜곡을 보상하기 위한 정보는, 상기 복수의 카메라들 각각과 연결된 복수의 메모리들 중 적어도 일부에 저장될 수도 있고, 프로세서(310)와 연결된 메모리(320)에 저장될 수도 있다.
상술한 바와 같이, 다양한 실시예들에 따른 장치(300)는 목표된 설계와 다르게 배치된 적어도 하나의 카메라로 인하여 야기되는 왜곡을 이미지 처리 동작에서 보상할 수 있도록 상기 왜곡을 보상하기 위한 정보를 다른 장치에게 제공하거나 상기 왜곡을 보상하기 위한 정보를 저장할 수 있다. 이러한 정보를 통해, 장치(300)는 상기 적어도 하나의 카메라의 물리적 위치 조정 없이 목표된 품질을 가지는 최종 이미지를 생성할 수 있다.
도 42는 다양한 실시예들에 따라 보상 모드를 제공하는 장치의 동작의 예를 도시한다. 이러한 동작은, 도 3에 도시된 장치(300), 도 36에 도시된 장치(300), 또는 장치(300) 내에 포함된 프로세서(310)에 의해 수행될 수 있다.
도 42를 참조하면, 동작 4210에서, 프로세서(310)는 보상 모드에 진입하기 위한 입력을 검출할 수 있다. 장치(300)는 적어도 하나의 카메라의 축의 비틀림 등을 보완하기 위해 보상 모드를 제공할 수 있다. 프로세서(310)는 지정된 입력의 수신(예: 롱 터치 입력, 더블 탭 입력, 포스 터치 입력, 드래그 입력 등) 또는 보상 모드에 진입하기 위한 객체에 대한 입력의 수신을 통해 보상 모드에 진입하기 위한 입력을 검출할 수 있다.
동작 4220에서, 프로세서(310)는, 상기 입력의 검출에 응답하여, 상기 보상 모드에 진입할 수 있다. 예를 들면, 보상 모드에서, 프로세서(310)는 도 37 내지 도 40 등을 통해 설명된 동작을 가이드하는 UI를 표시할 수 있다.
동작 4230에서, 프로세서(310)는 상기 보상 모드에서 보상을 위한 객체를 포함하는 복수의 이미지들을 획득할 수 있다. 상기 보상을 위한 객체는, 도 37 내지 도 40의 기준 객체에 상응할 수 있다. 프로세서(310)는 상기 적어도 하나의 카메라의 오류를 검출하고 보상하기 위해, 상기 객체를 포함하는 복수의 이미지들을 획득할 수 있다.
동작 4240에서, 프로세서(310)는 상기 왜곡을 보상하기 위한 객체를 포함하는 복수의 이미지들에 적어도 일부 기반하여 적어도 하나의 왜곡을 보상하기 위한 정보를 결정할 수 있다. 예를 들면, 프로세서(310)는 도 37 내지 도 40을 통해 설명된 기법에 기반하여 상기 적어도 하나의 왜곡을 보상하기 위한 정보를 결정할 수 있다.
동작 4250에서, 프로세서(310)는 상기 결정된 정보를 처리할 수 있다. 다양한 실시예들에서, 프로세서(310)는 상기 결정된 정보를 저장할 수 있다. 다양한 실시예들에서, 프로세서(310)는 상기 결정된 정보를 다른 장치에게 송신할 수 있다. 다양한 실시예들에서, 프로세서(310)는 상기 적어도 하나의 왜곡을 보상하기 위한 정보를 업데이트할 수 있다.
상술한 바와 같이, 다양한 실시예들에 따른 장치(300)는 장치(300)에 포함된 복수의 카메라들 중 적어도 하나의 카메라의 배치에 따른 왜곡을 디지털 기법에 보상하기 위한 정보를 제공할 수 있다. 이러한 정보의 제공을 통해, 장치(300)를 통해 획득된 복수의 이미지들에 기반하여 이미지를 생성하는 장치(300) 또는 다른 장치는, 지정된 품질 이상의 품질을 가지는 최종 이미지를 제공할 수 있다.
다양한 실시 예에 따르는 전자 장치는, 하우징(또는, 회로기판(예: 도 11b의 1110); 상기 하우징의 제1 영역(예: 도 11b의 1114-1)에 배치된 제 1 카메라(예: 도 11b의 1120-1) 및 제 2 카메라(예: 도 11b의 1120-2)를 포함하는 복수의 카메라들, 상기 제 1 카메라는 상기 제 2 카메라와 광축이 교차하도록 배치되고; 상기 하우징의 제 2영역(예: 도 11b의 1114-2)에 배치된 제 3 카메라(예: 도 11b의 1120-3) 및 제 4 카메라(예: 도 11b의 1120-4)를 포함하는 복수의 카메라들, 상기 제 3 카메라는 상기 제 4 카메라와 광축이 교차하도록 배치되고, 상기 제 4 카메라는 상기 제 1 카메라와 광축이 실질적으로 평행하도록 배치되고; 상기 제 1 카메라 및 제 3 카메라와 제 1 지정된 인터페이스(예: 도 11b의 1112-1)로 연결되는 제 1 프로세서(예: 도 11b의 1141); 및 상기 제 2 카메라 및 제 4 카메라와 제 2 지정된 인터페이스(예: 도 11b의 1112-3)로 연결되는 제 2프로세서(예: 도 11b의 1151)를 포함할 수 있다.
일 실시 예에 따르는 전자 장치는 회로 기판(예: 도 11b의 1110)을 더 포함하고, 상기 제1 카메라(예: 도 11b의 1120-1), 상기 제2 카메라(예: 도 11b의 1120-2), 상기 제3 카메라(예: 도 11b의 1120-3) 또는 상기 제4 카메라(예: 도 11b의 1120-4) 중 적어도 하나는 상기 회로 기판의 일면에 배치될 수 있다.
일 실시 예에 따르는 상기 제1 프로세서(예: 도 11b의 1141)는 상기 제1 카메라 및 제 3 카메라를 통해 획득된 이미지를 처리하고, 상기 제2 프로세서(예: 도 11b의 1151)는 상기 제2 카메라 및 제 4 카메라를 통해 획득된 이미지를 처리하도록 구성될 수 있다.
일 실시 예에 따르면, 상기 하우징(또는, 회로기판(예: 도 11b의 1110))은 제3 영역(예: 도 11b의 1114-3) 및 상기 제 3 영역의 적어도 일부에서 상기 제4 카메라에 인접하게 배치되는 제 5 카메라(예: 도 11b의 1120-5)를 더 포함하고, 상기 제 5 카메라의 광축과 제 4 카메라의 광축은 실질적으로 직교하도록 배치될 수 있다.
일 실시 예에 따르면, 전자 장치는 제3 프로세서(예: 도 29의 120)를 더 포함하고, 상기 제3 프로세서는, 상기 제1 프로세서 또는 제2 프로세서로부터 획득된 이미지를 이용하여 2D(two-dimensional) 이미지를 제공하고, 상기 제1 프로세서 및 제2 프로세서로부터 획득된 이미지들을 이용하여 3D(three-dimensional) 이미지를 제공하도록 설정될 수 있다.
다양한 실시예들에 따른 장치(apparatus)는, 인쇄회로기판(printed circuit board, PCB)(예: 도 11a의 1110); 상기 인쇄회로기판의 둘레를 따라 배치되고 상기 인쇄회로기판과 실질적으로 평행하게 정향(oriented)된 복수의 카메라를 포함하는 제1 카메라 셋(set)(예: 도 11a의 1120-1, 1120-3, 1120-5, 1120-7, 1120-9, 1120-11, 1120-13, 1120-15); 상기 제1 카메라 셋에 포함된 카메라 각각과 교차 배열(interleaved)되도록 상기 인쇄회로기판의 둘레를 따라 배치되며, 상기 인쇄회로기판과 실질적으로 평행하게 정향된 복수의 카메라를 포함하는 제2 카메라 셋(예: 도 11a의 1120-2, 1120-4, 1120-6, 1120-8, 1120-10, 1120-12, 1120-14, 1120-16); 및 상기 인쇄회로기판 상에 배치되는 적어도 하나의 제1 프로세서(예: 도 11a의 1140), 및 적어도 하나의 제2 프로세서(예: 도 11a의 1150)를 포함하되, 상기 제1 카메라 셋은 상기 인쇄회로기판 상에 형성된 제1 인터페이스들에 의하여 상기 적어도 하나의 제1 프로세서에 연결되고, 상기 제2 카메라 셋은 상기 인쇄회로기판 상에 형성된 제2 인터페이스들에 의하여 상기 적어도 하나의 제2 프로세서에 연결되도록 구성될 수 있다.
다양한 실시 예에 있어서, 상기 제1 카메라 셋, 상기 제2 카메라 셋, 상기 적어도 하나의 제1 프로세서, 또는 상기 적어도 하나의 제2 프로세서중 적어도 하나는 상기 인쇄회로기판의 제1 면(예: 도 13a의 1312)에 배치되도록 구성될 수 있다.
다양한 실시 예에 있어서, 상기 인쇄회로기판에 실질적으로 수직하도록 정향된 제3 카메라(예: 도 12의 1230), 및 상기 제3 카메라에 연결된 제3 프로세서(예: 도 12의 1220)를 더 포함할 수 있다.
다양한 실시 예에 있어서, 상기 제3 프로세서는 상기 인쇄회로기판의 상기 제1 면에 대향하는 제2 면(예: 도 13a의 1311)에 배치되도록 구성될 수 있다.
다양한 실시 예에 있어서, 상기 인쇄회로기판은 양면 인쇄회로기판을 포함할 수 있다.
다양한 실시 예에 있어서, 상기 제1 인터페이스들(예: 도 11a의 1112-1, 1121-2) 또는 상기 제2 인터페이스들(예: 도 11a의 1121-3, 1121-4) 중 적어도 하나는 상기 인쇄회로기판 상에 형성된 도전성 패턴으로 형성될 수 있다.
다양한 실시 예에 있어서, 상기 제1 카메라 셋, 상기 제2 카메라 셋에 포함된 카메라들은 적어도 하나의 스테레오스코픽 쌍을 구성할 수 있다.
다양한 실시 예에 있어서, 상기 제1 카메라 셋, 및 상기 제2 카메라 셋에 포함된 카메라들은, 각각 촬영한 이미지들이 서로 적어도 일부 중첩된 영역을 가지도록 연관된 FOVH를 가질 수 있다.
다양한 실시 예에 있어서, 상기 제1 카메라 셋, 및 상기 제2 카메라 셋에 포함된 카메라들은, 각각 촬영한 이미지들이, 상기 제3 카메라가 촬영한 이미지와 적어도 일부 중첩된 영역을 가지도록 연관된 FOVV를 가질 수 있다.
다양한 실시 예에 있어서, 상기 제3 프로세서는, 상기 적어도 하나의 제1 프로세서, 또는 상기 적어도 하나의 제2 프로세서로부터, 360도 파노라마 뷰에 대응하는 제1 이미지 데이터를 수신하고; 및 상기 제1 이미지 데이터 및 상기 제3 카메라로부터 수신된 탑 뷰에 대응하는 제2 이미지 데이터에 기반하는, 2D(two-dimensional) 전방향 이미지를 제공하도록 구성될수 있다.
다양한 실시 예에 있어서, 상기 제3 프로세서는, 상기 적어도 하나의 제1 프로세서로부터, 제1 방향(orientation)을 가지는 360도 파노라마 뷰에 대응하는 제1 이미지 데이터를 수신하고; 상기 적어도 하나의 제2 프로세서로부터, 제2 방향(orientation)을 가지는 360도 파노라마 뷰에 대응하는 제2 이미지 데이터를 수신하고; 및 상기 제1 이미지 데이터, 상기 제2 이미지 데이터 및 상기 제3 카메라로부터 수신된 탑 뷰에 대응하는 제3 이미지 데이터에 기반하는, 3D(three-dimensional) 전방향 이미지를 제공하도록 구성될 수 있다.
다양한 실시 예에 있어서, 상기 적어도 하나의 제1 프로세서는 제3 프로세서(예: 도 11a의 1141) 및 제4 프로세서(예: 도 11a의 1142)를 포함하고, 상기 제3 프로세서는 상기 제1 카메라 셋에 포함된 적어도 하나의 제4 카메라(예: 도 11a의 1120-1, 1120-3, 1120-5, 1120-7)와 연결되고, 상기 제4 프로세서는 상기 제1 카메라 셋에 포함된 적어도 하나의 제5 카메라(예: 도 11a의 1120-9, 1120-11, 1120-13, 1120-15)와 연결되며, 상기 적어도 하나의 제2 프로세서는 제5 프로세서(예: 도 11a의 1151) 및 제6 프로세서(예: 도 11a의 1152)를 포함하고, 상기 제5 프로세서는 상기 제2 카메라 셋에 포함된 적어도 하나의 제6 카메라(예: 도 11a의 1120-2, 1120-4, 1120-6, 1120-8)와 연결되고, 상기 제6 프로세서는 상기 제2 카메라 셋에 포함된 적어도 하나의 제7 카메라(예: 도 11a의 1120-10, 1120-12, 1120-14, 1120-16)와 연결될 수 있다.
다양한 실시 예에 있어서, 상기 적어도 하나의 제4 카메라는 상기 적어도 하나의 제6 카메라와 교차 배열되며, 상기 적어도 하나의 제5 카메라는 상기 적어도 하나의 제7 카메라와 교차 배열될 수 있다.
다양한 실시 예에 있어서, 상기 제3 프로세서는, 상기 제3 프로세서, 상기 제4 프로세서, 상기 제5 프로세서, 및 상기 제6 프로세서 중 어느 하나로부터, 180도 파노라마 뷰(예: 도 11a의 Q1-Q2 또는 Q3-Q4)에 대응하는 제1 이미지 데이터를 수신하고; 및 상기 제1 이미지 데이터 및 상기 제3 카메라로부터 수신된 탑 뷰에 대응하는 제2 이미지 데이터에 기반하는, 2D(two-dimensional) 180도파노라마 이미지를 제공하도록 구성될수 있다.
다양한 실시 예에 있어서, 상기 인쇄회로기판은, 상기 제1 카메라 셋 및 상기 제2 카메라 셋에 포함된 카메라들보다 외부를 향해 더 돌출되는 적어도 하나의 돌출부(예: 도 11a의 1113)를 가질 수 있다.
다양한 실시예들에 따른 장치에 있어서, 인쇄회로기판(printed circuit board, PCB); 상기 인쇄회로기판의 제1 면 상에 배치되고, 상기 인쇄회로기판에 수직하도록 정향된 탑 카메라; 상기 인쇄회로기판의 상기 제1 면의 대향하는 제2 면의 둘레를 따라 배치되고, 상기 인쇄회로기판과 평행하게 정향된 16개의 측면 카메라들; 상기 인쇄회로기판의 상기 제1 면에 배치되고 상기 탑 카메라와 연결되는 제1 프로세서(예: 도 12의 1220); 및 상기 인쇄회로기판의 상기 제2 면에 배치되고 상기 측면 카메라들과 연결되는 적어도 하나의 프로세서(예: 도 11a의 1140 및 1150)를 포함할 수 있다.
다양한 실시 예에 있어서, 상기 측면 카메라들은, 스트레오스코픽 쌍의 좌측 카메라에 해당하는 8개의 좌측 카메라들과, 상기 스트레오스코픽 쌍의 우측 카메라에 해당하는 8개의 우측 카메라들을 포함하며, 상기 좌측 카메라들과 상기 우측 카메라들은 상기 인쇄회로기판의 제2 면을 따라 서로 교차 배열될 수 있다.
다양한 실시 예에 있어서, 상기 적어도 하나의 프로세서는 제2 프로세서, 제3 프로세서, 제4 프로세서, 제5 프로세서를 포함하고, 상기 우측 카메라의 일부는 제2 프로세서에 연결되고, 상기 우측 카메라의 나머지 일부는 제5 프로세서에 연결되고, 상기 좌측 카메라들의 일부는 제3 프로세서에 연결되고, 및 상기 좌측 카메라들의 나머지 일부는 제4 프로세서에 연결 될 수 있다.
다양한 실시 예에 있어서, 상기 제2 프로세서, 제5 프로세서, 제3 프로세서, 및 제4 프로세서는, 차례대로 또는 임의의 순서에 따라 순차적으로 연결되며, 상기 제1 프로세서는 상기 적어도 하나의 프로세서 중 하나와 동작적으로 연결될 수 있다.
다양한 실시 예에 있어서, 상기 제2 프로세서, 제5 프로세서, 제3 프로세서, 및 제4 프로세서의 순차적 연결은 상기 인쇄회로기판 상에 형성되는 인터페이스들에 의하여 형성될 수 있다.
본 개시의 청구항 또는 명세서에 기재된 실시예들에 따른 방법들은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합의 형태로 구현될(implemented) 수 있다.
소프트웨어로 구현하는 경우, 하나 이상의 프로그램(소프트웨어 모듈)을 저장하는 컴퓨터 판독 가능 저장 매체가 제공될 수 있다. 컴퓨터 판독 가능 저장 매체에 저장되는 하나 이상의 프로그램은, 전자 장치(device) 내의 하나 이상의 프로세서에 의해 실행 가능하도록 구성된다(configured for execution). 하나 이상의 프로그램은, 전자 장치로 하여금 본 개시의 청구항 또는 명세서에 기재된 실시예들에 따른 방법들을 실행하게 하는 명령어(instructions)를 포함한다.
이러한 프로그램(소프트웨어 모듈, 소프트웨어)은 랜덤 액세스 메모리 (random access memory), 플래시(flash) 메모리를 포함하는 불휘발성(non-volatile) 메모리, 롬(ROM: read only memory), 전기적 삭제가능 프로그램가능 롬(EEPROM: electrically erasable programmable read only memory), 자기 디스크 저장 장치(magnetic disc storage device), 컴팩트 디스크 롬(CD-ROM: compact disc-ROM), 디지털 다목적 디스크(DVDs: digital versatile discs) 또는 다른 형태의 광학 저장 장치, 마그네틱 카세트(magnetic cassette)에 저장될 수 있다. 또는, 이들의 일부 또는 전부의 조합으로 구성된 메모리에 저장될 수 있다. 또한, 각각의 구성 메모리는 다수 개 포함될 수도 있다.
또한, 상기 프로그램은 인터넷(Internet), 인트라넷(Intranet), LAN(local area network), WLAN(wide LAN), 또는 SAN(storage area network)과 같은 통신 네트워크, 또는 이들의 조합으로 구성된 통신 네트워크를 통하여 접근(access)할 수 있는 부착 가능한(attachable) 저장 장치(storage device)에 저장될 수 있다. 이러한 저장 장치는 외부 포트를 통하여 본 개시의 실시 예를 수행하는 장치에 접속할 수 있다. 또한, 통신 네트워크상의 별도의 저장장치가 본 개시의 실시 예를 수행하는 장치에 접속할 수도 있다.
상술한 본 개시의 구체적인 실시예들에서, 개시에 포함되는 구성 요소는 제시된 구체적인 실시 예에 따라 단수 또는 복수로 표현되었다. 그러나, 단수 또는 복수의 표현은 설명의 편의를 위해 제시한 상황에 적합하게 선택된 것으로서, 본 개시가 단수 또는 복수의 구성 요소에 제한되는 것은 아니며, 복수로 표현된 구성 요소라 하더라도 단수로 구성되거나, 단수로 표현된 구성 요소라 하더라도 복수로 구성될 수 있다.
한편 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (15)

  1. 전자 장치(apparatus)에 있어서,
    인쇄회로기판(printed circuit board, PCB);
    상기 인쇄회로기판의 둘레를 따라 배치되고 상기 인쇄회로기판과 평행하게 정향(oriented)된 복수의 카메라를 포함하는 제1 카메라 셋(set);
    상기 제1 카메라 셋에 포함된 카메라 각각과 교차 배열(interleaved)되도록 상기 인쇄회로기판의 둘레를 따라 배치되며, 상기 인쇄회로기판과 평행하게 정향된 복수의 카메라를 포함하는 제2 카메라 셋; 및
    적어도 하나의 제1 프로세서, 및 적어도 하나의 제2 프로세서를 포함하되,
    상기 제1 카메라 셋은 상기 인쇄회로기판 상에 배치된 제1 인터페이스에 의하여 상기 적어도 하나의 제1 프로세서에 연결되고, 상기 제2 카메라 셋은 상기 인쇄회로기판 상에 배치된 제2 인터페이스에 의하여 상기 적어도 하나의 제2 프로세서에 연결되도록 구성되는 전자 장치.
  2. 제1항에 있어서, 상기 제1 카메라 셋, 상기 제2 카메라 셋, 상기 적어도 하나의 제1 프로세서, 또는 상기 적어도 하나의 제2 프로세서 중 적어도 하나는 상기 인쇄회로기판의 제1 면에 배치되도록 구성되는 전자 장치.
  3. 제2항에 있어서, 상기 인쇄회로기판에 수직하도록 정향된 제3 카메라, 및 상기 제3 카메라에 연결된 제3 프로세서를 더 포함하는 전자 장치.
  4. 제3항에 있어서, 상기 제3 프로세서는 상기 인쇄회로기판의 상기 제1 면에 대향하는 제2 면에 배치되도록 구성되는 전자 장치.
  5. 제4 항에 있어서, 상기 인쇄회로기판은 양면 인쇄회로기판을 포함하는 전자 장치.
  6. 제1항에 있어서, 상기 제1 인터페이스 또는 상기 제2 인터페이스 중 적어도 하나는 상기 인쇄회로기판 상에 형성된 도전성 패턴으로 형성되는 전자 장치.
  7. 제1항에 있어서,
    상기 제1 카메라 셋, 상기 제2 카메라 셋에 포함된 카메라들은 적어도 하나의 스테레오스코픽 쌍을 구성하는 전자 장치.
  8. 제1항에 있어서,
    상기 제1 카메라 셋, 및 상기 제2 카메라 셋에 포함된 카메라들은, 각각 촬영한 이미지들이 서로 적어도 일부 중첩된 영역을 가지도록 연관된 FOVH를 가지는 전자 장치.
  9. 제3항에 있어서, 상기 제1 카메라 셋, 및 상기 제2 카메라 셋에 포함된 카메라들은, 각각 촬영한 이미지들이, 상기 제3 카메라가 촬영한 이미지와 적어도 일부 중첩된 영역을 가지도록 연관된 FOVV를 가지는 전자 장치.
  10. 제3항에 있어서, 상기 제3 프로세서는:
    상기 적어도 하나의 제1 프로세서, 또는 상기 적어도 하나의 제2 프로세서로부터, 360도 파노라마 뷰에 대응하는 제1 이미지 데이터를 수신하고; 및
    상기 제1 이미지 데이터 및 상기 제3 카메라로부터 수신된 탑 뷰에 대응하는 제2 이미지 데이터에 기반하는, 2D(two-dimensional) 전방향 이미지를 제공하도록 설정된 전자 장치.
  11. 제3항에 있어서, 상기 제3 프로세서는:
    상기 적어도 하나의 제1 프로세서로부터, 제1 방향(orientation)을 가지는 360도 파노라마 뷰에 대응하는 제1 이미지 데이터를 수신하고;
    상기 적어도 하나의 제2 프로세서로부터, 제2 방향(orientation)을 가지는 360도 파노라마 뷰에 대응하는 제2 이미지 데이터를 수신하고; 및
    상기 제1 이미지 데이터, 상기 제2 이미지 데이터 및 상기 제3 카메라로부터 수신된 탑 뷰에 대응하는 제3 이미지 데이터에 기반하는, 3D(three-dimensional) 전방향 이미지를 제공하도록 설정된 전자 장치.
  12. 제1항에 있어서, 상기 적어도 하나의 제1 프로세서는 제3 프로세서 및 제4 프로세서를 포함하고, 상기 제3 프로세서는 상기 제1 카메라 셋에 포함된 적어도 하나의 제4 카메라와 연결되고, 상기 제4 프로세서는 상기 제1 카메라 셋에 포함된 적어도 하나의 제5 카메라와 연결되며,
    상기 적어도 하나의 제2 프로세서는 제5 프로세서 및 제6 프로세서를 포함하고, 상기 제5 프로세서는 상기 제2 카메라 셋에 포함된 적어도 하나의 제6 카메라와 연결되고, 상기 제6 프로세서는 상기 제2 카메라 셋에 포함된 적어도 하나의 제7 카메라와 연결되는 전자 장치.
  13. 제12항에 있어서, 상기 적어도 하나의 제4 카메라는 상기 적어도 하나의 제6 카메라와 교차 배열되며, 상기 적어도 하나의 제5 카메라는 상기 적어도 하나의 제7 카메라와 교차 배열되는 전자 장치.
  14. 제12항에 있어서, 상기 제3 프로세서는:
    상기 제3 프로세서, 상기 제4 프로세서, 상기 제5 프로세서, 및 상기 제6 프로세서 중 어느 하나로부터, 180도 파노라마 뷰에 대응하는 제1 이미지 데이터를 수신하고; 및
    상기 제1 이미지 데이터 및 상기 제3 카메라로부터 수신된 탑 뷰에 대응하는 제2 이미지 데이터에 기반하는, 2D(two-dimensional) 180도파노라마 이미지를 제공하도록 설정된 전자 장치.
  15. 제1항에 있어서, 상기 인쇄회로기판은, 상기 제1 카메라 셋 및 상기 제2 카메라 셋에 포함된 카메라들보다 외부를 향해 더 돌출되는 적어도 하나의 돌출부를 가지는 전자 장치.
PCT/KR2018/010558 2017-09-11 2018-09-10 복수의 카메라를 통해 수신되는 이미지를 처리하기 위한 장치 및 방법 WO2019050361A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/645,673 US20200267328A1 (en) 2017-09-11 2018-09-10 Device and method for processing images received through plurality of cameras

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0116209 2017-09-11
KR1020170116209A KR102324702B1 (ko) 2017-09-11 2017-09-11 복수의 카메라를 통해 수신되는 이미지를 처리하기 위한 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2019050361A1 true WO2019050361A1 (ko) 2019-03-14

Family

ID=65635032

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/010558 WO2019050361A1 (ko) 2017-09-11 2018-09-10 복수의 카메라를 통해 수신되는 이미지를 처리하기 위한 장치 및 방법

Country Status (3)

Country Link
US (1) US20200267328A1 (ko)
KR (1) KR102324702B1 (ko)
WO (1) WO2019050361A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112135070A (zh) * 2019-06-25 2020-12-25 三星电子株式会社 相机模块和包括其的成像装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10861359B2 (en) * 2017-05-16 2020-12-08 Texas Instruments Incorporated Surround-view with seamless transition to 3D view system and method
US20210321077A1 (en) * 2020-01-09 2021-10-14 JUC Holdings Limited 2d digital image capture system and simulating 3d digital image sequence
US20220078392A1 (en) * 2020-01-09 2022-03-10 JUC Holdings Limited 2d digital image capture system, frame speed, and simulating 3d digital image sequence
US20220051427A1 (en) * 2020-01-09 2022-02-17 JUC Holdings Limited Subsurface imaging and display of 3d digital image and 3d image sequence
US11917119B2 (en) * 2020-01-09 2024-02-27 Jerry Nims 2D image capture system and display of 3D digital image
US20210297647A1 (en) * 2020-01-09 2021-09-23 Jerry Nims 2d image capture system, transmission & display of 3d digital image
US10931889B1 (en) * 2020-05-22 2021-02-23 Disney Enterprises, Inc. System and method for providing landscape and portrait oriented images of a common scene on separate feeds with independent image controls
US20220385880A1 (en) * 2021-05-28 2022-12-01 Jerry Nims 2d digital image capture system and simulating 3d digital image and sequence
CN117560556B (zh) * 2024-01-11 2024-05-14 杭州海康威视数字技术股份有限公司 多目摄像机

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100475060B1 (ko) * 2002-08-07 2005-03-10 한국전자통신연구원 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법
KR20060062011A (ko) * 2004-12-02 2006-06-09 황의남 전방향 감시카메라 장치
US20120242785A1 (en) * 2011-03-24 2012-09-27 Kabushiki Kaisha Topcon Omnidirectional Camera
US20160357092A1 (en) * 2014-06-09 2016-12-08 Arecont Vision, Llc Omnidirectional user configurable multi-camera housing
KR101685418B1 (ko) * 2011-04-27 2016-12-12 한화테크윈 주식회사 3차원 영상을 생성하는 감시 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NZ525241A (en) * 2003-04-08 2006-02-24 Univ Waikato Range sensing system with shuttered receiver.
JP2006118886A (ja) 2004-10-19 2006-05-11 Sanyo Electric Co Ltd 距離算出システム、距離算出システムの距離算出方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100475060B1 (ko) * 2002-08-07 2005-03-10 한국전자통신연구원 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법
KR20060062011A (ko) * 2004-12-02 2006-06-09 황의남 전방향 감시카메라 장치
US20120242785A1 (en) * 2011-03-24 2012-09-27 Kabushiki Kaisha Topcon Omnidirectional Camera
KR101685418B1 (ko) * 2011-04-27 2016-12-12 한화테크윈 주식회사 3차원 영상을 생성하는 감시 시스템
US20160357092A1 (en) * 2014-06-09 2016-12-08 Arecont Vision, Llc Omnidirectional user configurable multi-camera housing

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112135070A (zh) * 2019-06-25 2020-12-25 三星电子株式会社 相机模块和包括其的成像装置
US11949975B2 (en) 2019-06-25 2024-04-02 Samsung Electronics Co., Ltd. Camera module and imaging apparatus including the same

Also Published As

Publication number Publication date
US20200267328A1 (en) 2020-08-20
KR20190029095A (ko) 2019-03-20
KR102324702B1 (ko) 2021-11-10

Similar Documents

Publication Publication Date Title
WO2019050164A1 (en) APPARATUS AND METHOD FOR PROCESSING IMAGE RECEIVED VIA A PLURALITY OF CAMERAS
WO2019050361A1 (ko) 복수의 카메라를 통해 수신되는 이미지를 처리하기 위한 장치 및 방법
WO2019050366A1 (en) APPARATUS AND METHOD FOR PROCESSING IMAGE RECEIVED USING A PLURALITY OF CAMERAS
WO2019050200A1 (ko) 이미지를 처리하기 위한 장치 및 방법
WO2019050261A1 (ko) 카메라 동작에 기반한 오디오 신호 처리 장치 및 방법
WO2017213365A1 (en) Moving picture capturing apparatus having dual camera
WO2019164315A1 (en) Electronic device including flexible display and method for controlling same
WO2017090837A1 (en) Digital photographing apparatus and method of operating the same
WO2015178562A1 (en) Method and apparatus for providing notification
WO2022019702A1 (en) Method and apparatus for transmitting 3d xr media data
WO2018044073A1 (en) Image streaming method and electronic device for supporting the same
WO2016171403A1 (en) Electronic device and method
WO2020231202A1 (ko) 복수 개의 스피커들을 포함하는 전자 장치 및 그 제어 방법
WO2018139790A1 (ko) 이동 단말기
WO2017086538A1 (ko) 이동 단말기 및 이의 제어방법
WO2016093510A1 (en) Display apparatus and display method
WO2017026615A1 (ko) 이어폰, 그와 연결 가능한 이동 단말기 및 제어 방법
WO2020017936A1 (ko) 전자 장치 및 이미지의 전송 상태에 기반하여 이미지를 보정하는 방법
EP4055817A1 (en) Camera module and electronic device including the same
WO2022097981A1 (ko) 카메라 모듈을 포함하는 전자 장치 및 그 전자 장치의 동작 방법
WO2021242049A1 (ko) 엣지 컴퓨팅 서비스를 이용한 영상 컨텐츠 전송 방법 및 장치
WO2021261854A1 (ko) 카메라 모듈 및 이를 포함하는 전자 장치
EP3494706A1 (en) Image streaming method and electronic device for supporting the same
WO2017111545A1 (ko) 무선 통신 시스템에서 사운드 신호를 기반으로 데이터를 송신 및 수신하는 장치 및 방법
WO2021006388A1 (ko) 이동 단말기 및 이동 단말기를 구비한 전자장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18853318

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18853318

Country of ref document: EP

Kind code of ref document: A1