WO2019017586A1 - 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터의 크기에 기반하여, 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터를 전송하는 방법 및 이를 지원하는 전자 장치 - Google Patents

이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터의 크기에 기반하여, 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터를 전송하는 방법 및 이를 지원하는 전자 장치 Download PDF

Info

Publication number
WO2019017586A1
WO2019017586A1 PCT/KR2018/006338 KR2018006338W WO2019017586A1 WO 2019017586 A1 WO2019017586 A1 WO 2019017586A1 KR 2018006338 W KR2018006338 W KR 2018006338W WO 2019017586 A1 WO2019017586 A1 WO 2019017586A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
pixel information
information data
image
processor
Prior art date
Application number
PCT/KR2018/006338
Other languages
English (en)
French (fr)
Inventor
김관호
김도한
방진민
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US16/632,498 priority Critical patent/US11240457B2/en
Publication of WO2019017586A1 publication Critical patent/WO2019017586A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/926—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
    • H04N5/9261—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41—Bandwidth or redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Definitions

  • Various embodiments of the present invention are directed to a method of transferring data associated with control of data and image capture, based on image data and the size of the data associated with the control of imaging, and to an electronic device supporting the same.
  • the speed (or shooting speed) at which an electronic device acquires an image through an image sensor is accelerating.
  • the image sensor module including the image sensor generates data related to the image based on the image data, in addition to the image data. Accordingly, in order to improve the quality of the image generated in the electronic device, it is necessary to transfer image data and the like from the image sensor module to the processor for processing image data and the like without data loss.
  • the prior art discloses a method and apparatus for transferring data between an image sensor module and an interprocessor when the function of the camera is executed in a high speed shooting mode and a speed of generating an image related to an image
  • image data and data related to the image can not be transmitted from the image sensor module to the processor at the speed of acquiring the image in the image sensor module.
  • Various embodiments of the present invention provide a method and system for image data processing that can transfer compressed data and image related data from an image sensor module to a processor in an adaptive manner based on the size of the compressed data and the size of the image- And an electronic device supporting the method of transmitting data related to the image.
  • An electronic device includes a processor and an image sensor module electrically connected to the processor, the image sensor module comprising: an image sensor; and an image sensor electrically connected to the image sensor, A control circuit coupled to the interface, the control circuit receiving a signal for external object imaging, using the image sensor to obtain a plurality of raw image data for the external object, Generating at least a portion of the plurality of raw image data to generate compressed compressed data using at least some of the raw image data of the processor, Wherein the pixel periodically Transmit data to the processor, and may be set to transmit the compressed data to the processor.
  • control of image data and image taking and the method of transmitting data related to image data are implemented by a control circuit included in an image sensor module including an image sensor, The method comprising: obtaining a plurality of raw image data for the external object using the image sensor, by the control circuit; at least a portion of the acquired plurality of raw image data Generating pixel information data associated with control of the photographing of a processor electrically connected to the image sensor module and interfaced with the control circuit using at least one of the plurality of raw image data An operation of generating compressed data partly compressed, Transferring the pixel information data to the processor in accordance with the transfer period specified by the processor or the control circuit, and transmitting the compressed data to the processor.
  • a method of transmitting image data and data associated with an image according to various embodiments of the present invention and an electronic device supporting the same can be implemented in an adaptive manner based on the size of compressed data compressed and the size of image related data And may transmit compressed data and image related data from the image sensor module to the processor.
  • FIG. 1 is a block diagram of an electronic device for transferring image data in a network environment and data related to control of imaging, in accordance with various embodiments.
  • FIG. 2A is a block diagram of a camera module for transferring image data and data related to control of imaging, in accordance with various embodiments.
  • Figure 2B illustrates a conceptual diagram for describing the operation of an electronic device and an external electronic device for transferring image data and data related to control of image and image taking, in accordance with various embodiments of the present invention.
  • FIG 3 is an overall diagram of an apparatus for transmitting image data and data associated with control of image capture in accordance with various embodiments of the present invention.
  • FIG. 4 is a detailed diagram of an apparatus for transferring image data and data related to control of imaging according to various embodiments of the present invention.
  • FIG. 5 (a) is a view illustrating an image sensor according to an embodiment of the present invention.
  • FIG. 5 (b) is a diagram illustrating a pixel information data generation unit according to an embodiment of the present invention.
  • 5C is a diagram illustrating a pixel information data generation unit according to another embodiment of the present invention.
  • FIG. 6 is a diagram for explaining a method for transmitting data in a frame interleaving method according to an embodiment of the present invention.
  • FIG. 7 is a diagram for explaining a method for transmitting data in a frame interleaving method according to another embodiment of the present invention.
  • FIG. 8 is a diagram for explaining a method for transmitting data in a frame interleaving method according to another embodiment of the present invention.
  • FIG. 9 is a diagram for explaining a method for transmitting data in a frame interleaving method according to another embodiment of the present invention.
  • FIG. 10 is a diagram for explaining a method for transmitting data in a line interleaving method according to an embodiment of the present invention.
  • FIG. 11 is a diagram for explaining compression related to pixel information data according to an embodiment of the present invention.
  • FIG. 12 is a diagram for explaining a method for transmitting data related to control of image shooting according to an embodiment of the present invention.
  • FIG. 13 is a diagram for explaining a method of determining a method of combining compressed data and pixel information data according to an embodiment of the present invention.
  • FIG. 14 is a diagram for explaining a method for transmitting image data and data related to control of image photographing according to another embodiment of the present invention.
  • 15 is a diagram for explaining a method for determining whether to transmit compressed pixel information data or uncompressed pixel information data according to an embodiment of the present invention.
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100, in accordance with various embodiments.
  • an electronic device 101 in a network environment 100 communicates with an electronic device 102 via a first network 198 (e.g., near-field wireless communication) or a second network 199 (E. G., Remote wireless communication).
  • a first network 198 e.g., near-field wireless communication
  • a second network 199 E. G., Remote wireless communication
  • ≪ / RTI &gt the electronic device 101 is capable of communicating with the electronic device 104 through the server 108.
  • the electronic device 101 includes a processor 120, a memory 130, an input device 150, an audio output device 155, a display device 160, an audio module 170, a sensor module 176, an interface 177, a haptic module 179, a camera module 180, a power management module 188, a battery 189, a communication module 190, a subscriber identity module 196, and an antenna module 197 ).
  • at least one (e.g., display 160 or camera module 180) of these components may be omitted from the electronic device 101, or other components may be added.
  • some components such as, for example, a sensor module 176 (e.g., a fingerprint sensor, an iris sensor, or an illuminance sensor) embedded in a display device 160 Can be integrated.
  • Processor 120 may be configured to operate at least one other component (e.g., hardware or software component) of electronic device 101 connected to processor 120 by driving software, e.g., And can perform various data processing and arithmetic operations.
  • Processor 120 loads and processes commands or data received from other components (e.g., sensor module 176 or communication module 190) into volatile memory 132 and processes the resulting data into nonvolatile memory 134.
  • the processor 120 may operate in conjunction with a main processor 121 (e.g., a central processing unit or an application processor) and, independently, or additionally or alternatively, Or a co-processor 123 (e.g., a graphics processing unit, an image signal processor, a sensor hub processor, or a communications processor) specific to the designated function.
  • a main processor 121 e.g., a central processing unit or an application processor
  • a co-processor 123 e.g., a graphics processing unit, an image signal processor, a sensor hub processor, or a communications processor
  • the coprocessor 123 may be operated separately from or embedded in the main processor 121.
  • the coprocessor 123 may be used in place of the main processor 121, for example, while the main processor 121 is in an inactive (e.g., sleep) state, At least one component (e.g., display 160, sensor module 176, or communications module 176) of the components of electronic device 101 (e.g., 190) associated with the function or states.
  • the coprocessor 123 e.g., an image signal processor or communications processor
  • the coprocessor 123 is implemented as a component of some other functionally related component (e.g., camera module 180 or communication module 190) .
  • Memory 130 may store various data used by at least one component (e.g., processor 120 or sensor module 176) of electronic device 101, e.g., software (e.g., program 140) ), And input data or output data for the associated command.
  • the memory 130 may include a volatile memory 132 or a non-volatile memory 134.
  • the program 140 may be software stored in the memory 130 and may include, for example, an operating system 142, a middleware 144,
  • the input device 150 is an apparatus for receiving a command or data to be used for a component (e.g., processor 120) of the electronic device 101 from the outside (e.g., a user) of the electronic device 101,
  • a component e.g., processor 120
  • a microphone, a mouse, or a keyboard may be included.
  • the sound output device 155 is a device for outputting a sound signal to the outside of the electronic device 101.
  • the sound output device 155 may be a speaker for general use such as a multimedia reproduction or a sound reproduction, .
  • the receiver may be formed integrally or separately with the speaker.
  • Display device 160 may be an apparatus for visually providing information to a user of electronic device 101 and may include, for example, a display, a hologram device, or a projector and control circuitry for controlling the projector. According to one embodiment, the display device 160 may include a touch sensor or a pressure sensor capable of measuring the intensity of the pressure on the touch.
  • the audio module 170 is capable of bi-directionally converting sound and electrical signals. According to one embodiment, the audio module 170 may acquire sound through the input device 150, or may be connected to the audio output device 155, or to an external electronic device (e.g., Electronic device 102 (e.g., a speaker or headphone)).
  • an external electronic device e.g., Electronic device 102 (e.g., a speaker or headphone)
  • the sensor module 176 may generate an electrical signal or data value corresponding to an internal operating state (e.g., power or temperature) of the electronic device 101, or an external environmental condition.
  • the sensor module 176 may be a gesture sensor, a gyro sensor, a barometric sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an infrared sensor, Or an illuminance sensor.
  • the interface 177 may support a designated protocol that may be wired or wirelessly connected to an external electronic device (e.g., the electronic device 102).
  • the interface 177 may include a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital interface
  • audio interface an audio interface
  • the connection terminal 178 may be a connector such as an HDMI connector, a USB connector, an SD card connector, or an audio connector that can physically connect the electronic device 101 and an external electronic device (e.g., the electronic device 102) (E.g., a headphone connector).
  • an HDMI connector such as an HDMI connector, a USB connector, an SD card connector, or an audio connector that can physically connect the electronic device 101 and an external electronic device (e.g., the electronic device 102) (E.g., a headphone connector).
  • the haptic module 179 may convert electrical signals into mechanical stimuli (e.g., vibrations or movements) or electrical stimuli that the user may perceive through tactile or kinesthetic sensations.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 can capture a still image and a moving image.
  • the camera module 180 may include one or more lenses, an image sensor, an image signal processor, or a flash.
  • the power management module 188 is a module for managing the power supplied to the electronic device 101, and may be configured as at least a part of, for example, a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 is an apparatus for supplying power to at least one component of the electronic device 101 and may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
  • the communication module 190 is responsible for establishing a wired or wireless communication channel between the electronic device 101 and an external electronic device (e.g., electronic device 102, electronic device 104, or server 108) Lt; / RTI > Communication module 190 may include one or more communication processors that support wired communication or wireless communication, operating independently of processor 120 (e.g., an application processor).
  • the communication module 190 may include a wireless communication module 192 (e.g., a cellular communication module, a short range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (E.g., a local area network (LAN) communication module, or a power line communication module), and the corresponding communication module may be used to communicate with a first network 198 (e.g., Bluetooth, WiFi direct, Communication network) or a second network 199 (e.g., a telecommunications network such as a cellular network, the Internet, or a computer network (e.g., a LAN or WAN)).
  • a wireless communication module 192 e.g., a cellular communication module, a short range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 E.g., a local area network (LAN) communication module, or a power line communication module
  • the wireless communication module 192 may use the user information stored in the subscriber identification module 196 to identify and authenticate the electronic device 101 within the communication network.
  • the antenna module 197 may include one or more antennas for externally transmitting or receiving signals or power.
  • the communication module 190 e.g., the wireless communication module 192 may transmit signals to or receive signals from an external electronic device via an antenna suitable for the communication method.
  • Some of the components are connected to each other via a communication method (e.g., bus, general purpose input / output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI) (Such as commands or data) can be exchanged between each other.
  • a communication method e.g., bus, general purpose input / output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI) (Such as commands or data) can be exchanged between each other.
  • the command or data may be transmitted or received between the electronic device 101 and the external electronic device 104 via the server 108 connected to the second network 199.
  • Each of the electronic devices 102 and 104 may be the same or a different kind of device as the electronic device 101.
  • all or a portion of the operations performed in the electronic device 101 may be performed in another or a plurality of external electronic devices.
  • the electronic device 101 in the event that the electronic device 101 has to perform some function or service automatically or upon request, the electronic device 101 may be capable of executing the function or service itself, And may request the external electronic device to perform at least some functions associated therewith.
  • the external electronic device receiving the request can execute the requested function or additional function and transmit the result to the electronic device 101.
  • the electronic device 101 can directly or additionally process the received result to provide the requested function or service.
  • cloud computing, distributed computing, or client-server computing technology may be used.
  • a camera module 180 includes a lens assembly 210, a flash 220, an image sensor 230, an image stabilizer 240, a memory 250 (e.g., a buffer memory), or an image signal processor (260).
  • the lens assembly 210 can collect light emitted from a subject, which is an object of image photographing.
  • the lens assembly 210 may include one or more lenses.
  • the camera module 180 may include a plurality of lens assemblies 210. In this case, the camera module 180 may be, for example, a dual camera, a 360 degree camera, or a spherical camera.
  • the plurality of lens assemblies 210 may have the same lens properties (e.g., angle of view, focal length, autofocus, f number, or optical zoom), or at least one lens assembly may have at least one lens lens assembly It can have one other lens attribute.
  • the lens assembly 210 may include, for example, a wide-angle lens or a telephoto lens.
  • the flash 220 may emit a light source used to enhance the light emitted from the subject. Flash 220 may include one or more light emitting diodes (e.g., red-green-blue (RGB) LEDs, white LEDs, infrared LEDs, or ultraviolet LEDs), or xenon lamps.
  • RGB red-green-blue
  • the image sensor 230 can acquire an image corresponding to the subject by converting the light transmitted from the subject through the lens assembly 210 into an electrical signal.
  • the image sensor 230 may include a selected one of the image sensors of different properties, such as, for example, an RGB sensor, a BW (black and white) sensor, an IR sensor, A plurality of image sensors having different attributes, or a plurality of image sensors having different attributes.
  • Each of the image sensors included in the image sensor 230 may be implemented by, for example, a CCD (charged coupled device) sensor or a CMOS (complementary metal oxide semiconductor) sensor.
  • the image stabilizer 240 is configured to respond to the movement of the camera module 180 or the electronic device 101 including it to at least partially compensate for the negative effects (e.g., image jitter) At least one lens or image sensor 230 included in the assembly 210 may be moved or controlled in a particular direction (e.g., adjusting the read-out timing).
  • the image stabilizer 240 may be implemented as an optical image stabilizer, for example, and may include a gyro sensor (not shown) or an acceleration sensor (not shown) disposed inside or outside the camera module 180 Can be used to detect the motion.
  • the memory 250 may at least temporarily store at least a portion of the image acquired via the image sensor 230 for subsequent image processing operations. For example, if image acquisition according to the shutter is delayed or a plurality of images are acquired at high speed, the acquired original image (e.g., a high resolution image) is stored in the memory 250, and a corresponding copy An image (e.g., a low resolution image) can be previewed via the display device 160. Thereafter, at least a portion of the original image that was stored in the memory 250 may be acquired and processed by, for example, the image signal processor 260 if the specified condition is satisfied (e.g., user input or system command). According to one embodiment, the memory 250 may be comprised of at least a portion of the memory 130, or a separate memory operated independently thereof.
  • the image signal processor 260 performs image processing (e.g., depth map generation, three-dimensional modeling, panorama generation, feature point extraction, and the like) on an image obtained through the image sensor 230 or an image stored in the memory 250, Image synthesis, or image compensation (e.g., noise reduction, resolution adjustment, brightness adjustment, blurring, sharpening, or softening) 260 may perform control (e.g., exposure time control, or lead-out timing control, etc.) for at least one of the components (e.g., image sensor 230) included in camera module 180.
  • image processing e.g., depth map generation, three-dimensional modeling, panorama generation, feature point extraction, and the like
  • Image synthesis e.g., image compensation
  • control e.g., exposure time control, or lead-out timing control, etc.
  • the image processed by the signal processor 260 may be stored back into the memory 250 for further processing or may be stored in the external components of the camera module 180 such as the memory 130,
  • the image signal processor 260 may comprise at least a portion of the processor 120 or may be coupled to the processor 120 and /
  • the image processed by the image signal processor 260 may be processed by the processor 120 as it is or after additional image processing, and then displayed on the display device (not shown) 160 < / RTI >
  • the electronic device 101 may include two or more camera modules 180, each having a different attribute or function.
  • at least one camera module 180 may be a wide angle camera or a front camera, and at least one other camera module may be a telephoto camera or a rear camera.
  • Figure 2B illustrates a conceptual diagram for describing the operation of an electronic device and an external electronic device for transferring image data and data related to control of image and image taking, in accordance with various embodiments of the present invention.
  • the electronic device 101 includes an image sensor module 221 (e.g., an image sensor 230, an image sensor module 310), an ISP 223 (e.g., a processor 120 or an image signal processor 260) Memory 225 (e.g., memory 130).
  • the external electronic device 204 e.g., external electronic device 104) may include a recognition module 231, an image processing module 233, and a storage 235.
  • the recognition module 231 may be a logic module or may be implemented as a processor of the external electronic device 204.
  • the image processing module 233 may also be implemented as a processor of the external electronic device 204, for example, a processor of the external electronic device 204 may perform both recognition and image processing.
  • the electronic device 101 may include a communication module (e.g., an interface 177 or a communication module 190) capable of transmitting and receiving data with the external electronic device 204.
  • the external electronic device 204 may include a communication module capable of transmitting and receiving data with the electronic device 101.
  • the image sensor module 221 may obtain an image of an external object and may generate a corresponding raw image 226.
  • the image sensor module 221 may forward the raw image 226 to the ISP 223.
  • the image sensor module 221 generates a small raw image 227 and transmits it to the external electronics 227 via a communication module (e.g., interface 177 or communication module 190) To the device 204.
  • a processor e.g., processor 120
  • the image sensor module 221 can compress for at least a portion of the raw image 226 or for transmission to an external (e.g., processor (e.g., image processing module 233) or external electronic device 204) have.
  • the image sensor module 221 may send the compressed raw image 226 to the ISP 223 or external electronic device 204 (e.g., image processing module 233).
  • ISP 223 e.g., image signal processor 260
  • the image sensor module 221 may be compressed for partial processing of the raw image 226 and temporarily stored in a memory (e.g., memory 250) within the image sensor module 221.
  • the external electronic device 204 May acquire a small raw image 227 through a communication module and may segment at least one image region from the small raw image 227.
  • the recognition module 221 can recognize each of at least one image region separated by the segmentation result.
  • Image correction information 232 including at least one of information associated with a plurality of image areas generated from the recognition module 221, for example, coordinate information of the image area or recognition results, may be generated.
  • the image correction information 232 may be transmitted to the electronic device 101.
  • the ISP 223 can use the image correction information 232 to correct the raw image 226 and thus the corrected image 224 can be generated.
  • the corrected image 224 may have, for example, a format of YUV.
  • the calibrated image 224 may be stored in the memory 425. Alternatively, the calibrated image 224 may be compressed, for example, in accordance with the JPEG method, and the compressed image may be stored in the memory 225.
  • the raw image 226 provided from the image sensor module 221 may be transmitted to the external electronic device 204 separately from the small raw image 227. Since the raw image 226 is larger in capacity than the small raw image 227 the small raw image 227 is first transmitted to the external electronic device 204 and then the raw image 226 is transmitted to the external electronic device 204 ). ≪ / RTI > For example, the raw image 226 may be transmitted to the external electronic device 204 while the ISP 223 performs calibration for the raw image 226. [ The raw image 226 may be uploaded to the external electronic device 204 as generated by the image sensor module 221 or may be uploaded with a pre-processed image for which lens distortion compensation or noise removal has been performed.
  • the above-described preprocessing may be performed in the external electronic device 204.
  • the external electronic device 204 may perform Demosaic processing or image format modification, or preprocessing to increase the image recognition rate.
  • the image processing module 233 of the external electronic device 204 can correct the received raw image 226. [ The external electronic device 204 may correct the raw image 226 using the image correction information 232 that has been created previously or may use the extended image correction information to correct the raw image 226 .
  • the raw image 226 may have a higher resolution than the small raw image 227 so that the image processing module 233 of the external electronic device 204 obtains more detailed image enhancement information from the higher resolution image .
  • the image processing module 233 may generate the extended image correction information by using the original image correction information and the original image 226 together.
  • the image processing module 233 can obtain the high quality image 234 by correcting the raw image 226 using the extended image correction information.
  • the high resolution image 234 may be stored in the storage 235 of the external electronic device 204 and downloaded to the
  • the small raw image 227 refers to a raw image having a size less than the data size of the raw image 226, and is not limited to a specific format or an image generated by a particular method.
  • the small raw image 227 may be generated by reducing the capacity of the raw image 226 and may be referred to as a lightweight image.
  • the electronic device 101 may generate a small raw image 227 using a variety of down-scale or down-sampling schemes from the raw image 226.
  • the electronic device 101 may perform at least one of, for example, adjusting the resolution of the raw image 226, selecting at least some of the plurality of frequency bands, or selecting at least one of a plurality of bit plane levels, A small raw image 227 having a size smaller than the size of the data of the image 226 can be generated.
  • the electronic device 101 may generate a small raw image 227, for example, by extracting a low frequency band from the raw image 226.
  • the electronic device 101 may generate a small raw image 227, for example, by selecting some of the bit plane levels of the plurality of bit plane levels of the raw image 226.
  • the small raw image 227 may be an image including at least a portion of the information of the raw image 226 but having a smaller capacity than the raw image 226.
  • the electronic device can be various types of devices.
  • the electronic device can include, for example, at least one of a portable communication device (e.g., a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance.
  • a portable communication device e.g., a smart phone
  • a computer device e.g., a laptop, a desktop, a smart phone
  • portable multimedia device e.g., a portable multimedia device
  • portable medical device e.g., a portable medical device
  • camera e.g., a camera
  • a wearable device e.g., a portable medical device
  • first component is "(functionally or communicatively) connected” or “connected” to another (second) component, May be connected directly to the component, or may be connected through another component (e.g., a third component).
  • module includes units comprised of hardware, software, or firmware and may be used interchangeably with terms such as, for example, logic, logic blocks, components, or circuits.
  • a module may be an integrally constructed component or a minimum unit or part thereof that performs one or more functions.
  • the module may be configured as an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document may include instructions stored on a machine-readable storage medium (e.g., internal memory 136 or external memory 138) readable by a machine (e.g., a computer) Software (e.g., program 140).
  • the device may include an electronic device (e.g., electronic device 101) in accordance with the disclosed embodiments as an apparatus capable of calling stored instructions from the storage medium and operating according to the called instructions.
  • a processor e.g., processor 120
  • the processor may perform the function corresponding to the instruction, either directly or using other components under the control of the processor.
  • the instructions may include code generated or executed by the compiler or interpreter.
  • a device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary' means that the storage medium does not include a signal and is tangible, but does not distinguish whether data is stored semi-permanently or temporarily on the storage medium.
  • a method according to various embodiments disclosed herein may be provided in a computer program product.
  • a computer program product can be traded between a seller and a buyer as a product.
  • a computer program product may be distributed in the form of a machine readable storage medium (eg, compact disc read only memory (CD-ROM)) or distributed online through an application store (eg PlayStore TM ).
  • an application store eg PlayStore TM
  • at least a portion of the computer program product may be temporarily stored, or temporarily created, on a storage medium such as a manufacturer's server, a server of an application store, or a memory of a relay server.
  • Each of the components may be comprised of a single entity or a plurality of entities, and some of the subcomponents described above may be omitted, or other subcomponents May be further included in various embodiments.
  • some components e.g., modules or programs
  • FIG 3 is an overall diagram of an apparatus for transmitting image data and data associated with control of image capture in accordance with various embodiments of the present invention.
  • an apparatus 300 for transmitting image data and image related data includes an image sensor module 310, an interface 340, and a processor 350 (e.g., a processor 120, an image signal processor (260)), and the like.
  • a processor 350 e.g., a processor 120, an image signal processor (260)
  • an apparatus 300 for transmitting image data of FIG. 3 and data related to control of image capturing may be included in the camera module 180 of FIG.
  • some configurations of the image sensor module 310 and the processor 350 are included in the camera module 180 of FIG. 2 and some of the remaining configuration of the processor 350 is included in the processor 120 of FIG. 1 .
  • the image sensor module 310 is included in the camera module 180 of FIG. 2, and the processor 350 may be included in the processor 120 of FIG.
  • image sensor 320 may comprise a plurality of pixels (or pixel array). At least one photo diode arranged (or arrayed) in each of the plurality of pixels may convert the light collected in the photodiode to an electrical signal (e.g., an analog electrical signal).
  • an electrical signal e.g., an analog electrical signal
  • the image sensor 320 may be a dual pixel image sensor in which two photodiodes (or photosensitive diodes) are disposed in one pixel.
  • the image sensor 320 is implemented as a dual pixel image sensor, but in various embodiments, the image sensor 320 may be an image sensor of the type in which one photodiode is disposed in one pixel It is obvious to those skilled in the art that the technical idea of the present invention can be equally applied.
  • image sensor module 310 e.g., control circuitry 330
  • processor 350 may be connected via interface 340.
  • the image sensor module 310 may transmit image data to the processor 350 using a D-PHY and / or C-PHY interface defined by a mobile industry processor interface (MIPI).
  • MIPI mobile industry processor interface
  • the control circuit 330 may receive a signal for external object imaging.
  • the control circuit 330 receives (or receives) a signal (or input) for providing a live view (or preview) of an external object via a display (e.g., display 160) can do.
  • the control circuit 330 may receive a signal to perform a half shutter function to adjust (or focus) the focal distance to an external object while providing a live view .
  • the control circuitry 330 may receive a signal to capture a still image or a moving image.
  • the signal for shooting an external object is not limited to the above-described example.
  • control circuitry 330 may use the image sensor 320 to obtain a plurality of image data for an external object.
  • the control circuit 330 may generate a plurality of image data for an external object by converting an analog electrical signal transmitted from a plurality of pixels into a digital electrical signal.
  • image data generated in the form of a digital electric signal in the control circuit 330 will be referred to as raw image data (or raw data).
  • the control circuit 330 may include a plurality of pixels disposed on one side (e.g., the left side) of each of the pixels in at least some of the plurality of pixels Image data corresponding to one side generated based on the electric signals generated in the photodiodes (or a set of photodiodes disposed on one side (or column, or row) in the pixel) constituted by diodes Corresponding to the other side generated based on the electric signal generated in the photodiodes composed of the photodiodes disposed on the other side (e.g., the right side) of each of the pixels, (Or combine or combine) the image data (hereinafter, referred to as 'right image data').
  • the control circuit 330 may store the generated raw image data in a memory (not shown) (e.g., memory 130, memory 250).
  • control circuit 330 may generate pixel information data as data associated with control of imaging.
  • the pixel information data is generated based at least in part on image data (e.g., at least one of raw image data, left image data, or right image data) have.
  • image data e.g., at least one of raw image data, left image data, or right image data
  • the pixel information data includes data for phase auto focus as well as data for auto white balance, data for motion of an external object (e.g., motion Data for detection or data for motion prediction), or data for digital image stabilization (DIS), and the like.
  • the pixel information data is not limited to the above-described example.
  • the control circuit 330 may store the generated pixel information data in a memory (not shown) (e.g., memory 130, memory 250).
  • the control circuit 330 may compress the raw image data and, optionally, the pixel information data. For example, the control circuit 330 may compress the raw image data to reduce the size of the raw image data. The control circuit 330 compresses the raw image data so that the raw image data can generate compressed data (hereinafter, referred to as 'compressed data'). In one embodiment, the control circuit 330 may not compress or compress the pixel information data. For example, the control circuit 330 can confirm the size of the pixel information data. The control circuit 330 may not compress the pixel information data if the size of the pixel information data is less than the specified threshold value. The control circuit 330 can compress the pixel information data when the size of the pixel information data is equal to or larger than the specified threshold value.
  • the control circuit 330 compresses the pixel information data, as will be described in detail below, the compressed or uncompressed pixel information data or the compressed pixel information data based at least in part on the compressed ratio of the compressed pixel information data is stored in the processor 350, Lt; / RTI >
  • control circuit 330 may send pixel information data to the processor 350 in accordance with the transmission period specified by the processor 350 or the control circuit 330.
  • the period for transmitting the pixel information data to the processor 350 may be determined independently of the period for transmitting the compressed data to the processor 350.
  • the period for transmitting the pixel information data to the processor 350 may include a period for processing pixel information data in the processor 350 (or a period set for processing, or a specification for processing pixel information data) ). ≪ / RTI >
  • the period for transmitting the pixel information data to the processor 350 may be specified by the control circuit 330.
  • the designated period of transmitting pixel information data to the processor 350 may be changed.
  • the control circuit 330 can not transmit the pixel information data divided by the transmission period specified by the control circuit 330 or the processor 350 in the frame interleaving method described later, the control circuit 330 or the processor 350, The controller 350 may change the transmission period for transmitting the pixel information data. The detailed operation related to the change of the period of transmitting the pixel information data will be described later.
  • control circuit 330 may determine how to combine (or transmit) pixel information data based at least in part on the size of the compressed data and the size of the pixel information data.
  • control circuit 330 can check the size of the compressed data and the size of the pixel information data.
  • the size of the pixel information data may be the size of compressed or uncompressed pixel information data.
  • the control circuit 330 determines whether the sum of the size of the compressed data and the size of the pixel information data is smaller than the sum of the data transmission period of the interface 340 between the image sensor module 310 and the processor 350 (Hereinafter referred to as a 'unit frame size') during a period of time (hereinafter referred to as a 'unit frame period') (or during one period of transmitting data).
  • a data frame (or a data transmission unit of the interface 340) transmitted by the interface 340 during a unit frame period will be referred to as a 'unit frame'.
  • the control circuit 330 determines the size of the compressed raw image data corresponding to one image frame and the size of the pixel information data (or to one image frame) generated based at least in part on one image frame It is possible to determine whether or not the sum of the sizes of the pixel information data for the first frame and the second frame exceeds the unit frame size.
  • control circuitry 330 controls the compression of the compressed image data (or data compressed raw image data corresponding to one image frame) during the unit frame period of the interface 340 between the image sensor module 310 and the processor 350 And pixel information data (or pixel information data for one image frame) can be transmitted simultaneously (or at once) in a unit frame.
  • the unit frame period (or transmission rate) of the interface 340 between the image sensor module 310 and the processor 350 is determined by a period (or a transmission rate) of acquiring an image frame for an external object in the image sensor module 310 Or speed).
  • a period (or a transmission rate) of acquiring an image frame for an external object in the image sensor module 310 Or speed is not limited thereto.
  • the control circuit 330 determines (Or combined or combined) with the compressed data, the pixel information data for one image frame is based on the raw image data acquisition rate and the rate for processing the pixel information data (or the rate set to process the pixel information data) And to control the interface 340 to transmit the divided data segmented for a unit frame period.
  • a method of dividing pixel information data for one image frame and transmitting the divided pixel information together with compressed data for one image frame will be referred to as a 'frame interleaving method'.
  • the control circuit 330 determines the size of the compressed data and the size The control circuit 330 determines that the sum of the compressed data for one image frame and the size corresponding to 1/32 of the pixel information data size for one image frame,
  • the interface 340 can be controlled to transmit the divided data having the same number of frames in the unit frame.
  • the control circuit 330 since the control circuit 330 transmits the divided data having a size corresponding to 1/32 of the pixel information data size for one image frame for 32 periods of data transmission of the interface 340, May be the time (or 32 times the unit frame period) multiplied by 32 in the unit frame period.
  • the period for transmitting each of the segmented data may be the same as the period and unit frame period for acquiring an image frame in the image sensor module 310.
  • the control circuit 330 is configured to determine whether the pixel information data for one image frame is substantially equal to the rate at which the image sensor 320 transmits the raw image divided by the rate for processing the pixel information data The divided data can be divided into a corresponding number of divided data.
  • the control circuit 330 sets the raw image data acquisition rate to pixel information data processing (Eg, 950/32) is not an integer, you can determine the number of division data (for example, 32) by adding '1' to the integer value of the division (for example, 31) . However, it is not limited thereto.
  • control circuit 330 determines (Or inserts) at least a portion of the pixel information data for one image frame between designated intervals of the data lines in the compressed data for one image frame so as to simultaneously transmit compressed data and pixel information data, And control the interface 340 to transfer the data to the processor 350.
  • the size of at least a portion of the pixel information data that is coupled between designated intervals of a data line in the compressed data for one image frame is determined by the size of the pixel information data for one image frame, The ratio of the specified data line spacing to the total number of lines of compressed data for the frame.
  • control circuit 330 may generate pixel information data for one image frame after the entire data line (e.g., 20 data lines) of the compressed data for one frame in the unit frame of the interface 340 And to control the interface 340 to transmit the entire combined data to the processor 350.
  • entire data line e.g., 20 data lines
  • a method of transmitting data by combining at least a part of pixel information data for each designated data line interval of compressed data for one image frame will be referred to as a 'line interleaving method'.
  • the period for transmitting the compressed data and the pixel information data for one image frame may be the same as the period for processing the pixel information data.
  • the control circuit 330 divides the compressed data and the pixel information data for one image frame in a unit frame into 1 / May be transmitted to the processor 350 at a cycle of 30 seconds.
  • the compressed data and the pixel information data may be combined and transmitted to the processor 350 by a frame interleaving method other than the interleaving method.
  • a frame interleaving method other than the interleaving method.
  • the frame interleaving method can be advantageous in terms of stability of data transmission (e.g., error rate, loss rate, etc.)
  • the compressed data and the pixel information data may be transmitted to the processor 350 using the combined data.
  • control circuit 330 may determine the manner in which the pixel information data is transmitted (or combined with the compressed data) (e.g., a frame interleaving scheme or a line interleaving scheme), taking into consideration the attributes of the pixel information data .
  • the control circuit 330 when the sum of the size of the compressed data and the size of the pixel information data is equal to or smaller than the unit frame size, the control circuit 330 combines compressed data and pixel information data using a frame interleaving method or a line interleaving method And transmit the combined data to the processor 350.
  • fast processing or low latency
  • the control circuit 330 may combine the compressed data and the autofocus data in a line interleaving manner and transmit the combined data to the processor 350.
  • the control circuit 330 in the case of pixel information data that does not require fast processing such as data for auto white balance, the control circuit 330 combines the compressed data and the autofocus data in a frame interleaving manner, To the processor 350.
  • the attributes of the pixel information data include the time (e.g., time for processing the pixel information data) by the processor 350 in addition to the type of pixel information data (e.g., data for autofocus or data for auto white balance) And the like.
  • the control circuit 330 determines that the pixel information data requiring a long processing time in the processor 350 is compressed data and pixel information data by the line interleaving method And transmit the combined data to the processor 350.
  • the time at which the pixel information data for one image frame is received at the processor 350 is compared to the line interleaving method for simultaneously transmitting compressed data and pixel information data for one image frame,
  • a frame interleaving method of combining compressed data for a frame and pixel information data obtained by dividing pixel information data for one image frame and transmitting the combined data may be long.
  • the pixel information data for the first image frame and the first image frame can be simultaneously received by the processor 350.
  • the processor 350 may, for example, receive the raw image data for 32 image frames (Or one) image frame.
  • control circuit 330 or the processor 350 may change the designated period of time to transmit the pixel information data to the processor 350.
  • the control circuit 330 determines whether the divided pixel (s) based on the raw image data acquisition rate (or the specified transmission rate of the raw image data) The size of the information data can be determined.
  • the control circuit 330 outputs the pixel information data to the processor 300 when the size of the data obtained by summing the size of the compressed data for one image frame and the divided pixel information data to be combined with the divided pixel information data exceeds the unit frame size 350) is largely (or prolonged) by combining the compressed data and the pixel information data by the frame interleaving method. For example, when the original image data acquisition rate is 960 fps and the transmission speed of the pixel information data is 30 fps, the control circuit 330 may control the size of the divided pixel information data corresponding to 1/32 of the pixel information data size It may decide to combine the split pixel information data with the compressed data.
  • the control circuit 330 can change the transmission speed of the pixel information data to 15 fps, for example. If the control circuit 330 determines that the sum of the sizes of the divided pixel information data and the compressed data having the size of the divided pixel information data corresponding to 1/64 of the pixel information data size is less than or equal to the unit frame size, 330 may combine the divided pixel information data having the size of the divided pixel information data corresponding to 1/64 of the size of the pixel information data with the compressed data using the frame interleaving method and transmit the combined data to the processor 350 .
  • the control circuit 330 determines the speed (or period) of the pixel information data at a transmission rate (or period) so that the sum of the size of the divided pixel information data and the size of the compressed data becomes equal to or smaller than the unit frame size, Can be changed.
  • the data size obtained by adding the divided pixel information data to the size of the compressed data for one image frame to be combined with the divided pixel information data is less than the unit frame size, It is possible to maintain the specified period of time in which data is transmitted to the processor 350 without changing. However, it is not limited thereto.
  • the interface 340 may transmit the compressed data and pixel information data generated in the image sensor module 310 to the processor 350.
  • the interface 340 may be a mobile industry processor interface (MIPI). Data transmission standards capable of transmitting data between components (or between chips) in an electronic device can be applied, though not limited thereto.
  • MIPI mobile industry processor interface
  • the processor 350 may process the compressed data and pixel information data transmitted from the image sensor module 310 via the interface 340.
  • the processor 350 may store the obtained compressed data and pixel information data, and may decompress the compressed data, or alternatively, the pixel information data.
  • the processor 350 transfers the decompressed compressed data to an image signal processor (e.g., image signal processor 260) to process the raw image data and to a pixel information processor (not shown) to process the pixel information data Pixel information data.
  • an image signal processor e.g., image signal processor 260
  • a pixel information processor not shown
  • the processor 350 performs an operation of determining a data transmission scheme (e.g., a frame interleaving scheme or a line interleaving scheme) or determining a rate of dividing pixel information data when a data transmission scheme is determined You may.
  • a data transmission scheme e.g., a frame interleaving scheme or a line interleaving scheme
  • the processor 350 may control (e.g., focus the focus by moving the lens) an image of an external object based at least in part on the processed pixel information data (e.g., focal length data).
  • the processed pixel information data e.g., focal length data
  • FIG. 4 is a detailed diagram of an apparatus 400 for transferring image data and data related to control of imaging in accordance with various embodiments of the present invention.
  • the image sensor module 436 may be included in the control circuit 330 or the image sensor module 310 (e.g., the image sensor module 221) of FIG.
  • the memory 433 e.g., the memory 250
  • the memory 452 may be included in the processor 450 (e.g., the processor 120, the image signal processor 260, the ISP 223, the processor 350) 130).
  • the processor 450 e.g., the processor 120, the image signal processor 260, the ISP 223, the processor 350
  • the image sensor 420 (e.g., image sensor 320, image sensor 230) may be a dual pixel image sensor in which two photodiodes are arranged in one pixel.
  • FIG. 5A is a diagram illustrating an image sensor 420 according to an embodiment of the present invention.
  • FIG. 5 (a) may correspond to a diagram illustrating a dual pixel image sensor.
  • each of the pixels 501 to 504 may include two photodiodes.
  • the image sensor 420 includes photodiodes 511-1 and 511-3 each consisting of a port diode disposed on the left side in each of the pixels 501 to 504 and photodiodes (511-2, 511-4).
  • the image sensor 420 generates an analog electrical signal generated in the left photodiodes 511-1 and 511-3 and an analog electrical signal generated in the right photodiodes 511-2 and 511-4, And the analog electric signals generated by the left photodiodes 511-1 and 511-3 can be transmitted to the ADC 431.
  • the image sensor 420 is implemented as a dual image sensor, but also when the image sensor 420 is implemented as an image sensor in which one photodiode is disposed in one pixel, And it is apparent to those skilled in the art that the technical ideas of the present invention can be equally applied.
  • the ADC 431 receives an analog electrical signal generated by the left photodiodes 511-1 and 511-3 and an analog electrical signal generated by the right photodiodes 511-2 and 511-4 The combined signal can be converted to a digital electrical signal (or raw image data). In one embodiment, the ADC 431 may convert analog electrical signals generated in the left photodiodes 511-1 and 511-3 to digital electrical signals (or left image data). Although the image sensor 420 generates the analog electric signals generated by the left photodiodes 511-1 and 511-3 and the ADC 431 generates the left image data, Do not.
  • the image sensor 420 may generate analog electric signals generated by the right photodiodes 511-2 and 511-4, And the ADC 431 may generate the right image data instead of the left image data.
  • the pixel information data generation section 432 can generate pixel information data based at least in part on the raw image data and the left image data received from the ADC 431.
  • FIG. 5B is a diagram illustrating a pixel information data generation unit 532-1 according to an embodiment of the present invention.
  • the pixel information data generation unit 532-1 of FIG. 5B may correspond to a configuration for generating data for phase auto-focus (or data necessary for phase auto-focus operation).
  • the pixel information data generation unit 532-1 receives the raw image data Bayer (L + R) and the left image data Bayer (L) from the ADC 431 can do.
  • the pixel information data generation section 532-1 may generate data (Y data (L)) for left autofocus based at least in part on the left image data.
  • the pixel information data generation section 532-1 may generate the right image data by subtracting the left image data from the raw image data.
  • the pixel information data may generate data (Y data (R)) for right autofocus based at least in part on the right image data.
  • the Y Calculation Logic included in the pixel information data generation unit 532-1 is used to generate image data corresponding to the four right photodiodes 501-2, 502-2, 503-2, and 504-2,
  • Data (Y data (R)) for right auto-focus can be generated by averaging the values (or color values).
  • the data for phase autofocus is generated by averaging the image data values corresponding to the four photodiodes, but it is not limited thereto.
  • the pixel information data generation unit 532-1 averages image data values corresponding to photodiodes of a multiple of 4, for example, 8, 12, 16, etc., Lt; / RTI >
  • the two Y Calculation Logics are illustrated as being independent in FIG. 5 (b), but they may be implemented (or integrated) in one configuration.
  • FIG. 5C is a diagram illustrating a pixel information data generation unit 532-2 according to another embodiment of the present invention.
  • the pixel information data generation unit 532-2 of FIG. 5C may correspond to a configuration for generating data for auto white balance (or data necessary for auto white balance operation) have.
  • the pixel information data generation unit 532-2 generates the pixel information data 532-2 based on at least a part of the left image data 535 (or the right image data or the raw image data) (Or reduced data size) auto white balance.
  • the pixel information data generation unit 532-2 generates 4 pixel values (or color values) corresponding to the same color (e.g., R1, R2, Data for auto white balance in which the data size is reduced can be generated by using an operation (or an operation) of summing R3, R4 with one data value (e.g., R1 + R2 + R3 + R4).
  • the pixel information data generation unit 532-2 may generate a data value for auto white balance by adding two or more data having the same color to one data value.
  • the pixel information data can generate data for motion of an external object (e.g., data for motion detection or data for motion prediction), or for digital image stabilization (DIS) have.
  • a method of generating data for motion of an external object or data for DIS may be the same as or similar to that of FIG. 5B or FIG. 5C, and a detailed description thereof will be omitted.
  • the pixel information data generation unit 432 can deliver the generated pixel information data to the memory 433. In another embodiment, the pixel information data generation unit 432 can transmit the generated pixel information data to the combining unit 435 without delivering the memory 433.
  • the memory 433 may store raw image data and pixel information data. In one embodiment, the memory 433 may communicate the stored raw image data or pixel information data to the compression unit 434 or the combining unit 435 under the control of the controller 436.
  • the compressor 434 can compress the raw image data.
  • the compression unit 434 may not compress or compress the pixel information data.
  • the compressed image data may be compressed using one compression unit 434 in FIG. 4, or compressed pixel information data may be selectively compressed.
  • the apparatus 400 may include a compression unit for compressing only pixel information data, separate from the compression unit 434 for compressing raw image data.
  • the combiner 435 may combine (or combine) the compressed data and the pixel information data under the control of the controller 436.
  • the combining unit 435 may combine (or combine) compressed data and pixel information data with a frame interleaving method or a line interleaving method under the control of the controller 436.
  • FIG. 6 is a diagram for explaining a method for transmitting data in a frame interleaving method according to an embodiment of the present invention.
  • FIG. 6 is a diagram for explaining a method for transmitting data by a frame interleaving method when the raw image data acquisition rate is 960 fps and the pixel information data processing rate is 30 fps.
  • the rate at which raw image data is acquired may be determined by a specification (or specification) of camera module 180 (or image sensor module 410), or a mode of photographing an external object (e.g., a slow motion mode (or adjusted) according to at least one of a slow motion mode.
  • the rate for processing the pixel information data may be a function of the camera module 180 (or image sensor module 410), the specification (or specification) of the processor 450, (Or adjusted) according to at least one of the following conditions (e.g., night shooting mode).
  • the night shooting mode it is necessary to collect a lot of light in order to produce brighter images as compared with the normal mode, and it is possible to speed up processing pixel information data in order to collect a lot of light (for example, Adjusting the speed for processing the phase autofocus function from 30 fps to 60 fps).
  • the speed for processing the phase autofocus function from 30 fps to 60 fps.
  • the unit frame period may be 1/960 second, which is the same as the image data acquisition period.
  • pixel information data for one image frame may be transmitted. For example, while compressed data for image frame 1 611 through image frame 323 is being transmitted, pixel information data for image frame 1 611 at time tl may be transmitted via interface 340 have.
  • pixel data for image frame 33 may be transmitted over the interface at time t2 while compressed data for image frame 33 (614) through image frame 32 (615) is transmitted.
  • the period for transmitting the pixel information data for one frame may be the same as the period for processing the pixel information data (e.g., 1/30 second), and in the unit frame 610, The period for transmitting the information data may be the same as the period (for example, 1/960 second) for acquiring the raw image data.
  • FIG. 7 is a diagram for explaining a method for transmitting data in a frame interleaving method according to another embodiment of the present invention.
  • FIG. 7 is a diagram for explaining a method for transmitting data in a frame interleaving mode when the raw image data acquisition rate is 480 fps and the pixel information data processing rate is 30 fps.
  • the unit frame period may be 1/480 seconds which is the same as the image data acquisition period.
  • pixel information data for one image frame may be transmitted.
  • pixel information data for image frame 1 711 at time t3 may be transmitted over the interface.
  • the period for transmitting the pixel information data for one frame may be the same as the period for processing the pixel information data (e.g., 1/30 second), and the divided pixel information data May be the same as the period (e.g., 1/480 second) for acquiring the raw image data.
  • FIG. 8 is a diagram for explaining a method for transmitting data in a frame interleaving method according to another embodiment of the present invention.
  • FIG. 8 is a diagram for explaining a method for transmitting data by a frame interleaving method when the raw image data acquisition rate is 960 fps and the pixel information data processing rate is 60 fps.
  • the unit frame period may be 1/960 second, which is the same as the image data acquisition period.
  • the compressed data 811 can be combined with the pixel information data 812 (or divided data having a size of 1/16 of the entire pixel information data for one image frame) divided for each unit frame 810.
  • pixel information data for 16 image frames is transmitted via interface 340
  • pixel information data for one image frame may be transmitted.
  • pixel information data for image frame 1 811 at time t4 may be transmitted over the interface.
  • the period for transmitting the pixel information data for one frame may be the same as the period for processing the pixel information data (e.g., 1/60 second), and the divided pixel information data May be equal to a period (e.g., 1/960 second) for acquiring raw image data.
  • FIG. 9 is a diagram for explaining a method for transmitting data in a frame interleaving method according to another embodiment of the present invention.
  • FIG. 9 shows a case where a plurality of types of pixel information data (e.g., first pixel information data (e.g., data for phase autofocus) and second pixel information data ),
  • the unit frame period may be 1/960 second, which is the same as the image data acquisition period.
  • the combining unit 435 combines the divided first pixel information data 912 and the divided second pixel information data 913 with compressed data 911 for one image frame for each unit frame 910 can do.
  • first pixel information data for one image frame may be transmitted.
  • first pixel information data for image frame 1 911 at time t 5 is transmitted through interface 340 .
  • second pixel information data for one image frame may be transmitted.
  • second pixel information data for image frame one 911 at time t6 is transmitted through interface 340 .
  • FIG. 9 it is exemplified that there are two kinds of pixel information data, but the present invention is not limited to this.
  • Type pixel information data together with the compressed data.
  • FIG. 10 is a diagram for explaining a method for transmitting data in a line interleaving method according to an embodiment of the present invention.
  • FIG. 10 illustrates a case where the speed of obtaining the raw image is 120 fps and the speed of processing the pixel information data is 30 fps.
  • the combining unit 435 may combine pixel information data for one image frame and one image frame in the unit frame 1010.
  • the combining unit 435 may combine a portion of the pixel information data within a specified interval of the data line within the unit frame 5 (1014).
  • the designated interval of the data line is a method of generating pixel information data in the pixel information data generation section 432 (for example, a method in which a pixel which is summed (or averaged) to generate one piece of data constituting pixel information data The number of image data corresponding to the diodes). For example, as shown in FIG.
  • the specified interval of the data lines is And may be four data lines.
  • the size of the divided pixel information data combined for each designated data line is determined by dividing the size of the pixel information data for one image frame by the ratio of the specified interval of the data line to the total number of data lines of the compressed data May be multiplied by the size. 10, if the designated data line interval is four data lines 1014-1 to 1014-4 and the total number of data lines of the compressed data included in the unit frame is 20, The size of the divided pixel information data 1014-4 combined per line may be the size of the pixel information data for one image frame multiplied by 1/5.
  • the combining unit 435 may combine pixel information data for one image frame behind the entire data line (e.g., 20 data lines) of the compressed data for one frame, within a unit frame have. For example, within unit frame 5 1014, pixel information data for one image frame that is not segmented after compressed data lines for one image frame may be combined.
  • unit frames other than the unit frame e.g., unit frame 1 1010 and unit frame 5 1014 in which compressed data and pixel information data are combined in a unit frame (e.g., unit frame 2 1011, unit Frame 3 1012, unit frame 4 1014, etc.) may contain only compressed data for one image frame without combining pixel information data.
  • the period for transmitting the pixel information data may be the same as the period for processing the pixel information data.
  • the period for processing pixel information data is 1/30 second
  • a unit frame in which compressed data and pixel information data are combined every 1/30 second may be transmitted to the processor 450.
  • a unit frame 1 in which compressed data and pixel information data are combined at a time t7 is transmitted, and a unit frame 5 in which compressed data and pixel information data are combined at a time after 1/30 second is transmitted at t8.
  • the image sensor module 410 may determine whether the pixel information data is to transmit compressed compressed pixel information data or uncompressed pixel information data to the processor 450.
  • a specified threshold value hereinafter referred to as a 'first threshold value'
  • the method of combining the pixel information data with compressed data without compressing the pixel information data may be advantageous in terms of the power consumed in data transmission .
  • the image sensor module 410 may compress the pixel information data if the size of the pixel information data is greater than or equal to the first threshold value.
  • the image sensor module 410 can check the size of the compressed pixel information data and the size of the uncompressed pixel information data.
  • the image sensor module 410 combines the compressed pixel information data with compressed data if the compression ratio of the pixel information data is equal to or greater than a specified threshold value (hereinafter referred to as a 'second threshold value'), And may decide to transmit the combined data to the processor 450.
  • the image sensor module 410 may combine the uncompressed pixel information data with the compressed data if the compression ratio of the pixel information data is less than the second threshold, and then transmit the combined data to the processor 450 Can be determined.
  • FIG. 11 is a diagram for explaining compression related to pixel information data according to an embodiment of the present invention.
  • FIG. 11 is a diagram for explaining a principle of determining pixel information data compressed or uncompressed pixel information data according to a compression ratio of pixel information data as data for transmission to the processor 450.
  • the image sensor module 410 transmits the compressed pixel information data to the processor 450 when the compression ratio of the pixel information data is 65% or more, and when the compression ratio of the pixel information data is less than 65% And may transmit the pixel information data to the processor 450.
  • the processor 450 transmits the compressed pixel information data to the processor 450 when the compression ratio of the pixel information data is 65% or more, and when the compression ratio of the pixel information data is less than 65%
  • the image sensor module 410 determines the compression ratio of the pixel information data for each transmission period of the pixel information data when the size of the pixel information data is equal to or larger than the first threshold value, Data or uncompressed pixel information data to the processor 450.
  • the image sensor module 410 when the size of the pixel information data is equal to or larger than the first threshold value, the image sensor module 410 outputs the pixel information data corresponding to the current period, (Or without comparing the compression rate of the pixel information data with the second threshold value), the pixel information data corresponding to the current cycle may be transmitted to the processor 450 in a compressed or uncompressed state.
  • the image sensor module 410 compresses the pixel information data corresponding to the current cycle, Lt; / RTI >
  • the image sensor module 410 determines whether After compressing the pixel information data, compressed pixel information data may be transmitted to the processor 450.
  • the image sensor module 410 may transmit the combined data of the compressed data and the pixel information data to the input interface 451 of the processor 450 through the output interface 437.
  • the processor 450 may store in the memory 452 the combined data of the compressed data received via the input interface 451 and the pixel information data. In one embodiment, the processor 450 may store the compressed data in the memory 452, while the pixel information data may be passed to the pixel information processor without being stored in the memory 452.
  • the decompression unit 453 may decompress the compressed data.
  • the decompression unit 453 can decompress the compressed data and the pixel information data.
  • the decompression unit 453 may decompress the compressed pixel information data when the pixel information data is transmitted from the image sensor module 410 to the processor 450 in a compressed state.
  • the single decompression unit 453 is used to decompress raw image data or selectively decompress the pixel information data in FIG. 4, but the present invention is not limited thereto.
  • the apparatus 400 may include a decompression unit for decompressing only the pixel information data, apart from the decompression unit 453 for compressing the raw image data.
  • the splitter 454 may separate the raw image data and the pixel information data from the decompressed data. In one embodiment, the separator 454 can deliver the decompressed compressed data to the ISP 455 and deliver the decompressed pixel information data to the pixel information data processor 456.
  • the ISP 455 may perform the same or similar functions as the image signal processor 260 of FIG. 2, and a detailed description thereof will be omitted.
  • the pixel information data processing section 456 may process the pixel information data. For example, if the pixel information data is data for phase autofocusing, then the pixel information data processing unit 456 may include a lens and an image sensor for focusing (or adjusting) based at least in part on the pixel information data. Distance (or the distance over which the lens is to be moved). In another example, when the pixel information data is data for auto white balance, the pixel information data processing unit 456 can determine the color temperature of the light to be corrected (or adjusted) based at least in part on the pixel information data. However, it is not limited thereto.
  • the processor 450 may send information to the image sensor module 410 about the image data acquisition rate (or period) and the rate at which the pixel information data is processed.
  • the processor 450 determines the manner in which the data to be sent from the image sensor module 410 to the processor 450 is combined (e.g., a frame interleaving scheme or a line interleaving scheme) Module 410, as shown in FIG.
  • the processor 450 determines that the manner in which the data to be transmitted from the image sensor module 410 to the processor 450 is combined is a frame interleaving scheme, the processor 450 determines whether the pixel information data is partitioned (Or the rate at which the pixel information data is divided), and transmits information about the number of the determined pixel information data to the image sensor module 410.
  • the processor 450 may determine (Or the size of the divided pixel information data) of the pixel information data, and the like are determined in the compressed data, and the determined data line interval and the pixel information Information on the division ratio of data, and the like to the image sensor module 410.
  • An electronic device includes a processor and an image sensor module electrically connected to the processor, the image sensor module comprising: an image sensor; and an image sensor,
  • the control circuit is configured to receive a signal for external object imaging and to obtain a plurality of raw image data for the external object using the image sensor, Using at least a portion of raw image data to generate pixel information data associated with control of the imaging of the processor, and wherein at least some of the plurality of raw image data generate compressed compressed data, And the pixel information data in accordance with the designated transmission period To the processor, and to transmit the compressed data to the processor.
  • control circuit is configured to compress the pixel information data to generate compressed pixel information data, and based on the compression rate of the compressed pixel information data satisfying a specified compression rate, To transmit the data to the processor, and to transmit the uncompressed pixel information data to the processor based on whether the compression rate does not satisfy the specified compression rate.
  • control circuit may transmit the pixel information data to the processor without compressing the pixel information data if the size of the pixel information data is less than the designated size, and when the size of the pixel information data is larger than the designated size, And may be set to compress the pixel information data.
  • the image sensor comprises a dual pixel image sensor comprising a pixel on which two or more photosensitive diodes are arranged, wherein a phase difference caused by the arrangement identified in the at least a portion of the plurality of raw image data
  • the pixel information data may be generated to generate the pixel information data.
  • the pixel information data may include data for phase auto focus, data for auto white balance, data for motion of an external object, or DIS (digital) image stabilization), and the like.
  • control circuit may be configured to compare the size of the compressed data for one image frame and the size of the pixel information data for one image frame, and the size of the image sensor module and the inter- For a period of time during which the interface transmits data, if the summed size exceeds the maximum capacity, pixel information data for the one image frame is divided
  • a frame interleaving scheme for combining the divided data and the compressed data for the one image frame may be configured to determine the compressed data and the pixel information data in a manner of combining them.
  • control circuit determines, when the frame interleaving scheme is determined by a combination of the compressed data and the pixel information data, pixel information data for the one image frame, Into a number of pieces of divided data substantially corresponding to a value obtained by dividing a speed at which an image is transmitted divided by a speed for processing the pixel information data.
  • control circuit determines the frame interleaving scheme in such a manner as to combine the compressed data and the pixel information data, and when the type of the pixel information data is plural, The pixel information data corresponding to each of the plurality of types for the one image frame may be set to combine the compressed data for the one image frame with the divided data.
  • the control circuit checks an attribute of the pixel information data when the summed size is equal to or less than the maximum capacity, and determines whether the attribute of the pixel information data is an attribute that requires fast processing in the processor If so, the control circuit combines at least a portion of the pixel information data for the one image frame for each data line interval of compressed data for the one image frame for one period during which the interface transmits data
  • a line interleaving method for transmitting data may be set to determine the method of combining the compressed data and the pixel information data.
  • control circuit controls the frame interleaving method to output the compressed data and the pixel information data And can be set to determine in a combined manner.
  • FIG. 12 is a diagram for explaining a method for transmitting image data and data related to control of image shooting according to an embodiment of the present invention.
  • control circuit 330 may receive a signal for capturing an external object.
  • control circuit 330 receives (or receives) a signal (or input) for providing a live view (or preview) of an external object via a display (e.g., display 160) can do.
  • control circuit 330 may receive a signal to perform a half shutter function to adjust (or focus) the focal distance to an external object while providing a live view .
  • control circuit 330 may receive a signal to capture a still image or a moving image.
  • the signal for shooting an external object is not limited to the above-described example.
  • control circuit 330 may use the image sensor 320 to obtain a plurality of raw image data for an external object.
  • the control circuit 330 may generate a plurality of raw image data for an external object by converting an analog electrical signal transmitted from a plurality of pixels into a digital electrical signal.
  • the control circuit 330 may include a plurality of pixels disposed on one side (e.g., the left side) of each of the pixels in at least some of the plurality of pixels Left side image data corresponding to one side generated based on the electric signals generated in the photodiodes (or a set of photodiodes disposed in one side (or a row or a row) in the pixel) constituted by diodes (Or combination) of the right side image data corresponding to the other side generated based on the electric signal generated in the photodiodes composed of the photodiodes disposed on the other side (e.g., the right side) of each pixel, Image data can be generated.
  • the control circuit 330 may store the generated raw image data in a memory (e.g., memory 433).
  • control circuit 330 may generate pixel information data.
  • the pixel information data comprises: If the image sensor 320 is implemented as a dual image sensor, it is generated based at least in part on the image data (e.g., at least one of raw image data, left image data, or right image data) Lt; / RTI >
  • the pixel information data may include data for phase auto focus, data for auto white balance, data for motion of an external object (e.g., for motion detection) Data for data or motion prediction), data for digital image stabilization (DIS), and the like.
  • the pixel information data is not limited to the above-described example.
  • the control circuit 330 may store the generated pixel information data in a memory (e.g., memory 433).
  • control circuit 330 may generate compressed data in which the raw image data is compressed.
  • the control circuit 330 may compress the raw image data and, optionally, the pixel information data. For example, the control circuit 330 may compress the raw image data to reduce the size of the raw image data. The control circuit 330 can generate the compressed data by compressing the raw image data. The control circuit 330 may not compress or compress the pixel information data. For example, the control circuit 330 can confirm the size of the pixel information data. The control circuit 330 may not compress the pixel information data if the size of the pixel information data is less than the specified threshold value. The control circuit 330 can compress the pixel information data when the size of the pixel information data is equal to or larger than the specified threshold value.
  • control circuit 330 may transmit the compressed data and may transmit the pixel information data to the processor 350 in accordance with the transmission period specified by the processor 350 or the control circuit 330.
  • control circuit 330 may send pixel information data to the processor 350 in accordance with the transmission period specified by the processor 350 or the control circuit 330.
  • the period for transmitting the pixel information data to the processor 350 may be determined independently of the period for transmitting the compressed data to the processor 350.
  • the period for transmitting the pixel information data to the processor 350 may include a period for processing pixel information data in the processor 350 (or a period set for processing, or a specification for processing pixel information data) ). ≪ / RTI >
  • the period for transmitting the pixel information data to the processor 350 may be specified by the control circuit 330.
  • control circuit 330 can check the size of the compressed data and the size of the pixel information data (or the size of the compressed data and the size of the pixel information data) and the unit frame size.
  • control circuit 330 when the control circuit 330 determines that the size of the compressed data and the size of the pixel information data exceed the unit frame size, the control circuit 330 outputs the compressed data and the pixel information data by the frame interleaving method Can be combined.
  • control circuit 330 when the control circuit 330 determines that the size of the compressed data and the size of the pixel information data are equal to or smaller than the unit frame size, the control circuit 330 combines the compressed data and the pixel information data by the line interleaving method .
  • control circuit 330 may determine a manner (e.g., a frame interleaving scheme or a line interleaving scheme) to transmit (or combine with) the pixel information data based at least in part on the attributes of the pixel information data have.
  • a manner e.g., a frame interleaving scheme or a line interleaving scheme
  • the attributes of the pixel information data include the time (e.g., time for processing the pixel information data) by the processor 350 in addition to the type of pixel information data (e.g., data for autofocus or data for auto white balance) And the like.
  • control circuit 330 combines compressed data and information data according to a frame interleaving scheme or a line interleaving scheme (or a determined transmission period of pixel information data) (350).
  • interface 340 may be a mobile industry processor interface (MIPI). Data transmission standards capable of transmitting data between components (or between chips) in an electronic device can be applied, though not limited thereto.
  • FIG. 13 is a diagram for explaining a method of determining a method of combining compressed data and pixel information data according to an embodiment of the present invention.
  • the control circuit 330 checks the size of the compressed data and the size of the pixel information data (or the size of the compressed data and the size of the pixel information data) .
  • the control circuit 330 can check the size of the compressed data stored in the memory and the size of the pixel information data.
  • the control circuit 330 can determine the unit frame size based at least in part on the rate at which the interface 340 transmits the unit frame (or the data transmission rate of the interface 340) and the unit frame period. However, it is not limited thereto.
  • control circuit 330 can determine whether the size of the compressed data and the size of the pixel information data exceeds the unit frame size.
  • control circuit 330 is configured to compare the size of the compressed data that compressed raw image data corresponding to one image frame with the size of the pixel information data (or to one image frame It is possible to determine whether or not the sum of the sizes of the pixel information data for the first frame and the second frame exceeds the unit frame size.
  • the control circuit 330 controls the compression of the compressed image data (or the compressed raw image data for one image frame) for a unit frame period of the interface 340 between the image sensor module 310 and the processor 350, And pixel information data (or pixel information data for one image frame) can be transmitted simultaneously (or collectively) in a unit frame.
  • the control circuit 330 determines in operation 1303 that the size of the compressed data and the size of the pixel information data do not exceed the unit frame size, the control circuit 330 checks the attribute of the pixel information data It can be determined whether the attribute of the pixel information data corresponds to an attribute requiring fast processing. For example, the control circuit 330 may determine whether or not the attribute information of the pixel information data, for example, the type of pixel information data (e.g., data for autofocus or data for auto white balance) And at least one of the time required for processing the pixel information data. The control circuit 330 may determine whether the attribute of the pixel information data requires fast processing in the processor 350 based at least in part on at least one of the type of pixel information data or the time required to process the pixel information data.
  • the type of pixel information data e.g., data for autofocus or data for auto white balance
  • control circuit 330 may decide to combine the compressed data and pixel information data by a frame interleaving scheme.
  • control circuit 330 determines in operation 1305 that the attribute of the pixel information data corresponds to the attribute requiring fast processing, the control circuit 330 controls the compressed data and the pixel information You can decide to combine the data.
  • FIG. 14 is a diagram for explaining a method for transmitting image data and data related to control of image photographing according to another embodiment of the present invention.
  • control circuit 330 may receive a signal for photographing an external object.
  • control circuit 330 may use an image sensor to obtain a plurality of raw image data for an external object.
  • control circuit 330 may generate pixel information data.
  • control circuit 330 may generate compressed data in which the raw image data is compressed.
  • Operations 1401 to 1407 in FIG. 14 are at least partially the same as or similar to operations 1201 to 1207 in FIG. 12, and thus detailed description thereof will be omitted.
  • the control circuit 330 may determine whether to transmit the compressed pixel information data. For example, the control circuit 330 may determine whether to compress the pixel information data, and whether to transmit the compressed pixel information data or the uncompressed pixel information data when it is determined to compress the pixel information data .
  • the control circuit 330 may determine whether to compress the pixel information data, and whether to transmit the compressed pixel information data or the uncompressed pixel information data when it is determined to compress the pixel information data .
  • an operation of determining whether or not the control circuit 330 transmits compressed pixel information data will be described in detail with reference to FIG.
  • 15 is a diagram for explaining a method for determining whether to transmit compressed pixel information data or uncompressed pixel information data according to an embodiment of the present invention.
  • control circuit 330 may determine if the magnitude of the pixel information data is less than a first threshold.
  • the control circuit 330 may determine not to compress the pixel information data. For example, when the size of the pixel information data is smaller than the first threshold value, the compression rate of the data may be small even if the pixel information data is compressed. In another example, when the size of the pixel information data is smaller than the first threshold value, even if the pixel information data is compressed, the difference between the size of the pixel information data before compression and the size of the pixel information data after compression may be small have. In another example, when the size of the pixel information data is smaller than the first threshold value, the difference between the size of the pixel information data before compression and the size of the pixel information data after compression is small, Power consumption can be large.
  • control circuit 330 may determine to compress the pixel information data Can be compressed).
  • control circuit 330 may determine if the compression ratio of the pixel information data is greater than or equal to a second threshold value.
  • control circuit 330 determines in operation 1507 that the compression ratio of the pixel information data is less than the second threshold, the control circuit 330 combines the uncompressed pixel information data with the compressed data to generate the compressed image data ). ≪ / RTI >
  • control circuit 330 determines in operation 1507 that the compression ratio of the pixel information data is greater than or equal to the second threshold value, the control circuit 330 combines the compressed pixel information data with the compressed data, Lt; / RTI >
  • control circuit 330 determines the compression ratio of the pixel information data for each transmission period of the pixel information data when the size of the pixel information data is equal to or larger than the first threshold value,
  • the processor 350 may determine whether to send the compressed or uncompressed pixel information data to the processor 350.
  • the control circuit 330 when the size of the pixel information data is equal to or larger than the first threshold value, changes the pixel information data corresponding to the current period
  • the pixel information data corresponding to the current period can be transmitted to the processor 350 in a compressed or uncompressed state without determining the compression rate (or without comparing the compression rate of the pixel information data with the second threshold value).
  • the control circuit 330 compresses the pixel information data corresponding to the current cycle, and then transmits the compressed pixel information data to the processor 350 Lt; / RTI >
  • the control circuit 330 determines that the pixel corresponding to the current cycle Compress the information data, and then transmit the compressed pixel information data to the processor 350.
  • control circuit 330 may transmit the compressed data and transmit the compressed pixel information data according to the specified transmission period .
  • control circuit 330 can determine the size of the compressed data and the size of the compressed pixel information data (or the sum of the size of the compressed data and the size of the compressed pixel information data) have.
  • control circuit 330 when the control circuit 330 determines that the size of the compressed data and the size of the compressed pixel information data exceeds the unit frame size, or when the size of the compressed data and the size of the compressed pixel information data are smaller than the unit frame size , The control circuit 330 may combine the compressed data and the pixel information data by the frame interleaving method if the attribute of the pixel information data corresponds to an attribute that does not require fast processing You can decide.
  • control circuit 330 determines that the size of the compressed data and the size of the compressed pixel information data are less than or equal to the unit frame size, and if the attribute of the compressed pixel information data corresponds to an attribute requiring fast processing
  • the control circuit 330 can combine the compressed data and the compressed pixel information data by a line interleaving method.
  • control circuitry 330 may send the combined data of the compressed data and the compressed pixel information data to the processor 350.
  • compressed data may be transmitted and compressed pixel information data may be transmitted in accordance with a designated transmission period.
  • control circuit 330 determines the size of the compressed data and the size of the uncompressed pixel information data (or the sum of the size of the compressed data and the size of the uncompressed pixel information data) Can be confirmed.
  • control circuit 330 determines that the size of the compressed data and the size of the uncompressed pixel information data exceed the unit frame size, or when the size of the compressed data and the size of the uncompressed pixel information data are greater than the unit If the control circuit 330 determines that the attribute of the pixel information data does not require fast processing even if the frame size is not exceeded, the control circuit 330 combines the compressed data and the pixel information data by the frame interleaving method You can decide to do it.
  • control circuit 330 determines that the size of the compressed data and the size of the uncompressed pixel information data are less than or equal to the unit frame size, and the attribute of the uncompressed pixel information data corresponds to an attribute requiring fast processing
  • the control circuit 330 can combine the compressed data and the uncompressed pixel information data by a line interleaving method.
  • control circuit 330 may send data to the processor 350 that combines the compressed data and the uncompressed pixel information data.
  • control of image data and image taking and the method of transmitting data related to image data are implemented by a control circuit included in an image sensor module including an image sensor, The method comprising: obtaining a plurality of raw image data for the external object using the image sensor, by the control circuit; at least a portion of the acquired plurality of raw image data Generating pixel information data associated with control of the imaging of a processor that is already electrically connected to the sensor module and is interfaced with the control circuit using at least one of the plurality of raw image data An operation of generating a compressed data partly compressed, Transmitting the pixel information data to the processor in accordance with the transmission period specified in the control signal or the control circuit, and transmitting the compressed data to the processor.
  • the method further comprises compressing the pixel information data to generate compressed pixel information data, wherein the act of transmitting the pixel information data to the processor in accordance with the determined transmission period comprises: Transmitting the compressed pixel information data to the processor based on that the compression rate of the pixel information data satisfies a specified compression rate, and transferring the compressed pixel information data to the processor when the compression rate does not satisfy the specified compression rate To the processor.
  • the operation of transmitting the pixel information data to the processor according to a transmission period specified by the processor or the control circuit compresses the pixel information data when the size of the pixel information data is less than a specified size
  • the operation of compressing the pixel information data to generate compressed pixel information data comprises: an operation of compressing the pixel information data when the size of the pixel information data is equal to or larger than a designated size; As shown in FIG.
  • the image sensor comprises a dual pixel image sensor comprising a pixel in which two or more photosensitive diodes are arranged, wherein a phase induced according to the arrangement identified in the at least a portion of the plurality of raw image data
  • the pixel information data may include data for auto focus, data for auto white balance (auto white balance), data for auto white balance , Data for motion of an external object, data for digital image stabilization (DIS), and the like.
  • the operation of transferring the pixel information data to the processor according to a transmission period specified in the processor or the control circuit may be based on the size of the compressed data for one image frame and the pixel information for one image frame
  • the method comprising the steps of: checking a size of a data size, a size of a data size, and a maximum capacity of the interface capable of transmitting data for one period; if the summed size exceeds the maximum capacity, Determining a transmission period corresponding to the pixel information data transmission; and, when the summed size is equal to or smaller than the maximum capacity, during one period in which the interface transmits data, pixel information data for the one image frame is divided
  • the division data and the compression for the one image frame Determining a frame interleaving scheme for combining data by a method of combining the compressed data and the pixel information data.
  • pixel information data for the one image frame is transmitted to the image sensor, And dividing the speed into a number of pieces of divided data substantially corresponding to a value obtained by dividing the speed by the speed for processing the pixel information data.
  • the frame interleaving method may be determined by a combination of the compressed data and the pixel information data.
  • the type of the pixel information data is a plurality of types
  • a line interleaving for transmitting data by combining at least a part of the pixel information data for the one image frame for each data line interval of the compressed data for the one image frame, ) Scheme may be determined by a method of combining the compressed data and the pixel information data.
  • the operation of determining the frame interleaving scheme by a method of combining the compressed data and the pixel information data when the attribute of the pixel information data does not correspond to the attribute set for fast processing in the processor, the operation of determining the frame interleaving scheme by a method of combining the compressed data and the pixel information data .
  • the structure of the data used in the above-described embodiments of the present invention can be recorded on a computer-readable recording medium through various means.
  • the computer-readable recording medium includes a storage medium such as a magnetic storage medium (e.g., ROM, floppy disk, hard disk, etc.), optical reading medium (e.g., CD-ROM, DVD, etc.).
  • a computer-readable medium includes instructions that, in an electronic device, include: receiving a signal for capturing an external object; obtaining a plurality of raw image data for the external object using an image sensor; Generating pixel information data associated with control of the imaging of the processor using at least a portion of the plurality of raw image data, generating at least a portion of the plurality of raw image data compressed compressed data, A program for causing the processor to transmit the pixel information data to the processor in accordance with the transmission period, and to transmit the compressed data to the processor.

Abstract

본 발명의 다양한 실시예들에 따른 전자 장치는, 프로세서, 및 상기 프로세서와 전기적으로 연결된 이미지 센서 모듈을 포함하고, 상기 이미지 센서 모듈은, 이미지 센서, 및 상기 이미지 센서와 전기적으로 연결되고 상기 프로세서와 인터페이스로 연결된 제어 회로를 포함하고, 상기 제어 회로는, 외부 객체 촬영을 위한 신호를 수신하고, 상기 이미지 센서를 이용하여, 상기 외부 객체에 대한 복수의 원시 이미지 데이터를 획득하고, 상기 획득된 상기 복수의 원시 이미지 데이터의 적어도 일부를 이용하여, 상기 프로세서의 상기 촬영의 제어와 관련된 픽셀 정보 데이터를 생성하고, 상기 복수의 원시 이미지 데이터 중 적어도 일부가 압축된 압축 데이터를 생성하고, 상기 프로세서 또는 상기 제어 회로에서 지정된 전송 주기에 따라 상기 픽셀 정보 데이터를 상기 프로세서로 전송하고, 및 상기 압축 데이터를 상기 프로세서로 전송하도록 설정될 수 있다.

Description

이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터의 크기에 기반하여, 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터를 전송하는 방법 및 이를 지원하는 전자 장치
본 발명의 다양한 실시예들은 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터의 크기에 기반하여, 이미 데이터 및 이미지 촬영의 제어와 관련된 데이터를 전송하는 방법 및 이를 지원하는 전자 장치에 관한 것이다.
정보통신 기술과 반도체 기술 등의 발전에 힘입어 다양한 전자장치의 보급과 이용이 급속도로 증가하고 있다. 전자 장치가 광범위하게 보급됨에 따라, 전자 장치는 카메라 기능과 같은 다양한 기능을 지원하고 있다.
카메라 기능의 개발에 따라, 전자 장치가 이미지 센서를 통하여 이미지를 획득하는 속도(또는 촬영 속도)가 빨라지고 있다. 또한, 이미지 센서를 포함하는 이미지 센서 모듈은 이미지 데이터 외, 이미지 데이터에 기반하여 이미지와 관련된 데이터를 생성하고 있다. 이에 따라, 전자 장치에서 생성되는 이미지의 품질을 향상시키기 위해서는, 이미지 센서 모듈로부터 이미지 데이터 등을 처리하기 위한 프로세서로 데이터 손실 없이 이미지 데이터 등을 전송할 필요가 있다.
종래 기술은, 카메라의 기능이 고속 촬영 모드로 실행되는 경우, 이미지 센서 모듈 및 프로세서 간 데이터를 전송하는 인터페이스의 전송 속도와, 이미지 센서에서 이미지 데이터에 기반하여 생성되는 이미지와 관련된 데이터를 생성하는 속도의 제한 때문에, 이미지 센서 모듈에서 이미지를 획득하는 속도에 맞추어 이미지 데이터와 이미지와 관련된 데이터를 이미지 센서 모듈로부터 프로세서로 전송할 수 없는 문제가 있다.
본 발명의 다양한 실시예들은, 이미지 데이터가 압축된 압축 데이터의 크기 및 이미지 관련 데이터의 크기에 기반하여, 적응적인 방법으로 이미지 센서 모듈로부터 프로세서로 압축 데이터 및 이미지 관련 데이터를 전송할 수 있는, 이미지 데이터 및 이미지와 관련된 데이터를 전송하는 방법 및 이를 지원하는 전자 장치에 관한 것이다.
본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 다양한 실시예들에 따른 전자 장치는, 프로세서, 및 상기 프로세서와 전기적으로 연결된 이미지 센서 모듈을 포함하고, 상기 이미지 센서 모듈은, 이미지 센서, 및 상기 이미지 센서와 전기적으로 연결되고 상기 프로세서와 인터페이스로 연결된 제어 회로를 포함하고, 상기 제어 회로는, 외부 객체 촬영을 위한 신호를 수신하고, 상기 이미지 센서를 이용하여, 상기 외부 객체에 대한 복수의 원시 이미지 데이터를 획득하고, 상기 획득된 상기 복수의 원시 이미지 데이터의 적어도 일부를 이용하여, 상기 프로세서의 상기 촬영의 제어와 관련된 픽셀 정보 데이터를 생성하고, 상기 복수의 원시 이미지 데이터 중 적어도 일부가 압축된 압축 데이터를 생성하고, 상기 프로세서 또는 상기 제어 회로에서 지정된 상기 전송 주기에 따라 상기 픽셀 정보 데이터를 상기 프로세서로 전송하고, 및 상기 압축 데이터를 상기 프로세서로 전송하도록 설정될 수 있다.
본 발명의 다양한 실시예들에 따른 이미지 데이터 및 이미지 촬영의 제어와 이미지 데이터와 관련된 데이터를 전송하는 방법은, 이미지 센서를 포함하는 이미지 센서 모듈에 포함된 제어 회로에 의해 외부 객체 촬영을 위한 신호를 수신하는 동작, 상기 제어 회로에 의해, 상기 이미지 센서를 이용하여, 상기 외부 객체에 대한 복수의 원시 이미지 데이터를 획득하는 동작, 상기 제어 회로에 의해, 상기 획득된 상기 복수의 원시 이미지 데이터의 적어도 일부를 이용하여, 상기 이미지 센서 모듈과 전기적으로 연결되고 상기 제어 회로와 인터페이스로 연결된 프로세서의 상기 촬영의 제어와 관련된 픽셀 정보 데이터를 생성하는 동작, 상기 제어 회로에 의해, 상기 복수의 원시 이미지 데이터 중 적어도 일부가 압축된 압축 데이터를 생성하는 동작, 상기 프로세서 또는 상기 제어 회로에서 지정된 상기 전송 주기에 따라 상기 픽셀 정보 데이터를 상기 프로세서로 전송하는 동작, 및 상기 압축 데이터를 상기 프로세서로 전송하는 동작을 포함할 수 있다.
본 발명의 다양한 실시예에 따른 이미지 데이터 및 이미지와 관련된 데이터를 전송하는 방법 및 이를 지원하는 전자 장치는, 이미지 데이터가 압축된 압축 데이터의 크기 및 이미지 관련 데이터의 크기에 기반하여, 적응적인 방법으로 이미지 센서 모듈로부터 프로세서로 압축 데이터 및 이미지 관련 데이터를 전송할 수 있다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경 내의 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터를 전송하기 위한 전자 장치의 블럭도이다.
도 2a는, 다양한 실시예들에 따른, 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터를 전송하기 위한 카메라 모듈의 블럭도이다.
도 2b는, 본 발명의 다양한 실시예에 따른, 이미지 데이터 및 이미지와 이미지 촬영의 제어와 관련된 데이터를 전송하기 위한 전자 장치 및 외부 전자 장치의 동작을 설명하기 위한 개념도를 도시한다.
도 3은 본 발명의 다양한 실시예에 따라 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터를 전송하기 위한 장치에 대한 전체적인 도면이다.
도 4는 본 발명의 다양한 실시예에 따라 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터를 전송하기 위한 장치에 대한 세부적인 도면이다.
도 5의 (a)는 본 발명의 일 실시예에 따른 이미지 센서를 도시한 도면이다.
도 5의 (b)는 본 발명의 일 실시예에 따른 픽셀 정보 데이터 생성부를 도시한 도면이다.
도 5의 (c)는 본 발명의 다른 실시예에 따른 픽셀 정보 데이터 생성부를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 프레임 인터리빙 방식으로 데이터를 전송하기 위한 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 다른 실시예에 따른 프레임 인터리빙 방식으로 데이터를 전송하기 위한 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 또 다른 실시예에 따른 프레임 인터리빙 방식으로 데이터를 전송하기 위한 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 또 다른 실시예에 따른 프레임 인터리빙 방식으로 데이터를 전송하기 위한 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 라인 인터리빙 방식으로 데이터를 전송하기 위한 방법을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 픽셀 정보 데이터의 압축과 관련된 설명을 위한 도면이다.
도 12는 본 발명의 일 실시예에 따른 이미지 촬영의 제어와 관련된 데이터를 전송하기 위한 방법을 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예에 따른 압축 데이터 및 픽셀 정보 데이터를 결합하는 방식을 결정하는 방법을 설명하기 위한 도면이다.
도 14는 본 발명의 다른 실시예에 따른 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터를 전송하기 위한 방법을 설명하기 위한 도면이다.
도 15는 본 발명의 일 실시예에 따른 압축된 픽셀 정보 데이터 또는 압축되지 않은 픽셀 정보 데이터를 전송할지를 결정하기 위한 방법을 설명하기 위한 도면이다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블럭도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 및 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 예를 들면, 표시 장치(160)(예: 디스플레이)에 임베디드된 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)의 경우와 같이, 일부의 구성요소들이 통합되어 구현될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 구동하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 및 연산을 수행할 수 있다. 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하여 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 운영되고, 추가적으로 또는 대체적으로, 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화된 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 여기서, 보조 프로세서(123)는 메인 프로세서(121)와 별개로 또는 임베디드되어 운영될 수 있다.
이런 경우, 보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 수행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부 구성 요소로서 구현될 수 있다. 메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서모듈(176))에 의해 사용되는 다양한 데이터, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 저장할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 저장되는 소프트웨어로서, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 장치(150)는, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신하기 위한 장치로서, 예를 들면, 마이크, 마우스, 또는 키보드를 포함할 수 있다.
음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력하기 위한 장치로서, 예를 들면, 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용되는 스피커와 전화 수신 전용으로 사용되는 리시버를 포함할 수 있다. 일 실시예에 따르면, 리시버는 스피커와 일체 또는 별도로 형성될 수 있다.
표시 장치(160)는 전자 장치(101)의 사용자에게 정보를 시각적으로 제공하기 위한 장치로서, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 표시 장치(160)는 터치 회로(touch circuitry) 또는 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(170)은, 입력 장치(150)를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 유선 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102)(예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 내부의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 외부 전자 장치(예: 전자 장치(102))와 유선 또는 무선으로 연결할 수 있는 지정된 프로토콜을 지원할 수 있다. 일 실시예에 따르면, 인터페이스(177)는 HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102))를 물리적으로 연결시킬 수 있는 커넥터, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈, 이미지 센서, 이미지 시그널 프로세서, 또는 플래시를 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리하기 위한 모듈로서, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구성될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급하기 위한 장치로서, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))간의 유선 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되는, 유선 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함하고, 그 중 해당하는 통신 모듈을 이용하여 제 1 네트워크(198)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 상술한 여러 종류의 통신 모듈(190)은 하나의 칩으로 구현되거나 또는 각각 별도의 칩으로 구현될 수 있다.
일 실시예에 따르면, 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 사용자 정보를 이용하여 통신 네트워크 내에서 전자 장치(101)를 구별 및 인증할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부로 송신하거나 외부로부터 수신하기 위한 하나 이상의 안테나들을 포함할 수 있다. 일시예에 따르면, 통신 모듈(190)(예: 무선 통신 모듈(192))은 통신 방식에 적합한 안테나를 통하여 신호를 외부 전자 장치로 송신하거나, 외부 전자 장치로부터 수신할 수 있다.
상기 구성요소들 중 일부 구성요소들은 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input/output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되어 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 외부 전자 장치에서 실행될 수 있다. 일 실시예에 따르면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 외부 전자 장치에게 요청할 수 있다. 상기 요청을 수신한 외부 전자 장치는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2a는, 다양한 실시예들에 따른, 카메라 모듈(180)의 블럭도(200)이다. 도 2a를 참조하면, 카메라 모듈(180)은 렌즈 어셈블리(210), 플래쉬(220), 이미지 센서(230), 이미지 스태빌라이저(240), 메모리(250)(예: 버퍼 메모리), 또는 이미지 시그널 프로세서(260)를 포함할 수 있다. 렌즈 어셈블리(210)는 이미지 촬영의 대상인 피사체로부터 방출되는 빛을 수집할 수 있다. 렌즈 어셈블리(210)는 하나 또는 그 이상의 렌즈들을 포함할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 복수의 렌즈 어셈블리(210)들을 포함할 수 있다. 이런 경우, 카메라 모듈(180)은, 예를 들면, 듀얼 카메라, 360도 카메라, 또는 구형 카메라(spherical camera)일 수 있다. 복수의 렌즈 어셈블리(210)들은 동일한 렌즈 속성(예: 화각, 초점 거리, 자동 초점, f 넘버(f number), 또는 광학 줌)을 갖거나, 또는 적어도 하나의 렌즈 어셈블리는 다른 렌즈 렌즈 어셈블리와 적어도 하나의 다른 렌즈 속성을 가질 수 있다. 렌즈 어셈블리(210)는, 예를 들면, 광각 렌즈 또는 망원 렌즈를 포함할 수 있다. 플래쉬(220)는 피사체로부터 방출되는 빛을 강화하기 위하여 사용되는 광원을 방출할 수 있다. 플래쉬(220)는 하나 이상의 발광 다이오드들(예: RGB(red-green-blue) LED, white LED, infrared LED, 또는 ultraviolet LED), 또는 xenon lamp를 포함할 수 있다.
이미지 센서(230)는 피사체로부터 렌즈 어셈블리(210)를 통해 전달된 빛을 전기적인 신호로 변환함으로써, 상기 피사체에 대응하는 이미지를 획득할 수 있다. 일 실시예에 따르면, 이미지 센서(230)는, 예를 들면, RGB 센서, BW(black and white) 센서, IR 센서, 또는 UV 센서와 같이 속성이 다른 이미지 센서들 중 선택된 하나의 이미지 센서, 동일한 속성을 갖는 복수의 이미지 센서들, 또는 다른 속성을 갖는 복수의 이미지 센서들을 포함할 수 있다. 이미지 센서(230)에 포함된 각각의 이미지 센서는, 예를 들면, CCD(charged coupled device) 센서 또는 CMOS(complementary metal oxide semiconductor) 센서로 구현될 수 있다.
이미지 스태빌라이저(240)는 카메라 모듈(180) 또는 이를 포함하는 전자 장치(101)의 움직임에 반응하여, 촬영되는 이미지에 대한 상기 움직임에 의한 부정적인 영향(예: 이미지 흔들림)을 적어도 일부 보상하기 위하여 렌즈 어셈블리(210)에 포함된 적어도 하나의 렌즈 또는 이미지 센서(230)를 특정한 방향으로 움직이거나 제어(예: 리드 아웃(read-out) 타이밍을 조정 등)할 수 있다. 일 실시예에 따르면, 이미지 스태빌라이저(240)는, 예를 들면, 광학식 이미지 스태빌라이저로 구현될 수 있으며, 카메라 모듈(180)의 내부 또는 외부에 배치된 자이로 센서(미도시) 또는 가속도 센서(미도시)를 이용하여 상기 움직임을 감지할 수 있다.
메모리(250)는 이미지 센서(230)을 통하여 획득된 이미지의 적어도 일부를 다음 이미지 처리 작업을 위하여 적어도 일시 저장할 수 있다. 예를 들어, 셔터에 따른 이미지 획득이 지연되거나, 또는 복수의 이미지들이 고속으로 획득되는 경우, 획득된 원본 이미지(예: 높은 해상도의 이미지)는 메모리(250)에 저장이 되고, 그에 대응하는 사본 이미지(예: 낮은 해상도의 이미지)는 표시 장치(160)을 통하여 프리뷰될 수 있다. 이후, 지정된 조건이 만족되면(예: 사용자 입력 또는 시스템 명령) 메모리(250)에 저장되었던 원본 이미지의 적어도 일부가, 예를 들면, 이미지 시그널 프로세서(260)에 의해 획득되어 처리될 수 있다. 일 실시예에 따르면, 메모리(250)는 메모리(130)의 적어도 일부로, 또는 이와는 독립적으로 운영되는 별도의 메모리로 구성될 수 있다.
이미지 시그널 프로세서(260)는 이미지 센서(230)을 통하여 획득된 이미지 또는 메모리(250)에 저장된 이미지에 대하여 이미지 처리(예: 깊이 지도(depth map) 생성, 3차원 모델링, 파노라마 생성, 특징점 추출, 이미지 합성, 또는 이미지 보상(예: 노이즈 감소, 해상도 조정, 밝기 조정, 블러링(blurring), 샤프닝(sharpening), 또는 소프트닝(softening))을 수행할 수 있다. 추가적으로 또는 대체적으로, 이미지 시그널 프로세서(260)는 카메라 모듈(180)에 포함된 구성 요소들 중 적어도 하나(예: 이미지 센서(230))에 대한 제어(예: 노출 시간 제어, 또는 리드 아웃 타이밍 제어 등)를 수행할 수 있다. 이미지 시그널 프로세서(260)에 의해 처리된 이미지는 추가 처리를 위하여 메모리(250)에 다시 저장 되거나 카메라 모듈(180)의 외부 구성 요소(예: 메모리(130), 표시 장치(160), 전자 장치(102), 전자 장치(104), 또는 서버(108))로 전달될 수 있다. 일 실시예에 따르면, 이미지 시그널 프로세서(260)는 프로세서(120)의 적어도 일부로 구성되거나, 프로세서(120)와 독립적으로 운영되는 별도의 프로세서로 구성될 수 있다. 별도의 프로세서로 구성된 경우, 이미지 시그널 프로세서(260)에 의해 처리된 이미지들은 프로세서(120)에 의하여 그대로 또는 추가의 이미지 처리를 거친 후 표시 장치(160)를 통해 표시될 수 있다.
일 실시예에 따르면, 전자 장치(101)는 각각 다른 속성 또는 기능을 가진 둘 이상의 카메라 모듈(180)들을 포함할 수 있다. 이런 경우, 예를 들면, 적어도 하나의 카메라 모듈(180)은 광각 카메라 또는 전면 카메라이고, 적어도 하나의 다른 카메라 모듈은 망원 카메라 또는 후면 카메라일 수 있다.
도 2b는 본 발명의 다양한 실시예에 따른, 이미지 데이터 및 이미지와 이미지 촬영의 제어와 관련된 데이터를 전송하기 위한 전자 장치 및 외부 전자 장치의 동작을 설명하기 위한 개념도를 도시한다.
전자 장치(101)는, 이미지 센서 모듈(221)(예: 이미지 센서(230), 이미지 센서 모듈(310)), ISP(223)(예: 프로세서(120) 또는 이미지 시그널 프로세서(260)) 및 메모리(225)(예: 메모리(130))를 포함할 수 있다. 외부 전자 장치(204)(예: 외부 전자 장치(104))는, 인식 모듈(231), 이미지 처리 모듈(233) 및 저장소(235)를 포함할 수 있다. 인식 모듈(231)은 논리 모듈일 수도 있으며, 외부 전자 장치(204)의 프로세서로 구현될 수도 있다. 이미지 처리 모듈(233) 또한 외부 전자 장치(204)의 프로세서로 구현될 수 있으며, 예를 들어 외부 전자 장치(204)의 프로세서가 인식과 이미지 처리를 모두 수행할 수도 있다. 도시되지는 않았지만, 전자 장치(101)는 외부 전자 장치(204)와 데이터를 송수신할 수 있는 통신 모듈(예: 인터페이스(177) 또는 통신 모듈(190))을 포함할 수 있다. 외부 전자 장치(204)는 전자 장치(101)와 데이터를 송수신할 수 있는 통신 모듈을 포함할 수 있다.
이미지 센서 모듈(221)(예: 제어 회로(330))은, 외부 객체에 대한 이미지를 획득할 수 있으며, 이에 대응하는 원시 이미지(226)를 생성할 수 있다. 이미지 센서 모듈(221)은, 원시 이미지(226)를 ISP(223)로 전달할 수 있다. 본 발명의 다양한 실시예에서, 이미지 센서 모듈(221)는 스몰 원시 이미지(227)(small raw image)를 생성하여 이를 통신 모듈(예: 인터페이스(177) 또는 통신 모듈(190))을 통하여 외부 전자 장치(204)로 송신할 수 있다. 또 다른 실시예에서는, 이미지 센서 모듈(221)이 아닌 전자 장치(101)의 프로세서(예: 프로세서(120))가 스몰 원시 이미지(227)를 생성할 수도 있으며, 생성된 스몰 원시 이미지(227)를 통신 모듈을 통하여 외부 전자 장치(204)로 송신할 수 있다. 이미지 센서 모듈(221)은, 원시 이미지(226)의 적어도 일부에 대한 처리 또는 외부(예: 프로세서(예: 이미지 처리 모듈(233)) 또는 외부 전자 장치(204))로의 송신을 위해 압축할 수 있다. 이미지 센서 모듈(221)은, 압축된 원시 이미지(226)를 ISP(223) 또는 외부 전자 장치(204)(예: 이미지 처리 모듈(233))로 송신할 수 있다. 다른 실시 예로, ISP(223)(예: 이미지 시그널 프로세서(260))는, 이미지 센서 모듈(221)로부터 수신된 압축된 원시 이미지 또는 스몰 원시 이미지를 상기 외부 장치(204)로 송신할 수 있다. 이미지 센서 모듈(221)은, 원시 이미지(226)의 일부 처리를 위해 압축하여 상기 이미지 센서 모듈(221) 내부의 메모리(예: 메모리(250))에 임시로 저장할 수 있다.외부 전자 장치(204)의 인식 모듈(231)은 통신 모듈을 통하여 스몰 원시 이미지(227)를 획득할 수 있으며, 스몰 원시 이미지(227)로부터 적어도 하나의 이미지 영역을 세그먼테이션할 수 있다. 인식 모듈(221)은 세그먼테이션 결과로 구분된 적어도 하나의 이미지 영역 각각을 인식할 수 있다. 인식 모듈(221)로부터 생성된 복수의 이미지 영역과 연관된 정보, 예를 들어 이미지 영역의 좌표 정보 또는 인식 결과 중 적어도 하나를 포함하는 이미지 보정 정보(232)가 생성될 수 있다. 이미지 보정 정보(232)는 전자 장치(101)로 송신될 수 있다. ISP(223)는 이미지 보정 정보(232)를 이용하여 원시 이미지(226)를 보정할 수 있으며, 이에 따라 보정된 이미지(224)가 생성될 수 있다. 보정된 이미지(224)는, 예를 들어 YUV의 포맷을 가질 수 있다. 보정된 이미지(224)는 메모리(425)에 저장될 수 있다. 또는, 보정된 이미지(224)는 예를 들어 JPEG 방식에 따라 압축될 수 있으며, 압축된 이미지가 메모리(225)에 저장될 수도 있다.
본 발명의 다양한 실시예에서, 이미지 센서 모듈(221)로부터 제공되는 원시 이미지(226)는 스몰 원시 이미지(227)와 별도로 외부 전자 장치(204)로 송신될 수 있다. 원시 이미지(226)는, 스몰 원시 이미지(227)에 비하여 용량이 크므로, 스몰 원시 이미지(227)가 우선 외부 전자 장치(204)로 송신되며, 이후 원시 이미지(226)가 외부 전자 장치(204)로 송신될 수 있다. 예를 들어, ISP(223)가 원시 이미지(226)에 대한 보정을 수행하는 동안에 원시 이미지(226)가 외부 전자 장치(204)로 송신될 수도 있다. 원시 이미지(226)는, 이미지 센서 모듈(221)에 의하여 생성된 그대로 외부 전자 장치(204)로 업로드될 수도 있으며, 또는 렌즈 왜곡 보상 또는 노이즈 제거가 수행된 전처리 영상이 업로드될 수도 있다. 상술한 전처리는 외부 전자 장치(204)에서 수행될 수도 있다. 외부 전자 장치(204)는, Demosaic 처리 또는 이미지 포맷 변형, 또는 영상 인식률을 높이기 위한 전처리를 수행할 수도 있다. 외부 전자 장치(204)의 이미지 처리 모듈(233)는, 수신된 원시 이미지(226)를 보정할 수 있다. 외부 전자 장치(204)는 기존에 생성하였던 이미지 보정 정보(232)를 이용하여 원시 이미지(226)를 보정할 수도 있으며, 또는 확장된 이미지 보정 정보를 이용하여 원시 이미지(226)를 보정할 수도 있다. 원시 이미지(226)는, 스몰 원시 이미지(227)에 비하여 해상도가 높을 수도 있으며, 이에 따라 외부 전자 장치(204)의 이미지 처리 모듈(233)는 고해상도 이미지로부터 보다 상세한 확장된 이미지 보정 정보를 획득할 수 있다. 이미지 처리 모듈(233)는, 기존에 생성된 이미지 보정 정보와 원시 이미지(226)를 함께 이용하여 확장된 이미지 보정 정보를 생성할 수도 있다. 이미지 처리 모듈(233)는 확장된 이미지 보정 정보를 이용하여 원시 이미지(226)를 보정함으로써, 고해상도 이미지(high quality image)(234)를 획득할 수 있다. 고해상도 이미지(234)는 외부 전자 장치(204)의 저장소(235)에 저장될 수 있으며, 전자 장치(101)로 다운로드될 수도 있다.
다양한 실시예에 따라, 상기 스몰 원시 이미지(227)는 원시 이미지(226)의 데이터 크기보다 작은 크기를 갖는 원시 이미지를 의미하며, 특정 포맷이나 특정 방법에 의해 생성된 이미지로 제한 해석되는 것은 아니다. 예컨대, 상기 스몰 원시 이미지(227)는 상기 원시 이미지(226)의 용량을 감소시킴으로써 생성될 수 있으며, 경량 이미지로 지칭될 수도 있다. 예컨대, 전자 장치(101)는 상기 원시 이미지(226) 로부터 다양한 다운-스케일(down-scale) 방식 또는 다운-샘플링(down-sampling) 방식을 이용하여 스몰 원시 이미지(227) 를 생성할 수 있다. 전자 장치(101)는, 예를 들어 원시 이미지(226)의 해상도의 조정, 복수 개의 주파수 대역 중 적어도 일부를 선택, 또는 복수 개의 비트 플레인 레벨 중 적어도 하나의 선택 중 적어도 하나를 수행함으로써, 상기 원시 이미지(226) 의 데이터의 크기보다 작은 크기를 갖는 스몰 원시 이미지(227) 를 생성할 수 있다. 전자 장치(101)는, 예를 들어 상기 원시 이미지(226)로부터 저주파수 대역을 추출함으로써 스몰 원시 이미지(227)를 생성할 수 있다. 전자 장치(101)는, 예를 들어 상기 원시 이미지(226) 의 복수 개의 비트 플레인 레벨 중 일부의 비트 플레인 레벨들을 선택함으로써 스몰 원시 이미지(227)를 생성할 수도 있다. 상기 스몰 원시 이미지(227)는, 상기 원시 이미지(226)의 정보를 적어도 일부 포함하되 원시 이미지(226) 보다 용량이 작은 이미지일 수 있다. 상기 원시 이미지(226) 대신 상기 스몰 원시 이미지(227)를 외부 전자 장치(204)에 전송하는 경우, 보다 작은 용량의 데이터를 전송하게 되므로, 외부 전자 장치(204)로 이미지를 보다 빠르게 전송할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치 중 적어도 하나를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 명령어를 포함하는 소프트웨어(예: 프로그램(140))로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치(예: 전자 장치(101))를 포함할 수 있다. 상기 명령이 프로세서(예: 프로세서(120))에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
도 3은 본 발명의 다양한 실시예에 따라 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터를 전송하기 위한 장치에 대한 전체적인 도면이다.
도 3을 참조하면, 이미지 데이터 및 이미지와 관련된 데이터를 전송하기 위한 장치(300)는 이미지 센서 모듈(310), 인터페이스(340), 및 프로세서(350)(예: 프로세서(120), 이미지 시그널 프로세서(260)) 등을 포함할 수 있다.
일 실시예에서, 도 3의 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터를 전송하기 위한 장치(300)는 도 2의 카메라 모듈(180)에 포함될 수 있다. 다른 실시예에서, 이미지 센서 모듈(310)와 프로세서(350)의 일부 구성은 도 2의 카메라 모듈(180)에 포함되고, 프로세서(350)의 나머지 일부 구성은 도 1의 프로세서(120)에 포함될 수 있다. 또 다른 실시예에서, 이미지 센서 모듈(310)은 도 2의 카메라 모듈(180)에 포함되고, 프로세서(350)는 도 1의 프로세서(120)에 포함될 수 있다.
일 실시예에서, 이미지 센서(320)(예: 이미지 센서(230))는 복수의 픽셀들(pixels)(또는 픽셀 어레이(pixel array))를 포함할 수 있다. 복수의 픽셀들 각각에 배치(또는 배열)된 적어도 하나의 포토 다이오드(photo diode)는, 포토 다이오드에 수집된 광을 전기적인 신호(예: 아날로그(analog) 전기 신호)로 변환할 수 있다.
일 실시예에서, 이미지 센서(320)는 하나의 픽셀에 2개의 포토 다이오드(또는 감광 다이오드)가 배치된 듀얼 픽셀(dual pixel) 이미지 센서일 수 있다. 이하에서, 이미지 센서(320)가 듀얼 픽셀 이미지 센서로 구현되는 경우를 가정하고 설명하지만, 다양한 실시예들에서, 이미지 센서(320)가 하나의 픽셀에 하나의 포토 다이오드가 배치되는 형태의 이미지센서로 구현되는 경우에도, 본 발명의 기술적 사상이 동일하게 적용될 수 있음을 통상의 기술자에게 자명하다.
일 실시 예에서, 이미지 센서 모듈(310)(예: 제어 회로(330)) 및 프로세서(350)는 인터페이스(340)를 통해 연결될 수 있다. 예를 들어, 이미지 센서 모듈(310)은 MIPI(mobile industry processor interface)에서 규정하는 D-PHY 및/또는 C-PHY 인터페이스를 이용하여 이미지 데이터를 프로세서(350)로 전달할 수 있다.
일 실시예에서, 제어 회로(330)는 외부 객체 촬영을 위한 신호를 수신할 수 있다. 예를 들어, 제어 회로(330)는 디스플레이(예: 표시 장치(160))를 통하여 외부 객체에 대한 라이브 뷰(live view)(또는 프리뷰(preview))를 제공하기 위한 신호(또는 입력)을 수신할 수 있다. 다른 예에서, 제어 회로(330)는 라이브 뷰를 제공하는 동안 외부 객체에 대하여 초점 거리를 조정하기 위한(또는 초점을 맞추기 위한) 반 셔터(half shutter) 기능을 실행하기 위한 신호를 수신할 수 있다. 또 다른 예에서, 제어 회로(330)는 정지 이미지(still image) 또는 동적 이미지(moving image)를 캡쳐(capture)하기 위한 신호를 수신할 수 있다. 다만, 외부 객체 촬영을 위한 신호는 전술한 예시에 제한되지 않는다.
일 실시예에서, 제어 회로(330)는 이미지 센서(320)를 이용하여, 외부 객체에 대한 복수의 이미지 데이터를 획득할 수 있다. 예를 들어, 제어 회로(330)는 복수의 픽셀들로부터 전달되는 아날로그 전기 신호를 디지털(digital) 전기 신호로 변환함으로써, 외부 객체에 대한 복수의 이미지 데이터를 생성할 수 있다. 이하에서, 제어 회로(330)에서 디지털 전기 신호 형태로 생성되는 이미지 데이터를 원시 이미지 데이터(raw image data, 또는 raw data)로 지칭하기로 한다.
일 실시예에서, 이미지 센서(320)가 듀얼 픽셀 이미지 센서로 구현되는 경우, 제어 회로(330)는, 복수의 픽셀들 중 적어도 일부에서 픽셀 각각의 하나의 측(예: 좌측)에 배치된 포토 다이오드로 구성되는 포토 다이오드들(또는 픽셀 내에서 하나의 측(또는 열, 또는 행)에 배치되는 포토 다이오드의 집합)에서 생성된 전기 신호에 기반하여 생성되는 하나의 측에 대응하는 이미지 데이터(이하에서, '좌측 이미지 데이터'로 지칭함)와, 픽셀 각각의 다른 측(예: 우측)에 배치된 포토 다이오드로 구성되는 포토 다이오드들에서 생성된 전기 신호에 기반하여 생성되는 다른 측에 대응하는 이미지 데이터(이하에서, '우측 이미지 데이터'로 지칭함)를 결합(또는 조합, 또는 병합)함으로써 원시 이미지 데이터를 생성할 수 있다. 일 실시예에서, 제어 회로(330)는, 생성된 원시 이미지 데이터를 메모리(미도시)(예: 메모리(130), 메모리(250))에 저장할 수 있다.
일 실시예에서, 제어 회로(330)는 이미지 촬영의 제어와 관련된 데이터로서 픽셀 정보 데이터를 생성할 수 있다. 일 실시예에서, 픽셀 정보 데이터는 이미지 데이터(예: 원시 이미지 데이터, 좌측 이미지 데이터, 또는 우측 이미지 데이터 중 적어도 하나)에 적어도 일부 기반하여 생성되고, 프로세서(350)의 촬영 제어와 관련된 데이터일 수 있다. 일 실시예에서, 이미지 센서(320)가 둘 이상의 감광 다이오드(또는 포토 다이오드)가 배치된 픽셀을 포함하는 듀얼 픽셀 이미지 센서로 구현되는 경우, 제어 회로(330)는 복수의 원시 이미지 데이터의 적어도 일부에서 확인된 둘 이상의 감광 다이오드의 배치에 따라 유발된 위상 차에 적어도 일부 기반하여, 픽셀 정보 데이터로서 위상 오토 포커스를 위한 데이터를 생성할 수 있다.
일 실시예에서, 픽셀 정보 데이터는, 위상 오토 포커스(phase auto focus)를 위한 데이터뿐만 아니라, 오토 화이트밸런스(auto white balance)를 위한 데이터, 외부 객체의 모션(motion)을 위한 데이터(예: 모션 검출을 위한 데이터 또는 모션 예측을 위한 데이터), 또는 DIS(digital image stabilization)를 위한 데이터 등 중 적어도 하나를 포함할 수 있다. 다만, 픽셀 정보 데이터는 전술한 예시에 제한되지 않는다. 일 실시예에서, 제어 회로(330)는, 생성된 픽셀 정보 데이터를 메모리(미도시)(예: 메모리(130), 메모리(250)))에 저장할 수 있다.
일 실시예에서, 제어 회로(330)는 원시 이미지 데이터와, 선택적으로 픽셀 정보 데이터를 압축할 수 있다. 예를 들어, 제어 회로(330)는 원시 이미지 데이터의 사이즈를 감소시키기 위하여 원시 이미지 데이터를 압축할 수 있다. 제어 회로(330)는 원시 이미지 데이터를 압축함으로써, 원시 이미지 데이터가 압축된 데이터(이하, '압축 데이터'로 지칭함)를 생성할 수 있다. 일 실시예에서, 제어 회로(330)는, 픽셀 정보 데이터를 압축하거나 압축하지 않을 수 있다. 예를 들어, 제어 회로(330)는 픽셀 정보 데이터의 크기를 확인할 수 있다. 제어 회로(330)는 픽셀 정보 데이터의 크기가 지정된 임계 값 미만인 경우 픽셀 정보 데이터를 압축하지 않을 수 있다. 제어 회로(330)는 픽셀 정보 데이터의 크기가 지정된 임계 값 이상인 경우, 픽셀 정보 데이터를 압축할 수 있다. 다만, 상세히 후술하겠지만, 제어 회로(330)가 픽셀 정보 데이터를 압축하더라도, 압축된 픽셀 정보 데이터의 압축된 비율에 적어도 일부 기반하여 압축되지 않은 픽셀 정보 데이터 또는 압축된 픽셀 정보 데이터를 프로세서(350)로 전송할 수 있다.
일 실시예에서, 제어 회로(330)는, 프로세서(350) 또는 제어 회로(330)에서 지정된 전송 주기에 따라 픽셀 정보 데이터를 프로세서(350)로 전송할 수 있다.
일 실시예에서, 픽셀 정보 데이터를 프로세서(350)로 전송하는 주기는 압축 데이터를 프로세서(350)로 전송하는 주기와 독립적으로 결정될 수 있다. 예를 들어, 픽셀 정보 데이터를 프로세서(350)로 전송하는 주기는, 프로세서(350)에서 픽셀 정보 데이터를 처리하는 주기(또는 처리를 위하여 설정된 주기, 또는 픽셀 정보 데이터를 처리하기 위한 사양(specification))에 따라 지정(또는 결정)될 수 있다. 다른 예에서, 픽셀 정보 데이터를 프로세서(350)로 전송하는 주기는, 제어 회로(330)에 의해 지정될 수도 있다.
일 실시예에서, 픽셀 정보 데이터를 프로세서(350)로 전송하는 지정된 주기는 변경될 수 있다. 예를 들어, 제어 회로(330)가 후술한 프레임 인터리빙 방식에 있어서, 제어 회로(330) 또는 프로세서(350)에서 지정된 전송 주기로 분할된 픽셀 정보 데이터를 전송할 수 없는 경우, 제어 회로(330) 또는 프로세서(350)는 픽셀 정보 데이터를 전송하기 위한 전송 주기를 변경할 수 있다. 픽셀 정보 데이터를 전송하는 주기의 변경과 관련된 상세 동작은 후술하도록 한다.
일 실시예에서, 제어 회로(330)는 압축 데이터의 크기 및 픽셀 정보 데이터의 크기에 적어도 일부 기반하여, 픽셀 정보 데이터를 결합(또는 전송)하는 방식을 결정할 수 있다.
예를 들어, 제어 회로(330)는 압축 데이터의 크기 및 픽셀 정보 데이터의 크기를 확인할 수 있다. 일 실시예에서, 픽셀 정보 데이터의 크기는 압축되거나 압축되지 않은 픽셀 정보 데이터의 크기일 수 있다. 일 실시예에서, 제어 회로(330)는 압축 데이터의 크기와 픽셀 정보 데이터의 크기를 합산한 크기가, 이미지 센서 모듈(310) 및 프로세서(350) 간 인터페이스(340)의 데이터 전송 주기(이하, '단위 프레임 주기'로 지칭함) 동안(또는 데이터를 전송하는 하나의 주기 동안) 전송 가능한 용량(또는 최대 전송량) (이하, '단위 프레임 크기'으로 지칭함)을 초과하는지 여부를 결정할 수 있다. 이하에서, 인터페이스(340)가 단위 프레임 주기 동안 전송하는 데이터 프레임(또는 인터페이스(340)의 데이터 전송 단위)을 '단위 프레임'으로 지칭하기로 한다. 일 실시예에서, 제어 회로(330)는 하나의 이미지 프레임에 대응하는 원시 이미지 데이터를 압축한 데이터의 크기와, 하나의 이미지 프레임에 적어도 일부 기반하여 생성된 픽셀 정보 데이터(또는 하나의 이미지 프레임에 대한 픽셀 정보 데이터)의 크기를 합산한 크기가, 단위 프레임 크기를 초과하는지 여부를 결정할 수 있다. 일 실시예에서, 제어 회로(330)는 이미지 센서 모듈(310) 및 프로세서(350) 간 인터페이스(340)의 단위 프레임 주기 동안 압축 데이터(또는 하나의 이미지 프레임에 대응하는 원시 이미지 데이터를 압축한 데이터)와 픽셀 정보 데이터(또는 하나의 이미지 프레임에 대한 픽셀 정보 데이터)를 단위 프레임 내에서 동시에(또는 한꺼번에) 전송할 수 있는지 여부를 결정할 수 있다.
일 실시예에서, 이미지 센서 모듈(310) 및 프로세서(350) 간 인터페이스(340)의 단위 프레임 주기(또는 전송 속도)는, 이미지 센서 모듈(310)에서 외부 객체에 대한 이미지 프레임을 획득하는 주기(또는 속도)와 동일할 수 있다. 다만, 이에 제한되지 않는다.
일 실시예에서, 제어 회로(330)가 압축 데이터의 크기와 픽셀 정보 데이터의 크기를 합산한 크기가 단위 프레임 크기를 초과한 것으로 결정한 경우, 제어 회로(330)는, 하나의 이미지 프레임에 대응하는 압축 데이터와 함께(또는 결합하여, 또는 조합하여), 하나의 이미지 프레임에 대한 픽셀 정보 데이터가 원시 이미지 데이터 획득 속도 및 픽셀 정보 데이터 처리를 위한 속도(또는 픽셀 정보 데이터를 처리하도록 설정된 속도)에 기반하여 분할된 분할 데이터를, 단위 프레임 주기 동안 전송하도록 인터페이스(340)를 제어할 수 있다. 이하에서, 하나의 이미지 프레임에 대한 픽셀 정보 데이터를 분할하여 하나의 이미지 프레임에 대한 압축 데이터와 함께 전송하는 방식을 '프레임 인터리빙(frame interleaving) 방식'으로 지칭하기로 한다. 프레임 인터리빙 방식 경우, 예를 들어, 원시 이미지 데이터 획득 속도가 960fps(frame per second)이고, 픽셀 정보 데이터 처리를 위한 속도가 30fps이고, 제어 회로(330)가 압축 데이터의 크기와 픽셀 정보 데이터의 크기를 합산한 크기가 단위 프레임 크기를 초과한 것으로 결정한 경우, 제어 회로(330)는, 하나의 이미지 프레임에 대한 압축 데이터와, 하나의 이미지 프레임에 대한 픽셀 정보 데이터 크기의 1/32에 해당하는 크기를 가지는 분할 데이터를 단위 프레임 내에서 함께 전송하도록 인터페이스(340)를 제어할 수 있다. 이러한 예에서, 제어 회로(330)가 하나의 이미지 프레임에 대한 픽셀 정보 데이터 크기의 1/32에 해당하는 크기를 가지는 분할 데이터를 인터페이스(340)의 데이터 전송의 32 주기 동안 전송하므로, 하나의 프레임에 대한 픽셀 정보 데이터를 전송하는 주기는 단위 프레임 주기에 32를 곱한 시간(또는 단위 프레임 주기의 32배)일 수 있다. 일 실시예에서, 분할 데이터 각각을 전송하는 주기는 이미지 센서 모듈(310)에서 이미지 프레임을 획득하는 주기 및 단위 프레임 주기와 동일할 수 있다. 다만, 이에 제한되지 않는다. 일 실시예에서, 제어 회로(330)는, 하나의 이미지 프레임에 대한 픽셀 정보 데이터를, 이미지 센서(320)가 원시 이미지를 전송하는 속도를 상기 픽셀 정보 데이터를 처리하기 위한 속도로 나눈 값에 실질적으로 대응하는 개수의 분할 데이터로 분할할 수 있다. 예를 들어, 원시 이미지 데이터 획득 속도가 950fps(frame per second)이고, 픽셀 정보 데이터 처리를 위한 속도가 30fps인 경우와 같이, 제어 회로(330)는, 원시 이미지 데이터 획득 속도를 픽셀 정보 데이터 처리를 위한 속도로 나눈 값(예: 950/32)이 정수가 아닌 경우, 나눈 값의 정수 값(예: 31)에 '1'을 더한 값을 분할 데이터의 개수(예: 32개)로 결정할 수 있다. 다만, 이에 제한되지 않는다.
일 실시예에서, 제어 회로(330)가 압축 데이터의 크기와 픽셀 정보 데이터의 크기를 합산한 크기가 단위 프레임 크기 이하인 것으로 결정한 경우, 제어 회로(330)는, 단위 프레임 내에 하나의 이미지 프레임에 대한 압축 데이터 및 픽셀 정보 데이터를 동시에 전송할 수 있도록, 하나의 이미지 프레임에 대한 압축 데이터 내에서 데이터 라인의 지정된 간격 사이에 하나의 이미지 프레임에 대한 픽셀 정보 데이터의 적어도 일부를 결합(또는 삽입)시키고 결합된 데이터를 프로세서(350)로 전송하도록 인터페이스(340)를 제어할 수 있다. 일 실시예에서, 하나의 이미지 프레임에 대한 압축 데이터 내에서 데이터 라인의 지정된 간격 사이에 결합되는 픽셀 정보 데이터의 적어도 일부의 크기는, 하나의 이미지 프레임에 대한 픽셀 정보 데이터의 크기에, 하나의 이미지 프레임에 대한 압축 데이터의 전체 라인 수에 대한 지정된 데이터 라인 간격의 비율을 곱한 크기일 수 있다. 예를 들어, 하나의 프레임에 대한 압축 데이터가 20개의 데이터 라인으로 구성되고, 4개의 데이터 라인 마다 픽셀 정보 데이터의 적어도 일부를 결합하는 경우, 4개의 데이터 라인 마다, 예를 들어, 4번째 데이터 라인과 5번째 데이터 라인 사이, 8번째 데이터 라인과 9번째 데이터 라인 사이, 12번째 데이터 라인과 13번째 데이터 라인 사이, 16번째 데이터 라인과 17번째 데이터 라인 사이, 및 20번째 데이터 라인 뒤 각각에 하나의 이미지 프레임에 대한 픽셀 정보 데이터의 크기에 1/5(=4/20)을 곱한 크기를 가지는 픽셀 정보 데이터의 적어도 일부를 결합할 수 있다. 다만, 이에 제한되지 않는다. 예를 들어, 제어 회로(330)는, 인터페이스(340)의 단위 프레임 내에서, 하나의 프레임에 대한 압축 데이터의 전체 데이터 라인(예: 20개의 데이터 라인) 뒤에 하나의 이미지 프레임에 대한 픽셀 정보 데이터 전체를 결합한 데이터를 프로세서(350)로 전송하도록 인터페이스(340)를 제어할 수 있다.
이하에서, 하나의 이미지 프레임에 대한 압축 데이터의 지정된 데이터 라인 간격 마다 픽셀 정보 데이터의 적어도 일부를 결합하여 데이터를 전송하는 방식을 '라인 인터리빙(line interleaving) 방식'으로 지칭하기로 한다. 라인 인터리빙 방식의 경우, 하나의 이미지 프레임에 대한 압축 데이터 및 픽셀 정보 데이터를 전송하는 주기는, 픽셀 정보 데이터를 처리하는 주기와 동일할 수 있다. 예를 들어, 라인 인터리빙 방식에서, 픽셀 정보 데이터를 처리하는 속도가 30fps인 경우, 제어 회로(330)는 단위 프레임 내에서 하나의 이미지 프레임에 대한 압축 데이터 및 픽셀 정보 데이터가 결합된 데이터를 1/30초의 주기로 프로세서(350)로 전송할 수 있다.
일 실시예에서, 제어 회로(330)는, 압축 데이터의 크기와 픽셀 정보 데이터의 크기를 합산한 크기가 단위 프레임 크기 이하인 경우(예: 프레임 인터리빙 방식 및 라인 인터리빙 방식이 모두 가능한 경우)라도, 라인 인터리빙 방식이 아닌 프레임 인터리빙 방식으로 압축 데이터 및 픽셀 정보 데이터를 결합하여 프로세서(350)로 전송할 수 있다. 예를 들어, 프레임 인터리빙 방식이 데이터 전송의 안정성(예: 에러율, 또는 손실율 등) 등에서 유리할 수 있기 때문에, 제어 회로(330)는, 프레임 인터리빙 방식 및 라인 인터리빙 방식이 모두 가능한 경우, 프레임 인터리빙 방식을 이용하여 압축된 데이터 및 픽셀 정보 데이터가 결합된 데이터를 프로세서(350)로 전송할 수 있다.
일 실시예에서, 제어 회로(330)는 픽셀 정보 데이터의 속성을 더 고려하여, 픽셀 정보 데이터를 전송(또는 압축 데이터와 결합)하는 방식(예: 프레임 인터리빙 방식 또는 라인 인터리빙 방식)을 결정할 수 있다.
예를 들어, 제어 회로(330)는, 압축 데이터의 크기와 픽셀 정보 데이터의 크기를 합산한 크기가 단위 프레임 크기 이하인 경우, 프레임 인터리빙 방식 또는 라인 인터리빙 방식을 이용하여 압축 데이터 및 픽셀 정보 데이터를 결합하고 결합된 데이터를 프로세서(350)로 전송할 수 있다. 일 실시예에서, 프레임 인터리빙 방식 및 라인 인터리빙 방식이 모두 가능한 경우, 픽셀 정보 데이터의 속성, 예를 들어, 오토 포커스를 위한 데이터(또는 auto focus data)와 같이 빠른 처리(또는 낮은 지연(low latency))를 필요로 하는 픽셀 정보 데이터의 경우, 제어 회로(330)는 라인 인터리빙 방식으로 압축 데이터 및 오토 포커스를 위한 데이터를 결합하고 결합된 데이터를 프로세서(350)로 전송할 수 있다. 다른 예에서, 오토 화이트밸런스를 위한 데이터와 같이 빠른 처리를 필요로 하지 않는 픽셀 정보 데이터의 경우, 제어 회로(330)는 프레임 인터리빙 방식으로 압축 데이터 및 오토 포커스를 위한 데이터를 결합하고 결합된 데이터를 프로세서(350)로 전송할 수 있다.
일 실시예에서, 픽셀 정보 데이터의 속성은, 픽셀 정보 데이터의 종류(예: 오토 포커스를 위한 데이터, 또는 오토 화이트 밸런스를 위한 데이터) 외에, 프로세서(350)가 픽셀 정보 데이터를 처리하는데 소요되는 시간 등을 포함할 수 있다. 예를 들어, 프레임 인터리빙 방식 및 라인 인터리빙 방식이 모두 가능한 경우, 제어 회로(330)는 프로세서(350)에서의 처리 시간이 많이 소요되는 픽셀 정보 데이터는 라인 인터리빙 방식에 의해 압축 데이터 및 픽셀 정보 데이터를 결합하고, 결합된 데이터를 프로세서(350)로 전송할 수 있다. 일 실시예에서, 프로세서(350)에서 하나의 이미지 프레임에 대한 픽셀 정보 데이터가 수신되는 시간은, 하나의 이미지 프레임에 대한 압축 데이터 및 픽셀 정보 데이터를 동시에 전송하는 라인 인터리빙 방식에 비하여, 다수의 이미지 프레임에 대한 압축 데이터와 하나의 이미지 프레임에 대한 픽셀 정보 데이터가 분할된 픽셀 정보 데이터를 결합하여 전송하는 프레임 인터리빙 방식이 길 수 있다. 예를 들어, 라인 인터리빙 방식에 의한 경우 첫 번째 이미지 프레임과 첫 번째 이미지 프레임에 대한 픽셀 정보 데이터는 프로세서(350)에서 동시에 수신될 수 있다. 원시 이미지 데이터 획득 속도가 960fps이고 픽셀 정보 데이터의 처리 속도가 30fps이고, 프레임 인터리빙 방식을 이용하는 경우, 프로세서(350)는, 예를 들어, 32개의 이미지 프레임에 대한 원시 이미지 데이터를 수신하는 동안 첫 번째(또는 하나의) 이미지 프레임에 대한 픽셀 정보 데이터를 수신할 수 있다.
일 실시예에서, 제어 회로(330) 또는 프로세서(350)는, 픽셀 정보 데이터를 프로세서(350)로 전송하는 지정된 주기를 변경할 수 있다. 예를 들어, 제어 회로(330)는 프레임 인터리빙 방식으로 데이터를 전송할 것을 결정하는 경우, 원시 이미지 데이터 획득 속도(또는 원시 이미지 데이터의 지정된 전송 속도) 및 지정된 픽셀 정보 데이터 처리 속도에 기반하여 분할된 픽셀 정보 데이터의 크기를 결정할 수 있다. 제어 회로(330)는 분할된 픽셀 정보 데이터와 결합될 하나의 이미지 프레임에 대한 압축 데이터의 크기와 분할된 픽셀 정보 데이터를 합산한 데이터 크기가 단위 프레임 크기를 초과하는 경우, 픽셀 정보 데이터를 프로세서(350)로 전송하는 주기를 크게(또는 길게) 함으로써 프레임 인터리빙 방식으로 압축된 데이터와 픽셀 정보 데이터를 결합시킬 수 있다. 예를 들어, 제어 회로(330)는, 원시 이미지 데이터 획득 속도가 960fps이고, 픽셀 정보 데이터의 전송 속도가 30fps인 경우, 픽셀 정보 데이터 크기의 1/32에 해당하는 분할 픽셀 정보 데이터의 크기를 가지는 분할 픽셀 정보 데이터를 압축 데이터와 결합할 것을 결정할 수 있다. 단위 프레임 크기가 압축된 데이터의 크기 및 분할된 픽셀 정보 데이터의 크기 보다 작은 경우, 제어 회로(330)는, 예를 들어, 픽셀 정보 데이터의 전송 속도를 15fps로 변경할 수 있다. 제어 회로(330)가 픽셀 정보 데이터 크기의 1/64에 해당하는 분할 픽셀 정보 데이터의 크기를 가지는 분할 픽셀 정보 데이터와 압축 데이터의 크기를 합산한 크기가 단위 프레임 크기 이하인 것으로 결정하면, 제어 회로(330)는 프레임 인터리빙 방식을 이용하여 픽셀 정보 데이터 크기의 1/64에 해당하는 분할 픽셀 정보 데이터의 크기를 가지는 분할 픽셀 정보 데이터를 압축 데이터와 결합하고 결합된 데이터를 프로세서(350)로 전송할 수 있다. 전술한 예에서, 픽셀 정보 데이터를 전송하는 속도를 15fps로 변경하는 것을 예시하고 있지만, 이에 제한되지 않는다. 예를 들어, 제어 회로(330)는 분할 픽셀 정보 데이터의 크기와 압축 데이터의 크기를 합산한 크기가 단위 프레임 크기 이하가 되도록 하는 전송 속도(또는 주기)로, 픽셀 정보 데이터의 속도(또는 주기)를 변경할 수 있다.
일 실시예에서, 제어 회로(330)는 분할된 픽셀 정보 데이터와 결합될 하나의 이미지 프레임에 대한 압축 데이터의 크기와 분할된 픽셀 정보 데이터를 합산한 데이터 크기가 단위 프레임 크기 미만인 경우에는, 픽셀 정보 데이터를 프로세서(350)로 전송하는 지정된 주기를 변경하지 않고 유지할 수 있다. 다만, 이에 제한되지 않는다.
일 실시예에서, 인터페이스(340)는 이미지 센서 모듈(310)에서 생성된 압축 데이터 및 픽셀 정보 데이터를 프로세서(350)로 전송할 수 있다. 일 실시예에서, 인터페이스(340)는 MIPI(mobile industry processor interface)일 수 있다. 다만, 이에 제한되지 않으며, 전자 장치 내의 구성 요소 간(또는 칩들(chips) 간) 데이터를 전송할 수 있는 데이터 전송 규격은 모두 적용될 수 있다.
일 실시예에서, 프로세서(350)는 이미지 센서 모듈(310)로부터 인터페이스(340)를 통하여 전송된 압축 데이터 및 픽셀 정보 데이터를 처리할 수 있다. 예를 들어, 프로세서(350)는 획득한 압축 데이터 및 픽셀 정보 데이터를 저장하고, 압축 데이터 또는 선택적으로 픽셀 정보 데이터의 압축을 해제할 수 있다. 프로세서(350)는 원시 이미지 데이터를 처리하기 위하여 압축 해제된 압축 데이터를 이미지 시그널 프로세서(예: 이미지 시그널 프로세서(260))로 전달하고, 픽셀 정보 데이터를 처리하기 위하여 픽셀 정보 처리부(미도시)로 픽셀 정보 데이터를 전달할 수 있다.
일 실시예에서, 프로세서(350)는, 데이터 전송 방식(예: 프레임 인터리빙 방식 또는 라인 인터리빙 방식)을 결정하거나, 데이터 전송 방식이 결정된 경우, 픽셀 정보 데이터를 분할하는 비율 등을 결정하는 동작을 수행할 수도 있다.
도시하지는 않았지만, 프로세서(350)는 처리된 픽셀 정보 데이터(예: 초점 거리 데이터)에 적어도 일부 기반하여, 외부 객체에 대한 촬영을 제어(예: 렌즈를 이동시킴에 의해 초점 조정)할 수 있다.
도 4는 본 발명의 다양한 실시예에 따라 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터를 전송하기 위한 장치(400)에 대한 세부적인 도면이다.
도 4를 도 3과 비교하면, 도 4의 ADC(431)(analog digital converter), 픽셀 정보 데이터 생성부(432), 메모리(433), 압축부(434), 결합부(435), 및 컨트롤러(436)는 도 3의 제어 회로(330) 또는 이미지 센서 모듈(310)(예: 이미지 센서 모듈(221))에 포함될 수 있다. 다만, 메모리(433)(예: 메모리(250)) 는 제어 회로(330)와 독립된 구성으로서, 이미지 센서 모듈(410)에 포함되거나, 또는 도 1의 메모리(130)에 포함될 수 있다. 메모리(452)는 프로세서(450)(예: 프로세서(120), 이미지 시그널 프로세서(260), ISP(223), 프로세서(350))에 포함되거나 프로세서(450)와 독립된 구성으로서 도 1의 메모리(130)에 포함될 수 있다. 이하에서, 도 3의 장치에 대한 설명과 중복되는 설명은 생략하기로 한다.
일 실시예에서, 이미지 센서(420)(예: 이미지 센서(320), 이미지 센서(230))는, 하나의 픽셀에 2개의 포토 다이오드가 배치된 듀얼 픽셀(dual pixel) 이미지 센서일 수 있다.
도 5의 (a)는 본 발명의 일 실시예에 따른 이미지 센서(420)를 도시한 도면이다. 예를 들어, 도 5의 (a)는, 듀얼 픽셀 이미지 센서를 도시한 도면에 해당될 수 있다. 도 5의 (a)를 참조하면, 픽셀들(501 내지 504) 각각은 2개의 포토 다이오드를 포함할 수 있다. 이미지 센서(420)는, 픽셀들(501 내지 504) 각각에서 좌측에 배치된 포트 다이오드로 구성되는 포토 다이오드들(511-1, 511-3)과 우측에 배치된 포트 다이오드로 구성되는 포토 다이오드들(511-2, 511-4)을 포함할 수 있다. 일 실시예에서, 이미지 센서(420)는 좌측 포토 다이오드들(511-1, 511-3)에서 생성되는 아날로그 전기 신호와 우측 포토 다이오드들(511-2, 511-4)에서 생성되는 아날로그 전기 신호가 결합된 신호와, 좌측 포토 다이오드들(511-1, 511-3)에서 생성되는 아날로그 전기 신호를 ADC(431)로 전달할 수 있다.
다양한 실시예들에서, 이미지 센서(420)가 듀얼 이미지 센서로 구현되는 경우뿐만 아니라, 이미지 센서(420)가 하나의 픽셀에 하나의 포토 다이오드가 배치되는 형태의 이미지센서로 구현되는 경우에도, 본 발명의 기술적 사상이 동일하게 적용될 수 있음을 통상의 기술자에게 자명하다.
일 실시예에서, ADC(431)는 좌측 포토 다이오드들(511-1, 511-3)에서 생성되는 아날로그 전기 신호와 우측 포토 다이오드들(511-2, 511-4)에서 생성되는 아날로그 전기 신호가 결합된 신호를 디지털 전기 신호(또는 원시 이미지 데이터)로 변환할 수 있다. 일 실시예에서, ADC(431)는 좌측 포토 다이오드들(511-1, 511-3)에서 생성되는 아날로그 전기 신호를 디지털 전기 신호(또는 좌측 이미지 데이터)로 변환할 수 있다. 다만, 이미지 센서(420)가 좌측 포토 다이오드들(511-1, 511-3)에서 생성되는 아날로그 전기 신호를 생성하고, ADC(431)가 좌측 이미지 데이터를 생성하는 것으로 설명하고 있지만, 이에 제한되지 않는다. 예를 들어, 이미지 센서(420)가 좌측 포토 다이오드들(511-1, 511-3)에서 생성되는 아날로그 전기 신호를 생성하는 대신 우측 포토 다이오드들(511-2, 511-4)에서 생성되는 아날로그 전기 신호를 생성하고, ADC(431)가 좌측 이미지 데이터 대신 우측 이미지 데이터를 생성할 수도 있다.
일 실시예에서, 픽셀 정보 데이터 생성부(432)는 ADC(431)로부터 수신된 원시 이미지 데이터 및 좌측 이미지 데이터에 적어도 일부 기반하여, 픽셀 정보 데이터를 생성할 수 있다.
도 5의 (b)는 본 발명의 일 실시예에 따른 픽셀 정보 데이터 생성부(532-1)를 도시한 도면이다. 예를 들어, 도 5의 (b)의 픽셀 정보 데이터 생성부(532-1)는 위상 오토 포커스를 위한 데이터(또는 위상 오토 포커스 동작을 위하여 필요한 데이터)를 생성하기 위한 구성에 해당될 수 있다.
도 5의 (b)를 참조하면, 픽셀 정보 데이터 생성부(532-1)는 ADC(431)로부터 원시 이미지 데이터(Bayer (L+R))와, 좌측 이미지 데이터(Bayer (L))를 수신할 수 있다. 일 실시예에서, 픽셀 정보 데이터 생성부(532-1)는, 좌측 이미지 데이터에 적어도 일부 기반하여, 좌측 오토 포커스를 위한 데이터(Y data (L))를 생성할 수 있다. 예를 들어, 픽셀 정보 데이터 생성부(532-1)에 포함된 Y Calculation Logic은, 4개의 좌측 포토 다이오드들(501-1, 502-1, 503-1, 504-1)에 대응하는 이미지 데이터 값(또는 색상 값)을 평균(=(R의 색상 값 + Gr의 색상 값 + B의 색상 값 + Gb의 색상 값)/4)함으로써, 좌측 오토 포커스를 위한 데이터(Y data (L))를 생성할 수 있다.
일 실시예에서, 픽셀 정보 데이터 생성부(532-1)는, 원시 이미지 데이터로부터 좌측 이미지 데이터를 감산함으로써, 우측 이미지 데이터를 생성할 수 있다. 픽셀 정보 데이터는 우측 이미지 데이터에 적어도 일부 기반하여, 우측 오토 포커스를 위한 데이터(Y data (R))를 생성할 수 있다. 예를 들어, 픽셀 정보 데이터 생성부(532-1)에 포함된 Y Calculation Logic은, 4개의 우측 포토 다이오드들(501-2, 502-2, 503-2, 504-2)에 대응하는 이미지 데이터 값(또는 색상 값)을 평균함으로써, 우측 오토 포커스를 위한 데이터(Y data (R))를 생성할 수 있다.
다만, 전술한 예들에서, 위상 오토 포커스를 위한 데이터가, 4개의 포토 다이오드들에 대응하는 이미지 데이터 값들을 평균함으로써 생성하는 것으로 예시하고 있지만, 이에 제한되지 않는다. 예를 들어, 픽셀 정보 데이터 생성부(532-1)는, 4의 배수, 예를 들어, 8개, 12개, 16개 등의 포토 다이오드들에 대응하는 이미지 데이터 값들을 평균함으로써, 위상 오토 포커스를 위한 데이터를 생성할 수 있다. 일 실시예에서, 도 5의 (b)에서 2개의 Y Calculation Logic이 독립된 구성인 것으로 예시하고 있지만, 하나의 구성으로 구현(또는 통합)될 수 있다.
도 5의 (c)는 본 발명의 다른 실시예에 따른 픽셀 정보 데이터 생성부(532-2)를 도시한 도면이다. 예를 들어, 도 5의 (c)의 픽셀 정보 데이터 생성부(532-2)는, 오토 화이트밸런스를 위한 데이터를(또는 오토 화이트밸런스 동작을 위하여 필요한 데이터)를 생성하기 위한 구성에 해당될 수 있다.
도 5의 (c)를 참조하면, 픽셀 정보 데이터 생성부(532-2)는, 좌측 이미지 데이터(535)(또는 우측 이미지 데이터, 또는 원시 이미지 데이터)에 적어도 일부 기반하여, 비닝(binning)된(또는 데이터 크기가 축소된) 오토 화이트밸런스를 위한 데이터를 생성할 수 있다. 예를 들어, 픽셀 정보 데이터 생성부(532-2)는, 2*2 비닝, 예를 들어, 좌측 이미지 데이터 중에서 같은 색상에 해당하는 4개의 데이터 값(또는 색상 값)(예: R1, R2, R3, R4)를 하나의 데이터 값(예: R1 + R2 + R3 + R4)으로 합산하는 동작(또는 연산)을 이용하여, 데이터 크기가 축소된 오토 화이트밸런스를 위한 데이터를 생성할 수 있다. 도 5의 (c)의 예시에서, 4개의 데이터 값을 하나의 데이터 값으로 합산하는 것으로 예시하고 있지만, 이에 제한되지 않는다. 예를 들어, 픽셀 정보 데이터 생성부(532-2)는 동일한 색상을 가지는 2개 이상의 데이터를 하나의 데이터 값으로 합산함으로써, 오토 화이트밸런스를 위한 데이터 값을 생성할 수 있다.
일 실시예에서, 픽셀 정보 데이터는, 외부 객체의 모션(motion)을 위한 데이터(예: 모션 검출을 위한 데이터 또는 모션 예측을 위한 데이터), 또는 DIS(digital image stabilization)를 위한 데이터를 생성할 수 있다. 외부 객체의 모션을 위한 데이터 또는 DIS를 위한 데이터를 생성하는 방법은 도 5의 (b) 또는 도 5의 (c)와 동일하거나 유사한 방식이 적용될 수 있으므로, 상세한 설명은 생략하기로 한다.
도 4로 리턴하면, 일 실시예에서, 픽셀 정보 데이터 생성부(432)는, 생성된 픽셀 정보 데이터를 메모리(433)로 전달할 수 있다. 다른 실시예에서, 픽셀 정보 데이터 생성부(432)는 생성된 픽셀 정보 데이터를 메모리(433) 전달함 없이, 결합부(435)로 전달할 수 있다.
일 실시예에서, 메모리(433)는 원시 이미지 데이터와, 픽셀 정보 데이터를 저장할 수 있다. 일 실시예에서, 메모리(433)는 컨트롤러(436)의 제어 하에, 저장된 원시 이미지 데이터 또는 픽셀 정보 데이터를 압축부(434) 또는 결합부(435)로 전달할 수 있다.
일 실시예에서, 압축부(434)(compressor)는 원시 이미지 데이터를 압축할 수 있다. 일 실시예에서, 압축부(434)는 픽셀 정보 데이터를 압축하거나 압축하지 않을 수 있다. 일 실시예에서, 도 4에서 하나의 압축부(434)를 이용하여 원시 이미지 데이터를 압축하거나, 선택적으로 픽셀 정보 데이터를 압축하는 것으로 도시하고 있으나, 이에 제한되지 않는다. 예를 들어, 장치(400)는, 원시 이미지 데이터를 압축하기 위한 압축부(434)와 별도로, 픽셀 정보 데이터만을 압축하기 위한 압축부를 포함할 수도 있다.
일 실시예에서, 결합부(435)는 컨트롤러(436)의 제어 하에, 압축 데이터와 픽셀 정보 데이터를 결합(또는 조합)할 수 있다. 예를 들어, 결합부(435)는 컨트롤러(436)의 제어 하에, 프레임 인터리빙 방식 또는 라인 인터리빙 방식으로 압축 데이터와 픽셀 정보 데이터를 결합(또는 조합)할 수 있다.
이하, 도 6 내지 도 10을 참조하여, 프레임 인터리빙 방식 또는 라인 인터리빙 방식으로 압축 데이터와 픽셀 정보 데이터를 결합하고 전송하는 방법에 대하여 상세히 설명하도록 한다.
도 6은 본 발명의 일 실시예에 따른 프레임 인터리빙 방식으로 데이터를 전송하기 위한 방법을 설명하기 위한 도면이다. 예를 들어, 도 6은, 원시 이미지 데이터 획득 속도가 960fps이고, 픽셀 정보 데이터 처리 속도가 30fps인 경우, 프레임 인터리빙 방식으로 데이터를 전송하기 위한 방법을 설명하기 위한 도면이다. 일 실시예에서, 원시 이미지 데이터를 획득하는 속도는 카메라 모듈(180)(또는 이미지 센서 모듈(410))의 사양(또는 스펙(specification)), 또는 외부 객체를 촬영하는 모드(예: 슬로 모션 모드(slow motion mode)) 중 적어도 하나에 따라 결정(또는 조정)될 수 있다. 일 실시예에서, 픽셀 정보 데이터를 처리하기 위한 속도는 카메라 모듈(180)(또는 이미지 센서 모듈(410)), 프로세서(450)의 사양(또는 스펙(specification)), 또는 외부 객체를 촬영하는 모드(예: 야간 촬영 모드) 중 적어도 하나에 따라 결정(또는 조정)될 수 있다. 예를 들어, 야간 촬영 모드에서, 일반 모드에 비하여 보다 밝은 이미지를 생성하기 위하여 많은 광을 수집할 필요가 있으며, 많은 광을 수집하기 위하여 픽셀 정보 데이터를 처리하기 위한 속도를 높일 수 있다(예: 위상 오토 포커스 기능을 처리하기 위한 속도를 30fps로부터 60fps로 조정). 다만, 이에 제한되지 않는다.
도 6을 참조하면, 단위 프레임 주기는 이미지 데이터 획득 주기와 동일한 1/960초일 수 있다. 일 실시예에서, 결합부(435)는, 하나의 이미지 프레임(또는 하나의 이미지 프레임에 대한 압축 데이터)에 대한 픽셀 정보 데이터를 32(=960/30)개로 분할하고(또는, 메모리(433)로부터 32개로 분할된 분할 데이터를 호출하고), 단위 프레임(610) 마다 분할된 픽셀 정보 데이터(또는 하나의 이미지 프레임에 대한 전체 픽셀 정보 데이터의 1/32의 크기를 가지는 분할 데이터)와 압축 데이터를 결합할 수 있다. 일 실시예에서, 도 6에서, 32개의 이미지 프레임에 대한 압축 데이터가 인터페이스를 통하여 전송되는 동안, 하나의 이미지 프레임에 대한 픽셀 정보 데이터가 전송될 수 있다. 예를 들어, 이미지 프레임 1(611) 내지 이미지 프레임 32(613)에 대한 압축 데이터가 전송되는 동안, 시간 t1에서 이미지 프레임 1(611)에 대한 픽셀 정보 데이터가 인터페이스(340)를 통하여 전송될 수 있다. 다른 예에서, 이미지 프레임 33(614) 내지 이미지 프레임 32(615)에 대한 압축 데이터가 전송되는 동안, 시간 t2에서 이미지 프레임 33(614)에 대한 픽셀 정보 데이터가 인터페이스를 통하여 전송될 수 있다. 일 실시예에서, 하나의 프레임에 대한 픽셀 정보 데이터를 전송하는 주기는 픽셀 정보 데이터를 처리하기 위한 주기(예: 1/30초)와 동일할 수 있으며, 단위 프레임(610) 내에서 분할된 픽셀 정보 데이터를 전송하는 주기는 원시 이미지 데이터를 획득하는 주기(예: 1/960초)와 동일할 수 있다.
도 7은 본 발명의 다른 실시예에 따른 프레임 인터리빙 방식으로 데이터를 전송하기 위한 방법을 설명하기 위한 도면이다. 예를 들어, 도 7은, 원시 이미지 데이터 획득 속도가 480fps이고, 픽셀 정보 데이터 처리 속도가 30fps인 경우, 프레임 인터리빙 방식으로 데이터를 전송하기 위한 방법을 설명하기 위한 도면이다.
도 7을 참조하면, 단위 프레임 주기는 이미지 데이터 획득 주기와 동일한 1/480초일 수 있다. 일 실시예에서, 결합부(435)는, 하나의 이미지 프레임에 대한 픽셀 정보 데이터를 16(=480/30)개로 분할하고(또는, 메모리(433)로부터 16개로 분할된 분할 데이터를 호출하고), 단위 프레임(710) 마다 분할된 픽셀 정보 데이터(또는 하나의 이미지 프레임에 대한 전체 픽셀 정보 데이터의 1/16의 크기를 가지는 분할 데이터)와 압축 데이터를 결합할 수 있다. 일 실시예에서, 도 7에서, 16개의 이미지 프레임에 대한 압축 데이터가 인터페이스(340)를 통하여 전송되는 동안, 하나의 이미지 프레임에 대한 픽셀 정보 데이터가 전송될 수 있다. 예를 들어, 이미지 프레임 1(711) 내지 이미지 프레임 16(713)에 대한 압축 데이터가 전송되는 동안, 시간 t3에서 이미지 프레임 1(711)에 대한 픽셀 정보 데이터가 인터페이스를 통하여 전송될 수 있다. 일 실시예에서, 하나의 프레임에 대한 픽셀 정보 데이터를 전송하는 주기는 픽셀 정보 데이터를 처리하기 위한 주기(예: 1/30초)와 동일할 수 있으며, 하나의 프레임에 대하여 분할된 픽셀 정보 데이터를 전송하는 주기는 원시 이미지 데이터를 획득하는 주기(예: 1/480초)와 동일할 수 있다.
도 8은 본 발명의 또 다른 실시예에 따른 프레임 인터리빙 방식으로 데이터를 전송하기 위한 방법을 설명하기 위한 도면이다. 예를 들어, 도 8은, 원시 이미지 데이터 획득 속도가 960fps이고, 픽셀 정보 데이터 처리 속도가 60fps인 경우, 프레임 인터리빙 방식으로 데이터를 전송하기 위한 방법을 설명하기 위한 도면이다.
도 8을 참조하면, 단위 프레임 주기는 이미지 데이터 획득 주기와 동일한 1/960초일 수 있다. 일 실시예에서, 결합부(435)는, 하나의 이미지 프레임에 대한 픽셀 정보 데이터를 16(=960/60)개로 분할하고(또는, 메모리(433)로부터 16개로 분할된 분할 데이터를 호출하고), 단위 프레임(810) 마다 분할된 픽셀 정보 데이터(812)(또는 하나의 이미지 프레임에 대한 전체 픽셀 정보 데이터의 1/16의 크기를 가지는 분할 데이터)와 압축 데이터(811)를 결합할 수 있다. 일 실시예에서, 도 8에서, 16개의 이미지 프레임에 대한 압축 데이터가 인터페이스(340)를 통하여 전송되는 동안, 하나의 이미지 프레임에 대한 픽셀 정보 데이터가 전송될 수 있다. 예를 들어, 이미지 프레임 1(811) 내지 이미지 프레임 16(713)에 대한 압축 데이터가 전송되는 동안, 시간 t4에서 이미지 프레임 1(811)에 대한 픽셀 정보 데이터가 인터페이스를 통하여 전송될 수 있다. 일 실시예에서, 하나의 프레임에 대한 픽셀 정보 데이터를 전송하는 주기는 픽셀 정보 데이터를 처리하기 위한 주기(예: 1/60초)와 동일할 수 있으며, 하나의 프레임에 대하여 분할된 픽셀 정보 데이터를 전송하는 주기는 원시 이미지 데이터를 획득하는 주기(예: 1/960초)와 동일할 수 있다.
도 9는 본 발명의 또 다른 실시예에 따른 프레임 인터리빙 방식으로 데이터를 전송하기 위한 방법을 설명하기 위한 도면이다. 예를 들어, 도 9는, 픽셀 정보 데이터의 종류가 복수인 경우(예: 제 1 픽셀 정보 데이터(예: 위상 오토 포커스를 위한 데이터) 및 제 2 픽셀 정보 데이터(예: 오토 화이트밸런스를 위한 데이터)), 원시 이미지 데이터 획득 속도가 960fps이고, 제 1 픽셀 정보 데이터를 처리하기 위한 속도가 30fps이고, 제 2 픽셀 정보 데이터를 처리하기 위한 속도가 10fps인 경우 프레임 인터리빙 방식으로 데이터를 전송하기 위한 방법을 설명하기 위한 도면이다.
도 9를 참조하면, 단위 프레임 주기는 이미지 데이터 획득 주기와 동일한 1/960초일 수 있다. 일 실시예에서, 결합부(435)는, 하나의 이미지 프레임에 대한 제 1 픽셀 정보 데이터를 32(=960/30)개로 분할하고, 하나의 이미지 프레임에 대한 제 2 픽셀 정보 데이터를 96(=960/10)개로 분할할 수 있다. 결합부(435)는, 단위 프레임 마다(910) 마다, 분할된 제 1 픽셀 정보 데이터 (912) 및 분할된 제 2 픽셀 정보 데이터(913)를 하나의 이미지 프레임에 대한 압축 데이터(911)를 결합할 수 있다. 일 실시예에서, 도 9에서, 32개의 이미지 프레임에 대한 압축 데이터가 인터페이스(340)를 통하여 전송되는 동안, 하나의 이미지 프레임에 대한 제 1 픽셀 정보 데이터가 전송될 수 있다. 예를 들어, 이미지 프레임 1(911) 내지 이미지 프레임 32(914)에 대한 압축 데이터가 전송되는 동안, 시간 t5에서 이미지 프레임 1(911)에 대한 제 1 픽셀 정보 데이터가 인터페이스(340)를 통하여 전송될 수 있다. 다른 실시예에서, 도 9에서, 96개의 이미지 프레임에 대한 압축 데이터가 인터페이스를 통하여 전송되는 동안, 하나의 이미지 프레임에 대한 제 2 픽셀 정보 데이터가 전송될 수 있다. 예를 들어, 이미지 프레임 1(911) 내지 이미지 프레임 96(915)에 대한 압축 데이터가 전송되는 동안, 시간 t6에서 이미지 프레임 1(911)에 대한 제 2 픽셀 정보 데이터가 인터페이스(340)를 통하여 전송될 수 있다.
도 9에서 픽셀 정보 데이터의 종류가 2개인 것으로 예시하고 있지만, 이에 제한되지 않는다. 예를 들어, 하나의 이미지 프레임에 대한 압축 데이터의 크기와, 복수의 종류의 픽셀 정보 데이터의 분할된 크기가 단위 프레임의 크기 이하가 되는 범위에서, 도 9에 도시된 바와 같은 방식으로, 복수의 종류의 픽셀 정보 데이터를 압축 데이터와 함께 전송할 수 있다.
도 10은 본 발명의 일 실시예에 따른 라인 인터리빙 방식으로 데이터를 전송하기 위한 방법을 설명하기 위한 도면이다. 예를 들어, 도 10은 원시 이미지를 획득하는 속도가 120fps이고, 픽셀 정보 데이터를 처리하기 위한 속도가 30fps인 경우를 예시하고 있다.
도 10을 참조하면, 결합부(435)는 단위 프레임(1010) 내에 하나의 이미지 프레임과 하나의 이미지 프레임에 대한 픽셀 정보 데이터를 결합할 수 있다. 예를 들어, 결합부(435)는, 단위 프레임 5(1014) 내에서 데이터 라인의 지정된 간격 사이에 픽셀 정보 데이터의 일부를 결합할 수 있다. 일 실시예에서, 데이터 라인의 지정된 간격은 픽셀 정보 데이터 생성부(432)에서 픽셀 정보 데이터를 생성하는 방법(예: 픽셀 정보 데이터를 구성하는 하나의 데이터를 생성하기 위하여 합산(또는 평균)되는 포토 다이오드들에 대응하는 이미지 데이터의 개수)에 따라 결정될 수 있다. 예를 들어, 도 5의 (b)에 도시된 바와 같이, 4개의 포토 다이오드들에 대응하는 이미지 데이터를 평균함으로써, 픽셀 정보 데이터를 구성하는 하나의 데이터를 생성하는 경우, 데이터 라인의 지정된 간격은 4개의 데이터 라인일 수 있다. 일 실시예에서, 지정된 데이터 라인 마다 결합되는 분할된 픽셀 정보 데이터의 크기는, 하나의 이미지 프레임에 대한 픽셀 정보 데이터의 크기를 압축 데이터의 전체 데이터 라인의 개수에 대한 데이터 라인의 지정된 간격의 비율을 곱한 크기일 수 있다. 예를 들어, 도 10에 도시된 바와 같이, 지정된 데이터 라인 간격이 4개의 데이터 라인(1014-1 내지 1014-4)이고, 단위 프레임에 포함된 압축 데이터의 데이터 라인이 총 20개인 경우, 지정된 데이터 라인 마다 결합되는 분할된 픽셀 정보 데이터(1014-4)의 크기는, 하나의 이미지 프레임에 대한 픽셀 정보 데이터의 크기에 1/5를 곱한 크기일 수 있다.
일 실시예에서, 결합부(435)는, 단위 프레임 내에서, 하나의 프레임에 대한 압축 데이터의 전체 데이터 라인(예: 20개의 데이터 라인) 뒤에 하나의 이미지 프레임에 대한 픽셀 정보 데이터를 결합할 수도 있다. 예를 들어, 단위 프레임 5(1014) 내에서, 하나의 이미지 프레임에 대한 압축 데이터 라인들 뒤에 분할되지 않은 하나의 이미지 프레임에 대한 픽셀 정보 데이터를 결합할 수 있다.
일 실시예에서, 단위 프레임 내에서 압축 데이터와 픽셀 정보 데이터가 결합한 단위 프레임(예: 단위 프레임 1(1010), 단위 프레임 5(1014)) 외의 단위 프레임(예: 단위 프레임 2(1011), 단위 프레임 3(1012), 단위 프레임 4(1014) 등)은, 픽셀 정보 데이터를 결합함 없이 하나의 이미지 프레임에 대한 압축 데이터만을 포함할 수 있다.
일 실시예에서, 도 10와 같이 라인 인터리빙 방식으로 압축 데이터와 픽셀 정보 데이터를 결합하는 경우, 픽셀 정보 데이터를 전송하는 주기는 픽셀 정보 데이터를 처리하기 위한 주기와 동일할 수 있다. 예를 들어, 픽셀 정보 데이터를 처리하기 위한 주기가 1/30초인 경우, 1/30초 마다 압축 데이터와 픽셀 정보 데이터를 결합한 단위 프레임이 프로세서(450)로 전송될 수 있다. 예를 들어, 시간 t7에서 압축 데이터와 픽셀 정보 데이터를 결합한 단위 프레임 1이 전송되고, 1/30초 후의 시간으로서 t8에서 압축 데이터와 픽셀 정보 데이터를 결합한 단위 프레임 5가 전송될 수 있다.
도 4로 리턴하면, 일 실시예에서, 이미지 센서 모듈(410)은 픽셀 정보 데이터가 압축된 압축 픽셀 정보 데이터를 전송할지 또는 압축되지 않은 픽셀 정보 데이터를 프로세서(450)로 전송할지를 결정할 수 있다.
일 실시예에서, 이미지 센서 모듈(410)은 픽셀 정보 데이터의 크기가 지정된 임계 값(이하, '제 1 임계 값'으로 지칭함) 미만인 경우, 픽셀 정보 데이터를 압축함 없이, 픽셀 정보 데이터를 압축 데이터와 결합 후 전송할 것을 결정할 수 있다. 일 실시예에서, 픽셀 정보 데이터의 크기가 크기가 제 1 임계 값 미만인 경우 픽셀 정보 데이터를 압축함 없이 픽셀 정보 데이터를 압축 데이터와 결합 후 전송하는 방식이 데이터 전송에 소모되는 전력 면에서 유리할 수 있다.
일 실시예에서, 이미지 센서 모듈(410)은, 픽셀 정보 데이터의 크기가 제 1 임계 값 이상인 경우 픽셀 정보 데이터를 압축할 수 있다. 이미지 센서 모듈(410)은 압축된 픽셀 정보 데이터의 크기와 압축되지 않은 픽셀 정보 데이터의 크기를 확인할 수 있다. 일 실시예에서, 이미지 센서 모듈(410)은, 픽셀 정보 데이터의 압축 비율이 지정된 임계 값(이하, '제 2 임계 값'으로 지칭함) 이상인 경우, 압축된 픽셀 정보 데이터를 압축 데이터와 결합한 후, 결합된 데이터를 프로세서(450)로 전송할 것을 결정할 수 있다. 다른 실시예에서, 이미지 센서 모듈(410)은, 픽셀 정보 데이터의 압축 비율이 제 2 임계 값 미만인 경우, 압축되지 않은 픽셀 정보 데이터를 압축 데이터와 결합한 후, 결합된 데이터를 프로세서(450)로 전송할 것을 결정할 수 있다.
도 11은 본 발명의 일 실시예에 따른 픽셀 정보 데이터의 압축과 관련된 설명을 위한 도면이다. 예를 들어, 도 11은 픽셀 정보 데이터의 압축 비율에 따라 압축된 픽셀 정보 데이터 또는 압축되지 않은 픽셀 정보 데이터를 프로세서(450)로 전송하기 위한 데이터로 결정하는 원리를 설명하기 위한 도면이다.
도 11을 참조하면, 데이터의 압축 비율이 지정된 임계 값 보다 큰 경우, 데이터를 압축한 후 압축된 데이터를 전송하는 것이 데이터 전송에 소모되는 전력을 줄일 수 있다.
예를 들어, 도 11에서, 압축 후 데이터의 크기가 압축 전 데이터의 크기의 35% 이하 압축된 경우(또는 데이터의 압축률이 65%이상인 경우), 압축된 데이터를 전송하는 것이 전력 면에서 유리할 수 있다. 압축 후 데이터의 크기가 압축 전 데이터의 크기의 35% 이상으로 압축된 경우(또는 데이터의 압축률이 65% 이하인 경우), 압축되지 않은 데이터를 전송하는 것이 전력 면에서 유리할 수 있다. 일 실시예에서, 이미지 센서 모듈(410)은, 픽셀 정보 데이터의 압축률이 65% 이상인 경우 압축된 픽셀 정보 데이터를 프로세서(450)로 전송하고, 픽셀 정보 데이터의 압축률이 65% 미만인 경우 압축되지 않은 픽셀 정보 데이터를 프로세서(450)로 전송할 수 있다. 다만, 이에 제한되지 않는다.
일 실시예에서, 이미지 센서 모듈(410)은, 픽셀 정보 데이터의 크기가 제 1 임계 값 이상인 경우, 픽셀 정보 데이터의 전송 주기 마다 픽셀 정보 데이터의 압축률을 결정하고, 결정된 압축률에 따라 압축된 픽셀 정보 데이터 또는 압축되지 않은 픽셀 정보 데이터를 프로세서(450)로 전송할지를 결정할 수 있다.
다른 실시예에서, 이미지 센서 모듈(410)은, 픽셀 정보 데이터의 크기가 제 1 임계 값 이상인 경우, 이전 주기에 전송된 픽셀 정보 데이터의 압축에 대한 정보에 따라, 현재 주기에 해당하는 픽셀 정보 데이터의 압축률을 결정함 없이(또는 픽셀 정보 데이터의 압축률을 제 2 임계 값과 비교함 없이), 현재 주기에 해당하는 픽셀 정보 데이터를 압축하거나 압축하지 않은 상태로 프로세서(450)로 전송할 수 있다. 예를 들어, 이전 주기에 전송된 픽셀 정보 데이터가 압축된 상태로 프로세서(450)로 전송된 경우, 이미지 센서 모듈(410)은, 현재 주기에 해당하는 픽셀 정보 데이터를 압축한 후 프로세서(450)로 전송할 수 있다. 다른 예에서, 이전 주기에 전송된 픽셀 정보 데이터가 압축된 상태로 프로세서(450)로 전송되고 현재 주기에 전송될 픽셀 정보 데이터의 압축률이 이전 주기에 전송된 픽셀 정보 데이터의 압축률과 동일 또는 유사할 것으로 예측되는 경우(예: 원시 이미지 데이터의 획득 속도 또는 픽셀 정보 데이터를 처리하는 속도와 같이 외부 객체의 촬영 제어와 관련된 설정이 유지하는 경우), 이미지 센서 모듈(410)은, 현재 주기에 해당하는 픽셀 정보 데이터를 압축한 후 압축된 픽셀 정보 데이터를 프로세서(450)로 전송할 수 있다.
도 4로 리턴하면, 이미지 센서 모듈(410)은 출력 인터페이스(437)를 통하여 압축 데이터와 픽셀 정보 데이터가 결합된 데이터를 프로세서(450)의 입력 인터페이스(451)로 전송할 수 있다.
일 실시예에서, 프로세서(450)는 입력 인터페이스(451)를 통하여 수신된 압축 데이터와 픽셀 정보 데이터가 결합된 데이터를 메모리(452)에 저장할 수 있다. 일 실시예에서, 프로세서(450)는 압축 데이터를 메모리(452)에 저장하는 반면, 픽셀 정보 데이터를 메모리(452)에 저장함 없이 픽셀 정보 처리부로 전달할 수 있다.
일 실시예에서, 압축 해제부(453)(de-compressor)는 압축 데이터의 압축을 해제할 수 있다. 일 실시예에서, 압축 해제부(453)는 압축 데이터 및 픽셀 정보 데이터의 압축을 해제할 수 있다. 예를 들어, 압축 해제부(453)는 픽셀 정보 데이터가 압축된 상태로 이미지 센서 모듈(410)로부터 프로세서(450)로 전송된 경우, 압축된 픽셀 정보 데이터의 압축을 해제할 수 있다. 일 실시예에서, 도 4에서 하나의 압축 해제부(453)를 이용하여 원시 이미지 데이터의 압축을 해제하거나, 선택적으로 픽셀 정보 데이터의 압축을 해제하는 것으로 도시하고 있으나, 이에 제한되지 않는다. 예를 들어, 장치(400)는, 원시 이미지 데이터를 압축하기 위한 압축 해제부(453)와 별도로, 픽셀 정보 데이터만을 압축 해제하기 위한 압축 해제부를 포함할 수도 있다.
일 실시예에서, 분리부(454)(splitter)는 압축이 해제된 데이터로부터 원시 이미지 데이터와 픽셀 정보 데이터를 분리할 수 있다. 일 실시예에서, 분리부(454)는, 압축이 해제된 압축 데이터를 ISP(455)로 전달하고, 압축이 해제된 픽셀 정보 데이터를 픽셀 정보 데이터 처리부(456)로 전달할 수 있다.
일 실시예에서, ISP(455)는 도 2의 이미지 시그널 프로세서(260)와 동일 또는 유사한 기능을 수행할 수 있으며, 상세한 설명은 생략하도록 한다.
일 실시예에서, 픽셀 정보 데이터 처리부(456)는 픽셀 정보 데이터를 처리할 수 있다. 예를 들어, 픽셀 정보 데이터가 위상 오토 포커스를 위한 데이터인 경우, 픽셀 정보 데이터 처리부(456)는 픽셀 정보 데이터에 적어도 일부 기반하여, 초점을 맞추기 위한(또는 조정하기 위한) 렌즈 및 이미지 센서와의 거리(또는 렌즈가 이동될 거리)를 결정할 수 있다. 다른 예에서, 픽셀 정보 데이터가 오토 화이트밸런스를 위한 데이터인 경우, 픽셀 정보 데이터 처리부(456)는 픽셀 정보 데이터에 적어도 일부 기반하여, 보정(또는 조정)될 광의 색 온도를 결정할 수 있다. 다만, 이에 제한되지 않는다.
일 실시예에서, 프로세서(450)는 이미지 센서 모듈(410)로 이미지 데이터 획득 속도(또는 주기)에 대한 정보 및 픽셀 정보 데이터를 처리하는 속도에 대한 정보를 전송할 수 있다.
일 실시예에서, 프로세서(450)는 이미지 센서 모듈(410)에서 프로세서(450)로 전송될 데이터를 결합하는 방식(예: 프레임 인터리빙 방식 또는 라인 인터리빙 방식)을 결정하고, 결합된 방식을 이미지 센서 모듈(410)로 전송할 수 있다.
일 실시예에서, 프로세서(450)가 이미지 센서 모듈(410)에서 프로세서(450)로 전송될 데이터를 결합하는 방식이 프레임 인터리빙 방식인 것으로 결정하는 경우, 프로세서(450)는 픽셀 정보 데이터가 분할되는 개수(또는 픽셀 정보 데이터가 분할되는 비율)을 결정하고, 결정된 픽셀 정보 데이터가 분할되는 개수에 대한 정보를 이미지 센서 모듈(410)로 전송할 수 있다.
일 실시예에서, 프로세서(450)가 이미지 센서 모듈(410)에서 프로세서(450)로 전송될 데이터를 결합하는 방식이 라인 인터리빙 방식인 것으로 결정하는 경우, 프로세서(450)는 하나의 이미지 프레임에 대한 압축 데이터 내에서, 분할된 픽셀 정보 데이터가 삽입될(또는 결합될) 데이터 라인 간격과 픽셀 정보 데이터의 분할 비율(또는 분할된 픽셀 정보 데이터의 크기) 등을 결정하고, 결정된 데이터 라인 간격과 픽셀 정보 데이터의 분할 비율 등에 대한 정보를 이미지 센서 모듈(410)로 전송할 수 있다.
본 발명의 다양한 실시예들에 따른 전자 장치는, 프로세서, 및 상기 프로세서와 전기적으로 연결된 이미지 센서 모듈을 포함하고, 상기 이미지 센서 모듈은, 이미지 센서, 및 이미지 센서와 전기적으로 연결되고 상기 프로세서와 인터페이스로 연결된 제어 회로를 포함하고, 상기 제어 회로는, 외부 객체 촬영을 위한 신호를 수신하고, 상기 이미지 센서를 이용하여, 상기 외부 객체에 대한 복수의 원시 이미지 데이터를 획득하고, 상기 획득된 상기 복수의 원시 이미지 데이터의 적어도 일부를 이용하여, 상기 프로세서의 상기 촬영의 제어와 관련된 픽셀 정보 데이터를 생성하고, 상기 복수의 원시 이미지 데이터 중 적어도 일부가 압축된 압축 데이터를 생성하고 상기 프로세서 또는 상기 제어 회로에서 지정된 전송 주기에 따라 상기 픽셀 정보 데이터를 상기 프로세서로 전송하고, 및 상기 압축 데이터를 상기 프로세서로 전송하도록 설정될 수 있다.
다양한 실시예들에서, 상기 제어 회로는, 상기 픽셀 정보 데이터를 압축하여 압축된 픽셀 정보 데이터를 생성하고, 상기 압축된 픽셀 정보 데이터의 압축률이 지정된 압축률을 만족하는 것에 기반하여, 상기 압축된 픽셀 정보 데이터를 상기 프로세서로 전송하고, 및 상기 압축률이 상기 지정된 압축률을 만족하지 않는 것에 기반하여 압축되지 않은 상기 픽셀 정보 데이터를 상기 프로세서로 전송하도록 설정될 수 있다.
다양한 실시예들에서, 상기 제어 회로는, 상기 픽셀 정보 데이터의 크기가 지정된 크기 미만인 경우, 상기 픽셀 정보 데이터를 압축함 없이 상기 프로세서로 전송하고, 상기 픽셀 정보 데이터의 크기가 지정된 크기 이상인 경우, 상기 픽셀 정보 데이터를 압축하도록 설정될 수 있다.
다양한 실시예들에서, 상기 이미지 센서는, 둘 이상의 감광 다이오드가 배치된 픽셀을 포함하는 듀얼 픽셀 이미지 센서를 포함하고, 상기 복수의 원시 이미지 데이터의 상기 적어도 일부에서 확인된 상기 배치에 따라 유발된 위상차에 기반하여, 상기 픽셀 정보 데이터를 생성하도록 설정될 수 있다.
다양한 실시예들에서, 상기 픽셀 정보 데이터는, 오토 포커스(phase auto focus)를 위한 데이터, 오토 화이트밸런스(auto white balance)를 위한 데이터, 외부 객체의 모션(motion)을 위한 데이터, 또는 DIS(digital image stabilization)를 위한 데이터 등 중 적어도 하나를 포함할 수 있다.
다양한 실시예들에서, 상기 제어 회로는, 하나의 이미지 프레임에 대한 압축 데이터의 크기 및 하나의 이미지 프레임에 대한 픽셀 정보 데이터의 크기를 합산한 크기와, 상기 이미지 센서 모듈 및 상기 프로세서 간 인터페이스가 한 주기 동안 데이터를 전송할 수 있는 최대 용량을 확인하고, 상기 합산한 크기가 상기 최대 용량을 초과하는 경우, 상기 인터페이스가 데이터를 전송하는 한 주기 동안, 상기 하나의 이미지 프레임에 대한 픽셀 정보 데이터가 분할된 분할 데이터와 상기 하나의 이미지 프레임에 대한 압축 데이터를 결합하는 프레임 인터리빙(frame interleaving) 방식을 상기 압축 데이터 및 상기 픽셀 정보 데이터를 결합하는 방식으로 결정하도록 설정될 수 있다.
다양한 실시예들에서, 상기 제어 회로는 상기 프레임 인터리빙 방식을 상기 압축 데이터 및 상기 픽셀 정보 데이터를 결합하는 방식으로 결정하는 경우, 상기 하나의 이미지 프레임에 대한 픽셀 정보 데이터를, 상기 이미지 센서가 상기 원시 이미지를 전송하는 속도를 상기 픽셀 정보 데이터를 처리하기 위한 속도로 나눈 값에 실질적으로 대응하는 개수의 분할 데이터로 분할하도록 설정될 수 있다.
다양한 실시예들에서, 상기 제어 회로는, 상기 프레임 인터리빙 방식을 상기 압축 데이터 및 상기 픽셀 정보 데이터를 결합하는 방식으로 결정하고 상기 픽셀 정보 데이터의 종류가 복수인 경우, 상기 제어 회로가 상기 인터페이스가 데이터를 전송하는 한 주기 동안, 상기 하나의 이미지 프레임에 대한 복수의 종류 각각에 대응하는 픽셀 정보 데이터가 분할된 데이터와 상기 하나의 이미지 프레임에 대한 압축 데이터를 결합하도록 설정될 수 있다.
다양한 실시예들에서, 상기 제어 회로는, 상기 합산한 크기가 상기 최대 용량 이하인 경우, 상기 픽셀 정보 데이터의 속성을 확인하고, 상기 픽셀 정보 데이터의 속성이 상기 프로세서에서 빠른 처리를 필요로 하는 속성에 해당하는 경우, 상기 제어 회로는 상기 인터페이스가 데이터를 전송하는 한 주기 동안, 상기 하나의 이미지 프레임에 대한 압축 데이터의 지정된 데이터 라인 간격 마다 상기 하나의 이미지 프레임에 대한 픽셀 정보 데이터의 적어도 일부를 결합하여 데이터를 전송하는 라인 인터리빙(line interleaving) 방식을 상기 압축 데이터 및 상기 픽셀 정보 데이터를 결합하는 방식으로 결정하도록 설정될 수 있다.
다양한 실시예들에서, 상기 제어 회로는 상기 픽셀 정보 데이터의 속성이 상기 프로세서에서 빠른 처리를 하도록 설정된 속성에 해당하지 않는 경우, 상기 제어 회로는 상기 프레임 인터리빙 방식을 상기 압축 데이터 및 상기 픽셀 정보 데이터를 결합하는 방식으로 결정하도록 설정될 수 있다.
도 12는 본 발명의 일 실시예에 따른 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터를 전송하기 위한 방법을 설명하기 위한 도면이다.
도 12를 참조하면, 동작 1201에서, 제어 회로(330)는 외부 객체를 촬영하기 위한 신호를 수신할 수 있다.
예를 들어, 제어 회로(330)는 디스플레이(예: 표시 장치(160))를 통하여 외부 객체에 대한 라이브 뷰(live view)(또는 프리뷰(preview))를 제공하기 위한 신호(또는 입력)을 수신할 수 있다. 다른 예에서, 제어 회로(330)는 라이브 뷰를 제공하는 동안 외부 객체에 대하여 초점 거리를 조정하기 위한(또는 초점을 맞추기 위한) 반 셔터(half shutter) 기능을 실행하기 위한 신호를 수신할 수 있다. 또 다른 예에서, 제어 회로(330)는 정지 이미지(still image) 또는 동적 이미지(moving image)를 캡쳐하기 위한 신호를 수신할 수 있다. 다만, 외부 객체 촬영을 위한 신호는 전술한 예시에 제한되지 않는다.
동작 1203에서, 제어 회로(330)는 이미지 센서(320)를 이용하여, 외부 객체에 대한 복수의 원시 이미지 데이터를 획득할 수 있다. 예를 들어, 제어 회로(330)는 복수의 픽셀들로부터 전달되는 아날로그 전기 신호를 디지털(digital) 전기 신호로 변환함으로써, 외부 객체에 대한 복수의 원시 이미지 데이터를 생성할 수 있다.
일 실시예에서, 이미지 센서(320)가 듀얼 픽셀 이미지 센서로 구현되는 경우, 제어 회로(330)는, 복수의 픽셀들 중 적어도 일부에서 픽셀 각각의 하나의 측(예: 좌측)에 배치된 포토 다이오드로 구성되는 포토 다이오드들(또는 픽셀 내에서 하나의 측(또는 열, 또는 행)에 배치되는 포토 다이오드의 집합)에서 생성된 전기 신호에 기반하여 생성되는 하나의 측에 대응하는 좌측 이미지 데이터와, 각각의 픽셀 각각의 다른 측(예: 우측)에 배치된 포토 다이오드로 구성되는 포토 다이오드들에서 생성된 전기 신호에 기반하여 생성되는 다른 측에 대응하는 우측 이미지 데이터를 결합(또는 조합)함으로써 원시 이미지 데이터를 생성할 수 있다. 일 실시예에서, 제어 회로(330)는, 생성된 원시 이미지 데이터를 메모리(예: 메모리(433))에 저장할 수 있다.
동작 1205에서, 제어 회로(330)는 픽셀 정보 데이터를 생성할 수 있다.
일 실시예에서, 픽셀 정보 데이터는. 이미지 센서(320)가 듀얼 이미지 센서로 구현되는 경우, 이미지 데이터(예: 원시 이미지 데이터, 좌측 이미지 데이터, 또는 우측 이미지 데이터 중 적어도 하나)에 적어도 일부 기반하여 생성되고, 프로세서(350)의 촬영 제어와 관련된 데이터일 수 있다. 예를 들어, 픽셀 정보 데이터는, 위상 오토 포커스(phase auto focus)를 위한 데이터, 오토 화이트밸런스(auto white balance)를 위한 데이터, 외부 객체의 모션(motion)을 위한 데이터(예: 모션 검출을 위한 데이터 또는 모션 예측을 위한 데이터), 또는 DIS(digital image stabilization)를 위한 데이터 등 중 적어도 하나를 포함할 수 있다. 다만, 픽셀 정보 데이터는 전술한 예시에 제한되지 않는다. 일 실시예에서, 제어 회로(330)는, 생성된 픽셀 정보 데이터를 메모리(예: 메모리(433))에 저장할 수 있다.
동작 1207에서, 제어 회로(330)는 원시 이미지 데이터가 압축된 압축 데이터를 생성할 수 있다.
일 실시예에서, 제어 회로(330)는 원시 이미지 데이터와, 선택적으로 픽셀 정보 데이터를 압축할 수 있다. 예를 들어, 제어 회로(330)는 원시 이미지 데이터의 사이즈를 감소시키기 위하여 원시 이미지 데이터를 압축할 수 있다. 제어 회로(330)는 원시 이미지 데이터를 압축함으로써, 압축 데이터를 생성할 수 있다. 제어 회로(330)는, 픽셀 정보 데이터를 압축하거나 압축하지 않을 수 있다. 예를 들어, 제어 회로(330)는 픽셀 정보 데이터의 크기를 확인할 수 있다. 제어 회로(330)는 픽셀 정보 데이터의 크기가 지정된 임계 값 미만인 경우 픽셀 정보 데이터를 압축하지 않을 수 있다. 제어 회로(330)는 픽셀 정보 데이터의 크기가 지정된 임계 값 이상인 경우, 픽셀 정보 데이터를 압축할 수 있다.
동작 1209에서, 제어 회로(330)는 압축 데이터를 전송하고, 프로세서(350) 또는 제어 회로(330)에서 지정된 전송 주기에 따라 픽셀 정보 데이터를 프로세서(350)로 전송할 수 있다.
일 실시예에서, 제어 회로(330)는, 프로세서(350) 또는 제어 회로(330)에서 지정된 전송 주기에 따라 픽셀 정보 데이터를 프로세서(350)로 전송할 수 있다.
일 실시예에서, 픽셀 정보 데이터를 프로세서(350)로 전송하는 주기는 압축 데이터를 프로세서(350)로 전송하는 주기와 독립적으로 결정될 수 있다. 예를 들어, 픽셀 정보 데이터를 프로세서(350)로 전송하는 주기는, 프로세서(350)에서 픽셀 정보 데이터를 처리하는 주기(또는 처리를 위하여 설정된 주기, 또는 픽셀 정보 데이터를 처리하기 위한 사양(specification))에 따라 지정(또는 결정)될 수 있다. 다른 예에서, 픽셀 정보 데이터를 프로세서(350)로 전송하는 주기는, 제어 회로(330)에 의해 지정될 수도 있다.
일 실시예에서, 제어 회로(330)는 압축 데이터의 크기 및 픽셀 정보 데이터의 크기(또는 압축 데이터의 크기 및 픽셀 정보 데이터의 크기를 합산한 크기)와, 단위 프레임 크기를 확인할 수 있다.
일 실시예에서, 제어 회로(330)가 압축 데이터의 크기 및 픽셀 정보 데이터의 크기가 단위 프레임 크기를 초과하는 것으로 결정한 경우, 제어 회로(330)는 프레임 인터리빙 방식에 의해 압축 데이터 및 픽셀 정보 데이터를 결합할 수 있다.
다른 실시예에서, 제어 회로(330)가 압축 데이터의 크기 및 픽셀 정보 데이터의 크기가 단위 프레임 크기 이하인 것으로 결정한 경우, 제어 회로(330)는 라인 인터리빙 방식에 의해 압축 데이터 및 픽셀 정보 데이터를 결합할 수 있다.
일 실시예에서, 제어 회로(330)는 픽셀 정보 데이터의 속성에 적어도 일부 기반하여, 픽셀 정보 데이터를 전송(또는 압축 데이터와 결합)하는 방식(예: 프레임 인터리빙 방식 또는 라인 인터리빙 방식)을 결정할 수 있다.
일 실시예에서, 픽셀 정보 데이터의 속성은, 픽셀 정보 데이터의 종류(예: 오토 포커스를 위한 데이터, 또는 오토 화이트 밸런스를 위한 데이터) 외에, 프로세서(350)가 픽셀 정보 데이터를 처리하는데 소요되는 시간 등을 포함할 수 있다.
일 실시예에서, 제어 회로(330)는 프레임 인터리빙 방식 또는 라인 인터리빙 방식(또는 픽셀 정보 데이터의 결정된 전송 주기)에 따라 압축 데이터 및 정보 데이터를 결합하고, 결합된 데이터를 인터페이스(340)를 통하여 프로세서(350)로 전송할 수 있다. 일 실시예에서, 인터페이스(340)는 MIPI(mobile industry processor interface)일 수 있다. 다만, 이에 제한되지 않으며, 전자 장치 내의 구성 요소 간(또는 칩들(chips) 간) 데이터를 전송할 수 있는 데이터 전송 규격은 모두 적용될 수 있다.
도 13은 본 발명의 일 실시예에 따른 압축 데이터 및 픽셀 정보 데이터를 결합하는 방식을 결정하는 방법을 설명하기 위한 도면이다.
도 13을 참조하면, 동작 1301에서, 제어 회로(330)는 압축 데이터의 크기 및 픽셀 정보 데이터의 크기(또는 압축 데이터의 크기 및 픽셀 정보 데이터의 크기를 합산한 크기)와, 단위 프레임 크기를 확인할 수 있다. 예를 들어, 제어 회로(330)는 메모리에 저장된 압축 데이터의 크기 및 픽셀 정보 데이터의 크기를 확인할 수 있다. 제어 회로(330)는 인터페이스(340)가 단위 프레임을 전송하는 속도(또는 인터페이스(340)의 데이터 전송 속도)와 단위 프레임 주기에 적어도 일부 기반하여, 단위 프레임 크기를 확인할 수 있다. 다만, 이에 제한되지 않는다.
동작 1303에서, 제어 회로(330)는 압축 데이터의 크기 및 픽셀 정보 데이터의 크기가 단위 프레임 크기를 초과하는지 결정할 수 있다.
일 실시예에서, 제어 회로(330)는 하나의 이미지 프레임에 대응하는 원시 이미지 데이터를 압축한 압축 데이터의 크기와 하나의 이미지 프레임에 적어도 일부 기반하여 생성된 픽셀 정보 데이터(또는 하나의 이미지 프레임에 대한 픽셀 정보 데이터)의 크기를 합산한 크기가, 단위 프레임 크기를 초과하는지 여부를 결정할 수 있다.
일 실시예에서, 제어 회로(330)는 이미지 센서 모듈(310) 및 프로세서(350) 간 인터페이스(340)의 단위 프레임 주기 동안 압축 데이터(또는 하나의 이미지 프레임에 대한 원시 이미지 데이터를 압축한 데이터)와 픽셀 정보 데이터(또는 하나의 이미지 프레임에 대한 픽셀 정보 데이터)를 단위 프레임 내에서 동시에(또는 한꺼번에) 전송할 수 있는지 여부를 결정할 수 있다.
동작 1305에서, 동작 1303에서 제어 회로(330)가 압축 데이터의 크기 및 픽셀 정보 데이터의 크기가 단위 프레임 크기를 초과하지 않는 것으로 결정하는 경우, 제어 회로(330)는 픽셀 정보 데이터의 속성을 확인하고 픽셀 정보 데이터의 속성이 빠른 처리를 필요로 하는 속성에 해당하는지를 결정할 수 있다. 예를 들어, 제어 회로(330)는, 픽셀 정보 데이터의 속성으로서, 예를 들어, 픽셀 정보 데이터의 종류(예: 오토 포커스를 위한 데이터, 또는 오토 화이트 밸런스를 위한 데이터) 또는 프로세서(350)가 픽셀 정보 데이터를 처리하는데 소요되는 시간 중 적어도 하나를 확인할 수 있다. 제어 회로(330)는 픽셀 정보 데이터의 종류 또는 픽셀 정보 데이터를 처리하는데 소요되는 시간 중 적어도 하나에 적어도 일부 기반하여 픽셀 정보 데이터의 속성이 프로세서(350)에서 빠른 처리를 필요로 하는지 결정할 수 있다.
동작 1307에서, 동작 1303에서 제어 회로(330)가 압축 데이터의 크기 및 픽셀 정보 데이터의 크기가 단위 프레임 크기를 초과한 것으로 결정한 경우 또는 동작 1305에서 제어 회로(330)가 픽셀 정보 데이터의 속성이 빠른 처리를 필요로 하는 않는 속성에 해당하는 경우, 제어 회로(330)는 프레임 인터리빙 방식에 의해 압축 데이터 및 픽셀 정보 데이터를 결합할 것을 결정할 수 있다.
동작 1309에서, 동작 1305에서 제어 회로(330)가 픽셀 정보 데이터의 속성이 빠른 처리를 필요로 하는 속성에 해당하는 것으로 결정하는 경우, 제어 회로(330)는 라인 인터리빙 방식에 의해 압축 데이터 및 픽셀 정보 데이터를 결합할 것을 결정할 수 있다.
도 14는 본 발명의 다른 실시예에 따른 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터를 전송하기 위한 방법을 설명하기 위한 도면이다.
도 14를 참조하면, 동작 1401에서, 제어 회로(330)는 외부 객체를 촬영하기 위한 신호를 수신할 수 있다.
동작 1403에서, 제어 회로(330)는 이미지 센서를 이용하여, 외부 객체에 대한 복수의 원시 이미지 데이터를 획득할 수 있다.
동작 1405에서, 제어 회로(330)는 픽셀 정보 데이터를 생성할 수 있다.
동작 1407에서, 제어 회로(330)는 원시 이미지 데이터가 압축된 압축 데이터를 생성할 수 있다.
도 14의 동작 1401 내지 동작 1407은, 도 12의 동작 1201 내지 동작 1207과 적어도 일부가 동일 또는 유사하므로, 상세한 설명은 생략하기로 한다.
동작 1409에서, 제어 회로(330)는 압축된 픽셀 정보 데이터를 전송할지 여부를 결정할 수 있다. 예를 들어, 제어 회로(330)는 픽셀 정보 데이터를 압축할지 여부와, 픽셀 정보 데이터를 압축할 것을 결정한 경우, 압축된 픽셀 정보 데이터를 전송할지 또는 압축되지 않은 픽셀 정보 데이터를 전송할지를 결정할 수 있다. 이하 도 15에서 제어 회로(330)가 압축된 픽셀 정보 데이터를 전송할지 여부를 결정하는 동작을 상세히 설명하도록 한다.
도 15는 본 발명의 일 실시예에 따른 압축된 픽셀 정보 데이터 또는 압축되지 않은 픽셀 정보 데이터를 전송할지를 결정하기 위한 방법을 설명하기 위한 도면이다.
도 15를 참조하면, 동작 1501에서, 제어 회로(330)는 픽셀 정보 데이터의 크기가 제 1 임계 값 미만인지 결정할 수 있다.
동작 1503에서, 동작 1501에서 제어 회로(330)가 픽셀 정보 데이터의 크기가 제 1 임계 값 미만인 것으로 결정한 경우, 제어 회로(330)는 픽셀 정보 데이터를 압축하지 않음을 결정할 수 있다. 예를 들어, 픽셀 정보 데이터의 크기가 제 1 임계 값 보다 작은 경우, 픽셀 정보 데이터를 압축하더라도 데이터의 압축률이 작을 수 있다. 다른 예에서, 픽셀 정보 데이터의 크기가 제 1 임계 값 보다 작은 경우, 픽셀 정보 데이터를 압축하더라도 데이터의 압축률이 크더라도 압축 전 픽셀 정보 데이터의 크기와 압축 후 픽셀 정보 데이터의 크기 간 차이가 작을 수 있다. 또 다른 예에서, 픽셀 정보 데이터의 크기가 제 1 임계 값 보다 작은 경우, 압축 전 픽셀 정보 데이터의 크기와 압축 후 픽셀 정보 데이터의 크기 간 차이가 작은데 반해, 픽셀 정보 데이터를 압축하는 동작에 소모되는 전력 소모는 클 수 있다.
동작 1505에서, 동작 1501에서 제어 회로(330)가 픽셀 정보 데이터의 크기가 제 1 임계 값 이상인 것으로 결정한 경우, 제어 회로(330)는 픽셀 정보 데이터를 압축할 것을 결정할 수 있다(또는 픽셀 정보 데이터를 압축할 수 있다).
동작 1507에서, 제어 회로(330)는 픽셀 정보 데이터의 압축 비율이 제 2 임계 값 이상인지 결정할 수 있다.
동작 1509에서, 동작 1507에서 제어 회로(330)가 픽셀 정보 데이터의 압축 비율이 제 2 임계 값 미만인 것으로 결정한 경우, 제어 회로(330)는 압축되지 않은 픽셀 정보 데이터를 압축 데이터와 결합하여 프로세서(350)로 전송할 것을 결정할 수 있다.
동작 1511에서, 동작 1507에서 제어 회로(330)가 픽셀 정보 데이터의 압축 비율이 제 2 임계 값 이상인 것으로 결정한 경우, 제어 회로(330)는 압축된 픽셀 정보 데이터를 압축 데이터와 결합하여 프로세서(350)로 전송할 것을 결정할 수 있다.
도 15에 도시하지는 않았지만, 일 실시예에서, 제어 회로(330)는, 픽셀 정보 데이터의 크기가 제 1 임계 값 이상인 경우, 픽셀 정보 데이터의 전송 주기 마다 픽셀 정보 데이터의 압축률을 결정하고, 결정된 압축률에 따라 압축된 픽셀 정보 데이터 또는 압축되지 않은 픽셀 정보 데이터를 프로세서(350)로 전송할지를 결정할 수 있다.
다른 실시예에서, 제어 회로(330)는, 픽셀 정보 데이터의 크기가 제 1 임계 값 이상인 경우, 이전 주기에 전송된 픽셀 정보 데이터의 압축에 대한 정보에 따라, 현재 주기에 해당하는 픽셀 정보 데이터의 압축률을 결정함 없이(또는 픽셀 정보 데이터의 압축률을 제 2 임계 값과 비교함 없이), 현재 주기에 해당하는 픽셀 정보 데이터를 압축하거나 압축하지 않은 상태로 프로세서(350)로 전송할 수 있다. 예를 들어, 이전 주기에 전송된 픽셀 정보 데이터가 압축된 상태로 프로세서(350)로 전송된 경우, 제어 회로(330)는, 현재 주기에 해당하는 픽셀 정보 데이터를 압축한 후 프로세서(350)로 전송할 수 있다. 다른 예에서, 이전 주기에 전송된 픽셀 정보 데이터가 압축된 상태로 프로세서(350)로 전송되고 현재 주기에 전송될 픽셀 정보 데이터의 압축률이 이전 주기에 전송된 픽셀 정보 데이터의 압축률과 동일 또는 유사할 것으로 예측되는 경우(예: 원시 이미지 데이터의 획득 속도 또는 픽셀 정보 데이터를 처리하는 속도와 같이 외부 객체의 촬영 제어와 관련된 설정이 유지하는 경우), 제어 회로(330)는, 현재 주기에 해당하는 픽셀 정보 데이터를 압축한 후 압축된 픽셀 정보 데이터를 프로세서(350)로 전송할 수 있다.
도 14로 리턴하면, 동작 14011에서, 동작 1409에서 압축된 픽셀 정보 데이터를 전송할 것으로 결정한 경우, 제어 회로(330)는 압축 데이터를 전송하고, 지정된 전송 주기에 따라 압축된 픽셀 정보 데이터를 전송할 수 있다.
일 실시예에서, 제어 회로(330)는 압축 데이터의 크기 및 압축된 픽셀 정보 데이터의 크기(또는 압축 데이터의 크기 및 압축된 픽셀 정보 데이터의 크기를 합산한 크기)와, 단위 프레임 크기를 확인할 수 있다.
일 실시예에서, 제어 회로(330)가 압축 데이터의 크기 및 압축된 픽셀 정보 데이터의 크기가 단위 프레임 크기를 초과하는 것으로 결정한 경우 또는 압축 데이터의 크기 및 압축된 픽셀 정보 데이터의 크기가 단위 프레임 크기를 초과하지 않더라도 제어 회로(330)가 픽셀 정보 데이터의 속성이 빠른 처리를 필요로 하는 않는 속성에 해당하는 경우, 제어 회로(330)는 프레임 인터리빙 방식에 의해 압축 데이터 및 픽셀 정보 데이터를 결합할 것을 결정할 수 있다. 다른 실시예에서, 제어 회로(330)가 압축 데이터의 크기 및 압축된 픽셀 정보 데이터의 크기가 단위 프레임 크기 이하인 것으로 결정하고, 압축된 픽셀 정보 데이터의 속성이 빠른 처리를 필요로 하는 속성에 해당하는 것으로 결정한 경우, 제어 회로(330)는 라인 인터리빙 방식에 의해 압축 데이터 및 압축된 픽셀 정보 데이터를 결합할 수 있다.
일 실시예에서, 제어 회로(330)는 압축 데이터와 압축된 픽셀 정보 데이터가 결합된 데이터를 프로세서(350)로 전송할 수 있다.
동작 1411에서, 동작 1409에서 압축되지 않은 픽셀 정보 데이터를 전송할 것으로 결정한 경우, 압축 데이터를 전송하고, 지정된 전송 주기에 따라 압축된 픽셀 정보 데이터를 전송할 수 있다.
일 실시예에서, 제어 회로(330)는 압축 데이터의 크기 및 압축되지 않은 픽셀 정보 데이터의 크기(또는 압축 데이터의 크기 및 압축되지 않은 픽셀 정보 데이터의 크기를 합산한 크기)와, 단위 프레임 크기를 확인할 수 있다.
일 실시예에서, 제어 회로(330)가 압축 데이터의 크기 및 압축되지 않은 픽셀 정보 데이터의 크기가 단위 프레임 크기를 초과하는 것으로 결정한 경우 또는 압축 데이터의 크기 및 압축되지 않은 픽셀 정보 데이터의 크기가 단위 프레임 크기를 초과하지 않더라도 제어 회로(330)가 픽셀 정보 데이터의 속성이 빠른 처리를 필요로 하는 않는 속성에 해당하는 경우, 제어 회로(330)는 프레임 인터리빙 방식에 의해 압축 데이터 및 픽셀 정보 데이터를 결합할 것을 결정할 수 있다.
다른 실시예에서, 제어 회로(330)가 압축 데이터의 크기 및 압축되지 않은 픽셀 정보 데이터의 크기가 단위 프레임 크기 이하인 것으로 결정하고 압축되지 않은 픽셀 정보 데이터의 속성이 빠른 처리를 필요로 하는 속성에 해당하는 것으로 결정한 경우, 제어 회로(330)는 라인 인터리빙 방식에 의해 압축 데이터 및 압축되지 않은 픽셀 정보 데이터를 결합할 수 있다.
일 실시예에서, 제어 회로(330)는 압축 데이터와 압축되지 않은 픽셀 정보 데이터가 결합된 데이터를 프로세서(350)로 전송할 수 있다.
본 발명의 다양한 실시예들에 따른 이미지 데이터 및 이미지 촬영의 제어와 이미지 데이터와 관련된 데이터를 전송하는 방법은, 이미지 센서를 포함하는 이미지 센서 모듈에 포함된 제어 회로에 의해 외부 객체 촬영을 위한 신호를 수신하는 동작, 상기 제어 회로에 의해, 상기 이미지 센서를 이용하여, 상기 외부 객체에 대한 복수의 원시 이미지 데이터를 획득하는 동작, 상기 제어 회로에 의해, 상기 획득된 상기 복수의 원시 이미지 데이터의 적어도 일부를 이용하여, 상기 이미 센서 모듈과 전기적으로 연결되고 상기 제어 회로와 인터페이스로 연결된 프로세서의 상기 촬영의 제어와 관련된 픽셀 정보 데이터를 생성하는 동작, 상기 제어 회로에 의해, 상기 복수의 원시 이미지 데이터 중 적어도 일부가 압축된 압축 데이터를 생성하는 동작, 상기 프로세서 또는 상기 제어 회로에서 지정된 상기 전송 주기에 따라 상기 픽셀 정보 데이터를 상기 프로세서로 전송하는 동작, 및 상기 압축 데이터를 상기 프로세서로 전송하는 동작을 포함할 수 있다.
다양한 실시예들에서, 상기 픽셀 정보 데이터를 압축하여 압축된 픽셀 정보 데이터를 생성하는 동작을 더 포함하고, 상기 결정된 상기 전송 주기에 따라 상기 픽셀 정보 데이터를 상기 프로세서로 전송하는 동작은, 상기 압축된 픽셀 정보 데이터의 압축률이 지정된 압축률을 만족하는 것에 기반하여, 상기 압축된 픽셀 정보 데이터를 상기 프로세서로 전송하는 동작, 및 상기 압축률이 상기 지정된 압축률을 만족하지 않는 것에 기반하여 압축되지 않은 상기 픽셀 정보 데이터를 상기 프로세서로 전송하는 동작을 포함할 수 있다.
다양한 실시예들에서, 상기 프로세서 또는 상기 제어 회로에서 지정된 전송 주기에 따라 상기 픽셀 정보 데이터를 상기 프로세서로 전송하는 동작은, 상기 픽셀 정보 데이터의 크기가 지정된 크기 미만인 경우, 상기 픽셀 정보 데이터를 압축함 없이 상기 프로세서로 전송하는 동작을 더 포함하고, 상기 픽셀 정보 데이터를 압축하여 압축된 픽셀 정보 데이터를 생성하는 동작은, 상기 픽셀 정보 데이터의 크기가 지정된 크기 이상인 경우, 상기 픽셀 정보 데이터를 압축하는 동작을 더 포함할 수 있다.
다양한 실시예들에서, 상기 이미지 센서는, 둘 이상의 감광 다이오드가 배치된 픽셀을 포함하는 듀얼 픽셀 이미지 센서를 포함하고, 상기 복수의 원시 이미지데이터의 상기 적어도 일부에서 확인된 상기 배치에 따라 유발된 위상 차에 기반하여, 상기 픽셀 정보 데이터를 생성하도록 설정될 수 있다.다양한 실시예들에서, 상기 픽셀 정보 데이터는, 오토 포커스(auto focus)를 위한 데이터, 오토 화이트밸런스(auto white balance)를 위한 데이터, 외부 객체의 모션(motion)을 위한 데이터, 또는 DIS(digital image stabilization)를 위한 데이터 등 중 적어도 하나를 포함할 수 있다.
다양한 실시예들에서, 상기 프로세서 또는 상기 제어 회로에서 지정된 전송 주기에 따라 상기 픽셀 정보 데이터를 상기 프로세서로 전송하는 동작은, 하나의 이미지 프레임에 대한 압축 데이터의 크기 및 하나의 이미지 프레임에 대한 픽셀 정보 데이터의 크기를 합산한 크기와, 상기 인터페이스가 한 주기 동안 데이터를 전송할 수 있는 최대 용량을 확인하는 동작, 상기 합산한 크기가 상기 최대 용량을 초과하는 경우, 제 1 전송 방식에 대응하는 전송 주기를 상기 픽셀 정보 데이터 전송에 대응하는 전송 주기로 결정하는 동작, 및 상기 합산한 크기가 상기 최대 용량 이하인 경우, 상기 인터페이스가 데이터를 전송하는 한 주기 동안, 상기 하나의 이미지 프레임에 대한 픽셀 정보 데이터가 분할된 분할 데이터와 상기 하나의 이미지 프레임에 대한 압축 데이터를 결합하는 프레임 인터리빙(frame interleaving) 방식을 상기 압축 데이터 및 상기 픽셀 정보 데이터를 결합하는 방식으로 결정하는 동작을 더 포함할 수 있다.
다양한 실시예들에서, 상기 프레임 인터리빙 방식을 상기 압축 데이터 및 상기 픽셀 정보 데이터를 결합하는 방식으로 결정하는 경우, 상기 하나의 이미지 프레임에 대한 픽셀 정보 데이터를, 상기 이미지 센서가 상기 원시 이미지를 전송하는 속도를 상기 픽셀 정보 데이터를 처리하기 위한 속도로 나눈 값에 실질적으로 대응하는 개수의 분할 데이터로 분할하는 동작을 더 포함할 수 있다.
다양한 실시예들에서, 상기 프레임 인터리빙 방식을 상기 압축 데이터 및 상기 픽셀 정보 데이터를 결합하는 방식으로 결정하고 상기 픽셀 정보 데이터의 종류가 복수인 경우, 상기 프로세서 또는 상기 제어 회로에서 지정된 전송 주기에 따라 상기 픽셀 정보 데이터를 상기 프로세서로 전송하는 동작은, 상기 인터페이스가 데이터를 전송하는 한 주기 동안, 상기 하나의 이미지 프레임에 대한 복수의 종류 각각에 대응하는 픽셀 정보 데이터가 분할된 데이터와 상기 하나의 이미지 프레임에 대한 압축 데이터를 결합하는 동작을 더 포함할 수 있다.
다양한 실시예들에서, 상기 합산한 크기가 상기 최대 용량 이하인 경우, 상기 픽셀 정보 데이터의 속성을 확인하는 동작, 상기 픽셀 정보 데이터의 속성이 상기 프로세서에서 빠른 처리를 필요로 하는 속성에 해당하는 경우 상기 인터페이스가 데이터를 전송하는 한 주기 동안, 상기 하나의 이미지 프레임에 대한 압축 데이터의 지정된 데이터 라인 간격 마다 상기 하나의 이미지 프레임에 대한 픽셀 정보 데이터의 적어도 일부를 결합하여 데이터를 전송하는 라인 인터리빙(line interleaving) 방식을 상기 압축 데이터 및 상기 픽셀 정보 데이터를 결합하는 방식으로 결정하는 동작을 더 포함할 수 있다.
다양한 실시예들에서, 상기 픽셀 정보 데이터의 속성이 상기 프로세서에서 빠른 처리를 하도록 설정된 속성에 해당하지 않는 경우, 상기 프레임 인터리빙 방식을 상기 압축 데이터 및 상기 픽셀 정보 데이터를 결합하는 방식으로 결정하는 동작을 더 포함할 수 있다.
또한, 상술한 본 발명의 실시예에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, CD-ROM, DVD 등)와 같은 저장매체를 포함한다.
일 실시예에서, 컴퓨터 판독 가능한 기록매체는 전자 장치에서, 외부 객체 촬영을 위한 신호를 수신하는 동작, 이미지 센서를 이용하여, 상기 외부 객체에 대한 복수의 원시 이미지 데이터를 획득하는 동작, 상기 획득된 상기 복수의 원시 이미지 데이터의 적어도 일부를 이용하여, 프로세서의 상기 촬영의 제어와 관련된 픽셀 정보 데이터를 생성하는 동작, 상기 복수의 원시 이미지 데이터 중 적어도 일부가 압축된 압축 데이터를 생성하는 동작, 상기 결정된 상기 전송 주기에 따라 상기 픽셀 정보 데이터를 상기 프로세서로 전송하는 동작, 및 상기 압축 데이터를 상기 프로세서로 전송하는 동작을 실행시키기 위한 프로그램을 기록할 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    프로세서; 및
    상기 프로세서와 전기적으로 연결된 이미지 센서 모듈을 포함하고,
    상기 이미지 센서 모듈은, 이미지 센서, 및 상기 이미지 센서와 전기적으로 연결되고 상기 프로세서와 인터페이스로 연결된 제어 회로를 포함하고, 상기 제어 회로는,
    외부 객체 촬영을 위한 신호를 수신하고,
    상기 이미지 센서를 이용하여, 상기 외부 객체에 대한 복수의 원시 이미지 데이터를 획득하고,
    상기 획득된 상기 복수의 원시 이미지 데이터의 적어도 일부를 이용하여, 상기 프로세서의 상기 촬영의 제어와 관련된 픽셀 정보 데이터를 생성하고,
    상기 복수의 원시 이미지 데이터 중 적어도 일부가 압축된 압축 데이터를 생성하고,
    상기 프로세서 또는 상기 제어 회로에서 지정된 전송 주기에 따라 상기 픽셀 정보 데이터를 상기 프로세서로 전송하고, 및
    상기 압축 데이터를 상기 프로세서로 전송하도록 설정된 전자 장치.
  2. 제 1 항에 있어서,
    상기 제어 회로는,
    상기 픽셀 정보 데이터를 압축하여 압축된 픽셀 정보 데이터를 생성하고,
    상기 압축된 픽셀 정보 데이터의 압축률이 지정된 압축률을 만족하는 것에 기반하여, 상기 압축된 픽셀 정보 데이터를 상기 프로세서로 전송하고, 및
    상기 압축률이 상기 지정된 압축률을 만족하지 않는 것에 기반하여 압축되지 않은 상기 픽셀 정보 데이터를 상기 프로세서로 전송하도록 설정된 전자 장치.
  3. 제 1 항에 있어서,
    상기 제어 회로는,
    상기 픽셀 정보 데이터의 크기가 지정된 크기 미만인 경우, 상기 픽셀 정보 데이터를 압축함 없이 상기 프로세서로 전송하고,
    상기 픽셀 정보 데이터의 크기가 지정된 크기 이상인 경우, 상기 픽셀 정보 데이터를 압축하도록 설정된 전자 장치.
  4. 제 1 항에 있어서,
    상기 이미지 센서는, 둘 이상의 감광 다이오드가 배치된 픽셀을 포함하는 듀얼 픽셀 이미지 센서를 포함하고,
    상기 제어 회로는,
    상기 복수의 원시 이미지 데이터의 상기 적어도 일부에서 확인된 상기 배치에 따라 유발된 위상차에 기반하여, 상기 픽셀 정보 데이터를 생성하도록 설정된 전자 장치.
  5. 제 1 항에 있어서,
    상기 픽셀 정보 데이터는, 오토 포커스(auto focus)를 위한 데이터, 오토 화이트밸런스(auto white balance)를 위한 데이터, 외부 객체의 모션(motion)을 위한 데이터, 또는 DIS(digital image stabilization)를 위한 데이터 등 중 적어도 하나를 포함하는 전자 장치.
  6. 제 1 항에 있어서,
    상기 제어 회로는,
    하나의 이미지 프레임에 대한 압축 데이터의 크기 및 하나의 이미지 프레임에 대한 픽셀 정보 데이터의 크기를 합산한 크기와, 상기 인터페이스가 한 주기 동안 데이터를 전송할 수 있는 최대 용량을 확인하고,
    상기 합산한 크기가 상기 최대 용량을 초과하는 경우, 상기 인터페이스가 데이터를 전송하는 한 주기 동안, 상기 하나의 이미지 프레임에 대한 픽셀 정보 데이터가 분할된 분할 데이터와 상기 하나의 이미지 프레임에 대한 압축 데이터를 결합하는 프레임 인터리빙(frame interleaving) 방식을 상기 압축 데이터 및 상기 픽셀 정보 데이터를 결합하는 방식으로 결정하도록 설정된 전자 장치.
  7. 제 6 항에 있어서,
    상기 제어 회로는,
    상기 프레임 인터리빙 방식을 상기 압축 데이터 및 상기 픽셀 정보 데이터를 결합하는 방식으로 결정하는 경우, 상기 하나의 이미지 프레임에 대한 픽셀 정보 데이터를, 상기 이미지 센서가 상기 원시 이미지를 전송하는 속도를 상기 픽셀 정보 데이터를 처리하기 위한 속도로 나눈 값에 실질적으로 대응하는 개수의 분할 데이터로 분할하도록 설정된 전자 장치.
  8. 제 6 항에 있어서,
    상기 제어 회로는,
    상기 프레임 인터리빙 방식을 상기 압축 데이터 및 상기 픽셀 정보 데이터를 결합하는 방식으로 결정하고 상기 픽셀 정보 데이터의 종류가 복수인 경우, 상기 제어 회로가 상기 인터페이스가 데이터를 전송하는 한 주기 동안, 상기 하나의 이미지 프레임에 대한 복수의 종류 각각에 대응하는 픽셀 정보 데이터가 분할된 데이터와 상기 하나의 이미지 프레임에 대한 압축 데이터를 결합하도록 설정된 전자 장치.
  9. 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터를 전송하는 방법에 있어서,
    이미지 센서를 포함하는 이미 센서 모듈에 포함된 제어 회로에 의해 외부 객체 촬영을 위한 신호를 수신하는 동작;
    상기 제어 회로에 의해, 상기 이미지 센서를 이용하여, 상기 외부 객체에 대한 복수의 원시 이미지 데이터를 획득하는 동작;
    상기 제어 회로에 의해, 상기 획득된 상기 복수의 원시 이미지 데이터의 적어도 일부를 이용하여, 상기 이미지 센서 모듈과 전기적으로 연결되고 상기 제어 회로와 인터페이스로 연결된 프로세서의 상기 촬영의 제어와 관련된 픽셀 정보 데이터를 생성하는 동작;
    상기 제어 회로에 의해, 상기 복수의 원시 이미지 데이터 중 적어도 일부가 압축된 압축 데이터를 생성하는 동작;
    상기 프로세서 또는 상기 제어 회로에서 지정된 전송 주기에 따라 상기 픽셀 정보 데이터를 상기 프로세서로 전송하는 동작; 및
    상기 압축 데이터를 상기 프로세서로 전송하는 동작을 포함하는 방법.
  10. 제 9 항에 있어서,
    상기 픽셀 정보 데이터를 압축하여 압축된 픽셀 정보 데이터를 생성하는 동작을 더 포함하고,
    상기 결정된 상기 전송 주기에 따라 상기 픽셀 정보 데이터를 상기 프로세서로 전송하는 동작은,
    상기 압축된 픽셀 정보 데이터의 압축률이 지정된 압축률을 만족하는 것에 기반하여, 상기 압축된 픽셀 정보 데이터를 상기 프로세서로 전송하는 동작; 및
    상기 압축률이 상기 지정된 압축률을 만족하지 않는 것에 기반하여 압축되지 않은 상기 픽셀 정보 데이터를 상기 프로세서로 전송하는 동작을 포함하는 방법.
  11. 제 9 항에 있어서,
    상기 프로세서 또는 상기 제어 회로에서 지정된 전송 주기에 따라 상기 픽셀 정보 데이터를 상기 프로세서로 전송하는 동작은, 상기 픽셀 정보 데이터의 크기가 지정된 크기 미만인 경우, 상기 픽셀 정보 데이터를 압축함 없이 상기 프로세서로 전송하는 동작을 더 포함하고,
    상기 픽셀 정보 데이터를 압축하여 압축된 픽셀 정보 데이터를 생성하는 동작은, 상기 픽셀 정보 데이터의 크기가 지정된 크기 이상인 경우, 상기 픽셀 정보 데이터를 압축하는 동작을 더 포함하는 방법.
  12. 제 9 항에 있어서,
    상기 이미지 센서는, 둘 이상의 감광 다이오드가 배치된 픽셀을 포함하는 듀얼 픽셀 이미지 센서를 포함하고,
    상기 복수의 원시 이미지 데이터의 상기 적어도 일부에서 확인된 상기 배치에 따라 유발된 위상 차에 기반하여, 상기 픽셀 정보 데이터를 생성하도록 설정된 방법.
  13. 제 9 항에 있어서,
    상기 프로세서 또는 상기 제어 회로에서 지정된 전송 주기에 따라 상기 픽셀 정보 데이터를 상기 프로세서로 전송하는 동작은,
    하나의 이미지 프레임에 대한 압축 데이터의 크기 및 하나의 이미지 프레임에 대한 픽셀 정보 데이터의 크기를 합산한 크기와, 상기 인터페이스가 한 주기 동안 데이터를 전송할 수 있는 최대 용량을 확인하는 동작; 및
    상기 합산한 크기가 상기 최대 용량을 초과하는 경우, 상기 인터페이스가 데이터를 전송하는 한 주기 동안, 상기 하나의 이미지 프레임에 대한 픽셀 정보 데이터가 분할된 분할 데이터와 상기 하나의 이미지 프레임에 대한 압축 데이터를 결합하는 프레임 인터리빙(frame interleaving) 방식을 상기 압축 데이터 및 상기 픽셀 정보 데이터를 결합하는 방식으로 결정하는 동작을 더 포함하는 방법.
  14. 제 13 항에 있어서,
    상기 프레임 인터리빙 방식을 상기 압축 데이터 및 상기 픽셀 정보 데이터를 결합하는 방식으로 결정하는 경우, 상기 하나의 이미지 프레임에 대한 픽셀 정보 데이터를, 상기 이미지 센서가 상기 원시 이미지를 전송하는 속도를 상기 픽셀 정보 데이터를 처리하기 위한 속도로 나눈 값에 실질적으로 대응하는 개수의 분할 데이터로 분할하는 동작을 더 포함하는 방법.
  15. 제 13 항에 있어서,
    상기 프레임 인터리빙 방식을 상기 압축 데이터 및 상기 픽셀 정보 데이터를 결합하는 방식으로 결정하고 상기 픽셀 정보 데이터의 종류가 복수인 경우,
    상기 프로세서 또는 상기 제어 회로에서 지정된 전송 주기에 따라 상기 픽셀 정보 데이터를 상기 프로세서로 전송하는 동작은, 상기 인터페이스가 데이터를 전송하는 한 주기 동안, 상기 하나의 이미지 프레임에 대한 복수의 종류 각각에 대응하는 픽셀 정보 데이터가 분할된 데이터와 상기 하나의 이미지 프레임에 대한 압축 데이터를 결합하는 동작을 더 포함하는 방법.
PCT/KR2018/006338 2017-07-20 2018-06-04 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터의 크기에 기반하여, 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터를 전송하는 방법 및 이를 지원하는 전자 장치 WO2019017586A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/632,498 US11240457B2 (en) 2017-07-20 2018-06-04 Method for transmitting image data and data associated with control of image capture, on basis of size of image data and size of data associated with control of image capture, and electronic device supporting same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170092210A KR102434417B1 (ko) 2017-07-20 2017-07-20 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터의 크기에 기반하여, 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터를 전송하는 방법 및 이를 지원하는 전자 장치
KR10-2017-0092210 2017-07-20

Publications (1)

Publication Number Publication Date
WO2019017586A1 true WO2019017586A1 (ko) 2019-01-24

Family

ID=65016641

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/006338 WO2019017586A1 (ko) 2017-07-20 2018-06-04 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터의 크기에 기반하여, 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터를 전송하는 방법 및 이를 지원하는 전자 장치

Country Status (3)

Country Link
US (1) US11240457B2 (ko)
KR (1) KR102434417B1 (ko)
WO (1) WO2019017586A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115696059A (zh) * 2021-07-28 2023-02-03 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN114449165B (zh) * 2021-12-27 2023-07-18 广州极飞科技股份有限公司 拍照控制方法、装置、无人设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060083610A (ko) * 2005-01-18 2006-07-21 삼성전자주식회사 영상데이터 압축기 및 압축방법
KR20110013072A (ko) * 2009-07-31 2011-02-09 엘지전자 주식회사 압축 파일 생성 방법 및 장치, 이와 관련된 카메라 모듈 및 이를 포함하는 단말기
JP2012090357A (ja) * 2002-02-21 2012-05-10 Candela Microsystems Inc 画像を転送する方法、イメージ・センサシステム、およびイメージ・センサ
KR20130094633A (ko) * 2012-02-16 2013-08-26 삼성전자주식회사 카메라의 프레임 이미지 전송 장치 및 방법
KR20170067634A (ko) * 2015-12-08 2017-06-16 삼성전자주식회사 촬영 장치 및 촬영 장치를 이용한 초점 검출 방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI109391B (fi) 2000-12-08 2002-07-15 Nokia Corp Menetelmä ja laite tiedonsiirtoon
KR100772376B1 (ko) * 2005-06-23 2007-11-01 삼성전자주식회사 화상형성장치 및 방법
US7773127B2 (en) * 2006-10-13 2010-08-10 Apple Inc. System and method for RAW image processing
KR101652149B1 (ko) 2010-05-26 2016-08-29 퀄컴 인코포레이티드 카메라 파라미터 지원 비디오 프레임 레이트 상향 변환
JP5630146B2 (ja) * 2010-08-23 2014-11-26 ソニー株式会社 撮像装置、撮像装置の制御方法およびプログラム。
US9521395B2 (en) * 2011-10-04 2016-12-13 Canon Kabushiki Kaisha Imaging apparatus and method for controlling same
EP2860958B1 (en) * 2012-05-31 2019-08-07 Olympus Corporation Imaging device, recording medium recording image files, recording method and program
US9568985B2 (en) 2012-11-23 2017-02-14 Mediatek Inc. Data processing apparatus with adaptive compression algorithm selection based on visibility of compression artifacts for data communication over camera interface and related data processing method
US9693010B2 (en) * 2014-03-11 2017-06-27 Sony Corporation Method, electronic device, and server for generating digitally processed pictures
JP6406949B2 (ja) * 2014-09-12 2018-10-17 キヤノン株式会社 画像処理装置及び画像処理方法
CN107079130B (zh) * 2014-09-12 2020-03-31 佳能株式会社 图像处理设备和图像处理方法
JP6465613B2 (ja) * 2014-10-10 2019-02-06 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法、コンピュータプログラム
JP6603558B2 (ja) * 2015-11-25 2019-11-06 キヤノン株式会社 撮像素子および撮像装置
US10264174B2 (en) 2015-12-08 2019-04-16 Samsung Electronics Co., Ltd. Photographing apparatus and focus detection method using the same
US10075640B2 (en) * 2015-12-31 2018-09-11 Sony Corporation Motion compensation for image sensor with a block based analog-to-digital converter
KR20180074392A (ko) 2016-12-23 2018-07-03 삼성전자주식회사 이미지를 촬영하는 센서 및 그 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012090357A (ja) * 2002-02-21 2012-05-10 Candela Microsystems Inc 画像を転送する方法、イメージ・センサシステム、およびイメージ・センサ
KR20060083610A (ko) * 2005-01-18 2006-07-21 삼성전자주식회사 영상데이터 압축기 및 압축방법
KR20110013072A (ko) * 2009-07-31 2011-02-09 엘지전자 주식회사 압축 파일 생성 방법 및 장치, 이와 관련된 카메라 모듈 및 이를 포함하는 단말기
KR20130094633A (ko) * 2012-02-16 2013-08-26 삼성전자주식회사 카메라의 프레임 이미지 전송 장치 및 방법
KR20170067634A (ko) * 2015-12-08 2017-06-16 삼성전자주식회사 촬영 장치 및 촬영 장치를 이용한 초점 검출 방법

Also Published As

Publication number Publication date
US20200236317A1 (en) 2020-07-23
US11240457B2 (en) 2022-02-01
KR102434417B1 (ko) 2022-08-22
KR20190010051A (ko) 2019-01-30

Similar Documents

Publication Publication Date Title
WO2020032555A1 (en) Electronic device and method for providing notification related to image displayed through display and image stored in memory based on image analysis
WO2020171583A1 (en) Electronic device for stabilizing image and method for operating same
WO2020091262A1 (ko) 인공 신경망을 이용한 이미지 처리 방법 및 이를 지원하는 전자 장치
WO2021141445A1 (en) Method of improving image quality in zoom scenario with single camera, and electronic device including the same
WO2020032464A1 (en) Method for processing image based on scene recognition of image and electronic device therefor
WO2019017641A1 (ko) 전자 장치 및 전자 장치의 이미지 압축 방법
WO2019074252A1 (en) METHOD AND ELECTRONIC DEVICE FOR PROCESSING A CAMERA-ACQUIRED RAW IMAGE USING AN EXTERNAL ELECTRONIC DEVICE
WO2019164185A1 (en) Electronic device and method for correcting image corrected in first image processing scheme in external electronic device in second image processing scheme
WO2021133025A1 (en) Electronic device comprising image sensor and method of operation thereof
WO2021125645A1 (ko) 화이트 밸런스를 제공하는 방법 및 이를 지원하는 전자 장치
WO2020032497A1 (en) Method and apparatus for incorporating noise pattern into image on which bokeh processing has been performed
WO2020159262A1 (en) Electronic device and method for processing line data included in image frame data into multiple intervals
WO2019143050A1 (en) Electronic device and method for controlling autofocus of camera
WO2022102972A1 (ko) 이미지 센서를 포함하는 전자 장치 및 그 동작 방법
WO2019208915A1 (ko) 외부 장치의 자세 조정을 통해 복수의 카메라들을 이용하여 이미지를 획득하는 전자 장치 및 방법
WO2019017586A1 (ko) 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터의 크기에 기반하여, 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터를 전송하는 방법 및 이를 지원하는 전자 장치
WO2019059635A1 (ko) 하나의 이미지 센서를 통해 획득된 rgb 이미지와 ir 이미지를 이용하여 기능을 제공하는 전자 장치
WO2019054626A1 (ko) 제 1 이미지 센서에서 제공된 신호를 이용하여 제 2 이미지 센서에서 데이터를 획득하는 방법 및 전자 장치
WO2019054610A1 (ko) 복수의 이미지 센서들을 제어하기 위한 전자 장치 및 방법
WO2019107769A1 (ko) 이미지 센서의 리드 아웃 속도에 따라 이미지 데이터를 선택적으로 압축하는 전자 장치 및 그의 운용 방법
WO2020145482A1 (en) Electronic device for controlling frame rate of image sensor and method thereof
WO2019160262A1 (ko) 전자 장치 및 전자 장치의 이미지 처리 방법
WO2022260252A1 (ko) 카메라 모듈을 포함하는 전자 장치 및 그 전자 장치의 동작 방법
WO2022108201A1 (ko) 영상을 제공하는 방법 및 이를 지원하는 전자 장치
WO2021210875A1 (ko) 다중 포토다이오드 센서에 의해 획득된 서브 이미지들의 차이에 기반하여 이미지의 결함을 검출하는 전자 장치 및 이의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18836147

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18836147

Country of ref document: EP

Kind code of ref document: A1