WO2018164411A1 - 카메라 모듈을 구비한 전자 장치 및 전자 장치 제어 방법 - Google Patents

카메라 모듈을 구비한 전자 장치 및 전자 장치 제어 방법 Download PDF

Info

Publication number
WO2018164411A1
WO2018164411A1 PCT/KR2018/002450 KR2018002450W WO2018164411A1 WO 2018164411 A1 WO2018164411 A1 WO 2018164411A1 KR 2018002450 W KR2018002450 W KR 2018002450W WO 2018164411 A1 WO2018164411 A1 WO 2018164411A1
Authority
WO
WIPO (PCT)
Prior art keywords
external object
phase difference
information
difference information
electronic device
Prior art date
Application number
PCT/KR2018/002450
Other languages
English (en)
French (fr)
Inventor
강화영
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US16/491,725 priority Critical patent/US11196945B2/en
Publication of WO2018164411A1 publication Critical patent/WO2018164411A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets

Definitions

  • Various embodiments of the present disclosure relate to an electronic device having a camera module and a method for controlling the electronic device.
  • the electronic device may, for example, extract depth information on the detected user gesture and perform a function of controlling the electronic device based on the extracted information.
  • the electronic device may extract depth information on a user gesture by using a dual camera and an infrared sensor.
  • depth information on a user gesture may be extracted from information between two images obtained from the dual camera.
  • depth information about a user gesture may be extracted through image analysis of an IR pattern or phase difference information between reception and transmission of an IR signal.
  • the electronic device may require high power consumption because the dual camera needs to be driven.
  • the IR sensor is affected by the external environment, the precision of extracting the depth information of the user gesture may be reduced.
  • the electronic device may provide an image sensor optimized to recognize an external object at low power.
  • the electronic device may provide an image sensor composed of pixels including a plurality of light receiving parts to operate as a sensor for recognizing an external object.
  • a camera module may be functionally connected to an image sensor including a first pixel including a plurality of first light receivers and a second pixel including a plurality of second light receivers, and the image sensor.
  • an operation unit capable of measuring depth information, wherein the operation unit comprises: a first signal corresponding to a first portion of an external object using the plurality of first light receivers, and the plurality of second light receivers; Acquire a second signal corresponding to the second portion of the external object, check first phase difference information corresponding to the first signal and second phase difference information corresponding to the second signal, and determine the first phase difference information and the Determine position information on the first portion and the second portion based at least on second phase difference information, and the position information is connected to the camera; It may be configured to provide to an external processor of the module.
  • an electronic device may include a camera module for recognizing an external object, a memory, and a processor electrically connected to the camera module and the memory, wherein the processor may be configured to recognize the external object.
  • the controller may be configured to acquire location information of at least a portion of an external object, determine a movement of the external object based on the location information, and perform a control function of the electronic device corresponding to the movement.
  • a method of controlling an electronic device having a camera module may include a first pixel including a plurality of first light receivers constituting an image sensor and a second pixel including a plurality of second light receivers. Recognizing an external object by using the plurality of first light receivers, a first signal corresponding to a first portion of the recognized external object by using the plurality of first light receivers, and a first signal of the recognized external object by using the second light receivers.
  • Acquiring a second signal corresponding to two portions acquiring first phase difference information corresponding to the first signal and second phase difference information corresponding to the second signal, the first phase difference information and the second Determining position information for the first portion and the second portion based at least on phase difference information, and converting the position information to an external processor of the camera module. It may include an operation to provide a.
  • the electronic device may recognize an external object at low power through an image sensor including pixels including a plurality of light receiving units.
  • the electronic device may accurately extract phase difference information about an external object at a short distance through an image sensor including pixels including a plurality of light receiving units.
  • the electronic device may easily recognize an external object through an image sensor including a module for adjusting exposure based on context information.
  • FIG. 1 is a block diagram of an electronic device according to various embodiments of the present disclosure.
  • FIG. 2 is a block diagram of an image sensor according to various embodiments of the present disclosure.
  • FIG. 3 is a block diagram illustrating an image sensor according to various embodiments of the present disclosure.
  • FIG. 4 is a schematic diagram of a unit pixel having a plurality of light receiving units in an image sensor according to various embodiments of the present disclosure.
  • FIG. 5 is a diagram illustrating a method of confirming phase difference information about an external object according to various embodiments of the present disclosure.
  • FIG. 6 is a diagram illustrating a method of recognizing an external object according to various embodiments of the present disclosure.
  • FIG. 7A is a diagram for describing a method of recognizing an external object using an image sensor according to various embodiments of the present disclosure.
  • 7B is a diagram illustrating a method of performing a function of an electronic device by using location information of an external object according to various embodiments of the present disclosure.
  • FIG. 8 is a diagram illustrating an example of utilizing an image sensor according to various embodiments of the present disclosure.
  • FIG. 9 is a block diagram of an electronic device according to various embodiments of the present disclosure.
  • FIG. 10 is a block diagram of a program module according to various embodiments of the present disclosure.
  • expressions such as “A or B,” “at least one of A or / and B,” or “one or more of A or / and B” may include all possible combinations of items listed together.
  • “A or B,” “at least one of A and B,” or “at least one of A or B,” includes (1) at least one A, (2) at least one B, Or (3) both of cases including at least one A and at least one B.
  • first,” “second,” “first,” or “second,” as used herein may modify various components, regardless of order and / or importance, and may form a component. It is used to distinguish it from other components and does not limit the components.
  • the first user device and the second user device may represent different user devices regardless of the order or importance.
  • the first component may be called a second component, and similarly, the second component may be renamed to the first component.
  • One component (such as a first component) is "(functionally or communicatively) coupled with / to" to another component (such as a second component) or " When referred to as “connected to”, it should be understood that any component may be directly connected to the other component or may be connected through another component (eg, a third component).
  • a component e.g., a first component
  • another component e.g., a second component
  • no other component e.g., a third component
  • the expression “configured to” as used in this document is, for example, “having the capacity to” depending on the context, for example, “suitable for,” “. It may be used interchangeably with “designed to,” “adapted to,” “made to,” or “capable of.”
  • the term “configured to” may not necessarily mean only “specifically designed to” in hardware. Instead, in some situations, the expression “device configured to” may mean that the device “can” along with other devices or components.
  • the phrase “processor configured (or configured to) perform A, B, and C” may be implemented by executing a dedicated processor (eg, an embedded processor) to perform its operation, or one or more software programs stored in a memory device. It may mean a general-purpose processor (eg, a CPU or an application processor) capable of performing corresponding operations.
  • An electronic device may include, for example, a smartphone, a tablet personal computer, a mobile phone, a video phone, and an e-book reader.
  • wearable devices may be accessory (eg, watches, rings, bracelets, anklets, necklaces, glasses, contact lenses, or head-mounted-devices (HMDs)), textiles, or clothing one-pieces (eg, it may include at least one of an electronic garment, a body attachment type (eg, a skin pad or a tattoo), or a living implantable type (eg, an implantable circuit).
  • HMDs head-mounted-devices
  • the electronic device may be a home appliance.
  • Home appliances are, for example, televisions, digital video disk (DVD) players, audio, refrigerators, air conditioners, vacuum cleaners, ovens, microwaves, washing machines, air purifiers, set-top boxes, home automation controls Panel (home automation control panel), security control panel, TV box (e.g. Samsung HomeSync TM , Apple TV TM , or Google TV TM ), game console (e.g. Xbox TM , PlayStation TM ), electronic dictionary It may include at least one of an electronic key, a camcorder, or an electronic picture frame.
  • DVD digital video disk
  • the electronic device may include a variety of medical devices (e.g., various portable medical measuring devices such as blood glucose meters, heart rate monitors, blood pressure meters, or body temperature meters), magnetic resonance angiography (MRA), magnetic resonance imaging (MRI), Such as computed tomography (CT), imaging or ultrasound, navigation devices, satellite navigation systems (global navigation satellite systems), event data recorders (EDRs), flight data recorders (FDRs), and automotive infotainment ) Devices, ship's electronic equipment (e.g.
  • Point of sales, point of sales, or Internet of things may include at least one.
  • an electronic device may be a piece of furniture or a building / structure, an electronic board, an electronic signature receiving device, a projector, or various measuring devices (eg, Water, electricity, gas, or radio wave measuring instrument).
  • the electronic device may be a combination of one or more of the aforementioned various devices.
  • An electronic device according to an embodiment may be a flexible electronic device.
  • the electronic device according to an embodiment of the present disclosure is not limited to the above-described devices, and may include a new electronic device according to technology development.
  • the term user may refer to a person who uses an electronic device or a device (eg, an artificial intelligence electronic device) that uses an electronic device.
  • a device eg, an artificial intelligence electronic device
  • FIG. 1 is a block diagram of an electronic device according to various embodiments of the present disclosure.
  • the electronic device 100 may include a wireless communication circuit 110, a memory 120, a touch screen display 130, a camera module 140, and a processor 150.
  • the wireless communication circuit 110 may connect communication between the electronic device 100 and an external electronic device.
  • the memory 120 may store a program for controlling the camera module 140 according to an operation mode (eg, a sensor mode and a photographing mode) of the camera module 140.
  • an operation mode eg, a sensor mode and a photographing mode
  • the memory 120 may store information about an external object (eg, location information and / or motion information about the external object) received from the camera module 140.
  • an external object eg, location information and / or motion information about the external object
  • the touch screen display 130 may be integrated with the display unit 131 and the touch panel 133.
  • the touch screen display 130 may display image data of an external object obtained from the camera module 140 as a preview image. Can be.
  • the camera module 140 may include an image sensor 141 and a calculator 143.
  • the camera module 140 may control the image sensor 141 differently according to an operation mode (eg, a sensor mode and a photographing mode).
  • the image sensor 141 may be configured of a plurality of pixels.
  • each of the plurality of pixels may include a plurality of light receiving parts (eg, at least two photodiodes).
  • the operation unit 143 may externally use the plurality of light receiving units included in each of the plurality of pixels constituting the image sensor 141.
  • the object may be recognized, and image data of the recognized external object may be generated.
  • the calculator 143 may check phase difference information on an external object by using a plurality of light receivers included in each of the pixels constituting the image sensor 141. For example, the calculator 143 may check phase difference information on each of the plurality of pixels, and determine position information on an external object based on the identified phase difference information.
  • the calculator 143 may provide the location information to an external processor (eg, the processor 150 of the electronic device 100 of FIG. 1) of the camera module 140 connected to the calculator 143.
  • an attribute value eg, a frame rate
  • the camera module 140 may generate image data of an external object using an optical signal obtained from all pixels or selected pixels of the image sensor 141 activated under the control of the processor 150.
  • the processor 150 may control an overall operation of the electronic device 100 and signal flow between internal components of the electronic device 100, perform data processing, and may configure the components in a battery.
  • the power supply to the furnace can be controlled.
  • the processor 150 may be transferred from the operation unit 143 of the camera module 140 to the external object. Location information may be received.
  • the processor 150 when the camera module 140 operates as a photographing mode for photographing an external object, the processor 150 includes all pixels of the image sensor 141 constituting the camera module 140. Alternatively, only the selected pixel may be controlled to be activated. The processor 150 may generate image data of the external object using an optical signal obtained from all pixels or selected pixels of the activated image sensor 141. In addition, the processor 150 may control the touch screen display 130 to display the generated image data as a preview image.
  • FIG. 2 is a block diagram of an image sensor according to various embodiments of the present disclosure.
  • the image sensor 200 may include an analog block 210, a digital control block 220, and a communication interface 230.
  • the image sensor 200 may be a component of a camera module (eg, the camera module 140 of FIG. 1) included in the electronic device (eg, the electronic device 100 of FIG. 1).
  • the image data may be generated and transferred to the processor 240 (eg, an image signal processor (ISP)).
  • ISP image signal processor
  • the analog block 210 may convert the light received through the lens into an electric signal and output the converted signal to the digital control block 220.
  • the analog block 210 may include a driver 211, a pixel array 212, and a readout circuit 213.
  • the driver 211 may control the pixel array 212 in units of rows, for example.
  • the driver 211 may output a control signal (eg, a selection signal, a reset signal, and a transmission signal) to the pixel array 212.
  • a control signal eg, a selection signal, a reset signal, and a transmission signal
  • the pixel array 212 may be configured of a plurality of unit pixels, each unit pixel comprising a plurality of sub-pixels, for example, a plurality of light receiving units (eg, At least two photodiodes may be included.
  • the image sensor 200 may output color information including at least one color information of R (red), G (green), and B (blue).
  • the readout circuit 213 may store, sense, amplify, and / or output a signal output from the pixel array 212.
  • the readout circuit 213 sequentially selects a plurality of column lines one by one, receives an electrical signal from the selected column line, and outputs the electrical signal to the digital control block 220.
  • the readout circuit 213 may include an analog-to-digital converter (ADC) 215 for converting and outputting an electric signal received from a selected column line into pixel data. It may include.
  • ADC analog-to-digital converter
  • the analog-digital converter 215 may be included in the digital control block 220 or may be included as a separate component.
  • the digital control block 220 may generate one image data by combining pixel data sequentially received from the readout circuit 213.
  • the digital control block 220 may check phase difference information on the external object based on the plurality of image data.
  • the digital control block 220 may check phase difference information on an external object by using a plurality of light receiving units constituting each subpixel.
  • the digital control block 220 may determine location information on the external object based on the phase difference information.
  • the processor 240 may control the image sensor 200 or the controller 222 using, for example, an inter-integrated circuit (I2C).
  • I2C inter-integrated circuit
  • the digital control block 220 may output image data and phase difference information to the processor 240 through the communication interface 230.
  • the digital control block 220 may further include a controller 222 configured to control the analog block 210, the analog-to-digital converter 215, and the memory 221.
  • the controller 222 may perform operations of the driver 211 (eg, a reset operation (eg, outputting a reset signal to pixels in the i-th column of pixels), and a transmission operation (eg, It is possible to control an operation of outputting a transmission signal to pixels of an i-th column among the pixels, and a row line selection operation (eg, outputting a selection signal to pixels of an i-th column of the pixels).
  • a reset operation eg, outputting a reset signal to pixels in the i-th column of pixels
  • a transmission operation eg, It is possible to control an operation of outputting a transmission signal to pixels of an i-th column among the pixels, and a row line selection operation (eg, outputting a selection signal to pixels of an i-th column of the pixels).
  • the memory 221 may store various commands necessary for the operation of the image sensor 200.
  • the controller 222 may generate one image data by combining pixel data sequentially received from the readout circuit 213 and store it in the memory 221.
  • the controller 222 may output image data and phase difference information stored in the memory 221 to the processor 240 through the communication interface 230.
  • the controller 222 may control the operation of the image sensor 200 according to the operation mode of the camera module.
  • the operation mode of the camera module may include a sensor mode and a photographing mode.
  • the sensor mode of the camera module is for recognizing an external object, and may have a high sensitivity, low power, low pixel, and / or low bit low-bit ADC (ADC).
  • the photographing mode of the camera module displays a preview screen for capturing an external object on a display (for example, the touch screen display 130 of FIG. 1), and the high definition, high power, high pixel, and / or high bit ADC (high-bit ADC).
  • the controller 222 may control the image sensor 200 to activate only some pixels of the pixel array 212.
  • the image sensor 200 may generate image data by using an optical signal obtained from the activated some pixels.
  • the controller 222 may determine the entire pixel of the pixel array 212 or attribute values (eg, frame rate and / or resolution) of the determined image.
  • the image sensor 200 may be controlled to activate only the selected pixel.
  • the image sensor 200 may generate image data by using an optical signal obtained from the entire activated pixels or the selected pixels.
  • the communication interface 230 connects the digital control block 220 to the processor 240 through at least one data line, and transmits a command of the processor 240 to the digital control block 220. ) Can be delivered.
  • the communication interface 230 may output location information about the external object determined by the digital control block 220 to the processor 240.
  • the communication interface 230 may be implemented in a serial communication scheme.
  • serial communication between the digital control block 220 and the processor 240 may support a mobile industry processor interface (MIPI) communication scheme.
  • MIPI mobile industry processor interface
  • the processor 240 may provide location information about the external object to an external processor (eg, the processor 150 of FIG. 1) of the camera module.
  • an external processor eg, the processor 150 of FIG. 1
  • FIG. 3 is a block diagram illustrating an image sensor according to various embodiments of the present disclosure.
  • the image sensor 300 may include a vision auto exposure (AE) module 310 and a pixel array 320 (eg, the pixel array 212 of FIG. 2). ), An ADC 330 (eg, ADC 215 of FIG. 2), and a phase difference calculation module 360.
  • AE vision auto exposure
  • An ADC 330 eg, ADC 215 of FIG. 2
  • the image sensor 300 may control the exposure of the recognized external object by using the vision AE module 310.
  • the vision AE module 310 may adjust an exposure time, an exposure sensitivity, and the like of the pixel array 320 for recognizing an external object based on the collected situation information (eg, ambient illumination information).
  • the pixel array 320 may include a plurality of unit pixels, and each unit pixel may include a plurality of light receiving units (eg, at least two photodiodes). .
  • the image sensor 300 may convert a signal obtained from pixels including a plurality of light receiving units (eg, at least two photodiodes) whose exposure time, exposure sensitivity, etc. are adjusted. 330).
  • a plurality of light receiving units eg, at least two photodiodes
  • the ADC 330 may operate at low power.
  • the camera module eg, the camera module 140 of FIG. 1
  • the ADC 330 may operate at low power.
  • the camera module eg, the camera module 140 of FIG. 1
  • the ADC 330 may operate at low power.
  • the image sensor 300 may identify phase difference information on an external object by using image data generated from a plurality of light receiving units, for example, a plurality of photodiodes, through the ADC 330. .
  • the image sensor 300 may acquire the high resolution phase difference information 340 by summing the generated phase difference information.
  • the image sensor 300 may acquire the high resolution phase difference information 340 by summing the phase difference information because the noise may increase when dark, and thus image data obtained from each of the plurality of light receiving units may not be distinguished. have.
  • the image sensor 300 may acquire the high sensitivity phase difference information 350 by summing the obtained high resolution phase difference information 340. As the high sensitivity phase difference information 350 is obtained, the image sensor 300 may have high sensitivity even at low illumination, so that the phase difference information on the external object may be accurately identified.
  • the phase difference calculation module 360 may calculate the phase difference with respect to the external object based on the obtained highly sensitive phase difference information 350.
  • the image sensor 300 may check the position information 370 of the external object based on the calculated phase difference, and may provide the same to the processor (eg, the processor 240 of FIG. 2).
  • the image sensor 300 may obtain the movement information 380 of the external object based on the location information 370 of the external object.
  • the image sensor 300 may provide the processor (eg, the processor 240 of FIG. 2) with the movement information 380 about the obtained external object.
  • the movement information may include at least one of a distance between the external object and the image sensor 300 and a movement speed of the external object.
  • a processor may externally receive location information 370 of the received external object and / or movement information 380 of the obtained external object. It may be provided to a processor (eg, the processor 150 of FIG. 1).
  • the electronic device may include location information and / or movement information about an external object received from a processor (eg, the processor 240 of FIG. 2).
  • the control function of the electronic device may be performed based on the control. Accordingly, the electronic device can recognize the external object or the movement of the external object at low power, and can control the electronic device without a direct input by the user.
  • the image sensor 300 may display the generated image data when the camera module operates in the photographing mode (eg, switch from the sensor mode to the photographing mode) (eg, the touch screen of FIG. 1).
  • the generated image data may be provided to an external processor (eg, the processor 150 of FIG. 1) for output 390 to the display 130.
  • FIG. 4 is a schematic diagram of a unit pixel having a plurality of light receiving units in an image sensor according to various embodiments of the present disclosure.
  • an image sensor (eg, the image sensor 300 of FIG. 3) may configure a plurality of unit pixels, and the plurality of unit pixels may be arranged in predetermined columns and rows to obtain image data for an external object.
  • a pixel array (eg, the pixel array 320 of FIG. 3) disposed as may be used.
  • the pixel array of the image sensor may include a plurality of unit pixels, each unit pixel including a plurality of light receiving units, for example, at least two photodiodes (eg, left photodiode 411). , right photodiode 412).
  • the unit pixel of the image sensor may include two photo diodes 411 and 412, a color filter 423, and a micro lens 421.
  • the microlens 421 may be formed to correspond to the photodiodes 411 and 412 on the color filter 423 while maintaining an inclination angle at which the color filters 423 are stacked.
  • the color filter 423 may be an R (red) filter, a G (green) filter, a B (blue) filter, or a yellow filter, a magenta filter, and a cyan filter. cyan) filter.
  • the color filter 423 may be formed on the photodiodes 411 and 412 based on the incident angle of the incident light, and may have a Bayer pattern.
  • the Bayer pattern may arrange filters that receive the brightness of each of red (R), green (G), and blue (B) on a two-dimensional plane to collect the brightness and color of an external object to form image data consisting of dots. have.
  • Each unit pixel forming the grid under the Bayer pattern color filter does not recognize the total natural color but recognizes only the assigned color among R (red), G (green), and B (blue) and interpolates it. Can be inferred.
  • the image sensor may identify phase difference information on an external object by using a plurality of light receivers that constitute one unit pixel. For example, referring to FIG. 4, the image sensor may check phase difference information on an external object by using two photo diodes 411 and 412 constituting one unit pixel.
  • the image sensor may include location information on the external object based on the phase difference information on the external object identified using the plurality of light receiving units configuring one unit pixel different from the identified phase difference information. Can be determined.
  • the image sensor may combine two photodiodes (eg, 411 and 412), such as 431. Can generate image data.
  • the unit pixel of the image sensor is illustrated as being composed of two photodiodes, the present invention is not limited thereto.
  • the unit pixel of the image sensor may be configured of four photodiodes.
  • FIG. 5 is a diagram illustrating a method of confirming phase difference information about an external object according to various embodiments of the present disclosure.
  • FIG. 5 is a graph illustrating a phase difference according to a distance between an image sensor (eg, the image sensor 300 of FIG. 3) and an external object.
  • an image sensor eg, the image sensor 300 of FIG. 3
  • the camera module detects from a plurality of light receiving units, eg, at least two photodiodes, included in each of the plurality of pixels constituting the image sensor.
  • the distance information between the image sensor and the external object may be obtained based on the phase difference information.
  • the phase difference between the phase information 510 of one photodiode of two photodiodes and the phase information 520 of the other photodiode of the two photodiodes is varied according to the distance between the image sensor and the external object. May occur. For example, when the distance between the image sensor and the external object is smaller than a threshold value, the phase information 510 of one photodiode of two photodiodes is located to the left of the phase information 520 of the other photodiode. Phase difference may occur.
  • phase difference when the distance between the image sensor and the external object corresponds to a threshold value, the phase difference does not occur in the form that the phase information 510 of one photodiode and the phase information 520 of the other photodiode match. You may not.
  • the phase information 510 of one photodiode of two photodiodes is located to the right of the phase information 520 of the other photodiode. Phase difference may occur.
  • the camera module may generate image data of the detected external object.
  • the camera module may acquire distance information between the image sensor and the external object based on phase information detected from two photodiodes, and control the electronic device based thereon. It may be determined whether the movement of the external object to perform is detected.
  • FIG. 6 is a diagram illustrating a method of recognizing an external object according to various embodiments of the present disclosure.
  • the camera module (eg, the camera module 140 of FIG. 1) may include a lens 611 (eg, the microlens 421 of FIG. 4) and a filter 613 (eg, the color filter of FIG. 4). 423), and an image sensor 615 (eg, the image sensor 300 of FIG. 3).
  • a lens 611 eg, the microlens 421 of FIG. 4
  • a filter 613 eg, the color filter of FIG. 4). 423
  • an image sensor 615 eg, the image sensor 300 of FIG. 3
  • the camera module may recognize the external object while the lens 611 is fixed.
  • the camera module may acquire an optical signal corresponding to the external object recognized through the image sensor 615.
  • the camera module may identify phase difference information on the external object by using a plurality of light receiving units included in each pixel of the pixel array of the image sensor 615, for example, at least two photodiodes.
  • the camera module may include a first photodiode (eg, left photodiode 411 of FIG. 4) and a second photodiode (eg, right photodiode 412 of FIG. 4) constituting first light-receiving units among the plurality of light-receiving units.
  • phase difference information on the external object based on at least two photodiodes (eg, a third photodiode and a fourth photodiode (not shown)) constituting the second light receivers.
  • the camera module may obtain distance information between the lens 611 and the external object based on the identified phase difference information.
  • the camera module may store the distance information in a memory (eg, the memory 221 of FIG. 2).
  • the camera module may detect that the distance between the lens 611 and the external object is changed 620 according to the movement of the external object.
  • the camera module may store distance change information according to the movement of the external object in a memory (eg, the memory 221 of FIG. 2).
  • the camera module may determine that the movement of the external object has occurred based on the distance change information 630, 640, and 650, and provide it to an external processor (eg, the processor 150 of FIG. 1).
  • FIG. 7A is a diagram for describing a method of recognizing an external object using an image sensor according to various embodiments of the present disclosure.
  • a camera module (eg, the camera module 140 of FIG. 1) may recognize an external object using a plurality of light receivers constituting an image sensor.
  • the camera module may control the exposure of the recognized external object using a vision AE module (eg, the vision AE module 310 of FIG. 3).
  • the vision AE module may adjust the exposure time, exposure sensitivity, and the like of the pixel array (eg, the pixel array 320 of FIG. 3) for recognizing an external object based on the collected situation information (eg, ambient illumination information).
  • the collected situation information eg, ambient illumination information
  • the camera module may operate in a binning mode that drives only some pixels adjusted through the vision AE module.
  • the camera module may recognize an external object using only the driven partial pixels in the binning mode.
  • the camera module may operate as a sensor for recognizing (detecting) an external object.
  • the image sensor included in the camera module may include a plurality of unit pixels, and each unit pixel may include a plurality of sub-pixels, for example, a plurality of light receiving units.
  • the camera module may recognize the external object by using the light information obtained from the plurality of light receivers.
  • the number of output bits of the signal conversion unit and the recognized external are optimized to recognize the external object.
  • the resolution and the number of frames of the image data for the object may be determined.
  • the camera module may operate as a sensor mode that determines an external object such as a high sensitivity, a low power, a low pixel, a low bit ADC by determining a resolution, an exposure time, a gain, a frame, and the like. Accordingly, according to various embodiments of the present disclosure, the image sensor may quickly recognize an external object with low power.
  • the camera module converts the light received through the lens into an electrical signal, outputs the digital signal through the ADC, and combines the image data sequentially received through the ADC into one image data. Can be generated.
  • the camera module may acquire a signal for the part of the external object recognized in operation 720.
  • the camera module may correspond to the first portion of the external object using pixels constituting the image sensor, for example, a plurality of light receiving units included in the first pixel, for example, a plurality of first light receiving units.
  • a first signal can be obtained.
  • the camera module may acquire a second signal corresponding to the second portion of the external object by using pixels constituting the image sensor, for example, a plurality of light receiving parts included in the second pixel, for example, a plurality of second light receiving parts. Can be.
  • the camera module may check phase difference information corresponding to the signal acquired in operation 730.
  • the camera module may identify phase difference information on an external object by using a plurality of light receiving units included in each pixel, for example, at least two photodiodes, through the ADC.
  • the camera module may identify first phase difference information corresponding to the first signal acquired in operation 720 and second phase difference information corresponding to the second signal.
  • the camera module may determine location information on the external object based on the phase difference information on the external object in operation 740.
  • the camera module may set a specific region of the external object as a region of interest (ROI) in the image data of the generated external object.
  • ROI region of interest
  • the ROI may be set by recognizing a face or a hand.
  • the camera module may perform at least one of focus, crop, image quality change, or exposure adjustment based on the set ROI.
  • the camera module may determine location information on the set ROI.
  • the camera module may detect the movement of the external object based on the identified phase difference information. For example, the camera module may check phase difference information from the plurality of image data obtained from the plurality of light receiving units, and store the phase difference information in a memory (eg, the memory 221 of FIG. 2).
  • a memory eg, the memory 221 of FIG. 2.
  • the camera module may acquire distance information between the image sensor and the external object based on phase difference information detected from a plurality of light receiving parts of the image sensor, for example, at least two photodiodes.
  • the camera module may determine whether the external object moves based on the obtained distance information.
  • the camera module may acquire motion information including at least one of a movement direction and a speed of the external object.
  • the camera module may acquire the motion information of the ROI based on the location information on the set ROI.
  • the camera module may provide location information about the external object (or the set ROI) to an external processor (eg, the processor 150 of FIG. 1) in operation 750.
  • the camera module may provide motion information regarding the movement of an external object (or a set ROI) to the external processor (eg, the processor 150 of FIG. 1).
  • 7B is a diagram for describing a method of performing a function of an electronic device using location information of an external object, according to various embodiments of the present disclosure.
  • the electronic device may receive location information about an external object from the camera module (eg, the camera module 140 of FIG. 1) in operation 760.
  • the electronic device may receive the external object (or a specific area (eg, ROI) of the external object) detected in the image data and the location information of the external object.
  • the electronic device may also receive motion information about the external object.
  • the electronic device may perform a function of controlling the electronic device based on the location information (and / or motion information) of the external object in operation 770.
  • the electronic device may perform a function of controlling the electronic device based on location information and / or motion information of an external object recognized through the camera module, for example, receiving a call or rejecting a call when a call is received. .
  • the function of controlling the electronic device may include functions of volume up, volume down, previous song playback, and next song playback when music is played.
  • the function of controlling the electronic device may include a function of zooming in, zooming out, playing back a previous image, and playing a next image when playing a photo.
  • FIG. 8 is a diagram illustrating an example of utilizing an image sensor according to various embodiments of the present disclosure.
  • the camera module (eg, the camera module 140 of FIG. 1) provided on the front of the electronic device (eg, the electronic device 100 of FIG. 1) may be an external object as shown in FIG. It can operate as an illuminance sensor and a proximity sensor as well as a photographing mode for photographing.
  • the camera module 811 provided on the front surface of the electronic device may detect proximity of an external object.
  • the camera module may provide information (eg, location information of the external object and / or motion information of the external object) to the electronic device.
  • the electronic device performs a function corresponding to the external object received from the camera module, for example, a function of turning off the display (eg, the touch screen display 130 of FIG. 1) of the electronic device. can do.
  • a user may perform a gesture for manipulating a function (eg, navigation) of an electronic device while driving a car or a bicycle.
  • the camera modules 821 and 831 provided on the front surface of the electronic device may recognize an external object, for example, a user's hand, and detect a gesture according to the movement of the recognized hand.
  • the camera modules 821 and 831 may provide information about the detected gesture to the electronic device.
  • the electronic device may perform a function of the electronic device corresponding to the gesture, for example, a navigation operation based on the information on the gesture received from the camera module (eg, switching of a screen displayed on the display, volume up, volume down, map search). And the like).
  • FIG. 9 is a block diagram of an electronic device according to various embodiments of the present disclosure.
  • the electronic device 901 may include, for example, all or part of the electronic device 100 illustrated in FIG. 1.
  • the electronic device 901 may include one or more processors (eg, AP) 910 (eg, processor 150 of FIG. 1), communication module 920 (eg, wireless communication circuitry 110 of FIG. 1), subscriber identification. Module 924, memory 930 (eg, memory 120 of FIG. 1), sensor module 940, input device 950, display 960 (eg, display 131 of FIG. 1), interface 970, audio module 980, camera module 991 (eg, camera module 140 of FIG. 1), power management module 995, battery 996, indicator 997, and motor 998. It may include.
  • the processor 910 eg, the processor 150 of FIG.
  • the processor 910 may control a plurality of hardware or software components connected to the processor 910, for example, by operating an operating system or an application program, and various data. Processing and operations can be performed.
  • the processor 910 may be implemented with, for example, a system on chip (SoC).
  • SoC system on chip
  • the processor 910 may further include a graphic processing unit (GPU) and / or an image signal processor.
  • the processor 910 may include at least some of the components illustrated in FIG. 1 (eg, the cellular module 921).
  • the processor 910 may load and process instructions or data received from at least one of other components (eg, nonvolatile memory) into the volatile memory, and store the result data in the nonvolatile memory.
  • the communication module 920 may include, for example, a cellular module 921, a WiFi module 923, a Bluetooth module 925, a GNSS module 927, an NFC module 928, and an RF module 929. have.
  • the cellular module 921 may provide, for example, a voice call, a video call, a text service, or an internet service through a communication network.
  • the cellular module 921 may perform identification and authentication of the electronic device 901 in a communication network using a subscriber identification module (eg, a SIM card) 924.
  • a subscriber identification module eg, a SIM card
  • the cellular module 921 may perform at least some of the functions that the processor 910 may provide.
  • the cellular module 921 may include a communication processor (CP).
  • CP communication processor
  • at least some (eg, two or more) of the cellular module 921, the WiFi module 923, the Bluetooth module 925, the GNSS module 927, or the NFC module 928 may be one integrated chip. (IC) or in an IC package.
  • the RF module 929 may transmit / receive, for example, a communication signal (eg, an RF signal).
  • the RF module 929 may include, for example, a transceiver, a power amp module (PAM), a frequency filter, a low noise amplifier (LNA), an antenna, or the like.
  • PAM power amp module
  • LNA low noise amplifier
  • At least one of the cellular module 921, the WiFi module 923, the Bluetooth module 925, the GNSS module 927, or the NFC module 928 may transmit and receive an RF signal through a separate RF module.
  • Subscriber identification module 924 may include, for example, a card or embedded SIM that includes a subscriber identification module, and may include unique identification information (eg, integrated circuit card identifier (ICCID)) or subscriber information (eg, IMSI). (international mobile subscriber identity)).
  • ICCID integrated circuit card identifier
  • IMSI international mobile subscriber identity
  • the memory 930 may include, for example, an internal memory 932 or an external memory 934.
  • the internal memory 932 may be, for example, volatile memory (for example, DRAM, SRAM, or SDRAM), nonvolatile memory (for example, one time programmable ROM (OTPROM), PROM, EPROM, EEPROM, mask ROM, flash ROM).
  • the flash memory may include at least one of a flash memory, a hard drive, or a solid state drive (SSD)
  • the external memory 934 may include a flash drive, for example, a compact flash (CF), and a secure digital (SD). ), Micro-SD, Mini-SD, extreme digital (xD), multi-media card (MMC), memory stick, etc.
  • the external memory 934 may be functionally connected to the electronic device 901 through various interfaces. Or physically connected.
  • the sensor module 940 may measure a physical quantity or detect an operation state of the electronic device 901 to convert the measured or detected information into an electrical signal.
  • the sensor module 940 includes, for example, a gesture sensor 940A, a gyro sensor 940B, an air pressure sensor 940C, a magnetic sensor 940D, an acceleration sensor 940E, a grip sensor 940F, and a proximity sensor ( 940G), color sensor 940H (e.g., red (green, blue) sensor), biometric sensor 940I, temperature / humidity sensor 940J, illuminance sensor 940K, or UV (ultra violet) ) At least one of the sensors 940M.
  • the sensor module 940 may include, for example, an e-nose sensor, an electromyography (EMG) sensor, an electrocardiogram (EEG) sensor, an electrocardiogram (ECG) sensor, Infrared (IR) sensors, iris sensors and / or fingerprint sensors.
  • the sensor module 940 may further include a control circuit for controlling at least one or more sensors belonging therein.
  • the electronic device 901 further includes a processor configured to control the sensor module 940 as part of or separately from the processor 910, while the processor 910 is in a sleep state, The sensor module 940 may be controlled.
  • the input device 950 may be, for example, the touch panel 952 (eg, the touch panel 133 of FIG. 1), the (digital) pen sensor 954, the key 956, or the ultrasonic input device 958. It may include.
  • the touch panel 952 may use at least one of capacitive, resistive, infrared, or ultrasonic methods, for example.
  • the touch panel 952 may further include a control circuit.
  • the touch panel 952 may further include a tactile layer to provide a tactile response to the user.
  • the (digital) pen sensor 954 may be, for example, part of a touch panel or may include a separate recognition sheet.
  • the key 956 may include, for example, a physical button, an optical key, or a keypad.
  • the ultrasonic input device 958 may detect ultrasonic waves generated by an input tool through a microphone (for example, the microphone 988) and check data corresponding to the detected ultrasonic waves.
  • Display 960 may include panel 962, hologram device 964, projector 966, and / or control circuitry to control them.
  • the panel 962 may be implemented to be, for example, flexible, transparent, or wearable.
  • the panel 962 may be configured as one or more modules with the touch panel 952 (eg, the touch panel 133 of FIG. 1).
  • the panel 962 may include a pressure sensor (or force sensor) capable of measuring the strength of the pressure with respect to the user's touch.
  • the pressure sensor may be integrated with the touch panel 952 or may be implemented with one or more sensors separate from the touch panel 952.
  • the hologram 964 may show a stereoscopic image in the air by using interference of light.
  • the projector 966 may display an image by projecting light onto a screen.
  • the screen may be located inside or outside the electronic device 901.
  • the interface 970 may include, for example, an HDMI 972, a USB 974, an optical interface 976, or a D-subminiature 978.
  • the interface 970 may include, for example, a mobile high-definition link (MHL) interface, an SD card / multi-media card (MMC) interface, or an infrared data association (IrDA) standard interface.
  • MHL mobile high-definition link
  • MMC multi-media card
  • IrDA infrared data association
  • the audio module 980 may bidirectionally convert, for example, a sound and an electrical signal.
  • the audio module 980 may process sound information input or output through, for example, a speaker 982, a receiver 984, an earphone 986, a microphone 988, or the like.
  • the camera module 991 (eg, the camera module 140 of FIG. 1) is, for example, a device capable of capturing still images and moving images.
  • the camera module 991 may include one or more image sensors (eg, a front sensor or Rear sensor) (eg, image sensor 141 of FIG. 1, image sensor 200 of FIG. 2, image sensor 300 of FIG. 3), lens, image signal processor (ISP), or flash (eg, LED or xenon lamps, etc.).
  • image sensors eg, a front sensor or Rear sensor
  • ISP image signal processor
  • flash eg, LED or xenon lamps, etc.
  • the power management module 995 may manage power of the electronic device 901, for example.
  • the power management module 995 may include a power management integrated circuit (PMIC), a charger IC, or a battery or fuel gauge.
  • the PMIC may have a wired and / or wireless charging scheme.
  • the wireless charging method may include, for example, a magnetic resonance method, a magnetic induction method, an electromagnetic wave method, or the like, and may further include additional circuits for wireless charging, such as a coil loop, a resonance circuit, a rectifier, and the like. have.
  • the battery gauge may measure, for example, the remaining amount of the battery 996, the voltage, the current, or the temperature during charging.
  • the battery 996 may include, for example, a rechargeable cell and / or a solar cell.
  • the indicator 997 may display a specific state of the electronic device 901 or a part thereof (for example, the processor 910), for example, a booting state, a message state, or a charging state.
  • the motor 998 may convert electrical signals into mechanical vibrations, and may generate vibrations or haptic effects.
  • the electronic device 901 may be, for example, a mobile TV support device capable of processing media data according to a standard such as digital multimedia broadcasting (DMB), digital video broadcasting (DVB), or mediaFlo TM . : GPU).
  • DMB digital multimedia broadcasting
  • DVD digital video broadcasting
  • mediaFlo TM . : GPU mediaFlo TM .
  • Each of the components described in this document may be composed of one or more components, and the names of the corresponding components may vary depending on the type of electronic device.
  • the electronic device eg, the electronic device 901) may include some components, omit additional components, or combine some of the components to form a single object. It is possible to perform the same function of the previous corresponding
  • FIG. 10 is a block diagram of a program module according to various embodiments of the present disclosure.
  • the program module 1010 may include an operating system for controlling resources related to the electronic device (for example, the electronic device 100) and / or various applications running on the operating system.
  • the operating system may include, for example, Android TM , iOS TM , Windows TM , Symbian TM , Tizen TM , or Bada TM .
  • the program module 1010 may include a kernel 1020, middleware 1030, an API 1060, and / or an application 1070. At least a part of the program module 1010 may be preloaded on the electronic device or may be downloaded from an external electronic device.
  • the kernel 1020 may include, for example, a system resource manager 1021 and / or a device driver 1023.
  • the system resource manager 1021 may perform control, allocation, or retrieval of system resources.
  • the system resource manager 1021 may include a process manager, a memory manager, or a file system manager.
  • the device driver 1023 may include, for example, a display driver, a camera driver, a Bluetooth driver, a shared memory driver, a USB driver, a keypad driver, a WiFi driver, an audio driver, or an inter-process communication (IPC) driver.
  • the middleware 1030 may provide various functions through the API 1060, for example, to provide functions commonly required by the application 1070 or to allow the application 1070 to use limited system resources inside the electronic device.
  • the middleware 1030 may include a runtime library 1035, an application manager 1041, a window manager 1042, a multimedia manager 1043, a resource manager 1044, a power manager 1045, and a database manager ( 1046, a package manager 1047, a connectivity manager 1048, a notification manager 1049, a location manager 1050, a graphic manager 1051, or a security manager 1052.
  • the runtime library 1035 may include, for example, a library module that the compiler uses to add new functionality through the programming language while the application 1070 is running.
  • the runtime library 1035 may perform input / output management, memory management, or arithmetic function processing.
  • the application manager 1041 may manage, for example, the life cycle of the application 1070.
  • the window manager 1042 may manage GUI resources used on the screen.
  • the multimedia manager 1043 may identify a format required for playing the media files, and may encode or decode the media file using a codec suitable for the format.
  • the resource manager 1044 may manage space of source code or memory of the application 1070.
  • the power manager 1045 may manage, for example, the capacity or power of the battery and provide power information necessary for the operation of the electronic device.
  • the power manager 1045 may interwork with a basic input / output system (BIOS).
  • the database manager 1046 may create, retrieve, or change a database to be used, for example, in the application 1070.
  • the package manager 1047 may manage installation or update of an application distributed in the form of a package file.
  • the connectivity manager 1048 may manage, for example, a wireless connection.
  • the notification manager 1049 may provide an event to the user, for example, an arrival message, an appointment, a proximity notification, and the like.
  • the location manager 1050 may manage location information of the electronic device, for example.
  • the graphic manager 1051 may manage, for example, graphic effects to be provided to a user or a user interface related thereto.
  • the security manager 1052 may provide system security or user authentication, for example.
  • the middleware 1030 may include a telephony manager for managing a voice or video call function of the electronic device or a middleware module capable of forming a combination of functions of the above-described components. .
  • the middleware 1030 may provide a module specialized for each type of operating system.
  • the middleware 1030 may dynamically delete some of the existing components or add new components.
  • the API 1060 is, for example, a set of API programming functions and may be provided in different configurations depending on the operating system. For example, in the case of Android or iOS, one API set may be provided for each platform, and in Tizen, two or more API sets may be provided for each platform.
  • the application 1070 is, for example, a home 1071, a dialer 1072, an SMS / MMS 1073, an instant message 1074, a browser 1075, a camera 1076, an alarm 1077. , Contact 1078, voice dial 1079, email 1080, calendar 1081, media player 1082, album 1083, watch 1084, health care (e.g., to measure exercise or blood sugar) Or an application for providing environmental information (eg, barometric pressure, humidity, or temperature information).
  • the application 1070 may include an information exchange application capable of supporting information exchange between the electronic device and the external electronic device.
  • the information exchange application may include, for example, a notification relay application for delivering specific information to the external electronic device, or a device management application for managing the external electronic device.
  • the notification delivery application may deliver notification information generated by another application of the electronic device to the external electronic device, or receive notification information from the external electronic device and provide the notification information to the user.
  • the device management application may be, for example, the ability of an external electronic device to communicate with the electronic device (e.g. turn-on / turn-off of the external electronic device itself (or some component) or the brightness (or resolution) of the display). Control), or install, delete, or update an application running on the external electronic device.
  • the application 1070 may include an application (eg, a health care application of a mobile medical device) designated according to an attribute of the external electronic device.
  • the application 1070 may include an application received from an external electronic device.
  • At least a portion of the program module 1010 may be implemented (eg, executed) in software, firmware, hardware (eg, the processor 910), or a combination of at least two or more thereof, and a module for performing one or more functions; It can include a program, routine, instruction set, or process.
  • module includes a unit composed of hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic blocks, components, or circuits.
  • the module may be an integrally formed part or a minimum unit or part of performing one or more functions.
  • Modules may be implemented mechanically or electronically, for example, application-specific integrated circuit (ASIC) chips, field-programmable gate arrays (FPGAs), or known or future developments that perform certain operations. It can include a programmable logic device.
  • ASIC application-specific integrated circuit
  • FPGAs field-programmable gate arrays
  • At least a portion of an apparatus (eg, modules or functions thereof) or method (eg, operations) may be stored on a computer-readable storage medium (eg, memory 120) in the form of a program module. It can be implemented as.
  • a processor eg, the processor 150
  • the processor may perform a function corresponding to the command.
  • Computer-readable recording media include hard disks, floppy disks, magnetic media (such as magnetic tape), optical recording media (such as CD-ROMs, DVDs, magnetic-optical media (such as floppy disks)), and internal memory. And the like. Instructions can include code generated by a compiler or code that can be executed by an interpreter. Modules or program modules according to various embodiments may include at least one or more of the above-described components, some may be omitted, or may further include other components.
  • operations performed by a module, program module, or other component may be executed sequentially, in parallel, repeatedly, or heuristically, or at least some of the operations may be executed in a different order, omitted, or another operation may be added. Can be.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 카메라 모듈을 구비한 전자 장치 및 전자 장치 제어 방법에 관한 것으로, 본 발명의 다양한 실시예에 따르면, 카메라 모듈은 복수의 제 1 수광부들을 포함하는 제 1 픽셀 및 복수의 제 2 수광부들을 포함하는 제 2 픽셀을 포함하는 이미지 센서, 및 상기 이미지 센서와 기능적으로 연결되고, 깊이 정보를 측정할 수 있는 연산부를 포함하고, 상기 연산부는, 상기 복수의 제 1 수광부들을 이용하여 외부 객체의 제 1 부분에 대응하는 제 1 신호, 및 상기 복수의 제 2 수광부들을 이용하여 상기 외부 객체의 제 2 부분에 대응하는 제 2 신호를 획득하고, 상기 제 1 신호에 대응하는 제 1 위상차 정보 및 상기 제2 신호에 대응하는 제 2 위상차 정보를 확인하고, 상기 제 1 위상차 정보 및 상기 제 2 위상차 정보에 적어도 기반하여, 상기 제 1 부분과 상기 제 2 부분에 대한 위치 정보를 결정하고, 및 상기 위치 정보를 상기 연산부와 연결된 상기 카메라 모듈의 외부 프로세서로 제공하도록 설정될 수 있다.

Description

카메라 모듈을 구비한 전자 장치 및 전자 장치 제어 방법
본 발명의 다양한 실시예는 카메라 모듈을 구비한 전자 장치 및 전자 장치 제어 방법에 관한 것이다.
전자 장치는 사용자 제스처가 감지되면, 예컨대, 감지된 사용자 제스처에 대한 깊이(depth) 정보를 추출하고, 이에 기초하여 전자 장치를 제어하는 기능을 수행할 수 있다. 예컨대, 전자 장치는 별도로 구비되는 듀얼 카메라, IR(infrared) 센서를 이용하여 사용자 제스처에 대한 depth 정보를 추출할 수 있다. 듀얼 카메라를 이용하는 경우, 상기 듀얼 카메라로부터 획득되는 두 개의 영상 간 정보로부터 사용자 제스처에 대한 depth 정보를 추출할 수 있다. 또한, IR 센서를 이용하는 경우, IR 패턴의 영상 분석 또는 IR 신호의 수신과 발신 간 위상차 정보를 통해 사용자 제스처에 대한 depth 정보를 추출할 수 있다.
하지만, 전술한 듀얼 카메라를 통해 사용자 제스처에 대한 depth 정보를 추출하는 경우, 상기 듀얼 카메라를 구동해야 하기 때문에 전자 장치는 높은 소비 전력이 요구될 수 있다. 또한, IR 센서를 이용하는 경우 외부 환경의 영향을 받기 때문에 사용자 제스처에 대한 depth 정보를 추출함에 있어서 정밀도가 떨어질 수 있다.
본 발명의 다양한 실시예에 따르면, 전자 장치는 저전력으로 외부 객체를 인식할 수 있도록 최적화된 이미지 센서를 제공할 수 있다. 예컨대, 전자 장치는 복수의 수광부들을 포함하는 픽셀로 구성된 이미지 센서를 외부 객체를 인식하기 위한 센서로서 동작하도록 제공할 수 있다
본 발명의 다양한 실시예에 따르면, 카메라 모듈은 복수의 제 1 수광부들을 포함하는 제 1 픽셀 및 복수의 제 2 수광부들을 포함하는 제 2 픽셀을 포함하는 이미지 센서, 및 상기 이미지 센서와 기능적으로 연결되고, 깊이 정보를 측정할 수 있는 연산부를 포함하고, 상기 연산부는, 상기 복수의 제 1 수광부들을 이용하여 외부 객체의 제 1 부분에 대응하는 제 1 신호, 및 상기 복수의 제 2 수광부들을 이용하여 상기 외부 객체의 제 2 부분에 대응하는 제 2 신호를 획득하고, 상기 제 1 신호에 대응하는 제 1 위상차 정보 및 상기 제2 신호에 대응하는 제 2 위상차 정보를 확인하고, 상기 제 1 위상차 정보 및 상기 제 2 위상차 정보에 적어도 기반하여, 상기 제 1 부분과 상기 제 2 부분에 대한 위치 정보를 결정하고, 상기 위치 정보를 상기 연산부와 연결된 상기 카메라 모듈의 외부 프로세서로 제공하도록 설정될 수 있다.
본 발명의 다양한 실시예에 따르면, 전자 장치는 외부 객체를 인식하기 위한 카메라 모듈, 메모리, 및 상기 카메라 모듈 및 상기 메모리와 전기적으로 연결된 프로세서를 포함하며, 상기 프로세서는, 상기 카메라 모듈로부터 인식된 상기 외부 객체의 적어도 일부에 대한 위치 정보를 획득하고, 상기 위치 정보에 기초하여, 상기 외부 객체의 움직임을 판단하고, 상기 움직임에 대응하는 상기 전자 장치의 제어 기능을 수행하도록 설정될 수 있다.
본 발명의 다양한 실시예에 따르면, 카메라 모듈을 구비한 전자 장치의 제어 방법은 이미지 센서를 구성하는 복수의 제1 수광부들을 포함하는 제1 픽셀 및 복수의 제2 수광부들을 포함하는 제2 픽셀을 이용하여 외부 객체를 인식하는 동작, 상기 복수의 제 1 수광부들을 이용하여 상기 인식된 외부 객체의 제 1 부분에 대응하는 제 1 신호, 및 상기 복수의 제 2 수광부들을 이용하여 상기 인식된 외부 객체의 제 2 부분에 대응하는 제 2 신호를 획득하는 동작, 상기 제 1 신호에 대응하는 제 1 위상차 정보 및 상기 제2 신호에 대응하는 제 2 위상차 정보를 확인하는 동작, 상기 제 1 위상차 정보 및 상기 제 2 위상차 정보에 적어도 기반하여, 상기 제 1 부분과 상기 제 2 부분에 대한 위치 정보를 결정하는 동작, 및 상기 위치 정보를 상기 카메라 모듈의 외부 프로세서로 제공하는 동작을 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, 전자 장치는 복수의 수광부들을 포함하는 픽셀로 구성된 이미지 센서를 통해 저전력으로 외부 객체를 인식할 수 있다.
본 발명의 다양한 실시예에 따르면, 전자 장치는 복수의 수광부들을 포함하는 픽셀로 구성된 이미지 센서를 통해 근거리에서의 외부 객체에 대한 위상차 정보를 정확하게 추출할 수 있다.
본 발명의 다양한 실시예에 따르면, 전자 장치는 상황 정보에 기초하여 노출을 조정하기 위한 모듈을 포함하는 이미지 센서를 통해 외부 객체를 용이하게 인식할 수 있다.
도 1은 본 발명의 다양한 실시예에 따른 전자 장치의 블록도이다.
도 2는 본 발명의 다양한 실시예에 따른 이미지 센서의 블록도이다.
도 3은 본 발명의 다양한 실시예에 따른 이미지 센서를 구체화한 블록도이다.
도 4는 본 발명의 다양한 실시예에 따른 이미지 센서에서 복수의 수광부들을 가지는 단위 픽셀의 개략도이다.
도 5는 본 발명의 다양한 실시예에 따른 외부 객체에 대한 위상차 정보를 확인하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 다양한 실시예에 따른 외부 객체를 인식하는 방법을 설명하기 위한 도면이다.
도 7a는 본 발명의 다양한 실시예에 따른 이미지 센서를 이용한 외부 객체를 인식하는 방법을 설명하기 위한 도면이다.
도 7b 본 발명의 다양한 실시예에 따른 외부 객체에 대한 위치 정보를 이용하여 전자 장치의 기능을 수행하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 다양한 실시예에 따른 이미지 센서의 활용예를 설명하기 위한 도면이다.
도 9는 본 발명의 다양한 실시예에 따른 전자 장치의 블록도이다.
도 10은 본 발명의 다양한 실시예에 따른 프로그램 모듈의 블록도이다.
이하, 본 문서의 다양한 실시예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 문서의 실시예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제 1," "제 2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제 1 사용자 기기와 제 2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시예들을 배제하도록 해석될 수 없다.
본 문서의 다양한 실시예들에 따른 전자 장치는, 예를 들면, 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있다. 다양한 실시예에 따르면, 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식형(예: implantable circuit) 중 적어도 하나를 포함할 수 있다.
어떤 실시예들에서, 전자 장치는 가전 제품(home appliance)일 수 있다. 가전 제품은, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), 홈 오토매이션 컨트롤 패널(home automation control panel), 보안 컨트롤 패널(security control panel), TV 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션(navigation) 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller's machine), 상점의 POS(point of sales), 또는 사물 인터넷 장치(internet of things)(예: 전구, 각종 센서, 전기 또는 가스 미터기, 스프링클러 장치, 화재경보기, 온도조절기(thermostat), 가로등, 토스터(toaster), 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다.
어떤 실시예에 따르면, 전자 장치는 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시예에서, 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 어떤 실시예에 따른 전자 장치는 플렉서블 전자 장치일 수 있다. 또한, 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않으며, 기술 발전에 따른 새로운 전자 장치를 포함할 수 있다.
이하, 첨부 도면을 참조하여, 다양한 실시예에 따른 전자 장치가 설명된다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 본 발명의 다양한 실시예에 따른 전자 장치의 블록도이다.
도 1을 참조하면, 전자 장치(100)는 무선 통신 회로(110), 메모리(120), 터치스크린 디스플레이(130), 카메라 모듈(140), 및 프로세서(150)를 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, 무선 통신 회로(110)는 전자 장치(100)와 외부 전자 장치 간의 통신을 연결할 수 있다.
본 발명의 다양한 실시예에 따르면, 메모리(120)는 카메라 모듈(140)의 동작 모드(예컨대, 센서 모드 및 촬영 모드)에 따른 상기 카메라 모듈(140)을 제어하기 위한 프로그램을 저장할 수 있다.
본 발명의 다양한 실시예에 따르면, 메모리(120)는 카메라 모듈(140)로부터 수신한 외부 객체에 대한 정보(예컨대, 외부 객체에 대한 위치 정보 및/또는 움직임 정보)를 저장할 수 있다.
본 발명의 다양한 실시예에 따르면, 터치스크린 디스플레이(130)는 표시부(131)와 터치패널(133)을 포함하는 일체형으로 구성될 수 있다.
본 발명의 다양한 실시예에 따르면, 터치스크린 디스플레이(130)는 카메라 모듈(140)이 촬영 모드로 동작하는 경우, 상기 카메라 모듈(140)로부터 획득되는 외부 객체에 대한 이미지 데이터를 프리뷰 이미지로 표시할 수 있다.
본 발명의 다양한 실시예에 따르면, 카메라 모듈(140)은 이미지 센서(141) 및 연산부(143)를 포함할 수 있다. 상기 카메라 모듈(140)은 동작 모드(예컨대, 센서 모드 및 촬영 모드)에 따라 상기 이미지 센서(141)를 상이하게 제어할 수 있다.
본 발명의 다양한 실시예에 따르면, 이미지 센서(141)는 복수의 픽셀들로 구성될 수 있다. 또한, 상기 복수의 픽셀들 각각은 복수의 수광부들(예컨대, 적어도 두 개 이상의 포토 다이오드)을 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, 카메라 모듈(140)이 센서 모드로 동작하는 경우, 연산부(143)는 이미지 센서(141)를 구성하는 복수의 픽셀들 각각에 포함된 복수의 수광부들을 이용하여 외부 객체를 인식하고, 상기 인식된 외부 객체에 대한 이미지 데이터를 생성할 수 있다.
예컨대, 연산부(143)는 이미지 센서(141)를 구성하는 복수의 픽셀들 각각에 포함된 복수의 수광부들을 이용하여 외부 객체에 대한 위상차 정보를 확인할 수 있다. 예컨대, 연산부(143)는 상기 복수의 픽셀들 각각에 대한 위상차 정보를 확인할 수 있으며, 상기 확인된 위상차 정보에 기초하여 외부 객체에 대한 위치 정보를 결정할 수 있다. 연산부(143)는 상기 위치 정보를 상기 연산부(143)와 연결된 상기 카메라 모듈(140)의 외부 프로세서(예컨대, 도 1의 전자 장치(100)의 프로세서(150))로 제공할 수 있다.
본 발명의 다양한 실시예에 따르면, 상기 카메라 모듈(140)이 촬영 모드로 동작하는 경우, 프로세서(150)의 제어 하에 상기 이미지 센서(141)의 전체 픽셀 또는 결정된 이미지의 속성값(예컨대, 프레임 레이트 및/또는 해상도)에 따라 선택된 픽셀만을 활성화할 수 있다. 예컨대, 카메라 모듈(140)은 프로세서(150)의 제어 하에 활성화된 이미지 센서(141)의 전체 픽셀 또는 선택된 픽셀로부터 획득되는 광 신호를 이용하여 외부 객체에 대한 이미지 데이터를 생성할 수 있다.
본 발명의 다양한 실시예에 따르면, 프로세서(150)는 전자 장치(100)의 전반적인 동작 및 전자 장치(100)의 내부 구성들 간의 신호 흐름을 제어하고, 데이터 처리를 수행하고, 배터리에서 상기 구성들로의 전원 공급을 제어할 수 있다.
본 발명의 다양한 실시예에 따르면, 카메라 모듈(140)이 외부 객체를 검출(인식)하기 위한 센서로서 동작하는 경우, 프로세서(150)는 상기 카메라 모듈(140)의 연산부(143)로부터 외부 객체에 대한 위치 정보를 수신할 수 있다.
본 발명의 다양한 실시예에 따르면, 카메라 모듈(140)이 외부 객체를 촬영하기 위한 촬영 모드로서 동작하는 경우, 프로세서(150)는 상기 카메라 모듈(140)을 구성하는 이미지 센서(141)의 전체 픽셀 또는 선택된 픽셀만을 활성화하도록 제어할 수 있다. 프로세서(150)는 활성화된 이미지 센서(141)의 전체 픽셀 또는 선택된 픽셀로부터 획득되는 광 신호를 이용하여 외부 객체에 대한 이미지 데이터를 생성할 수 있다. 또한, 프로세서(150)는 상기 생성된 이미지 데이터를 프리뷰 이미지로 표시하도록 터치스크린 디스플레이(130)를 제어할 수 있다.
도 2는 본 발명의 다양한 실시예에 따른 이미지 센서의 블록도이다.
도 2를 참조하면, 이미지 센서(200)(예컨대, 도 1의 이미지 센서(141))는 아날로그 블록(210), 디지털 컨트롤 블록(220), 및 통신 인터페이스(230)를 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, 이미지 센서(200)는 전자 장치(예컨대, 도 1의 전자 장치(100))에 구비된 카메라 모듈(예컨대, 도 1의 카메라 모듈(140))의 구성요소일 수 있으며, 이미지 데이터를 생성하여 프로세서(240)(예컨대, ISP(image signal processor))로 전달할 수 있다.
본 발명의 다양한 실시예에 따르면, 아날로그 블록(210)은 렌즈를 통해 수광된 빛을 전기 신호로 변환하여 디지털 컨트롤 블록(220)으로 출력할 수 있다. 예컨대, 상기 아날로그 블록(210)은 드라이버(driver)(211), 픽셀 어레이(pixel array)(212), 및 리드아웃 회로(readout circuit)(213)를 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, 드라이버(211)는 픽셀 어레이(212)를 예컨대, 행(row) 단위로 제어할 수 있다. 상기 드라이버(211)는 제어 신호(예컨대, 선택 신호, 리셋 신호, 및 전송 신호)를 픽셀 어레이(212)로 출력할 수 있다.
본 발명의 다양한 실시예에 따르면, 픽셀 어레이(212)는 복수의 단위 픽셀들로 구성될 수 있으며, 각각의 단위 픽셀은 복수의 서브 픽셀들(sub-pixels) 예컨대, 복수의 수광부들(예컨대, 적어도 두 개 이상의 포토 다이오드(photodiode))을 포함할 수 있다. 상기 이미지 센서(200)는 R(red), G(green), 및 B(blue) 중 적어도 하나의 색 정보를 포함하는 컬러 정보를 출력할 수 있다.
본 발명의 다양한 실시예에 따르면, 리드아웃 회로(213)는 픽셀 어레이(212)로부터 출력된 신호를 저장, 센싱, 증폭, 및/또는 출력할 수 있다.
본 발명의 다양한 실시예에 따르면, 리드아웃 회로(213)는 복수의 컬럼 라인들을 순차적으로 하나씩 선택하고, 선택된 컬럼 라인으로부터 전기 신호를 수신하여 디지털 컨트롤 블록(220)으로 출력할 수 있다.
본 발명의 다양한 실시예에 따르면, 리드아웃 회로(213)는 선택된 컬럼 라인으로부터 수신된 전기 신호를 픽셀 데이터로 변환하여 출력하는 아날로그-디지털 컨버터(ADC: analog-to-digital converter)(215)를 포함할 수 있다. 아날로그-디지털 컨버터(215)는 디지털 컨트롤 블록(220)에 포함되거나 또는 별도의 구성요소로 포함될 수 있다.
본 발명의 다양한 실시예에 따르면, 디지털 컨트롤 블록(220)은 리드아웃 회로(213)로부터 순차적으로 수신되는 픽셀 데이터들을 조합하여 하나의 이미지 데이터를 생성할 수 있다. 또한, 디지털 컨트롤 블록(220)은 다수의 이미지 데이터들에 기초하여 외부 객체에 대한 위상차 정보를 확인할 수 있다. 예컨대, 디지털 컨트롤 블록(220)은 각 서브 픽셀을 구성하는 복수의 수광부들을 이용하여 외부 객체에 대한 위상차 정보를 확인할 수 있다. 또한, 디지털 컨트롤 블록(220)은 상기 위상차 정보에 기초하여 외부 객체에 대한 위치 정보를 결정할 수 있다.
본 발명의 다양한 실시예에 따르면, 프로세서(240)는 예컨대, I2C(inter-integrated circuit)를 이용하여 이미지 센서(200) 또는 컨트롤러(222)를 제어할 수 있다.
본 발명의 다양한 실시예에 따르면, 디지털 컨트롤 블록(220)은 이미지 데이터와 위상차 정보를 통신 인터페이스(230)를 통해 프로세서(240)에 출력할 수 있다.
본 발명의 다양한 실시예에 따르면, 디지털 컨트롤 블록(220)은 아날로그 블록(210), 아날로그-디지털 컨버터(215), 및 메모리(221)를 제어하도록 구성된 컨트롤러(222)를 더 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, 컨트롤러(222)는 드라이버(211)의 동작(예컨대, 리셋 동작(예컨대, 픽셀들 중 i번째 열의 픽셀들에 리셋 신호를 출력하는 동작), 전송 동작(예컨대, 픽셀들 중 i번째 열의 픽셀들에 전송 신호를 출력하는 동작, 및 로우(row) 라인 선택 동작(예컨대, 픽셀들 중 i번째 열의 픽셀들에 선택 신호를 출력하는 동작))을 제어할 수 있다.
본 발명의 다양한 실시예에 따르면, 메모리(221)는 이미지 센서(200)의 동작에 필요한 다양한 명령을 저장할 수 있다.
본 발명의 다양한 실시예에 따르면, 컨트롤러(222)는 리드아웃 회로(213)로부터 순차적으로 수신되는 픽셀 데이터들을 조합하여 하나의 이미지 데이터를 생성하고, 이를 메모리(221)에 저장할 수 있다.
본 발명의 다양한 실시예에 따르면, 컨트롤러(222)는 메모리(221)에 저장된 이미지 데이터와 위상차 정보를 통신 인터페이스(230)를 통해 프로세서(240)로 출력할 수 있다.
본 발명의 다양한 실시예에 따르면, 컨트롤러(222)는 카메라 모듈의 동작 모드에 따라 이미지 센서(200)의 동작을 제어할 수 있다. 예컨대, 상기 카메라 모듈의 동작 모드는 센서 모드 및 촬영 모드를 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, 카메라 모듈의 센서 모드는 외부 객체를 인식하기 위한 것으로, 고감도, 저전력, 저화소, 및/또는 로우 비트의 ADC(low-bit ADC)를 가질 수 있다. 또한, 상기 카메라 모듈의 촬영 모드는 외부 객체를 촬영하기 위한 프리뷰 화면을 디스플레이(예컨대, 도 1의 터치스크린 디스플레이(130))에 표시하는 것으로, 고화질, 고전력, 고화소, 및/또는 하이 비트의 ADC(high-bit ADC)를 가질 수 있다.
본 발명의 다양한 실시예에 따르면, 컨트롤러(222)는 카메라 모듈이 센서 모드로 동작하는 경우, 픽셀 어레이(212)의 일부 픽셀만을 활성화하도록 상기 이미지 센서(200)를 제어할 수 있다. 이미지 센서(200)는 상기 활성화된 일부 픽셀로부터 획득되는 광 신호를 이용하여 이미지 데이터를 생성할 수 있다.
본 발명의 다양한 실시예에 따르면, 컨트롤러(222)는 카메라 모듈이 촬영 모드로 동작하는 경우, 픽셀 어레이(212)의 전체 픽셀 또는 결정된 이미지의 속성값(예컨대, 프레임 레이트 및/또는 해상도)에 따라 선택된 픽셀만을 활성화하도록 상기 이미지 센서(200)를 제어할 수 있다. 이미지 센서(200)는 상기 활성화된 전체 픽셀 또는 선택된 픽셀로부터 획득되는 광 신호를 이용하여 이미지 데이터를 생성할 수 있다.
본 발명의 다양한 실시예에 따르면, 통신 인터페이스(230)는 적어도 하나의 데이터 라인을 통해 디지털 컨트롤 블록(220)을 프로세서(240)에 연결하고, 상기 프로세서(240)의 명령을 디지털 컨트롤 블록(220)으로 전달할 수 있다.
본 발명의 다양한 실시예에 따르면, 통신 인터페이스(230)는 디지털 컨트롤 블록(220)에서 결정된 외부 객체에 대한 위치 정보를 프로세서(240)로 출력할 수 있다. 통신 인터페이스(230)는 직렬 통신 방식으로 구현될 수 있다. 예컨대, 디지털 컨트롤 블록(220)과 프로세서(240) 간의 직렬 통신은 MIPI(mobile industry processor interface) 통신 방식을 지원할 수 있다.
본 발명의 다양한 실시예에 따르면, 프로세서(240)는 상기 외부 객체에 대한 위치 정보를 상기 카메라 모듈의 외부 프로세서(예컨대, 도 1의 프로세서(150))로 제공할 수 있다.
도 3은 본 발명의 다양한 실시예에 따른 이미지 센서를 구체화한 블록도이다.
도 3을 참조하면, 이미지 센서(300)(예컨대, 도 2의 이미지 센서(200))는 vision AE(auto exposure) 모듈(310), 픽셀 어레이(320)(예컨대, 도 2의 픽셀 어레이(212)), ADC(330)(예컨대, 도 2의 ADC(215)), 및 위상차 연산 모듈(360)을 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, 이미지 센서(300)는 인식되는 외부 객체에 대한 노출을 vision AE 모듈(310)을 이용하여 제어할 수 있다. 예컨대, vision AE 모듈(310)은 수집된 상황 정보(예컨대, 주변 조도 정보)에 기초하여 외부 객체를 인식하기 위한 픽셀 어레이(320)의 노출 시간, 노출 감도 등을 조절할 수 있다.
본 발명의 다양한 실시예에 따르면, 픽셀 어레이(320)는 복수의 단위 픽셀들로 구성될 수 있으며, 각각의 단위 픽셀은 복수의 수광부들(예컨대, 적어도 두 개 이상의 포토 다이오드)을 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, 이미지 센서(300)는 노출 시간, 노출 감도 등이 조절된 복수의 수광부들(예컨대, 적어도 두 개 이상의 포토 다이오드)을 포함하는 픽셀들로부터 획득되는 신호를 ADC(330)로 출력할 수 있다.
본 발명의 다양한 실시예에 따르면, 상기 ADC(330)는 저전력으로 동작할 수 있다. 예컨대, 카메라 모듈(예컨대, 도 1의 카메라 모듈(140))이 센서 모드로 동작하는 경우, 외부 객체를 인식하는 동작만을 수행하기 때문에 상기 카메라 모듈의 촬영 모드에 따른 고해상도의 이미지(예컨대, 10bit)가 필요하지 않을 수 있다. 이에 따라, 상기 ADC(330)는 저전력으로 동작할 수 있다.
본 발명이 다양한 실시예에 따르면, 이미지 센서(300)는 ADC(330)를 통해 복수의 수광부들 예컨대, 복수의 포토 다이오드들로부터 생성된 이미지 데이터를 이용하여 외부 객체에 대한 위상차 정보를 확인할 수 있다. 예컨대, 이미지 센서(300)는 상기 생성된 위상차 정보를 합산하여 고해상도의 위상차 정보(340)를 획득할 수 있다. 예컨대, 어두워지는 경우 노이즈가 커져 복수의 수광부들 각각으로부터 획득된 이미지 데이터가 구분이 안될 수 있기 때문에, 이미지 센서(300)는 상기 위상차 정보를 합산하여 상기 고해상도의 위상차 정보(340)를 획득할 수 있다. 또한, 이미지 센서(300)는 상기 획득된 고해상도의 위상차 정보(340)를 합산하여 고감도의 위상차 정보(350)를 획득할 수 있다. 상기 고감도의 위상차 정보(350)를 획득함에 따라, 이미지 센서(300)는 저조도에서도 고감도 특성을 가질 수 있어 외부 객체에 대한 위상차 정보를 정확하게 확인할 수 있다.
본 발명의 다양한 실시예에 따르면, 위상차 연산 모듈(360)은 상기 획득된 고감도의 위상차 정보(350)에 기초하여 외부 객체에 대한 위상차를 계산할 수 있다. 이미지 센서(300)는 상기 계산된 위상차에 기초하여 외부 객체에 대한 위치 정보(370)를 확인할 수 있으며, 이를 프로세서(예컨대, 도 2의 프로세서(240))에 제공할 수 있다.
본 발명의 다양한 실시예에 따르면, 이미지 센서(300)는 상기 외부 객체에 대한 위치 정보(370)에 기초하여 상기 외부 객체에 대한 이동 정보(380)를 획득할 수 있다. 이미지 센서(300)는 상기 획득된 외부 객체에 대한 이동 정보(380)를 프로세서(예컨대, 도 2의 프로세서(240))에 제공할 수 있다. 예컨대, 상기 이동 정보는 상기 외부 객체와 상기 이미지 센서(300) 간 거리, 상기 외부 객체의 움직임 속도 중 적어도 하나를 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, 프로세서(예컨대, 도 2의 프로세서(240))는 상기 수신한 외부 객체에 대한 위치 정보(370) 및/또는 획득된 외부 객체에 대한 이동 정보(380)를 외부 프로세서(예컨대, 도 1의 프로세서(150))에 제공할 수 있다.
본 발명의 다양한 실시예에 따르면, 전자 장치(예컨대, 도 1의 전자 장치(100))는 프로세서(예컨대, 도 2의 프로세서(240))로부터 수신한 외부 객체에 대한 위치 정보 및/또는 이동 정보에 기초하여 상기 전자 장치의 제어 기능을 수행할 수 있다. 이에 따라, 전자 장치는 저전력으로 외부 객체 또는 상기 외부 객체의 움직임을 인식할 수 있으며, 사용자에 의한 직접적인 입력 없이도 전자 장치를 제어할 수 있다.
본 발명의 다양한 실시예에 따르면, 이미지 센서(300)는 카메라 모듈이 촬영 모드로 동작(예컨대, 센서 모드에서 촬영 모드로 전환)하는 경우, 생성된 이미지 데이터를 디스플레이(예컨대, 도 1의 터치스크린 디스플레이(130))에 출력(390)하도록 상기 생성된 이미지 데이터를 외부 프로세서(예컨대, 도 1의 프로세서(150))에 제공할 수 있다.
도 4는 본 발명의 다양한 실시예에 따른 이미지 센서에서 복수의 수광부들을 가지는 단위 픽셀의 개략도이다.
도 4를 참조하면, 이미지 센서(예컨대, 도 3의 이미지 센서(300))는 복수의 단위 픽셀들을 구성할 수 있으며, 외부 객체에 대한 이미지 데이터를 획득하기 위해 복수의 단위 픽셀들이 소정의 열과 행으로 배치된 픽셀 어레이(예컨대, 도 3의 픽셀 어레이(320))가 사용될 수 있다.
도 4의 <410>을 참조하면, 이미지 센서의 픽셀 어레이는 복수의 단위 픽셀들로 구성될 수 있으며, 각 단위 픽셀은 복수의 수광부들 예컨대, 적어도 두 개의 포토 다이오드(예컨대, left photodiode(411), right photodiode(412))를 포함할 수 있다.
도 4의 <420> 및 <430>을 참조하면, 이미지 센서의 단위 픽셀은 두 개의 포토 다이오드(411, 412), 컬러 필터(423), 및 마이크로 렌즈(421)를 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, 마이크로 렌즈(421)는 컬러 필터(423)가 적층되는 경사각을 유지하면서 상기 컬러 필터(423) 상에서 포토 다이오드(411, 412)에 대응되도록 형성될 수 있다.
본 발명의 다양한 실시예에 따르면, 컬러 필터(423)는 R(red) 필터, G(green) 필터, B(blue) 필터이거나, 또는 옐로우(yellow) 필터, 마젠타(magenta) 필터, 및 시안(cyan) 필터일 수 있다.
본 발명의 다양한 실시예에 따르면, 컬러 필터(423)는 입사광의 입사각에 기초하여 포토 다이오드(411, 412) 위에 형성될 수 있으며, 베이어 패턴을 가질 수 있다. 상기 베이어 패턴은 외부 객체의 밝기와 색상을 모아 점으로 이루어진 이미지 데이터를 만들기 위해 2차원 평면상에 R(red), G(green), B(blue) 각각의 밝기를 받아들이는 필터들을 배치할 수 있다. 베이어 패턴 컬러 필터 아래서 격자망을 형성하는 각각의 단위 픽셀들은 총 천연색을 인식하는 것이 아니라 R(red), G(green), B(blue) 중 할당된 색만을 인식하고 이를 보간(interpolate)하여 천연색을 유추해낼 수 있다.
본 발명의 다양한 실시예에 따르면, 이미지 센서는 하나의 단위 픽셀을 구성하는 복수의 수광부들을 이용하여 외부 객체에 대한 위상차 정보를 확인할 수 있다. 예컨대, 도 4의 <420>을 참조하면, 이미지 센서는 하나의 단위 픽셀을 구성하는 두 개의 포토 다이오드(411, 412)를 이용하여 외부 객체에 대한 위상차 정보를 확인할 수 있다.
본 발명의 다양한 실시예에 따르면, 이미지 센서는 상기 확인된 위상차 정보와 다른 하나의 단위 픽셀을 구성하는 복수의 수광부들을 이용하여 확인된 외부 객체에 대한 위상차 정보에 기초하여 상기 외부 객체에 대한 위치 정보를 결정할 수 있다.
본 발명의 다양한 실시예에 따르면, 도 4의 <430>에 도시된 바와 같이 이미지 캡쳐에 대한 입력이 감지되면, 이미지 센서는 431과 같이 두 개의 포토 다이오드(예컨대, 411, 412)를 조합하여 하나의 이미지 데이터를 생성할 수 있다.
본 발명의 다양한 실시예에 따르면, 이미지 센서의 단위 픽셀이 두 개의 포토 다이오드로 구성되는 것으로 도시하였지만, 이에 한정하는 것은 아니며, 이미지 센서의 단위 픽셀은 예컨대, 네 개의 포토 다이오드로 구성될 수 있다.
도 5는 본 발명의 다양한 실시예에 따른 외부 객체에 대한 위상차 정보를 확인하는 방법을 설명하기 위한 도면이다.
본 발명의 다양한 실시예에 따르면, 도 5는 이미지 센서(예컨대, 도 3의 이미지 센서(300))와 외부 객체 간 거리에 따른 위상차를 나타내는 그래프이다.
본 발명의 다양한 실시예에 따르면, 카메라 모듈(예컨대, 도 1의 카메라 모듈(140))은 이미지 센서를 구성하는 복수의 픽셀들 각각에 포함된 복수의 수광부들 예컨대, 적어도 두 개의 포토 다이오드로부터 검출되는 위상차 정보에 기초하여 상기 이미지 센서와 외부 객체 간의 거리 정보를 획득할 수 있다.
본 발명의 다양한 실시예에 따르면, 상기 이미지 센서와 상기 외부 객체 간 거리에 따라 두 개의 포토 다이오드 중 하나의 포토 다이오드의 위상 정보(510)와 다른 하나의 포토 다이오드의 위상 정보(520) 간 위상차가 발생할 수 있다. 예컨대, 상기 이미지 센서와 상기 외부 객체 간 거리가 임계값보다 작은 경우, 두 개의 포토 다이오드 중 하나의 포토 다이오드의 위상 정보(510)는 다른 하나의 포토 다이오드의 위상 정보(520)의 왼쪽에 위치하는 형태로 위상차가 발생할 수 있다. 또는, 상기 이미지 센서와 상기 외부 객체 간 거리가 임계값에 해당하는 경우, 하나의 포토 다이오드의 위상 정보(510)와 다른 하나의 포토 다이오드의 위상 정보(520)가 일치하는 형태로 위상차가 발생하지 않을 수 있다. 또는, 상기 이미지 센서와 상기 외부 객체 간 거리가 임계값보다 큰 경우, 두 개의 포토 다이오드 중 하나의 포토 다이오드의 위상 정보(510)는 다른 하나의 포토 다이오드의 위상 정보(520)의 오른쪽에 위치하는 형태로 위상차가 발생할 수 있다.
본 발명의 다양한 실시예에 따르면, 카메라 모듈은 상기 이미지 센서와 상기 외부 객체 간 거리가 임계값보다 작은 경우, 감지되는 외부 객체에 대한 이미지 데이터를 생성할 수 있다.
본 발명의 다양한 실시예에 따르면, 카메라 모듈은 두 개의 포토 다이오드로부터 검출되는 위상 정보에 기초하여 상기 이미지 센서와 상기 외부 객체 간의 거리 정보를 획득할 수 있으며, 이에 기초하여 전자 장치를 제어하는 기능을 수행하기 위한 상기 외부 객체의 움직임이 감지되는지 여부를 결정할 수 있다.
도 6은 본 발명의 다양한 실시예에 따른 외부 객체를 인식하는 방법을 설명하기 위한 도면이다.
도 6을 참조하면, 카메라 모듈(예컨대, 도 1의 카메라 모듈(140))은 렌즈(611)(예컨대, 도 4의 마이크로 렌즈(421)), 필터(613)(예컨대, 도 4의 컬러 필터(423)), 및 이미지 센서(615)(예컨대, 도 3의 이미지 센서(300))를 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, 카메라 모듈은 렌즈(611)가 고정된 상태에서 외부 객체를 인식할 수 있다. 카메라 모듈은 이미지 센서(615)를 통해 인식된 외부 객체에 대응하는 광 신호를 획득할 수 있다. 예컨대, 카메라 모듈은 이미지 센서(615)의 픽셀 어레이를 구성하는 각 픽셀들에 포함된 복수의 수광부들 예컨대, 적어도 두 개 이상의 포토 다이오드를 이용하여 상기 외부 객체에 대한 위상차 정보를 확인할 수 있다. 예컨대, 카메라 모듈은 상기 복수의 수광부들 중 제1 수광부들을 구성하는 제1 포토 다이오드(예컨대, 도 4의 left photodiode(411)) 및 제2 포토 다이오드(예컨대, 도 4의 right photodiode(412))와 제2 수광부들을 구성하는 적어도 두 개의 포토 다이오드(예컨대, 제3 포토 다이오드 및 제4 포토 다이오드(미도시))에 적어도 기반하여 외부 객체에 대한 위상차 정보를 확인할 수 있다. 카메라 모듈은 상기 확인된 위상차 정보에 기초하여 상기 렌즈(611)와 외부 객체 간의 거리 정보를 획득할 수 있다.
본 발명의 다양한 실시예에 따르면, 카메라 모듈은 상기 거리 정보를 메모리(예컨대, 도 2의 메모리(221))에 저장할 수 있다.
본 발명의 다양한 실시예에 따르면, 카메라 모듈은 외부 객체의 이동에 따라 렌즈(611)와 외부 객체 간의 거리가 변경(620)됨을 감지할 수 있다. 카메라 모듈은 상기 외부 객체의 이동에 따른 거리 변경 정보를 메모리(예컨대, 도 2의 메모리(221))에 저장할 수 있다. 카메라 모듈은 상기 거리 변경 정보(630, 640, 650)에 기초하여 외부 객체의 움직임 발생한 것으로 결정하고, 이를 외부 프로세서(예컨대, 도 1의 프로세서(150))에 제공할 수 있다.
도 7a는 본 발명의 다양한 실시예에 따른 이미지 센서를 이용한 외부 객체를 인식하는 방법을 설명하기 위한 도면이다.
도 7a를 참조하면, 카메라 모듈(예컨대, 도 1의 카메라 모듈(140))은 710동작에서 이미지 센서를 구성하는 복수의 수광부들을 이용하여 외부 객체를 인식할 수 있다.
본 발명의 다양한 실시예에 따르면, 카메라 모듈은 인식되는 외부 객체에 대한 노출을 vision AE 모듈(예컨대, 도 3의 vision AE 모듈(310))을 이용하여 제어할 수 있다. 예컨대, vision AE 모듈은 수집된 상황 정보(예컨대, 주변 조도 정보)에 기초하여 외부 객체를 인식하기 위한 픽셀 어레이(예컨대, 도 3의 픽셀 어레이(320))의 노출 시간, 노출 감도 등을 조절할 수 있다.
본 발명의 다양한 실시예에 따르면, 카메라 모듈은 상기 vision AE 모듈을 통해 조절된 일부 픽셀만을 구동하는 바이닝(bining) 모드로 동작할 수 있다. 카메라 모듈은 상기 바이닝 모드에서 상기 구동된 일부 픽셀만을 이용하여 외부 객체를 인식할 수 있다.
본 발명의 다양한 실시예에 따르면, 카메라 모듈은 외부 객체를 인식(검출)하기 위한 센서로서 동작할 수 있다. 상기 카메라 모듈에 포함된 이미지 센서는 복수의 단위 픽셀들로 구성될 수 있으며, 각 단위 픽셀은 복수의 서브 픽셀들(sub-pixels) 예컨대, 복수의 수광부들을 포함할 수 있다. 카메라 모듈은 상기 복수의 수광부들로부터 획득되는 광 정보를 이용하여 외부 객체를 인식할 수 있다.
본 발명의 다양한 실시예에 따르면, 카메라 모듈은 상기 카메라 모듈이 외부 객체를 인식하기 위한 센서로서 동작하는 경우, 상기 외부 객체를 인식하는 데 최적화되게 신호 변환부의 출력 비트(bit) 수, 인식된 외부 객체에 대한 이미지 데이터의 해상도 및 프레임 수를 결정할 수 있다. 예컨대, 카메라 모듈은 해상도, 노출 시간, 이득, 프레임 등을 결정하여 고감도, 저전력, 저화소, 로우 비트 ADC 등의 외부 객체를 인식하는 센서 모드로서 동작할 수 있다. 이에 따라, 본 발명의 다양한 실시예에 따르면, 이미지 센서는 저전력으로 외부 객체를 빠르게 인식할 수 있다.
본 발명의 다양한 실시예에 따르면, 카메라 모듈은 렌즈를 통해 수광된 빛을 전기 신호로 변환하여 ADC를 통해 디지털 신호로 출력하고, 상기 ADC를 통해 순차적으로 수신되는 픽셀 데이터들을 조합하여 하나의 이미지 데이터를 생성할 수 있다.
본 발명의 다양한 실시예에 따르면, 카메라 모듈은 720동작에서 인식된 외부 객체의 부분에 대한 신호를 획득할 수 있다.
본 발명의 다양한 실시예에 따르면, 카메라 모듈은 이미지 센서를 구성하는 픽셀들 예컨대, 제1 픽셀에 포함된 복수의 수광부들 예컨대, 복수의 제 1 수광부들을 이용하여 외부 객체의 제 1 부분에 대응하는 제 1 신호를 획득할 수 있다. 또한, 카메라 모듈은 이미지 센서를 구성하는 픽셀들 예컨대, 제2 픽셀에 포함된 복수의 수광부들 예컨대, 복수의 제 2 수광부들을 이용하여 상기 외부 객체의 제 2 부분에 대응하는 제 2 신호를 획득할 수 있다.
본 발명의 다양한 실시예에 따르면, 카메라 모듈은 730동작에서 획득된 신호에 대응하는 위상차 정보를 확인할 수 있다. 예컨대, 카메라 모듈은 ADC를 통해 각 픽셀에 포함된 복수의 수광부들 예컨대, 적어도 두 개 이상의 포토 다이오드를 이용하여 외부 객체에 대한 위상차 정보를 확인할 수 있다.
본 발명의 다양한 실시예에 따르면, 카메라 모듈은 상기 720동작에서 획득된 제 1 신호에 대응하는 제 1 위상차 정보와 제2 신호에 대응하는 제 2 위상차 정보를 확인할 수 있다.
본 발명의 다양한 실시예에 따르면, 카메라 모듈은 740동작에서 상기 외부 객체에 대한 위상차 정보에 기초하여 상기 외부 객체에 대한 위치 정보를 결정할 수 있다.
본 발명의 다양한 실시예에 따르면, 카메라 모듈은 생성된 외부 객체에 대한 이미지 데이터에서 상기 외부 객체의 특정 영역을 ROI(region of interest)로 설정할 수 있다. 예컨대, 외부 객체가 사람인 경우 얼굴 또는 손을 인식하여 ROI를 설정할 수 있다. 카메라 모듈은 상기 설정된 ROI에 기초하여 포커스, 크롭, 화질 변경, 또는 노출 조정 중 적어도 하나를 수행할 수 있다. 카메라 모듈은 상기 설정된 ROI에 대한 위치 정보를 결정할 수 있다.
본 발명의 다양한 실시예에 따르면, 카메라 모듈은 확인된 위상차 정보에 기초하여 외부 객체의 움직임을 감지할 수 있다. 예컨대, 카메라 모듈은 복수의 수광부들로부터 획득된 복수의 이미지 데이터들로부터 위상차 정보를 확인할 수 있으며, 상기 위상차 정보를 메모리(예컨대, 도 2의 메모리(221))에 저장할 수 있다.
본 발명의 다양한 실시예에 따르면, 카메라 모듈은 이미지 센서의 복수의 수광부들 예컨대, 적어도 두 개의 포토 다이오드로부터 검출되는 위상차 정보에 기초하여 상기 이미지 센서와 외부 객체 간의 거리 정보를 획득할 수 있다. 카메라 모듈은 상기 획득된 거리 정보에 기초하여 상기 외부 객체의 움직임 여부를 결정할 수 있다. 상기 외부 객체의 움직임이 감지되면, 카메라 모듈은 상기 외부 객체의 움직임 방향, 속도 중 적어도 하나를 포함하는 움직임 정보를 획득할 수 있다.
본 발명의 다양한 실시예에 따르면, 카메라 모듈은 설정된 ROI에 대한 위치 정보에 기초하여 상기 ROI의 움직임 정보를 획득할 수 있다.
본 발명의 다양한 실시예에 따르면, 카메라 모듈은 750동작에서 외부 객체(또는, 설정된 ROI)에 대한 위치 정보를 외부 프로세서(예컨대, 도 1의 프로세서(150))로 제공할 수 있다. 또한, 카메라 모듈은 외부 객체(또는, 설정된 ROI)의 움직임에 대한 움직임 정보를 상기 외부 프로세서(예컨대, 도 1의 프로세서(150))로 제공할 수 있다.
도 7b는 본 발명의 다양한 실시예에 따른 외부 객체에 대한 위치 정보를 이용하여 전자 장치의 기능을 수행하는 방법을 설명하기 위한 도면이다.
도 7b를 참조하면, 전자 장치(예컨대, 도 1의 전자 장치(100))는 760동작에서 카메라 모듈(예컨대, 도 1의 카메라 모듈(140))로부터 외부 객체에 대한 위치 정보를 수신할 수 있다. 예컨대, 전자 장치는 이미지 데이터에서 감지된 외부 객체(또는, 상기 외부 객체의 특정 영역(예컨대, ROI)) 및 상기 외부 객체의 위치 정보를 수신할 수 있다.
본 발명의 다양한 실시예에 따르면, 외부 객체에 대한 위치 정보를 수신하는 것으로 가정하여 설명하였지만 이에 한정하는 것은 아니며, 전자 장치는 외부 객체에 대한 움직임 정보 또한 수신할 수 있다.
본 발명의 다양한 실시예에 따르면, 전자 장치는 770동작에서 상기 외부 객체의 위치 정보(및/또는 움직임 정보)에 기초하여 상기 전자 장치를 제어하는 기능을 수행할 수 있다.
예컨대, 전자 장치는 전화가 수신되는 경우 카메라 모듈을 통해 인식된 외부 객체의 위치 정보 및/또는 움직임 정보에 기초하여 전자 장치를 제어하는 기능 예컨대, 전화 받기 또는 전화 거절하기의 기능을 수행할 수 있다.
본 발명의 다양한 실시예에 따르면, 상기 전자 장치를 제어하는 기능은 음악을 재생하는 경우 볼륨 업, 볼륨 다운, 이전 곡 재생, 다음 곡 재생의 기능을 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, 상기 전자 장치를 제어하는 기능은 사진을 재생하는 경우 줌 인, 줌 아웃, 이전 이미지 재생, 다음 이미지 재생의 기능을 포함할 수 있다.
도 8은 본 발명의 다양한 실시예에 따른 이미지 센서의 활용예를 설명하기 위한 도면이다.
도 8을 참조하면, <810>에 도시된 바와 같이 전자 장치(예컨대, 도 1의 전자 장치(100))의 전면에 구비된 카메라 모듈(예컨대, 도 1의 카메라 모듈(140))은 외부 객체를 촬영하기 위한 촬영 모드뿐만 아니라 조도 센서 및 근접 센서로서 동작할 수 있다. 예컨대, 전자 장치의 전면에 구비된 카메라 모듈(811)은 외부 객체의 근접 여부를 감지할 수 있다. 카메라 모듈은 상기 외부 객체의 근접을 감지하면, 이에 대한 정보(예컨대, 외부 객체의 위치 정보 및/또는 외부 객체의 움직임 정보)를 전자 장치에 제공할 수 있다. 전자 장치는 상기 카메라 모듈로부터 수신한 외부 객체에 대한 정보에 기초하여 이에 대응하는 기능 예컨대, 상기 전자 장치의 디스플레이(예컨대, 도 1의 터치스크린 디스플레이(130))를 오프(off)하는 기능을 수행할 수 있다.
본 발명의 다양한 실시예에 따르면, 도 8의 <820> 및 <830>에 도시된 바와 같이 사용자는 자동차 또는 자전거 운전 중에 전자 장치의 기능(예컨대, 네비게이션)을 조작하기 위한 제스처를 수행할 수 있다. 상기 전자 장치의 전면에 구비된 카메라 모듈(821, 831)은 외부 객체 예컨대, 사용자의 손을 인식할 수 있으며, 상기 인식된 손의 움직임에 따른 제스처를 감지할 수 있다. 카메라 모듈(821, 831)은 상기 감지된 제스처에 대한 정보를 전자 장치에 제공할 수 있다. 전자 장치는 상기 카메라 모듈로부터 수신한 제스처에 대한 정보에 기초하여 상기 제스처에 대응하는 전자 장치의 기능 예컨대, 네비게이션을 조작하는 기능(예컨대, 디스플레이에 표시된 화면의 전환, 볼륨 업, 볼륨 다운, 지도 검색 등)을 수행할 수 있다.
도 9는 다양한 실시예에 따른 전자 장치의 블록도이다.
전자 장치(901)는, 예를 들면, 도 1에 도시된 전자 장치(100)의 전체 또는 일부를 포함할 수 있다. 전자 장치(901)는 하나 이상의 프로세서(예: AP)(910)(예컨대, 도 1의 프로세서(150)), 통신 모듈(920)(예컨대, 도 1의 무선 통신 회로(110)), 가입자 식별 모듈(924), 메모리(930)(예컨대, 도 1의 메모리(120)), 센서 모듈(940), 입력 장치(950), 디스플레이(960)(예컨대, 도 1의 표시부(131)), 인터페이스(970), 오디오 모듈(980), 카메라 모듈(991)(예컨대, 도 1의 카메라 모듈(140)), 전력 관리 모듈(995), 배터리(996), 인디케이터(997), 및 모터(998)를 포함할 수 있다. 프로세서(910)(예컨대, 도 1의 프로세서(150))는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(910)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(910)는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시예에 따르면, 프로세서(910)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서를 더 포함할 수 있다. 프로세서(910)는 도 1에 도시된 구성요소들 중 적어도 일부(예: 셀룰러 모듈(921))을 포함할 수도 있다. 프로세서(910)는 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드)하여 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다.
통신 모듈(920)(예컨대, 도 1의 무선 통신 회로(110))와 동일 또는 유사한 구성을 가질 수 있다. 통신 모듈(920)은, 예를 들면, 셀룰러 모듈(921), WiFi 모듈(923), 블루투스 모듈(925), GNSS 모듈(927), NFC 모듈(928) 및 RF 모듈(929)을 포함할 수 있다. 셀룰러 모듈(921)은, 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(921)은 가입자 식별 모듈(예: SIM 카드)(924)을 이용하여 통신 네트워크 내에서 전자 장치(901)의 구별 및 인증을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(921)은 프로세서(910)가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(921)은 커뮤니케이션 프로세서(CP)를 포함할 수 있다. 어떤 실시예에 따르면, 셀룰러 모듈(921), WiFi 모듈(923), 블루투스 모듈(925), GNSS 모듈(927) 또는 NFC 모듈(928) 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다. RF 모듈(929)은, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. RF 모듈(929)은, 예를 들면, 트랜시버, PAM(power amp module), 주파수 필터, LNA(low noise amplifier), 또는 안테나 등을 포함할 수 있다. 다른 실시예에 따르면, 셀룰러 모듈(921), WiFi 모듈(923), 블루투스 모듈(925), GNSS 모듈(927) 또는 NFC 모듈(928) 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다. 가입자 식별 모듈(924)은, 예를 들면, 가입자 식별 모듈을 포함하는 카드 또는 임베디드 SIM을 포함할 수 있으며, 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
메모리(930)(예컨대, 도 1의 메모리(120))는, 예를 들면, 내장 메모리(932) 또는 외장 메모리(934)를 포함할 수 있다. 내장 메모리(932)는, 예를 들면, 휘발성 메모리(예: DRAM, SRAM, 또는 SDRAM 등), 비휘발성 메모리(예: OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, 플래시 메모리, 하드 드라이브, 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나를 포함할 수 있다. 외장 메모리(934)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱 등을 포함할 수 있다. 외장 메모리(934)는 다양한 인터페이스를 통하여 전자 장치(901)와 기능적으로 또는 물리적으로 연결될 수 있다.
센서 모듈(940)은, 예를 들면, 물리량을 계측하거나 전자 장치(901)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈(940)은, 예를 들면, 제스처 센서(940A), 자이로 센서(940B), 기압 센서(940C), 마그네틱 센서(940D), 가속도 센서(940E), 그립 센서(940F), 근접 센서(940G), 컬러(color) 센서(940H)(예: RGB(red, green, blue) 센서), 생체 센서(940I), 온/습도 센서(940J), 조도 센서(940K), 또는 UV(ultra violet) 센서(940M) 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 센서 모듈(940)은, 예를 들면, 후각(e-nose) 센서, 일렉트로마이오그라피(EMG) 센서, 일렉트로엔씨팔로그램(EEG) 센서, 일렉트로카디오그램(ECG) 센서, IR(infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다. 센서 모듈(940)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시예에서는, 전자 장치(901)는 프로세서(910)의 일부로서 또는 별도로, 센서 모듈(940)을 제어하도록 구성된 프로세서를 더 포함하여, 프로세서(910)가 슬립(sleep) 상태에 있는 동안, 센서 모듈(940)을 제어할 수 있다.
입력 장치(950)는, 예를 들면, 터치 패널(952)(예컨대, 도 1의 터치 패널(133)), (디지털) 펜 센서(954), 키(956), 또는 초음파 입력 장치(958)를 포함할 수 있다. 터치 패널(952)은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널(952)은 제어 회로를 더 포함할 수도 있다. 터치 패널(952)은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다. (디지털) 펜 센서(954)는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트를 포함할 수 있다. 키(956)는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 초음파 입력 장치(958)는 마이크(예: 마이크(988))를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수 있다.
디스플레이(960)(예컨대, 도 1의 표시부(131))는 패널(962), 홀로그램 장치(964), 프로젝터(966), 및/또는 이들을 제어하기 위한 제어 회로를 포함할 수 있다. 패널(962)은, 예를 들면, 유연하게, 투명하게, 또는 착용할 수 있게 구현될 수 있다. 패널(962)은 터치 패널(952)(예컨대, 도 1의 터치 패널(133))과 하나 이상의 모듈로 구성될 수 있다. 한 실시예에 따르면, 패널(962)은 사용자의 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서(또는 포스 센서)를 포함할 수 있다. 상기 압력 센서는 터치 패널(952)과 일체형으로 구현되거나, 또는 터치 패널(952)과는 별도의 하나 이상의 센서로 구현될 수 있다. 홀로그램 장치(964)는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터(966)는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치(901)의 내부 또는 외부에 위치할 수 있다. 인터페이스(970)는, 예를 들면, HDMI(972), USB(974), 광 인터페이스(optical interface)(976), 또는 D-sub(D-subminiature)(978)를 포함할 수 있다. 인터페이스(970)는, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD카드/MMC(multi-media card) 인터페이스, 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
오디오 모듈(980)은, 예를 들면, 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈(980)은, 예를 들면, 스피커(982), 리시버(984), 이어폰(986), 또는 마이크(988) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다. 카메라 모듈(991)(예컨대, 도 1의 카메라 모듈(140))은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서)(예컨대, 도 1의 이미지 센서(141), 도 2의 이미지 센서(200), 도 3의 이미지 센서(300)), 렌즈, 이미지 시그널 프로세서(ISP), 또는 플래시(예: LED 또는 xenon lamp 등)를 포함할 수 있다. 전력 관리 모듈(995)은, 예를 들면, 전자 장치(901)의 전력을 관리할 수 있다. 한 실시예에 따르면, 전력 관리 모듈(995)은 PMIC(power management integrated circuit), 충전 IC, 또는 배터리 또는 연료 게이지를 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다. 배터리 게이지는, 예를 들면, 배터리(996)의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 배터리(996)는, 예를 들면, 충전식 전지 및/또는 태양 전지를 포함할 수 있다.
인디케이터(997)는 전자 장치(901) 또는 그 일부(예: 프로세서(910))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터(998)는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동, 또는 햅틱 효과 등을 발생시킬 수 있다. 전자 장치(901)는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting), 또는 미디어플로(mediaFloTM) 등의 규격에 따른 미디어 데이터를 처리할 수 있는 모바일 TV 지원 장치(예: GPU)를 포함할 수 있다. 본 문서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 다양한 실시예에서, 전자 장치(예: 전자 장치(901))는 일부 구성요소가 생략되거나, 추가적인 구성요소를 더 포함하거나, 또는, 구성요소들 중 일부가 결합되어 하나의 개체로 구성되되, 결합 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.
도 10은 다양한 실시예에 따른 프로그램 모듈의 블록도이다.
한 실시예에 따르면, 프로그램 모듈(1010)은 전자 장치(예: 전자 장치(100))에 관련된 자원을 제어하는 운영 체제 및/또는 운영 체제 상에서 구동되는 다양한 어플리케이션을 포함할 수 있다. 운영 체제는, 예를 들면, AndroidTM, iOSTM, WindowsTM, SymbianTM, TizenTM, 또는 BadaTM를 포함할 수 있다. 도 10을 참조하면, 프로그램 모듈(1010)은 커널(1020), 미들웨어(1030), API(1060), 및/또는 어플리케이션(1070)을 포함할 수 있다. 프로그램 모듈(1010)의 적어도 일부는 전자 장치 상에 프리로드 되거나, 외부 전자 장치로부터 다운로드 가능하다.
커널(1020)은, 예를 들면, 시스템 리소스 매니저(1021) 및/또는 디바이스 드라이버(1023)를 포함할 수 있다. 시스템 리소스 매니저(1021)는 시스템 리소스의 제어, 할당, 또는 회수를 수행할 수 있다. 한 실시예에 따르면, 시스템 리소스 매니저(1021)는 프로세스 관리부, 메모리 관리부, 또는 파일 시스템 관리부를 포함할 수 있다. 디바이스 드라이버(1023)는, 예를 들면, 디스플레이 드라이버, 카메라 드라이버, 블루투스 드라이버, 공유 메모리 드라이버, USB 드라이버, 키패드 드라이버, WiFi 드라이버, 오디오 드라이버, 또는 IPC(inter-process communication) 드라이버를 포함할 수 있다. 미들웨어(1030)는, 예를 들면, 어플리케이션(1070)이 공통적으로 필요로 하는 기능을 제공하거나, 어플리케이션(1070)이 전자 장치 내부의 제한된 시스템 자원을 사용할 수 있도록 API(1060)를 통해 다양한 기능들을 어플리케이션(1070)으로 제공할 수 있다. 한 실시예에 따르면, 미들웨어(1030)는 런타임 라이브러리(1035), 어플리케이션 매니저(1041), 윈도우 매니저(1042), 멀티미디어 매니저(1043), 리소스 매니저(1044), 파워 매니저(1045), 데이터베이스 매니저(1046), 패키지 매니저(1047), 커넥티비티 매니저(1048), 노티피케이션 매니저(1049), 로케이션 매니저(1050), 그래픽 매니저(1051), 또는 시큐리티 매니저(1052) 중 적어도 하나를 포함할 수 있다.
런타임 라이브러리(1035)는, 예를 들면, 어플리케이션(1070)이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈을 포함할 수 있다. 런타임 라이브러리(1035)는 입출력 관리, 메모리 관리, 또는 산술 함수 처리를 수행할 수 있다. 어플리케이션 매니저(1041)는, 예를 들면, 어플리케이션(1070)의 생명 주기를 관리할 수 있다. 윈도우 매니저(1042)는 화면에서 사용되는 GUI 자원을 관리할 수 있다. 멀티미디어 매니저(1043)는 미디어 파일들의 재생에 필요한 포맷을 파악하고, 해당 포맷에 맞는 코덱을 이용하여 미디어 파일의 인코딩 또는 디코딩을 수행할 수 있다. 리소스 매니저(1044)는 어플리케이션(1070)의 소스 코드 또는 메모리의 공간을 관리할 수 있다. 파워 매니저(1045)는, 예를 들면, 배터리의 용량 또는 전원을 관리하고, 전자 장치의 동작에 필요한 전력 정보를 제공할 수 있다. 한 실시예에 따르면, 파워 매니저(1045)는 바이오스(BIOS: basic input/output system)와 연동할 수 있다. 데이터베이스 매니저(1046)는, 예를 들면, 어플리케이션(1070)에서 사용될 데이터베이스를 생성, 검색, 또는 변경할 수 있다. 패키지 매니저(1047)는 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 갱신을 관리할 수 있다.
커넥티비티 매니저(1048)는, 예를 들면, 무선 연결을 관리할 수 있다. 노티피케이션 매니저(1049)는, 예를 들면, 도착 메시지, 약속, 근접성 알림 등의 이벤트를 사용자에게 제공할 수 있다. 로케이션 매니저(1050)는, 예를 들면, 전자 장치의 위치 정보를 관리할 수 있다. 그래픽 매니저(1051)는, 예를 들면, 사용자에게 제공될 그래픽 효과 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. 보안 매니저(1052)는, 예를 들면, 시스템 보안 또는 사용자 인증을 제공할 수 있다. 한 실시예에 따르면, 미들웨어(1030)는 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화(telephony) 매니저 또는 전술된 구성요소들의 기능들의 조합을 형성할 수 있는 하는 미들웨어 모듈을 포함할 수 있다. 한 실시예에 따르면, 미들웨어(1030)는 운영 체제의 종류 별로 특화된 모듈을 제공할 수 있다. 미들웨어(1030)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다. API(1060)는, 예를 들면, API 프로그래밍 함수들의 집합으로, 운영 체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, 안드로이드 또는 iOS의 경우, 플랫폼 별로 하나의 API 셋을 제공할 수 있으며, 타이젠의 경우, 플랫폼 별로 두 개 이상의 API 셋을 제공할 수 있다.
어플리케이션(1070)은, 예를 들면, 홈(1071), 다이얼러(1072), SMS/MMS(1073), IM(instant message)(1074), 브라우저(1075), 카메라(1076), 알람(1077), 컨택트(1078), 음성 다이얼(1079), 이메일(1080), 달력(1081), 미디어 플레이어(1082), 앨범(1083), 와치(1084), 헬스 케어(예: 운동량 또는 혈당 등을 측정), 또는 환경 정보(예: 기압, 습도, 또는 온도 정보) 제공 어플리케이션을 포함할 수 있다. 한 실시예에 따르면, 어플리케이션(1070)은 전자 장치와 외부 전자 장치 사이의 정보 교환을 지원할 수 있는 정보 교환 어플리케이션을 포함할 수 있다. 정보 교환 어플리케이션은, 예를 들면, 외부 전자 장치에 특정 정보를 전달하기 위한 노티피케이션 릴레이 어플리케이션, 또는 외부 전자 장치를 관리하기 위한 장치 관리 어플리케이션을 포함할 수 있다. 예를 들면, 알림 전달 어플리케이션은 전자 장치의 다른 어플리케이션에서 발생된 알림 정보를 외부 전자 장치로 전달하거나, 또는 외부 전자 장치로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다. 장치 관리 어플리케이션은, 예를 들면, 전자 장치와 통신하는 외부 전자 장치의 기능(예: 외부 전자 장치 자체(또는, 일부 구성 부품)의 턴-온/턴-오프 또는 디스플레이의 밝기(또는, 해상도) 조절), 또는 외부 전자 장치에서 동작하는 어플리케이션을 설치, 삭제, 또는 갱신할 수 있다. 한 실시예에 따르면, 어플리케이션(1070)은 외부 전자 장치의 속성에 따라 지정된 어플리케이션(예: 모바일 의료 기기의 건강 관리 어플리케이션)을 포함할 수 있다. 한 실시예에 따르면, 어플리케이션(1070)은 외부 전자 장치로부터 수신된 어플리케이션을 포함할 수 있다. 프로그램 모듈(1010)의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어(예: 프로세서(910)), 또는 이들 중 적어도 둘 이상의 조합으로 구현(예: 실행)될 수 있으며, 하나 이상의 기능을 수행하기 위한 모듈, 프로그램, 루틴, 명령어 세트 또는 프로세스를 포함할 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있으며, 예를 들면, 어떤 동작들을 수행하는, 알려졌거나 앞으로 개발될, ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays), 또는 프로그램 가능 논리 장치를 포함할 수 있다.
다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는 프로그램 모듈의 형태로 컴퓨터로 판독 가능한 저장 매체(예: 메모리(120))에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서(150))에 의해 실행될 경우, 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다.
컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(예: 자기테이프), 광기록 매체(예: CD-ROM, DVD, 자기-광 매체(예: 플롭티컬 디스크)), 내장 메모리 등을 포함할 수 있다. 명령어는 컴파일러에 의해 만들어지는 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 다양한 실시예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 다른 구성요소를 더 포함할 수 있다.
다양한 실시예에 따른, 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 발명의 실시예에 따른 카메라 모듈을 구비한 전자 장치 및 전자 장치 제어 방법에 대하여 본 명세서 및 도면을 통해 바람직한 실시예들에 대하여 설명하였으며, 비록 특정 용어들이 사용되었으나 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위해 일반적인 의미에서 사용된 것일 뿐, 본 발명이 전술한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 기술적 사상에 바탕을 둔 다양한 실시예가 가능함은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (15)

  1. 카메라 모듈에 있어서,
    복수의 제 1 수광부들을 포함하는 제 1 픽셀 및 복수의 제 2 수광부들을 포함하는 제 2 픽셀을 포함하는 이미지 센서; 및
    상기 이미지 센서와 기능적으로 연결되고, 깊이 정보를 측정할 수 있는 연산부를 포함하고,
    상기 연산부는,
    상기 복수의 제 1 수광부들을 이용하여 외부 객체의 제 1 부분에 대응하는 제 1 신호, 및 상기 복수의 제 2 수광부들을 이용하여 상기 외부 객체의 제 2 부분에 대응하는 제 2 신호를 획득하고,
    상기 제 1 신호에 대응하는 제 1 위상차 정보 및 상기 제2 신호에 대응하는 제 2 위상차 정보를 확인하고,
    상기 제 1 위상차 정보 및 상기 제 2 위상차 정보에 적어도 기반하여, 상기 제 1 부분과 상기 제 2 부분에 대한 위치 정보를 결정하고,
    상기 위치 정보를 상기 연산부와 연결된 상기 카메라 모듈의 외부 프로세서로 제공하도록 설정된 카메라 모듈.
  2. 제 1 항에 있어서,
    상기 이미지 센서는,
    상기 이미지 센서로부터 인식되는 상기 외부 객체에 대한 노출을 제어하는 vision AE 모듈을 포함하며,
    상기 vision AE 모듈은,
    수집된 상황 정보에 기초하여 상기 외부 객체를 인식하기 위한 상기 이미지 센서의 노출 시간 및 노출 감도 중 적어도 하나를 조절하도록 설정되고, 단독으로 동작 가능하도록 설정된 카메라 모듈.
  3. 제 2 항에 있어서,
    상기 이미지 센서는,
    일부 픽셀만을 구동하는 바이닝(bining) 모드로 동작하도록 설정되며, 상기 구동된 일부 픽셀만을 이용하여 상기 외부 객체를 인식하도록 설정된 카메라 모듈.
  4. 제 1 항에 있어서,
    상기 연산부는,
    상기 제1 위상차 정보 및 상기 제2 위상차 정보를 합산하여 고해상도의 위상차 정보를 획득하고, 상기 획득된 고해상도의 위상차 정보에 기초하여 고감도의 위상차 정보를 획득하도록 설정된 카메라 모듈.
  5. 제 1 항에 있어서,
    상기 연산부는,
    상기 외부 객체에 대한 캡쳐를 요청하는 입력이 감지되면, 상기 복수의 제1 수광부들 및 상기 복수의 제2 수광부들을 조합하여 상기 외부 객체에 대한 이미지 데이터를 생성하고, 상기 외부 객체에 대한 캡쳐를 요청하는 입력에 응답하여 상기 생성된 이미지 데이터를 출력하지 않도록 설정된 카메라 모듈.
  6. 제 1 항에 있어서,
    상기 연산부는,
    상기 제1 위상차 정보 및 상기 제2 위상차 정보에 적어도 기반하여 상기 이미지 센서와 상기 외부 객체 간 거리 정보를 획득하고, 상기 획득된 거리 정보에 기초하여 상기 외부 객체에 대한 움직임이 발생하였는지 여부를 결정하고, 상기 외부 객체에 대한 움직임이 발생한 것으로 결정되면, 상기 외부 객체의 움직임 방향, 속도 중 적어도 하나를 포함하는 움직임 정보를 획득하고, 상기 움직임 정보를 상기 외부 프로세서로 제공하도록 설정된 카메라 모듈.
  7. 전자 장치에 있어서,
    외부 객체를 인식하기 위한 카메라 모듈;
    메모리; 및
    상기 카메라 모듈 및 상기 메모리와 전기적으로 연결된 프로세서를 포함하며,
    상기 프로세서는,
    상기 카메라 모듈로부터 인식된 상기 외부 객체의 적어도 일부에 대한 위치 정보를 획득하고,
    상기 위치 정보에 기초하여, 상기 외부 객체의 움직임을 판단하고,
    상기 움직임에 대응하는 상기 전자 장치의 제어 기능을 수행하도록 설정된 전자 장치.
  8. 제 7 항에 있어서,
    상기 카메라 모듈은,
    복수의 제 1 수광부들을 포함하는 제 1 픽셀 및 복수의 제 2 수광부들을 포함하는 제 2 픽셀을 포함하는 이미지 센서; 및
    깊이 정보를 측정할 수 있는 연산부를 포함하고,
    상기 연산부는,
    상기 제 1 픽셀 및 상기 제 2 픽셀의 적어도 일부로부터 획득한 상기 외부 객체에 대응하는 이미지 정보를 이용하여, 상기 외부 객체를 인식하도록 설정된 전자 장치.
  9. 제 8 항에 있어서,
    상기 연산부는,
    상기 복수의 제 1 수광부들을 이용하여 상기 외부 객체의 제 1 부분에 대응하는 제 1 신호, 및 상기 복수의 제 2 수광부들을 이용하여 상기 외부 객체의 제 2 부분에 대응하는 제 2 신호를 획득하고,
    상기 제 1 신호에 대응하는 제 1 위상차 정보 및 상기 제2 신호에 대응하는 제 2 위상차 정보를 확인하고,
    상기 제 1 위상차 정보 및 상기 제 2 위상차 정보에 적어도 기반하여, 상기 제 1 부분과 상기 제 2 부분에 대한 위치 정보를 결정하고,
    상기 위치 정보를 적어도 이용하여, 상기 외부 객체를 인식하도록 설정된 전자 장치.
  10. 카메라 모듈을 구비한 전자 장치의 제어 방법에 있어서,
    이미지 센서를 구성하는 복수의 제1 수광부들을 포함하는 제1 픽셀 및 복수의 제2 수광부들을 포함하는 제2 픽셀을 이용하여 외부 객체를 인식하는 동작;
    상기 복수의 제 1 수광부들을 이용하여 상기 인식된 외부 객체의 제 1 부분에 대응하는 제 1 신호, 및 상기 복수의 제 2 수광부들을 이용하여 상기 인식된 외부 객체의 제 2 부분에 대응하는 제 2 신호를 획득하는 동작;
    상기 제 1 신호에 대응하는 제 1 위상차 정보 및 상기 제2 신호에 대응하는 제 2 위상차 정보를 확인하는 동작;
    상기 제 1 위상차 정보 및 상기 제 2 위상차 정보에 적어도 기반하여, 상기 제 1 부분과 상기 제 2 부분에 대한 위치 정보를 결정하는 동작; 및
    상기 위치 정보를 상기 카메라 모듈의 외부 프로세서로 제공하는 동작을 포함하는 방법.
  11. 제 10 항에 있어서,
    상기 외부 객체를 인식하는 동작은,
    상기 전자 장치에 대한 상황 정보를 수집하는 동작; 및
    상기 수집된 상황 정보에 기초하여 상기 외부 객체를 인식하기 위한 상기 이미지 센서의 노출 시간 및 노출 감도 중 적어도 하나를 조절하는 동작을 포함하는 방법.
  12. 제 11 항에 있어서,
    상기 이미지 센서는, 상기 조절된 일부 픽셀만을 구동하는 바이닝 모드로 동작하도록 설정되며,
    상기 외부 객체를 인식하는 동작은,
    상기 구동된 일부 픽셀만을 이용하여 상기 외부 객체를 인식하는 동작인 방법.
  13. 제 10 항에 있어서,
    상기 제 1 신호에 대응하는 제 1 위상차 정보 및 상기 제2 신호에 대응하는 제 2 위상차 정보를 확인하는 동작은,
    상기 제1 위상차 정보 및 상기 제2 위상차 정보를 합산하여 고해상도의 위상차 정보를 획득하는 동작; 및
    상기 획득된 고해상도의 위상차 정보를 기반으로 고감도의 위상차 정보를 획득하는 동작을 포함하는 방법.
  14. 제 10 항에 있어서,
    상기 제 1 신호에 대응하는 제 1 위상차 정보 및 상기 제2 신호에 대응하는 제 2 위상차 정보를 확인하는 동작은,
    상기 외부 객체에 대한 캡쳐를 요청하는 입력이 감지되면, 상기 복수의 제1 수광부들 및 상기 복수의 제2 수광부들을 조합하여 상기 외부 객체에 대한 이미지 데이터를 생성하는 동작을 더 포함하는 방법.
  15. 제 10 항에 있어서,
    상기 결정된 제1 부분과 제2 부분에 대한 위치 정보에 기초하여 상기 이미지 센서와 상기 외부 객체 간 거리 정보를 획득하는 동작;
    상기 획득된 거리 정보에 기초하여 상기 외부 객체에 대한 움직임이 발생하였는지 여부를 결정하는 동작;
    상기 외부 객체에 대한 움직임이 발생한 것으로 결정되면, 상기 외부 객체의 움직임 방향, 속도 중 적어도 하나를 포함하는 움직임 정보를 획득하는 동작; 및
    상기 획득된 움직임 정보를 상기 외부 프로세서로 제공하는 동작을 더 포함하는 방법.
PCT/KR2018/002450 2017-03-07 2018-02-28 카메라 모듈을 구비한 전자 장치 및 전자 장치 제어 방법 WO2018164411A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/491,725 US11196945B2 (en) 2017-03-07 2018-02-28 Electronic device including camera module and method for controlling electronic device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0028806 2017-03-07
KR1020170028806A KR102392751B1 (ko) 2017-03-07 2017-03-07 카메라 모듈을 구비한 전자 장치 및 전자 장치 제어 방법

Publications (1)

Publication Number Publication Date
WO2018164411A1 true WO2018164411A1 (ko) 2018-09-13

Family

ID=63447973

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/002450 WO2018164411A1 (ko) 2017-03-07 2018-02-28 카메라 모듈을 구비한 전자 장치 및 전자 장치 제어 방법

Country Status (3)

Country Link
US (1) US11196945B2 (ko)
KR (1) KR102392751B1 (ko)
WO (1) WO2018164411A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112840644A (zh) * 2018-12-03 2021-05-25 三星电子株式会社 利用相机或深度传感器中的至少一个获取深度信息的电子装置和方法
US20210248218A1 (en) * 2020-02-07 2021-08-12 Samsung Electronics Co., Ltd. Electronic device and method for recognizing object

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102562361B1 (ko) * 2018-10-05 2023-08-02 엘지이노텍 주식회사 깊이 정보를 획득하는 방법 및 카메라 모듈
KR102569375B1 (ko) 2018-10-24 2023-08-22 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
KR20200053125A (ko) 2018-11-08 2020-05-18 삼성전자주식회사 전자 장치 및 그 제어 방법
US10708557B1 (en) 2018-12-14 2020-07-07 Lyft Inc. Multispectrum, multi-polarization (MSMP) filtering for improved perception of difficult to perceive colors
KR20200098225A (ko) * 2019-02-12 2020-08-20 삼성전자주식회사 객체를 모니터링하는 방법 및 이를 지원하는 전자 장치
KR102661642B1 (ko) * 2019-08-14 2024-04-29 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
WO2024063280A1 (ko) * 2022-09-22 2024-03-28 삼성전자 주식회사 영상 투사와 함께 객체를 인식하기 위한 프로젝팅 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090090841A1 (en) * 2005-07-22 2009-04-09 Nikon Corporation Image sensor, focus detecting device, and imaging system
KR20150097987A (ko) * 2014-02-19 2015-08-27 삼성전자주식회사 이미지를 처리하기 위한 전자 장치 및 방법
KR20150121564A (ko) * 2014-04-21 2015-10-29 삼성전자주식회사 촬상 소자 및 촬영 장치
JP2016149765A (ja) * 2015-02-13 2016-08-18 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 位相検出ピクセルを利用して深さマップを生成するための映像生成装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103140925B (zh) 2010-09-29 2016-02-10 富士胶片株式会社 固态图像拾取元件和图像拾取设备
US8542288B2 (en) 2010-11-03 2013-09-24 Sony Corporation Camera system and imaging method using multiple lens and aperture units
JP5979849B2 (ja) * 2011-11-21 2016-08-31 キヤノン株式会社 撮像素子及び撮像装置
US8854433B1 (en) * 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
JP2013218297A (ja) * 2012-03-16 2013-10-24 Canon Inc 焦点調節装置および焦点調節方法
CN103455137B (zh) * 2012-06-04 2017-04-12 原相科技股份有限公司 位移感测方法与位移感测装置
JP2014157425A (ja) * 2013-02-14 2014-08-28 Canon Inc 撮像装置及びその制御方法
JP6335434B2 (ja) * 2013-04-19 2018-05-30 キヤノン株式会社 撮像装置、その制御方法およびプログラム
KR102091000B1 (ko) * 2013-05-31 2020-04-14 삼성전자 주식회사 사용자 제스처를 이용한 데이터 처리 방법 및 장치
US9445018B2 (en) * 2014-05-01 2016-09-13 Semiconductor Components Industries, Llc Imaging systems with phase detection pixels
JP2015216186A (ja) 2014-05-09 2015-12-03 ソニー株式会社 固体撮像装置および電子機器
US9825074B2 (en) * 2014-06-10 2017-11-21 Invisage Technologies, Inc. Layout and operation of pixels for image sensors
JP6570327B2 (ja) * 2015-06-05 2019-09-04 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
GB201511551D0 (en) * 2015-07-01 2015-08-12 St Microelectronics Res & Dev Photonics device
JP6748477B2 (ja) * 2016-04-22 2020-09-02 キヤノン株式会社 撮像装置及びその制御方法、プログラム並びに記憶媒体
US10015416B2 (en) * 2016-05-24 2018-07-03 Semiconductor Components Industries, Llc Imaging systems with high dynamic range and phase detection pixels
US10033949B2 (en) * 2016-06-16 2018-07-24 Semiconductor Components Industries, Llc Imaging systems with high dynamic range and phase detection pixels
JP6824664B2 (ja) * 2016-08-25 2021-02-03 キヤノン株式会社 撮像装置及びその制御方法、プログラム
JP6730886B2 (ja) * 2016-09-01 2020-07-29 キヤノン株式会社 撮像装置及びその制御方法、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090090841A1 (en) * 2005-07-22 2009-04-09 Nikon Corporation Image sensor, focus detecting device, and imaging system
KR20150097987A (ko) * 2014-02-19 2015-08-27 삼성전자주식회사 이미지를 처리하기 위한 전자 장치 및 방법
KR20150121564A (ko) * 2014-04-21 2015-10-29 삼성전자주식회사 촬상 소자 및 촬영 장치
JP2016149765A (ja) * 2015-02-13 2016-08-18 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 位相検出ピクセルを利用して深さマップを生成するための映像生成装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112840644A (zh) * 2018-12-03 2021-05-25 三星电子株式会社 利用相机或深度传感器中的至少一个获取深度信息的电子装置和方法
US20210248218A1 (en) * 2020-02-07 2021-08-12 Samsung Electronics Co., Ltd. Electronic device and method for recognizing object

Also Published As

Publication number Publication date
KR102392751B1 (ko) 2022-04-29
US20200014864A1 (en) 2020-01-09
KR20180102331A (ko) 2018-09-17
US11196945B2 (en) 2021-12-07

Similar Documents

Publication Publication Date Title
WO2018164411A1 (ko) 카메라 모듈을 구비한 전자 장치 및 전자 장치 제어 방법
WO2017209560A1 (ko) 화면 출력 방법 및 이를 지원하는 전자 장치
WO2018043908A1 (en) Method for estimating illuminance and an electronic device thereof
WO2017142182A1 (ko) 이미지 처리 방법 및 이를 지원하는 전자 장치
WO2017188577A1 (ko) 배터리의 충전을 제어하기 위한 방법 및 그 전자 장치
WO2018004238A1 (en) Apparatus and method for processing image
WO2018139752A1 (ko) 복수의 카메라를 제어하는 방법 및 전자 장치
WO2016209004A1 (ko) 전자 장치의 터치 센싱 모듈 제어 방법 및 전자 장치, 전자 장치에 구비된 터치 센싱 모듈의 동작 방법 및 터치 센싱 모듈
WO2017116052A1 (ko) 컨텐트 인식 장치 및 그 동작 방법
WO2018131932A1 (ko) 전자 장치의 사용 환경에 따른 사용자 인터페이스를 제공하는 전자 장치 및 그 방법
WO2018139870A1 (en) Electronic device and method for capturing image in electronic device
WO2017034166A1 (en) Method for processing sound by electronic device and electronic device thereof
WO2019017687A1 (en) METHOD FOR OPERATING A SPEECH RECOGNITION SERVICE, AND ELECTRONIC DEVICE AND SERVER ASSUMING IT
WO2017171248A1 (ko) 이미지를 처리하기 위한 전자 장치 및 방법
WO2018106019A1 (ko) 콘텐츠 출력 방법 및 이를 지원하는 전자 장치
EP3479556A1 (en) Electronic device including iris recognition sensor and method of operating the same
WO2017078312A1 (ko) 이미지 센서, 이를 포함하는 전자 장치 및 이의 동작 방법
WO2018117681A1 (ko) 이미지 처리 방법 및 이를 지원하는 전자 장치
WO2018097561A1 (en) Electronic device for controlling microphone parameter
WO2018131841A1 (ko) 전자장치 및 이를 활용한 액츄에이터 제어 방법
WO2018021726A1 (ko) 카메라 모듈의 활성화를 제어하기 위한 전자 장치 및 방법
WO2019039698A1 (ko) 외부 광에 기반하여 이미지를 처리하는 방법 및 이를 지원하는 전자 장치
WO2018084649A1 (ko) 눈을 촬영하여 정보를 획득하는 방법 및 장치
WO2017078283A1 (ko) 사용자의 위치를 결정하는 전자 장치 및 그 제어 방법
WO2017047967A1 (ko) 전자 장치 및 그 기능 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18763430

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18763430

Country of ref document: EP

Kind code of ref document: A1