WO2022203447A1 - 이미지 센서를 포함하는 전자 장치 및 그 동작 방법 - Google Patents

이미지 센서를 포함하는 전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
WO2022203447A1
WO2022203447A1 PCT/KR2022/004218 KR2022004218W WO2022203447A1 WO 2022203447 A1 WO2022203447 A1 WO 2022203447A1 KR 2022004218 W KR2022004218 W KR 2022004218W WO 2022203447 A1 WO2022203447 A1 WO 2022203447A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
image
processor
electronic device
image sensor
Prior art date
Application number
PCT/KR2022/004218
Other languages
English (en)
French (fr)
Inventor
김동수
문인아
박재형
시모카와슈이치
강가왕
김윤정
원종훈
윤여탁
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP22776147.5A priority Critical patent/EP4270928A4/en
Publication of WO2022203447A1 publication Critical patent/WO2022203447A1/ko
Priority to US18/078,486 priority patent/US20230113058A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00—Analogue/digital conversion; Digital/analogue conversion
    • H03M1/12—Analogue/digital converters
    • H03M1/18—Automatic control for modifying the range of signals the converter can handle, e.g. gain ranging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/51—Control of the gain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/571—Control of the dynamic range involving a non-linear response
    • H04N25/575—Control of the dynamic range involving a non-linear response with a response composed of multiple slopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/616—Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/618—Noise processing, e.g. detecting, correcting, reducing or removing noise for random or high-frequency noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00—Analogue/digital conversion; Digital/analogue conversion
    • H03M1/12—Analogue/digital converters
    • H03M1/1205—Multiplexed conversion systems
    • H03M1/123—Simultaneous, i.e. using one converter per channel but with common control or reference circuits for multiple converters
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00—Analogue/digital conversion; Digital/analogue conversion
    • H03M1/12—Analogue/digital converters
    • H03M1/50—Analogue/digital converters with intermediate conversion to time interval
    • H03M1/56—Input signal compared with linear ramp

Definitions

  • Embodiments of the present disclosure relate to a technique for switching a photographing mode according to a photographing environment.
  • the dynamic range (DR) of a digital image is defined as the ratio of the brightest pixel values to the darkest pixel values in the image.
  • the human visual perception system can handle higher DR than a typical digital camera or monitor. Therefore, it may be difficult for the electronic device to acquire or express an image recognized by a human as it is.
  • HDR high dynamic range
  • the HDR image generation technology includes MF HDR (multi frame high dynamic range) technology.
  • the MF HDR technology is a technology for extending DR by acquiring and synthesizing a plurality of images corresponding to different exposure times.
  • the electronic device may acquire the HDR image based on the short exposure image for the bright area and the long exposure image for the dark area. For example, even when there is a large difference in brightness for each region in one image, an image having a large DR may be obtained by synthesizing images having different exposure times.
  • An electronic device includes an image sensor including a plurality of unit pixels, each unit pixel including two or more individual pixels, and at least one processor electrically connected to the image sensor may include.
  • the at least one processor obtains a first image frame from the image sensor, determines whether a photographing environment of the electronic device corresponds to a specified photographing environment based on the first image frame, and determines that the photographing environment is the second image frame.
  • the image sensor acquires analog data through individual pixels, first digital data obtained by digitally converting the analog data to a first sensitivity, and converting the analog data to less than the first sensitivity control to provide second digital data digitally converted with a high second sensitivity to the at least one processor, and a second image frame following the first image frame based on the first digital data and the second digital data first image data obtained by the image sensor with a first conversion gain based on light amount data input to a unit pixel in response to the photographing environment corresponding to the second photographing environment, and control to provide second image data obtained with a second conversion gain lower than the first conversion gain based on the light quantity data to the at least one processor, and based on the first image data and the second image data to obtain the second image frame.
  • An electronic device may include an image sensor including a plurality of pixels and at least one ADC, and at least one processor electrically connected to the image sensor.
  • the at least one processor may include: first digital data obtained by the image sensor acquiring analog data through the pixel, digitally converting the analog data to a first sensitivity through the at least one ADC, and the analog data control to provide second digital data digitally converted to a second sensitivity higher than the first sensitivity through at least one ADC to the at least one processor, and the first digital data and the second digital data from the image sensor obtaining data, adding first dummy data having a second number of bits to the first digital data having a first number of bits to obtain third digital data, wherein the third digital data having the first number of bits is obtained to obtain fourth digital data by adding second dummy data having the second number of bits to the second digital data, and obtain a first image frame based on the third digital data and the fourth digital data; have.
  • an HDR image having a small number of defects eg, a ghost phenomenon included in an image and a wide DR.
  • a photographing mode for obtaining an optimal image according to a photographing environment of the electronic device may be used. Accordingly, the quality of an image obtainable through the electronic device may be improved.
  • FIG. 1 illustrates a structure of an electronic device and a camera module according to an embodiment.
  • FIG. 2 is a block diagram illustrating a hardware configuration of an electronic device according to an exemplary embodiment.
  • FIG. 3 is a circuit diagram of a unit pixel of an image sensor according to an exemplary embodiment.
  • ADC analog digital converter
  • FIG. 5 illustrates an example in which an image sensor digitally converts analog data into different sensitivities according to an exemplary embodiment.
  • FIG. 6 illustrates an example in which electric charges are modeled as beads during operation of an image sensor according to an exemplary embodiment.
  • FIG. 7A is a circuit diagram of a unit pixel of an image sensor capable of adjusting a conversion gain, according to an exemplary embodiment.
  • FIG. 7B illustrates an example in which electric charges are modeled as beads during operation of the image sensor according to an exemplary embodiment.
  • FIG. 8 is a flowchart illustrating an operation of determining a photographing mode when an electronic device determines a photographing environment, according to an exemplary embodiment.
  • FIG 9 illustrates an example in which an electronic device acquires an image in a first mode, according to an embodiment.
  • FIG. 10 illustrates an example in which an electronic device acquires an image in a second mode, according to an embodiment.
  • FIG. 11 illustrates an example in which an electronic device acquires an image in a third mode, according to an embodiment.
  • FIG. 12 illustrates an example in which an electronic device acquires an image in a fourth mode, according to an embodiment.
  • FIG. 13 illustrates an example in which an electronic device acquires an image in a third photographing environment, according to an embodiment.
  • FIG. 14 illustrates an example in which an electronic device changes a photographing mode according to a set zoom magnification, according to an exemplary embodiment.
  • FIG. 15 illustrates an example in which an electronic device acquires an HDR image based on two or more images acquired through an image sensor, according to an embodiment.
  • 16 is a block diagram of an electronic device in a network environment according to various embodiments of the present disclosure.
  • FIG. 17 is a block diagram illustrating a camera module according to various embodiments.
  • FIG. 1 illustrates a structure of an electronic device 100 and a camera module 180 according to an embodiment.
  • FIG. 1 is a diagram schematically illustrating an exterior and a camera module 180 of an electronic device 100 on which a camera module 180 is mounted, according to an embodiment.
  • a mobile device for example, a smart phone
  • FIG. 1 is illustrated and described on the premise of a mobile device, for example, a smart phone, it is common knowledge in the art that it can be applied to various electronic devices or electronic devices equipped with a camera among mobile devices. will be clearly understood by
  • the display 110 may be disposed on the front surface of the electronic device 100 according to an embodiment.
  • the display 110 may occupy most of the front surface of the electronic device 100 .
  • a display 110 and a bezel 190 surrounding at least some edges of the display 110 may be disposed on the front surface of the electronic device 100 .
  • the display 110 may include a flat area and a curved area extending from the flat area toward the side of the electronic device 100 .
  • the electronic device 100 illustrated in FIG. 1 is an example, and various embodiments are possible.
  • the display 110 of the electronic device 100 may include only a flat area without a curved area, or may include a curved area only at one edge instead of both sides.
  • the curved area may extend toward the rear surface of the electronic device 100 so that the electronic device 100 may include an additional planar area.
  • the electronic device 100 may additionally include a speaker, a receiver, a front camera 161, a proximity sensor, and/or a home key.
  • the electronic device 100 may be provided in which the rear cover 150 is integrated with the main body of the electronic device.
  • the rear cover 150 may be separated from the main body of the electronic device 100 to have a form in which the battery can be replaced.
  • the back cover 150 may be referred to as a battery cover or a back cover.
  • a fingerprint sensor 171 for recognizing a user's fingerprint may be disposed in the first area 170 of the display 110 . Since the fingerprint sensor 171 is disposed on the lower layer of the display 110 , the fingerprint sensor 171 may not be recognized by the user or may be difficult to be recognized by the user.
  • a sensor for additional user/biometric authentication in addition to the fingerprint sensor 171 may be disposed in a portion of the display 110 .
  • a sensor for user/biometric authentication may be disposed on an area of the bezel 190 . For example, an IR (infrared) sensor for iris authentication may be exposed through one area of the display 110 or exposed through one area of the bezel 190 .
  • the front camera 161 may be disposed in the second area 160 on the front side of the electronic device 100 .
  • the front camera 161 is shown to be exposed through one area of the display 110 , but in another embodiment, the front camera 161 may be exposed through the bezel 190 .
  • the display 110 is on the rear surface of the second area 160 , an audio module, a sensor module (eg, sensor 163 ), and a camera module (eg, front camera 161 )).
  • a light emitting device may include at least one or more.
  • a camera module may be disposed on the front and/or side of the electronic device 100 to face the front and/or side of the electronic device 100 .
  • the front camera 161 may be a hidden under display camera (UDC) that is not visually exposed to the second area 160 .
  • UDC hidden under display camera
  • the electronic device 100 may include one or more front cameras 161 .
  • the electronic device 100 may include two front cameras, such as a first front camera and a second front camera.
  • the first front camera and the second front camera may be cameras of the same type having the same specifications (eg, pixels), but in another embodiment, the first front camera and the second front camera are cameras of different specifications can be implemented as
  • the electronic device 100 may support a function related to a dual camera (eg, 3D imaging, auto focus, etc.) through two front cameras.
  • the above-mentioned description of the front camera may be equally or similarly applied to the rear camera of the electronic device 100 .
  • the electronic device 100 may further include various kinds of hardware or sensors 163 to assist photographing, such as a flash.
  • the electronic device 100 may include a distance sensor (eg, a TOF sensor) for detecting a distance between the subject and the electronic device 100 .
  • the distance sensor may be disposed separately from the front camera 161 and/or the rear camera, or may be disposed to be included in the front camera 161 and/or the rear camera.
  • At least one physical key may be disposed on a side portion of the electronic device 100 .
  • the first function key 151 for turning on/off the display 110 or turning on/off the power of the electronic device 100 may be disposed on the right edge with respect to the front of the electronic device 100 .
  • the second function key 152 for controlling the volume or screen brightness of the electronic device 100 may be disposed on the left edge with respect to the front surface of the electronic device 100 .
  • additional buttons or keys may be disposed on the front or rear of the electronic device 100 .
  • a physical button or a touch button mapped to a specific function may be disposed in a lower region of the front bezel 190 .
  • the electronic device 100 illustrated in FIG. 1 corresponds to one example, and the shape of the device to which the technical idea disclosed in the present disclosure is applied is not limited.
  • the technical idea of the present disclosure may also be applied to a foldable electronic device that can be folded in a horizontal or vertical direction, a rollable electronic device that can be rolled, a tablet, or a notebook computer. .
  • an electronic device 100 may include a camera module 180 .
  • the camera module 180 includes a lens assembly 111 , a housing 113 , an infrared cut filter 115 , an image sensor 120 , and an image signal processor (ISP) 130 .
  • ISP image signal processor
  • the lens assembly 111 may have different numbers, arrangements, and types of lenses depending on the front camera 161 and the rear camera.
  • the front camera 161 and the rear camera may have different characteristics (eg, focal length and maximum magnification).
  • the lens may move forward and backward along the optical axis, and may operate to change a focal length so that a target object, which is a subject, can be clearly captured.
  • the camera module 180 includes a barrel for mounting at least one or more lenses aligned on an optical axis, and at least one coil and/or magnet surrounding the circumference of the barrel around an optical axis (not shown). It may include a housing 113 for mounting. In an embodiment, the camera module 180 uses at least one coil and/or a magnet included in the housing 113 to stabilize an image acquired by the image sensor 120 (eg, optical image stabilization; OIS). ) can be done.
  • OIS optical image stabilization
  • the camera module 180 may control the electromagnetic force by controlling the direction and/or intensity of the current passing through the at least one coil under the control of the processor, and the lens assembly using the Lorentz force due to the electromagnetic force At least a portion of the lens carrier (not shown) including the 111 and the lens assembly 111 may be moved (or rotated) in a direction substantially perpendicular to the optical axis (not shown).
  • the camera module 180 may use a different method for the image stabilization function.
  • the camera module 180 may use video digital image stabilization (VDIS).
  • VDIS video digital image stabilization
  • the camera module 180 may include a method of correcting image shake by performing software processing on the data output value of the image sensor 120 .
  • the camera module 180 may extract a motion vector based on a difference between frames of an image through VDIS, which is a digital shake correction, and increase sharpness through image processing.
  • the camera module 180 may extract a motion vector based on the image through the VDIS, and may recognize not only the shaking of the electronic device 100 but also the motion of the subject itself as shaking.
  • the infrared cut filter 115 may be disposed on the upper surface of the image sensor 120 .
  • the image of the subject passing through the lens may be partially filtered by the infrared cut filter 115 and then detected by the image sensor 120 .
  • the image sensor 120 is a printed circuit board 140 (eg, a printed circuit board (PCB), a printed board assembly (PBA), a flexible PCB (FPCB), or a rigid-flexible PCB (RFPCB) of). It may be disposed on the upper surface.
  • the image sensor 120 may be electrically connected to the image signal processor 130 connected to the printed circuit board 140 by a connector.
  • a flexible printed circuit board (FPCB) or a cable may be used as the connector.
  • the image sensor 120 may be a complementary metal oxide semiconductor (CMOS) sensor.
  • CMOS complementary metal oxide semiconductor
  • a plurality of individual pixels are integrated in the image sensor 120 , and each individual pixel may include a micro lens, a color filter, and a photodiode (PD).
  • PD photodiode
  • Each individual pixel is a kind of photodetector that can convert incoming light into an electrical signal.
  • the photo detector may include a photodiode.
  • the image sensor 120 may amplify a current generated by light received through the lens assembly 111 through the photoelectric effect of the light receiving element.
  • each individual pixel may include a photoelectric transformation element (or a position sensitive detector (PSD)) and a plurality of transistors.
  • PSD position sensitive detector
  • light information of a subject incident through the lens assembly 111 may be converted into an electrical signal by the image sensor 120 and input to the image signal processor 130 .
  • a sensor interface conforming to an appropriate standard electrically connects the image sensor 120 and the image signal processor 130 .
  • the image signal processor 130 may perform image processing on the electrically converted image data.
  • a process in the image signal processor 130 may be divided into a pre-ISP (hereinafter, pre-processing) and an ISP chain (hereinafter, post-processing).
  • Image processing before the demosaicing process may mean pre-processing, and image processing after the demosaicing process may mean post-processing.
  • the pre-processing may include 3A processing, lens shading correction, edge enhancement, dead pixel correction, and knee correction.
  • 3A may include at least one of auto white balance (AWB), auto exposure (AE), and auto focusing (AF).
  • the post-processing process may include at least one of changing a sensor index value, changing a tuning parameter, and adjusting an aspect ratio.
  • the post-processing process may include processing the image data output from the image sensor 120 or image data output from the scaler.
  • the image signal processor 130 may adjust at least one of contrast, sharpness, saturation, and dithering of the image through a post-processing process.
  • the contrast, sharpness, and saturation adjustment procedures are performed in the YUV color space
  • the dithering procedure is performed in the RGB (Red, Green, Blue) color space.
  • a part of the pre-processing process may be performed in the post-processing process, or a part of the post-processing process may be performed in the pre-processing process.
  • a part of the pre-processing process may overlap with a part of the post-processing process.
  • the camera module 180 may be disposed on the front side as well as the rear side of the electronic device 100 .
  • the electronic device 100 may include a plurality of camera modules 180 as well as one camera module 180 to improve camera performance.
  • the electronic device 100 may further include a front camera 161 for video call or self-camera photography.
  • the front camera 161 may support a relatively low number of pixels compared to the rear camera module.
  • the front camera 161 may be relatively smaller than the camera module 180 of the rear camera.
  • FIG. 2 is a block diagram illustrating a hardware configuration of the electronic device 100 according to an exemplary embodiment.
  • the electronic device 100 may include an image sensor 210 and a processor 220 .
  • the image sensor 210 may refer to the image sensor 120 illustrated in FIG. 1 .
  • the processor 220 may be understood to include the image signal processor 130 shown in FIG. 1 .
  • a configuration corresponding to the configuration described in FIG. 1 may be omitted or simply described.
  • the image sensor 210 may include a plurality of unit pixels 214 .
  • each unit pixel 214 may include two or more individual pixels 212 .
  • one unit pixel 214 may include 4 or 9 individual pixels 212 .
  • the image sensor 210 may further include an analog digital converter (ADC) 216 .
  • ADC analog digital converter
  • a plurality of unit pixels 214 are integrated in the image sensor 120 , and each unit pixel 214 includes a micro lens, a color filter, and two or more individual pixels 212 . can do.
  • the configuration of the unit pixel 214 will be described later with reference to FIG. 3 .
  • the image sensor 210 may convert analog data into digital data through the ADC 216 .
  • the operation of the ADC 216 will be described later with reference to FIG. 4 .
  • the processor 220 may be understood to include at least one processor.
  • the processor 220 may include at least one of an application processor (AP), an image signal processor 130 , and a communication processor (CP).
  • AP application processor
  • CP communication processor
  • the processor 220 may determine a photographing environment of the electronic device 100 and determine a photographing mode according to the photographing environment.
  • the electronic device 100 uses the image sensor ( 210) can be controlled.
  • the photographing environment and the photographing mode will be described later with reference to FIGS. 3 to 14 .
  • the electronic device 100 may acquire a high dynamic range (HDR) image through the first mode.
  • HDR high dynamic range
  • FIG 3 is a circuit diagram of a unit pixel 214 of the image sensor 210 according to an exemplary embodiment.
  • the unit pixel 214 includes a plurality of PDs 310 , transfer gates (TG) 320 corresponding to each PD 310 , a floating diffusion (FD) 330 , and a source (SF). follower) 350 , a row select (hereinafter, SEL) 360 , a reset gate (RST) 370 , and at least one ADC 216 .
  • the unit pixel 214 may include four PDs 310 .
  • the unit pixel 214 includes four PDs (eg, the first PD 311 , the second PD 312 , the third PD 313 , and the fourth PD 314 ) having a 2 ⁇ 2 arrangement.
  • the unit pixel 214 may include four PDs 310 having a 2x2 arrangement and one FD 330 connected to the four PDs 310 .
  • the unit pixel 214 may mean a micro lens unit or a color filter unit.
  • the unit pixel 214 may include five or more PDs 310 .
  • the unit pixel 214 may include nine PDs 310 having a 3x3 array.
  • the unit pixel 214 may include nine PDs 310 having a 3x3 arrangement and one FD 330 connected to the nine PDs 310 .
  • the unit pixel 214 may include 16 PDs 310 having a 4x4 arrangement or 8 PDs 310 having a 2x4 arrangement.
  • the individual pixel 212 shown in FIG. 2 corresponds to any one of the first PD 311 , the second PD 312 , the third PD 313 , or the fourth PD 314 .
  • an individual pixel 212 may be understood to include a first PD 311 .
  • individual pixels 212 may be understood to include a first PD 311 , and a first TG 321 .
  • the charges accumulated in the PD 310 during the exposure time may move to the FD 330 while the TG 320 is on.
  • charges accumulated in the first PD 311 may be transferred to the FD 330 in a state in which the first TG 321 is on.
  • the image sensor 210 may acquire analog data corresponding to the charge moved to the FD 330 .
  • the analog data may include information on the amount of charge accumulated in the PD 310 during the exposure time.
  • the image sensor 210 may acquire analog data through the individual pixel 212 or the unit pixel 214 .
  • the image sensor 210 may control the TG 320 to acquire analog data corresponding to light amount data acquired through at least one of the PDs 310 .
  • the image sensor 210 may acquire light amount data through the first PD 311 , the second PD 312 , the third PD 313 , and the fourth PD 314 during the exposure time. .
  • the image sensor 210 may acquire analog data based on the light amount data acquired through the first PD 311 .
  • the image sensor 210 When the image sensor 210 turns on the first TG 321 , the second TG 322 , the third TG 323 , and the fourth TG 324 , the image sensor 210 turns on 1 PD ( 311 ), the second PD 312 , the third PD 313 , and the fourth PD 314 may acquire analog data based on the obtained light amount data.
  • the image sensor 210 may acquire analog data based on light amount data acquired through any one of the four PDs 310 .
  • the image sensor 210 may be understood to acquire analog data via individual pixels 212 .
  • the image sensor 210 may acquire analog data based on light amount data acquired through at least two PDs among the four PDs 310 .
  • the image sensor 210 may be understood as acquiring analog data through the unit pixel 214 .
  • the image sensor may include a plurality of pixels, and each pixel among the plurality of pixels may include one PD and one FD.
  • the image sensor may be composed of one PD and one FD.
  • the image sensor may include only one FD and one PD each.
  • the image sensor may acquire analog data based on the light amount data acquired through the PD.
  • Embodiments related to the first mode disclosed in this document may also be applied to an image sensor including one PD and one FD.
  • the charge stored in the FD 330 may be read out through the SF 350 and output as an electrical signal.
  • the image sensor 210 may obtain digital data by digitally converting the analog data through the ADC 216 .
  • the digital data may be understood to mean image data.
  • the image sensor 210 may obtain first digital data by digitally converting analog data to a first sensitivity, and digitally converting the analog data to a second sensitivity higher than the first sensitivity to obtain second digital data.
  • data can be obtained.
  • the image sensor 210 may digitally convert analog data to a first sensitivity through the first ADC 381 and digitally convert analog data to a second sensitivity through the second ADC 382 .
  • the image sensor may include a single ADC per pixel column. The image sensor may digitally convert analog data to a first sensitivity through the one ADC at a first time point, and digitally convert analog data to a second sensitivity through one ADC at a second time point subsequent to the first time point. have.
  • the operation and digital conversion of the ADC will be described later with reference to FIGS. 4 to 6 .
  • the image sensor 210 may change the SEL 360 from an off state to an on state to output image data of a specific row.
  • the image sensor 210 may perform a correlated double sampling (CDS) operation to reduce noise.
  • CDS correlated double sampling
  • the image sensor 210 may reset the data accumulated in the FD 330 by turning the RST 370 on, and read out the reset data remaining after the reset.
  • the image sensor 210 may move the charge accumulated in the PD 310 to the FD 330 after turning the RST 370 off, and read out the charge transferred to the FD 330 to read the first read.
  • Out data and second readout data may be acquired.
  • the image sensor 210 may acquire the first digital data based on a difference between the first readout data and the reset data, and acquire the second digital data based on the difference between the second readout data and the reset data can do.
  • FIG. 4 illustrates a configuration of an ADC 216 included in the image sensor 210 according to an exemplary embodiment.
  • the ADC 216 is an individual pixel 212 (eg, the first PD 311 ) or a unit pixel 214 (eg, the first PD 311 , the second PD 312 , the second PD 311 ).
  • the analog data 402 obtained through the third PD 313 and the fourth PD 314 may be converted into digital data 404 .
  • the image sensor 210 may digitally convert the analog data 402 to a first sensitivity through the ADC 216 to obtain first digital data, and convert the analog data 402 to a higher level than the first sensitivity.
  • the second digital data may be obtained by digital conversion with the second sensitivity.
  • the ADC 216 may include a counter 410 , a digital analog converter (DAC) 420 , and a comparator 430 .
  • the counter 410 may output a count value corresponding to the specified sensitivity (eg, the first sensitivity and the second sensitivity).
  • the count value may be a value that increases at a specified speed according to a specified sensitivity.
  • the DAC 420 may convert the count value received from the counter 410 into an analog signal and provide the analog-converted count value to the comparator 430 .
  • the comparator 430 may receive the analog-converted count value from the DAC 420 , and may compare the analog-converted count value with the value of the analog data 402 .
  • the comparator 430 may provide a specific signal to the counter 410 in response to the analog-converted count value being greater than the value of the analog data 402 .
  • the counter 410 may output digital data 404 corresponding to a value of the analog data 402 in response to receiving the specific signal.
  • an increasing rate of the count value output by the counter 410 may vary according to a specified sensitivity.
  • the higher the specified sensitivity the slower the count value may increase.
  • the gain step becomes smaller as the sensitivity increases. The count value will be described later with reference to FIG. 5 .
  • FIG. 5 illustrates an example in which the image sensor 210 digitally converts analog data 402 to different sensitivities according to an exemplary embodiment.
  • the image sensor 210 may digitally convert the analog data 402 to a first sensitivity through the ADC 216 to obtain first digital data, and convert the analog data 402 to the first sensitivity.
  • the second digital data may be obtained by digital conversion with a higher second sensitivity.
  • the first sensitivity may be 1 time and the second sensitivity may be 2 times.
  • the first sensitivity and the second sensitivity may be set in various ways. For example, the ratio of the first sensitivity to the second sensitivity may be 4, 8, or 16.
  • the ADC 216 may digitally convert the analog data 402 using the count value 510 corresponding to the first sensitivity, and use the count value 520 corresponding to the second sensitivity.
  • the analog data 402 can be digitally converted.
  • the rate at which the count value 520 corresponding to the second sensitivity increases compared to the rate at which the count value 510 corresponding to the first sensitivity increases is decreased. can be slow
  • the gain step of the count value 510 corresponding to the first sensitivity is greater than the gain step of the count value 520 corresponding to the second sensitivity.
  • the gain step may be a preset constant or a constant determined by an application using the image sensor 210 .
  • the analog data 402 obtained by the image sensor 210 through the individual pixel 212 or the unit pixel 214 may have an arbitrary value.
  • the ADC 216 may obtain the first digital data by digitally converting the analog data 402 based on the count value 510 corresponding to the first sensitivity output by the counter 410 . have. Also, the ADC 216 may digitally convert the analog data 402 based on the count value 520 corresponding to the second sensitivity output by the counter 410 to obtain the second digital data.
  • the first digital data may have a first value 515
  • the second digital data may have a second value 525 .
  • the value of the first digital data and the value of the second digital data may be determined based on the first sensitivity and the second sensitivity.
  • the second value 525 may be greater than the first value 515 .
  • the first digital data and the second digital data may have values of 0 to 1023.
  • the first value 515 may be a value less than 512 among 0-1023
  • the second value 525 may be a value greater than 512 among 0-1023.
  • the first value 515 and the second value 525 may be obtained in various ways according to a ratio of the first sensitivity to the second sensitivity. For example, when the ratio of the first sensitivity to the second sensitivity is greater than 2, the difference between the first value 515 and the second value 525 may be larger.
  • the image sensor 210 includes a first ADC 381 and a second ADC 382 as shown in FIG. 3 , and the first ADC 381 generates analog data 402 .
  • Digital conversion is performed at 1 sensitivity
  • the second ADC 382 may digitally convert the analog data 402 to a second sensitivity.
  • the first ADC 381 may convert the analog data 402 to digital using the count value 510 corresponding to the first sensitivity
  • the counter 410 included in the second ADC 382 may digitally convert the analog data 402 using the count value 520 corresponding to the second sensitivity.
  • the image sensor includes one ADC per pixel column, digitally converts analog data 402 to a first sensitivity through the one ADC at a first time point, and The analog data 402 may be digitally converted to a second sensitivity through the one ADC at a second time point subsequent to the first time point.
  • analog data 402 is digitally converted through the first ADC 381 and the second ADC 382 compared to the case of using one ADC, the time required for digital conversion of the analog data 402 is reduced can be
  • the image sensor 210 includes first digital data obtained by digitally converting analog data 402 to a first sensitivity, and second digital data obtained by digitally converting analog data 402 to a second sensitivity.
  • Digital data may be provided to the processor 220 .
  • the processor 220 may acquire an image frame based on the first digital data and the second digital data.
  • the processor 220 may acquire an HDR image based on the first digital data and the second digital data. An operation in which the processor 220 acquires an HDR image based on the first digital data and the second digital data will be described later with reference to FIG. 9 .
  • FIG. 6 illustrates an example in which electric charges are modeled as beads during operation of the image sensor 210 according to an exemplary embodiment.
  • FIGS. 3 to 5 are marbles on which gravity acts.
  • charges may be accumulated in the PD 310 .
  • the charges accumulated in the PD 310 may be moved to the FD 330 .
  • the image sensor 210 may digitally convert analog data corresponding to the amount of charge transferred to the FD 330 using the SF 350 .
  • the image sensor 210 may digitally convert the analog data to a first sensitivity 622 through the ADC 216 to obtain first digital data.
  • the image sensor 210 may digitally convert the analog data to a second sensitivity 632 through the ADC 216 to obtain second digital data.
  • the image sensor 210 digitally converts charges accumulated in the PD 310 through one exposure to different sensitivities to obtain the first digital data and the second digital data.
  • the processor 220 may acquire an HDR image based on the first digital data and the second digital data.
  • a second mode among photographing modes of the electronic device 100 according to an exemplary embodiment will be described with reference to FIGS. 7A and 7B .
  • the electronic device 100 may also acquire the HDR image through the second mode.
  • FIG. 7A is a circuit diagram of a unit pixel 214 of an image sensor 210 capable of adjusting a conversion gain, according to an exemplary embodiment.
  • the unit pixel 214 may further include a dynamic range gate (DRG) 740 and an FD1 735 .
  • DRG dynamic range gate
  • the image sensor 210 may include a DRG 740 and two FD regions (eg, FD 330 and FD1 735 ).
  • the conversion gain of the image sensor 210 may vary according to the size of the FD storage space.
  • the image sensor 120 may read out a high conversion gain (HCG) when the size of the FD storage space is small, and a low conversion gain (LCG) when the size of the FD storage space is large.
  • the unit pixel 214 may include an FD 330 and an FD1 735 .
  • the conversion gain of the image sensor 210 is HCG, and the image sensor 210 combines the charge stored in the FD 330 and FD1 735 together.
  • the conversion gain of the image sensor 210 may correspond to the LCG.
  • the image sensor 210 may adjust the conversion gain according to on/off of the DRG 740 .
  • the conversion gain of the image sensor 120 may be HCG
  • the conversion gain of the image sensor 120 may be LCG.
  • the image sensor 210 may read out the light amount data input to the unit pixel 214 by one exposure as HCG and then read it out as LCG.
  • the image sensor 210 moves the charges accumulated in the four PDs 310 during the exposure time to the FD 330 and reads out the HCG, and turns the DRG 740 on to read the LCG.
  • the image sensor 210 may read out the light amount data input to the individual pixels 212 by one exposure as HCG, and then read it out as LCG.
  • the image sensor 210 may read out HCG and LCG based on charges accumulated in one PD (eg, the first PD 311 ) during the exposure time.
  • the image sensor 210 may acquire the first image data with a first conversion gain based on the light amount data input to the unit pixel 214 , and based on the light amount data, the first conversion gain Second image data obtained with a lower second conversion gain may be obtained.
  • the first conversion gain may be HCG
  • the second conversion gain may be LCG.
  • the image sensor 210 may perform the CDS operation even when capturing an image through the second mode. For example, the image sensor 210 may reset the data accumulated in the FD 330 and FD1 735 by turning on the RST 370 , and read out the reset data remaining after the reset, respectively. For example, the image sensor 210 may acquire first reset data of the FD 330 and second reset data of the FD1 735 . After the RST 370 is turned off, the image sensor 210 may move the charges accumulated in the PD 310 to the FD 330 , and read the charges transferred to the FD 330 as a first conversion gain. It is possible to obtain the first readout data by out.
  • the image sensor 210 may read out charges stored in the FD 330 and FD1 735 with a second conversion gain to obtain second readout data.
  • the image sensor 210 may acquire first image data based on a difference between the first readout data and the first reset data, and based on the difference between the second readout data, the first reset data, and the second reset data to obtain the second image data.
  • the processor 220 may acquire the first image data and the second image data from the image sensor 210 .
  • the processor 220 may acquire an HDR image based on the first image data and the second image data. An operation in which the processor 220 generates an HDR image based on the first image data and the second image data will be described later with reference to FIG. 10 .
  • FIG. 7B illustrates an example in which electric charges are modeled as beads during operation of the image sensor 210 according to an exemplary embodiment.
  • FIG. 7B is a diagram modeled by assuming that the charges accumulated in the PD 310 , FD 330 , and FD1 735 in the second mode described in FIG. 7A are beads on which gravity acts.
  • charges may be accumulated in the PD 310 .
  • the charges accumulated in the PD 310 may be moved to the FD 330 .
  • the image sensor 210 may acquire first image data corresponding to the amount of electric charge transferred to the FD 330 by using the SF 350 .
  • the image sensor 210 may acquire the first image data by reading out the charge stored in the FD 330 with a first conversion gain (eg, HCG).
  • the image sensor 210 may acquire second image data corresponding to the amount of charges stored in the FD 330 and FD1 735 by using the SF 350 .
  • the image sensor 210 may acquire second image data by reading out charges stored in the FD 330 and FD1 735 with a second conversion gain (eg, LCG).
  • the image sensor 210 may acquire the first image data and the second image data by reading out the charges accumulated in the PD 310 with different conversion gains through one exposure.
  • the processor 220 may acquire an HDR image based on the first image data and the second image data.
  • FIG. 8 is a flowchart illustrating an operation of determining a photographing mode in response to determining a photographing environment by the electronic device 100 according to an exemplary embodiment.
  • the operations shown in FIG. 8 may be performed by the processor 220 shown in FIG. 2 .
  • the processor 220 may obtain a first image frame from the image sensor 210 .
  • the processor 220 may determine whether the photographing environment of the electronic device 100 corresponds to a specified photographing environment based on the first image frame.
  • the processor 220 may determine the photographing environment of the electronic device 100 based on the first image frame. For example, the processor 220 may analyze the first image frame to determine whether a scene corresponding to the first image frame is backlight, and determine the shooting environment based on this. As another example, the processor 220 may analyze the first image frame or determine the photographing environment based on the illuminance around the electronic device 100 measured using the illuminance sensor included in the electronic device 100 . have. As another example, the electronic device 100 may determine the photographing environment based on whether a person is included among the subjects of the first image frame.
  • the processor 220 may determine whether the photographing environment of the electronic device 100 is a photographing environment requiring an HDR function. For example, the processor 220 may determine whether the environment requires an HDR function based on the first image frame.
  • the processor 220 uses an auto exposure (AE) function so that the first area of the first image frame has a first brightness greater than or equal to a first threshold, and a second area that is distinguished from the first area is darker than the first brightness. When the second brightness is less than or equal to the threshold, it may be determined that the HDR function is necessary.
  • the processor 220 may determine that the HDR function is necessary.
  • the processor 220 may determine whether an HDR function is required by determining an object and a background based on data based on machine learning.
  • the electronic device 100 may determine the photographing environment by using other appropriate methods/means, additionally or alternatively, in addition to the method of obtaining the first image frame. For example, the electronic device 100 may determine the photographing environment based on a sensor (eg, an illuminance sensor) provided in the electronic device 100 or the current time/place.
  • a sensor eg, an illuminance sensor
  • the processor 220 may determine whether the photographing environment of the electronic device 100 corresponds to the first photographing environment. For example, when the electronic device 100 is a photographing environment requiring an HDR function and a zoom magnification greater than or equal to a specified magnification is set, the processor 220 may determine that the electronic device 100 corresponds to the first photographing environment. As another example, the processor 220 may determine that the electronic device 100 does not correspond to the first photographing environment when a photographing environment requiring an HDR function is set to a zoom magnification less than a specified magnification.
  • the processor 220 may determine that the electronic device 100 corresponds to the first photographing environment even if it is determined that the HDR function is required and that it is necessary to reduce current consumption. As another example, the processor 220 may determine whether the photographing environment of the electronic device 100 corresponds to the first photographing environment based on whether high pixel output or low pixel output is required. When determining that an image having pixels greater than or equal to a reference value needs to be acquired, the processor 220 may determine that the photographing environment corresponds to the first photographing environment.
  • the processor 220 may capture an image in the first mode in response to that the photographing environment corresponds to the first photographing environment.
  • the processor 220 may acquire the second image frame through the first mode.
  • the second image frame may be understood as an image frame following the first image frame.
  • the first mode may be understood as the first mode described with reference to FIGS. 3 to 6 . The first mode will be described later with reference to FIG. 9 .
  • the processor 220 may determine whether the photographing environment of the electronic device 100 corresponds to the second photographing environment. For example, when the electronic device 100 is a photographing environment requiring an HDR function and a zoom magnification less than a specified magnification is set, the processor 220 may determine that the electronic device 100 corresponds to the second photographing environment. As another example, when it is determined that it is necessary to reduce noise included in the first image frame, the processor 220 may determine that it corresponds to the second photographing environment. As another example, when it is determined that it is necessary to acquire an image having pixels less than a reference value, the processor 220 may determine that the photographing environment corresponds to the second photographing environment.
  • the processor 220 may capture an image in the second mode in response to that the photographing environment corresponds to the second photographing environment.
  • the processor 220 may acquire the second image frame through the second mode.
  • the second mode may be understood as the second mode described with reference to FIGS. 7A to 7B . The second mode will be described later with reference to FIG. 10 .
  • the processor 220 may determine whether the photographing environment corresponds to a third photographing environment. For example, when it is determined that the illuminance around the electronic device 100 is less than the reference value, the processor 220 may determine that it corresponds to the third photographing environment. As another example, when it is determined that the optical signal for the subject included in the first image frame is less than the reference value, the processor 220 may determine that it corresponds to the third photographing environment.
  • the processor 220 may capture an image in the third mode in response to the photographing environment corresponding to the third photographing environment.
  • the processor 220 may acquire the second image frame through the third mode.
  • the third mode may be understood as a low-illuminance mode. The third mode will be described later with reference to FIG. 11 .
  • the processor 220 may determine whether the photographing environment corresponds to a fourth photographing environment. For example, when it is determined that the illuminance around the electronic device 100 is within the reference range, the processor 220 may determine that it is the fourth photographing environment. As another example, when determining that the optical signal for the subject included in the first image frame is included in the reference range, the processor 220 may determine that it corresponds to the fourth photographing environment.
  • the processor 220 may capture an image in the fourth mode in response to that the photographing environment corresponds to the fourth photographing environment.
  • the processor 220 may acquire the second image frame through the fourth mode.
  • the fourth mode may be understood as a normal mode. The fourth mode will be described later with reference to FIG. 12 .
  • the processor 220 selects the photographing environment in the order of whether the photographing environment of the electronic device 100 corresponds to the first photographing environment, the second photographing environment, the third photographing environment, and the fourth photographing environment. Although shown as determining, this is an example, and various embodiments that can be implemented by those skilled in the art are possible. For example, the processor 220 may determine that the shooting environment corresponds to any one of the first to fourth shooting environments, regardless of the order, based on whether a specified condition is satisfied. As another example, when receiving a user input for acquiring an image in a specific photographing mode, the processor 220 may determine that it corresponds to a photographing environment corresponding to the user input.
  • the electronic device 100 may not necessarily be implemented to determine any one of the four photographing environments. For example, in various embodiments, the electronic device 100 determines any one of two photographing environments (eg, a first photographing environment and a second photographing environment) or a photographing environment of any one of five or more photographing environments. can be implemented to determine
  • FIG 9 illustrates an example in which the electronic device 100 acquires an image in a first mode, according to an embodiment.
  • the processor 220 may control the image sensor 210 to photograph an image in the first mode.
  • the image sensor 210 may acquire analog data (eg, analog data 402 of FIG. 4 ) through a pixel.
  • the image sensor 210 may acquire the analog data through individual pixels 212 or unit pixels 214 .
  • the image sensor 210 includes four PDs (eg, the first PD 311 , the second PD 312 , the third PD 313 of FIG. 3 , and
  • the analog data may be obtained based on light amount data obtained through any one of the fourth PDs 314 , and the analog data may be obtained based on light amount data obtained through at least two PDs among the four PDs. You can also obtain data.
  • each pixel is composed of one PD and one FD, and the image sensor acquires the analog data based on the light amount data obtained through the one PD You may.
  • the image sensor 210 may obtain first digital data 910 by digitally converting analog data to a first sensitivity, and digitally converting analog data to a second sensitivity higher than the first sensitivity.
  • the second digital data 920 may be acquired. Referring to FIG. 9 , the first digital data 910 in which the image sensor 210 digitally converts analog data to a first sensitivity is compared to the second digital data 920 in which analog data is digitally converted to a second sensitivity. It can have a small value.
  • the first digital data 910 may correspond to an image darker than the second digital data 920 .
  • the second digital data 920 since the second digital data 920 is digitally converted to the second sensitivity, which is a relatively high sensitivity, there may be saturated pixels.
  • the second digital data 920 may not include an image of a cloud in the sky area corresponding to the first area 901 .
  • the first area 901 is brighter than the second area 902 by a certain level or more, it may be difficult for the second digital data 920 to include an image of the first area 901 .
  • the first digital data 910 since the first digital data 910 is digitally converted to the first sensitivity, which is a relatively low sensitivity, there may be no saturated pixels or there may be negligible number of pixels.
  • the first digital data 910 may include an image of the first area 901 without artifacts such as white holes.
  • the processor 220 may acquire the first digital data 910 and the second digital data 920 from the image sensor 210 . According to an embodiment, the processor 220 may acquire a second image frame 905 following the first image frame based on the first digital data 910 and the second digital data 920 .
  • the second image frame 905 may be an HDR image.
  • the processor 220 may perform image fusion by applying two different gamma signals to the first digital data 910 and the second digital data 920 .
  • the processor 220 may acquire the second image frame 905 through the fusion.
  • the processor 220 may acquire an HDR image using dual gamma fusion with respect to the first digital data 910 and the second digital data 920 .
  • the processor 220 may improve the quality of the HDR image through dual gamma fusion.
  • the processor 220 may acquire an HDR image based on an image region that satisfies a specified condition among the first digital data 910 and the second digital data 920 through dual gamma fusion.
  • the specified condition may mean that the pixel is not saturated and has brightness of a certain level or more.
  • the processor 220 divides the image region corresponding to the second image frame 905 into a first region 901 that is brighter than the threshold value and a second region 902 that is darker than the threshold value, and A second image frame 905 may be obtained based on the first area 901 of the first digital data 910 and the second area 902 of the second digital data 920 .
  • the entire image area corresponding to the second image frame 905 may be divided into a first area 901 and a second area 902 .
  • the first area 901 may be an area having a brightness greater than or equal to a threshold value
  • the second area 902 may be an area having a brightness less than or equal to a threshold value.
  • the processor 220 generates a second image frame 905 based on the first area 901 of the first digital data 910 and the second area 902 of the second digital data 920 . can be obtained.
  • the processor 220 uses the second digital data 920 obtained with a relatively high sensitivity for the relatively dark second area 902, and the relatively bright first area 901 with a relatively low sensitivity.
  • the first digital data 910 may be used.
  • the processor 220 may include a second image frame having a DR (dynamic range) of the first digital data 910 or a DR wider than the DR of the second digital data 920 ( 905) can be obtained.
  • the processor 220 divides the image region into a first region 901 and a second region 902 , and the first region 901 is acquired based on the first digital data 910 . and, the second area 902 is illustrated as being acquired based on the second digital data 920, but this is an example, and various embodiments that can be implemented by a person skilled in the art are possible.
  • the processor 220 may define an image region corresponding to the second image frame 905 as a first region brighter than the first threshold value, a second region having a brightness between the first threshold value and the second threshold value; and a third region darker than the second threshold value.
  • the second region may be understood as a region having an appropriate brightness or an appropriate DR.
  • the processor 220 acquires the image of the first area brighter than the first threshold value based on the first digital data 910 , and the image of the third area darker than the second threshold value uses the second digital data 920 . can be obtained based on The processor 220 obtains the image of the second region having the brightness between the first threshold value and the second threshold value by merging the first digital data 910 and the second digital data 920, or obtains the image with the first sensitivity or It may be obtained based on third digital data (not shown) obtained by digitally converting analog data through a third sensitivity that is distinguished from the second sensitivity.
  • the processor 220 may acquire the second image frame 905 through zero padding on the first digital data 910 and the second digital data 920 .
  • the processor 220 may acquire the third digital data 930 having a third number by adding the first dummy data having the second number of bits to the first digital data 910 having the first number of bits. have.
  • the processor 220 obtains the fourth digital data 940 having a third number by adding the second dummy data having the second number of bits to the second digital data 920 having the first number of bits. can do.
  • the first number, the second number, and the third number may be natural numbers.
  • the first number may be 10, the second number may be 2, and the third number may be 12.
  • the first number may be 12, the second number may be 2, and the third number may be 14.
  • the processor 220 may acquire the third digital data 930 by adding the first dummy data to the first digital data 910 with least significant bit (LSB) zero padding, and the second The fourth digital data 940 may be obtained by adding the second dummy data to the digital data 920 by using the most significant bit (MSB) zero padding.
  • MSB most significant bit
  • the first dummy data and the second dummy data may be '00'.
  • the processor 220 may acquire the second image frame 905 based on the third digital data 930 and the fourth digital data 940 .
  • the processor 220 may acquire the image data 950 based on a part of the third digital data 930 and a part of the fourth digital data 940 .
  • the processor 220 may acquire the image data 950 based on the remaining bits except for the two most significant bits among the third digital data 930 and the two most significant bits among the fourth digital data 940 .
  • the first bit group 952 of the image data 950 may correspond to two most significant bits among the third digital data 930
  • the second bit group 954 of the image data 950 is the fourth digital data It may correspond to the remaining bits except for the two most significant bits among 940 .
  • the processor 220 may acquire the second image frame 905 based on the image data 950 .
  • the processor 220 in response to the photographing environment of the electronic device 100 corresponding to the first photographing environment, selects a plurality of pixels (eg, individual pixels 212, unit) during the first exposure time.
  • the first light amount data may be acquired through the pixel 214 or a pixel (not shown) including one PD and one FD.
  • the processor 220 may determine the exposure time of the image sensor 210 as the first exposure time.
  • the processor 220 may determine that the exposure time of the image sensor 210 is the second exposure time. In an embodiment, the first exposure time may be shorter than the second exposure time.
  • the processor 220 may decrease the exposure time to reduce the amount of charge (eg, the first light amount data) accumulated in the PD. For example, when acquiring analog data based on the amount of charge accumulated in two or more PDs, the processor 220 may reduce the exposure time in consideration of the amount of charge accumulated in the PDs and the FD storage space. In other embodiments, the first exposure time may not be shorter than the second exposure time. For example, the processor 220 may not reduce the exposure time or decrease the amount of charge accumulated in the PD even when using the first mode.
  • the amount of charge eg, the first light amount data
  • the FD Exposure time may not be reduced if it is judged that there is sufficient storage space.
  • FIG 10 illustrates an example in which the electronic device 100 acquires an image in the second mode, according to an embodiment.
  • the processor 220 may control the image sensor 210 to photograph an image in the second mode.
  • the image sensor 210 acquires the first image data 1010 with a first conversion gain (eg, HCG) based on the light amount data input to the unit pixel 214 , and collects the light amount data. Based on the second transformation gain (eg, LCG), the second image data 1020 may be obtained.
  • the image sensor 210 includes four PDs (eg, the first PD 311 , the second PD 312 , the third PD 313 , and the fourth PD 314 of FIG. 3 ) included in the unit pixel 214 . )), the first image data and the second image data may be obtained based on the light amount data obtained through at least two PDs.
  • the first image data 1010 read out by the image sensor 210 with a first conversion gain is second image data 1020 read out with a second conversion gain lower than the first conversion gain. It may correspond to a brighter image compared to .
  • the first image data 1010 since the first image data 1010 is read out with a first conversion gain that is a relatively high conversion gain, there may be saturated pixels.
  • the first image data 1010 may not include an image of a cloud in the sky area corresponding to the first area 1001 . For example, since the first area 1001 is brighter than the second area 1002 by a certain level or more, it may be difficult for the first image data 1010 to include an image of the first area 1001 .
  • the second image data 1020 since the second image data 1020 is read out with the second conversion gain, which is a relatively low conversion gain, there may be no saturated pixels or there may be negligibly few pixels.
  • the second image data 1020 may include an image of the first area 1001 without defects such as white holes.
  • the processor 220 may obtain the first image data 1010 and the second image data 1020 from the image sensor 210 . According to an embodiment, the processor 220 may acquire a second image frame 1005 following the first image frame based on the first image data 1010 and the second image data 1020 .
  • the second image frame 1005 may be an HDR image.
  • the processor 220 divides the image region corresponding to the second image frame 1005 into a first region 1001 that is brighter than the threshold value and a second region 1002 that is darker than the threshold value, and A second image frame 1005 may be obtained based on the first area 1001 of the second image data 1020 and the second area 1002 of the first image data 1010 .
  • the processor 220 may obtain the second image frame 1005 based on the second area 1002 of the first image data 1010 and the first area 1001 of the second image data 1020 .
  • the processor 220 uses the first image data 1010 obtained with a relatively high conversion gain for the relatively dark second area 1002, and the relatively bright first area 1001 for the relatively high conversion gain.
  • the second image data 1020 obtained with a low conversion gain may be used.
  • the processor 220 acquires a second image frame 1005 having a DR wider than the DR of the first image data 1010 or the DR of the second image data 1020 when capturing an image through the second mode can do.
  • the processor 220 is illustrated as dividing the image region into a first region 1001 and a second region 1002 , but this is an example of various types that can be implemented by those skilled in the art. Embodiments are possible. For example, as described with reference to FIG. 9 , the processor 220 converts the image region to a first region that is brighter than a first threshold value, and a second region having a brightness between the first threshold value and the second threshold value. , and a third region darker than the second threshold value.
  • the processor 220 may acquire the second image frame 1005 through zero padding on the first image data 1010 and the second image data 1020 .
  • the processor 220 may acquire the third image data 1030 by adding the first dummy data having the second number of bits to the first image data 1010 having the first number of bits.
  • the processor 220 may acquire the fourth image data 1040 by adding the second dummy data having the second number of bits to the second image data 1020 having the first number of bits.
  • the first number, the second number, and the third number may be natural numbers.
  • the first number may be 10, the second number may be 2, and the third number may be 12.
  • the first number may be 12, the second number may be 2, and the third number may be 14.
  • the processor 220 may acquire the third image data 1030 by adding the first dummy data to the first image data 1010 with MSB zero padding, and the second image data 1020 .
  • the fourth image data 1040 may be obtained by adding second dummy data to LSB zero padding.
  • the first dummy data and the second dummy data may be '00'.
  • the processor 220 may acquire the second image frame 1005 based on the third image data 1030 and the fourth image data 1040 .
  • the processor 220 may acquire the fifth image data 1050 based on a part of the third image data 1030 and a part of the fourth image data 1040 .
  • the processor 220 generates the fifth image data 1050 based on the remaining bits except for two most significant bits of the fourth image data 1040 and two most significant bits of the third image data 1030 .
  • the first bit group 1052 of the fifth image data 1050 may correspond to two most significant bits among the fourth image data 1040
  • the second bit group 1054 of the fifth image data 1050 is It may correspond to the remaining bits except for the two most significant bits among the third image data 1030 .
  • the processor 220 may acquire the second image frame 1005 based on the fifth image data 1050 .
  • the processor 220 may acquire the HDR image through the first mode described with reference to FIG. 9 or the second mode described with reference to FIG. 10 . If the processor 220 determines that the HDR function is required, the first shooting environment or the second shooting environment based on information about at least a part of the set zoom magnification, the amount of noise included in the image, and the exposure time of the image sensor 210 . It can be judged that it corresponds to the shooting environment. For example, the processor 220 may receive a user input for setting a zoom factor, use the first mode when the zoom factor is greater than or equal to a specified magnification, and use the second mode when the zoom factor is less than a specified magnification. have.
  • the processor 220 may use the second mode when determining that the amount of noise included in the first image frame is greater than or equal to a certain level and therefore needs to be reduced.
  • the image sensor 210 uses the second mode compared to when the first mode is used, the amount of noise included in the second image frame 1005 may be reduced.
  • the processor 220 in response to the photographing environment of the electronic device 100 corresponding to the second photographing environment, displays a plurality of pixels (eg, the unit pixel 214 ) during the second exposure time.
  • the second light amount data may be obtained through the
  • the processor 220 may determine the exposure time of the image sensor 210 as the second exposure time.
  • the second exposure time may be longer than the first exposure time, and in another embodiment, the first exposure time and the second exposure time may be the same or not related to each other.
  • FIG 11 illustrates an example in which the electronic device 100 acquires an image in a third mode, according to an embodiment.
  • the processor 220 may control the image sensor 210 to photograph an image in the third mode.
  • the third mode may be a low light mode.
  • the low-illuminance mode may be used when light information of a subject is less than a reference value due to a very insufficient light in the surrounding environment of the electronic device 100 .
  • the image sensor 210 may receive light amount data to the individual pixel 212 or the unit pixel 214 during the exposure time.
  • the image sensor 210 may read out the light quantity data twice or more with the first conversion gain and generate an average value. In a low-light environment, the amount of light is insufficient, so it can be read out with HCG. For example, the image sensor 210 reads out the light amount data twice through the same conversion gain (eg, first conversion gain) and the same sensitivity (eg, first sensitivity) to obtain the first image data 1112, Second image data 1114 may be acquired. For example, the first image data 1112 and the second image data 1114 may each have a first number (eg, 10) of bits. The first image data 1112 is distinguished from the first image data 1010 of FIG. 10 , and the second image data 1114 is distinguished from the second image data 1020 of FIG. 10 .
  • the image sensor 210 may obtain the third image data by averaging the first image data 1112 and the second image data 1114 .
  • the third image data may have the first number (eg, 10) of bits.
  • the third image data is distinguished from the third image data 1030 of FIG. 10 .
  • the image sensor 210 may provide the third image data acquired through the third mode to the processor 220 .
  • the processor 220 may acquire a second image frame based on the third image data.
  • the image sensor 210 reads out data input to the individual pixel 212 or the unit pixel 214 twice or more and reduces noise included in the image data through the process of calculating an average value.
  • the image sensor 210 obtains first image data 1112 and second image data 1114 by reading out data input to individual pixels 212 or unit pixels 214 twice.
  • the processor 220 may calculate an average value by reading out data input to the individual pixel 212 or the unit pixel 214 three times, or may calculate an average value by reading out the data four or more times.
  • the image sensor 210 may perform a CDS operation when using the third mode.
  • the image sensor 210 may acquire reset data after the reset operation, and may acquire readout data corresponding to the light amount data twice or more after the TG 320 is turned on.
  • the image sensor 210 may acquire first readout data and second readout data.
  • the image sensor 210 may acquire the first image data 1112 based on the difference between the first readout data and the reset data, and based on the difference between the second readout data and the reset data, the second image data ( 1114) can be obtained.
  • the image sensor 210 may calculate a difference value from the reset data after averaging the first readout data and the second readout data.
  • three or more readouts may be required in consideration of CDS.
  • FIG. 12 illustrates an example in which the electronic device 100 acquires an image in a fourth mode, according to an embodiment.
  • the processor 220 may control the image sensor 210 to photograph an image in the fourth mode.
  • the fourth mode may be a normal mode.
  • the normal mode may be used when the surrounding environment of the electronic device 100 is bright, the light information of the subject is equal to or greater than the reference value, and the HDR function is not required.
  • the image sensor 210 may receive light amount data to the individual pixel 212 or the unit pixel 214 during the exposure time.
  • the image sensor 210 may acquire the image data 1210 by reading out one time with the first conversion gain and the first sensitivity based on the light amount data.
  • the image data 1210 may have a first number (eg, 10) of bits.
  • the image sensor 210 may provide image data 1210 to the processor 220 .
  • the processor 220 may acquire a second image frame based on the image data 1210 .
  • the image sensor 210 may perform a CDS operation when the fourth mode is used.
  • the image sensor 210 may acquire reset data after the reset operation, and may acquire readout data corresponding to the light amount data after the TG 320 is turned on.
  • the image sensor 210 may acquire the image data 1210 based on a difference between the readout data and the reset data.
  • two readouts may be required.
  • power consumption may be the lowest compared to when the first to third modes are used.
  • FIG 13 illustrates an example in which the electronic device 100 acquires an image in a third photographing environment, according to an embodiment.
  • the processor 220 may photograph an image through the first mode. For example, if the processor 220 determines that the DR of a certain region of the first image frame acquired from the image sensor 210 needs to be expanded, the processor 220 may acquire the second image frame through the first mode. .
  • the predetermined area may mean an area having a brightness equal to or less than a reference value in the first image frame.
  • the image sensor 210 may acquire analog data through a pixel.
  • the image sensor 210 may digitally convert the analog data to the first sensitivity two or more times and obtain the first digital data 1310 by averaging the average value, and digitally convert the analog data to the second sensitivity two or more times,
  • the second digital data 1320 may be obtained by taking the average value.
  • the operation of the processor 220 acquiring the second image frame 1305 based on the first digital data 1310 and the second digital data 1320 is the first digital data 910 in FIG. 9 . ) and the operation of acquiring the second image frame 905 based on the second digital data 920 .
  • the third digital data 1330 is the third digital data 930 of FIG.
  • the fourth digital data 1340 is the fourth digital data 940 of FIG. 9
  • the second image frame 1305 is The second image frame 905 of FIG. 9
  • reference numerals 1350 , 1352 , and 1354 may correspond to reference numerals 950 , 952 , and 954 of FIG. 9 .
  • the processor 220 may use the first mode even when a specified condition is satisfied other than when an HDR image is required.
  • the processor 220 may use the first mode to reduce noise in a low-light environment.
  • the processor 220 digitally converts the data at least two times at the first sensitivity and averages it, and reduces the noise through the operation of digitally converting and averaging the digital data at the second sensitivity two or more times. can be reduced
  • the processor 220 reduces noise through an averaging operation after reading out two or more times as described in FIG. 13 even when the image acquired through the first mode includes noise of a certain level or more. can do it
  • the processor 220 may reduce noise included in the first digital data 1310 or the second digital data 1320 by reading out the analog data twice or more with different sensitivities, respectively, and averaging them.
  • FIG. 14 illustrates an example in which the electronic device 100 changes a photographing mode according to a set zoom magnification, according to an embodiment.
  • the electronic device 100 may include an image sensor 210 having 50 megapixels.
  • the image sensor 210 may include unit pixels 214 including four PDs having a 2x2 arrangement.
  • the unit pixel 214 may be understood as a color filter unit.
  • four individual pixels 212 corresponding to R(red) among the color filters may be included in one unit pixel 214 .
  • the processor 220 may also consider a zoom magnification when determining whether the photographing environment of the electronic device 100 corresponds to a specified photographing environment. According to an embodiment, when determining that the HDR function is necessary, the processor 220 may determine whether the photographing environment is the first photographing environment or the second photographing environment based on the zoom magnification. For example, the processor 220 may receive a user input for setting the zoom magnification or determine the zoom magnification through an application using the image sensor 210 .
  • the processor 220 determines that the photographing environment is the first photographing environment when the zoom magnification is greater than or equal to a specified magnification, and when the zoom magnification is less than the specified magnification, the photographing environment is set to the second photographing environment environment can be considered.
  • the processor 220 determines a field of view (FOV), whether binning is performed, a photographing mode, whether remosaic, resolution, and image data (or digital data) can be determined.
  • FOV field of view
  • the angle of view of the camera module 180 may be determined according to the zoom magnification.
  • the processor 220 may obtain an image in which a partial region is cropped to correspond to the zoom magnification from among the image regions acquired through the image sensor 210 . As the zoom magnification increases, the angle of view may decrease.
  • the processor 220 may acquire an image based on light amount data obtained through each individual pixel 212 without binning. Also, when the zoom magnification is greater than or equal to a specified magnification, the processor 220 may determine that the remote control is necessary.
  • the processor 220 may be advantageous to acquire an image based on the amount of charge acquired through the unit pixel 214 .
  • the unit pixel 214 rather than the light amount data obtained through each individual pixel 212 (eg, one PD) ) (eg, 4 PDs) may be advantageous in acquiring an image using the acquired light amount data.
  • the processor 220 uses the first mode, it may be advantageous to acquire an image based on the amount of electric charge acquired for each individual pixel 212 compared to the second mode.
  • the processor 220 uses the first mode, since the size of the FD storage space does not increase as much as the FD1 735 , the amount of light data acquired through each individual pixel 212 (eg, one PD) is used to It may be advantageous to acquire an image.
  • the processor 220 may determine the photographing mode as the second mode because the angle of view is wide and binning is performed. Also, when the zoom magnification is greater than or equal to the specified magnification, the processor 220 may determine the photographing mode as the first mode because the angle of view is narrow and binning is not performed. According to an embodiment, since the processor 220 performs binning when acquiring an image of a wide angle of view and does not binning when acquiring an image of a narrow angle of view, the processor 220 performs the same operation with the image acquired through the first mode.
  • the resolution of images acquired through mode 2 can be constant at 12 megapixels.
  • the number of bits of digital data acquired through the processor 200 in the first mode and the number of bits of image data acquired through the second mode may be constant at 12 .
  • the number of bits and the resolution of the digital data acquired through the first mode and the image data acquired through the second mode are constant. Therefore, there may be no interruption in the flow of data.
  • the preview image displayed on the display 110 may be continuously provided.
  • the user may continue shooting without interruption even if the zoom magnification is changed while receiving the HDR image using the electronic device 100 .
  • 15 illustrates an example in which the electronic device 100 acquires an HDR image based on two or more images acquired through an image sensor, according to an embodiment.
  • the processor 220 may include the first digital data (eg, the first digital data 910 of FIG. 9 ) and the second digital data (eg, the second digital data of FIG. 9 ) acquired through the first mode.
  • An image frame (eg, the second image frame 905 of FIG. 9 ) may be acquired based on the data 920 ).
  • the DR of the image frame may be wider than the DR of the first digital data or the DR of the second digital data.
  • 15 illustrates an example in which the processor 220 acquires an image frame that is an HDR image based on the first digital data and the second digital data.
  • the processor 220 may perform a local tone mapping (LTM) operation on the first digital data and the second digital data.
  • the graph of FIG. 15 may be a graph previously designated in the electronic device 100 .
  • the processor 220 may input the first digital data and the second digital data to the x-axis, and obtain the image frame based on the corresponding y value.
  • the graph of FIG. 15 is an example, and various embodiments that may be implemented by a person skilled in the art are possible.
  • the processor 220 may perform image fusion through a graph having a different curvature from the curve shown in FIG. 15 .
  • the electronic device may include an image sensor including a plurality of unit pixels, each unit pixel including two or more individual pixels, and at least one processor electrically connected to the image sensor.
  • the at least one processor obtains a first image frame from the image sensor, determines whether a photographing environment of the electronic device corresponds to a specified photographing environment based on the first image frame, and determines that the photographing environment is the second image frame.
  • the image sensor acquires analog data through individual pixels, first digital data obtained by digitally converting the analog data to a first sensitivity, and converting the analog data to less than the first sensitivity control to provide second digital data digitally converted with a high second sensitivity to the at least one processor, and a second image frame following the first image frame based on the first digital data and the second digital data first image data obtained by the image sensor with a first conversion gain based on light amount data input to a unit pixel in response to the photographing environment corresponding to the second photographing environment, and control to provide second image data obtained with a second conversion gain lower than the first conversion gain based on the light quantity data to the at least one processor, and based on the first image data and the second image data to obtain the second image frame.
  • the at least one processor is configured to: in response to the photographing environment corresponding to a third photographing environment, the image sensor to output the light amount data input to the individual pixel or the unit pixel to the second generation It is possible to control to provide third image data obtained by reading out two or more times with 1 conversion gain and averaging the average value to the at least one processor, and obtaining the second image frame based on the third image data.
  • the at least one processor is configured to: in response to the photographing environment being a fourth photographing environment, the image sensor based on the light amount data input to the individual pixel or the unit pixel It is possible to control to provide fourth image data obtained by performing correlated double sampling (CDS) to the at least one processor, and obtain the second image frame based on the fourth image data.
  • CDS correlated double sampling
  • the at least one processor is configured to determine whether the scene corresponding to the first image frame is backlight, illuminance around the electronic device, or whether a person is included in the subject of the first image frame It may be determined whether the photographing environment corresponds to the designated photographing environment based on at least one of whether the photographing environment is present.
  • the at least one processor receives a user input for setting a zoom magnification, and when the zoom magnification is equal to or greater than a specified magnification, determines that the photographing environment is the first photographing environment, and When the zoom magnification is less than the specified magnification, it may be determined that the photographing environment is the second photographing environment.
  • the at least one processor acquires first light quantity data through the individual pixels during a first exposure time in response to the photographing environment corresponding to the first photographing environment, In response to the photographing environment corresponding to the second photographing environment, second light amount data corresponding to the light amount data may be obtained through the unit pixel during a second exposure time longer than the first exposure time.
  • the at least one processor is configured to include, when the photographing environment corresponds to the first photographing environment, a second number of bits in the first digital data having a first number of bits Obtaining third digital data having a third number of bits by adding first dummy data, and adding second dummy data having the second number of bits to the second digital data having the first number of bits to obtain fourth digital data having the third number of bits, and obtain the second image frame based on the third digital data and the fourth digital data.
  • the first number may be 10, the second number may be 2, and the third number may be 12.
  • the at least one processor adds the first dummy data to the first digital data with least significant bit (LSB) zero padding, and adds the first dummy data to the second digital data. bit) the second dummy data may be added with zero padding.
  • LSB least significant bit
  • the image sensor may include at least one analog digital converter (ADC) for digitally converting the analog data into the first digital data and the second digital data.
  • ADC analog digital converter
  • the unit pixel may include four individual pixels.
  • An electronic device may include an image sensor including a plurality of pixels and at least one ADC, and at least one processor electrically connected to the image sensor.
  • the at least one processor may include: first digital data in which the image sensor acquires analog data through a pixel, digitally converts the analog data to a first sensitivity through the at least one ADC, and converts the analog data to the at least control to provide second digital data digitally converted to a second sensitivity higher than the first sensitivity through one ADC to the at least one processor, and the first digital data and the second digital data from the image sensor may be obtained, and a first image frame may be obtained based on the first digital data and the second digital data.
  • the at least one processor obtains third digital data by adding first dummy data having a second number of bits to the first digital data having a first number of bits; , to obtain fourth digital data by adding second dummy data having the second number of bits to the second digital data having the first number of bits, the third digital data, and the fourth digital data
  • the first image frame may be obtained based on .
  • the at least one ADC includes a first ADC and a second ADC
  • the image sensor digitally converts the analog data to the first sensitivity through the first ADC
  • the analog data may be digitally converted to the second sensitivity through the second ADC.
  • the image sensor may include a single ADC.
  • the image sensor digitally converts the analog data to the first sensitivity through the one ADC at a first time point, and at a second time point subsequent to the first time point, the analog data through the one ADC may be digitally converted to the second sensitivity.
  • the image sensor may include a unit pixel including four photo diodes (PDs) having a 2x2 array and one floating diffusion (FD) connected to the four PDs. .
  • PDs photo diodes
  • FD floating diffusion
  • the image sensor may acquire the analog data based on light amount data acquired through any one of the four PDs.
  • the image sensor may acquire the analog data based on light amount data acquired through at least two PDs among the four PDs.
  • each pixel among the plurality of pixels may include one PD and one FD.
  • the image sensor may acquire the analog data based on the light amount data acquired through the PD.
  • the at least one processor in response to determining that the photographing environment of the electronic device corresponds to a designated photographing environment, causes the image sensor to read the analog data at the first sensitivity twice or more Control to provide the first digital data obtained by digital conversion and averaging, and the second digital data obtained by performing digital conversion of the analog data twice or more with the second sensitivity and averaging the analog data, to the at least one processor can do.
  • FIG. 16 is a block diagram of an electronic device 1601 in a network environment 1600 according to various embodiments of the present disclosure.
  • the electronic device 1601 communicates with the electronic device 1602 through a first network 1698 (eg, a short-range wireless communication network) or a second network 1699 . It may communicate with at least one of the electronic device 1604 and the server 1608 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 1601 may communicate with the electronic device 1604 through the server 1608 .
  • a first network 1698 eg, a short-range wireless communication network
  • the server 1608 e.g., a long-distance wireless communication network
  • the electronic device 1601 includes a processor 1620 , a memory 1630 , an input module 1650 , a sound output module 1655 , a display module 1660 , an audio module 1670 , and a sensor module ( 1676), interface 1677, connection terminal 1678, haptic module 1679, camera module 1680, power management module 1688, battery 1689, communication module 1690, subscriber identification module 1696 , or an antenna module 1697 .
  • at least one of these components eg, the connection terminal 1678
  • some of these components are integrated into one component (eg, display module 1660). can be
  • the processor 1620 for example, executes software (eg, a program 1640) to execute at least one other component (eg, hardware or software component) of the electronic device 1601 connected to the processor 1620. It can control and perform various data processing or operations. According to an embodiment, as at least part of data processing or operation, the processor 1620 stores a command or data received from another component (eg, the sensor module 1676 or the communication module 1690) into the volatile memory 1632 . may store the command or data stored in the volatile memory 1632 , and store the result data in the non-volatile memory 1634 .
  • software eg, a program 1640
  • the processor 1620 stores a command or data received from another component (eg, the sensor module 1676 or the communication module 1690) into the volatile memory 1632 .
  • the processor 1620 stores a command or data received from another component (eg, the sensor module 1676 or the communication module 1690) into the volatile memory 1632 . may store the command or data stored in the volatile memory 1632 , and store
  • the processor 1620 is a main processor 1621 (eg, a central processing unit or an application processor) or a secondary processor 1623 (eg, a graphics processing unit, a neural network processing unit) a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor).
  • a main processor 1621 eg, a central processing unit or an application processor
  • a secondary processor 1623 eg, a graphics processing unit, a neural network processing unit
  • NPU neural processing unit
  • an image signal processor e.g., a sensor hub processor, or a communication processor.
  • the auxiliary processor 1623 uses less power than the main processor 1621 or is set to be specialized for a specified function.
  • the coprocessor 1623 may be implemented separately from or as part of the main processor 1621 .
  • the coprocessor 1623 may, for example, act on behalf of the main processor 1621 while the main processor 1621 is in an inactive (eg, sleep) state, or when the main processor 1621 is active (eg, executing an application). ), together with the main processor 1621, at least one of the components of the electronic device 1601 (eg, the display module 1660, the sensor module 1676, or the communication module 1690) It is possible to control at least some of the related functions or states.
  • the coprocessor 1623 eg, an image signal processor or a communication processor
  • may be implemented as part of another functionally related component eg, the camera module 1680 or the communication module 1690). have.
  • the auxiliary processor 1623 may include a hardware structure specialized for processing an artificial intelligence model.
  • Artificial intelligence models can be created through machine learning. Such learning may be performed, for example, in the electronic device 1601 itself on which the artificial intelligence model is performed, or may be performed through a separate server (eg, the server 1608).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but in the above example not limited
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the above example.
  • the artificial intelligence model may include, in addition to, or alternatively, a software structure in addition to the hardware structure.
  • the memory 1630 may store various data used by at least one component of the electronic device 1601 (eg, the processor 1620 or the sensor module 1676 ).
  • the data may include, for example, input data or output data for software (eg, a program 1640 ) and instructions related thereto.
  • the memory 1630 may include a volatile memory 1632 or a non-volatile memory 1634 .
  • the program 1640 may be stored as software in the memory 1630 , and may include, for example, an operating system 1642 , middleware 1644 , or an application 1646 .
  • the input module 1650 may receive a command or data to be used in a component (eg, the processor 1620 ) of the electronic device 1601 from the outside (eg, a user) of the electronic device 1601 .
  • the input module 1650 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 1655 may output a sound signal to the outside of the electronic device 1601 .
  • the sound output module 1655 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. According to an embodiment, the receiver may be implemented separately from or as a part of the speaker.
  • the display module 1660 may visually provide information to the outside (eg, a user) of the electronic device 1601 .
  • the display module 1660 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the corresponding device.
  • the display module 1660 may include a touch sensor configured to sense a touch or a pressure sensor configured to measure the intensity of a force generated by the touch.
  • the audio module 1670 may convert a sound into an electric signal or, conversely, convert an electric signal into a sound. According to an embodiment, the audio module 1670 acquires a sound through the input module 1650 or an external electronic device (eg, a sound output module 1655 ) directly or wirelessly connected to the electronic device 1601 .
  • the electronic device 1602) eg, a speaker or headphones
  • the sensor module 1676 detects an operating state (eg, power or temperature) of the electronic device 1601 or an external environmental state (eg, user state), and generates an electrical signal or data value corresponding to the sensed state. can do.
  • the sensor module 1676 may include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 1677 may support one or more specified protocols that may be used for the electronic device 1601 to directly or wirelessly connect with an external electronic device (eg, the electronic device 1602 ).
  • the interface 1677 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card
  • connection terminal 1678 may include a connector through which the electronic device 1601 can be physically connected to an external electronic device (eg, the electronic device 1602 ).
  • the connection terminal 1678 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 1679 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that the user can perceive through tactile or kinesthetic sense.
  • the haptic module 1679 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 1680 may capture still images and moving images. According to an embodiment, the camera module 1680 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 1688 may manage power supplied to the electronic device 1601 .
  • the power management module 1688 may be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 1689 may supply power to at least one component of the electronic device 1601 .
  • the battery 1689 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 1690 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 1601 and an external electronic device (eg, the electronic device 1602 , the electronic device 1604 , or the server 1608 ). It can support establishment and communication performance through the established communication channel.
  • the communication module 1690 operates independently of the processor 1620 (eg, an application processor) and may include one or more communication processors supporting direct (eg, wired) communication or wireless communication.
  • the communication module 1690 may include a wireless communication module 1692 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 1694 (eg, : It may include a local area network (LAN) communication module, or a power line communication module).
  • a corresponding communication module among these communication modules is a first network 1698 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 1699 (eg, legacy).
  • a first network 1698 eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)
  • a second network 1699 eg, legacy
  • the wireless communication module 1692 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 1696 within a communication network, such as the first network 1698 or the second network 1699 .
  • the electronic device 1601 may be identified or authenticated.
  • the wireless communication module 1692 may support a 5G network after a 4G network and a next-generation communication technology, for example, a new radio access technology (NR).
  • NR access technology includes high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low-latency) -latency communications)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low-latency
  • the wireless communication module 1692 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • a high frequency band eg, mmWave band
  • the wireless communication module 1692 uses various techniques for securing performance in a high frequency band, for example, beamforming, massive multiple-input and multiple-output (MIMO), and all-dimensional multiplexing. It may support technologies such as full dimensional MIMO (FD-MIMO), an array antenna, analog beam-forming, or a large scale antenna.
  • the wireless communication module 1692 may support various requirements specified in the electronic device 1601 , an external electronic device (eg, the electronic device 1604 ), or a network system (eg, the second network 1699 ).
  • the wireless communication module 1692 provides a peak data rate (eg, 20 Gbps or more) for realization of eMBB, loss coverage (eg, 164 dB or less) for realization of mMTC, or U-plane latency (for URLLC realization) ( Example: Downlink (DL) and uplink (UL) each 0.5 ms or less, or round trip 1 ms or less) can be supported.
  • a peak data rate eg, 20 Gbps or more
  • loss coverage eg, 164 dB or less
  • U-plane latency for URLLC realization
  • the antenna module 1697 may transmit or receive a signal or power to the outside (eg, an external electronic device).
  • the antenna module 1697 may include an antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern.
  • the antenna module 1697 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication scheme used in a communication network such as the first network 1698 or the second network 1699 is connected from the plurality of antennas by, for example, the communication module 1690 . can be selected. A signal or power may be transmitted or received between the communication module 1690 and an external electronic device through the selected at least one antenna.
  • other components eg, a radio frequency integrated circuit (RFIC)
  • RFIC radio frequency integrated circuit
  • the antenna module 1697 may form a mmWave antenna module.
  • the mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first side (eg, bottom side) of the printed circuit board and capable of supporting a specified high frequency band (eg, mmWave band); and a plurality of antennas (eg, an array antenna) disposed on or adjacent to a second side (eg, top or side) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 1601 and the external electronic device 1604 through the server 1608 connected to the second network 1699 .
  • Each of the external electronic devices 1602 or 1604 may be the same or a different type of the electronic device 1601 .
  • all or a part of operations performed by the electronic device 1601 may be performed by one or more external electronic devices 1602 , 1604 , or 1608 .
  • the electronic device 1601 may perform the function or service itself instead of executing the function or service itself.
  • one or more external electronic devices may be requested to perform at least a part of the function or the service.
  • One or more external electronic devices that have received the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 1601 .
  • the electronic device 1601 may process the result as it is or additionally and provide it as at least a part of a response to the request.
  • cloud computing, distributed computing, mobile edge computing (MEC), or client-server computing technology may be used.
  • the electronic device 1601 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 1604 may include an Internet of things (IoT) device.
  • IoT Internet of things
  • Server 1608 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 1604 or the server 1608 may be included in the second network 1699 .
  • the electronic device 1601 may be applied to an intelligent service (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • the electronic device may be a device of various types.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a laptop, a desktop, a tablet, or a portable multimedia device
  • portable medical device e.g., a portable medical device
  • camera e.g., a camera
  • a wearable device e.g., a smart watch
  • a home appliance device e.g., a smart bracelet
  • first”, “second”, or “first” or “second” may simply be used to distinguish the component from other such components, and refer to those components in other aspects (e.g., importance or order) is not limited. It is said that one (eg, first) component is “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively”. When referenced, it means that one component can be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module used in various embodiments of the present document may include a unit implemented in hardware, software, or firmware, for example, and interchangeably with terms such as logic, logic block, component, or circuit.
  • a module may be an integrally formed part or a minimum unit or a part of the part that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • one or more instructions stored in a storage medium may be implemented as software (eg, a program 1640) including
  • a processor eg, processor 1620
  • a device eg, electronic device 1601
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not contain a signal (eg, electromagnetic wave), and this term is used in cases where data is semi-permanently stored in the storage medium and It does not distinguish between temporary storage cases.
  • a signal eg, electromagnetic wave
  • the method according to various embodiments disclosed in this document may be provided by being included in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or via an application store (eg Play Store TM ) or on two user devices ( It can be distributed (eg downloaded or uploaded) directly or online between smartphones (eg: smartphones).
  • a portion of the computer program product may be temporarily stored or temporarily generated in a machine-readable storage medium such as a memory of a server of a manufacturer, a server of an application store, or a memory of a relay server.
  • each component (eg, module or program) of the above-described components may include a singular or a plurality of entities, and some of the plurality of entities may be separately disposed in other components.
  • one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or a program
  • the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component among the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component are executed sequentially, in parallel, repeatedly, or heuristically, or one or more of the operations are executed in a different order, omitted, or , or one or more other operations may be added.
  • the camera module 1680 includes a lens assembly 1710 , a flash 1720 , an image sensor 1730 , an image stabilizer 1740 , a memory 1750 (eg, a buffer memory), or an image signal processor. (1760).
  • the lens assembly 1710 may collect light emitted from a subject, which is an image to be captured.
  • Lens assembly 1710 may include one or more lenses.
  • the camera module 1680 may include a plurality of lens assemblies 1710 . In this case, the camera module 1680 may form, for example, a dual camera, a 360 degree camera, or a spherical camera.
  • Some of the plurality of lens assemblies 1710 may have the same lens properties (eg, angle of view, focal length, auto focus, f number, or optical zoom), or at least one lens assembly may be a different lens assembly. It may have one or more lens properties that are different from the lens properties of .
  • the lens assembly 1710 may include, for example, a wide-angle lens or a telephoto lens.
  • the flash 1720 may emit light used to enhance light emitted or reflected from the subject.
  • the flash 1720 may include one or more light emitting diodes (eg, a red-green-blue (RGB) LED, a white LED, an infrared LED, or an ultraviolet LED), or a xenon lamp.
  • the image sensor 1730 may acquire an image corresponding to the subject by converting light emitted or reflected from the subject and transmitted through the lens assembly 1710 into an electrical signal.
  • the image sensor 1730 is, for example, one image sensor selected from among image sensors having different properties, such as an RGB sensor, a black and white (BW) sensor, an IR sensor, or a UV sensor, the same It may include a plurality of image sensors having properties, or a plurality of image sensors having different properties.
  • Each image sensor included in the image sensor 1730 may be implemented using, for example, a charged coupled device (CCD) sensor or a complementary metal oxide semiconductor (CMOS) sensor.
  • CCD charged coupled device
  • CMOS complementary metal oxide semiconductor
  • the image stabilizer 1740 responds to the movement of the camera module 1680 or the electronic device 1601 including the same, and moves at least one lens or the image sensor 1730 included in the lens assembly 1710 in a specific direction or Operation characteristics of the image sensor 1730 may be controlled (eg, read-out timing may be adjusted, etc.). This makes it possible to compensate for at least some of the negative effects of the movement on the image being taken.
  • the image stabilizer 1740 is, according to an embodiment, the image stabilizer 1740 is a gyro sensor (not shown) or an acceleration sensor (not shown) disposed inside or outside the camera module 1680 . Such a movement of the camera module 1680 or the electronic device 1601 may be detected using .
  • the image stabilizer 1740 may be implemented as, for example, an optical image stabilizer.
  • the memory 1750 may temporarily store at least a portion of the image acquired through the image sensor 1730 for a next image processing operation. For example, when image acquisition is delayed according to the shutter or a plurality of images are acquired at high speed, the acquired original image (eg, Bayer-patterned image or high-resolution image) is stored in the memory 1750 and , a copy image corresponding thereto (eg, a low-resolution image) may be previewed through the display module 1660 .
  • the acquired original image eg, Bayer-patterned image or high-resolution image
  • a copy image corresponding thereto eg, a low-resolution image
  • the memory 1750 may be configured as at least a part of the memory 1630 or as a separate memory operated independently of the memory 1630 .
  • the image signal processor 1760 may perform one or more image processing on an image acquired through the image sensor 1730 or an image stored in the memory 1750 .
  • the one or more image processes may include, for example, depth map generation, three-dimensional modeling, panorama generation, feature point extraction, image synthesis, or image compensation (eg, noise reduction, resolution adjustment, brightness adjustment, blurring ( blurring), sharpening (sharpening), or softening (softening)
  • the image signal processor 1760 may include at least one of the components included in the camera module 1680 (eg, an image sensor). 1730), for example, exposure time control, readout timing control, etc.
  • the image processed by the image signal processor 1760 is stored back in the memory 1750 for further processing.
  • the image signal processor 1760 may be configured as at least a part of the processor 1620 or as a separate processor operated independently from the processor 1620.
  • the image signal processor 1760 may be configured as the processor 1620 and a separate processor, at least one image processed by the image signal processor 1760 may be displayed through the display module 1660 as it is by the processor 1620 or after additional image processing.
  • the electronic device 1601 may include a plurality of camera modules 1680 each having different properties or functions.
  • at least one of the plurality of camera modules 1680 may be a wide-angle camera, and at least the other may be a telephoto camera.
  • at least one of the plurality of camera modules 1680 may be a front camera, and at least the other may be a rear camera.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Nonlinear Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

본 문서의 일 실시 예에 따른 전자 장치는, 복수 개의 단위 픽셀들을 포함하는 이미지 센서, 각 단위 픽셀은 2 이상의 개별 픽셀들을 포함함, 및 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 상기 이미지 센서로부터 제1 이미지 프레임을 획득하고, 상기 제1 이미지 프레임을 기반으로 상기 전자 장치의 촬영 환경을 판단하고, 상기 촬영 환경이 제1 촬영 환경에 해당하는 것에 응답하여, 상기 이미지 센서가 개별 픽셀을 통해 아날로그 데이터를 획득하고, 상기 아날로그 데이터를 제1 감도로 디지털 변환한 제1 디지털 데이터, 및 상기 아날로그 데이터를 상기 제1 감도보다 높은 제2 감도로 디지털 변환한 제2 디지털 데이터를 상기 적어도 하나의 프로세서에 제공하도록 제어하고, 상기 제1 디지털 데이터 및 상기 제2 디지털 데이터를 기반으로 상기 제1 이미지 프레임에 후속하는 제2 이미지 프레임을 획득할 수 있다.

Description

이미지 센서를 포함하는 전자 장치 및 그 동작 방법
본 개시의 실시 예들은 촬영 환경에 따라 촬영 모드를 전환하는 기술에 관한 것이다.
디지털 이미지의 DR(dynamic range)는 이미지 내에서 가장 밝은 화소 값과 가장 어두운 화소 값의 비율로 정의된다. 인간의 시각 인지 시스템은 일반적인 디지털 카메라나 모니터보다 높은 DR를 다룰 수 있다. 따라서 전자 장치는 인간이 인지하는 이미지를 그대로 획득 또는 표현함에 있어서 어려움이 발생할 수 있다.
전자 장치가 일반적으로 다룰 수 있는 DR보다 큰 DR를 갖는 이미지를 HDR(high dynamic range) 이미지라고 한다. HDR 이미지는 일반적인 디지털 카메라로 획득한 이미지보다 넓은 범위의 DR를 가질 수 있다.
HDR 이미지 생성 기술은 MF HDR(multi frame high dynamic range) 기술을 포함한다. MF HDR 기술이란, 서로 다른 노출 시간에 대응하는 복수의 이미지들을 획득하고 합성하여 DR을 확장하는 기술이다. 전자 장치는 밝은 영역은 단 노출 이미지에, 어두운 영역은 장 노출 이미지에 기반하여 HDR 이미지를 획득할 수 있다. 예를 들면, 하나의 이미지 내에서 영역 별로 밝기 차이가 큰 경우에도 노출 시간이 서로 다른 이미지를 합성하여 DR이 큰 이미지를 획득할 수 있다.
종래 기술에 따르면, 서로 다른 노출 시간에 대응하는 복수의 이미지들이 획득되는 동안 피사체가 움직이는 경우, 장 노출 이미지와 단 노출 이미지가 동일하지 않으므로 생성된 HDR 이미지에 결함(artifact)이 나타날 수 있다. 예를 들면, 움직이는 피사체의 상이 겹쳐지는 고스트 현상(ghost effect)이 발생할 수 있다.
본 문서의 일 실시 예에 따른 전자 장치(electronic device)는, 복수 개의 단위 픽셀들을 포함하는 이미지 센서, 각 단위 픽셀은 2 이상의 개별 픽셀들을 포함함, 및 상기 이미지 센서와 전기적으로 연결된 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 상기 이미지 센서로부터 제1 이미지 프레임을 획득하고, 상기 제1 이미지 프레임을 기반으로 상기 전자 장치의 촬영 환경이 지정된 촬영 환경에 해당하는지 여부를 판단하고, 상기 촬영 환경이 제1 촬영 환경에 해당하는 것에 응답하여, 상기 이미지 센서가 개별 픽셀을 통해 아날로그 데이터를 획득하고, 상기 아날로그 데이터를 제1 감도로 디지털 변환한 제1 디지털 데이터, 및 상기 아날로그 데이터를 상기 제1 감도보다 높은 제2 감도로 디지털 변환한 제2 디지털 데이터를 상기 적어도 하나의 프로세서에 제공하도록 제어하고, 상기 제1 디지털 데이터 및 상기 제2 디지털 데이터를 기반으로 상기 제1 이미지 프레임에 후속하는 제2 이미지 프레임을 획득하고, 상기 촬영 환경이 제2 촬영 환경에 해당하는 것에 응답하여, 상기 이미지 센서가 단위 픽셀에 입력된 광량 데이터를 기반으로 제1 변환이득(conversion gain)으로 획득한 제1 이미지 데이터, 및 상기 광량 데이터를 기반으로 상기 제1 변환이득보다 낮은 제2 변환이득으로 획득한 제2 이미지 데이터를 상기 적어도 하나의 프로세서에 제공하도록 제어하고, 상기 제1 이미지 데이터, 및 상기 제2 이미지 데이터를 기반으로 상기 제2 이미지 프레임을 획득할 수 있다.
본 문서의 일 실시 예에 따른 전자 장치는, 복수의 픽셀들 및 적어도 하나의 ADC를 포함하는 이미지 센서, 및 상기 이미지 센서와 전기적으로 연결된 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 상기 이미지 센서가 상기 픽셀을 통해 아날로그 데이터를 획득하고, 상기 아날로그 데이터를 상기 적어도 하나의 ADC를 통해 제1 감도로 디지털 변환한 제1 디지털 데이터, 및 상기 아날로그 데이터를 상기 적어도 하나의 ADC를 통해 상기 제1 감도보다 높은 제2 감도로 디지털 변환한 제2 디지털 데이터를 상기 적어도 하나의 프로세서에 제공하도록 제어하고, 상기 이미지 센서로부터 상기 제1 디지털 데이터, 및 상기 제2 디지털 데이터를 획득하고, 제1 개수의 비트를 가지는 상기 제1 디지털 데이터에 제2 개수의 비트를 가지는 제1 더미 데이터를 추가하여 제3 디지털 데이터를 획득하고, 상기 제1 개수의 비트를 가지는 상기 제2 디지털 데이터에 상기 제2 개수의 비트를 가지는 제2 더미 데이터를 추가하여 제4 디지털 데이터를 획득하고, 상기 제3 디지털 데이터, 및 상기 제4 디지털 데이터를 기반으로 제1 이미지 프레임을 획득할 수 있다.
본 문서에 개시되는 다양한 실시 예에 따르면, 이미지 내에 포함되는 결함(예: 고스트 현상)이 적고 DR이 넓은 HDR 이미지를 획득할 수 있다.
본 문서에 개시되는 다양한 실시 예에 따르면, 전자 장치의 촬영 환경에 따라 최적의 이미지를 획득할 수 있는 촬영 모드를 이용할 수 있다. 따라서 전자 장치를 통해 획득할 수 있는 이미지의 품질이 향상될 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있다.
도 1은 일 실시 예에 따른 전자 장치 및 카메라 모듈에 대한 구조를 도시한다.
도 2는 일 실시 예에 따른 전자 장치의 하드웨어 구성을 나타내는 블록도이다.
도 3은 일 실시 예에 따른 이미지 센서의 단위 픽셀의 회로도이다.
도 4는 일 실시 예에 따른 이미지 센서에 포함된 ADC(analog digital converter)의 구성을 도시한다.
도 5는 일 실시 예에 따른 이미지 센서가 아날로그 데이터를 서로 다른 감도로 디지털 변환하는 예를 도시한다.
도 6은 일 실시 예에 따른 이미지 센서의 동작 중 전하를 구슬로 모델링한 예를 도시한다.
도 7a는 일 실시 예에 따른, 변환이득의 조절이 가능한 이미지 센서의 단위 픽셀의 회로도이다.
도 7b는 일 실시 예에 따른 이미지 센서의 동작 중 전하를 구슬로 모델링한 예를 도시한다.
도 8은 일 실시 예에 따른 전자 장치가 촬영 환경을 판단함에 따라 촬영 모드를 결정하는 동작을 도시하는 흐름도이다.
도 9는 일 실시 예에 따른 전자 장치가 제1 모드로 이미지를 획득하는 예를 도시한다.
도 10은 일 실시 예에 따른 전자 장치가 제2 모드로 이미지를 획득하는 예를 도시한다.
도 11은 일 실시 예에 따른 전자 장치가 제3 모드로 이미지를 획득하는 예를 도시한다.
도 12는 일 실시 예에 따른 전자 장치가 제4 모드로 이미지를 획득하는 예를 도시한다.
도 13은 일 실시 예에 따른 전자 장치가 제3 촬영 환경에서 이미지를 획득하는 예를 도시한다.
도 14는 일 실시 예에 따른 전자 장치가 설정된 줌 배율에 따라 촬영 모드를 변경하는 예를 도시한다.
도 15는 일 실시 예에 따른 전자 장치가 이미지 센서를 통해 획득한 2 이상의 이미지를 기반으로 HDR 이미지를 획득하는 예를 도시한다.
도 16은 다양한 실시 예들에 따른 네트워크 환경 내의 전자 장치의 블록도이다.
도 17은 다양한 실시 예들에 따른 카메라 모듈을 예시하는 블록도이다.
도 1은 일 실시 예에 따른 전자 장치(100) 및 카메라 모듈(180)에 대한 구조를 도시한다.
도 1은 일 실시 예에 따른 카메라 모듈(180)을 장착한 전자 장치(100)의 외관 및 카메라 모듈(180)을 개략적으로 나타낸 도면이다. 도 1의 실시 예는 모바일 기기, 예를 들어, 스마트 폰을 전제로 도시 및 설명되었으나, 다양한 전자 기기 또는 모바일 기기들 중 카메라를 탑재한 전자 기기에 적용될 수 있음은 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 것이다.
도 1을 참고하면, 일 실시 예에 따른 전자 장치(100)의 전면에는 디스플레이(110)가 배치될 수 있다. 일 실시 예에서, 디스플레이(110)는 전자 장치(100)의 전면의 대부분을 차지할 수 있다. 전자 장치(100)의 전면에는 디스플레이(110), 및 디스플레이(110)의 적어도 일부 가장자리를 둘러싸는 베젤(bezel)(190)이 배치될 수 있다. 디스플레이(110)는 평면 영역(flat area)과 평면 영역에서 전자 장치(100)의 측면을 향해 연장되는 곡면 영역(curved area)을 포함할 수 있다. 도 1에 도시된 전자 장치(100)는 하나의 예시이며, 다양한 실시 예가 가능하다. 예를 들어, 전자 장치(100)의 디스플레이(110)는 곡면 영역 없이 평면 영역만 포함하거나 양측이 아닌 한 쪽 가장자리에만 곡면 영역을 구비할 수 있다. 또한 일 실시 예에서, 곡면 영역은 전자 장치(100)의 후면으로 연장되어 전자 장치(100)는 추가적인 평면 영역을 구비할 수도 있다.
일 실시 예에서 전자 장치(100)는 추가적으로 스피커(speaker), 리시버, 전면 카메라(161), 근접 센서, 및/또는 홈 키 등을 포함할 수 있다. 일 실시 예에 따른 전자 장치(100)는 후면 커버(150)가 전자 장치의 본체와 일체화되어 제공될 수도 있다. 또 다른 실시 예에서, 후면 커버(150)가 전자 장치(100)의 본체로부터 분리되어, 배터리를 교체할 수 있는 형태를 가질 수 있다. 후면 커버(150)는 배터리 커버 또는 배면 커버로 참조될 수도 있다.
일 실시 예에서, 디스플레이(110)의 제1 영역(170)에는 사용자의 지문 인식을 위한 지문 센서(171)가 배치될 수 있다. 지문 센서(171)는 디스플레이(110)의 아래층에 배치됨으로써, 사용자에 의해 시인되지 않거나, 시인이 어렵게 배치될 수 있다. 또한, 디스플레이(110)의 일부 영역에는 지문 센서(171) 외에 추가적인 사용자/생체 인증을 위한 센서가 배치될 수 있다. 다른 실시 예에서, 사용자/생체 인증을 위한 센서는 베젤(190)의 일 영역에 배치될 수 있다. 예를 들어, 홍채 인증을 위한 IR(infrared) 센서가 디스플레이(110)의 일 영역을 통해 노출되거나, 베젤(190)의 일 영역을 통해 노출되도록 배치될 수 있다.
일 실시 예에서, 전자 장치(100)의 전면의 제2 영역(160)에는 전면 카메라(161)가 배치될 수 있다. 도 1의 실시 예에서는 전면 카메라(161)가 디스플레이(110)의 일 영역을 통해 노출되는 것으로 도시되었으나, 다른 실시 예에서 전면 카메라(161)가 베젤(190)을 통해 노출될 수 있다. 또 다른 실시 예(미도시)에서, 디스플레이(110)는 제2 영역(160)의 배면에, 오디오 모듈, 센서 모듈(예: 센서(163)), 카메라 모듈(예: 전면 카메라(161)), 및 발광 소자(미도시) 중 적어도 하나 이상을 포함할 수 있다. 예를 들면, 전자 장치(100)의 전면 및/또는 측면에, 카메라 모듈이 상기 전면 및/또는 상기 측면을 향하도록 배치될 수 있다. 예를 들어, 전면 카메라(161)는 제2 영역(160)으로 시각적으로 노출되지 않는, 감춰진 디스플레이 배면 카메라(under display camera; UDC)일 수 있다.
일 실시 예에서, 전자 장치(100)는 하나 이상의 전면 카메라(161)를 포함할 수 있다. 예를 들어, 전자 장치(100)는 제1 전면 카메라 및 제2 전면 카메라와 같이 2개의 전면 카메라를 포함할 수 있다. 일 실시 예에서, 제1 전면 카메라와 제2 전면 카메라는 동등한 사양(예: 화소)을 가지는 동종의 카메라일 수 있으나, 다른 실시 예에서, 제1 전면 카메라와 제2 전면 카메라는 다른 사양의 카메라로 구현될 수 있다. 전자 장치(100)는 2개의 전면 카메라를 통해 듀얼 카메라와 관련된 기능(예: 3D 촬영, 자동 초점(auto focus) 등)을 지원할 수 있다. 상기 언급된 전면 카메라에 대한 설명은 전자 장치(100)의 후면 카메라에 동일 또는 유사하게 적용될 수 있다.
일 실시 예에서, 전자 장치(100)는 플래시와 같이 촬영을 보조하는 각종 하드웨어나 센서(163)를 더 포함할 수 있다. 예를 들어, 전자 장치(100)는 피사체와 전자 장치(100) 사이의 거리를 감지하기 위한 거리 센서(예: TOF 센서)를 포함할 수 있다. 상기 거리 센서는 전면 카메라(161) 및/또는 후면 카메라와 별도로 배치되거나, 전면 카메라(161) 및/또는 후면 카메라에 포함되도록 배치될 수 있다.
일 실시 예에서, 전자 장치(100)의 측면부에는 적어도 하나의 물리 키가 배치될 수 있다. 예를 들어, 디스플레이(110)를 ON/OFF하거나 전자 장치(100)의 전원을 ON/OFF하기 위한 제1 기능 키(151)가 전자 장치(100)의 전면을 기준으로 우측 가장자리에 배치될 수 있다. 일 실시 예에서, 전자 장치(100)의 볼륨을 제어하거나 화면 밝기 등을 제어하기 위한 제2 기능 키(152)가 전자 장치(100)의 전면을 기준으로 좌측 가장자리에 배치될 수 있다. 이 외에도 추가적인 버튼이나 키가 전자 장치(100)의 전면이나 후면에도 배치될 수 있다. 예를 들어, 전면의 베젤(190) 중 하단 영역에 특정 기능에 맵핑된 물리 버튼이나 터치 버튼이 배치될 수 있다.
도 1에 도시된 전자 장치(100)는 하나의 예시에 해당하며, 본 개시에 개시된 기술적 사상이 적용되는 장치의 형태를 제한하는 것은 아니다. 예를 들어, 플렉서블 디스플레이 및 힌지 구조를 채용하여, 가로 방향 또는 세로 방향으로 폴딩이 가능한 폴더블 전자 장치나, 롤링이 가능한 롤러블 전자 장치나, 태블릿 또는 노트북에도 본 개시의 기술적 사상이 적용될 수 있다.
도 1을 참조하면, 일 실시 예에 따른 전자 장치(100)는 카메라 모듈(180)을 포함할 수 있다. 카메라 모듈(180)은 렌즈 어셈블리(111), 하우징(113), 적외선 차단 필터(infrared cut filter)(115), 이미지 센서(120), 및 이미지 시그널 프로세서(ISP, image signal processor)(130)를 포함할 수 있다.
일 실시 예에서, 렌즈 어셈블리(111)는 전면 카메라(161)와 후면 카메라에 따라 렌즈의 개수, 배치, 종류 등이 서로 다를 수 있다. 렌즈 어셈블리(111)의 타입에 따라 전면 카메라(161)와 후면 카메라는 서로 다른 특성(예: 초점 거리, 최대 배율)을 가질 수 있다. 상기 렌즈는 광축을 따라 전, 후로 움직일 수 있으며, 초점 거리를 변화시켜 피사체가 되는 대상 객체가 선명하게 찍힐 수 있도록 동작할 수 있다.
일 실시 예에서, 카메라 모듈(180)은 광축 상에 정렬된 적어도 하나 이상의 렌즈를 실장하는 경통과, 광축(미도시)을 중심으로 상기 경통의 둘레를 둘러싸는 적어도 하나의 코일 및/또는 마그넷을 실장하는 하우징(113)을 포함할 수 있다. 일 실시 예에서, 카메라 모듈(180)은 하우징(113)에 포함된 적어도 하나의 코일 및/또는 마그넷을 이용하여, 이미지 센서(120)로 획득되는 이미지의 안정화 기능(예: optical image stabilization; OIS)을 수행할 수 있다. 예를 들면, 카메라 모듈(180)은, 프로세서의 제어 하에, 적어도 하나의 코일을 통과하는 전류의 방향 및/또는 세기를 제어하여 전자기력을 제어할 수 있고, 전자기력에 의한 로렌츠 힘을 이용하여 렌즈 어셈블리(111) 및 렌즈 어셈블리(111)를 포함하는 렌즈 캐리어(미도시)의 적어도 일부를 광축(미도시)과 실질적으로 수직인 방향으로 이동(또는, 회전)할 수 있다.
일 실시 예에서, 카메라 모듈(180)은 이미지 안정화 기능을 위해 다른 방식을 사용할 수 있다. 예를 들어, 카메라 모듈(180)은 디지털 흔들림 보정(video digital image stabilization, VDIS)을 이용할 수 있다. 일 실시 예에서, 카메라 모듈(180)은 이미지 센서(120)의 데이터 출력 값에 소프트웨어적인 처리를 수행하여, 영상 흔들림을 보정하는 방식을 포함할 수 있다. 예를 들면, 카메라 모듈(180)은 디지털 흔들림 보정인 VDIS를 통해 영상의 프레임과 프레임 간의 차이(different image)를 기반으로 움직임 벡터를 추출하고, 이미지 처리를 통해 선명도를 증가시킬 수 있다. 또한, 카메라 모듈(180)은 VDIS를 통해 영상에 기반하여 움직임 벡터를 추출하여, 전자 장치(100)의 흔들림 외에 피사체 자체의 움직임에 대해서도 흔들림으로 인식할 수 있다.
일 실시 예에서, 적외선 차단 필터(115)는 이미지 센서(120)의 상면에 배치될 수 있다. 렌즈를 통과한 피사체의 상은 적외선 차단 필터(115)에 의해 일부 필터링된 후 이미지 센서(120)에 의해 감지될 수 있다.
일 실시 예에서, 이미지 센서(120)는 인쇄회로기판(140)(예: PCB(printed circuit board), PBA(printed board assembly), FPCB(flexible PCB), 또는 RFPCB(rigid-flexible PCB))의 상면에 배치될 수 있다. 이미지 센서(120)는 커넥터(connector)에 의해 인쇄회로기판(140)과 연결된 이미지 시그널 프로세서(130)와 전기적으로 연결될 수 있다. 상기 커넥터로는 연성 인쇄회로 기판(FPCB) 또는 케이블(cable)이 사용될 수 있다.
일 실시 예에서, 이미지 센서(120)는 CMOS(complementary metal oxide semiconductor) 센서일 수 있다. 이미지 센서(120)에는 복수의 개별 픽셀들(pixels)이 집적되며, 각 개별 픽셀은 마이크로 렌즈(micro lens), 컬러 필터 및 PD(photodiode)를 포함할 수 있다. 각 개별 픽셀은 일종의 광 검출기로서 입력되는 광을 전기적 신호로 변환시킬 수 있다. 상기 광 검출기는 포토다이오드를 포함할 수 있다. 예를 들면, 이미지 센서(120)는 렌즈 어셈블리(111)를 통해 수광된 빛이 수광 소자의 광전 효과를 통해 발생시킨 전류를 증폭시킬 수 있다. 예를 들어, 각 개별 픽셀은 광전 변환 소자(photoelectric transformation element)(또는 광 감지 소자(position sensitive detector; PSD))와 복수의 트랜지스터들을 포함할 수 있다.
일 실시 예에서, 렌즈 어셈블리(111)를 통해 입사된 피사체의 광 정보는 이미지 센서(120)에 의해 전기적 신호로 변환되어 이미지 시그널 프로세서(130)로 입력될 수 있다.
일 실시 예에서, 이미지 시그널 프로세서(130)와 이미지 센서(120)가 물리적으로 구분된 경우, 적절한 규격을 따르는 센서 인터페이스(interface)가 이미지 센서(120)와 이미지 시그널 프로세서(130)를 전기적으로 연결할 수 있다.
일 실시 예에서, 이미지 시그널 프로세서(130)는 전기적으로 변환된 이미지 데이터에 대하여 이미지 처리를 할 수 있다. 이미지 시그널 프로세서(130)에서의 과정은 pre-ISP(이하, 전처리(pre-processing)) 및 ISP chain(이하, 후처리(post-processing))로 구분될 수 있다. 디모자이크 과정 이전의 이미지 처리는 전처리를 의미할 수 있고, 디모자이크 과정 이후의 이미지 처리는 후처리를 의미할 수 있다. 상기 전처리 과정은 3A 처리, 렌즈 셰이딩 보상(lens shading correction), 엣지 개선(edge enhancement), 데드 픽셀 보정(dead pixel correction) 및 knee 보정을 포함할 수 있다. 상기 3A는 AWB(auto white balance), AE(auto exposure), AF(Auto focusing) 중 적어도 하나를 포함할 수 있다. 상기 후처리 과정은 적어도 센서 색인 값(index) 변경, 튜닝 파라미터 변경, 화면 비율 조절 중 하나를 포함할 수 있다. 후처리 과정은 상기 이미지 센서(120)로부터 출력되는 이미지 데이터 또는 스케일러로부터 출력되는 이미지 데이터를 처리하는 과정을 포함할 수 있다. 이미지 시그널 프로세서(130)는 후처리 과정을 통해 이미지의 명암대비(contrast), 선명도(sharpness), 채도(saturation), 디더링(dithering) 중 적어도 하나를 조정할 수 있다. 여기서, 명암대비(contrast), 선명도(sharpness), 채도(saturation) 조정 절차는 YUV 색 공간(color space)에서 실행되고, 디더링 절차(dithering procedure)는 RGB(Red, Green, Blue) 색 공간에서 실행될 수 있다. 상기 전처리 과정 중 일부는 상기 후처리 과정에서 수행되거나, 상기 후처리 과정 중 일부는 상기 전처리 과정에서 수행될 수 있다. 또한, 상기 전처리 과정 중 일부는 후처리에서의 과정 중 일부와 중복될 수 있다.
일 실시 예에서, 카메라 모듈(180)은 전자 장치(100)의 후면뿐만 아니라, 전면에 배치될 수 있다. 또한 전자 장치(100)는 카메라의 성능 향상을 위해 한 개의 카메라 모듈(180) 뿐만 아니라, 여러 개의 카메라 모듈(180)을 포함할 수 있다. 예를 들어, 전자 장치(100)는 영상 통화 또는 셀프 카메라 촬영을 위한 전면 카메라(161)를 더 포함할 수 있다. 전면 카메라(161)는 후면 카메라 모듈에 비하여 상대적으로 낮은 화소 수를 지원할 수 있다. 전면 카메라(161)는 후면 카메라의 카메라 모듈(180)에 비하여 상대적으로 보다 소형일 수 있다.
도 2는 일 실시 예에 따른 전자 장치(100)의 하드웨어 구성을 나타내는 블록도이다.
일 실시 예에 따르면, 전자 장치(100)는 이미지 센서(210) 및 프로세서(220)를 포함할 수 있다. 일 실시 예에 따르면, 이미지 센서(210)는 도 1에서 도시된 이미지 센서(120)를 의미할 수 있다. 일 실시 예에 따르면, 프로세서(220)는 도 1에서 도시된 이미지 시그널 프로세서(130)를 포함하는 것으로 이해될 수 있다. 도 2에 도시된 구성 중 도 1에서 설명된 구성에 대응하는 구성은, 설명이 생략되거나 간단하게 설명될 수 있다.
일 실시 예에 따르면, 이미지 센서(210)는 복수 개의 단위 픽셀(214)들을 포함할 수 있다. 일 실시 예에 따르면, 각 단위 픽셀(214)은 2 이상의 개별 픽셀(212)들을 포함할 수 있다. 예를 들면, 1개의 단위 픽셀(214)은 4개 또는 9개의 개별 픽셀(212)들을 포함할 수 있다. 일 실시 예에 따르면, 이미지 센서(210)는 ADC(analog digital converter)(216)를 더 포함할 수 있다.
일 실시 예에 따르면, 이미지 센서(120)에는 복수의 단위 픽셀(214)들이 집적되며, 각 단위 픽셀(214)은 마이크로 렌즈(micro lens), 컬러 필터 및 2개 이상의 개별 픽셀(212)들을 포함할 수 있다. 단위 픽셀(214)의 구성과 관련하여, 도 3을 참조하여 후술한다.
일 실시 예에 따르면, 이미지 센서(210)는 ADC(216)를 통해 아날로그 데이터를 디지털 데이터로 변환할 수 있다. ADC(216)의 동작과 관련하여, 도 4를 참조하여 후술한다.
일 실시 예에 따르면, 프로세서(220)는 적어도 하나의 프로세서를 포함하는 것으로 이해될 수 있다. 예를 들어, 프로세서(220)는 AP(application processor), 이미지 시그널 프로세서(130), CP(communication processor) 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 전자 장치(100)의 촬영 환경을 판단하고, 촬영 환경에 따라 촬영 모드를 결정할 수 있다. 예를 들면, 전자 장치(100)는 상기 촬영 환경에 따라서 복수 개의 촬영 모드 중 어느 하나(예: 제1 모드, 제2 모드, 제3 모드, 또는 제4 모드)로 이미지를 촬영하도록 이미지 센서(210)를 제어할 수 있다. 촬영 환경 및 촬영 모드에 대해서는 도 3 내지 도 14를 참조하여 후술한다.
도 3 내지 도 6에서는 일 실시 예에 따른 전자 장치(100)의 촬영 모드 중 제1 모드에 대해 설명한다. 전자 장치(100)는 제1 모드를 통해 HDR(high dynamic range) 이미지를 획득할 수 있다.
도 3은 일 실시 예에 따른 이미지 센서(210)의 단위 픽셀(214)의 회로도이다.
일 실시 예에 따르면, 단위 픽셀(214)은 복수의 PD(310)들, 각 PD(310)에 대응하는 TG(transfer gate)들(320), FD(floating diffusion)(330), SF(source follower)(350), row select(이하, SEL)(360), RST(reset gate)(370), 및 적어도 하나의 ADC(216)를 포함할 수 있다.
일 실시 예에 따르면, 단위 픽셀(214)은 4개의 PD(310)를 포함할 수 있다. 예를 들면, 단위 픽셀(214)은 2x2 배열을 가지는 4개의 PD(예: 제1 PD(311), 제2 PD(312), 제3 PD(313), 및 제4 PD(314))를 포함할 수 있다. 일 실시 예에 따르면, 단위 픽셀(214)은 2x2 배열을 가지는 4개의 PD(310) 및 상기 4개의 PD(310)와 연결되는 1개의 FD(330)를 포함할 수 있다. 예를 들면, 단위 픽셀(214)은 마이크로 렌즈 단위 또는 컬러 필터 단위를 의미할 수 있다. 일 실시 예에 따르면, 단위 픽셀(214)은 5개 이상의 PD(310)를 포함할 수도 있다. 예를 들면, 단위 픽셀(214)은 3x3 배열을 가지는 9개의 PD(310)를 포함할 수 있다. 단위 픽셀(214)은 3x3 배열을 가지는 9개의 PD(310) 및 상기 9개의 PD(310)와 연결되는 1개의 FD(330)를 포함할 수 있다. 다른 예를 들면, 단위 픽셀(214)은 4x4 배열을 가지는 16개의 PD(310)를 포함할 수도 있고, 2x4 배열을 가지는 8개의 PD(310)를 포함할 수도 있다. 본 문서에서는 단위 픽셀(214)이 2x2 배열을 가지는 4개의 PD(310)를 포함하는 것을 전제로 설명되었으나, 이는 하나의 예시로서 통상의 기술자에 의해 구현 가능한 다양한 실시 예들이 가능하다.
일 실시 예에서, 도 2에 도시된 개별 픽셀(212)은 제1 PD(311), 제2 PD(312), 제3 PD(313), 또는 제4 PD(314) 중 어느 하나에 대응하는 것으로 이해될 수 있다. 예를 들면, 개별 픽셀(212)은 제1 PD(311)를 포함하는 것으로 이해될 수 있다. 다른 예를 들면, 개별 픽셀(212)은 제1 PD(311), 및 제1 TG(321)를 포함하는 것으로 이해될 수 있다.
일 실시 예에 따르면, 노출 시간 동안 PD(310)에 축적되는 전하는, TG(320)가 on인 상태에서 FD(330)로 이동할 수 있다. 예를 들면, 제1 PD(311)에 축적된 전하는 제1 TG(321)가 on인 상태에서 FD(330)로 이동될 수 있다. 일 실시 예에 따르면, 이미지 센서(210)는 FD(330)로 이동된 전하에 대응하는 아날로그 데이터(analog data)를 획득할 수 있다. 예를 들면, 상기 아날로그 데이터는 노출 시간 동안 PD(310)에 축적된 전하의 양에 대한 정보를 포함할 수 있다.
일 실시 예에 따르면, 이미지 센서(210)는 개별 픽셀(212) 또는 단위 픽셀(214)을 통해 아날로그 데이터를 획득할 수 있다. 예를 들면, 이미지 센서(210)는 TG(320)를 제어하여 PD(310) 중 적어도 하나를 통해 획득된 광량 데이터에 대응하는 아날로그 데이터를 획득할 수 있다. 예를 들어, 이미지 센서(210)는 노출 시간동안 제1 PD(311), 제2 PD(312), 제3 PD(313), 및 제4 PD(314)를 통해 광량 데이터를 획득할 수 있다. 이미지 센서(210)가 제1 TG(321)를 on으로 전환하는 경우, 이미지 센서(210)는 제1 PD(311)를 통해 획득한 광량 데이터를 기반으로 아날로그 데이터를 획득할 수 있다. 이미지 센서(210)가 제1 TG(321), 제2 TG(322), 제3 TG(323), 및 제4 TG(324)를 on으로 전환하는 경우, 이미지 센서(210)는 1 PD(311), 제2 PD(312), 제3 PD(313), 및 제4 PD(314)를 통해 획득한 광량 데이터를 기반으로 아날로그 데이터를 획득할 수 있다.
일 실시 예에서, 이미지 센서(210)는 4개의 PD(310) 중 어느 하나의 PD를 통해 획득한 광량 데이터를 기반으로 아날로그 데이터를 획득할 수 있다. 예를 들면, 이미지 센서(210)는 개별 픽셀(212)을 통해 아날로그 데이터를 획득하는 것으로 이해될 수도 있다. 다른 실시 예에서, 이미지 센서(210)는 4개의 PD(310) 중 적어도 2개의 PD를 통해 획득한 광량 데이터를 기반으로 아날로그 데이터를 획득할 수도 있다. 예를 들면, 이미지 센서(210)는 단위 픽셀(214)을 통해 아날로그 데이터를 획득하는 것으로 이해될 수도 있다.
일 실시 예에 따르면, 도 2 및 도 3에 도시된 바와 달리 이미지 센서는 복수의 픽셀들을 포함하고, 상기 복수의 픽셀들 중 각 픽셀은 1개의 PD와 1개의 FD를 포함할 수 있다. 예를 들면, 이미지 센서는 1개의 PD와 1개의 FD로 구성될 수 있다. 이미지 센서는 FD와 PD를 각각 1개씩만 포함할 수 있다. 일 실시 예에 따르면, 이미지 센서는 상기 PD를 통해 획득한 광량 데이터를 기반으로 아날로그 데이터를 획득할 수도 있다. 본 문서에 개시되는 제1 모드와 관련한 실시 예들은 1개의 PD와 1개의 FD를 포함하는 이미지 센서에서도 적용될 수 있다.
일 실시 예에 따르면, FD(330)에 저장된 전하는 SF(350)를 통해 리드아웃 되어 전기적 신호로 출력될 수 있다. 일 실시 예에 따르면, 이미지 센서(210)는 ADC(216)를 통해 상기 아날로그 데이터를 디지털 변환하여 디지털 데이터(digital data)를 획득할 수 있다. 예를 들면, 상기 디지털 데이터는 이미지 데이터를 의미하는 것으로 이해될 수 있다.
일 실시 예에 따르면, 이미지 센서(210)는 아날로그 데이터를 제1 감도로 디지털 변환하여 제1 디지털 데이터를 획득할 수 있고, 아날로그 데이터를 제1 감도보다 높은 제2 감도로 디지털 변환하여 제2 디지털 데이터를 획득할 수 있다. 예를 들면, 이미지 센서(210)는 제1 ADC(381)를 통해 아날로그 데이터를 제1 감도로 디지털 변환하고, 제2 ADC(382)를 통해 아날로그 데이터를 제2 감도로 디지털 변환할 수 있다. 다른 예를 들면, 도 3에 도시된 바와 달리 이미지 센서는 픽셀 열(column) 당 하나(single)의 ADC를 포함할 수 있다. 이미지 센서는 제1 시점에 상기 하나의 ADC를 통해 아날로그 데이터를 제1 감도로 디지털 변환하고, 제1 시점에 후속하는 제2 시점에 하나의 ADC를 통해 아날로그 데이터를 제2 감도로 디지털 변환할 수도 있다. ADC의 동작 및 디지털 변환과 관련하여, 도 4 내지 도 6을 참조하여 후술한다.
일 실시 예에 따르면, 이미지 센서(210)는 특정 행의 이미지 데이터를 출력하기 위해 SEL(360)를 off 상태에서 on 상태로 변경할 수 있다.
일 실시 예에 따르면, 이미지 센서(210)는 노이즈를 감소시키기 위해 CDS(correlated double sampling) 동작을 수행할 수 있다. 예를 들면, 이미지 센서(210)는 RST(370)을 on으로 전환하여 FD(330)에 축적된 데이터를 리셋하고, 리셋 후에 남은 리셋 데이터를 리드아웃 할 수 있다. 이미지 센서(210)는 RST(370)을 off로 전환한 후 PD(310)에 축적된 전하를 FD(330)로 이동시킬 수 있고, FD(330)로 이동된 전하를 리드아웃 하여 제1 리드아웃 데이터 및 제2 리드아웃 데이터를 획득할 수 있다. 이미지 센서(210)는 제1 리드아웃 데이터와 리셋 데이터의 차이를 기반으로 상기 제1 디지털 데이터를 획득할 수 있고, 제2 리드아웃 데이터와 리셋 데이터의 차이를 기반으로 상기 제2 디지털 데이터를 획득할 수 있다.
도 4는 일 실시 예에 따른 이미지 센서(210)에 포함된 ADC(216)의 구성을 도시한다.
일 실시 예에 따르면, ADC(216)는 개별 픽셀(212)(예: 제1 PD(311)) 또는 단위 픽셀(214)(예: 제1 PD(311), 제2 PD(312), 제3 PD(313), 및 제4 PD(314))을 통해 획득된 아날로그 데이터(402)를 디지털 데이터(404)로 변환할 수 있다. 예를 들면, 이미지 센서(210)는 ADC(216)를 통해 아날로그 데이터(402)를 제1 감도로 디지털 변환하여 제1 디지털 데이터를 획득할 수 있고, 아날로그 데이터(402)를 제1 감도보다 높은 제2 감도로 디지털 변환하여 제2 디지털 데이터를 획득할 수 있다.
일 실시 예에 따르면, ADC(216)는 카운터(410), DAC(digital analog converter)(420), 및 비교기(430)를 포함할 수 있다. 예를 들면, 카운터(410)는 지정된 감도(예: 제1 감도, 제2 감도)에 대응하는 카운트 값을 출력할 수 있다. 상기 카운트 값은 지정된 감도에 따라 지정된 속도로 증가하는 값일 수 있다. DAC(420)는 카운터(410)로부터 수신한 카운트 값을 아날로그 신호로 변환할 수 있고, 아날로그 변환된 카운트 값을 비교기(430)에 제공할 수 있다. 비교기(430)는 DAC(420)로부터 아날로그 변환된 카운트 값을 수신할 수 있고, 상기 아날로그 변환된 카운트 값과 아날로그 데이터(402)의 값의 크기를 비교할 수 있다. 비교기(430)는 아날로그 변환된 카운트 값이 아날로그 데이터(402)의 값보다 더 커지는 것에 응답하여, 카운터(410)에 특정 신호를 제공할 수 있다. 카운터(410)는 상기 특정 신호를 수신한 것에 응답하여, 아날로그 데이터(402)의 값에 대응하는 디지털 데이터(404)를 출력할 수 있다.
일 실시 예에 따르면, 카운터(410)가 출력하는 카운트 값은 지정된 감도에 따라 증가하는 속도가 달라질 수 있다. 예를 들면, 지정된 감도가 높을수록 카운트 값이 느리게 증가할 수 있다. 예를 들면, 감도가 증가할수록 게인 스텝(gain step)이 작아진다고 이해될 수도 있다. 카운트 값과 관련하여, 도 5를 참조하여 후술한다.
도 5는 일 실시 예에 따른 이미지 센서(210)가 아날로그 데이터(402)를 서로 다른 감도로 디지털 변환하는 예를 도시한다.
일 실시 예에 따르면, 이미지 센서(210)는 ADC(216)를 통해 아날로그 데이터(402)를 제1 감도로 디지털 변환하여 제1 디지털 데이터를 획득할 수 있고, 아날로그 데이터(402)를 제1 감도보다 높은 제2 감도로 디지털 변환하여 제2 디지털 데이터를 획득할 수 있다. 도 5를 참조하면, 제1 감도는 1배, 제2 감도는 2배일 수 있다. 일 실시 예에서, 제1 감도 및 제2 감도는 다양하게 설정될 수 있다. 예를 들면, 제1 감도와 제2 감도의 비율은 4, 8, 또는 16일 수 있다.
도 5를 참조하면, ADC(216)는 제1 감도에 대응하는 카운트 값(510)을 이용하여 아날로그 데이터(402)를 디지털 변환할 수 있고, 제2 감도에 대응하는 카운트 값(520)을 이용하여 아날로그 데이터(402)를 디지털 변환할 수 있다. 일 실시 예에 따르면, 제1 감도보다 제2 감도가 높은 경우, 제1 감도에 대응하는 카운트 값(510)이 증가하는 속도에 비해 제2 감도에 대응하는 카운트 값(520)이 증가하는 속도가 느릴 수 있다. 예를 들면, 제1 감도에 대응하는 카운트 값(510)의 게인 스텝이 제2 감도에 대응하는 카운트 값(520)의 게인 스텝보다 크다고 이해될 수도 있다. 상기 게인 스텝은 사전에 설정된 상수이거나, 이미지 센서(210)를 이용하는 애플리케이션에 의해 결정된 상수일 수 있다.
일 실시 예에 따르면, 이미지 센서(210)가 개별 픽셀(212) 또는 단위 픽셀(214)을 통해 획득한 아날로그 데이터(402)는 임의의 값을 가질 수 있다. 일 실시 예에 따르면, ADC(216)는 카운터(410)가 출력하는, 제1 감도에 대응하는 카운트 값(510)을 기반으로 아날로그 데이터(402)를 디지털 변환하여 제1 디지털 데이터를 획득할 수 있다. 또한 ADC(216)는 카운터(410)가 출력하는, 제2 감도에 대응하는 카운트 값(520)을 기반으로 아날로그 데이터(402)를 디지털 변환하여 제2 디지털 데이터를 획득할 수 있다. 예를 들면, 제1 디지털 데이터는 제1 값(515)을 가지고, 제2 디지털 데이터는 제2 값(525)을 가질 수 있다.
일 실시 예에 따르면, 제1 디지털 데이터의 값과 제2 디지털 데이터의 값은 제1 감도 및 제2 감도를 기반으로 결정될 수 있다. 예를 들면, 제1 값(515)보다 제2 값(525)이 클 수 있다. 예를 들면, 제1 디지털 데이터와 제2 디지털 데이터가 10개의 비트를 가지는 경우, 제1 디지털 데이터와 제2 디지털 데이터는 0~1023의 값을 가질 수 있다. 제1 값(515)은 0~1023 중 512보다 작은 값일 수 있고, 제2 값(525)은 0~1023 중 512보다 큰 값일 수 있다. 일 실시 예에서, 제1 값(515)과 제2 값(525)은 제1 감도와 제2 감도의 비율에 따라 다양하게 획득될 수 있다. 예를 들면, 제1 감도와 제2 감도의 비율이 2보다 큰 경우, 제1 값(515)과 제2 값(525)의 차이가 더 커질 수 있다.
일 실시 예에 따르면, 이미지 센서(210)는 도 3에 도시된 바와 같이 제1 ADC(381)와 제2 ADC(382)를 포함하고, 제1 ADC(381)는 아날로그 데이터(402)를 제1 감도로 디지털 변환하고, 제2 ADC(382)는 아날로그 데이터(402)를 제2 감도로 디지털 변환할 수 있다. 예를 들면, 제1 ADC(381)는 제1 감도에 대응하는 카운트 값(510)을 이용하여 아날로그 데이터(402)를 디지털 변환할 수 있고, 제2 ADC(382)에 포함된 카운터(410)는 제2 감도에 대응하는 카운트 값(520)을 이용하여 아날로그 데이터(402)를 디지털 변환할 수 있다. 다른 실시 예에 따르면, 이미지 센서는 픽셀 열(column) 당 하나(single)의 ADC를 포함하고, 제1 시점에 상기 하나의 ADC를 통해 아날로그 데이터(402)를 제1 감도로 디지털 변환하고, 제1 시점에 후속하는 제2 시점에 상기 하나의 ADC를 통해 아날로그 데이터(402)를 제2 감도로 디지털 변환할 수도 있다. 하나의 ADC를 이용하는 경우에 비해 제1 ADC(381)와 제2 ADC(382)를 통해 아날로그 데이터(402)를 디지털 변환하는 경우, 아날로그 데이터(402)를 디지털 변환하는 데에 소요되는 시간이 단축될 수 있다.
일 실시 예에 따르면, 이미지 센서(210)는 아날로그 데이터(402)를 제1 감도로 디지털 변환하여 획득한 제1 디지털 데이터와, 아날로그 데이터(402)를 제2 감도로 디지털 변환하여 획득한 제2 디지털 데이터를 프로세서(220)에 제공할 수 있다. 일 실시 예에 따르면, 프로세서(220)는 상기 제1 디지털 데이터와 상기 제2 디지털 데이터를 기반으로 이미지 프레임을 획득할 수 있다. 예를 들면, 프로세서(220)는 제1 디지털 데이터와 제2 디지털 데이터를 기반으로 HDR 이미지를 획득할 수 있다. 프로세서(220)가 제1 디지털 데이터와 제2 디지털 데이터를 기반으로 HDR 이미지를 획득하는 동작과 관련하여, 도 9를 참조하여 후술한다.
도 6은 일 실시 예에 따른 이미지 센서(210)의 동작 중 전하를 구슬로 모델링한 예를 도시한다.
도 6은, 도 3 내지 도 5에서 설명된 제1 모드에서 PD(310) 및 FD(330)에 축적되는 전하를 중력이 작용하는 구슬로 가정하여 모델링한 도면이다.
일 실시 예에 따르면, 참조번호 610에서, TG(320)가 off인 경우 PD(310)에 전하가 축적되어 있을 수 있다.
일 실시 예에 따르면, 참조번호 620 및 참조번호 630에서, TG(320)가 on으로 전환되는 경우, PD(310)에 축적되어 있던 전하는 FD(330)로 이동될 수 있다. 이미지 센서(210)는 SF(350)를 이용하여 상기 FD(330)로 이동된 전하의 양에 대응하는 아날로그 데이터를 디지털 변환할 수 있다. 예를 들면, 참조번호 620에서, 이미지 센서(210)는 ADC(216)를 통해 상기 아날로그 데이터를 제1 감도(622)로 디지털 변환하여 제1 디지털 데이터를 획득할 수 있다. 또한, 참조번호 630에서, 이미지 센서(210)는 ADC(216)를 통해 상기 아날로그 데이터를 제2 감도(632)로 디지털 변환하여 제2 디지털 데이터를 획득할 수 있다.
일 실시 예에 따르면, 이미지 센서(210)는 1회의 노출을 통해 PD(310)에 축적된 전하를 서로 다른 감도로 디지털 변환하여 제1 디지털 데이터와 제2 디지털 데이터를 획득할 수 있다. 프로세서(220)는 상기 제1 디지털 데이터와 상기 제2 디지털 데이터를 기반으로 HDR 이미지를 획득할 수 있다.
도 7a 및 도 7b에서는 일 실시 예에 따른 전자 장치(100)의 촬영 모드 중 제2 모드에 대해 설명한다. 전자 장치(100)는 제2 모드를 통해서도 HDR 이미지를 획득할 수 있다.
도 7a는 일 실시 예에 따른, 변환이득(conversion gain)의 조절이 가능한 이미지 센서(210)의 단위 픽셀(214)의 회로도이다.
도 7a를 도 3과 비교하면, 단위 픽셀(214)은 DRG(dynamic range gate)(740), 및 FD1(735)을 더 포함할 수 있다. 도 7a에 도시된 구성 중 도 3에서 설명된 구성은 설명이 생략되거나 간략하게 설명될 수 있다.
일 실시 예에 따르면, 이미지 센서(210)는 DRG(740)와 2개의 FD 영역(예: FD(330), FD1(735))을 포함할 수 있다. 이미지 센서(210)의 변환이득은 FD 저장공간의 크기에 따라 달라질 수 있다. 이미지 센서(120)는 FD 저장공간의 크기가 작으면 HCG(high conversion gain), FD 저장공간의 크기가 크면 LCG(low conversion gain)로 리드아웃 할 수 있다. 예를 들면, 단위 픽셀(214)은 FD(330)와 FD1(735)을 포함할 수 있다. 이미지 센서(210)가 FD(330)에 저장된 전하를 리드아웃 하는 경우 이미지 센서(210)의 변환이득은 HCG이고, 이미지 센서(210)가 FD(330)과 FD1(735)에 저장된 전하를 함께 리드아웃 하는 경우 이미지 센서(210)의 변환이득은 LCG에 해당할 수 있다.
일 실시 예에 따르면, 이미지 센서(210)는 DRG(740)의 on/off에 따라 변환이득을 조절할 수 있다. 예를 들면, DRG(740)가 off인 경우 이미지 센서(120)의 변환이득은 HCG이고, DRG(440)가 on인 경우 이미지 센서(120)의 변환이득은 LCG일 수 있다.
일 실시 예에 따르면, 이미지 센서(210)는 1회의 노출에 의해 단위 픽셀(214)에 입력된 광량 데이터를 HCG로 리드아웃 한 후 이어서 LCG로 리드아웃 할 수 있다. 예를 들면, 이미지 센서(210)는 노출 시간동안 4개의 PD(310)에 축적된 전하를 FD(330)로 이동시킨 후 HCG로 리드아웃 하고, DRG(740)를 on으로 전환하여 LCG로 리드아웃 할 수 있다. 다른 실시 예에 따르면, 이미지 센서(210)는 1회의 노출에 의해 개별 픽셀(212)에 입력된 광량 데이터를 HCG로 리드아웃 한 후 이어도 LCG로 리드아웃 할 수도 있다. 예를 들면, 이미지 센서(210)는 노출 시간동안 1개의 PD(예: 제1 PD(311))에 축적된 전하를 기반으로 HCG 및 LCG로 리드아웃 할 수 있다.
일 실시 예에 따르면, 이미지 센서(210)는 단위 픽셀(214)에 입력된 광량 데이터를 기반으로 제1 변환이득으로 제1 이미지 데이터를 획득할 수 있고, 상기 광량 데이터를 기반으로 제1 변환이득보다 낮은 제2 변환이득으로 획득한 제2 이미지 데이터를 획득할 수 있다. 예를 들면, 제1 변환이득은 HCG, 제2 변환이득은 LCG일 수 있다.
일 실시 예에 따르면, 이미지 센서(210)는 제2 모드를 통해 이미지를 촬영하는 경우에도 CDS 동작을 수행할 수 있다. 예를 들면, 이미지 센서(210)는 RST(370)을 on으로 전환하여 FD(330) 및 FD1(735)에 축적된 데이터를 리셋하고, 리셋 후에 남은 리셋 데이터를 각각 리드아웃 할 수 있다. 예를 들면, 이미지 센서(210)는 FD(330)의 제1 리셋 데이터, FD1(735)의 제2 리셋 데이터를 획득할 수 있다. 이미지 센서(210)는 RST(370)을 off로 전환한 후 PD(310)에 축적된 전하를 FD(330)로 이동시킬 수 있고, FD(330)로 이동된 전하를 제1 변환이득으로 리드아웃 하여 제1 리드아웃 데이터를 획득할 수 있다. 이미지 센서(210)는 DRG(740)를 on으로 전환한 후, FD(330)와 FD1(735)에 저장된 전하를 제2 변환이득으로 리드아웃 하여 제2 리드아웃 데이터를 획득할 수 있다. 이미지 센서(210)는 제1 리드아웃 데이터와 제1 리셋 데이터의 차이를 기반으로 제1 이미지 데이터를 획득할 수 있고, 제2 리드아웃 데이터와 제1 리셋 데이터, 제2 리셋 데이터의 차이를 기반으로 제2 이미지 데이터를 획득할 수 있다.
일 실시 예에 따르면, 전자 장치(100)는 제2 모드를 통해 이미지를 촬영하는 경우 각 단위 픽셀(214)마다 4회의 리드아웃이 필요하지만, 도 3과 관련하여 설명된 내용을 참조하면 제1 모드를 통해 이미지를 촬영하는 경우 각 단위 픽셀(214)마다 3회의 리드아웃이 필요하므로, 제1 모드를 이용하는 경우 전력 소모가 감소할 수 있다. 예를 들면, 전자 장치(100)가 제2 모드를 통해 이미지를 촬영하는 경우에 비해 제1 모드를 이용하는 경우 전력 소모가 약 25% 감소할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 이미지 센서(210)로부터 제1 이미지 데이터 및 제2 이미지 데이터를 획득할 수 있다. 프로세서(220)는 상기 제1 이미지 데이터, 및 상기 제2 이미지 데이터를 기반으로 HDR 이미지를 획득할 수 있다. 프로세서(220)가 제1 이미지 데이터 및 제2 이미지 데이터를 기반으로 HDR 이미지를 생성하는 동작과 관련하여, 도 10을 참조하여 후술한다.
도 7b는 일 실시 예에 따른 이미지 센서(210)의 동작 중 전하를 구슬로 모델링한 예를 도시한다.
도 7b는, 도 7a에서 설명된 제2 모드에서 PD(310), FD(330), 및 FD1(735)에 축적되는 전하를 중력이 작용하는 구슬로 가정하여 모델링한 도면이다.
일 실시 예에 따르면, 참조번호 710에서, TG(320)가 off인 경우 PD(310)에 전하가 축적되어 있을 수 있다.
일 실시 예에 따르면, 참조번호 720에서, TG(320)가 on으로 전환되는 경우, PD(310)에 축적되어 있던 전하는 FD(330)로 이동될 수 있다. 이미지 센서(210)는 SF(350)를 이용하여 상기 FD(330)로 이동된 전하의 양에 대응하는 제1 이미지 데이터를 획득할 수 있다. 예를 들면, 이미지 센서(210)는 FD(330)에 저장된 전하를 제1 변환이득(예: HCG)으로 리드아웃 하여 제1 이미지 데이터를 획득할 수 있다.
일 실시 예에 따르면, 참조번호 730에서, DRG(740)가 on으로 전환되는 경우, FD(330)에 저장되어 있던 전하 중 일부는 FD1(735)로 이동될 수 있다. 이미지 센서(210)는 SF(350)를 이용하여 상기 FD(330) 및 FD1(735)에 저장된 전하의 양에 대응하는 제2 이미지 데이터를 획득할 수 있다. 예를 들면, 이미지 센서(210)는 FD(330), 및 FD1(735)에 저장된 전하를 제2 변환이득(예: LCG)으로 리드아웃 하여 제2 이미지 데이터를 획득할 수 있다.
일 실시 예에 따르면, 이미지 센서(210)는 1회의 노출을 통해 PD(310)에 축적된 전하를 서로 다른 변환이득으로 리드아웃 하여 제1 이미지 데이터와 제2 이미지 데이터를 획득할 수 있다. 프로세서(220)는 상기 제1 이미지 데이터와 상기 제2 이미지 데이터를 기반으로 HDR 이미지를 획득할 수 있다.
도 8은 일 실시 예에 따른 전자 장치(100)가 촬영 환경을 판단함에 따라 촬영 모드를 결정하는 동작을 도시하는 흐름도이다. 도 8에 도시된 동작들은 도 2에 도시된 프로세서(220)에 의해 수행될 수 있다.
일 실시 예에 따르면, 동작 801에서, 프로세서(220)는 이미지 센서(210)로부터 제1 이미지 프레임을 획득할 수 있다.
일 실시 예에 따르면, 동작 803에서, 프로세서(220)는 제1 이미지 프레임을 기반으로 전자 장치(100)의 촬영 환경이 지정된 촬영 환경에 해당하는지 여부를 판단할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 제1 이미지 프레임을 기반으로 전자 장치(100)의 촬영 환경을 판단할 수 있다. 예를 들면, 프로세서(220)는 제1 이미지 프레임을 분석하여 제1 이미지 프레임에 대응하는 장면이 역광인지 여부를 판단하고, 이를 기반으로 상기 촬영 환경을 판단할 수 있다. 다른 예를 들면, 프로세서(220)는 제1 이미지 프레임을 분석하거나 전자 장치(100)에 포함된 조도 센서를 이용하여 측정한 전자 장치(100) 주변의 조도를 기반으로 상기 촬영 환경을 판단할 수 있다. 다른 예를 들면, 전자 장치(100)는 제1 이미지 프레임의 피사체들 중에 인물이 포함되어 있는지 여부를 기반으로 상기 촬영 환경을 판단할 수도 있다.
일 실시 예에 따르면, 프로세서(220)는 전자 장치(100)의 촬영 환경이 HDR 기능이 필요한 촬영 환경인지 여부를 판단할 수 있다. 예를 들면, 프로세서(220)는 제1 이미지 프레임을 기반으로 HDR 기능이 필요한 환경인지 여부를 판단할 수 있다. 프로세서(220)는 자동 노출(AE, auto exposure) 기능을 통해 제1 이미지 프레임의 제1 영역은 제1 임계치 이상의 제1 밝기이고 제1 영역과 구별되는 제2 영역은 제1 밝기보다 어두운 제2 임계치 이하의 제2 밝기일 때 HDR 기능이 필요하다고 판단할 수 있다. 다른 예를 들면, 프로세서(220)는 제1 이미지 프레임의 촬영 배경이 역광 환경 또는 밝은 야외 환경인 경우 HDR 기능이 필요하다고 판단할 수 있다. 다른 예를 들면, 프로세서(220)는 머신 러닝(machine learning)에 기반한 데이터를 바탕으로 사물 및 배경을 판별하여 HDR 기능이 필요한지 여부를 판단할 수도 있다.
다양한 실시 예에서, 전자 장치(100)는 제1 이미지 프레임을 획득하는 방법 외에, 추가적으로 또는 대체적으로, 적절한 다른 방법/수단을 이용하여 촬영 환경을 판단할 수 있다. 예를 들어, 전자 장치(100)는 전자 장치(100)에 구비된 센서(예: 조도 센서)나 현재 시간/장소 등에 기반하여 촬영 환경을 판단할 수 있다.
일 실시 예에 따르면, 동작 805에서, 프로세서(220)는 전자 장치(100)의 촬영 환경이 제1 촬영 환경에 해당하는지 여부를 판단할 수 있다. 예를 들면, 프로세서(220)는 전자 장치(100)가 HDR 기능이 필요한 촬영 환경이고 지정된 배율 이상의 줌 배율로 설정된 경우, 제1 촬영 환경에 해당한다고 판단할 수 있다. 다른 예를 들면, 프로세서(220)는 전자 장치(100)가 HDR 기능이 필요한 촬영 환경이지만 지정된 배율 미만의 줌 배율로 설정된 경우에는 제1 촬영 환경에 해당하지 않는다고 판단할 수도 있다. 다른 예를 들면, 프로세서(220)는 전자 장치(100)가 HDR 기능이 필요한 촬영 환경이고, 소모 전류를 감소시킬 필요가 있다고 판단하는 경우에도 제1 촬영 환경에 해당한다고 판단할 수 있다. 다른 예를 들면, 프로세서(220)는 고 화소 출력이 필요한지, 저 화소 출력이 필요한지 여부를 기반으로 전자 장치(100)의 촬영 환경이 제1 촬영 환경에 해당하는지 여부를 판단할 수도 있다. 프로세서(220)는 기준 값 이상의 화소를 가지는 이미지를 획득해야 한다고 판단하는 경우, 상기 촬영 환경이 제1 촬영 환경에 해당한다고 판단할 수 있다.
일 실시 예에 따르면, 동작 807에서, 프로세서(220)는 상기 촬영 환경이 제1 촬영 환경에 해당하는 것에 응답하여 제1 모드로 이미지를 촬영할 수 있다. 프로세서(220)는 촬영 환경이 제1 촬영 환경에 해당하는 경우 제1 모드를 통해 제2 이미지 프레임을 획득할 수 있다. 제2 이미지 프레임은 제1 이미지 프레임에 후속하는 이미지 프레임으로 이해될 수 있다. 예를 들면, 상기 제1 모드는 도 3 내지 도 6을 참조하여 설명된 제1 모드로 이해될 수 있다. 제1 모드와 관련하여, 도 9를 참조하여 후술한다.
일 실시 예에 따르면, 동작 809에서, 프로세서(220)는 전자 장치(100)의 촬영 환경이 제2 촬영 환경에 해당하는지 여부를 판단할 수 있다. 예를 들면, 프로세서(220)는 전자 장치(100)가 HDR 기능이 필요한 촬영 환경이고, 지정된 배율 미만의 줌 배율로 설정된 경우에는 제2 촬영 환경에 해당한다고 판단할 수 있다. 다른 예를 들면, 프로세서(220)는 제1 이미지 프레임에 포함된 노이즈를 감소시킬 필요가 있다고 판단되는 경우에도 제2 촬영 환경에 해당한다고 판단할 수 있다. 다른 예를 들면, 프로세서(220)는 기준 값 미만의 화소를 가지는 이미지를 획득할 필요가 있다고 판단한 경우, 상기 촬영 환경이 제2 촬영 환경에 해당한다고 판단할 수 있다.
일 실시 예에 따르면, 동작 811에서, 프로세서(220)는 상기 촬영 환경이 제2 촬영 환경에 해당하는 것에 응답하여 제2 모드로 이미지를 촬영할 수 있다. 프로세서(220)는 촬영 환경이 제2 촬영 환경에 해당하는 경우 제2 모드를 통해 제2 이미지 프레임을 획득할 수 있다. 예를 들면, 상기 제2 모드는 도 7a 내지 도 7b를 참조하여 설명된 제2 모드로 이해될 수 있다. 제2 모드와 관련하여, 도 10을 참조하여 후술한다.
일 실시 예에 따르면, 동작 813에서, 프로세서(220)는 상기 촬영 환경이 제3 촬영 환경에 해당하는지 여부를 판단할 수 있다. 예를 들면, 프로세서(220)는 전자 장치(100) 주변의 조도가 기준 값 미만이라고 판단한 경우, 제3 촬영 환경에 해당한다고 판단할 수 있다. 다른 예를 들면, 프로세서(220)는 제1 이미지 프레임에 포함된 피사체에 대한 광 신호가 기준 값 미만이라고 판단한 경우, 제3 촬영 환경에 해당한다고 판단할 수 있다.
일 실시 예에 따르면, 동작 815에서, 프로세서(220)는 상기 촬영 환경이 제3 촬영 환경에 해당하는 것에 응답하여 제3 모드로 이미지를 촬영할 수 있다. 프로세서(220)는 촬영 환경이 제3 촬영 환경에 해당하는 경우 제3 모드를 통해 제2 이미지 프레임을 획득할 수 있다. 예를 들면, 상기 제3 모드는 저조도 모드로 이해될 수 있다. 제3 모드와 관련하여, 도 11을 참조하여 후술한다.
일 실시 예에 따르면, 동작 817에서, 프로세서(220)는 상기 촬영 환경이 제4 촬영 환경에 해당하는지 여부를 판단할 수 있다. 예를 들면, 프로세서(220)는 전자 장치(100) 주변의 조도가 기준 범위 내에 포함된다고 판단한 경우, 제4 촬영 환경이라고 판단할 수 있다. 다른 예를 들면, 프로세서(220)는 제1 이미지 프레임에 포함된 피사체에 대한 광 신호가 기준 범위 내에 포함된다고 판단한 경우, 제4 촬영 환경에 해당한다고 판단할 수 있다.
일 실시 예에 따르면, 동작 819에서, 프로세서(220)는 상기 촬영 환경이 제4 촬영 환경에 해당하는 것에 응답하여 제4 모드로 이미지를 촬영할 수 있다. 프로세서(220)는 촬영 환경이 제4 촬영 환경에 해당하는 경우 제4 모드를 통해 제2 이미지 프레임을 획득할 수 있다. 예를 들면, 상기 제4 모드는 일반 모드로 이해될 수 있다. 제4 모드와 관련하여, 도 12를 참조하여 후술한다.
도 8을 참조하면, 프로세서(220)는 전자 장치(100)의 촬영 환경이 제1 촬영 환경, 제2 촬영 환경, 제3 촬영 환경, 및 제4 촬영 환경에 해당하는지 여부의 순서로 촬영 환경을 판단하는 것으로 도시되었으나, 이는 하나의 예시로서 통상의 기술자에 의해 구현될 수 있는 다양한 실시 예들이 가능하다. 예를 들면, 프로세서(220)는 지정된 조건을 만족하는지 여부를 기준으로, 순서에 관계없이 제1 촬영 환경 내지 제4 촬영 환경 중 어느 하나의 촬영 환경에 해당한다고 판단할 수 있다. 다른 예를 들면, 프로세서(220)는 특정한 촬영 모드로 이미지를 획득하고자 하는 사용자 입력을 수신한 경우, 상기 사용자 입력에 대응하는 촬영 환경에 해당한다고 판단할 수도 있다. 또한 전자 장치(100)는 반드시 4개의 촬영 환경 중 어느 하나를 결정하도록 구현되지 않을 수 있다. 예를 들어, 다양한 실시 예에서, 전자 장치(100)는 2개의 촬영 환경(예: 제1 촬영 환경 및 제2 촬영 환경) 중 어느 하나를 결정하거나, 5개 이상의 촬영 환경 중 어느 하나의 촬영 환경을 결정하도록 구현될 수 있다.
도 9는 일 실시 예에 따른 전자 장치(100)가 제1 모드로 이미지를 획득하는 예를 도시한다.
일 실시 예에 따르면, 프로세서(220)는 전자 장치(100)의 촬영 환경이 제1 촬영 환경에 해당하는 것에 응답하여, 이미지 센서(210)를 제어하여 제1 모드로 이미지를 촬영할 수 있다.
일 실시 예에 따르면, 이미지 센서(210)는 픽셀을 통해 아날로그 데이터(예: 도 4의 아날로그 데이터(402))를 획득할 수 있다. 예를 들면, 이미지 센서(210)는 개별 픽셀(212) 또는 단위 픽셀(214)을 통해 상기 아날로그 데이터를 획득할 수 있다. 이미지 센서(210)는 상기 단위 픽셀(214)에 포함된 2x2 배열을 가지는 4개의 PD(예: 도 3의 제1 PD(311), 제2 PD(312), 제3 PD(313), 및 제4 PD(314)) 중 어느 하나의 PD를 통해 획득한 광량 데이터를 기반으로 상기 아날로그 데이터를 획득할 수도 있고, 상기 4개의 PD 중 적어도 2개의 PD를 통해 획득한 광량 데이터를 기반으로 상기 아날로그 데이터를 획득할 수도 있다. 다른 예를 들면, 이미지 센서에 포함된 복수의 픽셀들 중 각 픽셀은 1개의 PD와 1개의 FD로 구성되고, 이미지 센서는 상기 1개의 PD를 통해 획득한 광량 데이터를 기반으로 상기 아날로그 데이터를 획득할 수도 있다.
일 실시 예에 따르면, 이미지 센서(210)는 아날로그 데이터를 제1 감도로 디지털 변환하여 제1 디지털 데이터(910)를 획득할 수 있고, 아날로그 데이터를 제1 감도보다 높은 제2 감도로 디지털 변환하여 제2 디지털 데이터(920)를 획득할 수 있다. 도 9를 참조하면, 이미지 센서(210)가 아날로그 데이터를 제1 감도로 디지털 변환한 제1 디지털 데이터(910)는, 아날로그 데이터를 제2 감도로 디지털 변환한 제2 디지털 데이터(920)에 비해 작은 값을 가질 수 있다. 예를 들면, 제1 디지털 데이터(910)가 제2 디지털 데이터(920)보다 어두운 영상에 대응될 수 있다.
일 실시 예에 따르면, 제2 디지털 데이터(920)는 상대적으로 높은 감도인 제2 감도로 디지털 변환되었으므로 포화(saturation)된 픽셀이 있을 수 있다. 도 9를 참조하면, 제2 디지털 데이터(920)는 제1 영역(901)에 해당하는 하늘 영역 중 구름에 대한 이미지를 포함하지 않을 수 있다. 예를 들면, 제2 영역(902)에 비해 제1 영역(901)이 일정 수준 이상 밝기 때문에, 제2 디지털 데이터(920)는 제1 영역(901)의 이미지를 포함하기 어려울 수 있다. 이때, 제1 디지털 데이터(910)는 상대적으로 낮은 감도인 제1 감도로 디지털 변환되었으므로 포화된 픽셀이 없거나 무시할 수 있을 정도로 적을 수 있다. 예를 들면, 제1 디지털 데이터(910)는 화이트홀(white hole) 등의 결함(artifact) 없는 제1 영역(901)의 이미지를 포함할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 이미지 센서(210)로부터 제1 디지털 데이터(910), 및 제2 디지털 데이터(920)를 획득할 수 있다. 일 실시 예에 따르면, 프로세서(220)는 제1 디지털 데이터(910)와 제2 디지털 데이터(920)를 기반으로 제1 이미지 프레임에 후속하는 제2 이미지 프레임(905)을 획득할 수 있다. 예를 들면, 제2 이미지 프레임(905)은 HDR 이미지일 수 있다. 일 실시 예에 따르면, 프로세서(220)는 제1 디지털 데이터(910)와 제2 디지털 데이터(920)에 대해 서로 다른 2개의 감마(gamma) 신호를 적용하여 이미지 퓨전(image fusion)할 수 있다. 프로세서(220)는 상기 퓨전을 통해 제2 이미지 프레임(905)을 획득할 수 있다. 예를 들면, 프로세서(220)는 제1 디지털 데이터(910)와 제2 디지털 데이터(920)에 대해 듀얼 감마 퓨전(dual gamma fusion)을 이용하여 HDR 이미지를 획득할 수 있다. 프로세서(220)는 듀얼 감마 퓨전을 통해 HDR 이미지의 품질을 향상시킬 수 있다. 프로세서(220)는 듀얼 감마 퓨전을 통해, 제1 디지털 데이터(910)와 제2 디지털 데이터(920) 중 각각 지정된 조건을 만족하는 이미지 영역을 기반으로 HDR 이미지를 획득할 수 있다. 상기 지정된 조건이란 픽셀이 포화되지 않고, 일정 수준 이상의 밝기를 가지는 것을 의미할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 제2 이미지 프레임(905)에 대응하는 이미지 영역을 임계 값보다 밝은 제1 영역(901)과 임계 값보다 어두운 제2 영역(902)으로 구별하고, 제1 디지털 데이터(910)의 제1 영역(901)과 제2 디지털 데이터(920)의 제2 영역(902)을 기반으로 제2 이미지 프레임(905)을 획득할 수 있다. 예를 들면, 제2 이미지 프레임(905)에 대응하는 전체 이미지 영역은 제1 영역(901)과 제2 영역(902)으로 구분될 수 있다. 상기 제1 영역(901)은 임계 값 이상의 밝기를 가지는 영역이고, 상기 제2 영역(902)은 임계 값 이하의 밝기를 가지는 영역일 수 있다. 일 실시 예에 따르면, 프로세서(220)는 제1 디지털 데이터(910)의 제1 영역(901)과 제2 디지털 데이터(920)의 제2 영역(902)을 기반으로 제2 이미지 프레임(905)을 획득할 수 있다. 프로세서(220)는 상대적으로 어두운 제2 영역(902)은 상대적으로 높은 감도로 획득한 제2 디지털 데이터(920)를 이용하고, 상대적으로 밝은 제1 영역(901)은 상대적으로 낮은 감도로 획득한 제1 디지털 데이터(910)를 이용할 수 있다. 프로세서(220)는 제1 모드를 통해 이미지를 촬영하는 경우, 제1 디지털 데이터(910)의 DR(dynamic range)이나, 제2 디지털 데이터(920)의 DR보다 넓은 DR을 가지는 제2 이미지 프레임(905)을 획득할 수 있다.
도 9를 참조하면, 프로세서(220)는 상기 이미지 영역을 제1 영역(901)과 제2 영역(902)으로 구분하고, 제1 영역(901)은 제1 디지털 데이터(910)를 기반으로 획득하고, 제2 영역(902)은 제2 디지털 데이터(920)를 기반으로 획득하는 것으로 도시되었으나, 이는 하나의 예시로서 통상의 기술자에 의해 구현될 수 있는 다양한 실시 예가 가능하다. 예를 들면, 프로세서(220)는 제2 이미지 프레임(905)에 대응하는 이미지 영역을 제1 임계 값보다 밝은 제1 영역, 제1 임계 값과 제2 임계 값 사이의 밝기를 가지는 제2 영역, 및 제2 임계 값보다 어두운 제3 영역으로 구별할 수 있다. 상기 제2 영역은 적정 밝기 또는 적정 DR을 가지는 영역으로 이해될 수 있다. 프로세서(220)는 제1 임계 값보다 밝은 제1 영역의 이미지는 제1 디지털 데이터(910)를 기반으로 획득하고, 제2 임계 값보다 어두운 제3 영역의 이미지는 제2 디지털 데이터(920)를 기반으로 획득할 수 있다. 프로세서(220)는 제1 임계 값과 제2 임계 값 사이의 밝기를 가지는 제2 영역의 이미지는 제1 디지털 데이터(910)와 제2 디지털 데이터(920)를 병합하여 획득하거나, 제1 감도 또는 제2 감도와 구별되는 제3 감도를 통해 아날로그 데이터를 디지털 변환하여 획득된 제3 디지털 데이터(미도시)를 기반으로 획득할 수도 있다.
일 실시 예에 따르면, 프로세서(220)는 제1 디지털 데이터(910)와 제2 디지털 데이터(920)에 대한 제로 패딩을 통해 제2 이미지 프레임(905)을 획득할 수 있다. 프로세서(220)는 제1 개수의 비트를 가지는 제1 디지털 데이터(910)에 제2 개수의 비트를 가지는 제1 더미 데이터를 추가하여 제3 개수를 가지는 제3 디지털 데이터(930)를 획득할 수 있다. 또한, 프로세서(220)는 제1 개수의 비트를 가지는 제2 디지털 데이터(920)에 제2 개수의 비트를 가지는 제2 더미 데이터를 추가하여 제3 개수를 가지는 제4 디지털 데이터(940)를 획득할 수 있다. 일 실시 예에 따르면, 제1 개수, 제2 개수, 및 제3 개수는 자연수일 수 있다. 예를 들면, 제1 개수는 10, 제2 개수는 2, 제3 개수는 12일 수 있다. 다른 예를 들면, 제1 개수는 12, 제2 개수는 2, 제3 개수는 14일 수도 있다.
도 9를 참조하면, 프로세서(220)는 제1 디지털 데이터(910)에 LSB(least significant bit) 제로 패딩으로 제1 더미 데이터를 추가하여 제3 디지털 데이터(930)를 획득할 수 있고, 제2 디지털 데이터(920)에 MSB(most significant bit) 제로 패딩으로 제2 더미 데이터를 추가하여 제4 디지털 데이터(940)를 획득할 수 있다. 예를 들면, 제1 더미 데이터와 제2 더미 데이터는 '00'일 수 있다.
일 실시 예에 따르면, 프로세서(220)는 제3 디지털 데이터(930), 및 제4 디지털 데이터(940)를 기반으로 제2 이미지 프레임(905)을 획득할 수 있다. 일 실시 예에 따르면, 프로세서(220)는 제3 디지털 데이터(930)의 일부 및 제4 디지털 데이터(940)의 일부를 기반으로 이미지 데이터(950)를 획득할 수 있다. 예를 들면, 프로세서(220)는 제3 디지털 데이터(930) 중 최상위 비트 2개, 및 제4 디지털 데이터(940) 중 최상위 비트 2개를 제외한 나머지 비트를 기반으로 이미지 데이터(950)를 획득할 수 있다. 이미지 데이터(950)의 제1 비트 그룹(952)은 제3 디지털 데이터(930) 중 최상위 비트 2개에 대응될 수 있고, 이미지 데이터(950)의 제2 비트 그룹(954)은 제4 디지털 데이터(940) 중 최상위 비트 2개를 제외한 나머지 비트에 대응될 수 있다. 일 실시 예에서, 프로세서(220)는 상기 이미지 데이터(950)를 기반으로 제2 이미지 프레임(905)을 획득할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 전자 장치(100)의 촬영 환경이 제1 촬영 환경에 해당하는 것에 응답하여, 제1 노출 시간동안 복수의 픽셀들(예: 개별 픽셀(212), 단위 픽셀(214), 또는 1개의 PD와 1개의 FD를 포함하는 픽셀(미도시))을 통해 제1 광량 데이터를 획득할 수 있다. 예를 들면, 프로세서(220)는 제1 모드를 이용하는 경우, 이미지 센서(210)의 노출 시간을 제1 노출 시간으로 결정할 수 있다. 프로세서(220)는 제2 모드, 제3 모드, 또는 제4 모드를 이용하는 경우, 이미지 센서(210)의 노출 시간이 제2 노출 시간이라고 판단할 수 있다. 일 실시 예에서, 제1 노출 시간은 제2 노출 시간보다 짧을 수 있다. 예를 들면, 프로세서(220)는 제1 모드를 이용하는 경우, 노출 시간을 감소시켜 PD에 축적되는 전하의 양(예: 제1 광량 데이터)을 감소시킬 수 있다. 예를 들어, 프로세서(220)는 2개 이상의 PD에 축적되는 전하의 양을 기반으로 아날로그 데이터를 획득하는 경우, PD에 축적되는 전하의 양과 FD 저장 공간을 고려하여 노출 시간을 감소시킬 수 있다. 다른 실시 예에서, 제1 노출 시간은 제2 노출 시간보다 짧지 않을 수 있다. 예를 들면, 프로세서(220)는 제1 모드를 이용하는 경우라도 노출 시간을 감소시키거나 PD에 축적되는 전하의 양을 감소시키지 않을 수 있다. 예를 들어, 프로세서(220)는 1개의 PD에 축적되는 전하의 양을 기반으로 아날로그 데이터를 획득하는 경우 또는 2개 이상의 PD에 축적되는 전하의 양을 기반으로 아날로그 데이터를 획득하는 경우라도, FD 저장 공간이 충분하다고 판단되는 경우 노출 시간을 감소시키지 않을 수도 있다.
도 10은 일 실시 예에 따른 전자 장치(100)가 제2 모드로 이미지를 획득하는 예를 도시한다.
일 실시 예에 따르면, 프로세서(220)는 전자 장치(100)의 촬영 환경이 제2 촬영 환경에 해당하는 것에 응답하여, 이미지 센서(210)를 제어하여 제2 모드로 이미지를 촬영할 수 있다.
일 실시 예에 따르면, 이미지 센서(210)는 단위 픽셀(214)에 입력된 광량 데이터를 기반으로 제1 변환이득(예: HCG)으로 제1 이미지 데이터(1010)를 획득하고, 상기 광량 데이터를 기반으로 제2 변환이득(예: LCG)으로 제2 이미지 데이터(1020)를 획득할 수 있다. 이미지 센서(210)는 단위 픽셀(214)에 포함된 4개의 PD(예: 도 3의 제1 PD(311), 제2 PD(312), 제3 PD(313), 및 제4 PD(314)) 중 적어도 2개의 PD를 통해 획득한 광량 데이터를 기반으로 제1 이미지 데이터 및 제2 이미지 데이터를 획득할 수 있다.
도 10을 참조하면, 이미지 센서(210)가 제1 변환이득으로 리드아웃 한 제1 이미지 데이터(1010)는, 제1 변환이득보다 낮은 제2 변환이득으로 리드아웃 한 제2 이미지 데이터(1020)에 비해 밝은 영상에 대응될 수 있다. 일 실시 예에 따르면, 제1 이미지 데이터(1010)는 상대적으로 높은 변환이득인 제1 변환이득으로 리드아웃 되었으므로 포화된 픽셀이 있을 수 있다. 도 10을 참조하면, 제1 이미지 데이터(1010)는 제1 영역(1001)에 해당하는 하늘 영역 중 구름에 대한 이미지를 포함하지 않을 수 있다. 예를 들면, 제2 영역(1002)에 비해 제1 영역(1001)이 일정 수준 이상 밝기 때문에, 제1 이미지 데이터(1010)는 제1 영역(1001)의 이미지를 포함하기 어려울 수 있다. 이때, 제2 이미지 데이터(1020)는 상대적으로 낮은 변환이득인 제2 변환이득으로 리드아웃 되었으므로, 포화된 픽셀이 없거나 무시할 수 있을 정도로 적을 수 있다. 예를 들면, 제2 이미지 데이터(1020)는 화이트홀 등의 결함이 없는 제1 영역(1001)의 이미지를 포함할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 이미지 센서(210)로부터 제1 이미지 데이터(1010), 및 제2 이미지 데이터(1020)를 획득할 수 있다. 일 실시 예에 따르면, 프로세서(220)는 제1 이미지 데이터(1010)와 제2 이미지 데이터(1020)를 기반으로 제1 이미지 프레임에 후속하는 제2 이미지 프레임(1005)을 획득할 수 있다. 예를 들면, 제2 이미지 프레임(1005)은 HDR 이미지일 수 있다.
일 실시 예에 따르면, 프로세서(220)는 제2 이미지 프레임(1005)에 대응하는 이미지 영역을 임계 값보다 밝은 제1 영역(1001)과 임계 값보다 어두운 제2 영역(1002)으로 구별하고, 제2 이미지 데이터(1020)의 제1 영역(1001)과 제1 이미지 데이터(1010)의 제2 영역(1002)을 기반으로 제2 이미지 프레임(1005)을 획득할 수 있다. 프로세서(220)는 제1 이미지 데이터(1010)의 제2 영역(1002)과 제2 이미지 데이터(1020)의 제1 영역(1001)을 기반으로 제2 이미지 프레임(1005)을 획득할 수 있다. 예를 들면, 프로세서(220)는 상대적으로 어두운 제2 영역(1002)은 상대적으로 높은 변환이득으로 획득한 제1 이미지 데이터(1010)를 이용하고, 상대적으로 밝은 제1 영역(1001)은 상대적으로 낮은 변환이득으로 획득한 제2 이미지 데이터(1020)를 이용할 수 있다. 프로세서(220)는 제2 모드를 통해 이미지를 촬영하는 경우, 제1 이미지 데이터(1010)의 DR이나, 제2 이미지 데이터(1020)의 DR보다 넓은 DR을 가지는 제2 이미지 프레임(1005)을 획득할 수 있다.
도 10을 참조하면, 프로세서(220)는 상기 이미지 영역을 제1 영역(1001)과 제2 영역(1002)으로 구분하는 것으로 도시되었으나, 이는 하나의 예시로서 통상의 기술자에 의해 구현될 수 있는 다양한 실시 예들이 가능하다. 예를 들면, 도 9와 관련하여 설명된 바와 같이, 프로세서(220)는 상기 이미지 영역을 제1 임계 값보다 밝은 제1 영역, 제1 임계 값과 제2 임계 값 사이의 밝기를 가지는 제2 영역, 및 제2 임계 값보다 어두운 제3 영역으로 구별할 수도 있다.
일 실시 예에 따르면, 프로세서(220)는 제1 이미지 데이터(1010)와 제2 이미지 데이터(1020)에 대한 제로 패딩을 통해 제2 이미지 프레임(1005)을 획득할 수 있다. 프로세서(220)는 제1 개수의 비트를 가지는 제1 이미지 데이터(1010)에 제2 개수의 비트를 가지는 제1 더미 데이터를 추가하여 제3 이미지 데이터(1030)를 획득할 수 있다. 또한, 프로세서(220)는 제1 개수의 비트를 가지는 제2 이미지 데이터(1020)에 제2 개수의 비트를 가지는 제2 더미 데이터를 추가하여 제4 이미지 데이터(1040)를 획득할 수 있다. 일 실시 예에 따르면, 제1 개수, 제2 개수, 및 제3 개수는 자연수일 수 있다. 예를 들면, 제1 개수는 10, 제2 개수는 2, 제3 개수는 12일 수 있다. 다른 예를 들면, 제1 개수는 12, 제2 개수는 2, 제3 개수는 14일 수도 있다.
도 10을 참조하면, 프로세서(220)는 제1 이미지 데이터(1010)에 MSB 제로 패딩으로 제1 더미 데이터를 추가하여 제3 이미지 데이터(1030)를 획득할 수 있고, 제2 이미지 데이터(1020)에 LSB 제로 패딩으로 제2 더미 데이터를 추가하여 제4 이미지 데이터(1040)를 획득할 수 있다. 예를 들면, 제1 더미 데이터와 제2 더미 데이터는 '00'일 수 있다.
일 실시 예에 따르면, 프로세서(220)는 제3 이미지 데이터(1030), 및 제4 이미지 데이터(1040)를 기반으로 제2 이미지 프레임(1005)을 획득할 수 있다. 일 실시 예에 따르면, 프로세서(220)는 제3 이미지 데이터(1030)의 일부 및 제4 이미지 데이터(1040)의 일부를 기반으로 제5 이미지 데이터(1050)를 획득할 수 있다. 예를 들면, 프로세서(220)는 제4 이미지 데이터(1040) 중 최상위 비트 2개, 및 제3 이미지 데이터(1030) 중 최상위 비트 2개를 제외한 나머지 비트를 기반으로 제5 이미지 데이터(1050)를 획득할 수 있다. 제5 이미지 데이터(1050)의 제1 비트 그룹(1052)은 제4 이미지 데이터(1040) 중 최상위 비트 2개에 대응될 수 있고, 제5 이미지 데이터(1050)의 제2 비트 그룹(1054)은 제3 이미지 데이터(1030) 중 최상위 비트 2개를 제외한 나머지 비트에 대응될 수 있다. 일 실시 예에서, 프로세서(220)는 상기 제5 이미지 데이터(1050)를 기반으로 제2 이미지 프레임(1005)을 획득할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 도 9에서 설명된 제1 모드 또는 도 10에서 설명된 제2 모드를 통해 HDR 이미지를 획득할 수 있다. 프로세서(220)는 HDR 기능이 필요한 환경이라고 판단한 경우, 설정된 줌 배율, 이미지에 포함된 노이즈의 양, 이미지 센서(210)의 노출 시간 중 적어도 일부에 대한 정보를 기반으로 제1 촬영 환경 또는 제2 촬영 환경에 해당한다고 판단할 수 있다. 예를 들면, 프로세서(220)는 줌 배율을 설정하는 사용자 입력을 수신하고, 상기 줌 배율이 지정된 배율 이상인 경우 제1 모드를 이용할 수 있고, 상기 줌 배율이 지정된 배율 미만인 경우 제2 모드를 이용할 수 있다. 줌 배율에 따른 촬영 모드 전환과 관련하여, 도 14를 참조하여 후술한다. 다른 예를 들면, 프로세서(220)는 제1 이미지 프레임에 포함된 노이즈의 양이 일정 수준 이상이므로 노이즈의 양을 감소시켜야 한다고 판단하는 경우, 제2 모드를 이용할 수 있다. 이미지 센서(210)가 제1 모드를 이용하는 경우에 비해 제2 모드를 이용하는 경우, 제2 이미지 프레임(1005)에 포함된 노이즈의 양이 감소될 수 있다.
일 실시 예에 따르면, 프로세서(220)는 전자 장치(100)의 촬영 환경이 제2 촬영 환경에 해당하는 것에 응답하여, 제2 노출 시간동안 복수의 픽셀들(예: 단위 픽셀(214))을 통해 제2 광량 데이터를 획득할 수 있다. 예를 들면, 프로세서(220)는 제2 모드를 이용하는 경우, 이미지 센서(210)의 노출 시간을 제2 노출 시간으로 결정할 수 있다. 일 실시 예에서, 제2 노출 시간은 제1 노출 시간보다 길 수 있고, 다른 실시 예에서, 제1 노출 시간과 제2 노출 시간은 같거나 서로 관련이 없을 수 있다.
도 11은 일 실시 예에 따른 전자 장치(100)가 제3 모드로 이미지를 획득하는 예를 도시한다.
일 실시 예에 따르면, 프로세서(220)는 전자 장치(100)의 촬영 환경이 제3 촬영 환경에 해당하는 것에 응답하여, 이미지 센서(210)를 제어하여 제3 모드로 이미지를 촬영할 수 있다. 예를 들면, 제3 모드는 저조도 모드일 수 있다. 저조도 모드는 전자 장치(100)의 주변 환경에 빛이 매우 부족하여 피사체의 광 정보가 기준 값 미만인 경우에 이용될 수 있다.
일 실시 예에 따르면, 이미지 센서(210)는 노출 시간동안 개별 픽셀(212) 또는 단위 픽셀(214)에 광량 데이터를 입력 받을 수 있다.
일 실시 예에서, 이미지 센서(210)는 광량 데이터를 제1 변환이득으로 2회 이상 리드아웃 하고 평균값을 낼 수 있다. 저조도 환경에서는 빛의 양이 부족하므로 HCG로 리드아웃 할 수 있다. 예를 들면, 이미지 센서(210)는 동일한 변환이득(예: 제1 변환이득), 및 동일한 감도(예: 제1 감도)를 통해 광량 데이터를 2회 리드아웃 하여 제1 이미지 데이터(1112), 제2 이미지 데이터(1114)를 획득할 수 있다. 예를 들면, 제1 이미지 데이터(1112)와 제2 이미지 데이터(1114)는 각각 제1 개수(예: 10)의 비트를 가질 수 있다. 상기 제1 이미지 데이터(1112)는 도 10의 제1 이미지 데이터(1010)와 구별되고, 상기 제2 이미지 데이터(1114)는 도 10의 제2 이미지 데이터(1020)와 구별된다.
일 실시 예에 따르면, 이미지 센서(210)는 제1 이미지 데이터(1112)와 제2 이미지 데이터(1114)를 평균하여 제3 이미지 데이터를 획득할 수 있다. 예를 들면, 제3 이미지 데이터는 제1 개수(예: 10)의 비트를 가질 수 있다. 상기 제3 이미지 데이터는 도 10의 제3 이미지 데이터(1030)와 구별된다. 일 실시 예에 따르면, 이미지 센서(210)는 제3 모드를 통해 획득한 제3 이미지 데이터를 프로세서(220)에 제공할 수 있다. 일 실시 예에 따르면, 프로세서(220)는 상기 제3 이미지 데이터를 기반으로 제2 이미지 프레임을 획득할 수 있다.
일 실시 예에 따르면, 이미지 센서(210)는 개별 픽셀(212) 또는 단위 픽셀(214)에 입력된 데이터를 2회 이상 리드아웃 하고 평균값을 계산하는 과정을 통해 이미지 데이터에 포함된 노이즈를 감소시킬 수 있다.
도 11을 참조하면, 이미지 센서(210)는 개별 픽셀(212) 또는 단위 픽셀(214)에 입력된 데이터를 2회 리드아웃 하여 제1 이미지 데이터(1112)와 제2 이미지 데이터(1114)를 획득하는 것으로 도시되었으나, 이는 하나의 예시로서 다양한 실시 예들이 가능하다. 예를 들면, 프로세서(220)는 개별 픽셀(212) 또는 단위 픽셀(214)에 입력된 데이터를 3회 리드아웃 하여 평균값을 계산할 수도 있고, 4회 이상 리드아웃 하여 평균값을 계산할 수도 있다.
일 실시 예에 따르면, 이미지 센서(210)는 제3 모드를 이용하는 경우 CDS 동작을 수행할 수 있다. 이미지 센서(210)는 리셋 동작 후 리셋 데이터를 획득할 수 있고, TG(320)를 on으로 전환한 후 상기 광량 데이터에 대응하는 리드아웃 데이터를 2회 이상 획득할 수 있다. 예를 들면, 이미지 센서(210)가 상기 광량 데이터를 2회 리드아웃 하는 경우, 이미지 센서(210)는 제1 리드아웃 데이터, 제2 리드아웃 데이터를 획득할 수 있다. 이미지 센서(210)는 제1 리드아웃 데이터와 리셋 데이터의 차이를 기반으로 제1 이미지 데이터(1112)를 획득할 수 있고, 제2 리드아웃 데이터와 리셋 데이터의 차이를 기반으로 제2 이미지 데이터(1114)를 획득할 수 있다. 이미지 센서(210)는 제1 리드아웃 데이터와 제2 리드아웃 데이터를 평균한 후에 상기 리셋 데이터와의 차이 값을 계산할 수도 있다. 이미지 센서(210)가 제3 모드를 이용하는 경우 CDS를 고려하면 3회 이상의 리드아웃이 필요할 수 있다.
도 12는 일 실시 예에 따른 전자 장치(100)가 제4 모드로 이미지를 획득하는 예를 도시한다.
일 실시 예에 따르면, 프로세서(220)는 전자 장치(100)의 촬영 환경이 제4 촬영 환경에 해당하는 것에 응답하여, 이미지 센서(210)를 제어하여 제4 모드로 이미지를 촬영할 수 있다. 예를 들면, 제4 모드는 일반 모드일 수 있다. 일반 모드는 전자 장치(100)의 주변 환경이 밝고, 피사체의 광 정보가 기준 값 이상이며, HDR 기능이 필요하지 않은 경우에 이용될 수 있다.
일 실시 예에 따르면, 이미지 센서(210)는 노출 시간동안 개별 픽셀(212) 또는 단위 픽셀(214)에 광량 데이터를 입력 받을 수 있다.
일 실시 예에 따르면, 이미지 센서(210)는 광량 데이터를 기반으로 제1 변환이득, 및 제1 감도로 1회 리드아웃 하여 이미지 데이터(1210)를 획득할 수 있다. 예를 들면, 이미지 데이터(1210)는 제1 개수(예: 10)의 비트를 가질 수 있다. 일 실시 예에 따르면, 이미지 센서(210)는 이미지 데이터(1210)를 프로세서(220)에 제공할 수 있다. 프로세서(220)는 이미지 데이터(1210)를 기반으로 제2 이미지 프레임을 획득할 수 있다.
일 실시 예에 따르면, 이미지 센서(210)는 제4 모드를 이용하는 경우 CDS 동작을 수행할 수 있다. 이미지 센서(210)는 리셋 동작 후 리셋 데이터를 획득할 수 있고, TG(320)를 on으로 전환한 후 상기 광량 데이터에 대응하는 리드아웃 데이터를 획득할 수 있다. 이미지 센서(210)는 상기 리드아웃 데이터 및 상기 리셋 데이터의 차이를 기반으로 상기 이미지 데이터(1210)를 획득할 수 있다. 이미지 센서(210)가 제4 모드를 이용하는 경우 2회의 리드아웃이 필요할 수 있다. 이미지 센서(210)가 제4 모드를 이용하는 경우, 제1 모드 내지 제3 모드를 이용하는 경우에 비해 전력 소모가 가장 적을 수 있다.
도 13은 일 실시 예에 따른 전자 장치(100)가 제3 촬영 환경에서 이미지를 획득하는 예를 도시한다.
일 실시 예에 따르면, 프로세서(220)는 전자 장치(100)의 촬영 환경이 제3 촬영 환경에 해당한다고 판단한 경우에도, 제1 모드를 통해 이미지를 촬영할 수 있다. 예를 들면, 프로세서(220)는 이미지 센서(210)로부터 획득한 제1 이미지 프레임 중 일정 영역의 DR이 확장될 필요가 있다고 판단하는 경우, 제1 모드를 통해 제2 이미지 프레임을 획득할 수 있다. 상기 일정 영역은 제1 이미지 프레임 중 기준 값 이하의 밝기를 가지는 영역을 의미할 수 있다.
일 실시 예에 따르면, 이미지 센서(210)는 픽셀을 통해 아날로그 데이터를 획득할 수 있다. 이미지 센서(210)는 상기 아날로그 데이터를 제1 감도로 2회 이상 디지털 변환하고 평균값을 내어 제1 디지털 데이터(1310)를 획득할 수 있고, 상기 아날로그 데이터를 제2 감도로 2회 이상 디지털 변환하고 평균값을 내어 제2 디지털 데이터(1320)를 획득할 수 있다. 일 실시 예에 따르면, 프로세서(220)가 제1 디지털 데이터(1310) 및 제2 디지털 데이터(1320)를 기반으로 제2 이미지 프레임(1305)을 획득하는 동작은 도 9에서 제1 디지털 데이터(910) 및 제2 디지털 데이터(920)를 기반으로 제2 이미지 프레임(905)을 획득하는 동작에 대응될 수 있다. 예를 들면, 제3 디지털 데이터(1330)는 도 9의 제3 디지털 데이터(930), 제4 디지털 데이터(1340)는 도 9의 제4 디지털 데이터(940), 제2 이미지 프레임(1305)은 도 9의 제2 이미지 프레임(905), 참조번호 1350, 1352, 및 1354는 도 9의 참조번호 950, 952, 및 954에 대응될 수 있다.
일 실시 예에 따르면, 프로세서(220)는 HDR 이미지가 필요한 경우 외에 지정된 조건을 만족하는 경우에도 제1 모드를 이용할 수 있다. 예를 들면, 프로세서(220)는 저조도 환경에서 노이즈를 감소시키기 위해 제1 모드를 이용할 수 있다. 프로세서(220)는 저조도 환경에서 획득된 아날로그 데이터의 값이 일정 수준 이하인 경우, 제1 감도로 2회 이상 디지털 변환하여 평균하고, 제2 감도로 2회 이상 디지털 변환하여 평균하는 동작을 통해 노이즈를 감소시킬 수 있다. 일 실시 예에 따르면, 프로세서(220)는 제1 모드를 통해 획득된 이미지에 일정 수준 이상의 노이즈가 포함된 경우에도 도 13에서 설명된 바와 같이 2회 이상 리드아웃 후 평균하는 동작을 통해 노이즈를 감소시킬 수 있다. 프로세서(220)는 아날로그 데이터를 서로 다른 감도로 각각 2회 이상 리드아웃 하고 평균함에 따라, 제1 디지털 데이터(1310) 또는 제2 디지털 데이터(1320)에 포함된 노이즈를 감소시킬 수 있다.
도 14는 일 실시 예에 따른 전자 장치(100)가 설정된 줌 배율에 따라 촬영 모드를 변경하는 예를 도시한다.
도 14를 참조하면, 전자 장치(100)는 50 메가 픽셀을 가지는 이미지 센서(210)를 포함할 수 있다. 예를 들면, 상기 이미지 센서(210)는 2x2 배열을 가지는 4개의 PD를 포함하는 단위 픽셀(214)들을 포함할 수 있다. 단위 픽셀(214)은 컬러 필터 단위인 것으로 이해될 수 있다. 예를 들면, 컬러 필터 중 R(red)에 대응하는 4개의 개별 픽셀(212)이 하나의 단위 픽셀(214)에 포함될 수 있다.
일 실시 예에 따르면, 프로세서(220)는 전자 장치(100)의 촬영 환경이 지정된 촬영 환경에 해당하는지 여부를 판단할 때에 줌 배율을 함께 고려할 수 있다. 일 실시 예에 따르면, 프로세서(220)는 HDR 기능이 필요하다고 판단한 경우, 상기 줌 배율을 기반으로 촬영 환경이 제1 촬영 환경인지 또는 제2 촬영 환경인지 여부를 판단할 수 있다. 예를 들면, 프로세서(220)는 줌 배율을 설정하는 사용자 입력을 수신하거나, 이미지 센서(210)를 이용하는 애플리케이션을 통해 상기 줌 배율을 결정할 수 있다. 일 실시 예에 따르면, 프로세서(220)는 상기 줌 배율이 지정된 배율 이상인 경우 상기 촬영 환경이 상기 제1 촬영 환경이라고 판단하고, 상기 줌 배율이 상기 지정된 배율 미만인 경우, 상기 촬영 환경이 상기 제2 촬영 환경이라고 판단할 수 있다. 프로세서(220)는 전자 장치(100)의 촬영 환경을 기반으로 화각(FOV, field of view), 비닝(binning) 여부, 촬영 모드, 리모자익(remosaic) 여부, 해상도, 및 이미지 데이터(또는, 디지털 데이터)의 비트 개수를 결정할 수 있다.
일 실시 예에 따르면, 상기 줌 배율에 따라 카메라 모듈(180)의 화각이 결정될 수 있다. 예를 들면, 프로세서(220)는 이미지 센서(210)를 통해 획득되는 이미지 영역 중에서 상기 줌 배율에 대응하도록 일부 영역이 크롭된 이미지를 획득할 수 있다. 줌 배율이 증가할수록 화각이 감소할 수 있다. 일 실시 예에 따르면, 프로세서(220)는 상기 줌 배율이 지정된 배율 이상인 경우에는 비닝하지 않고 각각의 개별 픽셀(212)을 통해 획득된 광량 데이터를 기반으로 이미지를 획득할 수 있다. 또한 프로세서(220)는 상기 줌 배율이 지정된 배율 이상인 경우에는 리모자익이 필요하다고 판단할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 제2 모드를 이용하는 경우에는 단위 픽셀(214)을 통해 획득된 전하의 양을 기반으로 이미지를 획득하기 유리할 수 있다. 프로세서(220)가 제2 모드를 이용하는 경우, FD 저장 공간의 크기가 FD1(735)만큼 증가하므로 각각의 개별 픽셀(212)(예: 1개의 PD)을 통해 획득된 광량 데이터보다는 단위 픽셀(214)(예: 4개의 PD)을 통해 획득된 광량 데이터를 이용하여 이미지를 획득하기에 유리할 수 있다. 일 실시 예에 따르면, 프로세서(220)는 제1 모드를 이용하는 경우에는 제2 모드에 비해 개별 픽셀(212)마다 획득된 전하의 양을 기반으로 이미지를 획득하기 유리할 수 있다. 프로세서(220)가 제1 모드를 이용하는 경우, FD1(735)만큼 FD 저장 공간의 크기가 증가하지 않으므로, 각각의 개별 픽셀(212)(예: 1개의 PD)을 통해 획득된 광량 데이터를 이용하여 이미지를 획득하기에 유리할 수 있다.
일 실시 예에 따르면, 프로세서(220)는 상기 줌 배율이 지정된 배율 미만인 경우에는 화각이 넓고 비닝을 하므로 촬영 모드를 제2 모드로 결정할 수 있다. 또한 프로세서(220)는 상기 줌 배율이 지정된 배율 이상인 경우에는 화각이 좁고 비닝하지 않으므로 촬영 모드를 제1 모드로 결정할 수 있다. 일 실시 예에 따르면, 프로세서(220)는 넓은 화각의 이미지를 획득하는 경우에는 비닝하고 좁은 화각의 이미지를 획득하는 경우에는 비닝하지 않으므로, 프로세서(220)가 제1 모드를 통해 획득한 이미지와 제2 모드를 통해 획득한 이미지의 해상도는 12 메가 픽셀로 일정할 수 있다. 또한 프로세서(200)가 제1 모드를 통해 획득한 디지털 데이터의 비트 개수와 제2 모드를 통해 획득한 이미지 데이터의 비트 개수는 12로 일정할 수 있다.
일 실시 예에 따른 전자 장치(100)에서는, HDR 이미지를 획득하는 동안 줌 배율이 변경되더라도 제1 모드를 통해 획득되는 디지털 데이터와 제2 모드를 통해 획득되는 이미지 데이터의 비트 개수 및 해상도가 일정하기 때문에, 데이터의 흐름에 끊김이 없을 수 있다. 예를 들면, 디스플레이(110)에 표시되는 프리뷰 이미지가 끊김 없이 제공될 수 있다. 다른 예를 들면, 사용자는 전자 장치(100)를 이용하여 HDR 이미지를 제공받는 도중에 줌 배율을 변경하더라도 끊김 없이 촬영을 이어갈 수 있다.
도 15는 일 실시 예에 따른 전자 장치(100)가 이미지 센서를 통해 획득한 2 이상의 이미지를 기반으로 HDR 이미지를 획득하는 예를 도시한다.
일 실시 예에 따르면, 프로세서(220)는 제1 모드를 통해 획득한 제1 디지털 데이터(예: 도 9의 제1 디지털 데이터(910)) 및 제2 디지털 데이터(예: 도 9의 제2 디지털 데이터(920))를 기반으로 이미지 프레임(예: 도 9의 제2 이미지 프레임(905))을 획득할 수 있다. 상기 이미지 프레임의 DR은 제1 디지털 데이터의 DR 또는 제2 디지털 데이터의 DR보다 넓을 수 있다. 도 15는 프로세서(220)가 제1 디지털 데이터와 제2 디지털 데이터를 기반으로 HDR 이미지인 이미지 프레임을 획득하는 하나의 예를 도시한다.
일 실시 예에 따르면, 프로세서(220)는 제1 디지털 데이터 및 제2 디지털 데이터에 대해 LTM(local tone mapping) 연산을 할 수 있다. 도 15의 그래프는 전자 장치(100)에 사전에 지정된 그래프일 수 있다. 프로세서(220)는 x축에 제1 디지털 데이터와 제2 디지털 데이터를 입력하여, 이에 대응하는 y값을 기반으로 상기 이미지 프레임을 획득할 수 있다. 일 실시 예에 따르면, 도 15의 그래프는 하나의 예시로서 통상의 기술자에 의해 구현될 수 있는 다양한 실시 예가 가능하다. 예를 들면, 프로세서(220)는 도 15에 도시된 곡선과 다른 곡률을 갖는 그래프를 통해 이미지 퓨전을 할 수 있다.
일 실시 예에 따른 전자 장치는, 복수 개의 단위 픽셀들을 포함하는 이미지 센서, 각 단위 픽셀은 2 이상의 개별 픽셀들을 포함함, 및 상기 이미지 센서와 전기적으로 연결된 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 상기 이미지 센서로부터 제1 이미지 프레임을 획득하고, 상기 제1 이미지 프레임을 기반으로 상기 전자 장치의 촬영 환경이 지정된 촬영 환경에 해당하는지 여부를 판단하고, 상기 촬영 환경이 제1 촬영 환경에 해당하는 것에 응답하여, 상기 이미지 센서가 개별 픽셀을 통해 아날로그 데이터를 획득하고, 상기 아날로그 데이터를 제1 감도로 디지털 변환한 제1 디지털 데이터, 및 상기 아날로그 데이터를 상기 제1 감도보다 높은 제2 감도로 디지털 변환한 제2 디지털 데이터를 상기 적어도 하나의 프로세서에 제공하도록 제어하고, 상기 제1 디지털 데이터 및 상기 제2 디지털 데이터를 기반으로 상기 제1 이미지 프레임에 후속하는 제2 이미지 프레임을 획득하고, 상기 촬영 환경이 제2 촬영 환경에 해당하는 것에 응답하여, 상기 이미지 센서가 단위 픽셀에 입력된 광량 데이터를 기반으로 제1 변환이득(conversion gain)으로 획득한 제1 이미지 데이터, 및 상기 광량 데이터를 기반으로 상기 제1 변환이득보다 낮은 제2 변환이득으로 획득한 제2 이미지 데이터를 상기 적어도 하나의 프로세서에 제공하도록 제어하고, 상기 제1 이미지 데이터, 및 상기 제2 이미지 데이터를 기반으로 상기 제2 이미지 프레임을 획득할 수 있다.
일 실시 예에 따른 전자 장치에서, 상기 적어도 하나의 프로세서는, 상기 촬영 환경이 제3 촬영 환경에 해당하는 것에 응답하여, 상기 이미지 센서가 상기 개별 픽셀 또는 상기 단위 픽셀에 입력된 광량 데이터를 상기 제1 변환이득으로 2회 이상 리드아웃 하고 평균값을 내어 획득한 제3 이미지 데이터를 상기 적어도 하나의 프로세서에 제공하도록 제어하고, 상기 제3 이미지 데이터를 기반으로 상기 제2 이미지 프레임을 획득할 수 있다.
일 실시 예에 따른 전자 장치에서, 상기 적어도 하나의 프로세서는, 상기 촬영 환경이 제4 촬영 환경에 해당하는 것에 응답하여, 상기 이미지 센서가 상기 개별 픽셀 또는 상기 단위 픽셀에 입력된 광량 데이터를 기반으로 CDS(correlated double sampling)를 수행하여 획득한 제4 이미지 데이터를 상기 적어도 하나의 프로세서에 제공하도록 제어하고, 상기 제4 이미지 데이터를 기반으로 상기 제2 이미지 프레임을 획득할 수 있다.
일 실시 예에 따른 전자 장치에서, 상기 적어도 하나의 프로세서는, 상기 제1 이미지 프레임에 대응하는 장면이 역광인지 여부, 상기 전자 장치 주변의 조도, 또는 상기 제1 이미지 프레임의 피사체에 인물이 포함되었는지 여부 중 적어도 하나를 기반으로 상기 촬영 환경이 상기 지정된 촬영 환경에 해당하는지 여부를 판단할 수 있다.
일 실시 예에 따른 전자 장치에서, 상기 적어도 하나의 프로세서는, 줌 배율을 설정하는 사용자 입력을 수신하고, 상기 줌 배율이 지정된 배율 이상인 경우, 상기 촬영 환경이 상기 제1 촬영 환경이라고 판단하고, 상기 줌 배율이 상기 지정된 배율 미만인 경우, 상기 촬영 환경이 상기 제2 촬영 환경이라고 판단할 수 있다.
일 실시 예에 따른 전자 장치에서, 상기 적어도 하나의 프로세서는, 상기 촬영 환경이 상기 제1 촬영 환경에 해당하는 것에 응답하여, 제1 노출 시간동안 상기 개별 픽셀을 통해 제1 광량 데이터를 획득하고, 상기 촬영 환경이 상기 제2 촬영 환경에 해당하는 것에 응답하여, 상기 제1 노출 시간보다 긴 제2 노출 시간동안 상기 단위 픽셀을 통해 상기 광량 데이터에 대응하는 제2 광량 데이터를 획득할 수 있다.
일 실시 예에 따른 전자 장치에서, 상기 적어도 하나의 프로세서는, 상기 촬영 환경이 상기 제1 촬영 환경에 해당하는 경우, 제1 개수의 비트를 가지는 상기 제1 디지털 데이터에 제2 개수의 비트를 가지는 제1 더미 데이터를 추가하여 제3 개수의 비트를 가지는 제3 디지털 데이터를 획득하고, 상기 제1 개수의 비트를 가지는 상기 제2 디지털 데이터에 상기 제2 개수의 비트를 가지는 제2 더미 데이터를 추가하여 상기 제3 개수의 비트를 가지는 제4 디지털 데이터를 획득하고, 상기 제3 디지털 데이터, 및 상기 제4 디지털 데이터를 기반으로 상기 제2 이미지 프레임을 획득할 수 있다.
일 실시 예에 따른 전자 장치에서, 상기 제1 개수는 10, 상기 제2 개수는 2, 상기 제3 개수는 12일 수 있다.
일 실시 예에 따른 전자 장치에서, 상기 적어도 하나의 프로세서는, 상기 제1 디지털 데이터에 LSB(least significant bit) 제로 패딩으로 상기 제1 더미 데이터를 추가하고, 상기 제2 디지털 데이터에 MSB(most significant bit) 제로 패딩으로 상기 제2 더미 데이터를 추가할 수 있다.
일 실시 예에 따른 전자 장치에서, 상기 이미지 센서는, 상기 아날로그 데이터를 상기 제1 디지털 데이터 및 상기 제2 디지털 데이터로 디지털 변환하기 위한 적어도 하나의 ADC(analog digital converter)를 포함할 수 있다.
일 실시 예에 따른 전자 장치에서, 상기 단위 픽셀은 4개의 상기 개별 픽셀을 포함할 수 있다.
일 실시 예에 따른 전자 장치는, 복수의 픽셀들 및 적어도 하나의 ADC를 포함하는 이미지 센서, 및 상기 이미지 센서와 전기적으로 연결된 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 상기 이미지 센서가 픽셀을 통해 아날로그 데이터를 획득하고, 상기 아날로그 데이터를 상기 적어도 하나의 ADC를 통해 제1 감도로 디지털 변환한 제1 디지털 데이터, 및 상기 아날로그 데이터를 상기 적어도 하나의 ADC를 통해 상기 제1 감도보다 높은 제2 감도로 디지털 변환한 제2 디지털 데이터를 상기 적어도 하나의 프로세서에 제공하도록 제어하고, 상기 이미지 센서로부터 상기 제1 디지털 데이터, 및 상기 제2 디지털 데이터를 획득하고, 상기 제1 디지털 데이터, 및 상기 제2 디지털 데이터를 기반으로 제1 이미지 프레임을 획득할 수 있다.
일 실시 예에 따른 전자 장치에서, 상기 적어도 하나의 프로세서는, 제1 개수의 비트를 가지는 상기 제1 디지털 데이터에 제2 개수의 비트를 가지는 제1 더미 데이터를 추가하여 제3 디지털 데이터를 획득하고, 상기 제1 개수의 비트를 가지는 상기 제2 디지털 데이터에 상기 제2 개수의 비트를 가지는 제2 더미 데이터를 추가하여 제4 디지털 데이터를 획득하고, 상기 제3 디지털 데이터, 및 상기 제4 디지털 데이터를 기반으로 상기 제1 이미지 프레임을 획득할 수 있다.
일 실시 예에 따른 전자 장치에서, 상기 적어도 하나의 ADC는 제1 ADC, 및 제2 ADC를 포함하고, 상기 이미지 센서는, 상기 제1 ADC를 통해 상기 아날로그 데이터를 상기 제1 감도로 디지털 변환하고, 상기 제2 ADC를 통해 상기 아날로그 데이터를 상기 제2 감도로 디지털 변환할 수 있다.
일 실시 예에 따른 전자 장치에서, 상기 이미지 센서는 하나(single)의 ADC를 포함할 수 있다. 상기 이미지 센서는, 제1 시점에, 상기 하나의 ADC를 통해 상기 아날로그 데이터를 상기 제1 감도로 디지털 변환하고, 상기 제1 시점에 후속하는 제2 시점에, 상기 하나의 ADC를 통해 상기 아날로그 데이터를 상기 제2 감도로 디지털 변환할 수 있다.
일 실시 예에 따른 전자 장치에서, 상기 이미지 센서는 2x2 배열을 가지는 4개의 PD(photo diode), 및 상기 4개의 PD와 연결되는 1개의 FD(floating diffusion)를 포함하는 단위 픽셀을 포함할 수 있다.
일 실시 예에 따른 전자 장치에서, 상기 이미지 센서는, 상기 4개의 PD 중 어느 하나의 PD를 통해 획득한 광량 데이터를 기반으로 상기 아날로그 데이터를 획득할 수 있다.
일 실시 예에 따른 전자 장치에서, 상기 이미지 센서는, 상기 4개의 PD 중 적어도 2개의 PD를 통해 획득한 광량 데이터를 기반으로 상기 아날로그 데이터를 획득할 수 있다.
일 실시 예에 따른 전자 장치에서, 상기 복수의 픽셀들 중 각 픽셀은 1개의 PD와 1개의 FD를 포함할 수 있다. 상기 이미지 센서는, 상기 PD를 통해 획득한 광량 데이터를 기반으로 상기 아날로그 데이터를 획득할 수 있다.
일 실시 예에 따른 전자 장치에서, 상기 적어도 하나의 프로세서는, 상기 전자 장치의 촬영 환경이 지정된 촬영 환경에 해당한다고 판단한 것에 응답하여, 상기 이미지 센서가 상기 아날로그 데이터를 상기 제1 감도로 2회 이상 디지털 변환하고 평균값을 내어 획득한 상기 제1 디지털 데이터, 및 상기 아날로그 데이터를 상기 제2 감도로 2회 이상 디지털 변환하고 평균값을 내어 획득한 상기 제2 디지털 데이터를 상기 적어도 하나의 프로세서에 제공하도록 제어할 수 있다.
도 16은 다양한 실시 예들에 따른 네트워크 환경(1600) 내의 전자 장치(1601)의 블록도이다. 도 16을 참조하면, 네트워크 환경(1600)에서 전자 장치(1601)는 제1 네트워크(1698)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(1602)와 통신하거나, 또는 제2 네트워크(1699)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(1604) 또는 서버(1608) 중 적어도 하나와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(1601)는 서버(1608)를 통하여 전자 장치(1604)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(1601)는 프로세서(1620), 메모리(1630), 입력 모듈(1650), 음향 출력 모듈(1655), 디스플레이 모듈(1660), 오디오 모듈(1670), 센서 모듈(1676), 인터페이스(1677), 연결 단자(1678), 햅틱 모듈(1679), 카메라 모듈(1680), 전력 관리 모듈(1688), 배터리(1689), 통신 모듈(1690), 가입자 식별 모듈(1696), 또는 안테나 모듈(1697)을 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(1601)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(1678))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시 예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(1676), 카메라 모듈(1680), 또는 안테나 모듈(1697))은 하나의 구성요소(예: 디스플레이 모듈(1660))로 통합될 수 있다.
프로세서(1620)는, 예를 들면, 소프트웨어(예: 프로그램(1640))를 실행하여 프로세서(1620)에 연결된 전자 장치(1601)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시 예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(1620)는 다른 구성요소(예: 센서 모듈(1676) 또는 통신 모듈(1690))로부터 수신된 명령 또는 데이터를 휘발성 메모리(1632)에 저장하고, 휘발성 메모리(1632)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(1634)에 저장할 수 있다. 일 실시 예에 따르면, 프로세서(1620)는 메인 프로세서(1621)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(1623)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(1601)가 메인 프로세서(1621) 및 보조 프로세서(1623)를 포함하는 경우, 보조 프로세서(1623)는 메인 프로세서(1621)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(1623)는 메인 프로세서(1621)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(1623)는, 예를 들면, 메인 프로세서(1621)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(1621)를 대신하여, 또는 메인 프로세서(1621)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(1621)와 함께, 전자 장치(1601)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(1660), 센서 모듈(1676), 또는 통신 모듈(1690))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시 예에 따르면, 보조 프로세서(1623)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(1680) 또는 통신 모듈(1690))의 일부로서 구현될 수 있다. 일 실시 예에 따르면, 보조 프로세서(1623)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(1601) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(1608))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(1630)는, 전자 장치(1601)의 적어도 하나의 구성요소(예: 프로세서(1620) 또는 센서 모듈(1676))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(1640)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(1630)는, 휘발성 메모리(1632) 또는 비휘발성 메모리(1634)를 포함할 수 있다.
프로그램(1640)은 메모리(1630)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(1642), 미들 웨어(1644) 또는 어플리케이션(1646)을 포함할 수 있다.
입력 모듈(1650)은, 전자 장치(1601)의 구성요소(예: 프로세서(1620))에 사용될 명령 또는 데이터를 전자 장치(1601)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(1650)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(1655)은 음향 신호를 전자 장치(1601)의 외부로 출력할 수 있다. 음향 출력 모듈(1655)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시 예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(1660)은 전자 장치(1601)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(1660)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시 예에 따르면, 디스플레이 모듈(1660)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(1670)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시 예에 따르면, 오디오 모듈(1670)은, 입력 모듈(1650)을 통해 소리를 획득하거나, 음향 출력 모듈(1655), 또는 전자 장치(1601)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(1602))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(1676)은 전자 장치(1601)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시 예에 따르면, 센서 모듈(1676)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(1677)는 전자 장치(1601)가 외부 전자 장치(예: 전자 장치(1602))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시 예에 따르면, 인터페이스(1677)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(1678)는, 그를 통해서 전자 장치(1601)가 외부 전자 장치(예: 전자 장치(1602))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시 예에 따르면, 연결 단자(1678)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(1679)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시 예에 따르면, 햅틱 모듈(1679)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(1680)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시 예에 따르면, 카메라 모듈(1680)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(1688)은 전자 장치(1601)에 공급되는 전력을 관리할 수 있다. 일 실시 예에 따르면, 전력 관리 모듈(1688)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(1689)는 전자 장치(1601)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시 예에 따르면, 배터리(1689)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(1690)은 전자 장치(1601)와 외부 전자 장치(예: 전자 장치(1602), 전자 장치(1604), 또는 서버(1608)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(1690)은 프로세서(1620)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시 예에 따르면, 통신 모듈(1690)은 무선 통신 모듈(1692)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(1694)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(1698)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제2 네트워크(1699)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(1604)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(1692)은 가입자 식별 모듈(1696)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(1698) 또는 제2 네트워크(1699)와 같은 통신 네트워크 내에서 전자 장치(1601)를 확인 또는 인증할 수 있다.
무선 통신 모듈(1692)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(1692)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(1692)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(1692)은 전자 장치(1601), 외부 전자 장치(예: 전자 장치(1604)) 또는 네트워크 시스템(예: 제2 네트워크(1699))에 규정되는 다양한 요구사항을 지원할 수 있다. 일 실시 예에 따르면, 무선 통신 모듈(1692)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(1697)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시 예에 따르면, 안테나 모듈(1697)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일 실시 예에 따르면, 안테나 모듈(1697)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제1 네트워크(1698) 또는 제2 네트워크(1699)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(1690)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(1690)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시 예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(1697)의 일부로 형성될 수 있다.
다양한 실시 예에 따르면, 안테나 모듈(1697)은 mmWave 안테나 모듈을 형성할 수 있다. 일 실시 예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시 예에 따르면, 명령 또는 데이터는 제2 네트워크(1699)에 연결된 서버(1608)를 통해서 전자 장치(1601)와 외부의 전자 장치(1604)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(1602, 또는 1604) 각각은 전자 장치(1601)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시 예에 따르면, 전자 장치(1601)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(1602, 1604, 또는 1608) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(1601)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(1601)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(1601)로 전달할 수 있다. 전자 장치(1601)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(1601)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시 예에 있어서, 외부의 전자 장치(1604)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(1608)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일 실시 예에 따르면, 외부의 전자 장치(1604) 또는 서버(1608)는 제2 네트워크(1699) 내에 포함될 수 있다. 전자 장치(1601)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
본 문서에 개시된 다양한 실시 예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시 예들로 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시 예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시 예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시 예들은 기기(machine)(예: 전자 장치(1601)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(1636) 또는 외장 메모리(1638))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(1640))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(1601))의 프로세서(예: 프로세서(1620))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시 예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 17은 다양한 실시 예들에 따른 카메라 모듈(1680)을 예시하는 블록도(1700)이다. 도 17을 참조하면, 카메라 모듈(1680)은 렌즈 어셈블리(1710), 플래쉬(1720), 이미지 센서(1730), 이미지 스태빌라이저(1740), 메모리(1750)(예: 버퍼 메모리), 또는 이미지 시그널 프로세서(1760)를 포함할 수 있다. 렌즈 어셈블리(1710)는 이미지 촬영의 대상인 피사체로부터 방출되는 빛을 수집할 수 있다. 렌즈 어셈블리(1710)는 하나 또는 그 이상의 렌즈들을 포함할 수 있다. 일 실시 예에 따르면, 카메라 모듈(1680)은 복수의 렌즈 어셈블리(1710)들을 포함할 수 있다. 이런 경우, 카메라 모듈(1680)은, 예를 들면, 듀얼 카메라, 360도 카메라, 또는 구형 카메라(spherical camera)를 형성할 수 있다. 복수의 렌즈 어셈블리(1710)들 중 일부는 동일한 렌즈 속성(예: 화각, 초점 거리, 자동 초점, f 넘버(f number), 또는 광학 줌)을 갖거나, 또는 적어도 하나의 렌즈 어셈블리는 다른 렌즈 어셈블리의 렌즈 속성들과 다른 하나 이상의 렌즈 속성들을 가질 수 있다. 렌즈 어셈블리(1710)는, 예를 들면, 광각 렌즈 또는 망원 렌즈를 포함할 수 있다.
플래쉬(1720)는 피사체로부터 방출 또는 반사되는 빛을 강화하기 위하여 사용되는 빛을 방출할 수 있다. 일 실시 예에 따르면, 플래쉬(1720)는 하나 이상의 발광 다이오드들(예: RGB(red-green-blue) LED, white LED, infrared LED, 또는 ultraviolet LED), 또는 xenon lamp를 포함할 수 있다. 이미지 센서(1730)는 피사체로부터 방출 또는 반사되어 렌즈 어셈블리(1710)를 통해 전달된 빛을 전기적인 신호로 변환함으로써, 상기 피사체에 대응하는 이미지를 획득할 수 있다. 일 실시 예에 따르면, 이미지 센서(1730)는, 예를 들면, RGB 센서, BW(black and white) 센서, IR 센서, 또는 UV 센서와 같이 속성이 다른 이미지 센서들 중 선택된 하나의 이미지 센서, 동일한 속성을 갖는 복수의 이미지 센서들, 또는 다른 속성을 갖는 복수의 이미지 센서들을 포함할 수 있다. 이미지 센서(1730)에 포함된 각각의 이미지 센서는, 예를 들면, CCD(charged coupled device) 센서 또는 CMOS(complementary metal oxide semiconductor) 센서를 이용하여 구현될 수 있다.
이미지 스태빌라이저(1740)는 카메라 모듈(1680) 또는 이를 포함하는 전자 장치(1601)의 움직임에 반응하여, 렌즈 어셈블리(1710)에 포함된 적어도 하나의 렌즈 또는 이미지 센서(1730)를 특정한 방향으로 움직이거나 이미지 센서(1730)의 동작 특성을 제어(예: 리드 아웃(read-out) 타이밍을 조정 등)할 수 있다. 이는 촬영되는 이미지에 대한 상기 움직임에 의한 부정적인 영향의 적어도 일부를 보상하게 해 준다. 일 실시 예에 따르면, 이미지 스태빌라이저(1740)는, 일 실시 예에 따르면, 이미지 스태빌라이저(1740)는 카메라 모듈(1680)의 내부 또는 외부에 배치된 자이로 센서(미도시) 또는 가속도 센서(미도시)를 이용하여 카메라 모듈(1680) 또는 전자 장치(1601)의 그런 움직임을 감지할 수 있다. 일 실시 예에 따르면, 이미지 스태빌라이저(1740)는, 예를 들면, 광학식 이미지 스태빌라이저로 구현될 수 있다. 메모리(1750)는 이미지 센서(1730)를 통하여 획득된 이미지의 적어도 일부를 다음 이미지 처리 작업을 위하여 적어도 일시 저장할 수 있다. 예를 들어, 셔터에 따른 이미지 획득이 지연되거나, 또는 복수의 이미지들이 고속으로 획득되는 경우, 획득된 원본 이미지(예: Bayer-patterned 이미지 또는 높은 해상도의 이미지)는 메모리(1750)에 저장이 되고, 그에 대응하는 사본 이미지(예: 낮은 해상도의 이미지)는 디스플레이 모듈(1660)을 통하여 프리뷰될 수 있다. 이후, 지정된 조건이 만족되면(예: 사용자 입력 또는 시스템 명령) 메모리(1750)에 저장되었던 원본 이미지의 적어도 일부가, 예를 들면, 이미지 시그널 프로세서(1760)에 의해 획득되어 처리될 수 있다. 일 실시 예에 따르면, 메모리(1750)는 메모리(1630)의 적어도 일부로, 또는 이와는 독립적으로 운영되는 별도의 메모리로 구성될 수 있다.
이미지 시그널 프로세서(1760)는 이미지 센서(1730)를 통하여 획득된 이미지 또는 메모리(1750)에 저장된 이미지에 대하여 하나 이상의 이미지 처리들을 수행할 수 있다. 상기 하나 이상의 이미지 처리들은, 예를 들면, 깊이 지도(depth map) 생성, 3차원 모델링, 파노라마 생성, 특징점 추출, 이미지 합성, 또는 이미지 보상(예: 노이즈 감소, 해상도 조정, 밝기 조정, 블러링(blurring), 샤프닝(sharpening), 또는 소프트닝(softening)을 포함할 수 있다. 추가적으로 또는 대체적으로, 이미지 시그널 프로세서(1760)는 카메라 모듈(1680)에 포함된 구성 요소들 중 적어도 하나(예: 이미지 센서(1730))에 대한 제어(예: 노출 시간 제어, 또는 리드 아웃 타이밍 제어 등)를 수행할 수 있다. 이미지 시그널 프로세서(1760)에 의해 처리된 이미지는 추가 처리를 위하여 메모리(1750)에 다시 저장되거나 카메라 모듈(1680)의 외부 구성 요소(예: 메모리(1630), 디스플레이 모듈(1660), 전자 장치(1602), 전자 장치(1604), 또는 서버(1608))로 제공될 수 있다. 일 실시 예에 따르면, 이미지 시그널 프로세서(1760)는 프로세서(1620)의 적어도 일부로 구성되거나, 프로세서(1620)와 독립적으로 운영되는 별도의 프로세서로 구성될 수 있다. 이미지 시그널 프로세서(1760)가 프로세서(1620)와 별도의 프로세서로 구성된 경우, 이미지 시그널 프로세서(1760)에 의해 처리된 적어도 하나의 이미지는 프로세서(1620)에 의하여 그대로 또는 추가의 이미지 처리를 거친 후 디스플레이 모듈(1660)을 통해 표시될 수 있다.
일 실시 예에 따르면, 전자 장치(1601)는 각각 다른 속성 또는 기능을 가진 복수의 카메라 모듈(1680)들을 포함할 수 있다. 이런 경우, 예를 들면, 상기 복수의 카메라 모듈(1680)들 중 적어도 하나는 광각 카메라이고, 적어도 다른 하나는 망원 카메라일 수 있다. 유사하게, 상기 복수의 카메라 모듈(1680)들 중 적어도 하나는 전면 카메라이고, 적어도 다른 하나는 후면 카메라일 수 있다.

Claims (11)

  1. 전자 장치에 있어서,
    복수 개의 단위 픽셀들을 포함하는 이미지 센서, 각 단위 픽셀은 2 이상의 개별 픽셀들을 포함함; 및
    상기 이미지 센서와 전기적으로 연결된 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는:
    상기 이미지 센서로부터 제1 이미지 프레임을 획득하고,
    상기 제1 이미지 프레임을 기반으로 상기 전자 장치의 촬영 환경이 지정된 촬영 환경에 해당하는지 여부를 판단하고,
    상기 촬영 환경이 제1 촬영 환경에 해당하는 것에 응답하여:
    상기 이미지 센서가 상기 개별 픽셀을 통해 아날로그 데이터를 획득하고, 상기 이미지 센서가 상기 아날로그 데이터를 제1 감도로 디지털 변환한 제1 디지털 데이터, 및 상기 아날로그 데이터를 상기 제1 감도보다 높은 제2 감도로 디지털 변환한 제2 디지털 데이터를 상기 적어도 하나의 프로세서에 제공하도록 제어하고,
    상기 제1 디지털 데이터 및 상기 제2 디지털 데이터를 기반으로 상기 제1 이미지 프레임에 후속하는 제2 이미지 프레임을 획득하고,
    상기 촬영 환경이 제2 촬영 환경에 해당하는 것에 응답하여:
    상기 이미지 센서가 상기 단위 픽셀에 입력된 광량 데이터를 기반으로 제1 변환이득(conversion gain)으로 획득한 제1 이미지 데이터, 및 상기 광량 데이터를 기반으로 상기 제1 변환이득보다 낮은 제2 변환이득으로 획득한 제2 이미지 데이터를 상기 적어도 하나의 프로세서에 제공하도록 제어하고,
    상기 제1 이미지 데이터, 및 상기 제2 이미지 데이터를 기반으로 상기 제2 이미지 프레임을 획득하는, 전자 장치.
  2. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 촬영 환경이 제3 촬영 환경에 해당하는 것에 응답하여:
    상기 이미지 센서가 상기 개별 픽셀 또는 상기 단위 픽셀에 입력된 광량 데이터를 상기 제1 변환이득으로 2회 이상 리드아웃 하고 평균값을 내어 획득한 제3 이미지 데이터를 상기 적어도 하나의 프로세서에 제공하도록 제어하고,
    상기 제3 이미지 데이터를 기반으로 상기 제2 이미지 프레임을 획득하는, 전자 장치.
  3. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 촬영 환경이 제4 촬영 환경에 해당하는 것에 응답하여:
    상기 이미지 센서가 상기 개별 픽셀 또는 상기 단위 픽셀에 입력된 광량 데이터를 기반으로 CDS(correlated double sampling)를 수행하여 획득한 제4 이미지 데이터를 상기 적어도 하나의 프로세서에 제공하도록 제어하고,
    상기 제4 이미지 데이터를 기반으로 상기 제2 이미지 프레임을 획득하는, 전자 장치.
  4. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 제1 이미지 프레임에 대응하는 장면이 역광인지 여부, 상기 전자 장치 주변의 조도, 또는 상기 제1 이미지 프레임의 피사체에 인물이 포함되었는지 여부 중 적어도 하나를 기반으로 상기 촬영 환경이 상기 지정된 촬영 환경에 해당하는지 여부를 판단하는, 전자 장치.
  5. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는:
    줌 배율을 설정하는 사용자 입력을 수신하고,
    상기 줌 배율이 지정된 배율 이상인 경우, 상기 촬영 환경이 상기 제1 촬영 환경이라고 판단하고,
    상기 줌 배율이 상기 지정된 배율 미만인 경우, 상기 촬영 환경이 상기 제2 촬영 환경이라고 판단하는, 전자 장치.
  6. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는:
    상기 촬영 환경이 상기 제1 촬영 환경에 해당하는 것에 응답하여, 제1 노출 시간동안 상기 개별 픽셀을 통해 제1 광량 데이터를 획득하고,
    상기 촬영 환경이 상기 제2 촬영 환경에 해당하는 것에 응답하여, 상기 제1 노출 시간보다 긴 제2 노출 시간동안 상기 단위 픽셀을 통해 제2 광량 데이터를 획득하는, 전자 장치.
  7. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는:
    상기 촬영 환경이 상기 제1 촬영 환경에 해당하는 경우:
    제1 개수의 비트를 가지는 상기 제1 디지털 데이터에 제2 개수의 비트를 가지는 제1 더미 데이터를 추가하여 제3 개수의 비트를 가지는 제3 디지털 데이터를 획득하고,
    상기 제1 개수의 비트를 가지는 상기 제2 디지털 데이터에 상기 제2 개수의 비트를 가지는 제2 더미 데이터를 추가하여 상기 제3 개수의 비트를 가지는 제4 디지털 데이터를 획득하고,
    상기 제3 디지털 데이터, 및 상기 제4 디지털 데이터를 기반으로 상기 제2 이미지 프레임을 획득하는, 전자 장치.
  8. 청구항 7에 있어서,
    상기 제1 개수는 10, 상기 제2 개수는 2, 상기 제3 개수는 12인, 전자 장치.
  9. 청구항 7에 있어서,
    상기 적어도 하나의 프로세서는:
    상기 제1 디지털 데이터에 LSB(least significant bit) 제로 패딩으로 상기 제1 더미 데이터를 추가하고,
    상기 제2 디지털 데이터에 MSB(most significant bit) 제로 패딩으로 상기 제2 더미 데이터를 추가하는, 전자 장치.
  10. 청구항 1에 있어서,
    상기 이미지 센서는, 상기 아날로그 데이터를 상기 제1 디지털 데이터 및 상기 제2 디지털 데이터로 디지털 변환하기 위한 적어도 하나의 ADC(analog digital converter)를 포함하는, 전자 장치.
  11. 청구항 1에 있어서,
    상기 단위 픽셀은 4개의 상기 개별 픽셀을 포함하는, 전자 장치.
PCT/KR2022/004218 2021-03-26 2022-03-25 이미지 센서를 포함하는 전자 장치 및 그 동작 방법 WO2022203447A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP22776147.5A EP4270928A4 (en) 2021-03-26 2022-03-25 ELECTRONIC DEVICE COMPRISING AN IMAGE SENSOR AND CORRESPONDING OPERATING METHOD
US18/078,486 US20230113058A1 (en) 2021-03-26 2022-12-09 Electronic device including image sensor and operating method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0039741 2021-03-26
KR1020210039741A KR20220134276A (ko) 2021-03-26 2021-03-26 이미지 센서를 포함하는 전자 장치 및 그 동작 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/078,486 Continuation US20230113058A1 (en) 2021-03-26 2022-12-09 Electronic device including image sensor and operating method thereof

Publications (1)

Publication Number Publication Date
WO2022203447A1 true WO2022203447A1 (ko) 2022-09-29

Family

ID=83397607

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/004218 WO2022203447A1 (ko) 2021-03-26 2022-03-25 이미지 센서를 포함하는 전자 장치 및 그 동작 방법

Country Status (4)

Country Link
US (1) US20230113058A1 (ko)
EP (1) EP4270928A4 (ko)
KR (1) KR20220134276A (ko)
WO (1) WO2022203447A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012120158A (ja) * 2010-11-12 2012-06-21 Sony Corp 画像出力装置、画像出力方法、画像処理装置、画像処理方法、プログラム、データ構造、および撮像装置
KR20180079519A (ko) * 2016-12-30 2018-07-11 삼성전자주식회사 이미지 센서
JP2019068318A (ja) * 2017-10-03 2019-04-25 キヤノン株式会社 固体撮像装置及び撮像システム
KR20200133167A (ko) * 2019-05-17 2020-11-26 삼성전자주식회사 Hdr 이미지를 생성하기 위한 이미지 시스템
JPWO2019220890A1 (ja) * 2018-05-15 2021-06-17 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6567022B1 (en) * 2002-08-12 2003-05-20 Lsi Corporation Matching calibration for dual analog-to-digital converters
JP5034610B2 (ja) * 2007-03-30 2012-09-26 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP5115335B2 (ja) * 2008-05-27 2013-01-09 ソニー株式会社 固体撮像素子及びカメラシステム
US8134624B2 (en) * 2008-07-03 2012-03-13 Aptina Imaging Corporation Method and apparatus providing multiple exposure high dynamic range sensor
US8605173B2 (en) * 2010-08-16 2013-12-10 SK Hynix Inc. Differential column ADC architectures for CMOS image sensor applications
JP5610961B2 (ja) * 2010-09-30 2014-10-22 キヤノン株式会社 固体撮像装置及び固体撮像装置の駆動方法
US9106851B2 (en) * 2013-03-12 2015-08-11 Tower Semiconductor Ltd. Single-exposure high dynamic range CMOS image sensor pixel with internal charge amplifier
US9363450B2 (en) * 2013-08-27 2016-06-07 Semiconductor Components Industries, Llc Imaging systems and methods for image signal gain adjustment
US9736406B2 (en) * 2015-01-22 2017-08-15 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof
US10431608B2 (en) * 2017-04-13 2019-10-01 Omnivision Technologies, Inc. Dual conversion gain high dynamic range readout for comparator of double ramp analog to digital converter
JP2019096923A (ja) * 2017-11-17 2019-06-20 オリンパス株式会社 撮像素子、撮像装置
US10593055B2 (en) * 2018-03-23 2020-03-17 Capsovision Inc Method and apparatus for capturing images and associated 3D model based on a single image sensor and structured-light patterns in the visible spectrum
JP7299680B2 (ja) * 2018-08-23 2023-06-28 キヤノン株式会社 撮像装置及び撮像システム
FR3091116A1 (fr) * 2018-12-19 2020-06-26 Stmicroelectronics (Grenoble 2) Sas Procédé et architecture de lecture de capteur d’images
KR20220064170A (ko) * 2020-11-11 2022-05-18 삼성전자주식회사 이미지 센서를 포함하는 전자 장치 및 그 동작 방법
US11363227B1 (en) * 2020-12-28 2022-06-14 Semiconductor Components Industries, Llc Image sensors with hybrid analog-to-digital converter architecture

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012120158A (ja) * 2010-11-12 2012-06-21 Sony Corp 画像出力装置、画像出力方法、画像処理装置、画像処理方法、プログラム、データ構造、および撮像装置
KR20180079519A (ko) * 2016-12-30 2018-07-11 삼성전자주식회사 이미지 센서
JP2019068318A (ja) * 2017-10-03 2019-04-25 キヤノン株式会社 固体撮像装置及び撮像システム
JPWO2019220890A1 (ja) * 2018-05-15 2021-06-17 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
KR20200133167A (ko) * 2019-05-17 2020-11-26 삼성전자주식회사 Hdr 이미지를 생성하기 위한 이미지 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4270928A4 *

Also Published As

Publication number Publication date
EP4270928A1 (en) 2023-11-01
EP4270928A4 (en) 2024-02-21
US20230113058A1 (en) 2023-04-13
KR20220134276A (ko) 2022-10-05

Similar Documents

Publication Publication Date Title
WO2022102972A1 (ko) 이미지 센서를 포함하는 전자 장치 및 그 동작 방법
WO2022039424A1 (ko) 흔들림을 보정하는 방법 및 그 전자 장치
WO2022139262A1 (ko) 관심 객체를 이용하여 비디오를 편집하는 전자 장치 및 그 동작 방법
WO2022149654A1 (ko) 흔들림 보정을 수행하는 전자 장치 및 그 동작 방법
WO2022108235A1 (ko) 슬로우 셔터를 제공하기 위한 방법, 장치 및 저장 매체
WO2022092706A1 (ko) 복수의 카메라를 이용한 사진 촬영 방법 및 그 장치
WO2022260252A1 (ko) 카메라 모듈을 포함하는 전자 장치 및 그 전자 장치의 동작 방법
WO2022005002A1 (ko) 이미지 센서를 포함하는 전자 장치
WO2023033333A1 (ko) 복수의 카메라를 포함하는 전자 장치 및 그 동작 방법
WO2022149812A1 (ko) 카메라 모듈을 포함하는 전자 장치 및 그 전자 장치의 동작 방법
WO2021210875A1 (ko) 다중 포토다이오드 센서에 의해 획득된 서브 이미지들의 차이에 기반하여 이미지의 결함을 검출하는 전자 장치 및 이의 동작 방법
WO2022203447A1 (ko) 이미지 센서를 포함하는 전자 장치 및 그 동작 방법
WO2023058878A1 (ko) 이미지 센서를 포함하는 전자 장치 및 그 동작 방법
WO2022173236A1 (ko) 이미지 센서를 포함하는 전자 장치 및 그 동작 방법
WO2022154168A1 (ko) 자동 초점 조절이 가능한 전자 장치 및 그 동작 방법
WO2024085501A1 (ko) 이미지 센서의 이미지를 이용한 학습 기반 화질 개선 방법 및 이를 지원하는 전자 장치
WO2022231270A1 (ko) 전자 장치 및 그의 이미지 처리 방법
WO2022092607A1 (ko) 이미지 센서를 포함하는 전자 장치 및 그 동작 방법
WO2024117587A1 (ko) 필터 기능을 제공하는 전자 장치 및 그 동작 방법
WO2023033396A1 (ko) 연속된 촬영 입력을 처리하는 전자 장치 및 그의 동작 방법
WO2023146236A1 (ko) 카메라 모듈을 포함하는 전자 장치
WO2021230567A1 (ko) 복수의 카메라를 이용한 이미지 촬영 방법 및 그 전자 장치
WO2024014761A1 (ko) 카메라 흔들림을 보정하기 위한 방법 및 이를 지원하는 전자 장치
WO2023146149A1 (ko) 이미지를 제공하는 방법 및 이를 지원하는 전자 장치
WO2024029706A1 (ko) 자동 노출 제어를 수행하는 전자 장치, 그 제어 방법, 및 컴퓨터 프로그램이 기록된 기록매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22776147

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022776147

Country of ref document: EP

Effective date: 20230727

NENP Non-entry into the national phase

Ref country code: DE