WO2023229435A1 - 카메라 모듈을 포함하는 전자 장치 및 그 제어 방법 - Google Patents

카메라 모듈을 포함하는 전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2023229435A1
WO2023229435A1 PCT/KR2023/007306 KR2023007306W WO2023229435A1 WO 2023229435 A1 WO2023229435 A1 WO 2023229435A1 KR 2023007306 W KR2023007306 W KR 2023007306W WO 2023229435 A1 WO2023229435 A1 WO 2023229435A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
light
processor
image
flare
Prior art date
Application number
PCT/KR2023/007306
Other languages
English (en)
French (fr)
Inventor
박재형
원종훈
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220136864A external-priority patent/KR20230165674A/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US18/324,325 priority Critical patent/US20230388648A1/en
Publication of WO2023229435A1 publication Critical patent/WO2023229435A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets

Definitions

  • Various embodiments of the present disclosure relate to an electronic device including a camera module and a control method thereof.
  • Single-focus lens modules generally have different focal lengths and can be combined with digital zoom to create a zoom effect.
  • Camera modules are most commonly applied in a form with a shorter focal length and a form with a longer focal length based on the 24 ⁇ 35mm focal length (wide) based on the 35mm camera optics. 3 times) Because the optical system requires a longer mounting space in terms of longitudinal section, an optical system with a smaller size than the wide one is generally adopted and mounted. However, as the market demands higher zoom performance, the reality is that the difficulty of mounting cameras in limited spaces is increasing. To solve this problem, we are developing a camera module with a refractive (or curved) optical system using the reflection of a prism, which is more practical to implement.
  • a camera module with a refractive optical system uses a prism (or mirror) to apply the incident light. It can be made by reflecting and/or refracting twice or more and changing the incident path while maintaining the effective focal length of the light.
  • a camera module including such a refractive optical system may include a flare phenomenon in which light reflected through an unwanted light path within a prism is imaged on an image sensor.
  • an electronic device can be provided.
  • the electronics include a lens assembly; An image sensor including a plurality of unit pixels that forms an image of light passing through the lens assembly and converts it into an electrical signal; and a processor electrically connected to the image sensor to output an image using the electrical signal,
  • the processor acquires a plurality of electrical signals from the at least two subpixels, identifies a ratio of the plurality of electrical signals, and determines whether flare occurs due to refraction or reflection of the light based on the identified ratio. , and/or the flare may be corrected.
  • a method for controlling an electronic device includes a camera module including a lens assembly and an image sensor including a plurality of unit pixels; and a processor.
  • the control method of the electronic device may be implemented by the processor, wherein the processor determines a first light path formed by being reflected or refracted by the lens assembly at least twice and a second light path different from the first light path. Based on the ratio of the light, a plurality of electrical signals are acquired from at least two sub-pixels each included in the plurality of unit pixels, the ratio of the plurality of electrical signals is identified, and the light is generated based on the identified ratio. It is possible to determine whether flare occurs due to refraction or reflection, and/or correct the flare.
  • FIG. 1 is a block diagram of an electronic device in a network environment, according to various embodiments.
  • Figure 2 is a front perspective view showing components of an electronic device according to various embodiments.
  • FIG. 3 is a rear perspective view of an electronic device, according to various embodiments.
  • Figure 4 is an exploded perspective view of an electronic device, according to one embodiment.
  • Figure 5 is a diagram of an electronic device including a camera module, according to one embodiment.
  • Figure 6 is a diagram showing a camera module including a curved optical system, according to one embodiment.
  • Figure 7 is a diagram showing a camera module including a curved optical system, according to one embodiment.
  • Figure 8 is a diagram conceptually showing a camera module including a curved optical system, according to an embodiment.
  • Figure 9 is a diagram showing a 2PD subpixel according to one embodiment.
  • FIG. 10 is a diagram of image sensors including a plurality of subpixels according to various embodiments of the present disclosure.
  • Figure 11 is a block diagram showing components of an electronic device, according to one embodiment.
  • Figure 12 is a diagram showing a calibration operation according to one embodiment.
  • FIG. 13 is a diagram illustrating a flare correction method according to an embodiment.
  • Figure 14a is an actual diagram showing a flare phenomenon, according to one embodiment.
  • FIG. 14B is a diagram showing the image of FIG. 14A displayed on a magenta background.
  • Figure 15 shows an actual drawing with flare correction applied, according to one embodiment.
  • the refractive optical system consists of three prism pieces to form a parallelogram prism structure with an acute angle of approximately 30 degrees, and has a lens lead-type structure on one side with an acute angle (a lens in the optical path is in front of the refractive optical system).
  • the optical lens is arranged in an arranged structure.
  • When light enters the optical lens the optical path is reflected four times within the parallelogram prism structure.
  • the optical path terminates at an image sensor for imaging located on the back side on the other acute angle side.
  • the refractive optical system is composed of a lens lead type, arranges an approximately 45-degree triangular prism under the aperture lens, arranges a movable optical system capable of operating such as AF (auto focus) on the refracted optical path, and disposes an aperture. It may have a structure in which another approximately 45-degree triangular prism is additionally placed on the other side of the prism below and then the image sensor is mounted next to the opening. In this embodiment, by reflecting the incident light twice, a lens with a long focal length can be effectively mounted in a narrow space and space for the AF structure to move can also be secured.
  • a flare phenomenon may occur as the optical paths are formed differently.
  • the flare phenomenon due to the different optical paths is formed, for example, in an optical system designed to reflect light four times and then end up at the image sensor, when the second reflected light is directed to the image sensor surface, this light This may mean a phenomenon in which the image acquired by the image is output in a blurry or double image format.
  • the flare phenomenon caused by different optical paths is a flare phenomenon that occurs according to the predicted inner optical path, unlike the flare phenomenon caused by the high brightness of the subject itself in a general direct-type optical system without refraction. , may mean an artifact resulting from adopting a refractive optical system.
  • an object is to provide an electronic device and a control method for preventing or reducing a flare phenomenon caused by different optical paths being formed.
  • component surface may be understood to include one or more of the surfaces of the component.
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100, according to an embodiment of the present disclosure.
  • the electronic device 101 communicates with the electronic device 102 through a first network 198 (e.g., a short-range wireless communication network) or a second network 199. It is possible to communicate with at least one of the electronic device 104 or the server 108 through (e.g., a long-distance wireless communication network).
  • the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • the electronic device 101 includes a processor 120, a memory 130, an input module 150, an audio output module 155, a display module 160, an audio module 170, and a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or may include an antenna module 197.
  • at least one of these components eg, the connection terminal 178) may be omitted, or one or more other components may be added to the electronic device 101.
  • some of these components are integrated into one component (e.g., display module 160). It can be.
  • the processor 120 for example, executes software (e.g., program 140) to operate at least one other component (e.g., hardware or software component) of the electronic device 101 connected to the processor 120. It can be controlled and various data processing or calculations can be performed. According to one embodiment, as at least part of data processing or computation, the processor 120 stores commands or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132. The commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • software e.g., program 140
  • the processor 120 stores commands or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132.
  • the commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • the processor 120 is a main processor 121 (e.g., a central processing unit or an application processor), or an auxiliary processor 123 (e.g., a graphics processing unit, a neural network processing unit) that can operate independently or together with the main processor 121. (NPU; neural processing unit), image signal processor, sensor hub processor, or communication processor).
  • main processor 121 e.g., a central processing unit or an application processor
  • auxiliary processor 123 e.g., a graphics processing unit, a neural network processing unit
  • the secondary processor 123 may be set to use lower power than the main processor 121 or be specialized for a designated function. You can.
  • the auxiliary processor 123 may be implemented separately from the main processor 121 or as part of it.
  • the auxiliary processor 123 may, for example, act on behalf of the main processor 121 while the main processor 121 is in an inactive (e.g., sleep) state, or while the main processor 121 is in an active (e.g., application execution) state. ), together with the main processor 121, at least one of the components of the electronic device 101 (e.g., the display module 160, the sensor module 176, or the communication module 190) At least some of the functions or states related to can be controlled.
  • coprocessor 123 e.g., image signal processor or communication processor
  • may be implemented as part of another functionally related component e.g., camera module 180 or communication module 190. there is.
  • the auxiliary processor 123 may include a hardware structure specialized for processing artificial intelligence models.
  • Artificial intelligence models can be created through machine learning. For example, such learning may be performed in the electronic device 101 itself on which the artificial intelligence model is performed, or may be performed through a separate server (e.g., server 108).
  • Learning algorithms may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but It is not limited.
  • An artificial intelligence model may include multiple artificial neural network layers.
  • Artificial neural networks include deep neural network (DNN), convolutional neural network (CNN), recurrent neural network (RNN), restricted boltzmann machine (RBM), belief deep network (DBN), bidirectional recurrent deep neural network (BRDNN), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the examples described above.
  • artificial intelligence models may additionally or alternatively include software structures.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101. Data may include, for example, input data or output data for software (e.g., program 140) and instructions related thereto.
  • Memory 130 may include volatile memory 132 or non-volatile memory 134.
  • the program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142, middleware 144, or application 146.
  • the input module 150 may receive commands or data to be used in a component of the electronic device 101 (e.g., the processor 120) from outside the electronic device 101 (e.g., a user).
  • the input module 150 may include, for example, a microphone, mouse, keyboard, keys (eg, buttons), or digital pen (eg, stylus pen).
  • the sound output module 155 may output sound signals to the outside of the electronic device 101.
  • the sound output module 155 may include, for example, a speaker or a receiver. Speakers can be used for general purposes such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 160 can visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display module 160 may include, for example, a display, a hologram device, or a projector, and a control circuit for controlling the device.
  • the display module 160 may include a touch sensor configured to detect a touch, or a pressure sensor configured to measure the intensity of force generated by the touch.
  • the audio module 170 can convert sound into an electrical signal or, conversely, convert an electrical signal into sound. According to one embodiment, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device (e.g. : Sound can be output through the electronic device 102 (e.g., speaker or headphone).
  • an external electronic device e.g. : Sound can be output through the electronic device 102 (e.g., speaker or headphone).
  • the sensor module 176 detects the operating state (e.g., power or temperature) of the electronic device 101 or the external environmental state (e.g., user state) and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 includes, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, humidity sensor, or light sensor.
  • the interface 177 may support one or more designated protocols that can be used to connect the electronic device 101 to an external electronic device (eg, the electronic device 102) directly or wirelessly.
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card
  • connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 can convert electrical signals into mechanical stimulation (e.g., vibration or movement) or electrical stimulation that the user can perceive through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 can capture still images and moving images.
  • the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 can manage power supplied to the electronic device 101.
  • the power management module 188 may be implemented as at least a part of, for example, a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101.
  • the battery 189 may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
  • the communication module 190 is a direct (e.g., wired) communication channel or wireless communication channel between the electronic device 101 and an external electronic device (e.g., the electronic device 102, the electronic device 104, or the server 108). can support the establishment of and communication through established communication channels.
  • Communication module 190 operates independently of processor 120 (e.g., an application processor) and may include one or more communication processors that support direct (e.g., wired) communication or wireless communication.
  • the communication module 190 is a wireless communication module 192 (e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (e.g., : LAN (local area network) communication module, or power line communication module) may be included.
  • a wireless communication module 192 e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 e.g., : LAN (local area network) communication module, or power line communication module
  • the corresponding communication module is a first network 198 (e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (e.g., legacy It can communicate with external electronic devices through telecommunication networks such as cellular networks, 5G networks, next-generation communication networks, the Internet, or computer networks (e.g., LAN or WAN).
  • telecommunication networks such as cellular networks, 5G networks, next-generation communication networks, the Internet, or computer networks (e.g., LAN or WAN).
  • telecommunication networks such as cellular networks, 5G networks, next-generation communication networks, the Internet, or computer networks (e.g., LAN or WAN).
  • telecommunication networks such as cellular networks, 5G networks, next-generation communication networks, the Internet, or computer networks (e.g., LAN or WAN).
  • LAN or WAN wide area network
  • the wireless communication module 192 uses subscriber information (e.g., International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 to communicate within a communication network such as the first network 198 or the second network 199.
  • subscriber information e.g., International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the wireless communication module 192 may support 5G networks after 4G networks and next-generation communication technologies, for example, NR access technology (new radio access technology).
  • NR access technology provides high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low latency). -latency communications)) can be supported.
  • the wireless communication module 192 may support high frequency bands (eg, mmWave bands), for example, to achieve high data rates.
  • the wireless communication module 192 uses various technologies to secure performance in high frequency bands, for example, beamforming, massive array multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. It can support technologies such as input/output (FD-MIMO: full dimensional MIMO), array antenna, analog beam-forming, or large scale antenna.
  • the wireless communication module 192 may support various requirements specified in the electronic device 101, an external electronic device (e.g., electronic device 104), or a network system (e.g., second network 199).
  • the wireless communication module 192 supports Peak data rate (e.g., 20 Gbps or more) for realizing eMBB, loss coverage (e.g., 164 dB or less) for realizing mmTC, or U-plane latency (e.g., 164 dB or less) for realizing URLLC.
  • Peak data rate e.g., 20 Gbps or more
  • loss coverage e.g., 164 dB or less
  • U-plane latency e.g., 164 dB or less
  • the antenna module 197 may transmit or receive signals or power to or from the outside (eg, an external electronic device).
  • the antenna module may include an antenna including a radiator made of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for the communication method used in the communication network, such as the first network 198 or the second network 199, is connected to the plurality of antennas by, for example, the communication module 190. can be selected. Signals or power may be transmitted or received between the communication module 190 and an external electronic device through the at least one selected antenna.
  • other components eg, radio frequency integrated circuit (RFIC) may be additionally formed as part of the antenna module 197.
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • a mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high frequency band (e.g., mmWave band); and a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second surface (e.g., top or side) of the printed circuit board and capable of transmitting or receiving signals in the designated high frequency band.
  • a mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high frequency band (e.g., mmWave band); and a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second surface (e.g., top or side) of the printed circuit board
  • peripheral devices e.g., bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199.
  • Each of the external electronic devices 102 or 104 may be of the same or different type as the electronic device 101.
  • all or part of the operations performed in the electronic device 101 may be executed in one or more of the external electronic devices 102, 104, or 108.
  • the electronic device 101 may perform the function or service instead of executing the function or service on its own.
  • one or more external electronic devices may be requested to perform at least part of the function or service.
  • One or more external electronic devices that have received the request may execute at least part of the requested function or service, or an additional function or service related to the request, and transmit the result of the execution to the electronic device 101.
  • the electronic device 101 may process the result as is or additionally and provide it as at least part of a response to the request.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology can be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an Internet of Things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or server 108 may be included in the second network 199.
  • the electronic device 101 may be applied to intelligent services (e.g., smart home, smart city, smart car, or healthcare) based on 5G communication technology and IoT-related technology.
  • Electronic devices may be of various types.
  • Electronic devices may include, for example, portable communication devices (e.g., smartphones), computer devices, portable multimedia devices, portable medical devices, cameras, wearable devices, or home appliances.
  • portable communication devices e.g., smartphones
  • computer devices e.g., portable multimedia devices
  • portable medical devices e.g., cameras
  • wearable devices e.g., portable medical devices, cameras, wearable devices, or home appliances.
  • Electronic devices according to embodiments of this document are not limited to the above-described devices.
  • first, second, or first or second may be used simply to distinguish one element from another, and may be used to distinguish such elements in other respects, such as importance or order) is not limited.
  • One (e.g. first) component is said to be “coupled” or “connected” to another (e.g. second) component, with or without the terms “functionally” or “communicatively”.
  • any of the components may be connected to the other components directly (eg, wired), wirelessly, or through a third component.
  • module used in embodiments of the present disclosure may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as logic, logic block, component, or circuit, for example. can be used
  • a module may be an integrated part or a minimum unit of the parts or a part thereof that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Embodiments of the present disclosure are software (e.g., a program) including one or more instructions stored in a storage medium (e.g., internal memory or external memory) that can be read by a machine (e.g., an electronic device). It can be implemented.
  • a processor e.g., processor
  • a device e.g, electronic device
  • the one or more instructions may include code generated by a compiler or code that can be executed by an interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not contain signals (e.g. electromagnetic waves). This term refers to cases where data is stored semi-permanently in the storage medium. There is no distinction between temporary storage cases.
  • the method according to the embodiment(s) of the present disclosure may be included and provided in a computer program product.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or via an application store (e.g. Play Store TM ) or on two user devices (e.g. It can be distributed (e.g. downloaded or uploaded) directly between smartphones) or online.
  • a portion of the computer program product may be at least temporarily stored or temporarily created in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • each component (e.g., module or program) of the above-described components may include a single or plural entity, and some of the plurality of entities may be separately arranged in other components.
  • one or more of the above-described corresponding components or operations may be omitted, or one or more other components or operations may be added.
  • multiple components eg, modules or programs
  • the integrated component may perform one or more functions of each component of the plurality of components in the same or similar manner as those performed by the corresponding component of the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations may be executed in a different order, omitted, or , or one or more other operations may be added.
  • the length direction, width direction and/or thickness direction of the electronic device may be mentioned, with the length direction being the 'Y-axis direction', the width direction being the 'X-axis direction', and/or the thickness direction. can be defined as 'Z-axis direction'.
  • the direction in which a component faces may be referred to as 'yin/yang (-/+)' in addition to the orthogonal coordinate system illustrated in the drawing.
  • the front of an electronic device or housing can be defined as a 'side facing the +Z direction'
  • the back side can be defined as a 'side facing the -Z direction'.
  • the side of the electronic device or housing may include an area facing the +X direction, an area facing the +Y direction, an area facing the -X direction, and/or an area facing the -Y direction.
  • 'X-axis direction' may mean including both '-X direction' and '+X direction'. Note that this is based on the Cartesian coordinate system described in the drawings for brevity of explanation, and that the description of directions or components does not limit the embodiment(s) of the present disclosure.
  • Figure 2 is a perspective view showing the front of the electronic device 200 according to an embodiment of the present disclosure.
  • FIG. 3 is a perspective view showing the rear of the electronic device 200 shown in FIG. 2 according to an embodiment of the present disclosure.
  • the electronic device 200 includes a first side (or front) 210A, a second side (or back) 210B, and a first side 210A and It may include a housing 210 including a side surface 210C surrounding the space between the second surfaces 210B.
  • the housing may refer to a structure that forms some of the first side 210A, second side 210B, and side surface 210C of FIG. 2 .
  • the first surface 210A may be formed at least in part by a substantially transparent front plate 202 (eg, a glass plate including various coating layers, or a polymer plate).
  • the second surface 210B may be formed by a substantially opaque back plate 211.
  • the back plate 211 is formed, for example, by coated or colored glass, ceramic, polymer, metal (e.g., aluminum, stainless steel (STS), or magnesium), or a combination of at least two of these materials. It can be.
  • the side 210C is joined to the front plate 202 and the back plate 211 and may be formed by a side structure (or “side bezel structure”) 218 including metal and/or polymer.
  • the back plate 211 and the side structure 218 may be formed as a single piece and include the same material (eg, a metallic material such as aluminum).
  • the front plate 202 has two first regions 210D that are curved and extend seamlessly from the first surface 210A toward the rear plate 211. It can be included at both ends of the long edge of (202).
  • the rear plate 211 is curved from the second surface 210B toward the front plate 202 to form two second regions 210E that extend seamlessly and have long edges. It can be included at both ends.
  • the front plate 202 (or the rear plate 211) may include only one of the first areas 210D (or the second areas 210E). In one embodiment, some of the first areas 210D or the second areas 210E may not be included.
  • the side structure 218 when viewed from the side of the electronic device 200, has a side structure that does not include the first regions 210D or the second regions 210E. It may have a thickness (or width) of 1, and may have a second thickness thinner than the first thickness on the side including the first or second areas 210D or 210E.
  • the electronic device 200 includes a display 201, an audio module 203, 207, and 214, a sensor module 204, 216, and 219, a camera module 205, 212, and 213, and a key input. It may include at least one of the device 217, the light emitting element 206, and the connector holes 208 and 209. In one embodiment, the electronic device 200 may omit at least one of the components (eg, the key input device 217 or the light emitting device 206) or may additionally include another component.
  • Display 201 may be visually exposed, for example, through a significant portion of front plate 202 .
  • at least a portion of the display 201 may be visually exposed through the front plate 202 forming the first area 210D of the first surface 210A and the side surface 210C. there is.
  • the edges of the display 201 may be formed to be substantially the same as the adjacent outer shape of the front plate 202.
  • the distance between the outer edge of the display 201 and the outer edge of the front plate 202 may be formed to be substantially the same.
  • a recess or opening is formed in a portion of the screen display area of the display 201, and an audio module 214 and a sensor are aligned with the recess or opening. It may include at least one of a module 204, a camera module 205, and a light emitting device 206. In one embodiment (not shown), an audio module 214, a sensor module 204, a camera module 205, a fingerprint sensor 216, and a light emitting element 206 are located on the back of the screen display area of the display 201. ) may include at least one of the following.
  • the display 201 is coupled to or adjacent to a touch detection circuit, a pressure sensor capable of measuring the intensity (pressure) of touch, and/or a digitizer that detects a magnetic field type stylus pen. can be placed.
  • a touch detection circuit capable of measuring the intensity (pressure) of touch
  • a digitizer that detects a magnetic field type stylus pen.
  • at least a portion of the sensor modules 204, 219, and/or at least a portion of the key input device 217 are located in the first regions 210D and/or the second regions 210E. can be placed in the field.
  • the audio modules 203, 207, and 214 may include a microphone hole 203 and speaker holes 207 and 214.
  • a microphone for acquiring external sound may be placed inside the microphone hole 203, and in one embodiment, a plurality of microphones may be placed to detect the direction of the sound.
  • the speaker holes 207 and 214 may include an external speaker hole 207 and a receiver hole 214 for calls.
  • the speaker holes 207 and 214 and the microphone hole 203 may be implemented as one hole, or a speaker may be included without the speaker holes 207 and 214 (eg, piezo speaker).
  • the sensor modules 204, 216, and 219 may generate electrical signals or data values corresponding to the internal operating state of the electronic device 200 or the external environmental state.
  • the sensor modules 204, 216, 219 may include, for example, a first sensor module 204 (e.g., a proximity sensor) and/or a second sensor module (e.g., a proximity sensor) disposed on the first side 210A of the housing 210. (not shown) (e.g., a fingerprint sensor), and/or a third sensor module 219 (e.g., a heart rate monitor (HRM) sensor) disposed on the second side 210B of the housing 210. It may include 4 sensor modules 216 (e.g., fingerprint sensors).
  • HRM heart rate monitor
  • the fingerprint sensor may be disposed on the first side 210A (eg, display 201) as well as the second side 210B of the housing 210.
  • the electronic device 200 includes the sensor module 176 of FIG. 1, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may further include at least one of a temperature sensor, a humidity sensor, or an illumination sensor.
  • the camera modules 205, 212, and 213 include a first camera device 205 disposed on the first side 210A of the electronic device 200, and a second camera device 212 disposed on the second side 210B. ), and/or a flash 213.
  • the camera devices 205 and 212 may include one or more lenses, an image sensor, and/or an image signal processor.
  • the flash 213 may include, for example, a light emitting diode or a xenon lamp. In one embodiment, two or more lenses (an infrared camera, a wide-angle lens, and a telephoto lens) and image sensors may be placed on one side of the electronic device 200.
  • the key input device 217 may be disposed on the side 210C of the housing 210.
  • the electronic device 200 may not include some or all of the key input devices 217 mentioned above, and the key input devices 217 that are not included may be other than soft keys on the display 201. It can be implemented in the form
  • the key input device may include a sensor module 216 disposed on the second side 210B of the housing 210.
  • the light emitting device 206 may be disposed on the first side 210A of the housing 210.
  • the light emitting device 206 may provide status information of the electronic device 200 in the form of light.
  • the light emitting device 206 may provide a light source that is linked to the operation of the camera module 205, for example.
  • the light emitting device 206 may include, for example, an LED, an IR LED, and a xenon lamp.
  • the connector holes 208 and 209 are a first connector hole 208 that can accommodate a connector (for example, a USB connector) for transmitting and receiving power and/or data with an external electronic device, and/or an external electronic device. and a second connector hole (eg, earphone jack) 209 that can accommodate a connector for transmitting and receiving audio signals.
  • a connector for example, a USB connector
  • a second connector hole eg, earphone jack
  • FIG. 4 is an exploded perspective view of the electronic device 200 shown in FIG. 2 according to an embodiment of the present disclosure.
  • the electronic device 300 (e.g., the electronic device 200 of FIG. 2 or FIG. 3) includes a side structure 310 (e.g., the side structure 218 of FIG. 2) and a first support member. 311 (e.g. bracket), front plate 320 (e.g. front plate 202 in FIG. 2), display 330 (e.g. display 201 in FIG. 2), printed circuit board 340 ( Example: printed circuit board (PCB), printed board assembly (PBA), flexible PCB (FPCB) or rigid-flexible PCB (RFPCB)), battery 350, second support member 360 (e.g., rear case), It may include an antenna 370 and a rear plate 380 (eg, the rear plate 211 in FIG. 3).
  • a side structure 310 e.g., the side structure 218 of FIG. 2
  • a first support member. 311 e.g. bracket
  • front plate 320 e.g. front plate 202 in FIG. 2
  • display 330 e.g. display 201 in
  • the electronic device 300 may omit at least one of the components (e.g., the first support member 311 or the second support member 360) or may additionally include another component. . At least one of the components of the electronic device 300 may be the same or similar to at least one of the components of the electronic device 200 of FIG. 2 or 3, and overlapping descriptions may not be repeated again below. there is.
  • the first support member 311 may be disposed inside the electronic device 300 and connected to the side structure 310, or may be formed integrally with the side structure 310.
  • the first support member 311 may be formed of, for example, a metallic material and/or a non-metallic (eg, polymer) material.
  • the first support member 311 may have a display 330 coupled to one side and a printed circuit board 340 coupled to the other side.
  • the printed circuit board 340 may be equipped with a processor, memory, and/or interface.
  • the processor may include, for example, one or more of a central processing unit, an application processor, a graphics processing unit, an image signal processor, a sensor hub processor, or a communication processor.
  • Memory may include, for example, volatile memory or non-volatile memory.
  • the interface may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, and/or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • the interface may electrically or physically connect the electronic device 300 to an external electronic device and may include a USB connector, SD card/MMC connector, or audio connector.
  • the battery 350 is a device for supplying power to at least one component of the electronic device 300 and may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell. . At least a portion of the battery 350 may be disposed, for example, on substantially the same plane as the printed circuit board 340 . The battery 350 may be placed integrally within the electronic device 300, or may be placed to be detachable from the electronic device 300.
  • the antenna 370 may be disposed between the rear plate 380 and the battery 350.
  • the antenna 370 may include, for example, a near field communication (NFC) antenna, a wireless charging antenna, and/or a magnetic secure transmission (MST) antenna.
  • NFC near field communication
  • MST magnetic secure transmission
  • the antenna 370 may perform short-distance communication with an external device or wirelessly transmit and receive power required for charging.
  • an antenna structure may be formed by part or a combination of the side structure 310 and/or the first support member 311.
  • the electronic device 101 of the preceding embodiment will be described in detail below. Note that 102, 104, 200, 300) may be referred to, and for configurations that can be easily understood through prior embodiments, the same reference numbers in the drawings may be assigned or omitted, and detailed descriptions may also be omitted. do.
  • FIG. 5 illustrates the back of an electronic device 400 (e.g., the electronic devices 101, 102, 104, 200, and 300 of FIGS. 1, 2, 3, and 4) according to an embodiment of the present disclosure.
  • This is a floor plan.
  • FIG. 6 is a cross-sectional view showing a portion of the electronic device 400 according to an embodiment of the present disclosure taken along line AA′ of FIG. 5 .
  • FIG. 7 is a configuration diagram illustrating an optical path of the lens assembly 500 in the electronic device 400 according to an embodiment of the present disclosure.
  • the electronic device 400 may include a camera window 385 disposed on one side (e.g., the second side 210B of FIG. 3). there is.
  • camera window 385 may be part of back plate 380.
  • the camera window 385 may be coupled to the back plate 380 via a decorative member 389, where, when viewed from the outside, the decorative member 389 wraps around the perimeter of the camera window 385. It can be exposed in the form
  • the camera window 385 may include a plurality of transparent areas 387, and the electronic device 400 receives external light or transmits it to the outside through at least one of the transparent areas 387. Can emit light.
  • the electronic device 400 includes at least one lens assembly 500 (e.g., the camera modules 180 and 205 of FIGS. 1, 2, and 3) disposed to correspond to at least some of the transparent areas 387. , 212, 213)), a lighting module, and at least one light source (eg, an infrared light source) disposed to correspond to another part of the transparent areas 387.
  • the lens assembly 500 or the light source may receive external light through one of the transparent areas 387 or emit light to the outside of the electronic device 400.
  • the electronic device 400 or lens assembly 500 may further include a camera support member 381.
  • the camera support member 381 attaches at least one of the lens assembly 500 or another lens assembly (e.g., a wide-angle camera, an ultra-wide-angle camera, or a macro camera) adjacent thereto to the inside of the back plate 380 or the camera window 385. It can be placed or fixed. In one embodiment, the camera support member 381 may be substantially a part of the first support member 311 or the second support member 360 of FIG. 4 .
  • the electronic device 400 may include a lens assembly 500 or at least one of a wide-angle camera, an ultra-wide-angle camera, a macro camera, a telephoto camera, or an infrared photodiode as a light-receiving element, and as a light source or light-emitting element. It may include a flash (e.g., flash 213 in FIG. 3) or an infrared laser diode. In one embodiment, the electronic device 400 uses an infrared laser diode and an infrared photo diode to detect the distance or depth to the subject by radiating an infrared laser toward the subject and receiving the infrared laser reflected by the subject. You can. In one embodiment, the electronic device 400 can photograph a subject using any one of the cameras or a combination of two or more, and, if necessary, provide lighting toward the subject using a flash.
  • a flash e.g., flash 213 in FIG. 3
  • the electronic device 400 uses an infrared laser diode
  • a wide-angle camera, an ultra-wide-angle camera, or a macro camera may have a smaller overall lens length along the optical axis direction of the lens(s) when compared to a telephoto camera (e.g., lens assembly 500).
  • a telephoto camera e.g., lens assembly 500
  • a telephoto camera with a relatively long focal length is a camera in which the lenses 421a, 421b, 423a, 423b, 423c) have different lens lengths. It can be bigger than
  • the 'total length' of the lens may, for example, be the distance from the subject side of the first lens on the subject side to the image forming surface of the image sensor 411.
  • the ' of the lens may be, for example, the distance from the subject side of the first lens on the subject side to the sensor side of the first lens close to the image sensor side.
  • the wide-angle camera, ultra-wide-angle camera, or macro camera may substantially The effect on the thickness of the electronic device 400 may be small.
  • a wide-angle camera, an ultra-wide-angle camera, or a macro camera may be placed in the electronic device 400 with the direction in which light is incident on the electronic device 400 from the outside and the optical axis direction of the lens(es) being substantially the same.
  • These wide-angle cameras, ultra-wide-angle cameras, or macro cameras can be said to be direct-type optical systems.
  • the lens assembly 500 e.g., a telephoto camera
  • the lens assembly 500 has a smaller field of view, but may be useful for photographing subjects at a greater distance, and may have more lenses.
  • It may include (421a, 421b, 423a, 423b, 423c) (521a, 521b, 523a, 523b).
  • the lenses 423a, 423b, 423c (521a, 521b, 523a, 523b) (s) of the lens assembly 500 are arranged in the thickness direction (e.g., Z-axis direction) of the electronic device 400, the electronic The thickness of the device 400 may increase, or the lens assembly 500 may protrude significantly outside the electronic device 400.
  • the lens assembly 500 includes at least one reflecting and/or refracting member (e.g., a reflector and/or refracting member) that reflects or refracts the incident light IL in another direction. It may include a group (refractor) (413, 415) (513, 515).
  • the lenses (423a, 423b, 423c) (521a, 521b, 523a, 523b) can be arranged to be able to move forward and backward in the incident direction of light or the direction of travel of reflected or refracted light, This can prevent or reduce the thickness of the electronic device 400 from increasing.
  • the lens assembly 500 includes first reflective and/or refractive members 413 and 513, second reflective and/or refractive members 415 and 515, and image sensors 411 and 511. and/or at least one lens system (e.g., second lenses 423a, 423b, 423c) (523a, 523b) or a second lens group 423, 523 including a dummy member 423d. .
  • first reflective and/or refractive members 413 and 513 the lens assembly 500 includes first reflective and/or refractive members 413 and 513, second reflective and/or refractive members 415 and 515, and image sensors 411 and 511. and/or at least one lens system (e.g., second lenses 423a, 423b, 423c) (523a, 523b) or a second lens group 423, 523 including a dummy member 423d. .
  • the lens assembly 500 of FIGS. 6 and 7 is a lens assembly 500 in which the direction of light can be bent at least twice, and a camera including this lens assembly 500 is, for example, a 'folded camera'. It may be referred to as a 'camera', and the optical system formed by such a camera may be referred to as a 'refractive optical system', for example.
  • the lens assembly 500 includes at least one lens system (e.g., second lenses 423a, 423b, 423c) (523a, 523b) or a dummy member (423d) to bend the direction of light at least twice. and a second lens group (423, 523) including, and further, at least one lens system.
  • At least one optical member is reflected by the first reflecting and/or refractive members (413, 513).
  • the reflected or refracted light RL1 can be guided or focused to the second reflecting and/or refracting members 415, 515, and the light reflected or refracted by the first reflecting and/or refracting members 413, 513 (RL1) can be blocked from being directly incident on the image sensors 411 and 511.
  • the first reflecting and/or refractive members 413 and 513 may include, for example, at least one prism and/or at least one mirror.
  • the first reflecting and/or refractive members 413 and 513 may be formed of a prism or a combination of a plurality of prisms.
  • the first reflecting and/or refractive members 413 and 513 may be formed of a mirror or a combination of a plurality of mirrors.
  • the first reflecting and/or refractive members 413 and 513 may be formed as prisms including at least one mirror.
  • the first reflecting and/or refractive members 413 and 513 may be formed as prisms whose at least one surface includes a mirror.
  • the first reflecting and/or refracting members 413 and 513 may reflect or refract the light IL incident in the first direction D1 in the second direction D2 intersecting the first direction D1.
  • the first direction D1 refers to, for example, when photographing a subject, light (IL) is transmitted from the outside to the electronic device 400 or the lens assembly 500 through any one of the transparent areas 387 of FIG. 5. This may mean the direction in which the incident occurs.
  • the first direction D1 may mean, for example, a shooting direction, a subject direction, a direction of orientation of the lens assembly 500, or a direction parallel thereto.
  • the first direction D1 may be parallel to the thickness direction or the Z-axis direction of the electronic device 400.
  • the second reflecting and/or refractive members 415 and 515 may include, for example, at least one prism and/or at least one mirror.
  • the second reflecting and/or refractive members 413 and 513 may be formed of a prism or a combination of a plurality of prisms.
  • the second reflective and/or refractive members 413 and 513 may be formed of a mirror or a combination of a plurality of mirrors.
  • the second reflecting and/or refractive members 415 and 515 may be formed as prisms including at least one mirror.
  • the second reflective and/or refractive members 415 and 515 may be formed as prisms whose at least one surface includes a mirror.
  • the second reflective and/or refractive members 415 and 515 are reflected or refracted by the first reflective and/or refractive members 413 and 513 and reflect and/or refract the light RL1 incident along the second direction D2. It can be reflected or refracted in a third direction (D3) that intersects the second direction (D2).
  • the third direction D3 may be substantially perpendicular to the second direction D2.
  • the third direction D3 may mean a direction parallel to the Z-axis direction.
  • the embodiment of the present disclosure is not limited thereto, and the third direction D3 may be located within the electronic device 400 according to the arrangement and specifications of the lens assembly 500 or the second reflective and/or refractive member 415.
  • the third direction D3 may be substantially parallel to the first direction D1. Additionally, referring to FIG. 6 , the third direction D3 may be toward the outside of the electronic device corresponding to the image sensor 411 disposed adjacent to the camera window 385.
  • the third direction D3 of the present disclosure is not limited to this, but, as shown in FIG. 7, corresponds to the image sensor 511 disposed inside the electronic device (e.g., the camera support member 381 of FIG. 6), It may also be directed towards the interior of the electronic device.
  • the image sensors 411 and 511 are configured to detect light RL2 that is reflected or refracted by the second reflecting and/or refracting members 415 and 515 and incident along the third direction D3. can be set. For example, light IL incident from the outside is detected by the image sensors 411 and 511 via the first reflective and/or refractive members 413 and 513 and the second reflective and/or refractive members 415 and 515.
  • the electronic device 400 or the lens assembly 500 may acquire an image of the subject based on signals or information detected through the image sensors 411 and 511.
  • the image sensors 411 and 511 may be arranged substantially parallel to the X-Y plane. For example, when the lens assembly 500 has an image stabilization function that shifts the image sensors 411 and 511, the image sensors 411 and 511 move in the first direction D1 or the third direction D3. Can move horizontally in a plane perpendicular to .
  • the image sensors 411 and 511 when performing an image stabilization operation, may be shifted in the length direction (e.g., Y-axis direction) or width direction (e.g., X-axis direction) of the electronic device 400.
  • the image sensors 411 and 511 are disposed on a plane perpendicular to the first direction D1 or the third direction D3, so that in an electronic device with a small thickness (e.g., a thickness of approximately 10 mm or less), the image sensor ( 411, 511), it may be easy to expand the size, and/or it may be easy to secure space for an image stabilization operation.
  • the quality of captured images can be further improved by incorporating an image stabilization function.
  • the performance of the lens assembly 500 may further increase.
  • the lens assembly 500 includes a lens system (e.g., at least It may further include a first lens group 421 and 521 including one first lens 421a and 521b.
  • the first lens group 421 or 521 or the first lens (eg, first lens 421a or 521a) disposed on the subject side in the lens assembly 500 may have positive refractive power.
  • the first lenses 421a and 521a are configured to focus or align light IL incident from the outside to the first reflecting and/or refractive members 413 and 513, so that the first lenses 421a and 521a ) to the image sensors 411 and 511 can be miniaturized.
  • the lens assembly 500 includes the first lens groups 421 and 521
  • a camera including this lens assembly may be referred to as a 'lens lead type camera', for example.
  • the first lens group 421 and 521 may further include additional first lenses 421b and 521b to focus or align light incident from the outside.
  • the second lens groups 423 and 523 may include a dummy member 423d and a light blocking member 425.
  • the dummy member 423d may be disposed inside the lens assembly 500 or the electronic device 400 and may have a cylindrical shape extending along the second direction D2.
  • the traveling light RL1 can be transmitted.
  • the dummy member 423d may be one of the lenses with positive or negative refractive power.
  • the dummy member 423d is integrally with any one of the second lenses 423a, 423b, 423c (523a, 523b) or the second reflective and/or refractive member 415, 515. It may be a formed component.
  • the light blocking member 425 may be formed or disposed on at least a portion of the outer peripheral surface of the dummy member 423d and may absorb, scatter, or reflect light.
  • the light blocking member 425 may be formed, for example, by corroding or black lacquering at least a portion of the outer peripheral surface of the dummy member 423d, and/or printing or depositing a reflective layer.
  • a portion of the light reflected or refracted by the first reflective and/or refractive members 413 and 513 may be absorbed, scattered, or reflected by the light blocking member 425 .
  • the light blocking member 425 allows light reflected or refracted by the first reflecting and/or refracting members 413 and 513 to be transmitted to the second lens group 423 and 523 and/or the second reflecting and/or Direct incident incident on the image sensors 411 and 511 without passing through the refractive members 415 and 515 can be substantially blocked.
  • light sequentially passing through the first direction (D1), the second direction (D2), and/or the third direction (D3) in the lens assembly 500 e.g., 'IL, 'RL1', 'in FIG. 7).
  • Light following a path indicated by RL2' may be incident on the image sensor 511, and light following a different path may be substantially blocked from being incident on the image sensor 511.
  • At least one of the second lenses (423a, 423b, 423c) (523a, 523b) includes first reflective and/or refractive members (413, 513) and second reflective and/or refractive members (415). , 515), it is possible to move forward and backward along substantially the same axis as the second direction D2.
  • the electronic device 400 e.g., the processor 120 of FIG. 1
  • the lens assembly 500 may rotate at least one second lens 423a, 423b, 423c (523a, 523b) in a second direction ( By moving forward and backward based on substantially the same axis as D2), focal distance control or focus control can be performed.
  • Miniaturized electronic devices such as smart phones may have a thickness of approximately 10 mm, and in this case, the range in which the lens can move forward and backward in the thickness direction may be limited.
  • the second direction D2 may be substantially parallel to the longitudinal direction (e.g., Y-axis direction in FIG. 4), the width direction (e.g., X-axis direction in FIG. 4), and/or the X-Y plane.
  • the range in which at least one second lens (423a, 423b, 423c) (523a, 523b) can advance and retreat may be large.
  • At least one of the second lenses 423a, 423b, and 423c (523a, 523b) moves forward and backward along substantially the same axis as the second direction D2, thereby improving telephoto performance in the lens assembly 500 and increasing the focal length.
  • Design freedom can be improved in securing space for forward and backward movement for adjustment or focus.
  • the electronic device 400 and/or the lens assembly 500 may further include an infrared cut-off filter 519.
  • the infrared cut-off filter 519 may block light in the infrared or near-infrared wavelength band from being incident on the image sensors 411 and 511, and may block light from entering the image sensors 411 and 511 from the first lenses 421a and 521a. ) can be placed at any position in the optical path between.
  • the infrared cut-off filter 519 is disposed at a location close to the image sensors 411 and 511 (e.g., between the image sensors 411 and 511 and the second reflecting and/or refractive members 415 and 515).
  • a first reflective and/or refractive member (413, 513), a second reflective and/or refractive member (415, 515) and/or at least one optical member may include an infrared blocking coating layer, in which case the infrared blocking filter 519 may be omitted.
  • the infrared blocking coating layer may be provided on at least one of the image sensor side and the subject side of the dummy member 423d or the second reflective and/or refractive members 415 and 515. Accordingly, the image sensors 411 and 511 can substantially detect light that has passed through the infrared blocking filter 519 (or infrared blocking coating layer).
  • FIG. 8 is a configuration diagram illustrating an optical path of the lens assembly 600 in the electronic device 400 according to an embodiment of the present disclosure.
  • the lens assembly 600 may refract or reflect light at least twice to form a first optical path.
  • the first optical path may be indicated by a dotted line, and light traveling along the first optical path is indicated by 'IL', 'RL1', 'RL2', 'RL3', and 'RL4' in FIG. 8. You can follow the route indicated with '.
  • the first optical path passes through the center of the lens assembly 600 and may be an optical path incident substantially perpendicular to the image sensor 611.
  • the first optical path includes at least one reflective and/or refractive member included in the lens assembly 600, and at least one lens that may be additionally provided with respect to the at least one reflective and/or refractive member, depending on the embodiment.
  • lens assembly 600 may include one reflective and/or refractive member 613.
  • the reflective and/or refractive member 613 may be formed, for example, in a trapezoidal prism or mirror structure.
  • the reflective and/or refractive member 613 includes, for example, a first reflective surface 613a and a second reflective surface 613b. , may include a third reflective surface 613c and a fourth reflective surface 613d.
  • FIG. 1 In the embodiment of FIG.
  • the first reflective surface 613a and the fourth reflective surface 613d may be parallel to each other, and the second reflective surface 613b and the third reflective surface 613c may be parallel to each other, so that FIG. An optical path similar to Example 7 can be formed.
  • the reflective and/or refractive member 613 may form a parallelogram prism or mirror structure.
  • the example of the lens assembly 600 of the present disclosure is not necessarily limited thereto.
  • the first reflective surface 613a and the fourth reflective surface 613d have the second reflective surface 613b or the third reflective surface 613c as their bases, and the two inner angles It can also be formed as an isometric trapezoid with the same base angle size.
  • the reflecting and/or refractive member 613 included in the lens assembly 600 may be composed of a trapezoidal prism or mirror structure as one body, but alternatively, it may be composed of a plurality of prisms or a mirror structure. Mirror pieces may be combined and/or combined to form a reflecting and/or refractive member 613 of a trapezoidal prism or mirror structure.
  • the lens assembly 600 may include a plurality of reflective and/or refractive members.
  • lens assembly 600 may include at least two reflective and/or refractive members (e.g., first reflective and/or refractive members 413, 513, second reflective and /Or, by including refractive members 415 and 515, light may be refracted or reflected at least twice to form a first optical path.
  • the lens assembly 600 includes a plurality of reflective and/or refractive members (e.g., first reflective and/or refractive members 413, 513, second reflective and/or refractive members 415, 515)
  • At least one lens system e.g., the second lenses 423a, 423b, 423c in FIGS. 6 and 7 (523a, 523b) or a dummy member 423d is provided between the plurality of reflective and/or refractive members.
  • It may further include a lens group (423) (523).
  • the lens assembly 600 may further include an infrared cut-off filter 519 described above in FIG. 7 .
  • the lens assembly 600 includes a lens system (e.g., at least one first lens (e.g., at least one first lens ( It may further include a first lens group 621) including 621a and 621b.
  • the first lens group 621 or the first lens (eg, first lens 621a) disposed on the subject side in the lens assembly 600 may have positive refractive power.
  • the first lens 621a is configured to focus or align the light IL incident from the outside to at least one reflective and/or refractive member 613, so that the image sensor ( 611) optical systems can be miniaturized.
  • the camera including this lens assembly may be referred to as a 'lens lead type camera'.
  • the first lens group 621 may further include additional first lenses 621b (s) to focus or align light incident from the outside.
  • a trapezoidal prism or mirror structure (or parallelogram prism or mirror structure) and a refractive optical system including the same include a first reflection surface (613a), a second reflection surface (613b), and a third reflection surface (613c). ) and the fourth reflection surface 613d, respectively, may be designed so that only the light refracted or reflected, that is, the light refracted or reflected four times, is incident on the image sensor. However, according to some embodiments, as shown in FIG. 8, at least some of the light refracted or reflected by the reflective and/or refractive member 613 is transmitted to the image sensor through a second optical path different from the first optical path. You can join the company at (611).
  • the second optical path may be indicated by a dashed-dotted line, and light traveling along the second optical path may follow the paths indicated by 'IL, 'RL1', and 'RL2'' in FIG. 8.
  • a trapezoidal prism or mirror structure or a parallelogram prism or mirror structure
  • a refractive optical system including the same produce light refracted or reflected on the first reflective surface 613a and the second reflective surface 613b, that is, 2 Light that is refracted or reflected may enter the image sensor 611, and the image obtained by this light may be output blurry. This phenomenon can be said to have occurred, for example, as a flare. .
  • the present disclosure may provide various embodiments that can determine whether the above-described flare occurs and/or correct the flare.
  • the present disclosure includes an image sensor 611 including a plurality of unit pixels that forms an image of light passing through a lens assembly and converts it into an electrical signal, and the image sensor; It may include a processor that is electrically connected and outputs an image using the electrical signal (eg, the image signal processor 732 of FIG. 10, which will be described later).
  • the image sensor 611 of the present disclosure will be described in more detail through the embodiments of FIG. 8 described above and FIGS. 9 and 10 described below.
  • Figure 9 is a diagram showing a 2PD subpixel according to one embodiment.
  • FIG. 10 is a diagram of an image sensor including a plurality of subpixels according to various embodiments of the present disclosure.
  • the image sensor 611 of the present disclosure may include a plurality of pixels.
  • the image sensor 611 may include hundreds, thousands, or tens of thousands to hundreds of millions of pixels.
  • the image sensor 611 is shown disposed on a plane substantially parallel to the xy plane within the electronic device.
  • the plane on which the image sensor 611 is placed can be set in various ways according to various optical paths depending on the number and location of refraction and/or reflection of light traveling within the lens assembly 600.
  • the position where the image sensor 611 is placed within the electronic device may vary, such as a plane substantially parallel to the xy plane as well as a plane substantially perpendicular to the xy plane.
  • the image sensor 611 of the present disclosure may include one micro lens 611a for each unit pixel constituting the image sensor 611.
  • the micro lens 611a may serve to refract and/or converge light.
  • a plurality of these micro lenses 611a may be arranged regularly to form a micro lens array.
  • the image sensor 611 may include a color filter including one or more spatially divided colors that can selectively pass light. The color filter is placed at the rear of the microlens based on the path of light, and can pass light with a specified reference color, that is, light with a specified wavelength range.
  • a plurality of designated reference colors may be assigned to each of the plurality of pixels included in the image sensor 611 through the color filter.
  • a plurality of pixels may each be designed to receive light with a specified wavelength range.
  • a light receiving element eg, a photodiode, pinned-photodiode, phototransistor, or photogate
  • an electrical signal corresponding to the incident light can be output due to the photoelectric effect.
  • the electrical signal can generate charge (or current) according to the intensity (or amount of light) of the received light.
  • one micro lens and one color filter may be disposed in a unit pixel, and one light receiving element may be disposed behind the color filter. That is, one light receiving element can be disposed in one unit pixel.
  • one micro lens and one color filter may be disposed in a unit pixel, and a plurality of light receiving elements 611c may be disposed behind the color filter.
  • two, three, or four or more light-receiving elements may be disposed in a unit pixel.
  • the unit pixel structure may be referred to as, for example, a dual pixel structure (hereinafter referred to as '2PD pixel structure'), and a unit pixel may have three light-receiving elements.
  • the unit pixel structure When placing a unit pixel structure, for example, the unit pixel structure may be referred to as a triple pixel structure (hereinafter referred to as '3PD pixel structure'), and when four light receiving elements are placed in a unit pixel, the unit pixel The structure may be referred to as, for example, a quad pixel structure (hereinafter referred to as '4PD pixel structure').
  • '3PD pixel structure' when four light receiving elements are placed in a unit pixel, the unit pixel The structure may be referred to as, for example, a quad pixel structure (hereinafter referred to as '4PD pixel structure').
  • 'NPD pixel structure' the case where a unit pixel includes a plurality (N) of light-receiving elements (or the case where each micro lens includes a plurality (N) of light-receiving elements) is referred to as 'NPD pixel structure'. It can be referred to as '.
  • each light-receiving element may be referred to as a 'subpixel', for example.
  • a plurality of light-receiving elements included in each unit pixel can independently capture incident light as an image.
  • the incident light may be output as a photoelectric conversion signal.
  • the lens assembly 600 may be formed so that the direction (e.g., X direction) in which at least two subpixels of the image sensor are distinguished corresponds to the second optical path.
  • the distinct directions of at least two subpixels correspond to the second optical path, for example, the different subpixel placement directions (e.g., X direction) and the plane where the image sensor is placed in the second optical path.
  • This may mean that the imaginary lines projected onto (e.g. a plane parallel to the xy plane) are parallel.
  • the second optical path may be inclined by a predetermined angle (Ang) with respect to the first optical path.
  • the first optical path of light incident on the image sensor enters the image sensor 611 along a path indicated as RL4, and the second optical path enters the image sensor 611 along a path indicated as RL2'.
  • the image sensor 611 of the present disclosure includes at least two subpixels 611c-L and 611c-R as a plurality of light receiving elements 611c, and these two subpixels 611c-L and 611c- R) may be separately arranged in a direction corresponding to the second optical path direction. That is, the two subpixels (611c-L, 611c-R) are divided into two different parts along the X-axis direction parallel to the second light path inside one unit pixel when projected onto the image sensor. You can.
  • a real or virtual partition 611c-W may be provided to separate subpixels, for example, at least two subpixels.
  • the partition 611c-W and the second light path may be provided.
  • the optical path may form a predetermined angle (Ang).
  • FIG. 10 is a diagram of an image sensor including a plurality of subpixels according to various embodiments of the present disclosure.
  • elements with the same specifications can be formed symmetrically (line symmetrically or point symmetrically) with respect to the center of the unit pixel.
  • elements with the same specifications can be formed symmetrically (line symmetrically or point symmetrically) with respect to the center of the unit pixel.
  • two light receiving elements are placed in a unit pixel, they can be arranged symmetrically in the Left/Right or Top/Bottom directions based on the center of the unit pixel.
  • the unit pixels disposed on the image sensor 611 are shown as subpixels 611c-L and 611c-R arranged separately in the up/down direction (or left/right). , it does not necessarily have to have this form.
  • the unit pixel of the image sensor 611 may have the shape shown in Figures 10(c) and 10(d).
  • the unit pixel of the image sensor 611 may have the shapes shown in Figures 10(c) and 10(d).
  • the unit pixel may be formed into a structure including 4 and 9 sub-pixels, that is, a 4PD pixel structure and a 9PD pixel structure.
  • the unit pixel of the image sensor 611 can be applied in any PD form in which the unit pixel of the image sensor 611 is separated in the direction in which abnormal incident light that may cause flare (e.g., the second light path (RL2' in FIG.
  • a unit pixel of the image sensor 611 may have an NPD pixel structure (where N is the square of a natural number of 4 or more).
  • N is the square of a natural number of 4 or more.
  • FIG. 11 is a block diagram illustrating components of an electronic device 700 (eg, electronic device 101 of FIG. 1 ) according to various embodiments.
  • the electronic device 700 can take a photo (or video) by collecting light reflected from a subject.
  • the electronic device 700 includes an image capture unit 710, an interface 720 (e.g., image sensor interface), an image processing part 730, a first memory 740, a processor 760, and a display ( 770), and a second memory 780.
  • the image capture unit 710 constitutes a camera module (e.g., the camera module 180 of FIG. 1)
  • the image signal processor 732 and the processor 760 include at least one processor (e.g., :
  • the processor 120 in FIG. 1 can be configured.
  • the image capture unit 710 includes a lens unit 711, an aperture 712, an imaging device 713 (hereinafter referred to as ‘image sensor 713’), a shutter 714, a driving unit 715, 716).
  • the lens unit 711 may focus light that is reflected from the subject and reaches the electronic device 700.
  • the lens unit 711 includes at least one lens and, for example, may be implemented as a lens assembly in which a plurality of lenses are aligned in the optical axis direction.
  • the image capture unit 710 may be, for example, a dual camera, a 360-degree camera, or a spherical camera.
  • the lenses included in the lens assembly may have the same lens properties (e.g., angle of view, focal length, autofocus, f number, or optical zoom), or at least one lens may have at least one lens different from the other lenses. Can have lens properties.
  • the lens assembly may include, for example, a wide-angle lens or a telephoto lens.
  • the amount of light collected through the lens unit 711 can be adjusted through the aperture 712, and the light passing through the aperture 712 can reach the image sensor 713.
  • the aperture 712 is shown as being separated from the lens unit 711. However, unlike this, the aperture 712 may be integrated into the lens unit 711.
  • the image sensor 713 may include a pixel array in which a plurality of image pixels are two-dimensionally arranged in a grid shape.
  • Each of the plurality of image pixels may be assigned one of a plurality of reference colors.
  • the plurality of reference colors are, for example, RGB (red, green, blue), RGBW (red, green, blue, white), CMY (cyan, magenta, yellow), CMYK (cyan, magenta) , yellow, black), RYB (red, yellow, blue), and RGBIR (infrared ray).
  • a plurality of micro lenses may be disposed on a side closer to the subject in the optical axis direction based on a plurality of image pixels.
  • the image sensor 713 generates a digital signal (or electrical signal) based on light reflected from the subject, and generates digital image data (hereinafter referred to as 'image data' for short) based on the electrical signal.
  • the image sensor 713 may be one image sensor selected from among image sensors with different properties, such as an RGB sensor, a black and white (BW) sensor, an IR sensor, or a UV sensor, and a plurality of images with the same properties. sensors, or may include a plurality of image sensors with different properties.
  • the image sensor 713 may be, for example, a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS).
  • CCD charge coupled device
  • CMOS complementary metal oxide semiconductor
  • the image sensor 713 includes a photo diode (PD), a transfer transistor (TX) (or transfer gate), a reset transistor (RX) (or reset gate), and a floating diffusion node (FD). ; floating diffusion node) may be included.
  • a photodiode (PD) can generate and accumulate photocharges corresponding to the optical image of the subject.
  • the transmission transistor (TX) may transmit photocharges focused on the photo diode (PD) to the floating diffusion node (FD) in response to the transmission signal.
  • the reset transistor (RX) can discharge the charge stored in the floating diffusion node (FD) in response to a reset signal.
  • the charge stored in the floating diffusion node (FD) is output, and at this time, correlated double sampling (CDS) processing may be performed, and analog-to-digital circuit (ADC) and/or analog front (AFE) processing may be performed. end), the analog signal on which CDS processing has been performed can be converted into a digital signal.
  • An example of the image sensor 713 of the present disclosure may be one in which four photo diodes are provided in a pixel corresponding to one micro lens (e.g., 4PD pixel).
  • the shutter 714 may adjust the time the image sensor 713 is exposed to light. For example, when the shutter 714 operates slowly, a lot of light may enter the image sensor 713, and when the shutter 714 operates quickly, a small amount of light may enter the image sensor 713.
  • the driving units 715 and 716 may be configured to adjust the position of the lens unit 711, the aperture 712, or the image sensor 713.
  • the driving units 715 and 716 may include a first driving unit 715 and a second driving unit 716.
  • the first driving unit 715 may move the lens unit 711 substantially parallel to the optical axis direction.
  • Auto focusing (AF) of the image capture unit 710 is performed through the first driving unit 715.
  • the second driver 716 adjusts the position of the lens unit 711 or the image sensor 714. It is possible to prevent shaking that occurs when the user manipulates the image capture unit 710.
  • the second driving unit 716 responds to the movement of the image capture unit 710 or the electronic device 700 including the same, and captures the captured image.
  • move or control e.g., read-out
  • the second driver 716 may be implemented as, for example, an image stabilizer or an optical image stabilizer
  • the movement can be detected using a gyro sensor (not shown) or an acceleration sensor (not shown) disposed inside or outside the image capture unit 710.
  • the interface 720 (eg, an image sensor interface including an image sensor interface circuit) may be disposed between the image sensor 713 and the image processor 730 to perform an interface. Data output from the image sensor 713 through the interface 720 may be transmitted to the image processing unit 730 (eg, including an image processing circuit). Depending on the configuration of the electronic device 700, the interface 720 may be included in the image processing unit 730. Additionally, depending on the configuration of the electronic device 700, the interface 720 may be omitted or another interface not shown in the drawing may be additionally provided.
  • the memories 740 and 780 temporarily store at least a portion of the image acquired through the image sensor 713 for the next image processing task, or at least one of the electronic devices 700 Commands or data related to other components (e.g., image processing unit 730) may be stored.
  • the acquired original image e.g., high resolution image
  • the corresponding copy image e.g, low-resolution image
  • the memories 740 and 780 may be configured as at least part of the memory of the electronic device 700 (e.g., memory 130 of FIG. 1) or as a separate memory that operates independently.
  • the memories 740 and 780 may include a first memory 740 and a second memory 780 that are separated from each other as shown in FIG. 11 .
  • the first memory 740 may store at least one piece of correction data (eg, white balance correction data, gamma correction data, knee correction data, etc.).
  • the at least one correction data may be stored in a look-up table (LUT) format.
  • the second memory 780 is a non-volatile memory (eg, flash memory) and can store image data generated by the image processor 730.
  • the memories 740 and 780 are shown as separate configurations according to the functions they perform, but it should be noted that they are not necessarily limited to what is shown and, for example, may be implemented as a single configuration. do.
  • the image processing unit 730 may be configured to perform various processing on image data output from the image sensor 713.
  • the image processing unit 730 performs image processing (e.g., depth map generation, 3D modeling, etc.) on images acquired through the image sensor 713 or images stored in memory (e.g., first memory 740).
  • Image processing e.g., depth map generation, 3D modeling, etc.
  • Panorama creation, feature point extraction, image compositing, or image compensation e.g., noise reduction, resolution adjustment, brightness adjustment, blurring, sharpening, or softening
  • the image processing unit 730 controls (e.g., exposure time control, lead-out timing control, etc.) for at least one of the components included in the image capture unit 710 (e.g., the image sensor 713).
  • the image processed by the image processor 730 is stored back in the memories 740 and 780 for further processing, or is stored in an external component of the image capture unit 710 (e.g., memory 130 in FIG. 1). , may be transmitted to the display module 160, the electronic device 102, the electronic device 104, or the server 108.
  • the image processing unit 730 is a pre-processing unit (e.g., Pre ISP ) 731 (e.g., including a pre-processing circuit) and an image signal processor (ISP) 732 (e.g., including an image signal processing circuit).
  • Pre-processing unit ( 731) may perform functions such as image matching or gamma processing, etc.
  • the preprocessor 731 removes the shaking component through the image matching process.
  • the image signal processor 732 can generate an entire image signal by correcting and combining the signals received from the preprocessor 731.
  • the preprocessor 731 generates the image signal. It can be integrated with the processor 732 to form the image processing unit 730.
  • the image processing unit 730 may be configured as at least a part of the processor 760 (e.g., processor 120 in FIG. 1), or may be configured as a separate processor that operates independently of the processor 760. there is.
  • the pre-processing unit 731 and the image signal processor 732 of the image processing unit 730 may be integrated into the processor 760.
  • the image processing unit 730 is composed of a separate processor other than the processor 760, the images processed by the image processing unit 730 are stored in the display module as is or after additional image processing by the processor 760. It can be displayed through (160).
  • the image processing unit 730 may also generate a signal to control the lens unit 711 or the image sensor 713.
  • the image processing unit 730 generates a signal to control the first driving unit 715 to move the lens unit 711 in the optical axis direction, or moves the lens unit 711 or the image sensor 713 to A signal that controls the second driver 716 can be generated to prevent hand shaking.
  • processor 760 may be a central processing unit (CPU), an application processor (AP), or It may include one or more communication processors (CP).
  • the processor 760 may perform operations or data processing related to control and/or communication of at least one other component included in the electronic device 700.
  • the processor 760 may include the image processing unit 730 as at least a part of the processor 760, or may operate as a separate processor that operates independently from the image processing unit 730.
  • display 770 may include, for example, an LCD display, an LED display, an OLED display, a MEMS display, or an electronic paper display.
  • the display 770 may display, for example, an image captured through the image capture unit 710 or an image whose white balance has been corrected by the image processor 730.
  • the display 770 may include a touch screen and may receive, for example, a touch, gesture, proximity, or hovering input using an electronic pen or a part of the user's body. there is.
  • the pre-processing unit 731 is included in at least a part of the image signal processor 732, and accordingly, the image signal processor 732 is substantially connected to the image processing unit 730.
  • Reference to 'at least one processor' in various embodiments of the present disclosure means that the image processing unit 730 is provided as at least part of the processor 760 or is provided separately from the processor 760. can do.
  • the image signal processor 732 may be described as an example of a separate processor that operates independently of the processor 760, but this is for convenience of explanation and various embodiments of the present invention. It should be noted that the combination of the image processing unit 730, the image signal processor 732, and the processor 760 according to the embodiment is not limited to any one form.
  • the processor obtains a plurality of electrical signals from at least two subpixels, and The ratio may be identified, and based on the identified ratio, it may be determined whether a flare has occurred, and/or the flare may be corrected.
  • the memory may pre-store a look up table (LUT) related to the ratio according to a predetermined direction based on the second optical path.
  • LUT look up table
  • the processor e.g., the image processing unit 730, the image signal processor 732, the processor 760, or a combination of at least two of them determines whether the flare occurs by using the LUT stored in the memory and the ratio at the time of execution. can determine and/or correct flare.
  • the processor e.g., image processor 730, image signal processor 732, processor 760, or a combination of at least two of them based on a plurality of electrical signals obtained from at least two subpixels.
  • saturated subpixels can be distinguished, and calculations can be performed differently depending on the amount of saturated subpixels. For example, when at least two subpixels within one unit pixel are all saturated, flare may be corrected using unsaturated unit pixels around the saturated unit pixel. At this time, if at least two subpixels within one unit pixel are partially saturated, flare may be corrected using the unsaturated subpixel, AF (autofocusing) information, and unsaturated unit pixels around the saturated subpixel. there is.
  • the processor e.g., the image processing unit 730, the image signal processor 732, the processor 760, or a combination of at least two of them
  • refracts light or Determination of whether flare due to reflection occurs can be performed only for a specific area of the image sensor where light incident through the second optical path is received.
  • the processor As the light incident through the second optical path is received, at least one subpixel of the at least two subpixels may output a higher gain compared to the other subpixels, and the processor outputs the high gain.
  • the ratio of a plurality of electrical signals can be identified centered on the output subpixel.
  • the operation (control method) of determining whether a flare occurs or correcting the flare of the present disclosure is as follows.
  • the control operation can be basically divided into a calibration operation to determine whether flare has occurred, and a correction operation for the image (or image) in which the flare has occurred after the calibration operation.
  • Figure 12 is a diagram showing a calibration operation according to one embodiment.
  • FIG. 13 is a diagram illustrating a flare correction method according to an embodiment.
  • the calibration operation includes an operation (S1201) of storing information of a flat light source, such as a series of integrating spheres, and subpixels (e.g., 611c-L, 611c-R).
  • An operation (S1203) of storing the liver ratio may be included.
  • light source information according to various color temperatures may be stored as information on the light source of the integrating sphere.
  • the light source information of the integrating sphere may store light source information about a standard light source (eg, D65 light source).
  • the integrating sphere can be photographed. For example, the integrating sphere can be photographed for each auto focusing (AF) position, and the integrating sphere for each zoom position can be photographed.
  • AF auto focusing
  • some light sources may output a light quantity sufficient to saturate the pixels, and other light sources may output a light quantity sufficient to not saturate the pixels.
  • a gain difference may occur between subpixels (e.g., 611c-L, 611c-R).
  • the right subpixel 611c-R among the left subpixel 611c-L and the right subpixel 611c-R may cause flare. It can be expected to receive more light. That is, within one unit pixel, a gain difference occurs between subpixels, and their ratio can be measured and/or stored.
  • This ratio is determined by the color of the color filter of the image sensor, the direction of the subpixel, and the image sensor. Depending on the location, there may be differences due to various reasons such as the AF (auto focusing) position of the lens or the position in the zoom operation of the lens.
  • an operation on the ratio for each subpixel can be performed.
  • information about these calculation values can be stored in a lookup table (LUT) and used to determine whether flare has occurred or to correct the flare.
  • the processor may use at least some of the information stored in the LUT to determine whether the flare has occurred and whether to correct the flare.
  • the processor is capable of interpolation operations, so rather than storing the ratio of subpixels included in all pixels of the image sensor, only the ratio of some subpixels can be appropriately selected (e.g., resized) and stored.
  • the 4PD pixel structure, 9PD pixel structure, etc. mentioned in the embodiment shown in FIG. 10 described above have not only ratios for either the left/right or up/down directions, but also the left/right and up/down directions.
  • the ratio of various phase difference directions can be obtained, and if the LUT is stored separately for each direction, a more accurate calculation of whether flare occurs may be possible.
  • a function that determines the amount of flare can be created in the memory (e.g., the first memory 740 and the second memory 780) using the stored LUT as an input ( S1204).
  • this function may be determined experimentally. For example, if this function is defined as a polynomial, the coefficients of the polynomial can be experimentally stored in advance using the LUT ratio as input. It is difficult to predict whether flare will occur, but basically, if the unit pixels included in the image sensor are not saturated, it can be assumed that there is some correlation with the LUT ratio.
  • information on the calculation value for the ratio for each subpixel and/or information on the function that determines the amount of flare may be stored in the memory (S1205).
  • the calculation value for the ratio for each subpixel may be stored in the form of a lookup table (LUT).
  • the flare correction operation may include determining the saturation of the image (or video) obtained first (S1301). Then, the amount of flare generation can be calculated (S1303) based on the determination of the saturation level for the pixel.
  • a saturated pixel outputs a signal different from the electrical signal output from a non-saturated pixel, so a separate signal processing process may be required. If pixel saturation is determined to be saturated, masking can be performed. According to one embodiment, even if only one subpixel among a plurality of subpixels included in a unit pixel of an image sensor is saturated, it can be treated as a saturated pixel.
  • the function and LUT information (S1302) stored in the memory can be used in the calibration operation.
  • the amount of flare generation for the input value can be calculated using the stored function and LUT. For example, referring to FIGS. 8 and 9, among the left subpixel 611c-L and the right subpixel 611c-R, the amount of flare may be greater in the right subpixel 611c-R.
  • the flare amount experimentally obtained in the calibration operation step can be extracted to find the normal signal for the electrical signal output from the left subpixel 611c-L and the right subpixel 611c-R.
  • the flare removal operation (S1305) may include an operation (S1307) of processing saturated pixels.
  • the original value can be inferred using the other pixel closest to . According to one embodiment, it may be calculated by sequentially calculating from the pixel closest to the saturated pixel among other unsaturated pixels to the pixel farthest from the saturated pixel. As determined by the processor, saturated pixels are saturated, and the processor can use this information to perform learning for calculations on images acquired later. If the information about saturated pixels previously determined by the processor is no longer valid, perform learning (e.g. deep learning (DL)) or lower the exposure of AE (auto exposure) to perform more accurate calculations in the next frame. This can be done.
  • learning e.g. deep learning (DL)
  • AE auto exposure
  • the processor may correct flare by taking AF (Autofocusing) information into consideration. For example, in high frequency areas where AF is out of focus, differences in subpixel gain may occur due to AF defocus, which may cause artifacts, so if AF is out of focus, AF information is taken into consideration. This allows you to correct flare.
  • AF Autofocusing
  • the processor e.g., the image processing unit 730, the image signal processor 732, the processor 760, or a combination of at least two of these
  • the subpixel is saturated through a gamma or clipping operation.
  • artifacts around the area can be removed.
  • the final step in flare correction may be processing such as clipping and gamma.
  • DR dynamic range
  • saturation-related artifacts can be prevented (reduced) to a certain extent.
  • Figure 14a is an actual diagram showing a flare phenomenon, according to one embodiment.
  • FIG. 14B is a diagram showing the image of FIG. 14A displayed on a magenta background.
  • Figure 15 shows an actual drawing with flare correction applied, according to one embodiment.
  • FIG. 14B can show the portion where the flare occurs in the image shown in FIG. 14A in the horizontal and vertical coordinate systems for distance.
  • the generated flare may include flare caused by refraction and/or reflection while passing through the reflective and/or refractive member as well as flare due to other causes.
  • flare may be detected in the actually captured image. Flares can occur around a light source and can occur for a variety of reasons. Referring to FIG. 14b, flare may not occur in the entire area of the image, but may occur in a partial area of the image. From this, it can be confirmed that flare can be detected only in a specific area of the image sensor, not the entire area of the image sensor.
  • the electronic device of the present disclosure includes a processor, and the processor performs at least one of the operations described above.
  • the flare occurring in a specific area of the image sensor can be removed and/or reduced by predicting and calculating the flare as it is refracted and/or reflected while passing through the reflective and/or refractive member. there is. As a result, it is possible to obtain an image with flare removed and/or reduced, as shown in FIG. 15 below.
  • an operation e.g., a flare compensation operation
  • an electronic device eg, electronic device 101; 200; 300; 400
  • a lens assembly eg, lens assembly 500; 600
  • An image sensor e.g., image sensor 411; 511; 611 including a plurality of unit pixels that forms an image of light passing through the lens assembly and converts it into an electrical signal; and is electrically connected to the image sensor to generate the electrical signal.
  • It may include a processor (e.g., an image processing unit 730, an image signal processor 732, a processor 760, or a combination of at least two of these) that outputs an image using .
  • one unit pixel included in the plurality of unit pixels is a micro lens (eg, micro lens 611a); It may include at least two subpixels (eg, subpixels 611c-L and 611c-R) formed to correspond to the microlens.
  • the processor acquires a plurality of electrical signals from the at least two subpixels, identifies a ratio of the plurality of electrical signals, and determines whether flare occurs due to refraction or reflection of the light based on the identified ratio. can do.
  • the flare may be corrected based on whether the flare occurs due to refraction or reflection.
  • the at least two subpixels may output different electrical signals depending on the angle of incidence of light incident through the micro lens.
  • the lens assembly may include at least one reflective and/or refractive member (e.g., reflective and/or refractive member 413; 415; 513; 515; 613) that refracts or reflects the light. You can.
  • a reflective and/or refractive member e.g., reflective and/or refractive member 413; 415; 513; 515; 613 that refracts or reflects the light. You can.
  • At least some of the light refracted or reflected by the reflective and/or refractive member may be incident on the image sensor through a second optical path different from the first optical path.
  • the determination of whether flare occurs due to refraction or reflection of the light may be performed only for a specific area of the image sensor where the light incident through the second optical path is received.
  • At least one subpixel of the at least two subpixels outputs a higher gain compared to the other subpixels
  • the processor Can identify the ratio of a plurality of electrical signals centered on the subpixel outputting the high gain.
  • the device may further include a memory that pre-stores a look up table (LUT) related to a ratio according to a predetermined direction based on the second optical path.
  • LUT look up table
  • a direction in which at least two subpixels of the image sensor are divided may correspond to a second light path direction.
  • the processor may determine whether the flare occurs or correct the flare using the LUT stored in the memory and the identified ratio during execution.
  • the processor may distinguish saturated subpixels based on a plurality of electrical signals obtained from the at least two subpixels and perform different operations depending on the amount of saturated subpixels. .
  • the processor may correct flare using unsaturated unit pixels around the saturated unit pixel.
  • the processor may generate an unsaturated subpixel and AF information, and/or an unsaturated unit pixel around the saturated subpixel. You can correct flare using .
  • the processor may remove artifacts from saturated subpixels or their periphery through gamma or clipping operations after the flare is corrected.
  • the image sensor may have a micro lens configuration including 2PD, 4PD, 9PD, NPD, metal shield, slanted 2PD, and 2x1 OCL PD.
  • a lens assembly A method of controlling an electronic device including a processor and a camera module including an image sensor including a plurality of unit pixels, wherein the processor controls a first optical path formed by refracting the lens assembly at least twice and the first optical path.

Abstract

본 개시의 일 측면에 따르면, 전자 장치를 제공한다. 전자 장치는 렌즈 어셈블리; 상기 렌즈 어셈블리를 통과한 광을 결상하여 전기적 신호로 전환하는 복수의 단위 픽셀들을 포함하는 이미지 센서;및 상기 이미지 센서와 전기적으로 연결되어 상기 전기적 신호를 기초한 이미지를 출력하는 프로세서를 포함하고, 상기 복수의 단위 픽셀들에 포함된 적어도 하나의 단위 픽셀은, 마이크로 렌즈; 상기 마이크로 렌즈에 대응하여 형성된 적어도 2 개의 서브 픽셀들을 포함할 수 있다. 상기 프로세서는, 상기 적어도 2개의 서브 픽셀들로부터 복수의 전기적 신호들을 획득하고, 상기 복수의 전기적 신호들의 비율을 식별하고, 식별된 비율에 기반하여 상기 광의 굴절 또는 반사에 의한 플레어 발생 여부를 판단할 수 있다.

Description

카메라 모듈을 포함하는 전자 장치 및 그 제어 방법
본 개시의 다양한 실시예들은, 카메라 모듈을 포함하는 전자 장치 및 그 제어 방법에 관한 것이다.
소비자의 관심이 컴팩트(compact) 카메라에서 스마트 폰에 내장된 카메라 모듈(camera module)로 넘어오면서 카메라 제조의 중요한 이슈는 화질을 유지한 채로 소형화를 이루는 것에 있다. 화질은 대형 광학계와 대형 결상 면(이미지 센서)에 유리한 만큼, 고화질과 소형화는 서로 trade off 관계인데, 이를 극복하기 위해 하나의 전자 장치에 단초점 렌즈형 카메라 모듈을 여러 개 포함하게 되었다.
단초점 렌즈의 모듈들은 일반적으로 각각 다른 초점 거리를 갖게 하고 디지털 줌(digital zoom)과 적절히 섞어 운용하여 줌(zoom) 효과를 만들어낼 수 있다. 카메라 모듈은 35mm 카메라 광학계 기준, 24~35mm 초점거리를 기준(wide)으로 초점거리가 더 짧은 형태와 더 긴 초점거리를 갖는 형태가 가장 일반적으로 적용되는데, 이중 초점거리가 상대적으로 긴 tele(일반적으로 3배) 광학계는 종단면으로 더 긴 실장 공간을 요구 하기 때문에, 일반적으로 wide보다 작은 사이즈를 갖는 광학계를 채용하여 실장 하게 된다. 하지만 market은 더 높은 zoom 성능을 요구 하므로 제한된 공간에 카메라를 실장하는 어려움이 더 커지는 것이 현실이다. 이를 해결 하기 위해 좀더 실장성이 뛰어난 프리즘의 반사를 이용한 굴절형(또는 굴곡형) 광학계가 적용된 카메라 모듈을 개발하고 있는데, 어떤 굴절형 광학계가 적용된 카메라 모듈은 프리즘(또는 미러)을 이용해 입사된 광을 2회 이상 반사 및/또는 굴절시키고 광의 유효 초점거리를 유지한 채로 입사 경로를 변경시켜 만들 수 있다.
이러한 굴절형 광학계를 포함한 카메라 모듈은 프리즘 내의 원치 않는 빛의 경로로 반사된 광이 그대로 이미지 센서에 결상되는 플레어(flare) 현상을 포함할 수 있다.
상술한 정보는 본 개시에 대한 이해를 돕기 위한 목적으로 하는 배경 기술로 제공될 수 있다. 상술한 내용 중 어느 것도 본 개시와 관련하여 종래 기술(prior art)로서 적용될 수 있는지에 관해서는 어떠한 주장이나 결정이 제기되지 않는다.
본 개시의 일 실시예에 따르면, 전자 장치를 제공할 수 있다. 전자 장치는 렌즈 어셈블리; 상기 렌즈 어셈블리를 통과한 광을 결상하여 전기적 신호로 전환하는 복수의 단위 픽셀들을 포함하는 이미지 센서;및 상기 이미지 센서와 전기적으로 연결되어 상기 전기적 신호를 이용하여 이미지를 출력하는 프로세서를 포함하고, 상기 복수의 단위 픽셀들에 포함된 적어도 하나의 하나의 단위 픽셀마다, 마이크로 렌즈; 상기 마이크로 렌즈에 대응하여 형성된 적어도 2 개의 서브 픽셀들을 포함할 수 있다. 상기 프로세서는, 상기 적어도 2개의 서브 픽셀들로부터 복수의 전기적 신호들을 획득하고, 상기 복수의 전기적 신호들의 비율을 식별하고, 식별된 비율에 기반하여 상기 광의 굴절 또는 반사에 의한 플레어 발생 여부를 판단하거나, 및/또는 상기 플레어를 보정할 수 있다.
본 개시의 일 실시예에 따르면, 전자 장치의 제어 방법을 제공할 수 있다. 전자 장치는 렌즈 어셈블리 및 복수의 단위 픽셀들을 포함하는 이미지 센서를 포함하는 카메라 모듈; 및 프로세서를 포함할 수 있다. 상기 전자 장치의 제어 방법은 상기 프로세서에 의해 구현될 수 있으며, 상기 프로세서는 상기 렌즈 어셈블리에 적어도 2회 반사 또는 굴절되어 형성된 제 1 광 경로와 상기 제 1 광 경로와 상이한 제 2 광 경로를 통해 입사된 광의 비율에 기반하여, 상기 복수의 단위 픽셀들에 각각 포함된 적어도 2 개의 서브 픽셀로부터 복수의 전기적 신호들을 획득하고, 상기 복수의 전기적 신호들의 비율을 식별하고, 식별된 비율에 기반하여 상기 광의 굴절 또는 반사에 의한 플레어 발생 여부를 판단하거나, 및/또는 상기 플레어를 보정할 수 있다.
본 발명의 상기 및/또는 다른 측면은 첨부된 도면을 참조하여 본 발명의 특정 실시예를 설명함으로써 더욱 명백해질 것이다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블럭도이다.
도 2는 다양한 실시예들에 따른, 전자 장치의 구성요소를 나타내는 전면 사시도이다.
도 3은, 다양한 실시예들에 따른, 전자 장치의 후면 사시도이다.
도 4는, 일 실시예에 따른, 전자 장치의 분리 사시도이다.
도 5는, 일 실시예에 따른, 카메라 모듈을 포함하는 전자 장치에 대한 도면이다.
도 6은, 일 실시예에 따른, 굴곡형 광학계를 포함하는 카메라 모듈을 나타내는 도면이다.
도 7은, 일 실시예에 따른, 굴곡형 광학계를 포함하는 카메라 모듈을 나타내는 도면이다.
도 8은, 일 실시예에 따른, 굴곡형 광학계를 포함하는 카메라 모듈을 개념적으로 나타내는 도면이다.
도 9는, 일 실시예에 따른, 2PD 서브 픽셀을 나타내는 도면이다.
도 10은, 본 개시의 다양한 실시예들에 따른, 복수의 서브 픽셀들을 포함하는 이미지 센서들에 대한 도면이다.
도 11은, 일 실시예에 따른, 전자 장치의 구성요소를 나타내는 블록도이다.
도 12는, 일 실시예에 따른, 캘리브레이션 동작을 나타내는 도면이다.
도 13은, 일 실시예에 따른, 플레어 보정 방법을 나타내는 도면이다.
도 14a는, 일 실시예에 따른, 플레어 현상이 나타난 실물 도면이다.
도 14b는, 도14a의 이미지를 마젠타 배경에 표시한 도면이다. 그리고,
도 15는, 일 실시예에 따른, 플레어 보정이 적용된 실물 도면을 나타낸다.
일 실시예에 따른 굴절형 광학계는, 3개의 프리즘(prism) 조각으로 예각이 대략 30도인 평행 사변형 프리즘 구조를 구성하고 예각이 있는 한쪽 면에 렌즈 리드 타입 구조(광 경로 상 렌즈가 굴절형 광학계 앞에 배치된 구조)로 광학 렌즈가 배치된다. 광이 상기 광학 렌즈에 입력되면, 평행사변형 프리즘 구성체안에서 4회 광경로가 반사된다. 상기 광 경로는 다른 예각쪽 배면에 위치한 결상용 이미지 센서에 종착된다. 비교적 좁은 기구 구조에 입사광을 4회나 반사시켜 효과적으로 긴 초첨 거리를 구성할 수 있다.
일 실시예에 따른 굴절형 광학계는, 렌즈 리드 타입으로 구성되고 개구부 렌즈 아래 대략 45도 3각 프리즘을 배치하고 굴절된 광경로상 AF(auto focus)등의 동작 가능한 이동할 수 있는 광학계를 배치하고 개구부 아래 있는 프리즘의 반대편에 다른 대략 45도 3각 프리즘을 추가 배치 후 이미지 센서를 개구부 옆에 실장하는 구조를 가질 수 있다. 이 실시예에서는 입사광을 2회 반사 시켜서 역시 좁은 공간에 효과적으로 초점거리가 긴 렌즈를 실장 할 수 있고 AF 구조물의 이동 공간도 확보할 수 있다.
이와 같은 다굴절 렌즈는, 광경로가 상이하게 형성됨에 따른 플레어(flare)현상이 발생할 수 있다. 광경로가 상이하게 형성됨에 따른 플레어(flare) 현상은 예를 들면, 광을 4회 반사 시킨 후 이미지 센서로 종착되도록 설계된 광학계에서, 2번째 반사된 광이 이미지 센서 면을 향하게 될 때 이러한 광에 의해 획득된 이미지가 뿌옇게 또는 이중상 형식으로 출력되는 현상을 의미할 수 있다. 광경로가 상이하게 형성됨에 따른 플레어(flare) 현상은, 굴절이 없는 일반적인 직하형 타입의 광학계의 피사체 자체의 밝기가 높음에 따른 플레어 현상과 다르게, 예측되는 내면 광경로에 따라 발생하는 플레어현상으로서, 굴절형 광학계를 채용함에 따른 아티팩트(artifact)를 의미할 수 있다.
본 개시의 일 실예에 따르면, 이러한 광경로가 상이하게 형성됨에 따른 flare 현상을 방지 또는 저감하는 전자 장치 및 그 제어 방법을 제공하고자 한다.
여기서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 특징 및 이점으로 제한되지 않으며, 언급되지 않은 또 다른 기술적 특징 및 이점들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
첨부된 도면에 관한 다음 설명은 청구항 및 이에 상응하는 내용을 포함하는 본 개시의 다양한 예시적인 구현에 대한 이해를 제공할 수 있다. 다음의 설명에서 개시된 예시적인 실시예는 이해를 돕기 위한 다양한 구체적인 세부사항들을 포함하고 있지만 이는 다양한 예시적인 실시예 중 하나인 것으로 간주된다. 따라서, 일반 기술자는 본 문서에 기술된 다양한 구현의 다양한 변경과 수정이 공개의 범위와 기술적 사상에서 벗어나지 않고 이루어질 수 있음을 이해할 것이다. 또한 명확성과 간결성을 위해 잘 알려진 기능 및 구성의 설명은 생략될 수 있다.
다음 설명과 청구에 사용된 용어와 단어는 참고 문헌적 의미에 국한되지 않고, 본 개시의 일 실시예를 명확하고 일관되게 설명하기 위해 사용될 수 있다. 따라서, 기술분야에 통상의 기술자에게, 공시의 다양한 구현 예시에 대한 다음의 설명이 권리범위 및 이에 준하는 것으로 규정하는 공시를 제한하기 위한 목적이 아니라 설명을 위한 목적으로 제공된다는 것은 명백하다 할 것이다.
문맥이 다르게 명확하게 지시하지 않는 한, "a", "an", 그리고 "the"의 단수형식은 복수의 의미를 포함한다는 것을 이해해야 한다. 따라서 예를 들어 "구성 요소 표면"이라 함은 구성 요소의 표면 중 하나 또는 그 이상을 포함하는 것으로 이해될 수 있다.
도 1은, 본 개시의 일 실시예에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 일 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 일 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU; neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼) 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부의 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부의 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부의 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부의 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부의 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 일 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
일 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제2 면(예: 윗면 또는 측면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들 간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104) 간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104 또는 108) 중 하나 이상의 외부 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC; mobile edge computing) 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 일 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
본 개시의 실시예(들)에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 개시의 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나","A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것으로 이해될 수 있다.
본 개시의 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 개시의 실시예들은 기기(machine)(예: 전자 장치) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리 또는 외장 메모리)에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램)로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치)의 프로세서(예: 프로세서)는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 개시의 실시예(들)에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
일 실시예에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수 있다. 일 실시예에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 일 실시예에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
이하의 상세한 설명에서, 전자 장치의 길이 방향, 폭 방향 및/또는 두께 방향이 언급될 수 있으며, 길이 방향은 'Y축 방향'으로, 폭 방향은 'X축 방향'으로, 및/또는 두께 방향은 'Z축 방향'으로 정의될 수 있다. 일 실시예에서, 구성요소가 지향하는 방향에 관해서는 도면에 예시된 직교 좌표계와 아울러, '음/양(-/+)'이 함께 언급될 수 있다. 예를 들어, 전자 장치 또는 하우징의 전면은 '+Z 방향을 향하는 면'으로, 후면은 '-Z 방향을 향하는 면'으로 정의될 수 있다. 일 실시예에서, 전자 장치 또는 하우징 측면은, +X 방향을 향하는 영역, +Y 방향을 향하는 영역, -X 방향을 향하는 영역 및/또는 -Y 방향을 향하는 영역을 포함할 수 있다. 일 실시예에서, 'X축 방향'은 '-X 방향'과 '+X 방향'을 모두 포함하는 의미일 수 있다. 이는 설명의 간결함을 위해 도면에 기재된 직교 좌표계를 기준으로 한 것으로, 이러한 방향이나 구성요소들에 대한 설명이 본 개시의 실시예(들)를 한정하지 않음에 유의한다.
도 2는 본 개시의 일 실시예에 따른 전자 장치(200)의 전면을 나타내는 사시도이다. 도 3은 본 개시의 일 실시예에 따른, 도 2에 도시된 전자 장치(200)의 후면을 나타내는 사시도이다.
도 2 및 3을 참조하면, 일 실시예에 따른 전자 장치(200)는, 제1 면(또는 전면)(210A), 제2 면(또는 후면)(210B), 및 제1 면(210A) 및 제2 면(210B) 사이의 공간을 둘러싸는 측면(210C)을 포함하는 하우징(210)을 포함할 수 있다. 일 실시예(미도시)에서는, 하우징은, 도 2의 제1 면(210A), 제2 면(210B) 및 측면(210C)들 중 일부를 형성하는 구조를 지칭할 수도 있다. 일 실시예에 따르면, 제1 면(210A)은 적어도 일부분이 실질적으로 투명한 전면 플레이트(202)(예: 다양한 코팅 레이어들을 포함하는 글라스 플레이트, 또는 폴리머 플레이트)에 의하여 형성될 수 있다. 제2 면(210B)은 실질적으로 불투명한 후면 플레이트(211)에 의하여 형성될 수 있다. 상기 후면 플레이트(211)는, 예를 들어, 코팅 또는 착색된 유리, 세라믹, 폴리머, 금속(예: 알루미늄, 스테인레스 스틸(STS), 또는 마그네슘), 또는 상기 물질들 중 적어도 둘의 조합에 의하여 형성될 수 있다. 상기 측면(210C)은, 전면 플레이트(202) 및 후면 플레이트(211)와 결합하며, 금속 및/또는 폴리머를 포함하는 측면 구조 (또는 "측면 베젤 구조")(218)에 의하여 형성될 수 있다. 일 실시예에서는, 후면 플레이트(211) 및 측면 구조(218)는 일체로 형성되고 동일한 물질(예: 알루미늄과 같은 금속 물질)을 포함할 수 있다.
도시된 실시예에서는, 상기 전면 플레이트(202)는, 상기 제1 면(210A)으로부터 상기 후면 플레이트(211) 쪽으로 휘어져 심리스하게(seamless) 연장된 2개의 제1 영역(210D)들을, 상기 전면 플레이트(202)의 긴 엣지(long edge) 양단에 포함할 수 있다. 도시된 실시예(도 3 참조)에서, 상기 후면 플레이트(211)는, 상기 제2 면(210B)으로부터 상기 전면 플레이트(202) 쪽으로 휘어져 심리스하게 연장된 2개의 제2 영역(210E)들을 긴 엣지 양단에 포함할 수 있다. 일 실시예에서는, 상기 전면 플레이트(202)(또는 상기 후면 플레이트(211))가 상기 제1 영역(210D)들(또는 상기 제2 영역(210E)들) 중 하나만을 포함할 수 있다. 일 실시예에서는, 상기 제1 영역(210D)들 또는 제2 영역(210E)들 중 일부가 포함되지 않을 수 있다. 상기 실시예들에서, 상기 전자 장치(200)의 측면에서 볼 때, 측면 구조(218)는, 상기와 같은 제1 영역(210D)들 또는 제2 영역(210E)들이 포함되지 않는 측면 쪽에서는 제1 두께(또는 폭)를 가지고, 상기 제1 영역(210D)들 또는 제2 영역(210E)들을 포함한 측면 쪽에서는 상기 제1 두께보다 얇은 제2 두께를 가질 수 있다.
일 실시예에 따르면, 전자 장치(200)는, 디스플레이(201), 오디오 모듈(203, 207, 214), 센서 모듈(204, 216, 219), 카메라 모듈(205, 212, 213), 키 입력 장치(217), 발광 소자(206), 및 커넥터 홀(208, 209) 중 적어도 하나 이상을 포함할 수 있다. 일 실시예에서는, 전자 장치(200)는, 구성요소들 중 적어도 하나(예: 키 입력 장치(217), 또는 발광 소자(206))를 생략하거나 다른 구성요소를 추가적으로 포함할 수 있다.
디스플레이(201)는, 예를 들어, 전면 플레이트(202)의 상당 부분을 통하여 시각적으로 노출될 수 있다. 일 실시예에서는, 상기 제1 면(210A), 및 상기 측면(210C)의 제1 영역(210D)들을 형성하는 전면 플레이트(202)를 통하여 상기 디스플레이(201)의 적어도 일부가 시각적으로 노출될 수 있다. 일 실시예에서는, 디스플레이(201)의 모서리를 상기 전면 플레이트(202)의 인접한 외곽 형상과 대체로 동일하게 형성할 수 있다. 일 실시예(미도시)에서는, 디스플레이(201)가 시각적으로 노출되는 면적을 확장하기 위하여, 디스플레이(201)의 외곽과 전면 플레이트(202)의 외곽간의 간격이 대체로 동일하게 형성될 수 있다.
일 실시예(미도시)에서는, 디스플레이(201)의 화면 표시 영역의 일부에 리세스 또는 개구부(opening)를 형성하고, 상기 리세스 또는 상기 개구부(opening)와 정렬되는 오디오 모듈(214), 센서 모듈(204), 카메라 모듈(205), 및 발광 소자(206) 중 적어도 하나 이상을 포함할 수 있다. 일 실시예(미도시)에서는, 디스플레이(201)의 화면 표시 영역의 배면에, 오디오 모듈(214), 센서 모듈(204), 카메라 모듈(205), 지문 센서(216), 및 발광 소자(206) 중 적어도 하나 이상을 포함할 수 있다. 일 실시예(미도시)에서는, 디스플레이(201)는, 터치 감지 회로, 터치의 세기(압력)를 측정할 수 있는 압력 센서, 및/또는 자기장 방식의 스타일러스 펜을 검출하는 디지타이저와 결합되거나 인접하여 배치될 수 있다. 일 실시예에서는, 상기 센서 모듈(204, 219)의 적어도 일부, 및/또는 키 입력 장치(217)의 적어도 일부가, 상기 제1 영역(210D)들, 및/또는 상기 제2 영역(210E)들에 배치될 수 있다.
오디오 모듈(203, 207, 214)은, 마이크 홀(203) 및 스피커 홀(207, 214)을 포함할 수 있다. 마이크 홀(203)은 외부의 소리를 획득하기 위한 마이크가 내부에 배치될 수 있고, 일 실시예에서는 소리의 방향을 감지할 수 있도록 복수개의 마이크가 배치될 수 있다. 스피커 홀(207, 214)은, 외부 스피커 홀(207) 및 통화용 리시버 홀(214)을 포함할 수 있다. 일 실시예에서는 스피커 홀(207, 214)과 마이크 홀(203)이 하나의 홀로 구현되거나, 스피커 홀(207, 214) 없이 스피커가 포함될 수 있다(예: 피에조 스피커).
센서 모듈(204, 216, 219)은, 전자 장치(200)의 내부의 작동 상태, 또는 외부의 환경 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 센서 모듈(204, 216, 219)은, 예를 들어, 하우징(210)의 제1 면(210A)에 배치된 제1 센서 모듈(204)(예: 근접 센서) 및/또는 제2 센서 모듈(미도시)(예: 지문 센서), 및/또는 상기 하우징(210)의 제2 면(210B)에 배치된 제3 센서 모듈(219)(예: heart rate monitor(HRM) 센서) 및/또는 제4 센서 모듈(216) (예: 지문 센서)을 포함할 수 있다. 상기 지문 센서는 하우징(210)의 제1면(210A)(예: 디스플레이(201))뿐만 아니라 제2면(210B)에 배치될 수 있다. 전자 장치(200)는, 도 1의 센서 모듈(176), 예를 들어, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서 중 적어도 하나를 더 포함할 수 있다.
카메라 모듈(205, 212, 213)은, 전자 장치(200)의 제1 면(210A)에 배치된 제1 카메라 장치(205), 및 제2 면(210B)에 배치된 제2 카메라 장치(212), 및/또는 플래시(213)를 포함할 수 있다. 상기 카메라 장치들(205, 212)은, 하나 또는 복수의 렌즈들, 이미지 센서, 및/또는 이미지 시그널 프로세서를 포함할 수 있다. 플래시(213)는, 예를 들어, 발광 다이오드 또는 제논 램프(xenon lamp)를 포함할 수 있다. 일 실시예에서는, 2개 이상의 렌즈들(적외선 카메라, 광각 및 망원 렌즈) 및 이미지 센서들이 전자 장치(200)의 한 면에 배치될 수 있다.
키 입력 장치(217)는, 하우징(210)의 측면(210C)에 배치될 수 있다. 일 실시예에서는, 전자 장치(200)는 상기 언급된 키 입력 장치(217) 중 일부 또는 전부를 포함하지 않을 수 있고 포함되지 않은 키 입력 장치(217)는 디스플레이(201) 상에 소프트 키 등 다른 형태로 구현될 수 있다. 일 실시예에서, 키 입력 장치는 하우징(210)의 제2면(210B)에 배치된 센서 모듈(216)을 포함할 수 있다.
발광 소자(206)는, 예를 들어, 하우징(210)의 제1 면(210A)에 배치될 수 있다. 발광 소자(206)는, 예를 들어, 전자 장치(200)의 상태 정보를 광 형태로 제공할 수 있다. 일 실시예에서는, 발광 소자(206)는, 예를 들어, 카메라 모듈(205)의 동작과 연동되는 광원을 제공할 수 있다. 발광 소자(206)는, 예를 들어, LED, IR LED 및 제논 램프를 포함할 수 있다.
커넥터 홀(208, 209)은, 외부 전자 장치와 전력 및/또는 데이터를 송수신하기 위한 커넥터(예를 들어, USB 커넥터)를 수용할 수 있는 제1 커넥터 홀(208), 및/또는 외부 전자 장치와 오디오 신호를 송수신하기 위한 커넥터를 수용할 수 있는 제2 커넥터 홀(예를 들어, 이어폰 잭)(209)을 포함할 수 있다.
도 4는 본 개시의 일 실시예에 따른, 도 2에 도시된 전자 장치(200)를 나타내는 분리 사시도이다.
도 4를 참조하면, 전자 장치(300)(예: 도 2 또는 도 3의 전자 장치(200))는, 측면 구조(310)(예: 도 2의 측면 구조(218)), 제1 지지 부재(311)(예: 브라켓), 전면 플레이트(320)(예: 도 2의 전면 플레이트(202)), 디스플레이(330)(예: 도 2의 디스플레이(201)), 인쇄 회로 기판(340)(예: PCB(printed circuit board), PBA(printed board assembly), FPCB(flexible PCB) 또는 RFPCB(rigid-flexible PCB)), 배터리(350), 제2 지지 부재(360)(예: 리어 케이스), 안테나(370) 및 후면 플레이트(380)(예: 도 3의 후면 플레이트(211))를 포함할 수 있다. 일 실시예에서는, 전자 장치(300)는, 구성요소들 중 적어도 하나(예: 제1 지지 부재(311), 또는 제2 지지 부재(360))를 생략하거나 다른 구성요소를 추가적으로 포함할 수 있다. 전자 장치(300)의 구성요소들 중 적어도 하나는, 도 2 또는 도 3의 전자 장치(200)의 구성요소들 중 적어도 하나와 동일 또는 유사할 수 있으며, 중복되는 설명은 이하 다시 반복되지 않을 수 있다.
제1 지지 부재(311)는, 전자 장치(300) 내부에 배치되어 측면 구조(310)와 연결될 수 있거나, 측면 구조(310)와 일체로 형성될 수 있다. 제1 지지 부재(311)는, 예를 들어, 금속 재질 및/또는 비금속 (예: 폴리머) 재질로 형성될 수 있다. 제1 지지 부재(311)는, 일면에 디스플레이(330)가 결합되고 타면에 인쇄 회로 기판(340)이 결합될 수 있다. 인쇄 회로 기판(340)에는, 프로세서, 메모리, 및/또는 인터페이스가 장착될 수 있다. 프로세서는, 예를 들어, 중앙처리장치, 어플리케이션 프로세서, 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서 중 하나 또는 그 이상을 포함할 수 있다.
메모리는, 예를 들어, 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다.
인터페이스는, 예를 들어, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 및/또는 오디오 인터페이스를 포함할 수 있다. 인터페이스는, 예를 들어, 전자 장치(300)를 외부 전자 장치와 전기적 또는 물리적으로 연결시킬 수 있으며, USB 커넥터, SD 카드/MMC 커넥터, 또는 오디오 커넥터를 포함할 수 있다.
배터리(350)는 전자 장치(300)의 적어도 하나의 구성 요소에 전력을 공급하기 위한 장치로서, 예를 들면, 재충전 불가능한 1차 전지, 또는 재충전 가능한 2차 전지, 또는 연료 전지를 포함할 수 있다. 배터리(350)의 적어도 일부는, 예를 들어, 인쇄 회로 기판(340)과 실질적으로 동일 평면 상에 배치될 수 있다. 배터리(350)는 전자 장치(300) 내부에 일체로 배치될 수 있고, 전자 장치(300)와 탈부착 가능하게 배치될 수도 있다.
안테나(370)는, 후면 플레이트(380)와 배터리(350) 사이에 배치될 수 있다. 안테나(370)는, 예를 들어, NFC(near field communication) 안테나, 무선 충전 안테나, 및/또는 MST(magnetic secure transmission) 안테나를 포함할 수 있다. 안테나(370)는, 예를 들어, 외부 장치와 근거리 통신을 하거나, 충전에 필요한 전력을 무선으로 송수신할 수 있다. 일 실시예에서는, 측면 구조(310) 및/또는 상기 제1 지지 부재(311)의 일부 또는 그 조합에 의하여 안테나 구조가 형성될 수 있다.이하의 상세한 설명에서는, 선행 실시예의 전자 장치(101, 102, 104, 200, 300)가 참조될 수 있으며, 선행 실시예를 통해 용이하게 이해될 수 있는 구성에 대해서는 도면의 참조번호를 동일하게 부여하거나 생략하고, 그 상세한 설명 또한 생략될 수 있음에 유의한다.
도 5는 본 개시의 일 실시예에 따른 전자 장치(400)(예: 도 1, 도 2, 도 3, 및 도 4의 전자 장치(101, 102, 104, 200, 300))의 후면을 예시하는 평면도이다. 도 6은 도 5의 A-A'를 따라 본 개시의 일 실시예에 따른 전자 장치(400)의 일부분을 절개하여 나타내는 단면도이다. 도 7은 본 개시의 일 실시예에 따른 전자 장치(400)에서, 렌즈 어셈블리(500)의 광학 경로를 예시하는 구성도이다.
도 5와 도 6을 참조하면, 본 개시의 일 실시예에 따른 전자 장치(400)는, 일면(예: 도 3의 제 2 면(210B))에 배치된 카메라 윈도우(385)를 포함할 수 있다. 일 실시예에서, 카메라 윈도우(385)는 후면 플레이트(380)의 일부일 수 있다. 한 실시예에서, 카메라 윈도우(385)는 장식 부재(389)를 통해 후면 플레이트(380)에 결합될 수 있으며, 외부에서 바라볼 때, 장식 부재(389)는 카메라 윈도우(385)의 둘레를 감싸는 형태로 노출될 수 있다. 한 실시예에 따르면, 카메라 윈도우(385)는 복수의 투명 영역(387)들을 포함할 수 있으며, 전자 장치(400)는 투명 영역(387)들 중 적어도 하나를 통해 외부의 빛을 수신하거나 외부로 빛을 방사할 수 있다. 예를 들어, 전자 장치(400)는 투명 영역(387)들 중 적어도 일부에 대응하게 배치된 적어도 하나의 렌즈 어셈블리(500)(예: 도 1, 도 2 및 도 3의 카메라 모듈(180, 205, 212, 213)), 조명 모듈 및, 투명 영역(387)들 중 다른 일부에 대응하게 배치된 적어도 하나의 광원(예: 적외선 광원)을 포함할 수 있다. 일 실시예에서, 렌즈 어셈블리(500) 또는 광원은 투명 영역(387)들 중 어느 하나를 통해 외부의 빛을 수신하거나 전자 장치(400)의 외부로 빛을 방사할 수 있다. 한 실시예에서, 전자 장치(400) 또는 렌즈 어셈블리(500)는 카메라 지지 부재(381)를 더 포함할 수 있다. 카메라 지지 부재(381)는 렌즈 어셈블리(500) 또는 그에 인접하는 다른 렌즈 어셈블리(예: 광각 카메라, 초광각 카메라 또는 접사 카메라) 중 적어도 하나를, 후면 플레이트(380) 또는 카메라 윈도우(385)의 내측에 배치 또는 고정할 수 있다. 일 실시예에서, 카메라 지지 부재(381)는 실질적으로 도 4의 제1 지지 부재(311) 또는 제2 지지 부재(360)의 일부일 수 있다.
일 실시예에 따르면, 전자 장치(400)는 렌즈 어셈블리(500) 또는 수광 소자로서의 광각 카메라, 초광각 카메라, 접사 카메라, 망원 카메라 또는 적외선 포토 다이오드 중 적어도 하나를 포함할 수 있으며, 광원 또는 발광 소자로서의 플래시(예: 도 3의 플래시(213))나 적외선 레이저 다이오드를 포함할 수 있다. 일 실시예에서, 전자 장치(400)는 적외선 레이저 다이오드와 적외선 포토 다이오드를 이용하여, 피사체를 향해 적외선 레이저를 방사하고, 피사체에 의해 반사된 적외선 레이저를 수신함으로써 피사체까지의 거리 또는 심도를 검출할 수 있다. 일 실시예에서, 전자 장치(400)는 카메라들 중 어느 하나 또는 둘 이상을 조합하여 피사체를 촬영할 수 있으며, 필요에 따라 플래시를 이용하여 피사체를 향해 조명을 제공할 수 있다.
일 실시예에 따르면, 카메라들 중, 광각 카메라, 초광각 카메라 또는 접사 카메라는 망원 카메라(예: 렌즈 어셈블리(500))와 대비할 때, 렌즈(들)의 광축 방향을 따라 더 작은 렌즈 전장을 가질 수 있다. 예컨대, 초점 거리가 상대적으로 긴 망원 카메라(예: 렌즈 어셈블리(500))는 렌즈(421a, 421b, 423a, 423b, 423c)(521a, 521b, 523a, 523b)(들)의 렌즈 전장이 다른 카메라보다 클 수 있다. 렌즈의 '전장'이라 함은, 예를 들면, 피사체 측 첫번째 렌즈의 피사체 측 면으로부터 이미지 센서(411)의 결상면까지의 거리일 수 있다. 후술되는 실시예(예: 도 8의 렌즈 어셈블리(600))에서와 같이, 렌즈(들)와 이미지 센서 사이에 다른 광학 부재(예: 미러 또는 프리즘)(들)이 배치된 경우, 렌즈의 '전장'은, 예를 들면, 피사체 측 첫번째 렌즈의 피사체 측 면으로부터 이미지 센서측과 가까운 첫번째 렌즈의 센서측 면까지의 거리일 수 있다. 한 실시예에서, 광각 카메라, 초광각 카메라 또는 접사 카메라는 전자 장치(400)의 두께(예: 도 4 또는 도 6의 Z축 방향으로 측정되는 두께) 방향을 따라 렌즈(들)를 배열하더라도 실질적으로 전자 장치(400)의 두께에 미치는 영향이 작을 수 있다. 예컨대, 외부에서 전자 장치(400)로 빛이 입사되는 방향과 렌즈(들)의 광축 방향이 실질적으로 동일한 상태로 광각 카메라, 초광각 카메라 또는 접사 카메라가 전자 장치(400)에 배치될 수 있다. 이들 광각 카메라, 초광각 카메라 또는 접사 카메라는 직하형 광학계라 할 수 있다. 일 실시예에서, 광각 카메라, 초광각 카메라 또는 접사 카메라와 비교할 때, 렌즈 어셈블리(500)(예: 망원 카메라)는 작은 화각을 가지지만, 더 먼 거리의 피사체 촬영에 유용할 수 있으며, 더 많은 렌즈(421a, 421b, 423a, 423b, 423c)(521a, 521b, 523a, 523b)를 포함할 수 있다. 예컨대, 렌즈 어셈블리(500)의 렌즈(423a, 423b, 423c)(521a, 521b, 523a, 523b)(들)가 전자 장치(400)의 두께 방향(예: Z축 방향)으로 배열되는 경우, 전자 장치(400)의 두께가 증가하거나, 렌즈 어셈블리(500)가 전자 장치(400)의 외부로 상당 부분 돌출될 수 있다. 본 개시의 일 실시예에서, 렌즈 어셈블리(500)는 입사된 광(IL)을 다른 방향으로 반사 또는 굴절시키는 적어도 하나의 반사 및/ 또는 굴절 부재(예: 반사경(리플렉터; reflector) 및/또는 굴절기(리프렉터; refractor))(413, 415)(513, 515)를 포함할 수 있다. 망원 기능을 구현함에 있어, 광의 입사 방향이나, 반사 또는 굴절된 광의 진행 방향에서 렌즈(423a, 423b, 423c)(521a, 521b, 523a, 523b)(들)를 진퇴운동 가능하게 배치될 수 있으며, 이로써 전자 장치(400)의 두께가 증가하는 것을 방지하거나 감소시킬 수 있다.
도 6과 도 7을 참조하면, 렌즈 어셈블리(500)는 제1 반사 및/또는 굴절 부재(413, 513), 제2 반사 및/또는 굴절 부재(415, 515), 이미지 센서(411, 511) 및/또는 적어도 하나의 렌즈계(예: 제2 렌즈(423a, 423b, 423c)(523a, 523b) 또는 더미 부재(423d)를 포함하는 제2 렌즈군(423)(523))를 포함할 수 있다.
도 6및 도 7의 렌즈 어셈블리(500)는, 광의 진행 방향이 적어도 2회 이상 꺾일 수 있는 렌즈 어셈블리(500)로서, 이러한 렌즈 어셈블리(500)를 포함하는 카메라를, 예를 들면, '폴디드 카메라'라고 지칭할 수 있고 이러한 카메라가 형성하는 광학계를, 예를 들면, '굴절형 광학계'라 칭할 수 있다. 폴디드 카메라로서, 렌즈 어셈블리(500)는 광의 진행 방향을 적어도 2 회 이상 꺾을 수 있도록 적어도 하나의 렌즈계(예: 제 2 렌즈(423a, 423b, 423c)(523a, 523b) 또는 더미 부재(423d)를 포함하는 제 2 렌즈군(423)(523))를 포함하고, 또한, 적어도 하나의 렌즈계 한 실시예에서, 적어도 하나의 광학 부재는 제 1 반사 및/또는 굴절 부재(413, 513)에 의해 반사 또는 굴절된 광(RL1)을 제 2 반사 및/또는 굴절 부재(415, 515)로 안내 또는 집속할 수 있으며, 제 1 반사 및/또는 굴절 부재(413, 513)에 의해 반사 또는 굴절된 광(RL1)이 이미지 센서(411, 511)로 직접 입사되는 것을 차단할 수 있다.
일 실시예에 따르면, 제1 반사 및/또는 굴절 부재(413, 513)는, 예를 들면, 적어도 하나의 프리즘, 및/또는 적어도 하나의 미러를 포함할 수 있다. 예를 들어, 제1 반사 및/또는 굴절 부재(413, 513)는 프리즘이나 복수 개의 프리즘들의 조합으로 형성될 수 있다. 예를 들어, 제1 반사 및/또는 굴절 부재(413, 513)는 미러나 복수 개의 미러들의 조합으로 형성될 수 있다. 예를 들어, 제1 반사 및/또는 굴절 부재(413, 513)는 적어도 하나의 미러를 포함하는 프리즘으로 형성될 수 있다. 예를 들어, 제1 반사 및/또는 굴절 부재(413, 513)는 적어도 하나의 면이 미러를 포함하는 프리즘으로 형성될 수 있다. 제1 반사 및/또는 굴절 부재(413, 513)는, 제1 방향(D1)에서 입사된 광(IL)을 제1 방향(D1)에 교차하는 제2 방향(D2)으로 반사 또는 굴절시킬 수 있다. 제1 방향(D1)이라 함은, 예를 들면, 피사체를 촬영할 때 도 5의 투명 영역(387)들 중 어느 하나를 통해 전자 장치(400) 또는 렌즈 어셈블리(500)로 외부에서 광(IL)이 입사되는 방향을 의미할 수 있다. 일 실시예에서, 제1 방향(D1)은, 예를 들면, 촬영 방향, 피사체 방향, 렌즈 어셈블리(500)의 지향 방향 또는 그와 평행한 방향을 의미할 수 있다. 일 실시예에서, 제1 방향(D1)은 전자 장치(400)의 두께 방향 또는 Z축 방향에 평행할 수 있다.
일 실시예에 따르면, 제2 반사 및/또는 굴절 부재(415, 515)는, 예를 들면, 적어도 하나의 프리즘, 및/또는 적어도 하나의 미러를 포함할 수 있다. 예를 들어, 제2 반사 및/또는 굴절 부재(413, 513)는 프리즘이나 복수 개의 프리즘들의 조합으로 형성될 수 있다. 예를 들어, 제2 반사 및/또는 굴절 부재(413, 513)는 미러나 복수 개의 미러들의 조합으로 형성될 수 있다. 예를 들어, 제2 반사 및/또는 굴절 부재(415, 515)는 적어도 하나의 미러를 포함하는 프리즘으로 형성될 수 있다. 예를 들어, 제2 반사 및/또는 굴절 부재(415, 515)는 적어도 하나의 면이 미러를 포함하는 프리즘으로 형성될 수 있다. 제2 반사 및/또는 굴절 부재(415, 515)는, 제1 반사 및/또는 굴절 부재(413, 513)에 의해 반사 또는 굴절되어 제2 방향(D2)을 따라 입사된 광(RL1)을 제2 방향(D2)에 교차하는 제3 방향(D3)으로 반사 또는 굴절시킬 수 있다. 한 실시예에서, 제3 방향(D3)은 실질적으로 제2 방향(D2)에 수직할 수 있다. 예를 들어, 제3 방향(D3)은 예컨대 Z축 방향과 평행한 방향을 의미할 수 있다. 하지만 본 개시의 일 실시예가 이에 한정되지 않으며, 전자 장치(400) 내에서 렌즈 어셈블리(500) 또는 제2 반사 및/또는 굴절 부재(415)의 배치와 그 사양에 따라 제3 방향(D3)은 예컨대 제2 방향(D2) 또는 X-Y 평면에 대하여 경사진 방향일 수 있다. 일 실시예에서, 제3 방향(D3)은 제1 방향(D1)과 실질적으로 평행할 수 있다. 또한, 제 3 방향(D3)은 도 6을 참조하면, 카메라 윈도우(385)에 인접하게 배치된 이미지 센서(411)에 대응하여 전자 장치의 외부를 향하는 것일 수 있다. 본 개시의 제 3 방향(D3)은 이에 한정되는 것이 아니라, 도 7에서와 같이, 전자 장치 내부(예: 도 6의 카메라 지지 부재(381))에 배치된 이미지 센서(511)에 대응하여, 전자 장치의 내부를 향할 수도 있다.
일 실시예에 따르면, 이미지 센서(411, 511)는 제2 반사 및/또는 굴절 부재(415, 515)에 의해 반사 또는 굴절되어 제3 방향(D3)을 따라 입사되는 광(RL2)을 검출하도록 설정될 수 있다. 예컨대, 외부에서 입사된 광(IL)이 제1 반사 및/또는 굴절 부재(413, 513)와 제2 반사 및/또는 굴절 부재(415, 515)를 경유하여 이미지 센서(411, 511)에서 검출될 수 있으며, 전자 장치(400) 또는 렌즈 어셈블리(500)는 이미지 센서(411, 511)를 통해 검출된 신호 또는 정보에 기반하여 피사체 이미지를 획득할 수 있다. 한 실시예에서, 이미지 센서(411, 511)는 실질적으로 X-Y 평면에 평행한 상태로 배치될 수 있다. 예를 들어, 렌즈 어셈블리(500)이 이미지 센서(411, 511)를 쉬프트시키는 구조의 손떨림 보정 기능을 가질 때, 이미지 센서(411, 511)는 제1 방향(D1) 또는 제3 방향(D3)에 수직인 평면에서 수평 이동할 수 있다.
일 실시예에 따르면, 손떨림 보정 동작을 수행함에 있어, 이미지 센서(411, 511)는 전자 장치(400)의 길이 방향(예: Y축 방향) 또는 폭 방향(예: X축 방향)으로 쉬프트될 수 있다. 예컨대, 이미지 센서(411, 511)는 제1 방향(D1) 또는 제3 방향(D3)에 수직인 평면에 배치됨으로써, 두께가 작은(예: 대략 10mm 이내의 두께) 전자 장치에서, 이미지 센서(411, 511)의 크기를 확장하기 용이할 수 있고, 및/또는 손떨림 보정 동작을 위한 공간의 확보가 용이할 수 있다. 한 실시예에서, 렌즈 어셈블리(500)가 망원 카메라로서 활용될 때, 손떨림 보정 기능이 탑재됨으로써 촬영 이미지의 품질이 더욱 고도화될 수 있다. 일 실시예에서, 이미지 센서(411, 511)가 대형화될 때, 렌즈 어셈블리(500)의 성능이 더욱 높아질 수 있다.
일 실시예에 따르면, 렌즈 어셈블리(500)는, 제1 방향(D1)에서 입사되는 광(IL)을 제1 반사 및/또는 굴절 부재(413, 513)로 안내 또는 집속하는 렌즈계(예: 적어도 하나의 제1 렌즈(421a, 421b)521a, 521b)를 포함하는 제1 렌즈군(421, 521))를 더 포함할 수 있다. 한 실시예에서, 제1 렌즈군(421, 521) 또는, 렌즈 어셈블리(500)에서 피사체 측에 배치된 첫 번째 렌즈(예: 제1 렌즈(421a, 521a))는 정의 굴절력을 가질 수 있다. 예를 들어, 제1 렌즈(421a, 521a)가 외부에서 입사되는 광(IL)을 제1 반사 및/또는 굴절 부재(413, 513)로 집속 또는 정렬하도록 구성됨으로써, 제1 렌즈(421a, 521a)로부터 이미지 센서(411, 511)에 이르는 광학계가 소형화될 수 있다. 렌즈 어셈블리(500)가 상기 제 1 렌즈군(421, 521)을 포함할 때, 이 렌즈 어셈블리를 포함하는 카메라를 예를 들면 '렌즈 리드 타입 카메라'라고 지칭할 수 있다. 실시예에 따라 제1 렌즈군(421, 521)은 외부에서 입사되는 광의 집속 또는 정렬을 위해 추가의 제1 렌즈(421b, 521b)(들)를 더 포함할 수 있다.
일 실시예에 따르면, 제2 렌즈군(423, 523)은, 더미 부재(423d)와 차광 부재(425)를 포함할 수 있다. 더미 부재(423d)는 예를 들면, 렌즈 어셈블리(500) 또는 전자 장치(400)의 내부에 배치되며 제2 방향(D2)을 따라 연장된 실린더 형상일 수 있고, 제2 방향(D2)을 따라 진행하는 광(RL1)을 투과시킬 수 있다. 일 실시예에서, 더미 부재(423d)는 정 또는 부의 굴절력을 가진 렌즈의 하나일 수 있다. 일 실시예에서, 더미 부재(423d)는 제2 렌즈(423a, 423b, 423c)(523a, 523b)들 중 어느 하나 또는 제2 반사 및/또는 굴절 부재(415, 515)와 일체로(integrally) 형성된 구성품일 수 있다.
일 실시예에 따르면, 차광 부재(425)는 더미 부재(423d)의 외주면 적어도 일부에 형성 또는 배치될 수 있으며, 광을 흡수, 산란 또는 반사시킬 수 있다. 차광 부재(425)는, 예를 들면, 더미 부재(423d)의 외주면 중 적어도 일부에서 부식 처리, 흑칠(black lacquer) 처리하거나, 및/또는 반사층을 인쇄 또는 증착함으로써 형성될 수 있다. 한 실시예에서, 제1 반사 및/또는 굴절 부재(413, 513)에 의해 반사 또는 굴절된 광의 일부가 차광 부재(425)에 의해 흡수, 산란 또는 반사될 수 있다. 한 실시예에서, 차광 부재(425)는 제1 반사 및/또는 굴절 부재(413, 513)에 의해 반사 또는 굴절된 광이 제2 렌즈군(423, 523) 및/또는 제2 반사 및/또는 굴절 부재(415, 515)를 경유하지 않고 이미지 센서(411, 511)로 직접 입사되는 것을 실질적으로 차단할 수 있다. 예컨대, 렌즈 어셈블리(500)에서 제1 방향(D1), 제2 방향(D2) 및/또는 제3 방향(D3)을 순차적으로 경유한 광(예: 도 7의 'IL, 'RL1', 'RL2'로 지시된 경로를 따르는 광)이 이미지 센서(511)로 입사될 수 있으며, 다른 경로를 진행한 광이 이미지 센서(511)로 입사되는 것은 실질적으로 차단될 수 있다.
일 실시예에 따르면, 제2 렌즈(423a, 423b, 423c)(523a, 523b) 중 적어도 하나는, 제1 반사 및/또는 굴절 부재(413, 513)와 제2 반사 및/또는 굴절 부재(415, 515) 사이에서, 제2 방향(D2)과 실질적으로 동일한 축을 따라 진퇴운동할 수 있다. 예를 들어, 전자 장치(400)(예: 도 1의 프로세서(120)) 또는 렌즈 어셈블리(500)는 적어도 하나의 제2 렌즈(423a, 423b, 423c)(523a, 523b)를 제2 방향(D2)과 실질적으로 동일한 축을 기준으로 진퇴운동시킴으로써, 초점 거리 조절 또는 초점 조절을 수행할 수 있다. 스마트 폰과 같은 소형화된 전자 장치는 대략 10mm 내외의 두께를 가질 수 있으며, 이 경우, 렌즈가 두께 방향으로 진퇴운동할 수 있는 범위가 제한될 수 있다.
일 실시예에 따르면, 제2 방향(D2)은 실질적으로 길이 방향(예: 도 4의 Y축 방향), 폭 방향(예: 도 4의 X축 방향) 및/또는 X-Y 평면에 평행할 수 있으며, 초점 조절을 위해 Z축 방향으로 진퇴운동하는 일반적인 광각 카메라와 비교할 때, 적어도 하나의 제2 렌즈(423a, 423b, 423c)(523a, 523b)가 진퇴운동할 수 있는 범위가 클 수 있다. 예컨대, 적어도 하나의 제2 렌즈(423a, 423b, 423c)(523a, 523b)가 제2 방향(D2)과 실질적으로 동일한 축을 따라 진퇴운동함으로써, 렌즈 어셈블리(500)에서 망원 성능이 향상되면서 초점 거리 조절 또는 초점 조절을 위한 진퇴운동 공간의 확보에 있어 설계 자유도가 향상될 수 있다.
일 실시예에 따르면, 전자 장치(400) 및/또는 렌즈 어셈블리(500)은 적외선 차단 필터(519)를 더 포함할 수 있다. 한 실시예에서, 적외선 차단 필터(519)는 적외선 또는 근적외선 파장 대역의 빛이 이미지 센서(411, 511)로 입사되는 것을 차단할 수 있으며, 제 1 렌즈(421a, 521a)로부터 이미지 센서(411, 511) 사이의 광학 경로에서 임의의 위치에 배치될 수 있다. 일 실시예에서, 적외선 차단 필터(519)는 이미지 센서(411, 511)와 가까운 위치(예: 이미지 센서(411, 511)와 제 2 반사 및/또는 굴절 부재(415, 515) 사이)에 배치됨으로써, 적외선 차단 필터(519)가 외부에 시각적으로 노출되는 것을 억제 또는 방지할 수 있다. 한 실시예에서, 제 1 반사 및/또는 굴절 부재(413, 513), 제 2 반사 및/또는 굴절 부재(415, 515) 및/또는 적어도 하나의 광학 부재(예: 제 2 렌즈군(423, 523))가 적외선 차단 코팅층을 포함할 수 있으며, 이 경우, 적외선 차단 필터(519)는 생략될 수 있다. 일 실시예에서, 적외선 차단 코팅층은 더미 부재(423d)의 이미지 센서 측 면과 피사체 측 면 중 적어도 하나 또는 제 2 반사 및/또는 굴절 부재(415, 515)에 제공될 수 있다. 이로써, 이미지 센서(411, 511)는 실질적으로 적외선 차단 필터(519)(또는 적외선 차단 코팅층)을 투과한 광을 검출할 수 있다.
도 8은 본 개시의 일 실시예에 따른 전자 장치(400)에서, 렌즈 어셈블리(600)의 광학 경로를 예시하는 구성도이다.
렌즈 어셈블리(600)는 광을 적어도 2회 굴절 또는 반사시켜 제 1 광 경로를 형성할 수 있다. 도 8를 참조하면, 제 1 광 경로는 점선으로 표시될 수 있으며, 제 1 광 경로를 따라 진행되는 광은 도 8에서 'IL', 'RL1', 'RL2', 'RL3', 및 'RL4'로 지시된 경로를 따를 수 있다. 일 실시예에 따르면, 상기 제 1 광 경로는 렌즈 어셈블리(600)의 중심을 통과하며, 이미지 센서(611)에 대하여 실질적으로 수직하게 입사하는 광 경로일 수 있다. 상기 제 1 광 경로는 렌즈 어셈블리(600)에 포함된 적어도 하나의 반사 및/또는 굴절 부재와, 상기 적어도 하나의 반사 및/또는 굴절 부재에 대하여 실시예에 따라 추가적으로 마련될 수 있는 적어도 하나의 렌즈에 의해 형성될 수 있다. 예를 들어, 렌즈 어셈블리(600)는 하나의 반사 및/또는 굴절 부재(613)를 포함할 수 있다. 이때 반사 및/또는 굴절 부재(613)는 예컨대, 사다리꼴 프리즘 또는 미러 구조로 형성될 수 있다. 반사 및/또는 굴절 부재(613)가 평행 사다리꼴 프리즘 또는 미러 구조로 형성되는 경우, 반사 및/또는 굴절 부재(613)는 예를 들면, 제 1 반사면(613a), 제 2 반사면(613b), 제 3 반사면(613c) 및 제 4 반사면(613d)을 포함할 수 있다. 도 8의 실시예에서, 제 1 반사면(613a)과 제 4 반사면(613d)은 서로 평행하고, 제 2 반사면(613b)과 제 3 반사면(613c)는 서로 평행할 수 있어서, 도 7의 실시예와 유사한 광 경로를 형성할 수 있다. 달리 말해, 도 8의 실시예는 반사 및/또는 굴절 부재(613)가 평행 사변형 프리즘 또는 미러 구조를 이룰 수도 있다. 다만, 본 개시의 렌즈 어셈블리(600)의 예시가 반드시 이에 한정되는 것은 아니다. 예를 들면, 도 8에 도시된 바와 달리, 제 1 반사면(613a)과 제 4반사면(613d)은 제 2 반사면(613b) 또는 제 3 반사면(613c)을 밑변으로 하고, 두 내각(밑각)의 크기가 같은 등각 사다리꼴로 형성될 수도 있다. 렌즈 어셈블리(600)가 등각 사다리꼴로 형성되는 경우에는 도 6의 실시예와 유사한 광 경로를 형성할 수 있다. 일 실시예에 따르면, 렌즈 어셈블리(600)에 포함된 반사 및/또는 굴절 부재(613)는 일체(一體)(one body)의 사다리꼴 프리즘 또는 미러 구조로 구성될 수도 있으나, 이와 달리 복수의 프리즘 또는 미러 조각이 조합 및/또는 결합되어 사다리꼴 프리즘 또는 미러 구조의 반사 및/또는 굴절 부재(613)를 형성할 수도 있다.
일 실시예에 따르면, 렌즈 어셈블리(600)는 복수의 반사 및/또는 굴절 부재을 포함할 수도 있다. 예를 들면, 렌즈 어셈블리(600)는 도 6 및 도7에 도시된 바와 같이 적어도 2 개의 반사 및/또는 굴절 부재(예: 제 1 반사 및/또는 굴절 부재(413, 513), 제 2 반사 및/또는 굴절 부재(415, 515))를 포함함으로써 광을 적어도 2회 굴절 또는 반사시켜 제 1 광 경로를 형성할 수도 있다. 렌즈 어셈블리(600)가 복수의 반사 및/또는 굴절 부재(예: 제 1 반사 및/또는 굴절 부재(413, 513), 제 2 반사 및/또는 굴절 부재(415, 515))를 포함하는 경우, 상기 복수의 반사 및/또는 굴절 부재 사이에는 적어도 하나의 렌즈계(예: 도 6 및 도 7의 제 2 렌즈(423a, 423b, 423c)(523a, 523b) 또는 더미 부재(423d)를 포함하는 제 2 렌즈군(423)(523))를 더 포함할 수도 있다.
아울러, 렌즈 어셈블리(600)는 도면에 도시되진 않았으나, 도 7에서 전술한 적외선 차단 필터(519)를 더 포함할 수도 있다. 일 실시예에 따르면, 렌즈 어셈블리(600)는, 외부에서 입사되는 광(IL)을 적어도 하나의 반사 및/또는 굴절 부재(613)로 안내 또는 집속하는 렌즈계(예: 적어도 하나의 제 1 렌즈(621a, 621b)를 포함하는 제 1 렌즈군(621))를 더 포함할 수 있다. 한 실시예에서, 제 1 렌즈군(621) 또는, 렌즈 어셈블리(600)에서 피사체 측에 배치된 첫 번째 렌즈(예: 제 1 렌즈(621a))는 정의 굴절력을 가질 수 있다. 예를 들어, 제 1 렌즈(621a)가 외부에서 입사되는 광(IL)을 적어도 하나의 반사 및/또는 굴절 부재(613)로 집속 또는 정렬하도록 구성됨으로써, 제 1 렌즈(621)로부터 이미지 센서(611)에 이르는 광학계가 소형화될 수 있다. 아울러, 렌즈 어셈블리(600)가 상기 제 1 렌즈군(621)을 포함할 때, 이 렌즈 어셈블리를 포함하는 카메라를 '렌즈 리드 타입 카메라'라고 지칭할 수 있다. 실시예에 따라 제 1 렌즈군(621)은 외부에서 입사되는 광의 집속 또는 정렬을 위해 추가의 제 1 렌즈(621b)(들)를 더 포함할 수 있다.
도 8을 참조하면, 사다리꼴 프리즘 또는 미러 구조(또는 평행 사변형 프리즘 또는 미러 구조)와 그를 포함하는 굴절형 광학계는 제 1 반사면(613a), 제 2 반사면(613b), 제 3 반사면(613c) 및 제 4 반사면(613d)에 각각 굴절 또는 반사된 광, 즉 4번 굴절 또는 반사된 광만 이미지 센서에 입사되도록 설계될 수 있다. 그런데, 어떤 실시예에 따르면, 도 8에 도시된 바와 같이 반사 및/또는 굴절 부재(613)에 의해 굴절 또는 반사되는 광의 적어도 일부 광은 상기 제 1 광 경로와 상이한 제 2 광 경로로 상기 이미지 센서(611)에 입사할 수 있다. 여기서, 제 2 광 경로는 일점 쇄선으로 표시될 수 있으며, 제 2 광 경로를 따라 진행되는 광은 도 8에서 'IL, 'RL1', 'RL2''로 지시된 경로를 따를 수 있다. 예를 들어, 사다리꼴 프리즘 또는 미러 구조(또는 평행 사변형 프리즘 또는 미러 구조)와 그를 포함하는 굴절형 광학계는 제 1 반사면(613a) 및 제 2 반사면(613b)에 굴절 또는 반사된 광, 즉 2번 굴절 또는 반사된 광이 이미지 센서(611)에 입사할 수 있는데, 이러한 광에 의해 획득된 이미지는 뿌옇게 출력될 수 있으며, 이러한 현상이 발생한 것을 예를 들어 플레어(flare)가 발생한 것이라 할 수 있다.
본 개시에서는 상술한 플레어 발생 여부를 판단하거나, 및/또는 플레어를 보정할 수 있는 다양한 실시예를 제공할 수 있다. 상기 플레어 발생 여부를 판단하거나, 및/또는 플레어를 보정하기 위해 본 개시에서는 렌즈 어셈블리를 통과한 광을 결상하여 전기적 신호로 전환하는 복수의 단위 픽셀들을 포함하는 이미지 센서(611) 및 상기 이미지 센서와 전기적으로 연결되어 상기 전기적 신호를 이용하여 이미지를 출력하는 프로세서(예: 후술하는 도 10의 이미지 신호 프로세서(732))를 포함할 수 있다.
상술한 도 8과 이하 후술하는 도 9 및 도 10의 실시예를 통해 본 개시의 이미지 센서(611)에 대하여 보다 상세히 설명한다.
도 9는, 일 실시예에 따른, 2PD 서브 픽셀을 나타내는 도면이다. 도 10은, 본 개시의 다양한 실시예들에 따른, 복수의 서브 픽셀들을 포함하는 이미지 센서에 대한 도면이다.
본 개시의 이미지 센서(611)는 복수의 픽셀들을 포함할 수 있다. 이미지 센서(611)는 수백, 수천 또는 수만 내지 수억 개의 픽셀들을 포함할 수 있다. 도 8에서는 이미지 센서(611)가 전자 장치 내에서 xy 평면과 실질적으로 평행한 평면 상에 배치된 것이 도시된다. 다만, 이미지 센서(611)가 배치되는 평면은 렌즈 어셈블리(600) 내에서 진행하는 광이 굴절 및/반사 되는 횟수 및 위치에 따른 다양한 광경로에 따라 다양하게 설정될 수 있다. 예를 들어, 이미지 센서(611)가 전자 장치 내에서 배치되는 위치는 xy 평면과 실질적으로 평행한 평면 뿐만 아니라, xy 평면과 실질적으로 수직한 평면 등 다양할 수 있다.
도 8 및 도 9를 참조하면, 본 개시의 이미지 센서(611)는 이미지 센서(611)를 이루는 단위 픽셀마다 하나의 마이크로 렌즈(611a)를 포함할 수 있다. 마이크로 렌즈(611a)는 빛을 굴절 및/또는 집광시키는 역할을 할 수 있다. 일 실시예에 따르면, 이들 마이크로 렌즈(611a)들은 복수 개가 규칙적으로 배치되어 마이크로 렌즈 어레이를 구성할 수 있다. 도면에 도시되진 않았으나, 이미지 센서(611)는 빛을 선택적으로 통과시킬 수 있는 공간적으로 분할된 하나 이상의 종류의 복수의 컬러들을 포함하는 컬러 필터를 포함할 수 있다. 컬러 필터는 광의 이동 경로를 기준으로 마이크로 렌즈의 후방에 배치되어, 지정된 기준색을 가진 빛, 즉 지정된 파장 범위를 가진 빛을 통과시킬 수 있다. 상기 컬러 필터를 통해 이미지 센서(611)에 포함된 복수의 픽셀들 각각에는 지정된 복수의 기준색(예: 적색(R), 녹색(G), 청색(B))이 할당될 수 있다. 복수의 픽셀들은 각각에 지정된 파장 범위를 가진 빛을 수광하도록 설계될 수 있다. 이미지 센서(611)의 복수의 픽셀들 각각에는 수광 소자(예: 포토 다이오드, 핀드 포토다이오드(pinned-photodiode), 포토트랜지스터(phototransistor), 또는 포토게이트(photogate))가 배치될 수 있다. 수광 소자에 빛이 도달하면 광전효과에 의해 입사 광에 대응하는 전기적 신호를 출력할 수 있다. 그리고 상기 전기적 신호는 수광된 빛의 세기(혹은 광량)에 따른 전하(또는 전류)를 생성할 수 있다.
일 실시예에 따르면, 단위 픽셀에는 1개의 마이크로 렌즈 및 1개의 컬러 필터가 배치되고, 컬러 필터의 후방에 1개의 수광 소자가 배치될 수 있다. 즉, 하나의 단위 픽셀에 1 개의 수광 소자가 배치될 수 있다. 본 개시의 일 실시예에 따르면, 단위 픽셀에 1개의 마이크로 렌즈 및 1개의 컬러 필터가 배치되되, 컬러 필터의 후방에 복수의 수광 소자(611c)가 배치될 수 있다.
일 실시예에 따르면, 단위 픽셀에 2 개, 3 개 또는 4 개 이상의 수광 소자를 배치할 수 있다. 단위 픽셀에 2 개의 수광 소자를 배치하는 경우 그 단위 픽셀 구조는 예를 들어 듀얼 픽셀(dual pixel) 구조(이하, '2PD 픽셀 구조'라 함)로 지칭될 수 있으며, 단위 픽셀에 3 개의 수광 소자를 배치하는 경우 그 단위 픽셀 구조는 예를 들어 트리플 픽셀(triple pixel) 구조(이하, '3PD 픽셀 구조'라 함)로 지칭될 수 있으며, 단위 픽셀에 4 개의 수광 소자를 배치하는 경우 그 단위 픽셀 구조는 예를 들어 쿼드 픽셀(quad pixel) 구조(이하, '4PD 픽셀 구조'라 함)라 지칭될 수 있다. 이와 같이, 본 개시에서는 단위 픽셀에 복수(N개)의 수광 소자를 포함하는 경우(또는 1개의 마이크로 렌즈마다 복수(N개)의 수광 소자를 포함하는 경우)를 예를 들어, 'NPD 픽셀 구조'라 지칭할 수 있다. 도 8 및 도 9의 실시예에서는 단위 픽셀에 2 개의 수광 소자가 배치된 2PD 픽셀 구조가 개시된다. 이하에서는 단위 픽셀에 2 개의 수광 소자를 포함하는 경우 각 수광 소자를 예를 들어, '서브 픽셀'로 지칭할 수 있다.
각 단위 픽셀에 포함된 복수의 수광 소자들은 각각 독립적으로 입사된 광을 이미지로 캡쳐할 수 있다. 복수의 수광 소자들은 각각 독립적으로 입사된 광을 이미지로 캡쳐하는 과정에서 입사된 광은 광전 변환 신호로 출력될 수 있다.
도 8 및 도 9를 다시 참조하면, 본 개시에 따른 렌즈 어셈블리(600)는 이미지 센서의, 적어도 2개의 서브 픽셀이 구분되는 방향(예: X 방향)이 제 2 광 경로와 대응하도록 형성될 수 있다. 여기서, 적어도 2 개의 서브 픽셀의 구분되는 방향이 제 2 광 경로와 대응된다고 함은, 예를 들어 서로 다른 서브 픽셀의 배치 방향(예: X 방향)과 제 2 광 경로에서 이미지 센서가 배치된 평면(예:xy 평면과 평행한 평면)으로 투영한 가상의 선이 나란한 것을 의미할 수 있다. 이때 제 2 광 경로는 제 1 광 경로와 소정의 각도(Ang) 만큼 기울어질 수 있다. 예를 들어, 이미지 센서에 입사되는 광의 제 1 광 경로는 RL4라 지시된 경로를 따라 이미지 센서(611)에 입사되고, 제 2 광 경로는 RL2'라 지시된 경로를 따라 이미지 센서(611)에 입사되는데, 본 개시의 이미지 센서(611)는 복수의 수광 소자(611c)로서 적어도 두 개의 서브 픽셀(611c-L, 611c-R)를 포함하며, 이들 두 개의 서브 픽셀(611c-L, 611c-R)는 제 2 광 경로 방향과 대응되는 방향으로 서로 구분 배치될 수 있다. 즉, 두 개의 서브 픽셀(611c-L, 611c-R)는 하나의 단위 픽셀 내부에서 제 2 광 경로를 이미지 센서 상에 투영했을 때 이에 나란한 X축 방향을 따라 서로 다른 2 개의 부분으로 구분 배치될 수 있다. 서브 픽셀 예를 들어, 적어도 2 개의 서브 픽셀을 구분하기 위한 실제 또는 가상의 격벽(611c-W)이 마련될 수 있으며, 이때, 제 2 광경로가 통과할 경우 격벽(611c-W)와 제 2 광경로는 소정의 각도(Ang)를 형성할 수 있다.
도 10은 본 개시의 다양한 실시예들에 따른, 복수의 서브 픽셀들을 포함하는 이미지 센서에 대한 도면이다.
단위 픽셀에 복수의 수광 소자를 배치하는 경우에는, 동일한 사양의 소자를 단위 픽셀의 중심을 기준으로 대칭적으로(선대칭, 또는 점대칭) 형성할 수 있다. 예컨대, 단위 픽셀에 2 개의 수광 소자를 배치하는 경우 단위 픽셀의 중심을 기준으로 좌/우(Left/Right) 또는 상/하(Top/Bottom) 방향으로 선대칭적으로 배치할 수 있다. 도 10의 (a)를 참조하면, 이미지 센서(611)에 배치된 단위 픽셀은 서브 픽셀(611c-L, 611c-R)이 상/하 방향(또는 좌/우)으로 구분 배치된 것이 도시되나, 반드시 이와 같은 형태를 가질 필요는 없다. 예를 들어, 도 10의 (b)와 같이 slanted 경계를 갖는 2PD 형태도 가능하다. 또한, 이미지 센서(611)의 단위 픽셀은 도 10의 (c) 및 도 10의 (d)와 같은 형태를 가질 수도 있는데, 이미지 센서(611)의 단위 픽셀은 도 10의 (c)와 (d)와 같이 단위 픽셀이 각각 4개와 9개의 서브 픽셀을 포함하는 구조, 즉 4PD 픽셀 구조와, 9PD 픽셀 구조로 형성될 수도 있다. 이 밖에, 이미지 센서(611)의 단위 픽셀은 플레어가 발생할 수 있는 비정상 입사광(예: 제 2 광 경로(도 9의 RL2'))이 입사되는 방향으로 분리되는 PD형태는 어떠한 형태라도 적용될 수 있다. 이미지 센서(611)의 단위 픽셀은 NPD 픽셀 구조를 가질 수도 있다(여기서 N은 4 이상의 자연수의 제곱). 예를 들어, 도 10의 (e)와 (f)에 도시된 바와 같이 metal shield를 포함하는 2PD 픽셀 구조 및 도 10의 (g)에 도시된 바와 같이 2x1 OCL(on-chip-lens) PD 구조를 포함할 수도 있다.
도 11은 다양한 실시 예들에 따른, 전자 장치(700)(예: 도 1의 전자 장치(101))의 구성요소를 나타내는 블록도이다. 일 실시 예에 따른 전자 장치(700)는 피사체로부터 반사되는 빛을 수집하여 사진(또는 동영상)을 촬영할 수 있다. 전자 장치(700)는 이미지 캡쳐부(710), 인터페이스(720)(예: 이미지 센서 인터페이스), 이미지 처리부(image processing part)(730), 제 1 메모리(740), 프로세서(760), 디스플레이(770), 및 제 2 메모리(780)를 포함할 수 있다. 다양한 실시예들에 따르면, 이미지 캡쳐부(710)는 카메라 모듈(예: 도 1의 카메라 모듈(180))를 구성하고, 이미지 시그널 프로세서(732) 및 프로세서(760)는 적어도 하나의 프로세서(예: 도 1의 프로세서(120))를 구성할 수 있다.
일 실시 예에서, 이미지 캡쳐부(710)는 렌즈부(711), 조리개(712), 촬상 소자(713)(이하 '이미지 센서(713)'라 함), 셔터(714), 구동부(715, 716)을 포함할 수 있다.
일 실시 예에서, 렌즈부(711)는 피사체로부터 반사되어 전자 장치(700)에 도달한 빛을 집광할 수 있다. 렌즈부(711)는 적어도 하나의 렌즈를 포함하며, 예를 들면, 복수의 렌즈들이 광축 방향으로 정렬된 렌즈 어셈블리로 구현될 수 있다. 이런 경우, 이미지 캡쳐부(710)는 예를 들면, 듀얼 카메라, 360도 카메라, 또는 구형 카메라(spherical camera)일 수 있다. 렌즈 어셈블리에 포함된 렌즈들은 동일한 렌즈 속성(예: 화각, 초점 거리, 자동 초점, f 넘버(f number), 또는 광학 줌)을 갖거나, 또는 적어도 하나의 렌즈는 다른 렌즈 렌즈와 적어도 하나의 다른 렌즈 속성을 가질 수 있다. 렌즈 어셈블리는, 예를 들면, 광각 렌즈 또는 망원 렌즈를 포함할 수 있다. 렌즈부(711)를 통해 집광된 빛은 조리개(712)를 통해 빛의 양(광량)이 조절될 수 있고, 조리개(712)를 통과한 빛은 이미지 센서(713)에 도달할 수 있다. 도 11에 도시된 실시예에서는 조리개(712)가 렌즈부(711)와 분리된 구성으로 도시되나, 이와 달리 조리개(712)는 렌즈부(711)에 통합되어 구성될 수도 있다.
일 실시 예에서, 이미지 센서(713)는 복수의 이미지 픽셀들이 격자 형상으로 2차원 배열된 픽셀 어레이를 포함할 수 있다. 상기 복수의 이미지 픽셀들 각각에는 복수의 기준색 중 하나가 할당될 수 있다. 다양한 실시 예에 따르면, 상기 복수의 기준색은 예를 들어, RGB(red, green, blue), RGBW(red, green, blue, white), CMY(cyan, magenta, yellow), CMYK(cyan, magenta, yellow, black), RYB(red, yellow, blue), RGBIR(infrared ray)을 포함할 수 있다. 다수의 이미지 픽셀들을 기준으로 광축 방향에서 피사체에 근접한 쪽에는 복수의 마이크로 렌즈들이 배치될 수 있다. 이미지 센서(713)는 피사체로부터 반사되는 빛을 기반으로 디지털 신호(또는 전기적 신호)를 생성하고, 상기 전기적 신호를 기반으로 디지털 이미지 데이터(이하, 줄여서 '이미지 데이터'라 함)를 생성할 수 있다. 이미지 센서(713)는, 예를 들면, RGB 센서, BW(black and white) 센서, IR 센서, 또는 UV 센서와 같이 속성이 다른 이미지 센서들 중 선택된 하나의 이미지 센서, 동일한 속성을 갖는 복수의 이미지 센서들, 또는 다른 속성을 갖는 복수의 이미지 센서들을 포함할 수 있다. 이미지 센서(713)는, 예를 들면, CCD(charge coupled device)나 CMOS(complementary metal oxide semiconductor)가 사용될 수 있다.
다양한 실시예들에 따르면, 이미지 센서(713)는 포토 다이오드(PD; photo diode), 전송 트랜지스터(TX)(또는 전송 게이트), 리셋 트렌지스터(RX)(또는 리셋 게이트), 플로우팅 확산 노드(FD; floating diffusion node)를 포함할 수 있다. 포토 다이오드(PD)는 피사체의 광학상에 대응하는 광전하를 생성하여 축적할 수 있다. 전송 트랜지스터(TX)는 전송 신호에 응답하여 포토 다이오드(PD)에 집속된 광전하를 플로우팅 확산 노드(FD)로 전송할 수 있다. 리셋 트랜지스터(RX)는 리셋 신호에 응답하여 플로우팅 확산 노드(FD)에 저장된 전하를 배출할 수 잇다. 리셋 신호가 인가되기 전에 플로우팅 확산 노드(FD)에 저장된 전하가 출력되는데, 이때 CDS(correlated double sampling) 처리가 수행될 수 있고, ADC(analog-to-digital circuit) 및/또는 AFE(analog front end)를 통해 CDS 처리가 수행된 아날로그 신호를 디지털 신호로 변환할 수 있다. 본 개시의 이미지 센서(713)는 1개의 마이크로 렌즈에 대응하는 픽셀에 4 개의 포토 다이오드가 구비된 것(예: 4PD 픽셀)을 그 예시로 할 수 있다.
일 실시 예에서, 셔터(714)는 이미지 센서(713)가 빛에 노출되는 시간을 조절할 수 있다. 예컨대, 셔터(714)가 느리게 작동하면 이미지 센서(713)에 많은 빛이 입사하고, 셔터(714)가 빠르게 작동하면 이미지 센서(713)에 적은 빛이 입사할 수 있다.
일 실시 예에서, 구동부(715, 716)(각각, 예를 들면, 드라이버를 포함하는)는 렌즈부(711), 조리개(712) 또는 이미지 센서(713)의 위치를 조절하는 구성일 수 있다. 구동부(715, 716)는 제 1 구동부(715)와 제 2 구동부(716)를 포함할 수 있다. 예를 들면, 제 1 구동부(715)는 렌즈부(711를 광축 방향과 실질적으로 평행하게 이동시킬 수 있다. 제 1 구동부(715)를 통해 이미지 캡쳐부(710)의 오토 포커싱(AF; auto focusing) 동작을 구현함으로써 이미지 센서(713)에 결상되는 빛의 초점을 조절할 수 있다. 또 한 예를 들면, 제 2 구동부(716) 는 렌즈부(711) 또는 이미지 센서(714)의 위치를 조절하여 사용자의 이미지 캡쳐부(710) 조작 시 발생하는 떨림을 방지할 수 있다. 제 2 구동부(716)는 이미지 캡쳐부(710) 또는 이를 포함하는 전자 장치(700)의 움직임에 반응하여, 촬영되는 이미지에 대한 상기 움직임에 의한 부정적인 영향(예: 이미지 흔들림)을 적어도 일부 보상하기 위하여 렌즈 어셈블리에 포함된 적어도 하나의 렌즈 또는 이미지 센서(713)를 특정한 방향으로 움직이거나 제어(예: 리드 아웃(read-out) 타이밍을 조정 등)할 수 있다. 일실시예에 따르면, 제 2 구동부(716)는, 예를 들면, 이미지 스태빌라이저(image stabilizer) 또는 광학식 이미지 스태빌라이저(optical image stabilizer)로 구현될 수 있으며, 이미지 캡쳐부(710)의 내부 또는 외부에 배치된 자이로 센서(미도시) 또는 가속도 센서(미도시)를 이용하여 상기 움직임을 감지할 수 있다.
일 실시 예에서, 인터페이스(720)(예: 이미지 센서 인터페이스 회로를 포함하는 이미지 센서 인터페이스)는 이미지 센서(713)와 이미지 처리부(730) 사이에 배치되어 인터페이스를 수행할 수 있다. 인터페이스(720)를 통해 이미지 센서(713)에서 출력된 데이터는 이미지 처리부(730)(예를 들면 이미지 처리 회로를 포함하는)에 전송될 수 있다. 전자 장치(700)의 구성에 따라 인터페이스(720)는 이미지 처리부(730) 내에 포함될 수 있다. 또한, 전자 장치(700)의 구성에 따라 인터페이스(720)는 생략되거나, 도면에 도시되지 않은 다른 인터페이스가 추가로 구비될 수 있다.
일 실시 예에서, 메모리(740, 780)는, 예를 들면, 이미지 센서(713)을 통하여 획득된 이미지의 적어도 일부를 다음 이미지 처리 작업을 위하여 적어도 일시 저장하거나, 전자 장치(700)의 적어도 하나의 다른 구성요소(예: 이미지 처리부(730))에 관계된 명령 또는 데이터를 저장할 수 있다. 예를 들어, 셔터(714)에 따른 이미지 획득이 지연되거나, 또는 복수의 이미지들이 고속으로 획득되는 경우, 획득된 원본 이미지(예: 높은 해상도의 이미지)는 메모리(740, 780)에 저장이 되고, 그에 대응하는 사본 이미지(예: 낮은 해상도의 이미지)는 디스플레이 모듈(예: 도 1의 디스플레이 모듈(160))을 통하여 프리뷰될 수 있다. 이후, 지정된 조건이 만족되면(예: 사용자 입력 또는 시스템 명령) 메모리(740, 780)에 저장되었던 원본 이미지의 적어도 일부가, 예를 들면, 이미지 시그널 프로세서(732)에 의해 획득되어 처리될 수 있다. 일실시예에 따르면, 메모리(740, 780)는 전자 장치(700)의 메모리(예: 도 1의 메모리(130))의 적어도 일부로, 또는 이와는 독립적으로 운영되는 별도의 메모리로 구성될 수 있다.
일 실시예에 따르면, 메모리(740, 780)는 도 11에 도시된 바와 같이 서로 구분된 제 1 메모리(740)와 제 2 메모리(780)를 포함할 수 있다. 일 실시예에 따르면, 제 1 메모리(740)는 적어도 하나의 보정 데이터(예: 화이트 밸런스 보정 데이터, 감마 보정 데이터, knee 보정 데이터 등)를 저장할 수 있다. 예컨대, 상기 적어도 하나의 보정 데이터는 LUT(look-up table) 포맷으로 저장될 수 있다. 일 실시예에 따르면, 제 2 메모리(780)는 비 휘발성 메모리(예: 플래쉬 메모리)로서, 이미지 처리부(730)에서 생성한 이미지 데이터를 저장할 수 있다. 도 11에는 설명의 편의를 위해 메모리(740, 780)가 수행하는 기능에 따라서 별개의 구성인 것으로 도시되어 있으나, 반드시 도시된 바에 제한되지 않으며, 예컨대, 하나의 구성으로 구현될 수도 있음을 유의해야 한다.
일 실시 예에서, 이미지 처리부(730)는 이미지 센서(713)로부터 출력된 이미지 데이터에 대한 다양한 처리를 수행하는 구성일 수 있다. 이미지 처리부(730)는 이미지 센서(713)을 통하여 획득된 이미지 또는 메모리(예: 제 1 메모리(740))에 저장된 이미지에 대하여 이미지 처리(예: 깊이 지도(depth map) 생성, 3차원 모델링, 파노라마 생성, 특징점 추출, 이미지 합성, 또는 이미지 보상(예: 노이즈 감소, 해상도 조정, 밝기 조정, 블러링(blurring), 샤프닝(sharpening), 또는 소프트닝(softening))을 수행할 수 있다. 추가적으로 또는 대체적으로, 이미지 처리부(730)는 이미지 캡쳐부(710)에 포함된 구성 요소들 중 적어도 하나(예: 이미지 센서(713))에 대한 제어(예: 노출 시간 제어, 또는 리드 아웃 타이밍 제어 등)를 수행할 수 있다. 이미지 처리부(730)에 의해 처리된 이미지는 추가 처리를 위하여 메모리(740, 780)에 다시 저장되거나 이미지 캡쳐부(710)의 외부 구성 요소(예: 도 1의 메모리(130), 디스플레이 모듈(160), 전자 장치(102), 전자 장치(104), 또는 서버(108))로 전달될 수 있다. 이미지 처리부(730)는 일 실시예에 따르면, 전처리부(예: Pre ISP)(731)(예를 들면 전처리 회로를 포함하는)와 이미지 시그널 프로세서(ISP; image signal processor)(732)(예를 들면, 이미지 시그널 처리 회로를 포함하는)를 포함할 수 있다. 전처리부(731)는 이미지 정합 또는 감마 처리 등의 기능을 수행할 수 있다. 예를 들어, 전처리부(731)는 연속적으로 촬영된 복수의 이미지들 사이에 흔들림이 있는 경우, 영상 정합 과정을 통해 흔들림 성분을 제거하거나 줄일 수 있다. 이미지 시그널 프로세서(732)는 전처리부(731)로부터 수신한 신호를 보정, 합성하여 전체 이미지 신호를 생성할 수 있다. 일 실시예에 따르면, 전처리부(731)는 이미지 시그널 프로세서(732)와 함께 통합되어 이미지 처리부(730)를 구성할 수 있다.
다양한 실시예들에 따르면, 이미지 처리부(730)는 프로세서(760)(예: 도 1의 프로세서(120))의 적어도 일부로 구성되거나, 프로세서(760)와 독립적으로 운영되는 별도의 프로세서로 구성될 수 있다. 예컨대, 일 실시예에 따르면, 이미지 처리부(730)의 전처리부(731)와 이미지 시그널 프로세서(732)는 프로세서(760)에 통합될 수 있다. 이와 달리 이미지 처리부(730)가 프로세서(760)와 다른 별도의 프로세서로 구성된 경우에는, 이미지 처리부(730)에 의해 처리된 이미지들은 프로세서(760)에 의하여 그대로 또는 추가의 이미지 처리를 거친 후 디스플레이 모듈(160)를 통해 표시될 수 있다.
다양한 실시예들에 따르면, 이미지 처리부(730)는 이미지 센서(713)에서 출력한 이미지 데이터를 분석하고 연산하는 것 이외에도, 렌즈부(711)나 이미지 센서(713)를 제어하는 신호를 생성할 수도 있다. 예를 들어, 이미지 처리부(730)는 렌즈부(711)의 광축 방향의 이동을 위해 제 1 구동부(715)를 제어하는 신호를 생성하거나, 렌즈부(711) 또는 이미지 센서(713)를 이동시켜 손떨림을 방지하기 위해 제 2 구동부(716)를 제어하는 신호를 생성할 수 있다.
일 실시 예에서, 프로세서(760)(예를 들면 프로세싱 회로를 포함하는 도 1의 프로세서(120))는 중앙처리장치(central processing unit (CPU)), 어플리케이션 프로세서(application processor (AP)), 또는 커뮤니케이션 프로세서(communication processor (CP)) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서(760)는, 예를 들면, 전자 장치(700)에 포함된 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다. 전술한 바와 같이 프로세서(760)는 이미지 처리부(730)를 프로세서(760)의 적어도 일부로 포함하거나, 이미지 처리부(730)와 독립적으로 운영되는 별도의 프로세서로 동작할 수 있다.
일 실시 예에서, 디스플레이(770)는, 예를 들면, LCD 디스플레이, LED 디스플레이, OLED 디스플레이, 또는 MEMS 디스플레이, 또는 전자 종이 디스플레이를 포함할 수 있다. 디스플레이(770)는, 예를 들면, 이미지 캡쳐부(710)을 통해 촬영된 이미지, 이미지 처리부(730)에 의해 화이트 밸런스가 보정된 이미지 등을 표시할 수 있다. 다양한 실시 예에 따르면, 디스플레이(770)는, 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스처, 근접, 또는 호버링(hovering) 입력을 수신할 수도 있다. 이하의 실시예를 설명함에 있어서, 전처리부(731)가 이미지 시그널 프로세서(732)의 적어도 일부에 포함되는 것을 예시로 들 수 있으며, 이에 따라 이미지 시그널 프로세서(732)가 이미지 처리부(730)와 실질적으로 동일한 구성이라고 가정하며 설명할 수 있다. 본 개시의 다양한 실시예들에서 '적어도 하나의 프로세서'라 언급되는 것은, 이미지 처리부(730)가 프로세서(760)의 적어도 일부로 구비되거나 프로세서(760)와 별개로 구비되는 경우를 모두 포함하는 것을 의미할 수 있다. 이하의 실시예들을 설명함에 있어서, 이미지 시그널 프로세서(732)는 프로세서(760)와 독립적으로 운영되는 별도의 프로세서를 그 예시로 들어 설명할 수 있지만 이는, 설명의 편의를 위함이며, 본원 발명의 다양한 실시예에 따른, 이미지 처리부(730), 이미지 시그널 프로세서(732), 프로세서(760)의 조합을 어떤 하나의 형태로 한정하는 것이 아님을 유의해야 한다.본 개시의 일 실시예에 따르면, 상기 프로세서(예: 이미지 처리부(730), 이미지 시그널 프로세서(732), 프로세서(760) 또는 이들 중 적어도 두개의 조합)는, 적어도 2개의 서브 픽셀들로부터 복수의 전기적 신호들을 획득하고, 상기 복수의 전기적 신호들의 비율을 식별하고, 식별된 비율에 기반하여 플레어 발생 여부를 판단하거나, 및/또는 상기 플레어를 보정할 수 있다.
일 실시예에 따르면 상기 메모리(예: 제1 메모리(740), 제2 메모리(780))은 제 2 광 경로에 기반하여 기 지정된 방향에 따라 비율과 관련된 LUT(look up table)을 미리 저장할 수 있다. 그리고 프로세서(예: 이미지 처리부(730), 이미지 시그널 프로세서(732), 프로세서(760) 또는 이들 중 적어도 두개의 조합)는, 실행시에 상기 메모리에 저장된 LUT와 상기 비율을 이용하여 상기 플레어 발생 여부를 판단하거나 및/또는 플레어를 보정할 수 있다.
또한, 상기 프로세서(예: 이미지 처리부(730), 이미지 시그널 프로세서(732), 프로세서(760) 또는 이들 중 적어도 두개의 조합)는, 적어도 2개의 서브 픽셀들로부터 획득된 복수의 전기적 신호들을 기반으로, 포화된 서브 픽셀을 구분하고, 포화된 서브 픽셀의 양에 따라 연산을 달리할 수도 있다. 예를 들면, 하나의 단위 픽셀 내의 적어도 2 개의 서브 픽셀들이 모두 포화된 경우, 포화된 단위 픽셀 주위의 포화되지 않은 단위 픽셀을 이용하여 플레어를 보정할 수도 있다. 이때, 하나의 단위 픽셀 내의 적어도 2 개의 서브 픽셀들이 일부 포화된 경우, 포화되지 않은 서브 픽셀과 AF(autofocusing)정보와, 포화된 서브 픽셀 주위의 포화되지 않은 단위 픽셀을 이용하여 플레어를 보정할 수도 있다.
상술한 내용을 정리하면, 본 개시의 일 실시예에 따른, 프로세서(예: 이미지 처리부(730), 이미지 시그널 프로세서(732), 프로세서(760) 또는 이들 중 적어도 두개의 조합)는, 광의 굴절 또는 반사에 의한 플레어 발생 여부에 대한 판단을 상기 제 2 광 경로로 입사한 광이 수광되는 이미지 센서의 특정 영역에 대해서만 수행할 수 있다. 제 2 광 경로로 입사한 광이 수광됨에 따라 상기 적어도 2개의 서브 픽셀들 중 적어도 하나의 서브 픽셀은 다른 서브 픽셀에 대비하여 높은 이득(gain)을 출력할 수 있는데, 상기 프로세서는 상기 높은 이득을 출력하는 서브 픽셀을 중심으로 복수의 전기적 신호들의 비율을 식별할 수 있다.
본 개시의 플레어 발생 여부를 판단하거나, 플레어를 보정하는 동작(제어 방법)은 다음과 같다. 제어 동작은 기본적으로 플레어 발생 여부를 판단하기 위한 캘리브레이션(calibration) 동작과, 캘리브레이션 동작 이후의 플레어가 발생된 영상(또는 이미지)의 보정 동작으로 나뉠 수 있다.
도 12는, 일 실시예에 따른, 캘리브레이션 동작을 나타내는 도면이다. 도 13은, 일 실시예에 따른, 플레어 보정 방법을 나타내는 도면이다.
도 12와 도 13을 참조로, 캘리브레이션(calibration) 동작과 플레어가 발생된 영상(또는 이미지)의 보정 동작에 대하여 상세히 설명한다.
도 12를 참조하면, 캘리브레이션 동작은 일련의 적분구(integrating sphere)와 같은 플랫(flat) 광원의 정보를 저장하는 동작(S1201)을 포함하고, 서브 픽셀(예: 611c-L, 611c-R)간 비율을 저장하는 동작(S1203)을 포함할 수 있다.
예를 들면, 동작 S1201과 관련하여, 적분구의 광원의 정보로서 다양한 색온도(예: 5500K)에 따른 광원 정보를 저장 할 수 있다. 또 한 예를 들어, 적분구의 광원 정보는 표준 광원(예: D65 광원)에 대한 광원 정보를 저장할 수 있다. 상기 적분구의 광원 정보를 저장하기 위하여 적분구를 촬영할 수 있는데, 예를 들면 자동 초점 조절(AF; auto focusing) 위치별 적분구를 촬영할 수 있고, Zoom 위치별 적분구를 촬영할 수 있다.
예를 들면, 동작 S1203과 관련하여, 어떤 광원은 픽셀이 포화될 수 있을 정도의 광량을 출력할 수 있고, 다른 어떤 광원은 픽셀이 포화되지 않을 정도의 광량을 출력할 수 있다. 만약 픽셀이 포화되지 않을 정도의 광원이라도 플레어를 발생시키는 비정상 광 경로가 발생 한다면 서브 픽셀 간(예: 611c-L, 611c-R)에 이득(gain) 차이가 발생할 수 있다. 예를 들어, 도 8 및 도 9의 실시예에서는, 왼쪽의 서브 픽셀(611c-L)과 오른쪽의 서브 픽셀(611c-R) 중 오른쪽의 서브 픽셀(611c-R)가 플레어를 유발시킬 수 있는 광을 더 많이 수광할 것으로 예상될 수 있다. 즉 하나의 단위 픽셀 내에서, 서브 픽셀 간 이득(gain)차가 발생하고 이들의 비율을 측정 및/또는 저장할 수 있는데, 이 비율은 이미지 센서의 컬러 필터의 컬러 별, 서브 픽셀의 방향 별, 이미지 센서의 위치 별, 렌즈의 AF(auto focusing) 위치나 렌즈의 줌(zoom) 동작에서의 위치와 같은 다양한 이유로 인해 차이가 있을 수 있다. 동작 S1203에서는 이러한 서브 픽셀 별 비율에 대한 연산을 수행할 수 있다. 일 실시예에 따르면 이러한 연산 값에 대한 정보를 LUT(lookup table)에 저장하고, 이를 이용해 플레어 발생 여부를 판단하거나, 상기 플레어를 보정할 수 있다. 프로세서는 LUT에 저장된 정보 중 적어도 일부 정보를 이용하여 상기 플레어 발생 여부의 판단 및 플레어 보정 여부를 결정할 수 있다. 일 실시예에 따르면, 프로세서는 보간(interpolation) 연산이 가능하므로 이미지 센서의 모든 픽셀에 포함된 서브 픽셀의 비율을 저장 하지 않고 , 일부 서브 픽셀에 대한 비율만 적절히 선택(예: 리사이즈)하여 저장할 수 있다. 예컨대, 전술한 도 10에 도시된 실시예에서 언급한 4PD 픽셀 구조, 9PD픽셀 구조 등은 좌/우 또는 상/하 방향의 어느 한 방향에 대한 비율만 아니라, 좌/우 및 상/하 방향을 포함한 다양한 위상차 방향의 비율을 구할 수 있는데, 방향 별로 LUT를 분리해서 저장하면 더욱 정확한 플레어 발생 여부의 연산이 가능할 수 있다.
캘리브레이션 동작과 관련하여, 메모리(예: 제1 메모리(740), 제2 메모리(780))에는 이 저장된 LUT를 입력값(input)으로 플레어의 양을 결정하는 함수(function)를 만들 수 있다(S1204).
예를 들어, 동작 S1204과 관련하여, 이 함수는 실험적으로 결정이 될 수 있다. 예컨대, 이 함수를 다항식으로 규정하면 LUT 비율을 입력으로 실험적으로 다항식의 계수들을 미리 저장해둘 수 있다. 플레어의 발생 여부는 예측하기 어렵지만, 기본적으로 이미지 센서에 포함된 단위 픽셀이 포화 되지 않는 경우라면, LUT 비율과 어떤 상관 관계를 갖는다고 가정할 수 있다.
그리고, 캘리브레이션 동작과 관련하여, 서브 픽셀 별 비율에 대한 연산 값에 대한 정보 및/또는 플레어의 양을 결정하는 함수에 대한 정보와 관련된 인스트럭션(들)을 메모리에 저장(S1205)할 수 있다. 서브 픽셀별 비율에 대한 연산 값은 LUT(lookup table) 형태로 저장될 수 있다.
도 13을 참조하면, 플레어 보정 동작은 먼저 획득된 이미지(또는 영상)의 포화도를 판단하는 동작(S1301)을 포함할 수 있다. 그리고, 픽셀에 대한 포화도 판단에 기반하여 플레어 발생량을 계산(S1303)할 수 있다.
동작 S1301과 관련하여, 포화된 픽셀은 포화되지 않은 픽셀에서 출력되는 전기적 신호와 다른 신호를 출력하기 때문에 별도의 신호 처리 과정이 필요할 수 있다. 픽셀 포화도 판단에서 포화된 픽셀로 판단되면 마스킹(masking)처리할 수 있다. 일 실시예에 따르면, 이미지 센서의 단위 픽셀에 포함된 복수의 서브 픽셀들 중 하나의 서브 픽셀에만 포화 되었다고 해도 포화 픽셀로 처리할 수 있다.
동작 S1303과 관련하여, 앞서, 캘리브레이션 동작에서 메모리에 저장된 함수와 LUT 정보(S1302)를 이용할 수 있다. 도 12의 캘리브레이션 동작에서 저장된 함수와 LUT로 입력값(input)에 대한 플레어 발생량을 계산할 수 있다. 예를 들어, 도 8 및 도 9를 참조하면, 왼쪽의 서브 픽셀(611c-L)와 오른쪽의 서브 픽셀(611c-R) 중, 오른쪽의 서브 픽셀(611c-R)에서 플레어 발생량이 더 클 수 있고, 여기서, 캘리브레이션 동작 단계에서 실험적으로 구한 플레어 량을 추출하여 왼쪽의 서브 픽셀(611c-L)와 오른쪽의 서브 픽셀(611c-R)에서 출력되는 전기적 신호에 대한 정상 신호를 찾을 수 있다.
다음으로, 플레어 제거 동작(S1305)를 통해, 발생된 플레어를 제거할 수 있다. 플레어 제거 동작(S1305)은 포화된 픽셀을 처리하는 동작(S1307)을 포함할 수 있다.
동작 S1307와 관련하여, 만약 포화된 픽셀이 있는 경우 서브 픽셀 중 일부 서브 픽셀에 대한 포화가 있는 것인지, 또는 모든 서브 픽셀가 포화된 것인지 확인하고, 모든 서브 픽셀가 포화 되었다면, 포화되지 않은 픽셀 중 포화된 픽셀과 가장 가까운 다른 픽셀을 이용해 원래 값을 유추 할 수 있다. 일 실시예에 따르면, 포화 되지 않은 다른 픽셀 중 포화된 픽셀과 가까운 픽셀부터 먼 픽셀까지 순차적으로 연산해서 계산될 수 있다. 프로세서의 판단에 의해 포화된 픽셀은 포화 처리되며, 프로세서는 이 정보를 이용하여 차후 획득되는 이미지에 대한 연산을 위한 학습을 수행할 수 있다. 만약 프로세서가 이전에 판단한 포화된 픽셀의 정보가 더 이상 유효하지 않은 경우 학습(예: DL(deep learning))을 수행하거나 AE(auto exposure)의 노출을 낮춰 다음 프레임(frame)에서 좀 더 정확한 연산이 되도록 할 수 있다.
일 실시예에 따르면, 프로세서는 AF(Autofocusing)정보를 감안하여 플레어를 보정할 수도 있다. 예를 들면, AF의 초점이 맞지 않는 고주파 영역에서는 서브 픽셀의 이득(gain) 차이가 AF의 defocus때문에 발생할 수 있고 이로 인해 아티팩트(artifact)가 발생할 수 있으므로 AF의 초점이 안 맞았다면 AF정보를 감안해서 플레어를 보정할 수 있다.
만약, 상기 프로세서(예: 이미지 처리부(730), 이미지 시그널 프로세서(732), 프로세서(760) 또는 이들 중 적어도 두개의 조합)는 상기 플레어가 보정된 후, gamma 나 clipping연산을 통하여 포화된 서브 픽셀 또는 그 주변부의 아티팩트를 제거할 수 있다. 예를 들어, 플레어 보정 시 마지막 단계로 clipping과 gamma등의 처리가 될 수 있다. Gamma나 clipping연산으로 DR(dynamic range)은 줄어들 수 있으나 포화 관련 아티팩트(artifact)를 소정 부분 방지(저감)할 수 있다.
도 14a는, 일 실시예에 따른, 플레어 현상이 나타난 실물 도면이다. 도 14b는, 도14a의 이미지를 마젠타 배경에 표시한 도면이다. 도 15는, 일 실시예에 따른, 플레어 보정이 적용된 실물 도면을 나타낸다.
도 14b는 도 14a에 도시된 이미지에서 플레어가 발생한 부분을 거리에 대한 가로축, 세로축 좌표계에 나타낼 수 있다. 여기서, 발생한 플레어는 반사 및/또는 굴절 부재를 통과하면서 굴절 및/또는 반사됨에 따른 플레어 뿐만 아니라 다른 원인에 의한 플레어를 포함할 수 있다.
도 14a를 참조하면, 실제 촬영된 이미지에는 플레어가 검출될 수 있다. 플레어는 광원의 주위에 발생할 수 있으며, 다양한 원인에 따라 발생할 수 있다. 도 14b를 참조하면, 이미지의 전체 영역에 플레어가 발생하는 것이 아니라, 이미지의 일부 영역에 플레어가 발생할 수 있다. 이로부터, 이미지 센서의 전체 영역이 아닌 이미지 센서의 특정 영역에만 플레어가 검출될 수 있음을 확인할 수 있다.본 개시의 전자 장치는 프로세서를 포함하며, 상기 프로세서는 앞에서 전술한 동작들 중 적어도 하나의 동작(예: 플레어 보정 동작)을 수행하여, 반사 및/또는 굴절 부재를 통과하면서 굴절 및/또는 반사됨에 따른 플레어를 예측하고 계산하여 이미지 센서의 특정 영역에 발생한 플레어를 제거 및/또는 저감시킬 수 있다. 이로써, 아래 도 15과 같은 플레어가 제거 및/또는 저감된 이미지를 획득할 수 있다.
본 개시의 일 실시예에 따르면, 전자 장치(예: 전자 장치(101; 200; 300; 400))에 있어서, 렌즈 어셈블리(예: 렌즈 어셈블리(500; 600)); 상기 렌즈 어셈블리를 통과한 광을 결상하여 전기적 신호로 전환하는 복수의 단위 픽셀들을 포함하는 이미지 센서(예: 이미지 센서(411; 511; 611));및 상기 이미지 센서와 전기적으로 연결되어 상기 전기적 신호를 이용하여 이미지를 출력하는 프로세서(예: 이미지 처리부(730), 이미지 시그널 프로세서(732), 프로세서(760) 또는 이들 중 적어도 두개의 조합)를 포함할 수 있다. 이때, 상기 복수의 단위 픽셀들에 포함된 하나의 단위 픽셀은, 마이크로 렌즈(예: 마이크로 렌즈(611a)); 상기 마이크로 렌즈에 대응하여 형성된 적어도 2 개의 서브 픽셀들(예: 서브 픽셀(611c-L, 611c-R))을 포함할 수 있다. 그리고 상기 프로세서는, 상기 적어도 2개의 서브 픽셀들로부터 복수의 전기적 신호들을 획득하고, 상기 복수의 전기적 신호들의 비율을 식별하고, 식별된 비율에 기반하여 상기 광의 굴절 또는 반사에 의한 플레어 발생 여부를 판단할 수 있다.
일 실시예에 따르면, 상기 굴절 또는 반사에 의한 플레어 발생 여부에 기초하여 상기 플레어를 보정할 수 있다.
일 실시예에 따르면, 상기 적어도 2개의 서브 픽셀들은 상기 마이크로 렌즈를 통해 입사되는 광의 입사각에 따라 상이한 전기적 신호들을 출력할 수 있다.
일 실시예에 따르면, 상기 렌즈어셈블리는 상기 광을 굴절 또는 반사시키는 적어도 하나의 반사 및/또는 굴절 부재(예: 반사 및/또는 굴절 부재(413; 415; 513; 515; 613))를 포함할 수 있다.
일 실시예에 따르면, 상기 반사 및/또는 굴절 부재에 의해 굴절 또는 반사되는 광의 적어도 일부 광은 상기 제 1 광 경로와 상이한 제 2 광 경로로 상기 이미지 센서에 입사될 수 있다.
일 실시예에 따르면, 상기 광의 굴절 또는 반사에 의한 플레어 발생 여부에 대한 판단은 상기 제 2 광 경로로 입사한 광이 수광되는 이미지 센서의 특정 영역에 대해서만 수행할 수 있다.
일 실시예에 따르면, 상기 제 2 광 경로로 입사한 광이 수광됨에 따라 상기 적어도 2개의 서브 픽셀들 중 적어도 하나의 서브 픽셀은 다른 서브 픽셀에 대비하여 높은 이득(gain)을 출력하고, 상기 프로세서는 상기 높은 이득을 출력하는 서브 픽셀을 중심으로 복수의 전기적 신호들의 비율을 식별할 수 있다.
일 실시예에 따르면, 상기 제 2 광 경로에 기반하여 기 지정된 방향에 따라 비율과 관련된 LUT(look up table)을 미리 저장하는 메모리를 더 포함할 수 있다.
일 실시예에 따르면, 상기 이미지 센서의, 적어도 2개의 서브 픽셀이 구분되는 방향은 제 2 광 경로 방향과 대응할 수 있다.
일 실시예에 따르면, 상기 프로세서는, 실행시에 상기 메모리에 저장된 LUT와 상기 식별된 비율을 이용하여 상기 플레어 발생 여부를 판단하거나 플레어를 보정할 수 있다.
일 실시예에 따르면, 상기 프로세서는, 상기 적어도 2개의 서브 픽셀들로부터 획득된 복수의 전기적 신호들을 기반으로, 포화된 서브 픽셀을 구분하고, 포화된 서브 픽셀의 양에 따라 연산을 달리할 수 있다.
일 실시예에 따르면, 상기 프로세서는, 하나의 단위 픽셀 내의 적어도 2 개의 서브 픽셀들이 모두 포화된 경우, 포화된 단위 픽셀 주위의 포화되지 않은 단위 픽셀을 이용하여 플레어를 보정할 수 있다.
일 실시예에 따르면, 상기 프로세서는, 하나의 단위 픽셀 내의 적어도 2 개의 서브 픽셀들이 일부 포화된 경우, 포화되지 않은 서브 픽셀과 AF정보와, 및/또는 포화된 서브 픽셀 주위의 포화되지 않은 단위 픽셀을 이용하여 플레어를 보정할 수 있다.
일 실시예에 따르면, 상기 프로세서는, 상기 플레어가 보정된 후 gamma 나 clipping연산을 통하여 포화된 서브 픽셀 또는 그 주변부의 아티팩트를 제거할 수 있다.
일 실시예에 따르면, 상기 이미지 센서는, 2PD, 4PD, 9PD, NPD, metal shield, slanted 2PD, 2x1 OCL PD를 포함하는 마이크로 렌즈 구성을 가질 수 있다.
본 개시의 일 실시예에 따르면, 렌즈 어셈블리; 복수의 단위 픽셀들을 포함하는 이미지 센서를 포함하는 카메라 모듈과 프로세서를 포함하는 전자 장치의 제어 방법에 있어서, 상기 프로세서는 상기 렌즈 어셈블리에 적어도 2회 굴절되어 형성된 제 1 광 경로와 상기 제 1 광 경로와 상이한 제 2 광 경로를 통해 입사된 광의 비율에 기반하여, 상기 복수의 단위 픽셀들에 각각 포함된 적어도 2 개의 서브 픽셀로부터 복수의 전기적 신호들을 획득하고, 상기 복수의 전기적 신호들의 비율을 식별하고, 식별된 비율에 기반하여 상기 광의 굴절 또는 반사에 의한 플레어 발생 여부를 판단하거나, 상기 플레어를 보정하는 전자 장치의 제어 방법을 제공할 수 있다.
본 개시는 일 실시예에 관해 예시하여 설명되었지만, 다양한 실시예가 본 발명을 한정하는 것이 아니라 예시를 위한 것으로 이해되어야 할 것이다. 첨부된 청구항과 그 균등물을 포함하여, 본 개시의 전체 관점에서 벗어나지 않는 범위에서 그 형식과 세부적인 구성에 다양한 변화가 이루어질 수 있음은 당업자에게 자명하다 할 것이다. 예를 들어, 본 개시의 렌즈 어셈블리 및/또는 그를 포함하는 전자 장치에 포함된 반사 및/또는 굴절 부재의 형태, 종류, 개수 등은 실시예에 따라 다양할 수 있으며, 이 반사 및/또는 굴절 부재를 통과하며 굴절 또는 반사되는 광 경로는 실시예에 따라 다양할 수 있다. 본 개시의 범주는 이러한 다양한 실시예들을 포괄할 수 있다.

Claims (15)

  1. 전자 장치(101; 200; 300; 400)에 있어서,
    적어도 하나의 렌즈를 포함하는 렌즈 어셈블리(500; 600);
    상기 렌즈 어셈블리를 통과한 광을 결상하여 전기적 신호로 전환하는 복수의 단위 픽셀들을 포함하는 이미지 센서(411; 511; 611);및
    상기 이미지 센서와 전기적으로 연결되어 상기 전기적 신호를 기초로 이미지를 출력하는 프로세서(730; 732; 760)를 포함하고,
    상기 복수의 단위 픽셀들에 포함된 적어도 하나의 단위 픽셀은,
    마이크로 렌즈(611a);
    상기 마이크로 렌즈에 대응하여 형성된 적어도 2 개의 서브 픽셀들(611c-L, 611c-R)을 포함하고,
    상기 프로세서는,
    상기 적어도 2개의 서브 픽셀들로부터 복수의 전기적 신호들을 획득하고,
    상기 복수의 전기적 신호들의 비율을 식별하고,
    식별된 비율에 기반하여 상기 광의 굴절 또는 반사에 의한 플레어 발생 여부를 판단하는 전자 장치.
  2. 제 1 항에 있어서,
    상기 굴절 또는 반사에 의한 플레어 발생 여부에 기초하여 상기 플레어를 보정하는 전자 장치.
  3. 제 2 항에 있어서,
    상기 적어도 2개의 서브 픽셀들은 상기 마이크로 렌즈를 통해 입사되는 광의 입사각에 따라 상이한 전기적 신호들을 출력할 수 있도록 배열된 전자 장치.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 렌즈어셈블리는 상기 광을 굴절 또는 반사시키는 적어도 하나의 리플렉터 또는 리프렉터(413; 415; 513; 515; 613)를 포함하는 전자 장치.
  5. 제 4 항에 있어서,
    상기 리플렉터 또는 리프렉터에 의해 굴절 또는 반사되는 광의 적어도 일부 광은 상기 제 1 광 경로와 상이한 제 2 광 경로로 상기 이미지 센서에 입사되는 전자 장치.
  6. 제 5 항에 있어서,
    상기 프로세서는 광의 굴절 또는 반사에 의한 플레어 발생 여부에 대한 판단을 상기 제 2 광 경로로 입사한 광이 수광되는 이미지 센서의 특정 영역에 대해서만 수행하도록 구성된 전자 장치.
  7. 제 6 항에 있어서,
    상기 제 2 광 경로로 입사한 광이 수광됨에 따라 상기 적어도 2개의 서브 픽셀들 중 적어도 하나의 서브 픽셀은 다른 서브 픽셀에 대비하여 높은 이득(gain)을 출력하고, 상기 프로세서는 상기 높은 이득을 출력하는 서브 픽셀을 중심으로 복수의 전기적 신호들의 비율을 식별하는 전자 장치.
  8. 제 6 항 또는 제 7 항에 있어서,
    상기 제 2 광 경로에 기반하여 기 지정된 방향에 따라 비율과 관련된 LUT(look up table)을 미리 저장하는 메모리를 더 포함하는, 전자 장치.
  9. 제 5 항에 있어서,
    상기 적어도 2개의 서브 픽셀이 구분되는 방향은 제 2 광 경 로 방향과 대응하는 전자 장치.
  10. 제 6 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 프로세서는, 실행시에 상기 메모리에 저장된 LUT와 상기 식별된 비율을 이용하여 상기 플레어 발생 여부를 판단하거나 플레어를 보정하는 전자 장치.
  11. 제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
    상기 프로세서는, 상기 적어도 2개의 서브 픽셀들로부터 획득된 복수의 전기적 신호들을 기반으로, 포화된 서브 픽셀을 구분하고,
    포화된 서브 픽셀의 양에 따라 연산을 달리하는 전자 장치.
  12. 제 1 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 이미지 센서는, 2PD, 4PD, 9PD, NPD, metal shield, slanted 2PD, 2x1 OCL PD를 포함하는 마이크로 렌즈 구성을 가지는 전자 장치.
  13. 렌즈 어셈블리; 복수의 단위 픽셀들을 포함하는 이미지 센서를 포함하는 카메라 모듈과 프로세서를 포함하는 전자 장치의 제어 방법에 있어서,
    상기 프로세서는 상기 렌즈 어셈블리에 적어도 2회 굴절되어 형성된 제 1 광 경로와 상기 제 1 광 경로와 상이한 제 2 광 경로를 통해 입사된 광의 비율에 기반하여, 상기 복수의 단위 픽셀들에 각각 포함된 적어도 2 개의 서브 픽셀로부터 복수의 전기적 신호들을 획득하고, 상기 복수의 전기적 신호들의 비율을 식별하고, 식별된 비율에 기반하여 상기 광의 굴절 또는 반사에 의한 플레어 발생 여부를 판단하거나,
    상기 플레어를 보정하는 전자 장치의 제어 방법.
  14. 제 13 항에 있어서,
    상기 이미지 센서의, 적어도 2개의 서브 픽셀이 구분되는 방향은 상기 제 2 광 경로의 방향과 대응하는 전자 장치의 제어 방법.
  15. 제 13 항 또는 제 14 항에 있어서,
    상기 프로세서는 실행시에 메모리에 저장된 LUT와 상기 식별된 비율을 이용하여 상기 플레어 발생 여부를 판단하거나 플레어를 보정하는 전자 장치의 제어 방법.
PCT/KR2023/007306 2022-05-27 2023-05-26 카메라 모듈을 포함하는 전자 장치 및 그 제어 방법 WO2023229435A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/324,325 US20230388648A1 (en) 2022-05-27 2023-05-26 Electronic device including camera module and control method thereof

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20220065178 2022-05-27
KR10-2022-0065178 2022-05-27
KR10-2022-0136864 2022-10-21
KR1020220136864A KR20230165674A (ko) 2022-05-27 2022-10-21 카메라 모듈을 포함하는 전자 장치 및 그 제어 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/324,325 Continuation US20230388648A1 (en) 2022-05-27 2023-05-26 Electronic device including camera module and control method thereof

Publications (1)

Publication Number Publication Date
WO2023229435A1 true WO2023229435A1 (ko) 2023-11-30

Family

ID=88919806

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/007306 WO2023229435A1 (ko) 2022-05-27 2023-05-26 카메라 모듈을 포함하는 전자 장치 및 그 제어 방법

Country Status (1)

Country Link
WO (1) WO2023229435A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004205796A (ja) * 2002-12-25 2004-07-22 Olympus Corp 光路折り曲げズーム光学系
KR20110099983A (ko) * 2010-03-03 2011-09-09 삼성전자주식회사 초소형 렌즈 광학계 및 이를 구비하는 디지털 카메라 모듈
KR20210018249A (ko) * 2018-06-08 2021-02-17 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 장치
KR20210128803A (ko) * 2020-04-17 2021-10-27 삼성전자주식회사 다중 포토다이오드 센서에 의해 획득된 서브 이미지들의 차이에 기반하여 이미지의 결함을 검출하는 전자 장치 및 이의 동작 방법
KR20220033399A (ko) * 2020-09-09 2022-03-16 삼성전기주식회사 카메라 모듈

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004205796A (ja) * 2002-12-25 2004-07-22 Olympus Corp 光路折り曲げズーム光学系
KR20110099983A (ko) * 2010-03-03 2011-09-09 삼성전자주식회사 초소형 렌즈 광학계 및 이를 구비하는 디지털 카메라 모듈
KR20210018249A (ko) * 2018-06-08 2021-02-17 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 장치
KR20210128803A (ko) * 2020-04-17 2021-10-27 삼성전자주식회사 다중 포토다이오드 센서에 의해 획득된 서브 이미지들의 차이에 기반하여 이미지의 결함을 검출하는 전자 장치 및 이의 동작 방법
KR20220033399A (ko) * 2020-09-09 2022-03-16 삼성전기주식회사 카메라 모듈

Similar Documents

Publication Publication Date Title
WO2023277298A1 (ko) 이미지 안정화 방법 및 이를 위한 전자 장치
WO2022182018A1 (ko) 카메라 모듈 및 이를 포함하는 전자 장치
WO2022108365A1 (ko) 카메라 모듈 및 카메라 모듈을 포함하는 전자 장치
WO2023229435A1 (ko) 카메라 모듈을 포함하는 전자 장치 및 그 제어 방법
WO2022149654A1 (ko) 흔들림 보정을 수행하는 전자 장치 및 그 동작 방법
WO2022173236A1 (ko) 이미지 센서를 포함하는 전자 장치 및 그 동작 방법
WO2023058878A1 (ko) 이미지 센서를 포함하는 전자 장치 및 그 동작 방법
WO2022250305A1 (ko) 촬영 시 흔들림을 보정하는 방법 및 그 전자 장치
WO2022186511A1 (ko) 후면 커버 및 카메라 모듈을 포함하는 전자 장치
WO2023277665A1 (ko) 전자 장치 및 그 제어 방법
WO2022149714A1 (ko) 전자 장치의 플래시 렌즈
WO2023149668A1 (ko) 카메라 어셈블리 및 이를 포함하는 전자 장치
KR20230165674A (ko) 카메라 모듈을 포함하는 전자 장치 및 그 제어 방법
WO2023022438A1 (ko) 폴디드 광학계를 포함하는 카메라 모듈
WO2023003368A1 (ko) 오토 포커스 기능을 제공하는 방법 및 그 전자 장치
WO2022211304A1 (ko) 카메라 모듈을 포함하는 전자 장치
US20230388648A1 (en) Electronic device including camera module and control method thereof
WO2023113544A1 (ko) 언더 디스플레이 카메라를 포함하는 전자 장치 및 그 동작 방법
WO2022203447A1 (ko) 이미지 센서를 포함하는 전자 장치 및 그 동작 방법
WO2022231270A1 (ko) 전자 장치 및 그의 이미지 처리 방법
WO2023038459A1 (ko) 전자 장치 및 그 제어 방법
WO2024076081A1 (ko) 렌즈 어셈블리 및 이를 포함한 전자 장치
WO2024034907A1 (ko) 렌즈 어셈블리 및 그를 포함하는 전자 장치
WO2024071902A1 (ko) 카메라 모듈을 포함하는 전자 장치 및 그 동작 방법
WO2023027465A1 (ko) 이미지를 제공하는 방법 및 이를 지원하는 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23812209

Country of ref document: EP

Kind code of ref document: A1