WO2019098793A1 - Camera module - Google Patents
Camera module Download PDFInfo
- Publication number
- WO2019098793A1 WO2019098793A1 PCT/KR2018/014216 KR2018014216W WO2019098793A1 WO 2019098793 A1 WO2019098793 A1 WO 2019098793A1 KR 2018014216 W KR2018014216 W KR 2018014216W WO 2019098793 A1 WO2019098793 A1 WO 2019098793A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- lens
- image
- image sensor
- signal
- pixel
- Prior art date
Links
- 239000002131 composite material Substances 0.000 claims abstract description 25
- 230000003287 optical effect Effects 0.000 claims description 104
- 239000007788 liquid Substances 0.000 claims description 79
- 230000008859 change Effects 0.000 claims description 48
- 238000000034 method Methods 0.000 claims description 27
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 abstract description 2
- 238000003786 synthesis reaction Methods 0.000 abstract description 2
- 239000000758 substrate Substances 0.000 description 25
- 230000004044 response Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 239000011521 glass Substances 0.000 description 12
- 239000007787 solid Substances 0.000 description 12
- 239000000463 material Substances 0.000 description 8
- JHJLBTNAGRQEKS-UHFFFAOYSA-M sodium bromide Chemical compound [Na+].[Br-] JHJLBTNAGRQEKS-UHFFFAOYSA-M 0.000 description 8
- 239000011651 chromium Substances 0.000 description 7
- LYCAIKOWRPUZTN-UHFFFAOYSA-N Ethylene glycol Chemical compound OCCO LYCAIKOWRPUZTN-UHFFFAOYSA-N 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 5
- 239000000853 adhesive Substances 0.000 description 5
- 230000001070 adhesive effect Effects 0.000 description 5
- 229910052804 chromium Inorganic materials 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000003825 pressing Methods 0.000 description 4
- 239000012530 fluid Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000003990 capacitor Substances 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000002845 discoloration Methods 0.000 description 2
- 238000001308 synthesis method Methods 0.000 description 2
- VRBFTYUMFJWSJY-UHFFFAOYSA-N 28804-46-8 Chemical compound ClC1CC(C=C2)=CC=C2C(Cl)CC2=CC=C1C=C2 VRBFTYUMFJWSJY-UHFFFAOYSA-N 0.000 description 1
- 241001391944 Commicarpus scandens Species 0.000 description 1
- 239000004593 Epoxy Substances 0.000 description 1
- 239000004840 adhesive resin Substances 0.000 description 1
- 229920006223 adhesive resin Polymers 0.000 description 1
- 239000000956 alloy Substances 0.000 description 1
- 229910045601 alloy Inorganic materials 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000006059 cover glass Substances 0.000 description 1
- 230000008021 deposition Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 230000001976 improved effect Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 125000001997 phenyl group Chemical group [H]C1=C([H])C([H])=C(*)C([H])=C1[H] 0.000 description 1
- 238000007747 plating Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 229920002545 silicone oil Polymers 0.000 description 1
- 229910052723 transition metal Inorganic materials 0.000 description 1
- 150000003624 transition metals Chemical class 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/12—Fluid-filled or evacuated lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Definitions
- the present invention relates to a camera module. More particularly, the present invention relates to a camera module and an optical apparatus capable of generating a super resolution image.
- Such a photographing function can be realized by a method of directly moving the lens by combining a plurality of lenses, but when the number of lenses is increased, the size of the optical device can be increased.
- the autofocus and camera shake correction functions are performed by moving a plurality of lens modules fixed to a lens holder and having optical axes aligned in a vertical direction of an optical axis or an optical axis or by tilting, Device is used.
- the power consumption of the lens driving device is high.
- the conventional camera module uses the data of a plurality of arrays as it is, there is a limit in resolution as much as the physical resolution of the image sensor.
- the present invention is to provide a camera module capable of generating a super-resolution image without increasing the number of pixels.
- a camera module includes an image sensing unit including an image sensor outputting a plurality of image frames; A lens assembly disposed on the image sensor and forming a light path from the outside to the image sensor; A control unit for generating a control signal for adjusting at least one of the optical path of the lens assembly or the relative position of the image sensor to the lens assembly; And an image composing unit for compositing the plurality of image frames to generate a composite image, wherein the composite image has a higher resolution than the plurality of image frames, and the plurality of image frames are formed by the lens assembly, Or may be each image frame generated by changing the relative position of the image sensor with respect to the lens assembly.
- the camera module includes: an image sensor for outputting a plurality of image frames; A lens assembly disposed on the image sensor and including a variable lens that adjusts a light path that is incident on the image sensor from the outside; A control unit for generating a control signal for controlling the variable lens; And an image composing unit for compositing the plurality of image frames to generate a composite image, wherein the composite image has a higher resolution than the plurality of image frames, and the plurality of image frames are transmitted by different lenses And may be each image frame generated by modifying the image frame.
- the plurality of image frames may include a first image frame and a second image frame
- the second image frame may be an image frame shifted by a first interval with respect to the first image frame
- the image sensor may generate an image frame of one of the plurality of image frames, receive a feedback signal indicating that the optical path by the variable lens is adjusted, Can be generated.
- the controller may receive the generation completion signal of one of the plurality of image frames, and then transmit the control signal to the variable lens to adjust the optical path.
- the image sensor may include a first area and a second area
- the control unit may control the light incident from the outside to pass through the variable lens to the light from the first area to the second area of the image sensor. It is possible to output a signal for adjusting the variable lens so as to change the path.
- variable lens may include a liquid lens in which an interface between two liquids of different properties is deformed according to the control signal.
- variable lens may be a variable prism whose angle of the lower plate is changed according to the control signal.
- variable lens includes at least one lens; And an actuator for moving or tilting the at least one lens in at least one of a vertical direction and a horizontal direction according to the control signal.
- the image sensor may include a first area and a second area
- the control unit may control light passing through the variable lens from the outside to the second area from the first area of the image sensor, A signal for adjusting the variable lens can be output.
- the image sensor further includes a third region and a fourth region
- the control unit outputs a signal for adjusting the variable lens to change the light path from the second region to the third region , And outputting a signal for adjusting the variable lens to change the light path from the third region to the fourth region.
- control signal may include a signal for changing the angle of view (FOV) of the lens assembly to a first direction, a signal for changing the angle of view of the lens assembly to a second direction, And a signal for changing the angle of view of the lens assembly to a fourth direction.
- FOV angle of view
- a camera module includes an image sensing unit including an image sensor outputting a plurality of image frames; A lens assembly disposed on the image sensor and forming a light path from the outside to the image sensor; A control unit for generating a control signal for adjusting a relative position of the image sensor with respect to the lens assembly; And an image composing unit for compositing the plurality of image frames to generate a composite image, wherein the composite image has a higher resolution than the plurality of image frames, and the plurality of image frames are image- And may be each image frame generated by changing its relative position.
- the plurality of image frames may include a first image frame and a second image frame
- the second image frame may be an image frame shifted by a first interval based on the first image frame
- the image sensing unit may further include an actuator for moving or tilting the image sensor according to the control signal in at least one of an optical axis direction and a direction perpendicular to the optical axis direction.
- the image sensor may include a first area and a second area
- the control unit may include a first area that receives light from the outside and that receives light passing through the lens assembly, And outputs a signal for adjusting the actuator so as to change to the area.
- the image sensor may further include a third region and a fourth region
- the control portion may include a region for receiving light from the outside and receiving light passing through the lens assembly from the second region to the third region And outputting a signal for adjusting the actuator such that an area that is received from the outside and receives light passing through the lens assembly changes from the third area to the fourth area have.
- the image synthesizer may synthesize a first super-resolution image frame using the first through fourth image frames transmitted from the image sensor, and then combine the fifth image frame output from the image sensor and the second super- The second super-resolution image frame may be synthesized using the fourth through the fourth image frames.
- a camera module includes: a lens assembly including a liquid lens for adjusting a light path; An image sensor for sensing a plurality of images using the lens assembly; A control unit for controlling the liquid lens; And a combining unit that combines the plurality of images to generate a composite image, and the plurality of images may include an image generated by the liquid lens changing the optical path differently.
- a camera module includes an image sensor for sensing a plurality of images; A lens assembly forming a light path to be incident on the image sensor; A control unit for adjusting at least one of the optical path and the position of the image sensor; And an image composing unit for compositing the plurality of images to generate a composite image, wherein the plurality of images are images generated by different optical paths by the lens assembly, or images generated at different positions of the image sensor .
- an optical apparatus comprising: the camera module; A display unit for outputting an image; A battery for supplying power to the camera module; And a housing for mounting the camera module, the display unit, and the battery.
- an image generating method comprising: outputting a first image frame; Generating a second image frame shifted by a first distance in a first direction in the first image frame; Generating a third image frame shifted by the first distance in a second direction in the second image frame; Generating a fourth image frame shifted by the first distance in a third direction in the third image frame; And synthesizing the first image frame to the fourth image frame to generate a composite image, wherein the composite image may have a higher resolution than the plurality of image frames.
- FIG. 1 is a block diagram illustrating a camera module according to one embodiment.
- FIG. 2A and 2B are views showing an embodiment of the camera module shown in FIG.
- 3 is a view for explaining an embodiment of an operation of changing the FOV angle of the variable lens.
- FIG. 4 is a view showing an embodiment of a variable lens included in the camera module shown in FIG. 2A.
- FIG. 5 is a view showing another embodiment of a variable lens included in the camera module shown in FIG. 2A.
- FIG. 6 is a view for explaining the variable lens according to the embodiment shown in FIG. 5 in more detail.
- FIG. 7 is a view showing a liquid lens according to an embodiment.
- FIG. 8 is a block diagram illustrating a camera module according to another embodiment.
- FIG. 9 is a cross-sectional view of the image sensing unit shown in FIG. 8 according to an embodiment of the present invention.
- FIG. 10 is a plan view of another embodiment of the image sensing unit shown in FIG.
- FIG. 11 shows a plan view of another embodiment of the image sensing unit shown in Fig.
- FIG. 12A and 12B show perspective views of another embodiment of the image sensing unit shown in Fig.
- FIG. 13 is a diagram for explaining a method of operating a camera module according to an embodiment.
- FIG. 14 is a diagram for explaining the operation method of the camera module described in FIG. 13 in more detail.
- 15 is a timing diagram of a method of operating a camera module according to an embodiment.
- 16 is a diagram illustrating an example of a frame synthesis method of a camera module according to an embodiment.
- first " second ", and the like can be used to describe various components, but the components should not be limited by the terms. The terms are used for the purpose of distinguishing one component from another. In addition, terms specifically defined in consideration of the constitution and operation of the embodiment are only intended to illustrate the embodiments and do not limit the scope of the embodiments.
- the upper or lower when it is described as being formed on the "upper” or “on or under” of each element, the upper or lower (on or under Quot; includes both that the two elements are in direct contact with each other or that one or more other elements are indirectly formed between the two elements. Also, when expressed as “on” or “on or under”, it may include not only an upward direction but also a downward direction with respect to one element.
- top / top / top and “bottom / bottom / bottom”, as used below, do not necessarily imply nor imply any physical or logical relationship or order between such entities or elements, And may be used to distinguish one entity or element from another entity or element.
- the camera modules 10 and 20 are described using a Cartesian coordinate system, they may be described by other coordinate systems. According to the Cartesian coordinate system, the x-axis, the y-axis and the z-axis are orthogonal to each other, but the embodiment is not limited to this. That is, the x-axis, the y-axis, and the z-axis may intersect with each other.
- FIG. 1 is a block diagram illustrating a camera module 10 according to one embodiment.
- the camera module 10 may include a lens assembly 100A, an image sensor 200A, an image synthesizer 300, and a controller 400A.
- the lens assembly 100A can transmit the optical signal to the image sensor 200A through the light incident from the outside of the camera module 10.
- the lens assembly 100A may include a variable lens 110.
- the lens assembly 100A may further include at least one lens other than the variable lens 110.
- the lenses included in the lens assembly 100A form one optical system and can be aligned around the optical axis of the image sensor 200A.
- the variable lens 110 may change the optical path of the lens assembly 100A under the control of the controller 400A.
- the variable lens 110 may change the optical path to be incident on the image sensor 200A and may change the focal distance of the optical signal, the field of view (FOV) angle, the direction of the FOV, or the like.
- FOV field of view
- the variable lens 110 may be composed of a liquid lens or a variable prism.
- the variable lens 110 does not include a liquid lens, and may include only at least one solid lens.
- the material of the optical element such as the variable prism has no fluidity and the refractive index can be 1 or more and 3 or less.
- the inner material of the variable lens 110 may be formed of two or more kinds of materials, and the interface of each material may be changed to change the optical power.
- variable lens 110 may comprise an actuator coupled with at least one lens and at least one lens.
- at least one lens may be a liquid lens, a solid lens, or both a liquid lens and a solid lens.
- the actuator can control the physical displacement of at least one lens under the control of the controller 400A. That is, the actuator can adjust the distance between the at least one lens and the image sensor 200A, or adjust the angle between the at least one lens and the image sensor 200A. Or the actuator may shift at least one lens in the x-axis and y-axis directions of the plane formed by the pixel array of the image sensor 200A. Further, the actuator can change the path of the light incident on the pixel array of the image sensor 200A.
- variable lens 110 when at least one lens included in the variable lens 110 does not include a liquid lens, that is, when at least one lens included in the variable lens 110 is a solid lens, It is possible to move or tilt the lens in at least one of the vertical direction and the horizontal direction according to the control signal (i.e., the first signal shown in Fig. 1) output from the control unit 400A.
- control signal i.e., the first signal shown in Fig. 1
- the image sensor 200A includes a pixel array for receiving an optical signal transmitted through the lens assembly 100A and converting the optical signal into an electrical signal corresponding to the optical signal, a driving circuit for driving a plurality of pixels included in the pixel array, And a readout circuit for reading the pixel signal.
- the lead-out circuit may compare the analog pixel signal with a reference signal to produce a digital pixel signal (or video signal) through an analog-to-digital conversion.
- the digital pixel signal of each pixel included in the pixel array constitutes a video signal
- the video signal can be defined as an image frame as it is transmitted in units of frames. That is, the image sensor can output a plurality of image frames.
- the image synthesizer 300 may be an image processor that receives an image signal from the image sensor 200A and processes (e.g., interpolates, frame synthesizes, etc.) the image signal.
- the image combining unit 300 may synthesize a video signal (high resolution) of one frame using video signals (low resolution) of a plurality of frames.
- the plurality of image frames may be each image frame generated by changing the optical path by the variable lens 110.
- the image combining unit 300 may be referred to as a post-processor.
- the plurality of image frames may include a first image frame and a second image frame, and the second image frame may be an image frame shifted by a first interval based on the first image frame.
- the control unit 400A controls the variable lens 110 and the image sensor 200A and synchronizes with the control state of the variable lens 110 so that the image sensor 200A can generate a video signal. To this end, the control unit 400A transmits and receives a first signal to and from the variable lens 110, and transmits and receives a second signal to and from the image sensor 200A.
- the first signal is generated by the control unit 400A and includes a lens control signal for optical path control of the variable lens 110 or a lens control signal for controlling the focal length or the FOV angle of the variable lens 110 can do.
- the lens control signal can determine the optical path of the light passing through the variable lens 110.
- the lens control signal can determine the changing direction and the changing angle of the FOV angle of the variable lens 110.
- the first signal is generated by the variable lens 110, and may include a response signal indicating that the control of the variable lens 110 is completed in accordance with the lens control signal.
- the control unit 400A may be referred to as a variable lens driver.
- the second signal may be generated by the image sensor 200A and may include a synchronization signal that directs the lens control signal to be transmitted to the variable lens 110.
- the second signal may be generated by the image sensor 200A and may include control information that is the basis of the control signal for optical path control of the variable lens 110.
- the second signal may be generated by the control unit 400A and may include a feedback signal indicating that the response signal indicating that the control of the variable lens 110 has been completed is received according to the lens control signal.
- the second signal may include a driving signal for driving the image sensor 200A.
- the signals included in the first signal and the second signal are illustrative, and may be omitted or other signals may be added if necessary.
- FIG. 2A is a diagram illustrating an embodiment 10A of the camera module 10 shown in FIG.
- the camera module 10A may include a lens assembly, an image sensor 200A, and a substrate 250.
- the lens assembly includes a holder 130A, a lens barrel 140A, a first lens unit 150A, a second lens unit 160A, and an IR glass 170 that transmits or blocks IR (Infrared) And at least one of the configurations may be omitted or the up-down arrangement relationship may be changed.
- the lens assembly may further include a variable lens 110 capable of changing the optical path under the control of the control unit 400A.
- the holder 130A may be coupled to the lens barrel 140A to support the lens barrel 140A and may be coupled to the substrate 250 to which the image sensor 200A is attached.
- the holder 130A may have a space to which the IR glass 170 can be attached under the lens barrel 140A.
- the holder 130A includes a helical structure and can be rotationally coupled with the lens barrel 140A, which also includes a helical structure.
- this is merely an example, and the holder 130A and the lens barrel 140A may be coupled through an adhesive (for example, an adhesive resin such as an epoxy) or the holder 130A and the lens barrel 140A Or may be integrally formed.
- the lens barrel 140A is coupled to the holder 130A and may have a space for accommodating the first lens unit 150A, the second lens unit 160A, and the variable lens 110 therein.
- the lens barrel 140A may be rotationally coupled to the first lens unit 150A, the second lens unit 160A, and the variable lens 110.
- the lens barrel 140A is illustrative and may be coupled in other manners, have.
- the first lens portion 150A may be disposed in front of the second lens portion 150A.
- the first lens unit 150A may be composed of at least one lens, or two or more lenses may be aligned with respect to the central axis to form an optical system.
- the central axis may be the same as the optical axis of the optical system of the camera module 10 (10A).
- the first lens unit 150A may be formed of one lens as shown in FIG. 2A, but is not limited thereto.
- the second lens unit 160A may be disposed behind the first lens unit 150A. Light incident from the outside of the camera module 10 or 10A to the first lens unit 150A may pass through the first lens unit 150A and enter the second lens unit 160A.
- the second lens unit 160A may be composed of at least one lens, or two or more lenses may be aligned with respect to the central axis to form an optical system.
- the center axis may be the same as the optical axis of the optical system of the camera module 10, 10A.
- the second lens unit 160A may be formed of one lens as shown in FIG. 2A, but is not limited thereto.
- first solid lens portion May be referred to as a "first solid lens portion” and a “second solid lens portion” in order to distinguish the first lens portion 150A and the second lens portion 160A from the liquid lens.
- the lens assembly may further include a variable lens 110, and the position of the variable lens 110 may be any one of the first position P1 to the fourth position P4.
- the variable lens 110 may be located at a different position depending on the presence or absence and relative positions of the first lens unit 150A, the second lens unit 160A, and the IR glass 170.
- the variable lens 110 may be positioned on an optical path through which light incident on the lens assembly passes, thereby changing the focal length or FOV angle.
- the first position P1 corresponds to the outside of the lens barrel 140A and the second position P2 corresponds to the upper portion of the first lens unit 150A inside the lens barrel 140A.
- the third position P3 corresponds to the position between the first lens unit 150A and the second lens unit 160A in the lens barrel 140A and the fourth position P4 corresponds to the position between the lens barrel 140A,
- the second lens unit 160A is located at a position corresponding to the lower portion of the second lens unit 160A.
- the IR glass 170 can filter light corresponding to a specific wavelength range with respect to light having passed through the second lens unit 160A.
- the IR glass 170 may be mounted and fixed to the inner groove of the holder 130A.
- the image sensor 200A may be mounted on the substrate 250 and may convert light passing through the lens assembly into a video signal.
- the substrate 250 may be disposed at a lower portion of the holder 130A and may include wiring for transferring electric signals between the image composing unit 300 and the control unit 400A.
- a connector (not shown) may be connected to the substrate 250 to electrically connect the camera module 10 to a power source or other device (for example, an application processor).
- the substrate 250 may be formed of a Rigid Flexible Printed Circuit Board (RFPCB) and may be bent according to a space required for mounting the camera modules 10 and 10A.
- RFPCB Rigid Flexible Printed Circuit Board
- the embodiments are not limited thereto.
- FIG. 2B is a view showing another embodiment 10B of the camera module 10 shown in FIG.
- the same components as those of the camera module 10A shown in Fig. 2A are denoted by the same reference numerals and the description thereof is omitted.
- the description of the camera module 10A shown in Fig. 2A can be applied to the respective components of Fig. 2B.
- the camera module 10B may include a lens assembly, an image sensor 200A, and a substrate 250, at least one of which may be omitted, or the relationship between the upper and lower parts may be changed.
- the image sensor 200A and the substrate 250 shown in FIG. 2B correspond to the image sensor 200A and the substrate 250 shown in FIG. 2B, respectively, and a description thereof will be omitted.
- the camera module 10B may further include a cover 186. Fig.
- the cover 186 is arranged to surround and enclose the components of the camera module 10B while exposing the upper opening of the lens assembly so as to protect each component of the camera module 10B.
- the lens assembly may include a variable lens 110, a holder 130B, a lens barrel 140B, a first lens unit 150B, a second lens unit 160B, and an IR glass 170. At least one of these configurations may be omitted or the up-and-down arrangement relationship may be changed.
- variable lens 110, the holder 130B, the lens barrel 140B, the first lens unit 150B, the second lens unit 160B, and the IR glass 170 shown in FIG. 2B correspond to the variable The lens barrel 140A, the first lens unit 150A, the second lens unit 160A, and the IR glass 170, respectively.
- the lens barrel 140A shown in FIG. 2A has a structure to be inserted into the holder 130A, whereas the lens barrel 140B shown in FIG. 2B can be disposed apart from the upper portion of the holder 130B.
- the holder 130B can be coupled with the lens barrel 140B through the connecting portions 192 to 198 and the actuators 182 and 184 to support the lens barrel 140B.
- the holder 130B shown in FIG. 2B may have a space to which the IR glass 170 can be attached under the lens barrel 140B.
- the lens barrel 140B may have a space in which a lens that can be included in the first lens unit 150B, the second lens unit 160B, and the variable lens 110 may be accommodated.
- the lens barrel 140B may be rotationally coupled with the lenses of the first lens unit 150B, the second lens unit 160B and the variable lens 110.
- the lens barrel 140B is illustrative, .
- first lens unit 150A shown in Fig. 2A has only one lens
- first lens unit 150B shown in Fig. 2B has two lenses
- second lens unit 160A shown in Fig. 2A has only one lens
- second lens unit 160B shown in Fig. 2B has two lenses.
- the number of lenses included in each of the first and second lens units 150B and 160B may be one or three or more, as shown in FIG. 2A, unless the embodiment is limited thereto.
- variable lens 110 shown in FIG. 2B may include actuators 182 and 184, an adhesive 188, and connections 192, 194, 196, and 198. Further, the variable lens 110 may include at least one lens, and at least one lens may include only a liquid lens, only a solid lens, or both a liquid lens and a solid lens.
- the number of the actuators 182 and 184 included in the variable lens 110 is two.
- the number of the actuators 182 and 184 may be one. That is, the actuators 182 and 184 shown in FIG. 2B may be integrally implemented.
- the number of the actuators 182, 184 may be three or more. As such, embodiments are not limited to any particular number of actuators 182, 184.
- the actuators 182 and 184 move or tilt at least one lens included in the lens assembly in at least one of a vertical direction and a horizontal direction in response to a control signal output from the control unit 400A, .
- the actuators 182 and 184 may be disposed around the outer wall of the lens barrel 140B.
- the actuators 182 and 184 can control the physical displacement of the lenses 150B and 160B under the control of the controller 400A. That is, the actuators 182 and 184 adjust the distance between the at least one lens 150B and 160B and the image sensor 200A, or adjust the angle between the at least one lens 150B and 160B and the image sensor 200A Can be adjusted. Or the actuators 182 and 184 may shift at least one lens in the x and y axis directions of the plane formed by the pixel array of the image sensor 200A. Further, the actuators 182 and 184 can change the path of the light incident on the pixel array of the image sensor 200A.
- the actuators 182, 184 transmit at least one lens included in the first and second lens units 150B and 160B and the variable lens 110 to a control signal output from the control unit 400A In at least one of the vertical direction and the horizontal direction.
- the actuators 182 and 184 are capable of moving at least one lens included in the lens assembly in the vertical direction as well as in the horizontal direction and tilting, the actuators 182 and 184 The optical path can be changed.
- the actuators 182 and 184 can move the lens precisely and can be driven in response to a drive signal output in the form of voltage or current from the control unit 400A.
- the driving signal may be included in the first signal.
- the lens barrel 140B can be moved by a distance of 1 mm or less by the actuators 182 and 184, can be moved or tilted in the vertical direction of the optical axis or the optical axis, and the tilting angle can be 1 degree or less .
- VCM voice coil motor
- MEMS microelectromechanical systems
- the actuators 182 and 184 are disposed on the sides of the lens barrel 140B to horizontally move at least one lens included in the lens assembly such that the actuators 182 and 184 horizontally move the entire lens barrel 140B horizontally Direction (for example, at least one of the x-axis direction and the y-axis direction).
- connection portions 192 and 196 may be interposed between the actuators 182 and 184 and the lens barrel 140B.
- the connection portions 192 and 196 serve to connect the actuators 182 and 184 and the lens barrel 140B. In some cases, when the actuators 182 and 184 are directly connected to the lens barrel 140B, the connection portions 192 and 196 may be omitted.
- the actuators 182 and 184 are disposed on the upper portion of the holder 130B so as to move the entire lens barrel 140B in the vertical direction so that the actuators 182 and 184 move the at least one lens included in the lens assembly in the vertical direction. And can be moved in the vertical direction (for example, the z-axis direction).
- connection portions 194 and 198 may be interposed between the actuators 182 and 184 and the holder 130B.
- the connecting portions 194 and 198 serve to connect the actuators 182 and 184 and the holder 130B. In some cases, when the actuators 182, 184 are directly connected to the holder 130B, the connections 194, 198 may be omitted.
- the actuator may be implemented in the form of a voice coil motor (VCM).
- VCM voice coil motor
- the lens barrel includes a coil disposed in the periphery of the lens barrel, and the position of the lens barrel can be adjusted by interacting with the barrel and the coil and the magnet disposed in the housing or the yoke.
- one end of the elastic member or the like may support the barrel and the other end may be disposed in combination with the housing or the yoke.
- variable lens 110 may further include an adhesion portion 188.
- the adhesive 188 serves to join the cover 186 and the actuators 182 and 184.
- the cover 186 is fixed while the actuators 182 and 184 can move or tilt in at least one of the horizontal direction or the vertical direction.
- the adhesive 188 may be made of a material that allows movement of the actuators 182, 184, and in some cases the adhesive 188 may be omitted. If the bonding portion 188 is omitted, the cover 186 and the actuators 182 and 184 may be disposed apart from each other.
- FIG 3 is a view for explaining an embodiment of an operation of changing the FOV angle of the variable lens as a change of the optical path by the variable lens.
- the lens assembly 100A may have a specific field of view (FOV).
- the FOV means a range of incident light that the image sensor 200A can capture through the lens assembly 100A and can be defined as a FOV angle.
- the FOV angle of a typical lens assembly may range from 60 degrees to 140 degrees.
- the FOV angle includes the first FOV angle Fx and the second FOV angle Fy .
- the first FOV angle Fx means the angle of the FOV determined along the x axis
- the second FOV angle Fy means the angle of the FOV determined along the y axis.
- the plurality of pixels included in the pixel array of the image sensor 200A may be arranged in a matrix form of NxM (where N and M are each an integer of 1 or more). That is, N pixels may be arranged along the x-axis, and M pixels may be arranged along the y-axis.
- NxM an optical signal incident through the FOV corresponding to the first FOV angle Fx and the second FOV angle Fy is incident on the NxM pixel array.
- the FOV of the optical path or lens assembly 100A passing through the lens assembly 100A can be changed by the lens control signal included in the first signal.
- the lens control signal can change the first FOV angle Fx and the second FOV angle Fy respectively and the change of the first FOV angle Fx and the second FOV angle Fy according to the lens control signal 1 angle change amount? X and the second angle change amount? Y.
- the first angle variation amount? X and the second angle variation amount? Y can be defined by the following equations (1) and (2), respectively.
- a may be greater than 0.1 and less than 0.5, and b may be greater than 1 and less than 2, but the scope of the embodiment is not limited thereto.
- ? X and? Y are change angles with respect to the image generated by the image sensor 200A, and the change angle of the actual variable lens 110 may be larger or smaller.
- the variable lens 110 is a transmission type, it is common that each of? X and? Y has a value smaller than 2.
- the variable lens 110 is a reflection type,? X and? Y are each generally larger than 1, 100A may have a very different value depending on the configuration of the optical system.
- FIG. 4 is a view showing an embodiment of a variable lens included in the camera module 10A shown in FIG. 2A.
- variable lens 40 is an embodiment of the variable lens 110 shown in FIG. 1, and the variable lens 40 has a structure including a fluid 41 between upper and lower plates Lt; / RTI >
- the driving voltage is applied to the liquid 41, the liquid 41 is concentrated in a specific direction, and the angle of the lower plate with respect to the image sensor can be changed.
- the angle of the lower plate with respect to the image sensor 200A can be increased as the driving voltage applied to the fluid 41 increases (or as the deviation of the driving voltage increases).
- the driving voltage applied to the variable lens 40 can be predetermined so that the first FOV angle Fx and the second FOV angle Fy change depending on the lens control signal.
- variable lens 40 may be a variable prism, but the scope of the present invention is not limited thereto.
- FIG. 5 is a view showing another embodiment 50 of the variable lens 110 included in the camera module 10A shown in FIG. 2A.
- the variable lens 50 includes two liquids 51 having different properties between the upper and lower plates.
- the variable lens 50 includes a plurality of liquids 51, As shown in FIG.
- the two liquids 51 are made of a fluid material having a refractive index of 1 to 2.
- the drive voltage applied to the variable lens 50 can be predetermined so that the first FOV angle Fx and the second FOV angle Fy change in accordance with the lens control signal.
- FIG. 6 is a view for explaining the variable lens according to the embodiment shown in FIG. 5 in more detail.
- FIG. 6A illustrates the liquid lens 28
- FIG. 6B illustrates an equivalent circuit of the liquid lens 28.
- the liquid lens 28 may mean the variable lens 50 of Fig.
- the liquid lens 28 whose interface is adjusted in correspondence to the driving voltage is arranged in four different directions with the same angular distance to form a plurality of electrode sectors L1 , L2, L3, and L4) and the electrode sector constituting the second electrode.
- a driving voltage is applied through a plurality of electrode sectors (L1, L2, L3, L4) constituting the first electrode and an electrode sector constituting the second electrode, the conductive liquid and the nonconductive liquid
- the interface may be deformed.
- the degree and shape of the deformation of the interface between the conductive liquid and the nonconductive liquid can be controlled by a control circuit (control section 400A in Fig. 1).
- one side of the liquid lens 28 receives a voltage from the different electrode sectors L1, L2, L3 and L4 and the other side receives the voltage from the electrode sector C0 of the second electrode.
- a plurality of capacitors 30 connected to the capacitors 30 and receiving a voltage.
- FIG. 7 is a view showing a liquid lens 700 according to an embodiment.
- the liquid lens 700 may correspond to one embodiment of the cross section of the liquid lens 28 shown in FIG.
- the liquid lens 700 may include a conductive liquid 72, a nonconductive liquid 73, a plate, an electrode portion, and an insulating layer 76.
- the plate may include a first plate 74, and may further include a second plate 77 and a third plate 71.
- the electrode unit may include a first electrode 75-1 and a second electrode 75-2.
- the second plate 77 and the third plate 71 may be made of a transparent material. Either the second plate 77 or the third plate 71 may be arranged to receive light passing through the lens assembly 100A from the liquid lens 700 first.
- the third plate 71 may be disposed below the first electrode 75-1 and the second plate 77 may be disposed above the second electrode 75-2.
- the conductive liquid 72 and the nonconductive liquid 73 may be filled in a cavity determined by the opening area of the first plate 74. That is, the cavity may be filled with the conductive liquid 72 of different properties and the nonconductive liquid 73, and the interface IF is formed between the conductive liquid 72 of the different nature and the nonconductive liquid 73 .
- the interface IF formed by the conductive liquid 72 and the nonconductive liquid 73 can be adjusted in focal length or shape of the liquid lens 700 while bending,
- An area where the optical signal can pass through the interface IF may correspond to the lens area 310 described in FIG.
- the conductive liquid 72 may include at least one of ethylene glycol and sodium bromide (NaBr), and may be formed by mixing ethylene glycol and sodium bromide (NaBr) And the nonconductive liquid 73 may comprise a phenyl series silicone oil.
- the first plate 74 may include an aperture region located between the third plate 71 and the second plate 77 and having a predetermined sloped surface (e.g., an inclined surface having an angle of about 59 degrees to 61 degrees) . That is, the first plate 74 may include an inclined surface therein, and the conductive liquid 72 and the nonconductive liquid 73 may be disposed in the cavity defined by this inclined surface.
- the first plate 74 is a housing structure for housing two liquids 72 and 73 having different properties in the liquid lens 700.
- the third plate 71 and the second plate 77 are regions in which the optical signal passes And it is possible to form the first plate (the first plate) and the second plate (the second plate) by using the same material as the first plate 74 may also be formed of a material such as glass.
- the first plate 74 may contain impurities such that transmission of the optical signal is not easy.
- the first electrode 75-1 and the second electrode 75-2 are connected to a control circuit 400A of FIG. 1 for controlling the interface IF between the conductive liquid 72 and the nonconductive liquid 73, And a driving voltage supplied from the driving voltage generating unit.
- the first electrode 75-1 may be disposed on an inclined surface of the first plate 74 and the second electrode 75-2 may be disposed on the upper surface of the first plate 74.
- L1, L2, L3, and L4 and the common electrode C0 are formed on both sides of the first plate 74 adjacent to the third plate 71 and the second plate 77, And / or an electrode pattern may be included.
- the second electrode 75-2 is a common electrode disposed to be in contact with the conductive liquid 72 and the first electrode 75-1 is disposed so as to be close to the conductive liquid 72 with the insulating layer 76 therebetween It may be an individual electrode.
- the first electrode 75-1 and the second electrode 75-2 may include chromium (Cr).
- Chromium or chromium is a silver-colored, hard, transition metal that is easy to break, characterized by high melting point without discoloration.
- alloys containing chromium are resistant to corrosion and can be used in alloyed form with other metals.
- chromium (Cr) has a characteristic of being resistant to the conductive liquid filling the cavity because of less corrosion and discoloration.
- the point at which the interface IF contacts the inclined surface of the cavity can be changed according to the voltage difference between the individual electrode and the common electrode and the driving voltage is asymmetrically controlled between the individual electrodes facing each other using the same to change the predetermined FOV angle change direction and change You can change the FOV at an angle.
- the insulating layer 76 is a structure for physically insulating the first electrode 75-1 from the conductive liquid 72 and the nonconductive liquid 73.
- the insulating layer 76 may include parylene C and may be formed by a method such as coating, deposition, plating, and the like.
- the insulating layer 76 may extend over the top of the first plate 74 and the underside of the nonconductive liquid 73, including inclined surfaces that may abut the conductive liquid 72 and the non- have.
- the insulating layer 76 may be disposed on the upper portion of the first electrode 75-1.
- the first electrode 75-1 and the second electrode 75-2 are disposed adjacent to each other on the first plate 74.
- the insulating layer 76 is formed such that the first electrode 75-1 is electrically connected to the conductive liquid 72
- the first electrode 75-1 may be disposed so as not to be in contact with the first electrode 75-1 and at least a portion thereof may be disposed in contact with the second electrode 75-2 as shown in FIG. But is not limited thereto.
- the second plate 77 may be formed of a transparent glass and constitutes a cavity together with the third plate 71 and the opening area so that the conductive liquid 72 and the nonconductive liquid 73 can be filled .
- FIG. 8 is a block diagram showing a camera module 20 according to another embodiment.
- the camera module 20 may include a lens assembly 100B, an image sensing unit 200B, an image synthesizing unit 300, and a control unit 400B.
- the image composing unit 300 performs the same function as the image composing unit 300 shown in FIG. 1, the same reference numerals are used and redundant explanations are omitted.
- the lens assembly 100B is disposed on the image sensing unit 200B and can transmit the optical signal to the image sensor 230 included in the image sensing unit 200B through the light incident from the outside of the camera module 20. [ have. That is, the lens assembly 100B can form an optical path to be incident on the image sensing unit 200B.
- the lens assembly 100B may have a configuration as shown in Figs. 2A and 2B. At this time, the lens assembly 100B may include the variable lens 110, or may not include the variable lens 110.
- the lens assembly 100B does not include the variable lens 110, the configuration in which the variable lens 110 is omitted from the camera modules 10A and 10B shown in FIG. 2A or 2B is applied to the lens assembly 100B, And thus redundant description thereof will be omitted.
- the image sensing unit 200B may include an image sensor 230 and an actuator 240.
- the image sensing unit 200B can adjust the relative position of the image sensor 230 with respect to the lens assembly 100B under the control of the controller 400B.
- the actuator 240 may adjust the physical displacement of the image sensor 230.
- variable lens 110 is used to adjust the optical path from the outside to the image sensor 200A.
- the lens assembly 100B shown in FIG. 8 includes the variable lens 110 like the lens assembly 100A shown in FIG. 1,
- the optical path is primarily adjusted by the variable lens 110, and can be adjusted by the actuator 240 in a secondary order.
- the control unit 400B can control the lens assembly 100B and the image sensor 230 in the same manner as the control unit 400A.
- the third signal shown in Fig. 8 may include a first signal
- the fourth signal may include a second signal.
- the third signal can be omitted.
- the controller 400B may control the actuator 240 of the image sensing unit 200B to adjust the relative position of the image sensor 230 with respect to the lens assembly 100B.
- the control unit 400B can transmit and receive the fourth signal to and from the image sensing unit 200B. That is, in response to the fourth signal, the actuator 240 rotates the image sensor 230 in at least one of the optical axis direction (or the direction parallel to the optical axis) (e.g., the z axis direction) Direction or tilting.
- the actuator 240 may be a piezoelectric element, a voice coil motor (VCM), a MEMS (MEMS), but embodiments are not limited to any particular form of the actuator 240.
- the actuator 240 moves the image sensor 230 itself in at least one direction of the optical axis direction (or in the direction parallel to the optical axis) (e.g., the z axis direction) or in the horizontal direction perpendicular to the optical axis direction Or may move the substrate 250 on which the image sensor 230 is disposed, move the package of the image sensor 230, or move the image sensor 230, as shown in FIG. 2A or 2B, And the embodiment is not limited to this.
- FIG. 8 various embodiments 200B1 to 200B4 of the image sensing unit 200B shown in FIG. 8 will be described below with reference to the accompanying drawings, but the embodiments are not limited thereto.
- the configuration of the camera module 20 according to the first embodiment of the present invention is not limited to the substrate 250 and the image sensor 200A in the camera modules 10A and 10B shown in Figs. And image sensing units 200B1 and 200B4, and the variable lens 110 shown in FIGS. 2A and 2B may be omitted.
- FIG. 9 shows a cross-sectional view of an image sensing unit 200B shown in FIG. 8 according to an embodiment 200B1.
- the image sensing unit 200B1 may include an actuator 240A, a substrate 250A, and an image sensor 230A.
- the image sensor 230A and the actuator 240A correspond to one embodiment of the image sensor 230 and the actuator 240 shown in FIG. 8, respectively.
- the substrate 250A may be disposed on the actuator 240A and the image sensor 230A may be disposed on the substrate 250A. That is, the actuator 240A may be disposed under the substrate 250 shown in FIG. 2A or 2B, as shown in FIG.
- the controller 400B moves the actuator 240A in at least one of an optical axis direction (or a direction parallel to the optical axis) (e.g., a z-axis direction) or a horizontal direction perpendicular to the optical axis direction Tilting can be performed.
- the substrate 250A and the image sensor 230A can move together in the same direction as the direction in which the actuator 240A moves. For example, when the actuator 240A moves in the arrow directions AR1 and AR2, the substrate 250A and the image sensor 230A can move together in the same direction.
- Fig. 10 shows a plan view by another embodiment 200B2 of the image sensing unit 200B shown in Fig.
- the image sensing unit 200B2 may include an actuator 240B, a substrate 250B, elastic members 262 to 268, and an image sensor 230B.
- the image sensor 230B and the actuator 240B correspond to different embodiments of the image sensor 230 and the actuator 240 shown in FIG. 8, respectively.
- the substrate 250B and the image sensor 230B perform the same functions as the substrate 250 and the image sensor 200A shown in Figs. 2A and 2B, respectively.
- the substrate 250B has a ring-shaped planar shape surrounding the image sensor 230B.
- the image sensor 230B is disposed inside the annular substrate 250B and may be disposed at a predetermined distance from the inner circumferential surface of the substrate 250B.
- the elastic members 262 to 268 are disposed between the outer edge of the image sensor 230B and the inner edge of the substrate 250B so that the position of the image sensor 230B whose physical displacement is changed by the actuator 240B .
- the actuator 240B may be disposed between the image sensor 230B and the substrate 250B, and may be a MEMS.
- the image sensor 230B can also move in the same direction as the direction in which the actuator 240B moves.
- Fig. 11 shows a plan view of another embodiment 200B3 of the image sensing unit 200B shown in Fig.
- the image sensing unit 200B3 may include actuators AR1 to AR4 (242 to 248) and an image sensor 230C.
- the image sensor 230C and the actuators 242 to 248 correspond to another embodiment of the image sensor 230 and the actuator 240 shown in FIG. 8, respectively.
- the actuators AC1, AC2, AC3 and AC4 242 to 248 are disposed opposite to the four sides of the image sensor 230C and apply pressure to the image sensor 230C in the arrow directions AR3 to AR6,
- the sensor 230C can be moved in the horizontal direction. That is, the actuator AC1 242 can move the image sensor 230C in the + x-axis direction by applying pressure in the arrow direction AR3 to the first one of the four sides of the image sensor 230C.
- the actuator AC2 244 can move the image sensor 230C in the -x axis direction by applying pressure in the arrow direction AR4 to the second side of the four sides of the image sensor 230C.
- the actuator AC3 246 can move the image sensor 230C in the + y axis direction by applying pressure in the arrow direction AR5 to the third side of the four sides of the image sensor 230C.
- the actuator AC4 248 can move the image sensor 230C in the -y axis direction by applying pressure in the arrow direction AR6 to the fourth side of the four sides of the image sensor 230C.
- the image sensing portion 200B3 includes four actuators AC1, AC2, AC3, and AC4 (242 to 248), since the image sensor 230C has a rectangular planar shape. It is not limited. That is, the number of the actuators 242 to 248 may be more or less than four, depending on the plane shape of the image sensor 230C.
- actuators are additionally disposed on the upper and lower portions of the image sensor 230C to apply pressure to the upper and lower portions of the image sensor 230C, It may be moved in the vertical direction.
- the actuator that applies pressure to the image sensor 230C may be implemented as a piezoelectric element, and the controller 400B may generate a fourth signal that drives the corresponding piezoelectric element among the plurality of piezoelectric elements.
- Figs. 12A and 12B show a perspective view of another embodiment 200B4 of the image sensing unit 200B shown in Fig.
- the image sensing unit 200B4 may include an image sensor 230D and an actuator 240C.
- the image sensor 230D and the actuator 240C correspond to another embodiment of the image sensor 230 and the actuator 240 shown in Fig. 8, respectively.
- the image sensor 230D may be disposed on the MEMS type actuator 240C shown in Fig. 12A.
- the image sensor 230D can also move in the same direction as the direction in which the actuator 240C moves.
- the distance by which the image sensors 230A, 230B, 230C and 230D are moved by the actuators 240A, 240B, 242 to 248 and 240C may be 1 mm or less and the tilting angle may be 1 degree or less.
- the image combining unit 300 may synthesize a video signal (high resolution) of one frame using video signals (low resolution) of a plurality of frames.
- the plurality of image frames may be each image frame generated by changing the relative position of the image sensor 230 with respect to the lens assembly 100B.
- the image combining unit 300 may be referred to as a post-processor.
- the plurality of image frames may include a first image frame and a second image frame, and the second image frame may be an image frame shifted by a first interval based on the first image frame.
- FIG. 13 is a diagram for explaining an operation method of the camera module 10, 20 according to an embodiment.
- FIG. 14 is a diagram for explaining the operation method of the camera module 10, 20 explained in FIG. 13 in more detail.
- FIG. 13 a schematic diagram of a method for obtaining a super resolution image by changing the optical path incident on the image sensor 200A or changing the relative position of the image sensor 230 with respect to the lens assembly Respectively.
- the pixel array of image sensors 200A, 230 may comprise a plurality of pixels arranged in a matrix form of NxM.
- NxM matrix form of NxM.
- the pixel array includes a plurality of pixels A1 to A4 arranged in a matrix of 2x2 as in Fig.
- Each pixel A1 to A4 generates image information (i.e., an analog pixel signal corresponding to the optical signal) for each pixel scene PS1 to PS4 through an optical signal transmitted through the lens assemblies 100A and 100B .
- the distance between neighboring pixels in the x-axis direction (or the y-axis direction) is 1 PD (pixel distance)
- half thereof corresponds to 0.5 PD.
- the first to fourth pixel shifts A to D will be defined.
- the first pixel shift A means shifting each pixel A1 to A4 by 0.5 PD to the right along the + x axis direction, and the pixels after the first pixel shift A is completed are B1 to B4.
- the second pixel shift B means shifting each pixel B1 to B4 by 0.5 PD downward along the + y axis direction and the pixel after the second pixel shift B is completed is C1 to C4.
- the third pixel shift C means shifting each pixel C1 to C4 by 0.5 PD to the left along the -x axis direction and the pixel after the third pixel shift C is completed is D1 to D4.
- the fourth pixel shift D means moving each pixel D1 to D4 by 0.5 PD upward along the -y axis direction, and the pixel after the fourth pixel shift D is completed is A1 to A4.
- the pixel shifting does not move the physical location of the pixel in the pixel array, but rather the variable pixel (e.g., B1) between two pixels (e.g., A1 and A2) Refers to an operation of adjusting at least one of the lens 110 and the actuator 240 to adjust the path of the transmitted light or the relative position of the image sensor 230 with respect to the lens assembly.
- the variable pixel e.g., B1 between two pixels (e.g., A1 and A2)
- each pixel A1 to A4 acquires a pixel scene S1, and the image sensors 200A and 230 generate a first frame F1 from the pixel signals of the respective pixels A1 to A4 .
- the variable lens 110 is moved to the lens assembly 100A
- the first pixel shift A can be performed by changing the optical path or FOV of the first pixel shift right by the first angle change amount [theta] x.
- the actuator 240 may be performed by changing the relative position of the image sensor 230 to the right by the first angle variation amount X.
- Each of the pixels B1 to B4 may then acquire the pixel scene S2 and the image sensors 200A and 230 may generate the second frame F2 from the pixel signals of the respective pixels B1 to B4.
- the variable lens 110 moves the lens assembly 100A
- the second pixel shift B can be performed by changing the optical path or the FOV of the second pixel shift down by the second angle change amount [theta] y.
- a fourth signal that causes the relative position of the image sensor 230 relative to the lens assembly 100B to change by the second angle variation amount? Y for the second pixel shift B the actuator 240
- the second pixel shift B can be performed by changing the relative position of the image sensor 230 by the second angle variation amount? Y.
- Each of the pixels C1 to C4 may then acquire the pixel scene S3 and the image sensors 200A and 230 may generate the third frame F3 from the pixel signals of the respective pixels C1 to C4.
- the variable lens 110 is moved to the lens assembly 100A
- the third pixel shift C can be performed by changing the optical path or FOV of the first pixel shift amount?
- the actuator 240 can be performed by changing the relative position of the image sensor 230 to the left by the first angle variation amount? X.
- Each pixel D1 through D4 may then acquire a pixel scene S4 and the image sensors 200A and 230 may generate a fourth frame F4 from the pixel signals of each pixel D1 through D4.
- the variable lens 110 is moved to the lens assembly 100A in accordance with the lens control signal for changing the optical path or FOV of the lens assembly 100A by the second angle variation amount?
- the fourth pixel shift D can be performed by changing the optical path or FOV of the first pixel shift by the second angle change amount [Theta] y.
- the fourth signal that causes the relative position of the image sensor 230 relative to the lens assembly 100B to change by the second angle variation amount? Y for the fourth pixel shift D may be performed by changing the relative position of the image sensor 230 by the second angle variation amount? Y.
- Each pixel A1 to A4 may then acquire a pixel scene S1 and the image sensors 200A and 230 may generate a fifth frame F5 from the pixel signals of each pixel A1 to A4. Thereafter, the pixel movement and the frame generation operation through the moved pixel can be repeatedly performed.
- information corresponding to the degree of optical path change or the degree of change of the relative position of the image sensor 230 is stored so that the pixel shift can be performed by 0.5 PD for each of the first angle change amount? X and the second angle change amount? And may be calculated and stored in advance based on the first FOV angle Fx and the second FOV angle Fy (for example, the image sensor 200A or 230 or the image synthesizer 300 or the controller 400A , 400B).
- the image sensor 200A includes a first area and a second area and the control part 400A controls the light from the outside to pass through the variable lens 110 from the first area to the second area of the image sensor 200A It is possible to output the first signal for adjusting the variable lens 110 to change the path of the light.
- the image sensor 230 may include a first area and a second area
- the control unit 400B may include a first area of the image sensor 230 that receives light from the outside and receives light passing through the lens assembly 100B, And the fourth signal for adjusting the actuator 240 to change from the first region to the second region.
- the image sensor 200A further includes a third area and a fourth area and the control part 400A controls the variable lens 110 to change the light path from the second area to the third area of the image sensor 200A. And outputs a first signal for adjusting the variable lens 110 to change the light path from the third region to the fourth region.
- the image sensor 230 may further include a third area and a fourth area
- the control unit 400B may include a region for receiving light from the outside and receiving light passing through the lens assembly 100B, A fourth signal for adjusting the actuator 240 so as to change from the second area to the third area and a fourth signal for adjusting the actuator 240 so that the area where light is received from the third area to the fourth area is changed, Can be output.
- the first signal is a signal for changing the angle of view (FOV) of the lens assembly 100A in the first direction, a signal for changing the angle of view of the lens assembly 100A in the second direction, a signal for changing the angle of view of the lens assembly 100A in the third direction And a signal for changing the angle of view of the lens assembly 100A to a fourth direction.
- the fourth signal may be a signal for changing the angle of view (FOV) of the image sensor 230 in the first direction, a signal for changing the angle of view of the image sensor 230 in the second direction, A signal for changing the angle of view of the image sensor 230 in the fourth direction, and a signal for changing the angle of view of the image sensor 230 in the fourth direction.
- the image synthesizer 300 may be an image processor that receives an image signal from the image sensor 200A and processes (e.g., interpolates, frame synthesizes, etc.) the image signal.
- the image combining unit 300 may synthesize a video signal (high resolution) of one frame using video signals (low resolution) of a plurality of frames.
- the plurality of image frames may be each image frame generated by changing the optical path by the variable lens 110.
- the image combining unit 300 may be referred to as a post-processor.
- the plurality of image frames may include a first image frame and a second image frame, and the second image frame may be an image frame shifted by a first interval based on the first image frame.
- the image synthesizer 300 may generate the image obtained by the 2Nx2M pixel array rather than the NxM pixel array by composing the first through fourth frames.
- the method of synthesizing the first through fourth frames by the image composition unit 300 may include simply merging the first through fourth frames according to the positions of the respective pixels (for example, pixel signals of A1 in the first row, B1 (For example, C1) by using a method of arranging the pixel signal of the pixel A 1, the pixel signal of the pixel A 2, the pixel signal of the pixel B 2, and the pixel signal of the pixel B 2, A method of correcting the pixel value of the pixel by using pixel signals of adjacent pixels (e.g., A1, B1, A2, D1, D2, A3, B3, A4) may be used.
- the post-processor synthesizes the first super resolution image frame using the first through fourth image frames transmitted from the image sensors 200A and 230,
- the second super resolution image frame may be synthesized using the fifth image frame and the second through fourth image frames output from the sensors 200A and 230.
- an image having a resolution of four times can be generated by combining a plurality of frames obtained through pixel shifting.
- 15 is a timing diagram of an operation method of a camera module 10, 20 according to an embodiment.
- the controller 400A may transmit a feedback signal to the image sensor 200A indicating that the fourth pixel shift (D) by the variable lens 110 is completed according to the first signal. At this time, the controller 400A may determine that the fourth pixel movement (D) is completed through a response signal from the variable lens 110 or a separate timer.
- Each pixel A1 to A4 of the image sensor 200A that has received the feedback signal acquires the pixel scene S1 and the image sensor 200A receives the pixel signal of each pixel A1 to A4 from the first frame F1, Can be generated.
- the actuator 240 changes the image sensor 230 by a second angle variation amount?
- a four-pixel shift (D) can be performed.
- the control unit 400B may transmit a feedback signal to the image sensor 230 indicating that the fourth pixel movement (D) by the actuator 240 has been completed according to the fourth signal.
- the controller 400B may determine that the fourth pixel movement (D) is completed through a response signal from the actuator 240 or a separate timer.
- Each pixel A1 to A4 of the image sensor 230 that has received the feedback signal acquires the pixel scene S1 and the image sensor 230 generates the first frame F1 from the pixel signals of each pixel A1 to A4, Can be generated.
- the variable lens 110 changes the optical path or the FOV of the lens assembly 100A to the first optical path or the FOV of the lens assembly 100A in accordance with the first signal for changing the optical path or the FOV of the lens assembly 100A to the right by the first angle variation amount [ It is possible to perform the first pixel shift (A) which shifts rightward by the angle change amount? X.
- the controller 400A may transmit a feedback signal to the image sensor 200A indicating that the first pixel shift (A) by the variable lens 110 is completed according to the first signal.
- the controller 400A may determine that the first pixel movement (A) is completed through a response signal from the variable lens 110 or a separate timer.
- Each of the pixels B1 to B4 of the image sensor 200A that has received the feedback signal acquires the pixel scene S2 and the image sensor 200A receives the pixel signals of the pixels B1 to B4 from the second frame F2, Can be generated.
- the actuator 240 changes the image sensor 230 to the right by the first angle variation amount? X (A) < / RTI >
- the controller 400B may transmit a feedback signal to the image sensor 230 indicating that the first pixel shift (A) by the actuator 240 has been completed according to the fourth signal.
- the controller 400B may determine that the first pixel movement (A) is completed through a response signal from the actuator 240 or a separate timer.
- Each pixel B1 to B4 of the image sensor 230 that has received the feedback signal acquires the pixel scene S2 and the image sensor 230 receives the pixel signal of each pixel B1 to B4 from the second frame F2, Can be generated.
- the variable lens 110 changes the optical path or FOV of the lens assembly 100A to the second It is possible to perform a second pixel shift (B) in which the pixel shift is changed by an angle change amount? Y.
- the control unit 400A may transmit a feedback signal to the image sensor 200A indicating that the second pixel shift (B) by the variable lens 110 has been completed in accordance with the lens control signal.
- the controller 400A can determine that the second pixel movement (B) is completed through the response signal from the variable lens 110 or a separate timer.
- Each pixel C1 to C4 of the image sensor 200A that has received the feedback signal acquires the pixel scene S3 and the image sensor 200A receives the pixel signal of each pixel C1 to C4 from the third frame F3, Can be generated.
- the actuator 240 changes the image sensor 230 by the second angle variation amount? Y To perform a second pixel shift (B).
- the control unit 400B may transmit a feedback signal to the image sensor 230 indicating that the second pixel shift (B) by the actuator 240 has been completed according to the fourth signal.
- the controller 400B may determine that the second pixel movement (B) is completed through a response signal from the actuator 240 or a separate timer.
- Each pixel C1 to C4 of the image sensor 230 that has received the feedback signal acquires the pixel scene S3 and the image sensor 230 acquires the pixel signal of each pixel C1 to C4 from the third frame F3, Can be generated.
- the variable lens 110 changes the optical path or the FOV of the lens assembly 100A to the first optical path or the FOV in accordance with the lens control signal for changing the optical path or FOV of the lens assembly 100A to the left by the first angle variation amount [
- a third pixel shift (C) for shifting to the left by an angle change amount? X can be performed.
- the control unit 400A may transmit a feedback signal to the image sensor 200A indicating that the third pixel shift (C) by the variable lens 110 has been completed in accordance with the lens control signal.
- the controller 400A may determine that the third pixel shift (C) is completed through a response signal from the variable lens 110 or a separate timer.
- Each pixel D1 to D4 of the image sensor 200A that has received the feedback signal acquires the pixel scene S4 and the image sensor 200A receives the pixel signal of each pixel D1 to D4 from the fourth frame F4, Can be generated.
- the actuator 240 changes the image sensor 230 to the left by the first angle variation amount? X
- a third pixel shift (C) may be performed.
- the control unit 400B may transmit a feedback signal to the image sensor 230 indicating that the third pixel shift (C) by the actuator 240 has been completed according to the fourth signal.
- the controller 400B may determine that the third pixel shift (C) is completed through a response signal from the actuator 240 or a separate timer.
- Each of the pixels D1 to D4 of the image sensor 230 that has received the feedback signal acquires the pixel scene S4 and the image sensor 230 generates the fourth frame F4 from the pixel signals of the pixels D1 to D4, Can be generated.
- the variable lens 110 adjusts the optical path or the FOV of the lens assembly 100A A fourth pixel shift (D) in which the pixel shift is changed by two angle change amounts (? Y).
- the control unit 400A may transmit a feedback signal to the image sensor 200A indicating that the fourth pixel movement (D) by the variable lens 110 has been completed in accordance with the lens control signal.
- the controller 400A may determine that the fourth pixel movement (D) is completed through a response signal from the variable lens 110 or a separate timer.
- Each pixel A1 to A4 of the image sensor 200A that has received the feedback signal acquires the pixel scene S1 and the image sensor 200A receives the pixel signal of each pixel A1 to A4 from the fifth frame F5, Can be generated. Thereafter, the pixel movement and the frame generation operation through the moved pixel can be repeatedly performed.
- the actuator 240 changes the image sensor 230 by a second angle variation amount?
- a four-pixel shift (D) can be performed.
- the control unit 400B may transmit a feedback signal to the image sensor 230 indicating that the fourth pixel movement (D) by the actuator 240 has been completed according to the fourth signal. At this time, the controller 400B may determine that the fourth pixel movement (D) is completed through a response signal from the actuator 240 or a separate timer.
- Each of the pixels A1 to A4 of the image sensor 230 that has received the feedback signal acquires the pixel scene S1 and the image sensor 230 generates the fifth frame F5 from the pixel signals of the pixels A1 to A4, Can be generated. Thereafter, the pixel movement and the frame generation operation through the moved pixel can be repeatedly performed.
- the transmission of the lens control signal of the control unit 400A is performed by transmitting a synchronization signal for instructing the generation of the image frame by the image sensor 200A to transmit the lens control signal to the variable lens 110, (200A) is transmitted. That is, sequential operations of pixel movement, frame generation, and subsequent pixel movement can be performed by synchronizing through transmission and reception of the first signal and the second signal.
- 16 is a diagram showing an example of a frame synthesis method of the camera module 10, 20 according to the embodiment.
- the image synthesizer 300 sequentially receives the frames and generates a synthesized frame that is a super-resolution image by synthesizing a super-resolution (SR) image.
- SR super-resolution
- the image synthesizer 300 may generate the first synthesis frame F1 'by receiving the first to fourth frames F1 to F4. Thereafter, the image combining unit 300 may generate the second combined frame F2 'by receiving the second through fifth frames F2 through F5. Thereafter, the image combining unit 300 may receive the third through sixth frames F3 through F6 to generate the third combined frame F3 '. The image combining unit 300 receives the fourth through seventh frames F4 through F7 and generates a fourth combined frame F4 'through a super-resolution image generating algorithm.
- the image combining unit 300 sequentially receives the first through seventh frames F1 through F7 from the image sensors 200A and 230, and stores three frames immediately before the current input frame for generating a composite frame .
- the buffer storing the frames may have a storage capacity capable of storing at least three frames.
- the frame rate is reduced to 1/4 of the original frame rate.
- it is possible to prevent a decrease in the frame rate by continuously generating synthesized frames using the current frame sequentially input and the three frames immediately before the current frame as in the system according to the embodiment.
- a camera module includes: a lens assembly including a liquid lens for adjusting a light path; An image sensor for sensing a plurality of images using the lens assembly; A control unit for controlling the liquid lens; And a combining unit that combines the plurality of images to generate a composite image, and the plurality of images may include an image generated by the liquid lens changing the optical path differently.
- a camera module includes an image sensor for sensing a plurality of images; A lens assembly forming a light path to be incident on the image sensor; A control unit for adjusting at least one of the position of the optical path and the image sensor; And an image combining section for combining the plurality of images to generate a composite image, wherein the plurality of images may be images generated by different optical paths by the lens assembly, or may include images generated at different positions of the image sensor .
- a method for generating a super-resolution image comprising: outputting a first image frame; generating a second image frame shifted by a first distance in a first direction in a first image frame; Creating a third image frame shifted by one distance, generating a fourth image frame shifted by a first distance in a third direction in the third image frame, and And generating a composite image.
- a composite image generated through this method can have a higher resolution than a plurality of image frames.
- a high computation amount required for obtaining a super-resolution image can be solved in hardware by using the variable lens 110 or the actuator 240 for changing the FOV angle .
- the camera module 10 described above includes a lens assembly including a liquid lens mounted on a housing and at least one solid lens that can be disposed on a front surface or a rear surface of the liquid lens, And a control circuit for supplying a driving voltage to the liquid lens.
- the lens assembly of the camera module 20 may not include a liquid lens but may include only a solid lens.
- the above contents can also be applied to a distance or depth measuring apparatus using time of flight (ToF).
- the ToF sensor generally has a lower resolution than a general image sensor. Therefore, using the ToF sensor to implement facial recognition, object recognition, depth extraction, contour recognition, and the like, a remarkably improved effect can be obtained by using the super resolution image implementation method described above.
- an optical device including the camera module 10, 20 including at least one of the above-described liquid lens or solid lens
- the optical device may include a device capable of processing or analyzing an optical signal.
- optical devices may include camera / video devices, telescope devices, microscope devices, interferometer devices, photometer devices, polarimeter devices, spectrometer devices, reflectometer devices, autocollimator devices, lens meter devices,
- the present embodiment can be applied to an optical device that can include at least one of the above-described optical elements.
- the optical device can be implemented as a portable device such as a smart phone, a notebook computer, and a tablet computer.
- Such an optical apparatus may include a camera module, a display unit for outputting an image, and a main body housing for mounting the camera module and the display unit.
- the optical device may further include a memory unit in which a communication module capable of communicating with other devices can be mounted on the body housing and can store data.
- the camera module according to the embodiment can be used for a camera / video device, a telescope device, a microscope device, an interferometer device, a photometer device, a polarimeter device, a spectrometer device, a reflectometer device, an auto collimator device,
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
Abstract
A camera module according to an embodiment comprises an image sensor which outputs a plurality of image frames; a lens assembly which is disposed on the image sensor and includes a variable lens that adjusts a path of light which is incident on the image sensor from the outside; and a control unit which generates a control signal for controlling the variable lens; and an image synthesis unit which synthesizes a plurality of image frames to generate a composite image, wherein the composite image may have a higher resolution than a plurality of image frames, and the plurality of image frames may be each image frame generated by changing to different light paths from each other due to the variable lens.
Description
본 발명은 카메라 모듈에 관한 것이다. 보다 구체적으로, 본 발명은 초해상도(super resolution) 이미지를 생성할 수 있는 카메라 모듈 및 광학 기기에 관한 것이다.The present invention relates to a camera module. More particularly, the present invention relates to a camera module and an optical apparatus capable of generating a super resolution image.
휴대용 장치의 사용자는 고해상도를 가지며 크기가 작고 다양한 촬영 기능[광학 줌 기능(zoom-in/zoom-out), 오토포커싱(Auto-Focusing, AF) 기능, 손떨림 보정 내지 영상 흔들림 방지(Optical Image Stabilizer, OIS) 기능 등]을 가지는 광학 기기를 원하고 있다. 이러한 촬영 기능은 여러 개의 렌즈를 조합해서 직접 렌즈를 움직이는 방법을 통해 구현될 수 있으나, 렌즈의 수를 증가시킬 경우 광학 기기의 크기가 커질 수 있다.Users of handheld devices have a high resolution and a small size and are equipped with various shooting functions (zoom-in / zoom-out, auto-focusing, AF), anti- OIS) function and the like]. Such a photographing function can be realized by a method of directly moving the lens by combining a plurality of lenses, but when the number of lenses is increased, the size of the optical device can be increased.
오토 포커스와 손떨림 보정 기능은, 렌즈 홀더에 고정되어 광축이 정렬된 여러 개의 렌즈 모듈이, 광축 또는 광축의 수직 방향으로 이동하거나 틸팅(Tilting)하여 수행되고, 렌즈 모듈을 구동시키기 위해 별도의 렌즈 구동 장치가 사용된다. 그러나 렌즈 구동 장치는 전력 소모가 높으며, 이를 보호하기 위해서 카메라 모듈과 별도로 커버 글라스를 추가하여야 하는 바 전체 두께가 두꺼워 진다.The autofocus and camera shake correction functions are performed by moving a plurality of lens modules fixed to a lens holder and having optical axes aligned in a vertical direction of an optical axis or an optical axis or by tilting, Device is used. However, the power consumption of the lens driving device is high. In order to protect the lens driving device, it is necessary to add a cover glass separately from the camera module.
또한, 고품질 이미지에 대한 수요자의 요구가 증대됨에 따라, 고해상도 이미지를 촬영할 수 있는 이미지 센서가 요구되고 있다. 그러나, 이를 위해 이미지 센서에 포함되는 픽셀의 수가 증가될 수 밖에 없는데, 이는 이미지 센서의 크기를 증가시키게 되고 소모 전력이 낭비되는 결과를 초래할 수 있다.In addition, as the demand of high-quality images is increased, there is a demand for image sensors capable of shooting high-resolution images. However, for this purpose, the number of pixels included in the image sensor can not be increased, which increases the size of the image sensor and wastes power consumption.
즉, 기존의 카메라 모듈은 복수의 어레이의 데이터를 그대로 사용하므로, 이미지 센서의 물리적 분해능만큼의 해상도를 갖는 한계가 있다. 또한, 초해상도의 이미지를 생성하기 위해서는 다수의 카메라를 사용해야 하는 제약이 따른다.That is, since the conventional camera module uses the data of a plurality of arrays as it is, there is a limit in resolution as much as the physical resolution of the image sensor. In addition, there are restrictions to use a plurality of cameras in order to generate a super-resolution image.
본 발명은 픽셀 수를 증가시키지 않고 초해상도 이미지를 생성할 수 있는 카메라 모듈을 제공하기 위한 것이다.The present invention is to provide a camera module capable of generating a super-resolution image without increasing the number of pixels.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are not restrictive of the invention, unless further departing from the spirit and scope of the invention as defined by the appended claims. It will be possible.
일 실시 예에 의한 카메라 모듈은, 복수의 이미지 프레임을 출력하는 이미지 센서를 포함하는 이미지 센싱부; 상기 이미지 센서 위에 배치되고 외부로부터 상기 이미지 센서로 입사되는 광 경로를 형성하는 렌즈 어셈블리; 상기 렌즈 어셈블리의 상기 광 경로 또는 상기 렌즈 어셈블리에 대한 상기 이미지 센서의 상대적 위치 중 적어도 하나를 조절하는 제어 신호를 생성하는 제어부; 및 상기 복수의 이미지 프레임을 합성하여 합성 이미지를 생성하는 이미지 합성부를 포함하고, 상기 합성 이미지는 상기 복수의 이미지 프레임보다 높은 해상도를 갖고, 상기 복수의 이미지 프레임은 상기 렌즈 어셈블리에 의해 서로 다른 광 경로로 변경되어 생성된 각각의 이미지 프레임이거나 상기 렌즈 어셈블리에 대한 상기 이미지 센서의 상대적 위치가 변경되어 생성된 각각의 이미지 프레임일 수 있다.A camera module according to an exemplary embodiment includes an image sensing unit including an image sensor outputting a plurality of image frames; A lens assembly disposed on the image sensor and forming a light path from the outside to the image sensor; A control unit for generating a control signal for adjusting at least one of the optical path of the lens assembly or the relative position of the image sensor to the lens assembly; And an image composing unit for compositing the plurality of image frames to generate a composite image, wherein the composite image has a higher resolution than the plurality of image frames, and the plurality of image frames are formed by the lens assembly, Or may be each image frame generated by changing the relative position of the image sensor with respect to the lens assembly.
다른 실시 예에 의한 카메라 모듈은, 복수의 이미지 프레임을 출력하는 이미지 센서; 상기 이미지 센서 위에 배치되고 외부로부터 상기 이미지 센서로 입사되는 광 경로를 조절하는 가변 렌즈를 포함하는 렌즈 어셈블리; 상기 가변 렌즈를 제어하기 위한 제어 신호를 생성하는 제어부; 및 상기 복수의 이미지 프레임을 합성하여 합성 이미지를 생성하는 이미지 합성부를 포함하고, 상기 합성 이미지는 상기 복수의 이미지 프레임보다 높은 해상도를 갖고, 상기 복수의 이미지 프레임은 상기 가변 렌즈에 의해 서로 다른 광 경로로 변경되어 생성된 각각의 이미지 프레임일 수 있다.The camera module according to another embodiment includes: an image sensor for outputting a plurality of image frames; A lens assembly disposed on the image sensor and including a variable lens that adjusts a light path that is incident on the image sensor from the outside; A control unit for generating a control signal for controlling the variable lens; And an image composing unit for compositing the plurality of image frames to generate a composite image, wherein the composite image has a higher resolution than the plurality of image frames, and the plurality of image frames are transmitted by different lenses And may be each image frame generated by modifying the image frame.
예를 들어, 상기 복수개의 이미지 프레임은 제1 이미지 프레임과 제2 이미지 프레임을 포함하고 상기 제2 이미지 프레임은 상기 제1 이미지 프레임을 기준으로 제1 간격만큼 이동된 이미지 프레임일 수 있다.For example, the plurality of image frames may include a first image frame and a second image frame, and the second image frame may be an image frame shifted by a first interval with respect to the first image frame.
예를 들어, 상기 이미지 센서는 상기 복수의 이미지 프레임 중 하나의 이미지 프레임을 생성한 후 상기 가변 렌즈에 의한 상기 광 경로가 조절 되었음을 나타내는 피드백 신호를 수신하여 상기 복수의 이미지 프레임 중 다른 하나의 이미지 프레임을 생성할 수 있다.For example, the image sensor may generate an image frame of one of the plurality of image frames, receive a feedback signal indicating that the optical path by the variable lens is adjusted, Can be generated.
예를 들어, 상기 제어부는 상기 복수의 이미지 프레임 중 하나의 이미지 프레임의 생성 완료 신호를 수신한 후 상기 제어 신호를 상기 가변 렌즈로 전송하여 상기 광 경로를 조절할 수 있다.For example, the controller may receive the generation completion signal of one of the plurality of image frames, and then transmit the control signal to the variable lens to adjust the optical path.
예를 들어, 상기 이미지 센서는 제1 영역과 제2 영역을 포함하고, 상기 제어부는, 외부로부터 입사되어 상기 가변 렌즈를 통과하는 광을 상기 이미지 센서의 상기 제1 영역에서 상기 제2 영역으로 광의 경로를 변경 시키도록 상기 가변 렌즈를 조정하는 신호를 출력할 수 있다.For example, the image sensor may include a first area and a second area, and the control unit may control the light incident from the outside to pass through the variable lens to the light from the first area to the second area of the image sensor. It is possible to output a signal for adjusting the variable lens so as to change the path.
예를 들어, 상기 가변 렌즈는 상기 제어 신호에 따라 서로 다른 성질의 두 액체가 이루는 계면이 변형되는 액체 렌즈를 포함할 수 있다.For example, the variable lens may include a liquid lens in which an interface between two liquids of different properties is deformed according to the control signal.
예를 들어, 상기 가변 렌즈는 상기 제어 신호에 따라 하부 플레이트의 각도가 변경되는 가변 프리즘일 수 있다.For example, the variable lens may be a variable prism whose angle of the lower plate is changed according to the control signal.
예를 들어, 상기 가변 렌즈는 적어도 하나의 렌즈; 및 상기 적어도 하나의 렌즈를 상기 제어 신호에 따라 수직 방향 또는 수평 방향 중 적어도 하나의 방향으로 이동시키거나 틸팅시키는 액츄에이터를 포함할 수 있다.For example, the variable lens includes at least one lens; And an actuator for moving or tilting the at least one lens in at least one of a vertical direction and a horizontal direction according to the control signal.
예를 들어, 상기 이미지 센서는 제1 영역과 제2 영역을 포함하고, 상기 제어부는, 외부로부터 입사되어 상기 가변 렌즈를 통과하는 광을 상기 이미지 센서의 제1 영역에서 상기 제2 영역으로 광의 경로를 변경 시키도록 상기 가변 렌즈를 조정하는 신호를 출력할 수 있다.For example, the image sensor may include a first area and a second area, and the control unit may control light passing through the variable lens from the outside to the second area from the first area of the image sensor, A signal for adjusting the variable lens can be output.
예를 들어, 상기 이미지 센서는 제3 영역과 제4 영역을 더 포함하고, 상기 제어부는, 상기 제2 영역에서 상기 제3 영역으로 광의 경로를 변경 시키도록 상기 가변 렌즈를 조정하는 신호를 출력하고, 상기 제3 영역에서 상기 제4 영역으로 광의 경로를 변경 시키도록 상기 가변 렌즈를 조정하는 신호를 출력할 수 있다.For example, the image sensor further includes a third region and a fourth region, and the control unit outputs a signal for adjusting the variable lens to change the light path from the second region to the third region , And outputting a signal for adjusting the variable lens to change the light path from the third region to the fourth region.
예를 들어, 상기 제어 신호는, 상기 렌즈 어셈블리의 화각(FOV)를 제1 방향으로 변경시키는 신호, 상기 렌즈 어셈블리의 화각을 제2 방향으로 변경시키는 신호, 상기 렌즈 어셈블리의 화각을 제3 방향으로 변경시키는 신호, 상기 렌즈 어셈블리의 화각을 제4 방향으로 변경시키는 신호를 포함할 수 있다.For example, the control signal may include a signal for changing the angle of view (FOV) of the lens assembly to a first direction, a signal for changing the angle of view of the lens assembly to a second direction, And a signal for changing the angle of view of the lens assembly to a fourth direction.
또 다른 실시 예에 의한 카메라 모듈은, 복수의 이미지 프레임을 출력하는 이미지 센서를 포함하는 이미지 센싱부; 상기 이미지 센서 위에 배치되고 외부로부터 상기 이미지 센서로 입사되는 광 경로를 형성하는 렌즈 어셈블리; 상기 렌즈 어셈블리에 대한 상기 이미지 센서의 상대적 위치를 조절하는 제어 신호를 생성하는 제어부; 및 상기 복수의 이미지 프레임을 합성하여 합성 이미지를 생성하는 이미지 합성부를 포함하고, 상기 합성 이미지는 상기 복수의 이미지 프레임보다 높은 해상도를 갖고, 상기 복수의 이미지 프레임은 상기 렌즈 어셈블리에 대한 상기 이미지 센서의 상대적 위치가 변경되어 생성된 각각의 이미지 프레임일 수 있다.A camera module according to another embodiment includes an image sensing unit including an image sensor outputting a plurality of image frames; A lens assembly disposed on the image sensor and forming a light path from the outside to the image sensor; A control unit for generating a control signal for adjusting a relative position of the image sensor with respect to the lens assembly; And an image composing unit for compositing the plurality of image frames to generate a composite image, wherein the composite image has a higher resolution than the plurality of image frames, and the plurality of image frames are image- And may be each image frame generated by changing its relative position.
예를 들어, 상기 복수개의 이미지 프레임은 제1 이미지 프레임과 제2 이미지 프레임을 포함하고, 상기 제2 이미지 프레임은 상기 제1 이미지 프레임을 기준으로 제1 간격만큼 이동된 이미지 프레임일 수 있다.For example, the plurality of image frames may include a first image frame and a second image frame, and the second image frame may be an image frame shifted by a first interval based on the first image frame.
예를 들어, 상기 이미지 센싱부는 상기 이미지 센서를 상기 제어 신호에 따라 광축 방향 또는 광축 방향과 수직하는 방향 중 적어도 하나의 방향으로 이동시키거나 틸팅시키는 액츄에이터를 더 포함할 수 있다.For example, the image sensing unit may further include an actuator for moving or tilting the image sensor according to the control signal in at least one of an optical axis direction and a direction perpendicular to the optical axis direction.
예를 들어, 상기 이미지 센서는 제1 영역과 제2 영역을 포함하고, 상기 제어부는, 외부로부터 입사되어 상기 렌즈 어셈블리를 통과하는 광을 수광하는 영역이 상기 이미지 센서의 제1 영역에서 상기 제2 영역으로 변경되도록 상기 액츄에이터를 조정하는 신호를 출력할 수 있다.For example, the image sensor may include a first area and a second area, and the control unit may include a first area that receives light from the outside and that receives light passing through the lens assembly, And outputs a signal for adjusting the actuator so as to change to the area.
예를 들어, 상기 이미지 센서는 제3 영역과 제4 영역을 더 포함하고, 상기 제어부는, 외부로부터 입사되어 상기 렌즈 어셈블리를 통과하는 광을 수광하는 영역이 상기 제2 영역에서 상기 제3 영역으로 변경되도록 상기 액츄에이터를 조정하는 신호를 출력하고, 외부로부터 입사되어 상기 렌즈 어셈블리를 통과하는 광을 수광하는 영역이 상기 제3 영역에서 상기 제4 영역으로 변경되도록 상기 액츄에이터를 조정하는 신호를 출력할 수 있다.For example, the image sensor may further include a third region and a fourth region, and the control portion may include a region for receiving light from the outside and receiving light passing through the lens assembly from the second region to the third region And outputting a signal for adjusting the actuator such that an area that is received from the outside and receives light passing through the lens assembly changes from the third area to the fourth area have.
예를 들어, 상기 이미지 합성부는, 상기 이미지 센서로부터 전달된 제1 내지 제4 이미지 프레임을 이용하여 제1 초해상도 이미지 프레임을 합성하고, 이후 상기 이미지 센서로부터 출력되는 제5 이미지 프레임 및 상기 제2 내지 제4 이미지 프레임을 이용하여 제2 초해상도 이미지 프레임을 합성할 수 있다.For example, the image synthesizer may synthesize a first super-resolution image frame using the first through fourth image frames transmitted from the image sensor, and then combine the fifth image frame output from the image sensor and the second super- The second super-resolution image frame may be synthesized using the fourth through the fourth image frames.
또 다른 실시 예에 의한 카메라 모듈은, 광 경로를 조절하는 액체 렌즈를 포함하는 렌즈 어셈블리; 상기 렌즈 어셈블리를 이용하여 복수의 이미지를 센싱하는 이미지센서; 상기 액체 렌즈를 제어하는 제어부; 및 상기 복수의 이미지를 합성하여 합성 이미지를 생성하는 합성부를 포함하고, 상기 복수의 이미지는 상기 액체 렌즈에 의해 상기 광 경로가 서로 다르게 변경되어 생성된 이미지를 포함할 수 있다.A camera module according to another embodiment includes: a lens assembly including a liquid lens for adjusting a light path; An image sensor for sensing a plurality of images using the lens assembly; A control unit for controlling the liquid lens; And a combining unit that combines the plurality of images to generate a composite image, and the plurality of images may include an image generated by the liquid lens changing the optical path differently.
또 다른 실시 예에 의한 카메라 모듈은, 복수의 이미지를 센싱하는 이미지센서; 상기 이미지 센서로 입사되는 광 경로를 형성하는 렌즈 어셈블리; 상기 광 경로와 상기 이미지 센서의 위치 중 적어도 하나를 조절하는 제어부; 및 상기 복수의 이미지를 합성하여 합성 이미지를 생성하는 이미지 합성부를 포함하고, 상기 복수의 이미지는 상기 렌즈 어셈블리에 의해 서로 다른 광 경로로 생성된 이미지 이거나 상기 이미지 센서의 서로 다른 위치에서 생성된 이미지를 포함할 수 있다.A camera module according to another embodiment includes an image sensor for sensing a plurality of images; A lens assembly forming a light path to be incident on the image sensor; A control unit for adjusting at least one of the optical path and the position of the image sensor; And an image composing unit for compositing the plurality of images to generate a composite image, wherein the plurality of images are images generated by different optical paths by the lens assembly, or images generated at different positions of the image sensor .
또 다른 실시 예에 의한 광학 기기는, 상기 카메라 모듈; 영상을 출력하는 디스플레이부; 상기 카메라 모듈에 전원을 공급하는 배터리; 및 상기 카메라 모듈, 상기 디스플레이부 및 상기 배터리를 실장하는 하우징을 포함할 수 있다.According to another embodiment of the present invention, there is provided an optical apparatus comprising: the camera module; A display unit for outputting an image; A battery for supplying power to the camera module; And a housing for mounting the camera module, the display unit, and the battery.
또 다른 실시 예에 의한 이미지 생성 방법은, 제1 이미지 프레임을 출력하는 단계; 상기 제1 이미지 프레임에서 제1 방향으로 제1 거리만큼 이동된 제2 이미지 프레임을 생성하는 단계; 상기 제2 이미지 프레임에서 제2 방향으로 상기 제1 거리만큼 이동된 제3 이미지 프레임을 생성하는 단계; 상기 제3 이미지 프레임에서 제3 방향으로 상기 제1 거리만큼 이동된 제4 이미지 프레임을 생성하는 단계; 및 상기 제1 이미지 프레임 내지 제4 이미지 프레임을 합성하여 합성 이미지를 생성하는 단계를 포함하고, 상기 합성 이미지는 상기 복수의 이미지 프레임보다 높은 해상도를 가질 수 있다.According to another embodiment of the present invention, there is provided an image generating method comprising: outputting a first image frame; Generating a second image frame shifted by a first distance in a first direction in the first image frame; Generating a third image frame shifted by the first distance in a second direction in the second image frame; Generating a fourth image frame shifted by the first distance in a third direction in the third image frame; And synthesizing the first image frame to the fourth image frame to generate a composite image, wherein the composite image may have a higher resolution than the plurality of image frames.
상기 본 발명의 양태들은 본 발명의 바람직한 실시예들 중 일부에 불과하며, 본원 발명의 기술적 특징들이 반영된 다양한 실시예들이 당해 기술분야의 통상적인 지식을 가진 자에 의해 이하 상술할 본 발명의 상세한 설명을 기반으로 도출되고 이해될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, And can be understood and understood.
본 발명에 따른 장치에 대한 효과에 대해 설명하면 다음과 같다.The effect of the device according to the present invention will be described as follows.
본 발명의 일 실시 예에 따른 카메라 모듈에 의하면, 초해상도 이미지를 얻기 위해 요구되는 높은 연산량이 필요하지만, 픽셀 수를 증가시키지 않고 다수의 카메라를 사용하지 않으면서, 광 경로를 변경시키는 가변 렌즈 또는 렌즈 어셈블리에 대한 상대적 위치가 변하는 이미지 센서를 이용하여 하드웨어적으로 해결할 수 있다. 즉, 픽셀 거리(PD)의 절반(0.5PD)만큼 쉬프트된 다수의 어레이 데이터를 이용하므로, 이미지 센서의 물리적 분해능보다 초 해상도를 갖는 이미지를 얻을 수 있다.According to the camera module according to the embodiment of the present invention, although a high computational load is required to obtain a super-resolution image, a variable lens that changes the optical path without using a large number of cameras without increasing the number of pixels or It can be solved in hardware by using an image sensor whose relative position with respect to the lens assembly changes. That is, since a plurality of array data shifted by half (0.5 PD) of the pixel distance PD is used, an image having a super resolution higher than the physical resolution of the image sensor can be obtained.
또한, 순차적으로 입력되는 현재 프레임에 대해 연속적으로 합성 프레임을 생성함으로써, 프레임 레이트의 저하를 방지할 수 있다.In addition, it is possible to prevent the frame rate from lowering by continuously generating composite frames for the current frame sequentially input.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtainable by the present invention are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the following description.
도 1 은 일 실시 예에 따른 카메라 모듈을 나타낸 블럭도이다.1 is a block diagram illustrating a camera module according to one embodiment.
도 2a 및 도 2b는 도 1에 도시된 카메라 모듈의 실시 예를 나타낸 도면이다.2A and 2B are views showing an embodiment of the camera module shown in FIG.
도 3은 가변 렌즈의 FOV 각도를 변경시키는 동작의 일 실시 예를 설명하기 위한 도면이다.3 is a view for explaining an embodiment of an operation of changing the FOV angle of the variable lens.
도 4는 도 2a에 도시된 카메라 모듈에 포함된 가변 렌즈의 일 실시 예를 나타낸 도면이다.4 is a view showing an embodiment of a variable lens included in the camera module shown in FIG. 2A.
도 5는 도 2a에 도시된 카메라 모듈에 포함된 가변 렌즈의 다른 실시 예를 나타낸 도면이다.5 is a view showing another embodiment of a variable lens included in the camera module shown in FIG. 2A.
도 6은 도 5에 도시된 실시 예에 따른 가변 렌즈를 보다 상세히 설명하기 위한 도면이다.FIG. 6 is a view for explaining the variable lens according to the embodiment shown in FIG. 5 in more detail.
도 7은 일 실시 예에 따른 액체 렌즈를 나타낸 도면이다.7 is a view showing a liquid lens according to an embodiment.
도 8은 다른 실시 예에 따른 카메라 모듈을 나타낸 블럭도이다.8 is a block diagram illustrating a camera module according to another embodiment.
도 9는 도 8에 도시된 이미지 센싱부의 일 실시 예에 의한 단면도를 나타낸다.9 is a cross-sectional view of the image sensing unit shown in FIG. 8 according to an embodiment of the present invention.
도 10은 도 8에 도시된 이미지 센싱부의 다른 실시 예에 의한 평면도를 나타낸다.10 is a plan view of another embodiment of the image sensing unit shown in FIG.
도 11은 도 8에 도시된 이미지 센싱부의 또 다른 실시 예의 평면도를 나타낸다.11 shows a plan view of another embodiment of the image sensing unit shown in Fig.
도 12a 및 도 12b는 도 8에 도시된 이미지 센싱부의 또 다른 실시 예의 사시도를 나타낸다.12A and 12B show perspective views of another embodiment of the image sensing unit shown in Fig.
도 13은 일 실시 예에 따른 카메라 모듈의 동작 방법을 설명하기 위한 도면이다.13 is a diagram for explaining a method of operating a camera module according to an embodiment.
도 14는 도 13에서 설명되는 카메라 모듈의 동작 방법을 보다 상세히 설명하기 위한 도면이다.FIG. 14 is a diagram for explaining the operation method of the camera module described in FIG. 13 in more detail.
도 15는 일 실시 예에 따른 카메라 모듈의 동작 방법에 대한 타이밍도이다.15 is a timing diagram of a method of operating a camera module according to an embodiment.
도 16은 일 실시 예에 따른 카메라 모듈의 프레임 합성 방법의 일 예를 나타낸 도면이다.16 is a diagram illustrating an example of a frame synthesis method of a camera module according to an embodiment.
이하, 첨부된 도면들을 참조하여 실시 예를 상세히 설명한다. 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 실시예의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. The embodiments are to be considered in all aspects as illustrative and not restrictive, and the invention is not limited thereto. It is to be understood, however, that the embodiments are not intended to be limited to the particular forms disclosed, but are to include all modifications, equivalents, and alternatives falling within the spirit and scope of the embodiments.
“제1”, "제2" 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용된다. 또한, 실시 예의 구성 및 작용을 고려하여 특별히 정의된 용어들은 실시 예를 설명하기 위한 것일 뿐이고, 실시 예의 범위를 한정하는 것이 아니다.The terms " first ", " second ", and the like can be used to describe various components, but the components should not be limited by the terms. The terms are used for the purpose of distinguishing one component from another. In addition, terms specifically defined in consideration of the constitution and operation of the embodiment are only intended to illustrate the embodiments and do not limit the scope of the embodiments.
실시 예의 설명에 있어서, 각 element의 "상(위)" 또는 "하(아래)(on or under)"에 형성되는 것으로 기재되는 경우에 있어, 상(위) 또는 하(아래)(on or under)는 두 개의 element가 서로 직접(directly)접촉되거나 하나 이상의 다른 element가 상기 두 element사이에 배치되어(indirectly) 형성되는 것을 모두 포함한다. 또한 "상(위)" 또는 "하(아래)(on or under)"로 표현되는 경우 하나의 element를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.In the description of the embodiments, when it is described as being formed on the "upper" or "on or under" of each element, the upper or lower (on or under Quot; includes both that the two elements are in direct contact with each other or that one or more other elements are indirectly formed between the two elements. Also, when expressed as "on" or "on or under", it may include not only an upward direction but also a downward direction with respect to one element.
또한, 이하에서 이용되는 "상/상부/위" 및 "하/하부/아래" 등과 같은 관계적 용어들은, 그런 실체 또는 요소들 간의 어떠한 물리적 또는 논리적 관계 또는 순서를 반드시 요구하거나 내포하지는 않으면서, 어느 한 실체 또는 요소를 다른 실체 또는 요소와 구별하기 위해서 이용될 수도 있다.It is also to be understood that the terms "top / top / top" and "bottom / bottom / bottom", as used below, do not necessarily imply nor imply any physical or logical relationship or order between such entities or elements, And may be used to distinguish one entity or element from another entity or element.
실시 예에 의한 카메라 모듈(10, 20)을 데카르트 좌표계를 이용하여 설명하지만, 다른 좌표계에 의해서도 설명될 수 있다. 데카르트 좌표계에 의하면, x축, y축, z축은 서로 직교하지만, 실시 예는 이에 국한되지 않는다. 즉, x축, y축, z축은 서로 교차할 수도 있다.Although the camera modules 10 and 20 according to the embodiment are described using a Cartesian coordinate system, they may be described by other coordinate systems. According to the Cartesian coordinate system, the x-axis, the y-axis and the z-axis are orthogonal to each other, but the embodiment is not limited to this. That is, the x-axis, the y-axis, and the z-axis may intersect with each other.
이하, 일 실시 예에 따른 카메라 모듈(10)을 첨부된 도면을 참조하여 다음과 같이 설명한다.Hereinafter, a camera module 10 according to an embodiment will be described with reference to the accompanying drawings.
도 1은 일 실시 예에 따른 카메라 모듈(10)을 나타낸 블럭도이다.1 is a block diagram illustrating a camera module 10 according to one embodiment.
도 1을 참조하면, 카메라 모듈(10)은 렌즈 어셈블리(100A), 이미지 센서(200A), 이미지 합성부(300) 및 제어부(400A)를 포함할 수 있다.Referring to FIG. 1, the camera module 10 may include a lens assembly 100A, an image sensor 200A, an image synthesizer 300, and a controller 400A.
렌즈 어셈블리(100A)는 카메라 모듈(10)의 외부로부터 입사되는 광을 통과시켜 이미지 센서(200A)에 광 신호를 전달할 수 있다. 렌즈 어셈블리(100A)는 가변 렌즈(110)를 포함할 수 있다. 실시 예에 따라, 렌즈 어셈블리(100A)는 가변 렌즈(110) 외에 다른 적어도 하나의 렌즈를 더 포함할 수 있다. 렌즈 어셈블리(100A)에 포함된 렌즈들은 하나의 광학계를 형성하고 이미지 센서(200A)의 광축을 중심으로 정렬될 수 있다.The lens assembly 100A can transmit the optical signal to the image sensor 200A through the light incident from the outside of the camera module 10. [ The lens assembly 100A may include a variable lens 110. [ According to the embodiment, the lens assembly 100A may further include at least one lens other than the variable lens 110. [ The lenses included in the lens assembly 100A form one optical system and can be aligned around the optical axis of the image sensor 200A.
가변 렌즈(110)는 제어부(400A)의 제어에 따라 렌즈 어셈블리(100A)의 광 경로를 변경시킬 수 있다. 가변 렌즈(110)는 이미지 센서(200A)로 입사되는 광 경로를 변경 시킬 수 있으며, 예를 들어 광신호의 초점거리와 FOV(Field of View) 각도 또는 FOV의 방향 등을 변경시킬 수 있다.The variable lens 110 may change the optical path of the lens assembly 100A under the control of the controller 400A. The variable lens 110 may change the optical path to be incident on the image sensor 200A and may change the focal distance of the optical signal, the field of view (FOV) angle, the direction of the FOV, or the like.
일 실시 예에 의하면, 가변 렌즈(110)는 액체 렌즈(liquid lens) 또는 가변 프리즘으로 구성될 수 있다. 또는, 가변 렌즈(110)는 액체 렌즈를 포함하지 않고, 적어도 하나의 고체 렌즈만을 포함할 수 있다. 이 경우, 가변 프리즘과 같은 광학 소자의 재질은 유동성이 없고 굴절률이 1 이상 3 이하일 수 있다. 또한, 가변 렌즈(110)의 안쪽 물질이 2종 이상의 재질로 구현될 수 있으며, 각 재질의 경계면이 변경되어, 광학 전력을 변경시킬 수 있다.According to one embodiment, the variable lens 110 may be composed of a liquid lens or a variable prism. Alternatively, the variable lens 110 does not include a liquid lens, and may include only at least one solid lens. In this case, the material of the optical element such as the variable prism has no fluidity and the refractive index can be 1 or more and 3 or less. In addition, the inner material of the variable lens 110 may be formed of two or more kinds of materials, and the interface of each material may be changed to change the optical power.
다른 실시 예에 의하면, 가변 렌즈(110)는 적어도 하나의 렌즈 및 적어도 하나의 렌즈와 결합된 액츄에이터로 구성될 수 있다. 여기서, 적어도 하나의 렌즈는 액체 렌즈일 수도 있고, 고체 렌즈일 수도 있고, 액체 렌즈와 고체 렌즈를 모두 포함할 수도 있다. 액츄에이터는 제어부(400A)의 제어에 따라 적어도 하나의 렌즈의 물리적 변위를 제어할 수 있다. 즉, 액츄에이터는 적어도 하나의 렌즈와 이미지 센서(200A) 사이의 거리를 조절하거나, 적어도 하나의 렌즈와 이미지 센서(200A) 사이의 각도를 조절할 수 있다. 또는 액츄에이터는 적어도 하나의 렌즈를 이미지 센서(200A)의 픽셀 어레이가 이루는 평면의 x축 및 y 축 방향으로 이동(shift)시킬 수 있다. 또한, 엑츄에이터는 이미지 센서(200A)의 픽셀 어레이로 입사되는 광의 경로를 변경시킬 수 있다. 예를 들어, 가변 렌즈(110)에 포함되는 적어도 하나의 렌즈에 액체 렌즈가 포함되지 않을 경우, 즉, 가변 렌즈(110)에 포함되는 적어도 하나의 렌즈가 모두 고체 렌즈일 경우, 액츄에이터는 적어도 하나의 렌즈를 제어부(400A)로부터 출력되는 제어 신호(즉, 도 1에 도시된 제1 신호)에 따라 수직 방향 또는 수평 방향 중 적어도 하나의 방향으로 이동시키거나 틸팅시킬 수 있다.According to another embodiment, the variable lens 110 may comprise an actuator coupled with at least one lens and at least one lens. Here, at least one lens may be a liquid lens, a solid lens, or both a liquid lens and a solid lens. The actuator can control the physical displacement of at least one lens under the control of the controller 400A. That is, the actuator can adjust the distance between the at least one lens and the image sensor 200A, or adjust the angle between the at least one lens and the image sensor 200A. Or the actuator may shift at least one lens in the x-axis and y-axis directions of the plane formed by the pixel array of the image sensor 200A. Further, the actuator can change the path of the light incident on the pixel array of the image sensor 200A. For example, when at least one lens included in the variable lens 110 does not include a liquid lens, that is, when at least one lens included in the variable lens 110 is a solid lens, It is possible to move or tilt the lens in at least one of the vertical direction and the horizontal direction according to the control signal (i.e., the first signal shown in Fig. 1) output from the control unit 400A.
이미지 센서(200A)는 렌즈 어셈블리(100A)를 통과한 광 신호를 수신하여 광 신호에 대응하는 전기 신호로 변환하는 픽셀 어레이, 픽셀 어레이에 포함된 복수의 픽셀을 구동하는 구동 회로 및 각 픽셀의 아날로그 픽셀 신호를 리드(read)하는 리드아웃회로를 포함할 수 있다. 리드아웃 회로는 아날로그 픽셀 신호를 기준 신호와 비교하여 아날로그-디지털 변환을 통해 디지털 픽셀 신호(또는 영상 신호)를 생성할 수 있다. 여기서, 픽셀 어레이에 포함된 각 픽셀의 디지털 픽셀 신호는 영상 신호를 구성하며, 영상 신호는 프레임 단위로 전송됨에 따라 이미지 프레임으로 정의될 수 있다. 즉, 이미지 센서는 복수의 이미지 프레임을 출력할 수 있다.The image sensor 200A includes a pixel array for receiving an optical signal transmitted through the lens assembly 100A and converting the optical signal into an electrical signal corresponding to the optical signal, a driving circuit for driving a plurality of pixels included in the pixel array, And a readout circuit for reading the pixel signal. The lead-out circuit may compare the analog pixel signal with a reference signal to produce a digital pixel signal (or video signal) through an analog-to-digital conversion. Here, the digital pixel signal of each pixel included in the pixel array constitutes a video signal, and the video signal can be defined as an image frame as it is transmitted in units of frames. That is, the image sensor can output a plurality of image frames.
이미지 합성부(300)는 이미지 센서(200A)로부터 영상 신호를 수신하고, 영상 신호를 처리(예컨대, 보간, 프레임 합성 등)하는 이미지 프로세서일 수 있다. 특히, 이미지 합성부(300)는 복수의 프레임의 영상 신호(저해상도)를 이용하여 하나의 프레임의 영상 신호(고해상도)로 합성할 수 있다. 복수의 이미지 프레임은 가변 렌즈(110)에 의해 서로 다른 광 경로로 변경되어 생성된 각각의 이미지 프레임일 수 있다. 이미지 합성부(300)는 후 처리기로 부를 수 있다. 복수의 이미지 프레임은 제1 이미지 프레임과 제2 이미지 프레임을 포함할 수 있고, 제2 이미지 프레임은 제1 이미지 프레임을 기준으로 제1 간격만큼 이동된 이미지 프레임일 수 있다.The image synthesizer 300 may be an image processor that receives an image signal from the image sensor 200A and processes (e.g., interpolates, frame synthesizes, etc.) the image signal. In particular, the image combining unit 300 may synthesize a video signal (high resolution) of one frame using video signals (low resolution) of a plurality of frames. The plurality of image frames may be each image frame generated by changing the optical path by the variable lens 110. The image combining unit 300 may be referred to as a post-processor. The plurality of image frames may include a first image frame and a second image frame, and the second image frame may be an image frame shifted by a first interval based on the first image frame.
제어부(400A)는 가변 렌즈(110)와 이미지 센서(200A)를 제어하며, 가변 렌즈(110)의 제어 상태와 동기화하여 이미지 센서(200A)가 영상 신호를 생성할 수 있도록 한다. 이를 위해 제어부(400A)는 가변 렌즈(110)와 제1 신호를 송수신하고, 이미지 센서(200A)와 제2 신호를 송수신할 수 있다.The control unit 400A controls the variable lens 110 and the image sensor 200A and synchronizes with the control state of the variable lens 110 so that the image sensor 200A can generate a video signal. To this end, the control unit 400A transmits and receives a first signal to and from the variable lens 110, and transmits and receives a second signal to and from the image sensor 200A.
제1 신호는 제어부(400A)에 의해 생성되며, 가변 렌즈(110)의 광 경로 제어를 위한 렌즈 제어 신호를 포함하거나 가변 렌즈(110)의 초점 거리 또는 FOV 각도의 제어를 위한 렌즈 제어 신호를 포함할 수 있다. 특히 렌즈 제어 신호는 가변 렌즈(110)를 투과하는 광의 광 경로를 결정할 수 있다. 또한, 렌즈 제어 신호는 가변 렌즈(110)의 FOV 각도의 변경 방향과 변경 각도를 결정할 수 있다. 실시 예에 따라, 제1 신호는 가변 렌즈(110)에 의해 생성되며, 렌즈 제어 신호에 따라 가변 렌즈(110)의 제어가 완료되었음을 나타내는 응답신호를 포함할 수 있다. 제어부(400A)는 가변 렌즈 드라이버로 부를 수 있다.The first signal is generated by the control unit 400A and includes a lens control signal for optical path control of the variable lens 110 or a lens control signal for controlling the focal length or the FOV angle of the variable lens 110 can do. In particular, the lens control signal can determine the optical path of the light passing through the variable lens 110. Further, the lens control signal can determine the changing direction and the changing angle of the FOV angle of the variable lens 110. According to the embodiment, the first signal is generated by the variable lens 110, and may include a response signal indicating that the control of the variable lens 110 is completed in accordance with the lens control signal. The control unit 400A may be referred to as a variable lens driver.
제2 신호는 이미지 센서(200A)에 의해 생성되며, 렌즈 제어 신호를 가변 렌즈(110)로 전송할 것을 지시하는 동기 신호를 포함할 수 있다. 실시 예에 따라, 제2 신호는 이미지 센서(200A)에 의해 생성되며, 가변 렌즈(110)의 광 경로 제어를 위한 제어 신호의 기초가 되는 제어 정보를 포함할 수 있다. 실시 예에 따라, 제2 신호는 제어부(400A)에 의해 생성되며, 렌즈 제어 신호에 따라 가변 렌즈(110)의 제어가 완료되었음을 나타내는 응답신호를 수신하였음을 나타내는 피드백 신호를 포함할 수 있다.The second signal may be generated by the image sensor 200A and may include a synchronization signal that directs the lens control signal to be transmitted to the variable lens 110. [ According to the embodiment, the second signal may be generated by the image sensor 200A and may include control information that is the basis of the control signal for optical path control of the variable lens 110. [ According to the embodiment, the second signal may be generated by the control unit 400A and may include a feedback signal indicating that the response signal indicating that the control of the variable lens 110 has been completed is received according to the lens control signal.
또한, 제2 신호는 이미지 센서(200A)를 구동시키는 구동 신호를 포함할 수 있다.Further, the second signal may include a driving signal for driving the image sensor 200A.
여기서, 제1 신호와 제2 신호에 포함되는 신호는 예시적인 것이며, 필요에 따라 생략되거나 다른 신호가 부가될 수 있다.Here, the signals included in the first signal and the second signal are illustrative, and may be omitted or other signals may be added if necessary.
도 2a는 도 1에 도시된 카메라 모듈(10)의 일 실시 예(10A)를 나타낸 도면이다.FIG. 2A is a diagram illustrating an embodiment 10A of the camera module 10 shown in FIG.
도 2a를 참조하면, 카메라 모듈(10A)은 렌즈 어셈블리, 이미지 센서(200A) 및 기판(250)을 포함할 수 있다. 여기서, 렌즈 어셈블리는 홀더(130A), 렌즈 배럴(140A), 제1 렌즈부(150A), 제2 렌즈부(160A) 및 IR(적외선)을 투과시키거나 차단 시키는 IR 글래스(170)를 포함할 수 있으며, 이들 중 적어도 어느 하나의 구성은 생략되거나 서로 상하 배치관계가 변경될 수도 있다. 또한, 렌즈 어셈블리는 제어부(400A)의 제어에 따라 광 경로를 변경시킬 수 있는 가변 렌즈(110)를 더 포함할 수 있다.Referring to FIG. 2A, the camera module 10A may include a lens assembly, an image sensor 200A, and a substrate 250. FIG. Here, the lens assembly includes a holder 130A, a lens barrel 140A, a first lens unit 150A, a second lens unit 160A, and an IR glass 170 that transmits or blocks IR (Infrared) And at least one of the configurations may be omitted or the up-down arrangement relationship may be changed. In addition, the lens assembly may further include a variable lens 110 capable of changing the optical path under the control of the control unit 400A.
홀더(130A)는 렌즈 배럴(140A)과 결합되어 렌즈 배럴(140A)을 지지하고, 이미지 센서(200A)가 부착된 기판(250)에 결합될 수 있다. 또한, 홀더(130A)는 렌즈 배럴(140A) 하부에 IR 글래스(170)가 부착될 수 있는 공간을 구비할 수 있다. 홀더(130A)는 나선형 구조를 포함하고, 마찬가지로 나선형 구조를 포함하는 렌즈 배럴(140A)과 회전 결합할 수 있다. 그러나, 이는 예시적인 것이며, 홀더(130A)와 렌즈 배럴(140A)은 접착제(예를 들어, 에폭시(epoxy) 등의 접착용 수지)를 통해 결합되거나, 홀더(130A)와 렌즈 배럴(140A)이 일체형으로 형성될 수도 있다.The holder 130A may be coupled to the lens barrel 140A to support the lens barrel 140A and may be coupled to the substrate 250 to which the image sensor 200A is attached. In addition, the holder 130A may have a space to which the IR glass 170 can be attached under the lens barrel 140A. The holder 130A includes a helical structure and can be rotationally coupled with the lens barrel 140A, which also includes a helical structure. However, this is merely an example, and the holder 130A and the lens barrel 140A may be coupled through an adhesive (for example, an adhesive resin such as an epoxy) or the holder 130A and the lens barrel 140A Or may be integrally formed.
렌즈 배럴(140A)은 홀더(130A)와 결합되며, 내부에 제1 렌즈부(150A), 제2 렌즈부(160A) 및 가변 렌즈(110)를 수용할 수 있는 공간을 구비할 수 있다. 렌즈 배럴(140A)은 제1 렌즈부(150A), 제2 렌즈부(160A) 및 가변 렌즈(110)와 회전 결합될 수 있으나, 이는 예시적인 것이며, 접착제를 이용한 방식 등 다른 방식으로 결합될 수 있다.The lens barrel 140A is coupled to the holder 130A and may have a space for accommodating the first lens unit 150A, the second lens unit 160A, and the variable lens 110 therein. The lens barrel 140A may be rotationally coupled to the first lens unit 150A, the second lens unit 160A, and the variable lens 110. However, the lens barrel 140A is illustrative and may be coupled in other manners, have.
제1 렌즈부(150A)는 제2 렌즈부(150A)의 전방에 배치될 수 있다. 제1 렌즈부(150A)는 적어도 하나의 렌즈로 구성될 수 있고, 또는 2개 이상의 복수의 렌즈들이 중심축을 기준으로 정렬하여 광학계를 형성할 수도 있다. 여기서, 중심축은 카메라 모듈(10:10A)의 광학계의 광축(Optical axis)과 동일할 수 있다. 제1 렌즈부(150A)는 도 2a에 도시된 바와 같이 1개의 렌즈로 이루어질 수 있으나, 반드시 이에 한정되지는 않는다.The first lens portion 150A may be disposed in front of the second lens portion 150A. The first lens unit 150A may be composed of at least one lens, or two or more lenses may be aligned with respect to the central axis to form an optical system. Here, the central axis may be the same as the optical axis of the optical system of the camera module 10 (10A). The first lens unit 150A may be formed of one lens as shown in FIG. 2A, but is not limited thereto.
제2 렌즈부(160A)는 제1 렌즈부(150A)의 후방에 배치될 수 있다. 카메라 모듈(10, 10A)의 외부로부터 제1 렌즈부(150A)로 입사하는 광은 제1 렌즈부(150A)를 통과하여 제2 렌즈부(160A)로 입사할 수 있다. 제2 렌즈부(160A)는 적어도 하나의 렌즈로 구성될 수 있고, 또는 2개 이상의 복수의 렌즈들이 중심축을 기준으로 정렬하여 광학계를 형성할 수도 있다. 여기서, 중심축은 카메라 모듈(10, 10A)의 광학계의 광축과 동일할 수 있다. 제2 렌즈부(160A)는 도 2a에 도시된 바와 같이 1개의 렌즈로 이루어질 수 있으나, 반드시 이에 한정되지는 않는다.The second lens unit 160A may be disposed behind the first lens unit 150A. Light incident from the outside of the camera module 10 or 10A to the first lens unit 150A may pass through the first lens unit 150A and enter the second lens unit 160A. The second lens unit 160A may be composed of at least one lens, or two or more lenses may be aligned with respect to the central axis to form an optical system. Here, the center axis may be the same as the optical axis of the optical system of the camera module 10, 10A. The second lens unit 160A may be formed of one lens as shown in FIG. 2A, but is not limited thereto.
제1 렌즈부(150A) 및 제2 렌즈부(160A)를 액체 렌즈와 구별하기 위하여 '제1 고체 렌즈부' 및 '제2 고체 렌즈부'라고 각각 칭할 수도 있다.May be referred to as a "first solid lens portion" and a "second solid lens portion" in order to distinguish the first lens portion 150A and the second lens portion 160A from the liquid lens.
전술한 바와 같이, 렌즈 어셈블리는 가변 렌즈(110)를 더 포함할 수 있으며, 가변 렌즈(110)의 위치는 제1 위치(P1) 내지 제4 위치(P4) 중 어느 하나일 수 있다. 그러나, 이는 예시적인 것이며, 제1 렌즈부(150A), 제2 렌즈부(160A), IR 글래스(170)의 유무 및 상대적인 위치에 따라 가변 렌즈(110)는 다른 곳에 위치할 수도 있다. 다만, 가변 렌즈(110)는 렌즈 어셈블리로 입사되는 광이 통과하는 영역인 광 경로 상에 위치하여 초점 거리 또는 FOV 각도를 변경시킬 수 있다.As described above, the lens assembly may further include a variable lens 110, and the position of the variable lens 110 may be any one of the first position P1 to the fourth position P4. However, this is an exemplary one, and the variable lens 110 may be located at a different position depending on the presence or absence and relative positions of the first lens unit 150A, the second lens unit 160A, and the IR glass 170. [ However, the variable lens 110 may be positioned on an optical path through which light incident on the lens assembly passes, thereby changing the focal length or FOV angle.
제1 위치(P1)는 렌즈 배럴(140A)의 외부에 해당하는 위치이고, 제2 위치(P2)는 렌즈 배럴(140A)의 내부에서 제1 렌즈부(150A)의 상부에 해당하는 위치이다. 제3 위치(P3)는 렌즈 배럴(140A)의 내부에서 제1 렌즈부(150A)와 제2 렌즈부(160A)의 사이에 해당하는 위치이고, 제4 위치(P4)는 렌즈 배럴(140A)의 내부에서 제2 렌즈부(160A)의 하부에 해당하는 위치이다.The first position P1 corresponds to the outside of the lens barrel 140A and the second position P2 corresponds to the upper portion of the first lens unit 150A inside the lens barrel 140A. The third position P3 corresponds to the position between the first lens unit 150A and the second lens unit 160A in the lens barrel 140A and the fourth position P4 corresponds to the position between the lens barrel 140A, The second lens unit 160A is located at a position corresponding to the lower portion of the second lens unit 160A.
IR 글래스(170)는 제2 렌즈부(160A)를 통과한 광에 대해 특정 파장 범위에 해당하는 광을 필터링할 수 있다. IR 글래스(170)는 홀더(130A)의 내부 홈에 장착 및 고정될 수 있다.The IR glass 170 can filter light corresponding to a specific wavelength range with respect to light having passed through the second lens unit 160A. The IR glass 170 may be mounted and fixed to the inner groove of the holder 130A.
이미지 센서(200A)는 기판(250)에 장착될 수 있고, 렌즈 어셈블리를 통과한 광을 영상 신호로 변환하는 기능을 수행할 수 있다.The image sensor 200A may be mounted on the substrate 250 and may convert light passing through the lens assembly into a video signal.
기판(250)은 홀더(130A)의 하부에 배치되고, 이미지 합성부(300) 및 제어부(400A)와 함께 각 구성간의 전기 신호의 전달을 위한 배선을 포함할 수 있다. 또한, 기판(250)에는 카메라 모듈(10) 외부의 전원 또는 기타 다른 장치(예를 들어, application processor)와 전기적으로 연결하기 위한 커넥터(미도시)가 연결될 수 있다.The substrate 250 may be disposed at a lower portion of the holder 130A and may include wiring for transferring electric signals between the image composing unit 300 and the control unit 400A. A connector (not shown) may be connected to the substrate 250 to electrically connect the camera module 10 to a power source or other device (for example, an application processor).
기판(250)은 RFPCB(Rigid Flexible Printed Circuit Board)로 구성되고 카메라 모듈(10, 10A)이 장착되는 공간이 요구하는 바에 따라 벤딩(bending)될 수 있으나, 실시 예는 이에 한정되지 않는다.The substrate 250 may be formed of a Rigid Flexible Printed Circuit Board (RFPCB) and may be bent according to a space required for mounting the camera modules 10 and 10A. However, the embodiments are not limited thereto.
도 2b는 도 1에 도시된 카메라 모듈(10)의 다른 실시 예(10B)를 나타낸 도면이다.FIG. 2B is a view showing another embodiment 10B of the camera module 10 shown in FIG.
도 2b에 도시된 카메라 모듈(10B)의 구성 요소 중에서, 도 2a에 도시된 카메라 모듈(10A)의 구성 요소와 동일한 부분에 대해서는 동일한 참조부호를 사용하여 중복되는 설명을 생략하며, 다른 부분에 대해서만 다음과 같이 설명한다. 따라서, 도 2a에 도시된 카메라 모듈(10A)의 설명은 도 2b에 대한 각 구성 요소들에 대해 적용될 수 있다.Among the components of the camera module 10B shown in Fig. 2B, the same components as those of the camera module 10A shown in Fig. 2A are denoted by the same reference numerals and the description thereof is omitted. Explain as follows. Therefore, the description of the camera module 10A shown in Fig. 2A can be applied to the respective components of Fig. 2B.
카메라 모듈(10B)은 렌즈 어셈블리, 이미지 센서(200A) 및 기판(250)을 포함할 수 있으며, 이들 중 적어도 어느 하나의 구성은 생략되거나 서로 상하 배치관계가 변경될 수도 있다. 도 2b에 도시된 이미지 센서(200A) 및 기판(250)은 도 2b에 도시된 이미지 센서(200A) 및 기판(250)에 각각 해당하므로, 이에 대한 설명을 생략한다. 또한, 카메라 모듈(10B)은 커버(186)를 더 포함할 수 있다. 커버(186)는 렌즈 어셈블리의 상부 개구를 노출시키면서 카메라 모듈(10B)의 구성 요소들을 포위하여 감싸도록 배치되어, 카메라 모듈(10B)의 각 구성 요소를 보호할 수 있다.The camera module 10B may include a lens assembly, an image sensor 200A, and a substrate 250, at least one of which may be omitted, or the relationship between the upper and lower parts may be changed. The image sensor 200A and the substrate 250 shown in FIG. 2B correspond to the image sensor 200A and the substrate 250 shown in FIG. 2B, respectively, and a description thereof will be omitted. Further, the camera module 10B may further include a cover 186. Fig. The cover 186 is arranged to surround and enclose the components of the camera module 10B while exposing the upper opening of the lens assembly so as to protect each component of the camera module 10B.
렌즈 어셈블리는 가변 렌즈(110), 홀더(130B), 렌즈 배럴(140B), 제1 렌즈부(150B), 제2 렌즈부(160B) 및 IR 글래스(170)를 포함할 수 있다. 이들 중 적어도 어느 하나의 구성은 생략되거나 서로 상하 배치관계가 변경될 수도 있다.The lens assembly may include a variable lens 110, a holder 130B, a lens barrel 140B, a first lens unit 150B, a second lens unit 160B, and an IR glass 170. At least one of these configurations may be omitted or the up-and-down arrangement relationship may be changed.
도 2b에 도시된 가변 렌즈(110), 홀더(130B), 렌즈 배럴(140B), 제1 렌즈부(150B), 제2 렌즈부(160B) 및 IR 글래스(170)는 도 2a에 도시된 가변 렌즈(110), 홀더(130A), 렌즈 배럴(140A), 제1 렌즈부(150A), 제2 렌즈부(160A) 및 IR 글래스(170)와 각각 동일한 기능을 수행한다. 그러나, IR 글래스(170)를 제외하고, 도 2b에 도시된 가변 렌즈(110), 홀더(130B), 렌즈 배럴(140B), 제1 렌즈부(150B) 및 제2 렌즈부(160B)는 도 2a에 도시된 가변 렌즈(110), 홀더(130A), 렌즈 배럴(140A), 제1 렌즈부(150A) 및 제2 렌즈부(160A)와 다음과 같이 다른 구성을 가질 수 있다.The variable lens 110, the holder 130B, the lens barrel 140B, the first lens unit 150B, the second lens unit 160B, and the IR glass 170 shown in FIG. 2B correspond to the variable The lens barrel 140A, the first lens unit 150A, the second lens unit 160A, and the IR glass 170, respectively. However, except for the IR glass 170, the variable lens 110, the holder 130B, the lens barrel 140B, the first lens unit 150B, and the second lens unit 160B shown in Fig. The holder 130A, the lens barrel 140A, the first lens unit 150A, and the second lens unit 160A shown in Figs. 2A and 2B.
도 2a에 도시된 렌즈 베럴(140A)은 홀더(130A)에 삽입되는 구조를 갖는 반면, 도 2b에 도시된 렌즈 베럴(140B)은 홀더(130B)의 상부로부터 이격되어 배치될 수 있다.The lens barrel 140A shown in FIG. 2A has a structure to be inserted into the holder 130A, whereas the lens barrel 140B shown in FIG. 2B can be disposed apart from the upper portion of the holder 130B.
홀더(130B)는 연결부(192 내지 198)와 액츄에이터(182, 184)를 통해 렌즈 배럴(140B)과 결합되어 렌즈 배럴(140B)을 지지할 수 있다. 또한, 도 2a에 도시된 홀더(130A)와 같이, 도 2b에 도시된 홀더(130B)는 렌즈 배럴(140B) 하부에 IR 글래스(170)가 부착될 수 있는 공간을 구비할 수 있다.The holder 130B can be coupled with the lens barrel 140B through the connecting portions 192 to 198 and the actuators 182 and 184 to support the lens barrel 140B. In addition, like the holder 130A shown in FIG. 2A, the holder 130B shown in FIG. 2B may have a space to which the IR glass 170 can be attached under the lens barrel 140B.
렌즈 배럴(140B)은 내부에 제1 렌즈부(150B), 제2 렌즈부(160B) 및 가변 렌즈(110)에 포함될 수 있는 렌즈를 수용할 수 있는 공간을 구비할 수 있다. 렌즈 배럴(140B)은 제1 렌즈부(150B), 제2 렌즈부(160B) 및 가변 렌즈(110)의 렌즈와 회전 결합될 수 있으나, 이는 예시적인 것이며, 접착제를 이용한 방식 등 다른 방식으로 결합될 수 있다.The lens barrel 140B may have a space in which a lens that can be included in the first lens unit 150B, the second lens unit 160B, and the variable lens 110 may be accommodated. The lens barrel 140B may be rotationally coupled with the lenses of the first lens unit 150B, the second lens unit 160B and the variable lens 110. However, the lens barrel 140B is illustrative, .
또한, 도 2a에 도시된 제1 렌즈부(150A)는 하나의 렌즈만을 갖는 반면, 도 2b에 도시된 제1 렌즈부(150B)는 2개의 렌즈를 갖는다. 이와 비슷하게, 도 2a에 도시된 제2 렌즈부(160A)는 하나의 렌즈만을 갖는 반면, 도 2b에 도시된 제2 렌즈부(160B)는 2개의 렌즈를 갖는다. 그러나, 실시 예는 이에 국한되지 않으면, 제1 및 제2 렌즈부(150B, 160B) 각각에 포함되는 렌즈의 개수는 도 2a에 도시된 바와 같이 한 개일 수도 있고, 3개 이상일 수도 있다.In addition, the first lens unit 150A shown in Fig. 2A has only one lens, whereas the first lens unit 150B shown in Fig. 2B has two lenses. Similarly, the second lens unit 160A shown in Fig. 2A has only one lens, whereas the second lens unit 160B shown in Fig. 2B has two lenses. However, the number of lenses included in each of the first and second lens units 150B and 160B may be one or three or more, as shown in FIG. 2A, unless the embodiment is limited thereto.
도 2b에 도시된 가변 렌즈(110)는 액츄에이터(182, 184), 접착부(188), 연결부(192, 194, 196, 198)를 포함할 수 있다. 또한, 가변 렌즈(110)는 적어도 하나의 렌즈를 포함할 수 있으며, 적어도 하나의 렌즈는 액체 렌즈만을 포함하거나, 고체 렌즈만을 포함하거나, 액체 렌즈와 고체 렌즈를 모두 포함할 수 있다.The variable lens 110 shown in FIG. 2B may include actuators 182 and 184, an adhesive 188, and connections 192, 194, 196, and 198. Further, the variable lens 110 may include at least one lens, and at least one lens may include only a liquid lens, only a solid lens, or both a liquid lens and a solid lens.
도 2b에서, 가변 렌즈(110)에 포함되는 액츄에이터(182, 184)의 개수가 2개인 것으로 예시되어 있지만, 다른 실시 예에 의하면, 액츄에이터(182, 184)의 개수는 1개일 수도 있다. 즉, 도 2b에 도시된 액츄에이터(182, 184)는 일체로 구현될 수도 있다. 또한, 액츄에이터(182, 184)의 개수는 3개 이상일 수도 있다. 이와 같이, 실시 예는 액츄에이터(182, 184)의 특정한 개수에 국한되지 않는다.2B, the number of the actuators 182 and 184 included in the variable lens 110 is two. However, according to another embodiment, the number of the actuators 182 and 184 may be one. That is, the actuators 182 and 184 shown in FIG. 2B may be integrally implemented. The number of the actuators 182, 184 may be three or more. As such, embodiments are not limited to any particular number of actuators 182, 184.
액츄에이터(182, 184)는 렌즈 어셈블리에 포함된 적어도 하나의 렌즈를 제어부(400A)로부터 출력되는 제어 신호 즉, 제1 신호에 응답하여 수직 방향 또는 수평 방향 중 적어도 하나의 방향으로 이동시키거나 틸팅시킬 수 있다. 이를 위해,액츄에이터(182, 184)는 렌즈 배럴(140B)의 외측벽의 주위에 배치될 수 있다.The actuators 182 and 184 move or tilt at least one lens included in the lens assembly in at least one of a vertical direction and a horizontal direction in response to a control signal output from the control unit 400A, . To this end, the actuators 182 and 184 may be disposed around the outer wall of the lens barrel 140B.
액츄에이터(182, 184)는 제어부(400A)의 제어에 따라 렌즈(150B, 160B)의 물리적 변위를 제어할 수 있다. 즉, 액츄에이터(182, 184)는 적어도 하나의 렌즈(150B, 160B)와 이미지 센서(200A) 사이의 거리를 조절하거나, 적어도 하나의 렌즈(150B, 160B)와 이미지 센서(200A) 사이의 각도를 조절할 수 있다. 또는 액츄에이터(182, 184)는 적어도 하나의 렌즈를 이미지 센서(200A)의 픽셀 어레이가 이루는 평면의 x축 및 y 축 방향으로 이동(shift)시킬 수 있다. 또한, 엑츄에이터(182, 184)는 이미지 센서(200A)의 픽셀 어레이로 입사되는 광의 경로를 변경시킬 수 있다. 예를 들어, 가변 렌즈(110)에 포함되는 적어도 하나의 렌즈에 액체 렌즈가 포함되지 않을 경우, 즉, 가변 렌즈(110)에 포함되는 적어도 하나의 렌즈가 모두 고체 렌즈일 경우, 액츄에이터(182, 184)는 제1 및 제2 렌즈부(150B, 160B)와 가변 렌즈(110)에 포함될 수 있는 적어도 하나의 렌즈를 제어부(400A)로부터 출력되는 제어 신호(즉, 도 1에 도시된 제1 신호)에 따라 수직 방향 또는 수평 방향 중 적어도 하나의 방향으로 이동시킬 수 있다.The actuators 182 and 184 can control the physical displacement of the lenses 150B and 160B under the control of the controller 400A. That is, the actuators 182 and 184 adjust the distance between the at least one lens 150B and 160B and the image sensor 200A, or adjust the angle between the at least one lens 150B and 160B and the image sensor 200A Can be adjusted. Or the actuators 182 and 184 may shift at least one lens in the x and y axis directions of the plane formed by the pixel array of the image sensor 200A. Further, the actuators 182 and 184 can change the path of the light incident on the pixel array of the image sensor 200A. For example, when at least one lens included in the variable lens 110 does not include a liquid lens, that is, when at least one lens included in the variable lens 110 is a solid lens, the actuators 182, 184 transmit at least one lens included in the first and second lens units 150B and 160B and the variable lens 110 to a control signal output from the control unit 400A In at least one of the vertical direction and the horizontal direction.
전술한 바와 같이, 액츄에이터(182, 184)가 렌즈 어셈블리에 포함된 적어도 하나의 렌즈를 수직 방향으로도 이동시킬 수 있고 수평 방향으로도 이동시킬 수 있고 틸팅시킬 수 있다면, 액츄에이터(182, 184)에 의해 광 경로가 변경될 수 있다. 액츄에이터(182, 184)는 렌즈는 정밀하게 이동시킬 수 있으며, 제어부(400A)로부터 전압 또는 전류 형태로 출력되는 구동 신호에 응답하여 구동할 수 있다. 여기서, 구동 신호는 제1 신호에 포함될 수 있다.As described above, if the actuators 182 and 184 are capable of moving at least one lens included in the lens assembly in the vertical direction as well as in the horizontal direction and tilting, the actuators 182 and 184 The optical path can be changed. The actuators 182 and 184 can move the lens precisely and can be driven in response to a drive signal output in the form of voltage or current from the control unit 400A. Here, the driving signal may be included in the first signal.
예를 들어, 렌즈 베럴(140B)은 액츄에이터(182, 184)에 의해 1 ㎜ 이하의 거리만큼 이동할 수 있으며, 광축 또는 광축의 수직 방향으로 이동하거나 틸팅될 수 있으며, 틸팅 각도는 1°이하일 수 있다.For example, the lens barrel 140B can be moved by a distance of 1 mm or less by the actuators 182 and 184, can be moved or tilted in the vertical direction of the optical axis or the optical axis, and the tilting angle can be 1 degree or less .
또한, 전술한 동작을 구현하기 위해, 액츄에이터(182, 184)는 압전 소자(piezoelectric element), 보이스 코일 모터(VCM: Voice Coil Motor), 멤스(MEMS: microelectromechanical systems)일 수 있으나, 실시 예는 액츄에이터(182, 184)의 특정한 형태에 국한되지 않는다. Actuator 182 and 184 may be a piezoelectric element, a voice coil motor (VCM), or a microelectromechanical systems (MEMS) Lt; RTI ID = 0.0 > 182, < / RTI >
액츄에이터(182, 184)가 렌즈 어셈블리에 포함된 적어도 하나의 렌즈를 수평 방향으로 이동시키기 위해, 액츄에이터(182, 184)는 렌즈 베럴(140B)의 측부에 배치되어, 렌즈 배럴(140B) 전체를 수평 방향(예를 들어, x축 방향 또는 y축 방향 중 적어도 하나의 방향)으로 이동시킬 수 있다. 이를 위해, 액츄에이터(182, 184)와 렌즈 배럴(140B) 사이에 연결부(192, 196)가 개재되어 배치될 수 있다. 연결부(192, 196)는 액츄에이터(182, 184)와 렌즈 배럴(140B)을 연결하는 역할을 한다. 경우에 따라, 액츄에이터(182, 184)가 렌즈 배럴(140B)에 직접 연결될 경우, 연결부(192, 196)는 생략될 수 있다.The actuators 182 and 184 are disposed on the sides of the lens barrel 140B to horizontally move at least one lens included in the lens assembly such that the actuators 182 and 184 horizontally move the entire lens barrel 140B horizontally Direction (for example, at least one of the x-axis direction and the y-axis direction). To this end, connection portions 192 and 196 may be interposed between the actuators 182 and 184 and the lens barrel 140B. The connection portions 192 and 196 serve to connect the actuators 182 and 184 and the lens barrel 140B. In some cases, when the actuators 182 and 184 are directly connected to the lens barrel 140B, the connection portions 192 and 196 may be omitted.
또한, 액츄에이터(182, 184)가 렌즈 어셈블리에 포함된 적어도 하나의 렌즈를 수직 방향으로 이동시키기 위해, 액츄에이터(182, 184)는 홀더(130B)의 상부에 배치되어, 렌즈 배럴(140B) 전체를 수직 방향(예를 들어, z축 방향)으로 이동시킬 수 있다. 이를 위해, 액츄에이터(182, 184)와 홀더(130B) 사이에 연결부(194, 198)가 개재되어 배치될 수 있다. 연결부(194, 198)는 액츄에이터(182, 184)와 홀더(130B)을 연결하는 역할을 한다. 경우에 따라, 액츄에이터(182, 184)가 홀더(130B)에 직접 연결될 경우, 연결부(194, 198)는 생략될 수 있다.The actuators 182 and 184 are disposed on the upper portion of the holder 130B so as to move the entire lens barrel 140B in the vertical direction so that the actuators 182 and 184 move the at least one lens included in the lens assembly in the vertical direction. And can be moved in the vertical direction (for example, the z-axis direction). To this end, connection portions 194 and 198 may be interposed between the actuators 182 and 184 and the holder 130B. The connecting portions 194 and 198 serve to connect the actuators 182 and 184 and the holder 130B. In some cases, when the actuators 182, 184 are directly connected to the holder 130B, the connections 194, 198 may be omitted.
액츄에이터는 VCM(voice coil motor)형태로 구현될 수도 있다. 이 경우 렌즈 배럴의 주변에 배치되는 코일을 포함하고, 배럴 및 코일과 이격고 하우징 또는 요크에 배치되는 마그네트와 상호작용 하여 렌즈배럴의 위치를 조절할 수 있다. 이 경우 탄성부재 등의 일단이 배럴을 지지하고 타단이 하우징 또는 요크와 결합되어 배치될 수 있다.The actuator may be implemented in the form of a voice coil motor (VCM). In this case, the lens barrel includes a coil disposed in the periphery of the lens barrel, and the position of the lens barrel can be adjusted by interacting with the barrel and the coil and the magnet disposed in the housing or the yoke. In this case, one end of the elastic member or the like may support the barrel and the other end may be disposed in combination with the housing or the yoke.
또한, 가변 렌즈(110)는 접착부(188)를 더 포함할 수 있다. 접착부(188)는 커버(186)와 액츄에이터(182, 184)를 결합시키는 역할을 수행한다. 커버(186)는 고정되는 반면, 액츄에이터(182, 184)는 수평 방향 또는 수직 방향 중 적어도 하나의 방향으로 이동하거나 틸팅할 수 있다. 이를 위해, 접착부(188)는 액츄에이터(182, 184)의 움직임을 가능케 하는 물질로 이루어질 수도 있고, 경우에 따라 접착부(188)는 생략될 수도 있다. 만일, 접착부(188)가 생략될 경우, 커버(186)와 액츄에이터(182, 184)는 서로 이격되어 배치될 수 있다.In addition, the variable lens 110 may further include an adhesion portion 188. [ The adhesive 188 serves to join the cover 186 and the actuators 182 and 184. The cover 186 is fixed while the actuators 182 and 184 can move or tilt in at least one of the horizontal direction or the vertical direction. To this end, the adhesive 188 may be made of a material that allows movement of the actuators 182, 184, and in some cases the adhesive 188 may be omitted. If the bonding portion 188 is omitted, the cover 186 and the actuators 182 and 184 may be disposed apart from each other.
도 3은 가변 렌즈에 의한 광 경로의 변경으로서, 가변 렌즈의 FOV 각도를 변경시키는 동작의 일 실시 예를 설명하기 위한 도면이다.3 is a view for explaining an embodiment of an operation of changing the FOV angle of the variable lens as a change of the optical path by the variable lens.
도 3을 참조하면, 렌즈 어셈블리(100A)는 특정 FOV(Field of View)를 가질 수 있다. FOV는 이미지 센서(200A)가 렌즈 어셈블리(100A)를 통해 캡쳐할 수 있는 입사광의 범위를 의미하며, FOV 각도로 정의될 수 있다. 통상적인 렌즈 어셈블리의 FOV 각도는 60도 내지 140A도의 범위를 가질 수 있다. 렌즈 어셈블리(100A)를 위에서(즉, 광축에 수직한 방향에서) 바라볼 때의 x축과 y축을 가정한다면, FOV 각도는 제1 FOV 각도(Fx) 및 제2 FOV 각도(Fy)를 포함할 수 있다. 제1 FOV 각도(Fx)는 x축을 따라 정해지는 FOV의 각도를 의미하고, 제2 FOV 각도(Fy)는 y축을 따라 정해지는 FOV의 각도를 의미한다.Referring to FIG. 3, the lens assembly 100A may have a specific field of view (FOV). The FOV means a range of incident light that the image sensor 200A can capture through the lens assembly 100A and can be defined as a FOV angle. The FOV angle of a typical lens assembly may range from 60 degrees to 140 degrees. Assuming the x axis and the y axis when viewing the lens assembly 100A from above (i.e., in a direction perpendicular to the optical axis), the FOV angle includes the first FOV angle Fx and the second FOV angle Fy . The first FOV angle Fx means the angle of the FOV determined along the x axis and the second FOV angle Fy means the angle of the FOV determined along the y axis.
이미지 센서(200A)의 픽셀 어레이에 포함된 복수의 픽셀들은 NxM (여기서, N, M은 각각 1이상의 정수)의 매트릭스 형태로 배열될 수 있다. 즉, N개의 픽셀들이 x축을 따라 배치되고, M개의 픽셀들이 y축을 따라 배치될 수 있다. 제1 FOV 각도(Fx) 및 제2 FOV 각도(Fy)에 해당하는 FOV를 통해 입사되는 광 신호는 NxM의 픽셀 어레이로 입사된다.The plurality of pixels included in the pixel array of the image sensor 200A may be arranged in a matrix form of NxM (where N and M are each an integer of 1 or more). That is, N pixels may be arranged along the x-axis, and M pixels may be arranged along the y-axis. An optical signal incident through the FOV corresponding to the first FOV angle Fx and the second FOV angle Fy is incident on the NxM pixel array.
렌즈 어셈블리(100A)를 통과하는 광 경로 또는 렌즈 어셈블리(100A)의 FOV는 제1 신호에 포함된 렌즈 제어 신호에 의해 변경될 수 있다. 렌즈 제어 신호는 제1 FOV 각도(Fx) 및 제2 FOV 각도(Fy)를 각각 변경시킬 수 있으며, 렌즈 제어 신호에 따른 제1 FOV 각도(Fx) 및 제2 FOV 각도(Fy)의 변화는 제1 각도 변화량(θx) 및 제2 각도 변화량(θy)에 의해 결정된다.The FOV of the optical path or lens assembly 100A passing through the lens assembly 100A can be changed by the lens control signal included in the first signal. The lens control signal can change the first FOV angle Fx and the second FOV angle Fy respectively and the change of the first FOV angle Fx and the second FOV angle Fy according to the lens control signal 1 angle change amount? X and the second angle change amount? Y.
제1 각도 변화량(θx) 및 제2 각도 변화량(θy)은 각각 다음의 수학식 1 및 수학식 2에 의해 정의될 수 있다.The first angle variation amount? X and the second angle variation amount? Y can be defined by the following equations (1) and (2), respectively.
여기서, a는 0.1보다 크고 0.5보다 작고, b는 1보다 크고 2보다 작은 값을 가질 수 있으나, 실시 예의 범위는 이에 한정되지 않는다.Here, a may be greater than 0.1 and less than 0.5, and b may be greater than 1 and less than 2, but the scope of the embodiment is not limited thereto.
이때, θx와 θy는 이미지 센서(200A)가 생성하는 이미지에 대한 변화 각도로서, 실제 가변 렌즈(110)의 변화 각도는 이보다 크거나 작을 수 있다. 가변 렌즈(110)가 투과형일 경우는 θx와 θy 각각은 2보다 작은 값을 가지는 것이 일반적이고, 가변 렌즈(110)가 반사형일 경우에는 θx와 θy 각각은 1보다 큰 것이 일반적이지만, 렌즈 어셈블리(100A)의 광학계의 구성에 따라 그 값은 매우 상이할 수 있다.At this time,? X and? Y are change angles with respect to the image generated by the image sensor 200A, and the change angle of the actual variable lens 110 may be larger or smaller. When the variable lens 110 is a transmission type, it is common that each of? X and? Y has a value smaller than 2. When the variable lens 110 is a reflection type,? X and? Y are each generally larger than 1, 100A may have a very different value depending on the configuration of the optical system.
도 4는 도 2a에 도시된 카메라 모듈(10A)에 포함된 가변 렌즈의 일 실시예를 나타낸 도면이다.FIG. 4 is a view showing an embodiment of a variable lens included in the camera module 10A shown in FIG. 2A.
도 4를 참조하면, 가변 렌즈(40)는 도 1에 도시된 가변 렌즈(110)의 일 실시 예이며, 가변 렌즈(40)는 상하로 배치된 플레이트 사이에 유동체(41)를 포함하는 구조를 가질 수 있다. 유동체(41)는 굴절률 1 내지 2의 유동적 재질로 구성되며, 유동체(41)에 구동 전압을 인가하면 유동체(41)가 특정 방향으로 집중되어 하부 플레이트의 이미지 센서에 대한 각도가 변경될 수 있다. 또한, 유동체(41)에 인가되는 구동 전압이 증가할수록(또는 구동 전압의 편차가 증가할수록) 이미지 센서(200A)에 대한 하부 플레이트의 각도가 증가될 수 있다. 이러한 특성을 이용하여 렌즈 제어 신호에 따라 제1 FOV 각도(Fx) 및 제2 FOV 각도(Fy)의 변화가 발생하도록 가변 렌즈(40)에 인가되는 구동 전압이 미리 결정될 수 있다.Referring to FIG. 4, the variable lens 40 is an embodiment of the variable lens 110 shown in FIG. 1, and the variable lens 40 has a structure including a fluid 41 between upper and lower plates Lt; / RTI > When the driving voltage is applied to the liquid 41, the liquid 41 is concentrated in a specific direction, and the angle of the lower plate with respect to the image sensor can be changed. In addition, the angle of the lower plate with respect to the image sensor 200A can be increased as the driving voltage applied to the fluid 41 increases (or as the deviation of the driving voltage increases). The driving voltage applied to the variable lens 40 can be predetermined so that the first FOV angle Fx and the second FOV angle Fy change depending on the lens control signal.
가변 렌즈(40)는 가변 프리즘일 수 있으나, 본 발명의 범위는 이에 한정되지 않는다.The variable lens 40 may be a variable prism, but the scope of the present invention is not limited thereto.
도 5는 도 2a에 도시된 카메라 모듈(10A)에 포함된 가변 렌즈(110)의 다른 실시 예(50)를 나타낸 도면이다.FIG. 5 is a view showing another embodiment 50 of the variable lens 110 included in the camera module 10A shown in FIG. 2A.
도 5를 참조하면, 가변 렌즈(50)는 도 1에 도시된 가변 렌즈(110)의 다른 실시 예이며, 가변 렌즈(50)는 상하로 배치된 플레이트 사이에 성질이 서로 다른 두 액체(51)를 포함하는 구조를 가질 수 있다. 두 액체(51)는 굴절률 1 내지 2의 유동적 재질로 구성되며, 두 액체(51)에 구동 전압을 인가하면 두 액체(51)가 이루는 계면이 변형되어 계면의 FOV 각도가 변경될 수 있다. 또한, 두 액체(51)에 인가되는 구동 전압이 증가할수록(또는 구동 전압의 편차가 증가할수록) 계면의 FOV 각도 변화가 증가될 수 있다. 이러한 특성을 이용하여 렌즈 제어 신호에 따라 제1 FOV 각도(Fx) 및 제2 FOV 각도(Fy)의 변화가 발생하도록 가변 렌즈(50)에 인가되는 구동 전압이 미리 결정될 수 있다.1, the variable lens 50 includes two liquids 51 having different properties between the upper and lower plates. The variable lens 50 includes a plurality of liquids 51, As shown in FIG. The two liquids 51 are made of a fluid material having a refractive index of 1 to 2. When a driving voltage is applied to the two liquids 51, the interface between the two liquids 51 is deformed, so that the FOV angle of the interface can be changed. Further, as the driving voltage applied to the two liquids 51 increases (or as the deviation of the driving voltage increases), the FOV angle change of the interface can be increased. With this characteristic, the drive voltage applied to the variable lens 50 can be predetermined so that the first FOV angle Fx and the second FOV angle Fy change in accordance with the lens control signal.
도 6은 도 5에 도시된 실시 예에 따른 가변 렌즈를 보다 상세히 설명하기 위한 도면이다.FIG. 6 is a view for explaining the variable lens according to the embodiment shown in FIG. 5 in more detail.
구체적으로, 도 6의 (a)는 액체 렌즈(28)를 설명하고, 도 6의 (b)는 액체 렌즈(28)의 등가회로를 설명한다. 여기서, 액체 렌즈(28)는 도 5의 가변 렌즈(50)를 의미할 수 있다.Specifically, FIG. 6A illustrates the liquid lens 28, and FIG. 6B illustrates an equivalent circuit of the liquid lens 28. FIG. Here, the liquid lens 28 may mean the variable lens 50 of Fig.
먼저 도 6 (a)를 참조하면, 구동 전압에 대응하여 계면이 조정되는 액체 렌즈(28)는 동일한 각 거리를 가지고 4개의 서로 다른 방향에 배치되어 제1 전극을 구성하는 복수의 전극 섹터(L1, L2, L3, L4) 그리고 제2 전극을 구성하는 전극 섹터를 통해서 구동 전압을 인가 받을 수 있다. 제1 전극을 구성하는 복수의 전극 섹터(L1, L2, L3, L4) 그리고 제2 전극을 구성하는 전극 섹터를 통해서 구동 전압이 인가되면 렌즈 영역(310)에 배치된 전도성 액체와 비전도성 액체의 경계면이 변형될 수 있다. 전도성 액체와 비전도성 액체의 경계면의 변형의 정도 및 형태는 제어 회로(도 1의 제어부(400A))에 의해 제어될 수 있다.6 (a), the liquid lens 28 whose interface is adjusted in correspondence to the driving voltage is arranged in four different directions with the same angular distance to form a plurality of electrode sectors L1 , L2, L3, and L4) and the electrode sector constituting the second electrode. When a driving voltage is applied through a plurality of electrode sectors (L1, L2, L3, L4) constituting the first electrode and an electrode sector constituting the second electrode, the conductive liquid and the nonconductive liquid The interface may be deformed. The degree and shape of the deformation of the interface between the conductive liquid and the nonconductive liquid can be controlled by a control circuit (control section 400A in Fig. 1).
또한, 도 6 (b)를 참조하면, 액체 렌즈(28)의 일측은 서로 다른 전극 섹터(L1, L2, L3, L4)으로부터 전압을 인가 받고, 다른 일측은 제2 전극의 전극 섹터(C0)와 연결되어 전압을 인가받는 복수의 캐패시터(30)로 설명할 수 있다.6 (b), one side of the liquid lens 28 receives a voltage from the different electrode sectors L1, L2, L3 and L4 and the other side receives the voltage from the electrode sector C0 of the second electrode. And a plurality of capacitors 30 connected to the capacitors 30 and receiving a voltage.
본 명세서에서는 개별 전극이 4개인 것을 예로 들어 설명하나, 본 발명의 범위는 이에 한정되지 않는다.In the present specification, four individual electrodes are described as an example, but the scope of the present invention is not limited thereto.
도 7은 일 실시 예에 따른 액체 렌즈(700)를 나타낸 도면이다.7 is a view showing a liquid lens 700 according to an embodiment.
도 7을 참조하면, 액체 렌즈(700)는 도 6에 도시된 액체 렌즈(28)의 단면의 일 실시 예에 해당할 수 있다.Referring to FIG. 7, the liquid lens 700 may correspond to one embodiment of the cross section of the liquid lens 28 shown in FIG.
액체 렌즈(700)는 전도성 액체(72), 비전도성 액체(73), 플레이트, 전극부 및 절연층(76)을 포함할 수 있다. 플레이트는 제1 플레이트(74)를 포함할 수 있으며, 추가로 제2 플레이트(77)와 제3 플레이트(71)를 더 포함할 수 있다. 전극부는 제1 전극(75-1), 제2 전극(75-2)을 포함할 수 있다.The liquid lens 700 may include a conductive liquid 72, a nonconductive liquid 73, a plate, an electrode portion, and an insulating layer 76. The plate may include a first plate 74, and may further include a second plate 77 and a third plate 71. The electrode unit may include a first electrode 75-1 and a second electrode 75-2.
제2 플레이트(77)와 제3 플레이트(71)는 투명한 재질로 구성될 수 있다. 제2 플레이트(77)와 제3 플레이트(71) 중 어느 하나는 액체 렌즈(700)에서 렌즈 어셈블리(100A)를 통과하는 광을 먼저 받아들이도록 배치될 수 있다. 제3 플레이트(71)는 제1 전극(75-1)의 하부에 배치될 수 있고, 제2 플레이트(77)는 제2 전극(75-2)의 상부에 배치될 수 있다.The second plate 77 and the third plate 71 may be made of a transparent material. Either the second plate 77 or the third plate 71 may be arranged to receive light passing through the lens assembly 100A from the liquid lens 700 first. The third plate 71 may be disposed below the first electrode 75-1 and the second plate 77 may be disposed above the second electrode 75-2.
전도성 액체(72)와 비전도성 액체(73)는 상기 제1 플레이트(74)의 개구영역에 의해 결정되는 캐비티(cavity) 내에 충진될 수 있다. 즉, 캐비티에는 서로 다른 성질의 전도성 액체(72)와 비전도성 액체(73)가 충진될 수 있으며, 서로 다른 성질의 전도성 액체(72)와 비전도성 액체(73) 사이에는 계면(IF)이 형성될 수 있다.The conductive liquid 72 and the nonconductive liquid 73 may be filled in a cavity determined by the opening area of the first plate 74. That is, the cavity may be filled with the conductive liquid 72 of different properties and the nonconductive liquid 73, and the interface IF is formed between the conductive liquid 72 of the different nature and the nonconductive liquid 73 .
전도성 액체(72)와 비전도성 액체(73)가 이루는 계면(IF)은 굴곡, 경사도 등이 변하면서 액체 렌즈(700)의 초점 거리 또는 형상이 조정될 수 있다. 상기 계면(IF)을 통해 광 신호가 통과될 수 있는 영역이 도 6에서 설명한 렌즈영역(310)과 대응될 수 있다.The interface IF formed by the conductive liquid 72 and the nonconductive liquid 73 can be adjusted in focal length or shape of the liquid lens 700 while bending, An area where the optical signal can pass through the interface IF may correspond to the lens area 310 described in FIG.
여기서, 전도성 액체(72)는 에틸렌 글리콜(ethylene glycol) 및 브로민화나트륨(NaBr) 중 적어도 하나를 포함할 수 있으며, 또한 에틸렌 글리콜(ethylene glycol)과 브로민화나트륨(NaBr)이 혼합되어 형성될 수 있고, 비전도성 액체(73)는 페닐(phenyl) 계열의 실리콘 오일을 포함할 수 있다.Here, the conductive liquid 72 may include at least one of ethylene glycol and sodium bromide (NaBr), and may be formed by mixing ethylene glycol and sodium bromide (NaBr) And the nonconductive liquid 73 may comprise a phenyl series silicone oil.
제1 플레이트(74)는 제3 플레이트(71) 및 제2 플레이트(77) 사이에 위치하며 기 설정된 경사면(예컨대, 약 59도 내지 61도의 각도를 가지는 경사면)을 가지는 개구영역을 포함할 수 있다. 즉, 제1 플레이트(74)는 내부에 경사면을 포함할 수 있고, 이러한 경사면에 의해 정의되는 캐비티 내에 전도성 액체(72)와 비전도성 액체(73)가 배치될 수 있다. 제1 플레이트(74)는 액체 렌즈(700) 내 서로 다른 성질의 두 액체(72, 73)를 가두는 하우징 구조물로서 제3 플레이트(71) 및 제2 플레이트(77)는 광 신호가 통과하는 영역을 포함하고 있어 투명도가 높은 유리(glass)와 같은 재질로 형성될 수 있고, 공정의 편의상(동일한 재질의 중간층을 사용하여 접합하는 경우 캐비티를 채운 액체가 흘러나오는 것을 방지하기 용이함) 제1 플레이트(74) 역시 유리와 같은 재질로 형성될 수 있다. 다른 실시 예에 따라, 제1 플레이트(74)는 광 신호의 투과가 용이하지 않도록 불순물을 포함할 수도 있다.The first plate 74 may include an aperture region located between the third plate 71 and the second plate 77 and having a predetermined sloped surface (e.g., an inclined surface having an angle of about 59 degrees to 61 degrees) . That is, the first plate 74 may include an inclined surface therein, and the conductive liquid 72 and the nonconductive liquid 73 may be disposed in the cavity defined by this inclined surface. The first plate 74 is a housing structure for housing two liquids 72 and 73 having different properties in the liquid lens 700. The third plate 71 and the second plate 77 are regions in which the optical signal passes And it is possible to form the first plate (the first plate) and the second plate (the second plate) by using the same material as the first plate 74 may also be formed of a material such as glass. According to another embodiment, the first plate 74 may contain impurities such that transmission of the optical signal is not easy.
제1 전극(75-1)과 제2 전극(75-2)은 전도성 액체(72)와 비전도성 액체(73)가 이루는 계면(IF)을 제어하기 위한 제어 회로(도 1의 제어부(400A))로부터 수신되는 구동 전압을 인가하는 기능을 수행할 수 있다. 제1 전극(75-1)은 제1 플레이트(74)의 경사면에 배치될 수 있고, 제2 전극(75-2)은 제1 플레이트(74)의 상부에 배치될 수 있다.The first electrode 75-1 and the second electrode 75-2 are connected to a control circuit 400A of FIG. 1 for controlling the interface IF between the conductive liquid 72 and the nonconductive liquid 73, And a driving voltage supplied from the driving voltage generating unit. The first electrode 75-1 may be disposed on an inclined surface of the first plate 74 and the second electrode 75-2 may be disposed on the upper surface of the first plate 74. [
도 6에서 설명한 바와 같이, 제3 플레이트(71) 및 제2 플레이트(77)와 인접한 제1 플레이트(74)의 양측에는 개별 전극(L1, L2, L3, L4)과 공통 전극(C0)을 형성하기 위한 전극 및/또는 전극 패턴이 포함될 수 있다. 제2 전극(75-2)은 전도성 액체(72)에 접촉하도록 배치되는 공통 전극이고 제1 전극(75-1)은 절연층(76)을 사이에 두고 전도성 액체(72)에 근접하도록 배치되는 개별 전극일 수 있다.L1, L2, L3, and L4 and the common electrode C0 are formed on both sides of the first plate 74 adjacent to the third plate 71 and the second plate 77, And / or an electrode pattern may be included. The second electrode 75-2 is a common electrode disposed to be in contact with the conductive liquid 72 and the first electrode 75-1 is disposed so as to be close to the conductive liquid 72 with the insulating layer 76 therebetween It may be an individual electrode.
여기서, 제1 전극(75-1)과 제2 전극(75-2)은 크롬(Cr)을 포함할 수 있다. 크로뮴(chromium) 또는 크롬(Chrom)은 은색의 광택이 있는 단단한 전이 금속으로, 부서지기 쉬우며 잘 변색되지 않고 녹는점이 높은 것이 특징이다. 하지만, 크로뮴을 포함한 합금은 부식에 강하고 단단하기 때문에 다른 금속과 합금한 형태로 사용될 수 있다. 특히, 크롬(Cr)은 부식과 변색이 적기 때문에, 캐비티를 채우는 전도성 액체에도 강한 특징이 있다.Here, the first electrode 75-1 and the second electrode 75-2 may include chromium (Cr). Chromium or chromium is a silver-colored, hard, transition metal that is easy to break, characterized by high melting point without discoloration. However, alloys containing chromium are resistant to corrosion and can be used in alloyed form with other metals. Particularly, chromium (Cr) has a characteristic of being resistant to the conductive liquid filling the cavity because of less corrosion and discoloration.
개별 전극과 공통 전극 간의 전압 차에 따라 계면(IF)이 캐비티의 경사면과 접하는 지점이 달라질 수 있고, 이를 이용해 구동 전압을 마주보는 개별 전극 간에 비대칭적으로 제어함으로써 미리 정해진 FOV 각도의 변경 방향 및 변경 각도로 FOV를 변경시킬 수 있다.The point at which the interface IF contacts the inclined surface of the cavity can be changed according to the voltage difference between the individual electrode and the common electrode and the driving voltage is asymmetrically controlled between the individual electrodes facing each other using the same to change the predetermined FOV angle change direction and change You can change the FOV at an angle.
절연층(76)은 제1 전극(75-1)을, 전도성 액체(72) 및 비전도성 액체(73)와 물리적으로 절연시키기 위한 구성이다. 예를 들어, 절연층(76)은 파릴렌 C(parylene C)를 포함할 수 있으며, 코팅, 증착, 도금 등의 방법으로 구현될 수 있다.The insulating layer 76 is a structure for physically insulating the first electrode 75-1 from the conductive liquid 72 and the nonconductive liquid 73. [ For example, the insulating layer 76 may include parylene C and may be formed by a method such as coating, deposition, plating, and the like.
절연층(76)은 전도성 액체(72) 및 비전도성 액체(73)와 맞닿을 수 있는 경사면을 비롯하여, 제1 플레이트(74)의 상부 및 비전도성 액체(73)의 하부에 연장되어 배치될 수 있다. 도시된 바와 달리 절연층(76)은 제1 전극(75-1)의 상부에 배치될 수 있다. 제1 전극(75-1)과 제2 전극(75-2)이 인접하여 배치되는 제1 플레이트(74)의 상부에서 절연층(76)은 제1 전극(75-1)이 전도성 액체(72)와 접촉하지 않도록 제1 전극(75-1)을 감싸는 형태로 배치될 수 있고, 도 7과 같이 적어도 일부가 제2 전극(75-2)과 접촉하도록 배치될 수 있으나, 본 발명의 범위는 이에 한정되지 않는다.The insulating layer 76 may extend over the top of the first plate 74 and the underside of the nonconductive liquid 73, including inclined surfaces that may abut the conductive liquid 72 and the non- have. The insulating layer 76 may be disposed on the upper portion of the first electrode 75-1. The first electrode 75-1 and the second electrode 75-2 are disposed adjacent to each other on the first plate 74. The insulating layer 76 is formed such that the first electrode 75-1 is electrically connected to the conductive liquid 72 The first electrode 75-1 may be disposed so as not to be in contact with the first electrode 75-1 and at least a portion thereof may be disposed in contact with the second electrode 75-2 as shown in FIG. But is not limited thereto.
제2 플레이트(77)는 투명한 재질의 유리로 형성될 수 있고, 제3 플레이트(71) 및 개구 영역과 함께 캐비티를 구성하여 전도성 액체(72)와 비전도성 액체(73)가 충진될 수 있도록 한다.The second plate 77 may be formed of a transparent glass and constitutes a cavity together with the third plate 71 and the opening area so that the conductive liquid 72 and the nonconductive liquid 73 can be filled .
이하, 다른 실시 예에 따른 카메라 모듈(20)을 첨부된 도면을 참조하여 다음과 같이 설명한다.Hereinafter, a camera module 20 according to another embodiment will be described with reference to the accompanying drawings.
도 8은 다른 실시 예에 따른 카메라 모듈(20)을 나타낸 블럭도이다.8 is a block diagram showing a camera module 20 according to another embodiment.
도 8을 참조하면, 카메라 모듈(20)은 렌즈 어셈블리(100B), 이미지 센싱부(200B), 이미지 합성부(300) 및 제어부(400B)를 포함할 수 있다. 여기서, 이미지 합성부(300)는 도 1에 도시된 이미지 합성부(300)와 동일한 역할을 수행하므로, 동일한 참조부호를 사용하며, 중복되는 설명을 생략한다.Referring to FIG. 8, the camera module 20 may include a lens assembly 100B, an image sensing unit 200B, an image synthesizing unit 300, and a control unit 400B. Here, since the image composing unit 300 performs the same function as the image composing unit 300 shown in FIG. 1, the same reference numerals are used and redundant explanations are omitted.
렌즈 어셈블리(100B)는 이미지 센싱부(200B) 위에 배치되며, 카메라 모듈(20)의 외부로부터 입사되는 광을 통과시켜 이미지 센싱부(200B)에 포함된 이미지 센서(230)로 광 신호를 전달할 수 있다. 즉, 렌즈 어셈블리(100B)는 이미지 센싱부(200B)로 입사되는 광 경로를 형성할 수 있다.The lens assembly 100B is disposed on the image sensing unit 200B and can transmit the optical signal to the image sensor 230 included in the image sensing unit 200B through the light incident from the outside of the camera module 20. [ have. That is, the lens assembly 100B can form an optical path to be incident on the image sensing unit 200B.
렌즈 어셈블리(100B)는 도 2a 또는 도 2b에 도시된 바와 같은 구성을 가질 수 있다. 이때, 렌즈 어셈블리(100B)는 가변 렌즈(110)를 포함할 수도 있고, 가변 렌즈(110)를 포함하지 않을 수도 있다.The lens assembly 100B may have a configuration as shown in Figs. 2A and 2B. At this time, the lens assembly 100B may include the variable lens 110, or may not include the variable lens 110. [
만일, 렌즈 어셈블리(100B)가 가변 렌즈(110)를 포함하지 않을 경우, 도 2a 또는 도 2b에 도시된 카메라 모듈(10A, 10B)에서 가변 렌즈(110)가 제외된 구성이 렌즈 어셈블리(100B)의 구성일 수 있으므로 이에 대한 중복되는 설명을 생략한다.If the lens assembly 100B does not include the variable lens 110, the configuration in which the variable lens 110 is omitted from the camera modules 10A and 10B shown in FIG. 2A or 2B is applied to the lens assembly 100B, And thus redundant description thereof will be omitted.
이미지 센싱부(200B)는 이미지 센서(230) 및 액츄에이터(240)를 포함할 수 있다. 이미지 센싱부(200B)는 제어부(400B)의 제어 하에 렌즈 어셈블리(100B)에 대한 이미지 센서(230)의 상대적 위치를 조절할 수 있다. 이를 위해, 액츄에이터(240)는 이미지 센서(230)의 물리적 변위를 조절할 수 있다.The image sensing unit 200B may include an image sensor 230 and an actuator 240. [ The image sensing unit 200B can adjust the relative position of the image sensor 230 with respect to the lens assembly 100B under the control of the controller 400B. To this end, the actuator 240 may adjust the physical displacement of the image sensor 230.
도 1에 도시된 일 실시 예에 의한 카메라 모듈(10)의 경우, 가변 렌즈(110)를 이용하여 외부로부터 이미지 센서(200A)로 입사되는 광 경로를 조절한다.In the case of the camera module 10 according to the embodiment shown in FIG. 1, a variable lens 110 is used to adjust the optical path from the outside to the image sensor 200A.
도 8에 도시된 다른 실시 예에 의한 카메라 모듈(20)의 경우, 렌즈 어셈블리(즉, 렌즈)에 대한 이미지 센서(230)의 상대적 위치를 조절함으로써, 이미지 센서(230)로 입사되는 광 경로가 조절되는 효과를 얻을 수 있다.8, by adjusting the relative position of the image sensor 230 with respect to the lens assembly (i.e., the lens), the optical path incident on the image sensor 230 A controlled effect can be obtained.
도 8에 도시된 렌즈 어셈블리(100B)가 도 1에 도시된 렌즈 어셈블리(100A)와 같이, 가변 렌즈(110)를 포함할 경우, 카메라 모듈(20)에서, 외부로부터 이미지 센서(230)로 입사되는 광 경로는 가변 렌즈(110)에 의해 1차적으로 조절하고, 액츄에이터(240)에 의해 2차적으로 조절할 수 있다.When the lens assembly 100B shown in FIG. 8 includes the variable lens 110 like the lens assembly 100A shown in FIG. 1, The optical path is primarily adjusted by the variable lens 110, and can be adjusted by the actuator 240 in a secondary order.
또한, 렌즈 어셈블리(100B)가 가변 렌즈(110)를 포함할 경우, 제어부(400B)는 제어부(400A)와 마찬가지로 렌즈 어셈블리(100B) 및 이미지 센서(230)를 제어할 수 있다. 이 경우, 도 8에 도시된 제3 신호는 제1 신호를 포함하고, 제4 신호는 제2 신호를 포함할 수 있다. 그러나, 렌즈 어셈블리(100B)가 가변 렌즈(110)를 포함하지 않을 경우, 제3 신호를 생략할 수 있다.When the lens assembly 100B includes the variable lens 110, the control unit 400B can control the lens assembly 100B and the image sensor 230 in the same manner as the control unit 400A. In this case, the third signal shown in Fig. 8 may include a first signal, and the fourth signal may include a second signal. However, when the lens assembly 100B does not include the variable lens 110, the third signal can be omitted.
전술한 바와 같이, 제어부(400B)는 이미지 센싱부(200B)의 액츄에이터(240)를 제어하여 렌즈 어셈블리(100B)에 대한 이미지 센서(230)의 상대적 위치를 조절할 수 있다. 이를 위해 제어부(400B)는 이미지 센싱부(200B)와 제4 신호를 송수신할 수 있다. 즉, 제4 신호에 응답하여 액츄에이터(240)는 이미지 센서(230)를 광축 방향(또는, 광축과 나란한 방향)(예를 들어, z축 방향) 또는 광축 방향과 수직하는 수평 방향 중 적어도 하나의 방향으로 이동시키거나 틸팅시킬 수 있다. 이를 위해, 액츄에이터(240)는 압전 소자(piezoelectric element), 보이스 코일 모터(VCM), 멤스(MEMS)일 수 있으나, 실시 예는 액츄에이터(240)의 특정한 형태에 국한되지 않는다.The controller 400B may control the actuator 240 of the image sensing unit 200B to adjust the relative position of the image sensor 230 with respect to the lens assembly 100B. For this, the control unit 400B can transmit and receive the fourth signal to and from the image sensing unit 200B. That is, in response to the fourth signal, the actuator 240 rotates the image sensor 230 in at least one of the optical axis direction (or the direction parallel to the optical axis) (e.g., the z axis direction) Direction or tilting. To this end, the actuator 240 may be a piezoelectric element, a voice coil motor (VCM), a MEMS (MEMS), but embodiments are not limited to any particular form of the actuator 240.
또한, 광축 방향(또는, 광축과 나란한 방향)(예를 들어, z축 방향) 또는 광축 방향과 수직하는 수평 방향 중 적어도 하나의 방향으로, 액츄에이터(240)는 이미지 센서(230) 자체를 이동시킬 수도 있고, 도 2a 또는 도 2b에 도시된 바와 같이, 이미지 센서(230)가 배치된 기판(250)을 이동시킬 수도 있고, 이미지 센서(230)의 패키지를 이동시킬 수도 있고, 이미지 센서(230)의 픽셀 어레이를 이동시킬 수 있으며, 실시 예는 이에 국한되지 않는다.The actuator 240 moves the image sensor 230 itself in at least one direction of the optical axis direction (or in the direction parallel to the optical axis) (e.g., the z axis direction) or in the horizontal direction perpendicular to the optical axis direction Or may move the substrate 250 on which the image sensor 230 is disposed, move the package of the image sensor 230, or move the image sensor 230, as shown in FIG. 2A or 2B, And the embodiment is not limited to this.
이하, 도 8에 도시된 이미지 센싱부((200B)의 다양한 실시 예(200B1 내지 200B4)를 첨부된 도면을 참조하여 다음과 같이 설명하지만 실시 예는 이에 국한되지 않는다. 예를 들어, 실시 예에 의한 카메라 모듈(20)의 구성은 도 2a 또는 도 2b에 도시된 카메라 모듈(10A, 10B)에서 기판(250)과 이미지 센서(200A) 대신에 도 9 내지 도 12b에 도시된 기판(250A, 250B)과 이미지 센싱부(200B1 내지 200B4)를 포함하고, 도 2a 및 도 2b에 도시된 가변 렌즈(110)를 생략한 구성일 수 있다.Hereinafter, various embodiments 200B1 to 200B4 of the image sensing unit 200B shown in FIG. 8 will be described below with reference to the accompanying drawings, but the embodiments are not limited thereto. For example, The configuration of the camera module 20 according to the first embodiment of the present invention is not limited to the substrate 250 and the image sensor 200A in the camera modules 10A and 10B shown in Figs. And image sensing units 200B1 and 200B4, and the variable lens 110 shown in FIGS. 2A and 2B may be omitted.
도 9는 도 8에 도시된 이미지 센싱부(200B)의 일 실시 예(200B1)에 의한 단면도를 나타낸다.FIG. 9 shows a cross-sectional view of an image sensing unit 200B shown in FIG. 8 according to an embodiment 200B1.
도 9를 참조하면, 이미지 센싱부(200B1)는 액츄에이터(240A), 기판(250A) 및 이미지 센서(230A)를 포함할 수 있다. 여기서, 이미지 센서(230A) 및 액츄에이터(240A)는 도 8에 도시된 이미지 센서(230) 및 액츄에이터(240) 각각의 일 실시 예에 해당한다.Referring to FIG. 9, the image sensing unit 200B1 may include an actuator 240A, a substrate 250A, and an image sensor 230A. Here, the image sensor 230A and the actuator 240A correspond to one embodiment of the image sensor 230 and the actuator 240 shown in FIG. 8, respectively.
기판(250A)은 액츄에이터(240A) 위에 배치되고, 이미지 센서(230A)는 기판(250A) 위에 배치될 수 있다. 즉, 도 2a 또는 도 2b에 도시된 기판(250) 아래에 도 9에 도시된 바와 같이, 액츄에이터(240A)가 배치될 수 있다. 이러한 구성에서, 제어부(400B)는 액츄에이터(240A)를 광축 방향(또는, 광축과 나란한 방향)(예를 들어, z축 방향) 또는 광축 방향과 수직하는 수평 방향 중 적어도 하나의 방향으로 이동시키거나 틸팅시킬 수 있다. 액츄에이터(240A)가 움직이는 방향과 동일한 방향으로 기판(250A)과 이미지 센서(230A)가 함께 이동할 수 있다. 예를 들어, 액츄에이터(240A)가 화살표 방향(AR1, AR2)으로 움직일 때, 이와 동일한 방향으로 기판(250A)과 이미지 센서(230A)가 함께 움직일 수 있다.The substrate 250A may be disposed on the actuator 240A and the image sensor 230A may be disposed on the substrate 250A. That is, the actuator 240A may be disposed under the substrate 250 shown in FIG. 2A or 2B, as shown in FIG. The controller 400B moves the actuator 240A in at least one of an optical axis direction (or a direction parallel to the optical axis) (e.g., a z-axis direction) or a horizontal direction perpendicular to the optical axis direction Tilting can be performed. The substrate 250A and the image sensor 230A can move together in the same direction as the direction in which the actuator 240A moves. For example, when the actuator 240A moves in the arrow directions AR1 and AR2, the substrate 250A and the image sensor 230A can move together in the same direction.
도 10은 도 8에 도시된 이미지 센싱부(200B)의 다른 실시 예(200B2)에 의한 평면도를 나타낸다.Fig. 10 shows a plan view by another embodiment 200B2 of the image sensing unit 200B shown in Fig.
도 10을 참조하면, 이미지 센싱부(200B2)는 액츄에이터(240B), 기판(250B), 탄성 부재(262 내지 268) 및 이미지 센서(230B)를 포함할 수 있다. 여기서, 이미지 센서(230B) 및 액츄에이터(240B)는 도 8에 도시된 이미지 센서(230) 및 액츄에이터(240) 각각의 다른 실시 예에 해당한다.Referring to FIG. 10, the image sensing unit 200B2 may include an actuator 240B, a substrate 250B, elastic members 262 to 268, and an image sensor 230B. Here, the image sensor 230B and the actuator 240B correspond to different embodiments of the image sensor 230 and the actuator 240 shown in FIG. 8, respectively.
기판(250B) 및 이미지 센서(230B)는 도 2a 또는 도 2b에 도시된 기판(250) 및 이미지 센서(200A)와 각각 동일한 역할을 수행한다. 기판(250B)은 이미지 센서(230B)를 에워싸는 고리 형태의 평면 형상을 갖는다. 이미지 센서(230B)는 고리 형상의 기판(250B) 내부에 배치되며, 기판(250B)의 내주면으로부터 소정 거리 이격되어 배치될 수 있다.The substrate 250B and the image sensor 230B perform the same functions as the substrate 250 and the image sensor 200A shown in Figs. 2A and 2B, respectively. The substrate 250B has a ring-shaped planar shape surrounding the image sensor 230B. The image sensor 230B is disposed inside the annular substrate 250B and may be disposed at a predetermined distance from the inner circumferential surface of the substrate 250B.
탄성 부재(262 내지 268)가 이미지 센서(230B)의 외측 모서리와 기판(250B)의 내측 모서리 사이에 각각 배치되어, 액츄에이터(240B)에 의해 물리적 변위가 변경된 이미지 센서(230B)의 위치를 원복시킬 수 있다. 액츄에이터(240B)는 이미지 센서(230B)와 기판(250B) 사이에 배치될 수 있으며, MEMS일 수 있다.The elastic members 262 to 268 are disposed between the outer edge of the image sensor 230B and the inner edge of the substrate 250B so that the position of the image sensor 230B whose physical displacement is changed by the actuator 240B . The actuator 240B may be disposed between the image sensor 230B and the substrate 250B, and may be a MEMS.
액츄에이터(240B)가 수평 방향 또는 수직 방향 중 하나의 방향으로 이동하거나 틸팅할 때, 이미지 센서(230B)도 액츄에이터(240B)가 이동하는 방향과 동일한 방향으로 이동할 수 있다.When the actuator 240B moves or tilts in one of the horizontal direction and the vertical direction, the image sensor 230B can also move in the same direction as the direction in which the actuator 240B moves.
도 11은 도 8에 도시된 이미지 센싱부(200B)의 또 다른 실시 예(200B3)의 평면도를 나타낸다.Fig. 11 shows a plan view of another embodiment 200B3 of the image sensing unit 200B shown in Fig.
도 11을 참조하면, 이미지 센싱부(200B3)는 액츄에이터(AR1 내지 AR4)(242 내지 248) 및 이미지 센서(230C)를 포함할 수 있다. 여기서, 이미지 센서(230C) 및 액츄에이터(242 내지 248)는 도 8에 도시된 이미지 센서(230) 및 액츄에이터(240) 각각의 또 다른 실시 예에 해당한다.Referring to FIG. 11, the image sensing unit 200B3 may include actuators AR1 to AR4 (242 to 248) and an image sensor 230C. Here, the image sensor 230C and the actuators 242 to 248 correspond to another embodiment of the image sensor 230 and the actuator 240 shown in FIG. 8, respectively.
액츄에이터(AC1, AC2, AC3, AC4)(242 내지 248)는 이미지 센서(230C)의 4변과 대향하여 배치되며, 화살표 방향(AR3 내지 AR6)으로 이미지 센서(230C)에 압력을 부여함으로써, 이미지 센서(230C)를 수평 방향으로 이동시킬 수 있다. 즉, 액츄에이터(AC1)(242)는 이미지 센서(230C)의 4변 중 제1 변에 화살표 방향(AR3)으로 압력을 부여함으로써, 이미지 센서(230C)를 +x축 방향으로 이동시킬 수 있다. 액츄에이터(AC2)(244)는 이미지 센서(230C)의 4변 중 제2 변에 화살표 방향(AR4)으로 압력을 부여함으로써, 이미지 센서(230C)를 -x축 방향으로 이동시킬 수 있다. 액츄에이터(AC3)(246)는 이미지 센서(230C)의 4변 중 제3 변에 화살표 방향(AR5)으로 압력을 부여함으로써, 이미지 센서(230C)를 +y축 방향으로 이동시킬 수 있다. 액츄에이터(AC4)(248)는 이미지 센서(230C)의 4변 중 제4 변에 화살표 방향(AR6)으로 압력을 부여함으로써, 이미지 센서(230C)를 -y축 방향으로 이동시킬 수 있다.The actuators AC1, AC2, AC3 and AC4 242 to 248 are disposed opposite to the four sides of the image sensor 230C and apply pressure to the image sensor 230C in the arrow directions AR3 to AR6, The sensor 230C can be moved in the horizontal direction. That is, the actuator AC1 242 can move the image sensor 230C in the + x-axis direction by applying pressure in the arrow direction AR3 to the first one of the four sides of the image sensor 230C. The actuator AC2 244 can move the image sensor 230C in the -x axis direction by applying pressure in the arrow direction AR4 to the second side of the four sides of the image sensor 230C. The actuator AC3 246 can move the image sensor 230C in the + y axis direction by applying pressure in the arrow direction AR5 to the third side of the four sides of the image sensor 230C. The actuator AC4 248 can move the image sensor 230C in the -y axis direction by applying pressure in the arrow direction AR6 to the fourth side of the four sides of the image sensor 230C.
도 11의 경우, 이미지 센서(230C)가 사각형 평면 형상을 갖기 때문에, 이미지 센싱부(200B3)은 4개의 액츄에이터(AC1, AC2, AC3, AC4)(242 내지 248)를 포함하지만, 실시 예는 이에 국한되지 않는다. 즉, 이미지 센서(230C)의 평면 형상에 따라, 액츄에이터(242 내지 248)의 개수는 4개보다 많을 수도 있고, 적을 수도 있다.11, the image sensing portion 200B3 includes four actuators AC1, AC2, AC3, and AC4 (242 to 248), since the image sensor 230C has a rectangular planar shape. It is not limited. That is, the number of the actuators 242 to 248 may be more or less than four, depending on the plane shape of the image sensor 230C.
또한, 도 11에 비록 도시되지는 않았지만, 이미지 센서(230C)의 상부와 하부에도 액츄에이터가 각각 추가로 배치되어, 이미지 센서(230C)의 상부와 하부에 압력을 부여함으로써, 이미지 센서(230C)를 수직 방향으로 이동시킬 수도 있다.11, actuators are additionally disposed on the upper and lower portions of the image sensor 230C to apply pressure to the upper and lower portions of the image sensor 230C, It may be moved in the vertical direction.
전술한 바와 같이, 이미지 센서(230C)에 압력을 부여하는 액츄에이터는 압전 소자로 구현될 수 있으며, 제어부(400B)는 복수의 압전 소자 중 해당하는 압전 소자를 구동시키는 제4 신호를 발생할 수 있다.As described above, the actuator that applies pressure to the image sensor 230C may be implemented as a piezoelectric element, and the controller 400B may generate a fourth signal that drives the corresponding piezoelectric element among the plurality of piezoelectric elements.
도 12a 및 도 12b 도 8에 도시된 이미지 센싱부(200B)의 또 다른 실시 예(200B4)의 사시도를 나타낸다.Figs. 12A and 12B show a perspective view of another embodiment 200B4 of the image sensing unit 200B shown in Fig.
도 12b를 참조하면, 이미지 센싱부(200B4)는 이미지 센서(230D) 및 액츄에이터(240C)를 포함할 수 있다. 여기서, 이미지 센서(230D) 및 액츄에이터(240C)는 도 8에 도시된 이미지 센서(230) 및 액츄에이터(240) 각각의 또 다른 실시 예에 해당한다.Referring to FIG. 12B, the image sensing unit 200B4 may include an image sensor 230D and an actuator 240C. Here, the image sensor 230D and the actuator 240C correspond to another embodiment of the image sensor 230 and the actuator 240 shown in Fig. 8, respectively.
이미지 센서(230D)는 도 12a에 도시된 MEMS 형태의 액츄에이터(240C) 위에 배치될 수 있다.The image sensor 230D may be disposed on the MEMS type actuator 240C shown in Fig. 12A.
액츄에이터(240C)가 제어부(400B)의 제어 하에 수평 방향 또는 수직 방향 중 적어도 한 방향으로 이동하거나 틸팅할 때, 이미지 센서(230D)도 액츄에이터(240C)가 이동하는 방향과 동일한 방향으로 이동할 수 있다.When the actuator 240C moves or tilts in at least one of the horizontal direction and the vertical direction under the control of the control unit 400B, the image sensor 230D can also move in the same direction as the direction in which the actuator 240C moves.
전술한 액츄에이터(240A, 240B, 242 내지 248, 240C)에 의해 이미지 센서(230A, 230B, 230C, 230D)가 이동하는 거리는 1 ㎜ 이하일 수 있으며, 틸팅 각도는 1°이하일 수 있다.The distance by which the image sensors 230A, 230B, 230C and 230D are moved by the actuators 240A, 240B, 242 to 248 and 240C may be 1 mm or less and the tilting angle may be 1 degree or less.
한편, 도 8에 도시된 이미지 합성부(300)는 이미지 센서(230)로부터 영상 신호를 수신하고, 영상 신호를 처리(예컨대, 보간, 프레임 합성 등)하는 이미지 프로세서일 수 있다. 특히, 이미지 합성부(300)는 복수의 프레임의 영상 신호(저해상도)를 이용하여 하나의 프레임의 영상 신호(고해상도)로 합성할 수 있다. 복수의 이미지 프레임은 렌즈 어셈블리(100B)에 대한 이미지 센서(230)의 상대적 위치가 변경되어 생성된 각각의 이미지 프레임일 수 있다. 이미지 합성부(300)는 후 처리기로 부를 수 있다. 복수의 이미지 프레임은 제1 이미지 프레임과 제2 이미지 프레임을 포함할 수 있고, 제2 이미지 프레임은 제1 이미지 프레임을 기준으로 제1 간격만큼 이동된 이미지 프레임일 수 있다.8 may be an image processor that receives an image signal from the image sensor 230 and processes (e.g., interpolates, synthesizes, etc.) the image signal. In particular, the image combining unit 300 may synthesize a video signal (high resolution) of one frame using video signals (low resolution) of a plurality of frames. The plurality of image frames may be each image frame generated by changing the relative position of the image sensor 230 with respect to the lens assembly 100B. The image combining unit 300 may be referred to as a post-processor. The plurality of image frames may include a first image frame and a second image frame, and the second image frame may be an image frame shifted by a first interval based on the first image frame.
이하, 전술한 카메라 모듈(10, 20)의 실시 예에 의한 동작 방법을 첨부된 도면을 참조하여 다음과 같이 살펴본다.Hereinafter, an operation method according to an embodiment of the camera module 10, 20 will be described with reference to the accompanying drawings.
도 13은 일 실시 예에 따른 카메라 모듈(10, 20)의 동작 방법을 설명하기 위한 도면이다. 도 14는 도 13에서 설명되는 카메라 모듈(10, 20)의 동작 방법을 보다 상세히 설명하기 위한 도면이다.FIG. 13 is a diagram for explaining an operation method of the camera module 10, 20 according to an embodiment. FIG. 14 is a diagram for explaining the operation method of the camera module 10, 20 explained in FIG. 13 in more detail.
도 13을 참조하면, 이미지 센서(200A)에 입사되는 광 경로를 변경시키거나 렌즈 어셈블리에 대한 이미지 센서(230)의 상대적 위치를 변경시킴으로써 초해상도(super resolution) 이미지를 얻을 수 있는 방법의 모식도가 도시되어 있다.13, a schematic diagram of a method for obtaining a super resolution image by changing the optical path incident on the image sensor 200A or changing the relative position of the image sensor 230 with respect to the lens assembly Respectively.
이미지 센서(200A, 230)의 픽셀 어레이는 NxM의 매트릭스 형태로 배치된 복수의 픽셀들을 포함할 수 있다. 이하의 설명에서는 설명의 편의상 도 13에서와 같이 픽셀 어레이가 2x2의 매트릭스 형태로 배치된 복수의 픽셀들(A1 내지 A4)을 포함한다고 가정하기로 한다.The pixel array of image sensors 200A, 230 may comprise a plurality of pixels arranged in a matrix form of NxM. In the following description, for convenience of description, it is assumed that the pixel array includes a plurality of pixels A1 to A4 arranged in a matrix of 2x2 as in Fig.
각 픽셀(A1 내지 A4)은 렌즈 어셈블리(100A, 100B)를 통해 전달되는 광 신호를 통해 각 픽셀 장면(PS1 내지 PS4)에 대한 이미지 정보(즉, 광 신호에 대응하는 아날로그 픽셀 신호)를 생성할 수 있다.Each pixel A1 to A4 generates image information (i.e., an analog pixel signal corresponding to the optical signal) for each pixel scene PS1 to PS4 through an optical signal transmitted through the lens assemblies 100A and 100B .
x축 방향(또는 y축 방향)으로 인접하는 픽셀 간의 거리(예를 들어 픽셀 중심 간의 거리)를 1 PD(픽셀 거리)라 할 때, 그 절반은 0.5 PD에 해당한다. 여기서, 제1 내지 제4 픽셀이동(A 내지 D)을 정의하기로 한다.When the distance between neighboring pixels in the x-axis direction (or the y-axis direction) (for example, the distance between the pixel centers) is 1 PD (pixel distance), half thereof corresponds to 0.5 PD. Here, the first to fourth pixel shifts A to D will be defined.
제1 픽셀이동(A)은 각 픽셀(A1 내지 A4)을 +x축 방향을 따라 우측으로 0.5 PD 만큼 이동시키는 것을 의미하며, 제1 픽셀이동(A)이 완료된 후의 픽셀은 B1 내지 B4이다.The first pixel shift A means shifting each pixel A1 to A4 by 0.5 PD to the right along the + x axis direction, and the pixels after the first pixel shift A is completed are B1 to B4.
제2 픽셀이동(B)은 각 픽셀(B1 내지 B4)을 +y축 방향을 따라 아래로 0.5 PD 만큼 이동시키는 것을 의미하며, 제2 픽셀이동(B)이 완료된 후의 픽셀은 C1 내지 C4이다.The second pixel shift B means shifting each pixel B1 to B4 by 0.5 PD downward along the + y axis direction and the pixel after the second pixel shift B is completed is C1 to C4.
제3 픽셀이동(C)은 각 픽셀(C1 내지 C4)을 -x축 방향을 따라 좌측으로 0.5 PD 만큼 이동시키는 것을 의미하며, 제3 픽셀이동(C)이 완료된 후의 픽셀은 D1 내지 D4이다.The third pixel shift C means shifting each pixel C1 to C4 by 0.5 PD to the left along the -x axis direction and the pixel after the third pixel shift C is completed is D1 to D4.
제4 픽셀이동(D)은 각 픽셀(D1 내지 D4)을 -y축 방향을 따라 위로 0.5 PD 만큼 이동시키는 것을 의미하며, 제4 픽셀이동(D)이 완료된 후의 픽셀은 A1 내지 A4이다.The fourth pixel shift D means moving each pixel D1 to D4 by 0.5 PD upward along the -y axis direction, and the pixel after the fourth pixel shift D is completed is A1 to A4.
여기서, 픽셀 이동은 픽셀 어레이의 픽셀의 물리적 위치를 이동시키는 것이 아니라, 두 픽셀(예를 들어, A1과 A2) 사이의 가상의 픽셀(예를 들어, B1)이 픽셀 장면을 획득할 수 있도록 가변 렌즈(110) 또는 액츄에이터(240) 중 적어도 하나를 조정하여 투과하는 광의 경로나 렌즈 어셈블리에 대한 이미지 센서(230)의 상대적 위치를 조정하는 동작을 의미한다.Here, the pixel shifting does not move the physical location of the pixel in the pixel array, but rather the variable pixel (e.g., B1) between two pixels (e.g., A1 and A2) Refers to an operation of adjusting at least one of the lens 110 and the actuator 240 to adjust the path of the transmitted light or the relative position of the image sensor 230 with respect to the lens assembly.
도 14를 참조하면, 각 픽셀(A1 내지 A4)은 픽셀 장면(S1)을 획득하여 이미지 센서(200A, 230)는 각 픽셀(A1 내지 A4)의 픽셀 신호로부터 제1 프레임(F1)을 생성할 수 있다.Referring to Fig. 14, each pixel A1 to A4 acquires a pixel scene S1, and the image sensors 200A and 230 generate a first frame F1 from the pixel signals of the respective pixels A1 to A4 .
제1 픽셀이동(A)을 위해 렌즈 어셈블리(100A)의 광 경로 또는 FOV를 제1 각도 변화량(θx)만큼 우측으로 변경시키도록 하는 렌즈 제어 신호에 따라, 가변 렌즈(110)는 렌즈 어셈블리(100A)의 광 경로 또는 FOV를 제1 각도 변화량(θx)만큼 우측으로 변경시킴으로써 제1 픽셀 이동(A)이 수행될 수 있다. 또는, 제1 픽셀이동(A)을 위해 렌즈 어셈블리(100B)에 대한 이미지 센서(230)의 상대적 위치를 제1 각도 변화량(θx)만큼 우측으로 이동시키도록 하는 제4 신호에 따라, 액츄에이터(240)는 이미지 센서(230)의 상대적 위치를 제1 각도 변화량(θx)만큼 우측으로 변경시킴으로써 제1 픽셀 이동(A)이 수행될 수 있다. 이후 각 픽셀(B1 내지 B4)은 픽셀 장면(S2)을 획득하여 이미지 센서(200A, 230)는 각 픽셀(B1 내지 B4)의 픽셀 신호로부터 제2 프레임(F2)을 생성할 수 있다.According to the lens control signal for changing the optical path or FOV of the lens assembly 100A to the right by the first angle variation amount? X for the first pixel shift A, the variable lens 110 is moved to the lens assembly 100A The first pixel shift A can be performed by changing the optical path or FOV of the first pixel shift right by the first angle change amount [theta] x. Alternatively, according to a fourth signal that causes the relative position of the image sensor 230 relative to the lens assembly 100B to move to the right by the first angle variation amount? X for the first pixel shift A, the actuator 240 The first pixel shift A may be performed by changing the relative position of the image sensor 230 to the right by the first angle variation amount X. Each of the pixels B1 to B4 may then acquire the pixel scene S2 and the image sensors 200A and 230 may generate the second frame F2 from the pixel signals of the respective pixels B1 to B4.
제2 픽셀이동(B)을 위해 렌즈 어셈블리(100A)의 광 경로 또는 FOV를 제2 각도 변화량(θy)만큼 아래로 변경시키도록 하는 렌즈 제어 신호에 따라, 가변 렌즈(110)는 렌즈 어셈블리(100A)의 광 경로 또는 FOV를 제2 각도 변화량(θy)만큼 아래로 변경시킴으로써 제2 픽셀 이동(B)이 수행될 수 있다. 또는, 제2 픽셀이동(B)을 위해 렌즈 어셈블리(100B)에 대한 이미지 센서(230)의 상대적 위치를 제2 각도 변화량(θy)만큼 아래로 변경시키도록 하는 제4 신호에 따라, 액츄에이터(240)는 이미지 센서(230)의 상대적 위치를 제2 각도 변화량(θy)만큼 아래로 변경시킴으로써 제2 픽셀 이동(B)이 수행될 수 있다. 이후 각 픽셀(C1 내지 C4)은 픽셀 장면(S3)을 획득하여 이미지 센서(200A, 230)는 각 픽셀(C1 내지 C4)의 픽셀 신호로부터 제3 프레임(F3)을 생성할 수 있다.In accordance with the lens control signal that causes the optical path or FOV of the lens assembly 100A to change by the second angle variation amount? Y for the second pixel shift B, the variable lens 110 moves the lens assembly 100A The second pixel shift B can be performed by changing the optical path or the FOV of the second pixel shift down by the second angle change amount [theta] y. Or a fourth signal that causes the relative position of the image sensor 230 relative to the lens assembly 100B to change by the second angle variation amount? Y for the second pixel shift B, the actuator 240 The second pixel shift B can be performed by changing the relative position of the image sensor 230 by the second angle variation amount? Y. Each of the pixels C1 to C4 may then acquire the pixel scene S3 and the image sensors 200A and 230 may generate the third frame F3 from the pixel signals of the respective pixels C1 to C4.
제3 픽셀이동(C)을 위해 렌즈 어셈블리(100A)의 광 경로 또는 FOV를 제1 각도 변화량(θx)만큼 좌측으로 변경시키도록 하는 렌즈 제어 신호에 따라, 가변 렌즈(110)는 렌즈 어셈블리(100A)의 광 경로 또는 FOV를 제1 각도 변화량(θx)만큼 좌측으로 변경시킴으로써 제3 픽셀 이동(C)이 수행될 수 있다. 또는, 제3 픽셀이동(C)을 위해 렌즈 어셈블리(100B)에 대한 이미지 센서(230)의 상대적 위치를 제1 각도 변화량(θx)만큼 좌측으로 변경시키도록 하는 제4 신호에 따라, 액츄에이터(240)는 이미지 센서(230)의 상대적 위치를 제1 각도 변화량(θx)만큼 좌측으로 변경시킴으로써 제3 픽셀 이동(C)이 수행될 수 있다. 이후 각 픽셀(D1 내지 D4)은 픽셀 장면(S4)을 획득하여 이미지 센서(200A, 230)는 각 픽셀(D1 내지 D4)의 픽셀 신호로부터 제4 프레임(F4)을 생성할 수 있다.In accordance with the lens control signal for changing the optical path or FOV of the lens assembly 100A to the left by the first angle variation amount? X for the third pixel shift C, the variable lens 110 is moved to the lens assembly 100A The third pixel shift C can be performed by changing the optical path or FOV of the first pixel shift amount? Alternatively, according to a fourth signal that causes the relative position of the image sensor 230 relative to the lens assembly 100B to change to the left by the first angle variation amount? X for the third pixel shift C, the actuator 240 The third pixel shift C can be performed by changing the relative position of the image sensor 230 to the left by the first angle variation amount? X. Each pixel D1 through D4 may then acquire a pixel scene S4 and the image sensors 200A and 230 may generate a fourth frame F4 from the pixel signals of each pixel D1 through D4.
제4 픽셀이동(D)을 위해 렌즈 어셈블리(100A)의 광 경로 또는 FOV를 제2 각도 변화량(θy)만큼 위로 변경시키도록 하는 렌즈 제어 신호에 따라, 가변 렌즈(110)는 렌즈 어셈블리(100A)의 광 경로 또는 FOV를 제2 각도 변화량(θy)만큼 위로 변경시킴으로써 제4 픽셀 이동(D)이 수행될 수 있다. 또는, 제4 픽셀이동(D)을 위해 렌즈 어셈블리(100B)에 대한 이미지 센서(230)의 상대적 위치를 제2 각도 변화량(θy)만큼 위로 변경시키도록 하는 제4 신호에 따라, 액츄에이터(240)는 이미지 센서(230)의 상대적 위치를 제2 각도 변화량(θy)만큼 위로 변경시킴으로써 제4 픽셀 이동(D)이 수행될 수 있다. 이후 각 픽셀(A1 내지 A4)은 픽셀 장면(S1)을 획득하여 이미지 센서(200A, 230)는 각 픽셀(A1 내지 A4)의 픽셀 신호로부터 제5 프레임(F5)을 생성할 수 있다. 이후로도 픽셀 이동 및 이동된 픽셀을 통한 프레임 생성 동작은 반복적으로 수행될 수 있다.The variable lens 110 is moved to the lens assembly 100A in accordance with the lens control signal for changing the optical path or FOV of the lens assembly 100A by the second angle variation amount? The fourth pixel shift D can be performed by changing the optical path or FOV of the first pixel shift by the second angle change amount [Theta] y. Or the fourth signal that causes the relative position of the image sensor 230 relative to the lens assembly 100B to change by the second angle variation amount? Y for the fourth pixel shift D, The fourth pixel shift D may be performed by changing the relative position of the image sensor 230 by the second angle variation amount? Y. Each pixel A1 to A4 may then acquire a pixel scene S1 and the image sensors 200A and 230 may generate a fifth frame F5 from the pixel signals of each pixel A1 to A4. Thereafter, the pixel movement and the frame generation operation through the moved pixel can be repeatedly performed.
여기서, 제1 각도 변화량(θx)과 제2 각도 변화량(θy) 각각은 0.5 PD 만큼 픽셀 이동이 이루어질 수 있도록 광 경로 변경 정도 또는 이미지 센서(230)의 상대적 위치의 변경 정도에 대응되는 정보가 저장되어 있을 수 있으며, 제1 FOV 각도(Fx) 및 제2 FOV 각도(Fy)를 기초로 미리 계산되어 저장(예를 들어, 이미지 센서(200A, 230) 또는 이미지 합성부(300) 또는 제어부(400A, 400B)에 의해)될 수 있다.Here, information corresponding to the degree of optical path change or the degree of change of the relative position of the image sensor 230 is stored so that the pixel shift can be performed by 0.5 PD for each of the first angle change amount? X and the second angle change amount? And may be calculated and stored in advance based on the first FOV angle Fx and the second FOV angle Fy (for example, the image sensor 200A or 230 or the image synthesizer 300 or the controller 400A , 400B).
이미지 센서(200A)는 제1 영역과 제2 영역을 포함하고, 제어부(400A)는 외부로부터 입사되어 가변 렌즈(110)를 통과하는 광을 이미지 센서(200A)의 제1 영역에서 제2 영역으로 광의 경로를 변경 시키도록 가변 렌즈(110)를 조정하는 제1 신호를 출력할 수 있다. 또는, 이미지 센서(230)는 제1 영역과 제2 영역을 포함하고, 제어부(400B)는 외부로부터 입사되어 렌즈 어셈블리(100B)를 통과하는 광을 수광하는 영역이 이미지 센서(230)의 제1 영역에서 제2 영역으로 변경되도록 액츄에이터(240)를 조정하는 제4 신호를 출력할 수 있다.The image sensor 200A includes a first area and a second area and the control part 400A controls the light from the outside to pass through the variable lens 110 from the first area to the second area of the image sensor 200A It is possible to output the first signal for adjusting the variable lens 110 to change the path of the light. Alternatively, the image sensor 230 may include a first area and a second area, and the control unit 400B may include a first area of the image sensor 230 that receives light from the outside and receives light passing through the lens assembly 100B, And the fourth signal for adjusting the actuator 240 to change from the first region to the second region.
또한, 이미지 센서(200A)는 제3 영역과 제4 영역을 더 포함하고, 제어부(400A)는, 이미지 센서(200A)의 제2 영역에서 제3 영역으로 광의 경로를 변경시키도록 가변 렌즈(110)를 조정하는 제1 신호를 출력하고, 제3 영역에서 제4 영역으로 광의 경로를 변경 시키도록 가변 렌즈(110)를 조정하는 제1 신호를 출력할 수 있다. 또는, 이미지 센서(230)는 제3 영역과 제4 영역을 더 포함하고, 제어부(400B)는, 외부로부터 입사되어 렌즈 어셈블리(100B)를 통과하는 광을 수광하는 영역이 이미지 센서(230)의 제2 영역에서 제3 영역으로 변경되도록 액츄에이터(240)를 조정하는 제4 신호를 출력하고, 제3 영역에서 제4 영역으로 광이 수광되는 영역이 변경되도록 액츄에이터(240)를 조정하는 제4 신호를 출력할 수 있다.The image sensor 200A further includes a third area and a fourth area and the control part 400A controls the variable lens 110 to change the light path from the second area to the third area of the image sensor 200A. And outputs a first signal for adjusting the variable lens 110 to change the light path from the third region to the fourth region. Alternatively, the image sensor 230 may further include a third area and a fourth area, and the control unit 400B may include a region for receiving light from the outside and receiving light passing through the lens assembly 100B, A fourth signal for adjusting the actuator 240 so as to change from the second area to the third area and a fourth signal for adjusting the actuator 240 so that the area where light is received from the third area to the fourth area is changed, Can be output.
제1 신호는 렌즈 어셈블리(100A)의 화각(FOV)를 제1 방향으로 변경시키는 신호, 렌즈 어셈블리(100A)의 화각을 제2 방향으로 변경시키는 신호, 렌즈 어셈블리(100A)의 화각을 제3 방향으로 변경시키는 신호, 렌즈 어셈블리(100A)의 화각을 제4 방향으로 변경시키는 신호를 포함할 수 있다. 또는, 제4 신호는 이미지 센서(230)의 화각(FOV)를 제1 방향으로 변경시키는 신호, 이미지 센서(230)의 화각을 제2 방향으로 변경시키는 신호, 이미지 센서(230)의 화각을 제3 방향으로 변경시키는 신호, 이미지 센서(230)의 화각을 제4 방향으로 변경시키는 신호를 포함할 수 있다.The first signal is a signal for changing the angle of view (FOV) of the lens assembly 100A in the first direction, a signal for changing the angle of view of the lens assembly 100A in the second direction, a signal for changing the angle of view of the lens assembly 100A in the third direction And a signal for changing the angle of view of the lens assembly 100A to a fourth direction. Alternatively, the fourth signal may be a signal for changing the angle of view (FOV) of the image sensor 230 in the first direction, a signal for changing the angle of view of the image sensor 230 in the second direction, A signal for changing the angle of view of the image sensor 230 in the fourth direction, and a signal for changing the angle of view of the image sensor 230 in the fourth direction.
이미지 합성부(300)는 이미지 센서(200A)로부터 영상 신호를 수신하고, 영상 신호를 처리(예컨대, 보간, 프레임 합성 등)하는 이미지 프로세서일 수 있다. 특히, 이미지 합성부(300)는 복수의 프레임의 영상 신호(저해상도)를 이용하여 하나의 프레임의 영상 신호(고해상도)로 합성할 수 있다. 복수의 이미지 프레임은 가변 렌즈(110)에 의해 서로 다른 광 경로로 변경되어 생성된 각각의 이미지 프레임일 수 있다. 이미지 합성부(300)는 후 처리기로 부를 수 있다. 복수의 이미지 프레임은 제1 이미지 프레임과 제2 이미지 프레임을 포함할 수 있고, 제2 이미지 프레임은 제1 이미지 프레임을 기준으로 제1 간격만큼 이동된 이미지 프레임일 수 있다.The image synthesizer 300 may be an image processor that receives an image signal from the image sensor 200A and processes (e.g., interpolates, frame synthesizes, etc.) the image signal. In particular, the image combining unit 300 may synthesize a video signal (high resolution) of one frame using video signals (low resolution) of a plurality of frames. The plurality of image frames may be each image frame generated by changing the optical path by the variable lens 110. The image combining unit 300 may be referred to as a post-processor. The plurality of image frames may include a first image frame and a second image frame, and the second image frame may be an image frame shifted by a first interval based on the first image frame.
이미지 합성부(300)는 제1 내지 제4 프레임을 합성함으로써 NxM의 픽셀 어레이가 아닌 2Nx2M의 픽셀 어레이가 획득한 이미지를 생성할 수 있다. 이미지 합성부(300)가 제1 내지 제4 프레임을 합성하는 방법은, 제1 내지 제4 프레임을 각 픽셀의 위치에 따라 단순 병합(예를 들어, 첫 번째 행의 경우 A1의 픽셀 신호, B1의 픽셀 신호, A2의 픽셀 신호, B2의 픽셀 신호로 배열하여 하나의 프레임으로 생성)하는 방법, 또는 인접하는 픽셀의 경우 픽셀 장면이 오버랩됨을 이용하여 어느 하나의 픽셀(예컨대, C1)의 픽셀 신호를 인접하는 픽셀(예컨대, A1, B1, A2, D1, D2, A3, B3, A4)의 픽셀 신호를 이용해 보정하는 방법 등이 이용될 수 있으나, 실시 예의 범위는 이에 한정되지 않고 다양한 초해상도 이미지 생성 방법이 이용될 수 있다. 이미지 합성부(300)는 후 처리기로 부를 수 있으며, 후처리기는, 이미지 센서(200A, 230)로부터 전달된 제1 내지 제4 이미지 프레임을 이용하여 제1 초해상도 이미지 프레임을 합성하고, 이후 이미지 센서(200A, 230)로부터 출력되는 제5 이미지 프레임 및 제2 내지 제4 이미지 프레임을 이용하여 제2 초해상도 이미지 프레임을 합성할 수 있다.The image synthesizer 300 may generate the image obtained by the 2Nx2M pixel array rather than the NxM pixel array by composing the first through fourth frames. The method of synthesizing the first through fourth frames by the image composition unit 300 may include simply merging the first through fourth frames according to the positions of the respective pixels (for example, pixel signals of A1 in the first row, B1 (For example, C1) by using a method of arranging the pixel signal of the pixel A 1, the pixel signal of the pixel A 2, the pixel signal of the pixel B 2, and the pixel signal of the pixel B 2, A method of correcting the pixel value of the pixel by using pixel signals of adjacent pixels (e.g., A1, B1, A2, D1, D2, A3, B3, A4) may be used. However, A generation method can be used. The post-processor synthesizes the first super resolution image frame using the first through fourth image frames transmitted from the image sensors 200A and 230, The second super resolution image frame may be synthesized using the fifth image frame and the second through fourth image frames output from the sensors 200A and 230. [
도 13과 도 14에 도시된 카메라 모듈(10, 20)의 동작 방법에 따르면, 픽셀 이동을 통해 획득한 복수의 프레임을 합성함으로써 4배의 해상도를 갖는 이미지를 생성할 수 있다.According to the operation method of the camera modules 10 and 20 shown in FIGS. 13 and 14, an image having a resolution of four times can be generated by combining a plurality of frames obtained through pixel shifting.
도 15는 일 실시 예에 따른 카메라 모듈(10, 20)의 동작 방법에 대한 타이밍도이다.15 is a timing diagram of an operation method of a camera module 10, 20 according to an embodiment.
도 15를 참조하면, 렌즈 어셈블리(100A)의 광 경로 또는 FOV를 제2 각도 변화량(θy)만큼 위로 변경시키도록 하는 렌즈 제어 신호에 따라, 가변 렌즈(110)는 렌즈 어셈블리(100A)의 광 경로 또는 FOV를 제2 각도 변화량(θy)만큼 위로 변경시키는 제4 픽셀 이동(D)을 수행할 수 있다. 실시 예에 따라, 제어부(400A)가 제1 신호에 따라 가변 렌즈(110)에 의한 제4 픽셀 이동(D)이 완료되었음을 나타내는 피드백 신호를 이미지 센서(200A)로 전달할 수 있다. 이때, 제어부(400A)는 제4 픽셀 이동(D)이 완료되었음을 가변 렌즈(110)로부터의 응답 신호 또는 별도의 타이머를 통해 판단할 수 있다. 피드백 신호를 수신한 이미지 센서(200A)의 각 픽셀(A1 내지 A4)은 픽셀 장면(S1)을 획득하여 이미지 센서(200A)는 각 픽셀(A1 내지 A4)의 픽셀 신호로부터 제1 프레임(F1)을 생성할 수 있다.15, in accordance with a lens control signal for changing the optical path or FOV of the lens assembly 100A by the second angle variation amount? Y, the variable lens 110 is moved in the optical path of the lens assembly 100A Or a fourth pixel shift (D) that changes the FOV by the second angle variation amount? Y. According to the embodiment, the controller 400A may transmit a feedback signal to the image sensor 200A indicating that the fourth pixel shift (D) by the variable lens 110 is completed according to the first signal. At this time, the controller 400A may determine that the fourth pixel movement (D) is completed through a response signal from the variable lens 110 or a separate timer. Each pixel A1 to A4 of the image sensor 200A that has received the feedback signal acquires the pixel scene S1 and the image sensor 200A receives the pixel signal of each pixel A1 to A4 from the first frame F1, Can be generated.
또는, 이미지 센서(230)를 제2 각도 변화량(θy)만큼 위로 변경시키도록 하는 제4 신호에 따라, 액츄에이터(240)는 이미지 센서(230)를 제2 각도 변화량(θy)만큼 위로 변경시키는 제4 픽셀 이동(D)을 수행할 수 있다. 실시 예에 따라, 제어부(400B)가 제4 신호에 따라 액츄에이터(240)에 의한 제4 픽셀 이동(D)이 완료되었음을 나타내는 피드백 신호를 이미지 센서(230)로 전달할 수 있다. 이때, 제어부(400B)는 제4 픽셀 이동(D)이 완료되었음을 액츄에이터(240)로부터의 응답 신호 또는 별도의 타이머를 통해 판단할 수 있다. 피드백 신호를 수신한 이미지 센서(230)의 각 픽셀(A1 내지 A4)은 픽셀 장면(S1)을 획득하여 이미지 센서(230)는 각 픽셀(A1 내지 A4)의 픽셀 신호로부터 제1 프레임(F1)을 생성할 수 있다.Alternatively, in accordance with a fourth signal that causes the image sensor 230 to be changed by the second angle variation amount? Y, the actuator 240 changes the image sensor 230 by a second angle variation amount? A four-pixel shift (D) can be performed. According to an embodiment, the control unit 400B may transmit a feedback signal to the image sensor 230 indicating that the fourth pixel movement (D) by the actuator 240 has been completed according to the fourth signal. At this time, the controller 400B may determine that the fourth pixel movement (D) is completed through a response signal from the actuator 240 or a separate timer. Each pixel A1 to A4 of the image sensor 230 that has received the feedback signal acquires the pixel scene S1 and the image sensor 230 generates the first frame F1 from the pixel signals of each pixel A1 to A4, Can be generated.
렌즈 어셈블리(100A)의 광 경로 또는 FOV를 제1 각도 변화량(θx)만큼 우측으로 변경시키도록 하는 제1 신호에 따라, 가변 렌즈(110)는 렌즈 어셈블리(100A)의 광 경로 또는 FOV를 제1 각도 변화량(θx)만큼 우측으로 변경시키는 제1 픽셀 이동(A)을 수행할 수 있다. 실시 예에 따라, 제어부(400A)가 제1 신호에 따라 가변 렌즈(110)에 의한 제1 픽셀 이동(A)이 완료되었음을 나타내는 피드백 신호를 이미지 센서(200A)로 전달할 수 있다. 이때, 제어부(400A)는 제1 픽셀 이동(A)이 완료되었음을 가변 렌즈(110)로부터의 응답 신호 또는 별도의 타이머를 통해 판단할 수 있다. 피드백 신호를 수신한 이미지 센서(200A)의 각 픽셀(B1 내지 B4)은 픽셀 장면(S2)을 획득하여 이미지 센서(200A)는 각 픽셀(B1 내지 B4)의 픽셀 신호로부터 제2 프레임(F2)을 생성할 수 있다.The variable lens 110 changes the optical path or the FOV of the lens assembly 100A to the first optical path or the FOV of the lens assembly 100A in accordance with the first signal for changing the optical path or the FOV of the lens assembly 100A to the right by the first angle variation amount [ It is possible to perform the first pixel shift (A) which shifts rightward by the angle change amount? X. According to the embodiment, the controller 400A may transmit a feedback signal to the image sensor 200A indicating that the first pixel shift (A) by the variable lens 110 is completed according to the first signal. At this time, the controller 400A may determine that the first pixel movement (A) is completed through a response signal from the variable lens 110 or a separate timer. Each of the pixels B1 to B4 of the image sensor 200A that has received the feedback signal acquires the pixel scene S2 and the image sensor 200A receives the pixel signals of the pixels B1 to B4 from the second frame F2, Can be generated.
또는, 이미지 센서(230)를 제1 각도 변화량(θx)만큼 우측으로 변경시키도록 하는 제4 신호에 따라, 액츄에이터(240)는 이미지 센서(230)를 제1 각도 변화량(θx)만큼 우측으로 변경시키는 제1 픽셀 이동(A)을 수행할 수 있다. 실시 예에 따라, 제어부(400B)가 제4 신호에 따라 액츄에이터(240)에 의한 제1 픽셀 이동(A)이 완료되었음을 나타내는 피드백 신호를 이미지 센서(230)로 전달할 수 있다. 이때, 제어부(400B)는 제1 픽셀 이동(A)이 완료되었음을 액츄에이터(240)로부터의 응답 신호 또는 별도의 타이머를 통해 판단할 수 있다. 피드백 신호를 수신한 이미지 센서(230)의 각 픽셀(B1 내지 B4)은 픽셀 장면(S2)을 획득하여 이미지 센서(230)는 각 픽셀(B1 내지 B4)의 픽셀 신호로부터 제2 프레임(F2)을 생성할 수 있다.Alternatively, in accordance with the fourth signal for changing the image sensor 230 to the right by the first angle variation amount? X, the actuator 240 changes the image sensor 230 to the right by the first angle variation amount? X (A) < / RTI > According to an embodiment, the controller 400B may transmit a feedback signal to the image sensor 230 indicating that the first pixel shift (A) by the actuator 240 has been completed according to the fourth signal. At this time, the controller 400B may determine that the first pixel movement (A) is completed through a response signal from the actuator 240 or a separate timer. Each pixel B1 to B4 of the image sensor 230 that has received the feedback signal acquires the pixel scene S2 and the image sensor 230 receives the pixel signal of each pixel B1 to B4 from the second frame F2, Can be generated.
렌즈 어셈블리(100A)의 광 경로 또는 FOV를 제2 각도 변화량(θy)만큼 아래로 변경시키도록 하는 렌즈 제어 신호에 따라, 가변 렌즈(110)는 렌즈 어셈블리(100A)의 광 경로 또는 FOV를 제2 각도 변화량(θy)만큼 아래로 변경시키는 제2 픽셀 이동(B)을 수행할 수 있다. 실시 예에 따라, 제어부(400A)가 렌즈 제어 신호에 따라 가변 렌즈(110)에 의한 제2 픽셀 이동(B)이 완료되었음을 나타내는 피드백 신호를 이미지 센서(200A)로 전달할 수 있다. 이때, 제어부(400A)는 제2 픽셀 이동(B)이 완료되었음을 가변 렌즈(110)로부터의 응답 신호 또는 별도의 타이머를 통해 판단할 수 있다. 피드백 신호를 수신한 이미지 센서(200A)의 각 픽셀(C1 내지 C4)은 픽셀 장면(S3)을 획득하여 이미지 센서(200A)는 각 픽셀(C1 내지 C4)의 픽셀 신호로부터 제3 프레임(F3)을 생성할 수 있다.According to the lens control signal for changing the optical path or FOV of the lens assembly 100A by the second angle variation amount? Y, the variable lens 110 changes the optical path or FOV of the lens assembly 100A to the second It is possible to perform a second pixel shift (B) in which the pixel shift is changed by an angle change amount? Y. According to the embodiment, the control unit 400A may transmit a feedback signal to the image sensor 200A indicating that the second pixel shift (B) by the variable lens 110 has been completed in accordance with the lens control signal. At this time, the controller 400A can determine that the second pixel movement (B) is completed through the response signal from the variable lens 110 or a separate timer. Each pixel C1 to C4 of the image sensor 200A that has received the feedback signal acquires the pixel scene S3 and the image sensor 200A receives the pixel signal of each pixel C1 to C4 from the third frame F3, Can be generated.
또는, 이미지 센서(230)를 제2 각도 변화량(θy)만큼 아래로 변경시키도록 하는 제4 신호에 따라, 액츄에이터(240)는 이미지 센서(230)를 제2 각도 변화량(θy)만큼 아래로 변경시키는 제2 픽셀 이동(B)을 수행할 수 있다. 실시 예에 따라, 제어부(400B)가 제4 신호에 따라 액츄에이터(240)에 의한 제2 픽셀 이동(B)이 완료되었음을 나타내는 피드백 신호를 이미지 센서(230)로 전달할 수 있다. 이때, 제어부(400B)는 제2 픽셀 이동(B)이 완료되었음을 액츄에이터(240)로부터의 응답 신호 또는 별도의 타이머를 통해 판단할 수 있다. 피드백 신호를 수신한 이미지 센서(230)의 각 픽셀(C1 내지 C4)은 픽셀 장면(S3)을 획득하여 이미지 센서(230)는 각 픽셀(C1 내지 C4)의 픽셀 신호로부터 제3 프레임(F3)을 생성할 수 있다.Alternatively, in accordance with the fourth signal for changing the image sensor 230 by the second angle variation amount? Y, the actuator 240 changes the image sensor 230 by the second angle variation amount? Y To perform a second pixel shift (B). According to an embodiment, the control unit 400B may transmit a feedback signal to the image sensor 230 indicating that the second pixel shift (B) by the actuator 240 has been completed according to the fourth signal. At this time, the controller 400B may determine that the second pixel movement (B) is completed through a response signal from the actuator 240 or a separate timer. Each pixel C1 to C4 of the image sensor 230 that has received the feedback signal acquires the pixel scene S3 and the image sensor 230 acquires the pixel signal of each pixel C1 to C4 from the third frame F3, Can be generated.
렌즈 어셈블리(100A)의 광 경로 또는 FOV를 제1 각도 변화량(θx)만큼 좌측으로 변경시키도록 하는 렌즈 제어 신호에 따라, 가변 렌즈(110)는 렌즈 어셈블리(100A)의 광 경로 또는 FOV를 제1 각도 변화량(θx)만큼 좌측으로 변경시키는 제3 픽셀 이동(C)을 수행할 수 있다. 실시 예에 따라, 제어부(400A)가 렌즈 제어 신호에 따라 가변 렌즈(110)에 의한 제3 픽셀 이동(C)이 완료되었음을 나타내는 피드백 신호를 이미지 센서(200A)로 전달할 수 있다. 이때, 제어부(400A)는 제3 픽셀 이동(C)이 완료되었음을 가변 렌즈(110)로부터의 응답 신호 또는 별도의 타이머를 통해 판단할 수 있다. 피드백 신호를 수신한 이미지 센서(200A)의 각 픽셀(D1 내지 D4)은 픽셀 장면(S4)을 획득하여 이미지 센서(200A)는 각 픽셀(D1 내지 D4)의 픽셀 신호로부터 제4 프레임(F4)을 생성할 수 있다.The variable lens 110 changes the optical path or the FOV of the lens assembly 100A to the first optical path or the FOV in accordance with the lens control signal for changing the optical path or FOV of the lens assembly 100A to the left by the first angle variation amount [ A third pixel shift (C) for shifting to the left by an angle change amount? X can be performed. According to the embodiment, the control unit 400A may transmit a feedback signal to the image sensor 200A indicating that the third pixel shift (C) by the variable lens 110 has been completed in accordance with the lens control signal. At this time, the controller 400A may determine that the third pixel shift (C) is completed through a response signal from the variable lens 110 or a separate timer. Each pixel D1 to D4 of the image sensor 200A that has received the feedback signal acquires the pixel scene S4 and the image sensor 200A receives the pixel signal of each pixel D1 to D4 from the fourth frame F4, Can be generated.
또는, 이미지 센서(230)를 제1 각도 변화량(θx)만큼 좌측으로 변경시키도록 하는 제4 신호에 따라, 액츄에이터(240)는 이미지 센서(230)를 제1 각도 변화량(θx)만큼 좌측으로 변경시키는 제3 픽셀 이동(C)을 수행할 수 있다. 실시 예에 따라, 제어부(400B)가 제4 신호에 따라 액츄에이터(240)에 의한 제3 픽셀 이동(C)이 완료되었음을 나타내는 피드백 신호를 이미지 센서(230)로 전달할 수 있다. 이때, 제어부(400B)는 제3 픽셀 이동(C)이 완료되었음을 액츄에이터(240)로부터의 응답 신호 또는 별도의 타이머를 통해 판단할 수 있다. 피드백 신호를 수신한 이미지 센서(230)의 각 픽셀(D1 내지 D4)은 픽셀 장면(S4)을 획득하여 이미지 센서(230)는 각 픽셀(D1 내지 D4)의 픽셀 신호로부터 제4 프레임(F4)을 생성할 수 있다.Alternatively, in accordance with the fourth signal for changing the image sensor 230 to the left by the first angle variation amount? X, the actuator 240 changes the image sensor 230 to the left by the first angle variation amount? X A third pixel shift (C) may be performed. According to an embodiment, the control unit 400B may transmit a feedback signal to the image sensor 230 indicating that the third pixel shift (C) by the actuator 240 has been completed according to the fourth signal. At this time, the controller 400B may determine that the third pixel shift (C) is completed through a response signal from the actuator 240 or a separate timer. Each of the pixels D1 to D4 of the image sensor 230 that has received the feedback signal acquires the pixel scene S4 and the image sensor 230 generates the fourth frame F4 from the pixel signals of the pixels D1 to D4, Can be generated.
이후, 렌즈 어셈블리(100A)의 광 경로 또는 FOV를 제2 각도 변화량(θy)만큼 위로 변경시키도록 하는 렌즈 제어 신호에 따라, 가변 렌즈(110)는 렌즈 어셈블리(100A)의 광 경로 또는 FOV를 제2 각도 변화량(θy)만큼 위로 변경시키는 제4 픽셀 이동(D)을 수행할 수 있다. 실시 예에 따라, 제어부(400A)가 렌즈 제어 신호에 따라 가변 렌즈(110)에 의한 제4 픽셀 이동(D)이 완료되었음을 나타내는 피드백 신호를 이미지 센서(200A)로 전달할 수 있다. 이때, 제어부(400A)는 제4 픽셀 이동(D)이 완료되었음을 가변 렌즈(110)로부터의 응답 신호 또는 별도의 타이머를 통해 판단할 수 있다. 피드백 신호를 수신한 이미지 센서(200A)의 각 픽셀(A1 내지 A4)은 픽셀 장면(S1)을 획득하여 이미지 센서(200A)는 각 픽셀(A1 내지 A4)의 픽셀 신호로부터 제5 프레임(F5)을 생성할 수 있다. 이후로도 픽셀 이동 및 이동된 픽셀을 통한 프레임 생성 동작은 반복적으로 수행될 수 있다.Thereafter, in accordance with the lens control signal for changing the optical path or FOV of the lens assembly 100A by the second angle variation amount? Y, the variable lens 110 adjusts the optical path or the FOV of the lens assembly 100A A fourth pixel shift (D) in which the pixel shift is changed by two angle change amounts (? Y). According to the embodiment, the control unit 400A may transmit a feedback signal to the image sensor 200A indicating that the fourth pixel movement (D) by the variable lens 110 has been completed in accordance with the lens control signal. At this time, the controller 400A may determine that the fourth pixel movement (D) is completed through a response signal from the variable lens 110 or a separate timer. Each pixel A1 to A4 of the image sensor 200A that has received the feedback signal acquires the pixel scene S1 and the image sensor 200A receives the pixel signal of each pixel A1 to A4 from the fifth frame F5, Can be generated. Thereafter, the pixel movement and the frame generation operation through the moved pixel can be repeatedly performed.
또는, 이미지 센서(230)를 제2 각도 변화량(θy)만큼 위로 변경시키도록 하는 제4 신호에 따라, 액츄에이터(240)는 이미지 센서(230)를 제2 각도 변화량(θy)만큼 위로 변경시키는 제4 픽셀 이동(D)을 수행할 수 있다. 실시 예에 따라, 제어부(400B)가 제4 신호에 따라 액츄에이터(240)에 의한 제4 픽셀 이동(D)이 완료되었음을 나타내는 피드백 신호를 이미지 센서(230)로 전달할 수 있다. 이때, 제어부(400B)는 제4 픽셀 이동(D)이 완료되었음을 액츄에이터(240)로부터의 응답 신호 또는 별도의 타이머를 통해 판단할 수 있다. 피드백 신호를 수신한 이미지 센서(230)의 각 픽셀(A1 내지 A4)은 픽셀 장면(S1)을 획득하여 이미지 센서(230)는 각 픽셀(A1 내지 A4)의 픽셀 신호로부터 제5 프레임(F5)을 생성할 수 있다. 이후로도 픽셀 이동 및 이동된 픽셀을 통한 프레임 생성 동작은 반복적으로 수행될 수 있다.Alternatively, in accordance with a fourth signal that causes the image sensor 230 to be changed by the second angle variation amount? Y, the actuator 240 changes the image sensor 230 by a second angle variation amount? A four-pixel shift (D) can be performed. According to an embodiment, the control unit 400B may transmit a feedback signal to the image sensor 230 indicating that the fourth pixel movement (D) by the actuator 240 has been completed according to the fourth signal. At this time, the controller 400B may determine that the fourth pixel movement (D) is completed through a response signal from the actuator 240 or a separate timer. Each of the pixels A1 to A4 of the image sensor 230 that has received the feedback signal acquires the pixel scene S1 and the image sensor 230 generates the fifth frame F5 from the pixel signals of the pixels A1 to A4, Can be generated. Thereafter, the pixel movement and the frame generation operation through the moved pixel can be repeatedly performed.
특히, 도 15에서 제어부(400A)의 렌즈 제어 신호의 전송은, 이미지 센서(200A)에 의한 이미지 프레임의 생성이 완료되어 렌즈 제어 신호를 가변 렌즈(110)로 전송할 것을 지시하는 동기 신호를 이미지 센서(200A)가 전송하는 경우 수행될 수 있다. 즉, 픽셀 이동, 프레임 생성, 이후의 픽셀 이동의 순차적인 동작은 제1 신호와 제2 신호의 송수신을 통해 동기화됨으로써 진행될 수 있다.15, the transmission of the lens control signal of the control unit 400A is performed by transmitting a synchronization signal for instructing the generation of the image frame by the image sensor 200A to transmit the lens control signal to the variable lens 110, (200A) is transmitted. That is, sequential operations of pixel movement, frame generation, and subsequent pixel movement can be performed by synchronizing through transmission and reception of the first signal and the second signal.
도 16은 일 실시 예에 따른 카메라 모듈(10, 20)의 프레임 합성 방법의 일 예를 나타낸 도면이다.16 is a diagram showing an example of a frame synthesis method of the camera module 10, 20 according to the embodiment.
도 16을 참조하면, 이미지 센서(200A, 230)가 순차적인 픽셀 이동(A 내지 D)에 따라 제1 내지 제7 프레임(F1 내지 F7)을 순차적으로 생성한다고 가정한다.16, it is assumed that the image sensors 200A and 230 sequentially generate first to seventh frames F1 to F7 according to sequential pixel shifts A to D, respectively.
이미지 합성부(300)는 순차적으로 프레임들을 입력받아 초해상도(SR) 이미지 합성을 통해 초해상도 이미지인 합성 프레임을 생성할 수 있다.The image synthesizer 300 sequentially receives the frames and generates a synthesized frame that is a super-resolution image by synthesizing a super-resolution (SR) image.
이때, 도 16에 도시된 바와 같이, 이미지 합성부(300)는 제1 내지 제4 프레임(F1 내지 F4)을 입력받아 제1 합성 프레임(F1')을 생성할 수 있다. 이후, 이미지 합성부(300)는 제2 내지 제5 프레임(F2 내지 F5)을 입력받아 제2 합성 프레임(F2')을 생성할 수 있다. 이후, 이미지 합성부(300)는 제3 내지 제6 프레임(F3 내지 F6)을 입력받아 제3 합성 프레임(F3')을 생성할 수 있다. 이후, 이미지 합성부(300)는 제4 내지 제7 프레임(F4 내지 F7)을 입력받아 초해상도 이미지 생성 알고리즘을 통해 제4 합성 프레임(F4')을 생성할 수 있다.At this time, as shown in FIG. 16, the image synthesizer 300 may generate the first synthesis frame F1 'by receiving the first to fourth frames F1 to F4. Thereafter, the image combining unit 300 may generate the second combined frame F2 'by receiving the second through fifth frames F2 through F5. Thereafter, the image combining unit 300 may receive the third through sixth frames F3 through F6 to generate the third combined frame F3 '. The image combining unit 300 receives the fourth through seventh frames F4 through F7 and generates a fourth combined frame F4 'through a super-resolution image generating algorithm.
여기서, 이미지 합성부(300)는 이미지 센서(200A, 230)로부터 제1 내지 제7 프레임(F1 내지 F7)을 순차적으로 수신하고, 합성 프레임 생성을 위해 현재 입력되는 프레임의 직전 3개의 프레임을 저장할 수 있다. 실시 예에 따라, 프레임을 저장하는 버퍼는 적어도 3개의 프레임을 저장할 수 있는 저장 용량을 가질 수 있다.Here, the image combining unit 300 sequentially receives the first through seventh frames F1 through F7 from the image sensors 200A and 230, and stores three frames immediately before the current input frame for generating a composite frame . According to an embodiment, the buffer storing the frames may have a storage capacity capable of storing at least three frames.
만일, 제1 내지 제4 프레임을 이용해 합성 프레임을 생성하고, 이후 제5 내지 제8 프레임을 이용해 합성 프레임을 생성한다면, 원래의 프레임 레이트(frame rate)보다 1/4로 줄어들게 된다. 그러나, 실시 예에 따른 방식과 같이 순차적으로 입력되는 현재 프레임 및 현재 프레임 직전의 3개의 프레임을 이용해 연속적으로 합성 프레임을 생성함으로써, 프레임 레이트의 저하를 방지할 수 있다.If a composite frame is generated using the first to fourth frames and then a composite frame is generated using the fifth to eighth frames, the frame rate is reduced to 1/4 of the original frame rate. However, it is possible to prevent a decrease in the frame rate by continuously generating synthesized frames using the current frame sequentially input and the three frames immediately before the current frame as in the system according to the embodiment.
본 명세서에서는 4 번의 픽셀 이동을 통해 4배의 해상도를 갖는 초해상도 이미지를 생성하는 방식에 대해 설명하였으나, 본 발명의 범위는 이에 한정되지 않고 다른 방식의 픽셀 이동을 통해 더 높은 해상도를 갖는 초해상도 이미지를 생성할 수 있다.In the present specification, a method of generating a super-resolution image having a resolution of four times by moving the pixel four times has been described. However, the scope of the present invention is not limited thereto, Images can be generated.
또 다른 실시 예에 의한 카메라 모듈은, 광 경로를 조절하는 액체 렌즈를 포함하는 렌즈 어셈블리; 상기 렌즈 어셈블리를 이용하여 복수의 이미지를 센싱하는 이미지센서; 상기 액체 렌즈를 제어하는 제어부; 및 상기 복수의 이미지를 합성하여 합성 이미지를 생성하는 합성부를 포함하고, 상기 복수의 이미지는 상기 액체 렌즈에 의해 상기 광 경로가 서로 다르게 변경되어 생성된 이미지를 포함할 수 있다.A camera module according to another embodiment includes: a lens assembly including a liquid lens for adjusting a light path; An image sensor for sensing a plurality of images using the lens assembly; A control unit for controlling the liquid lens; And a combining unit that combines the plurality of images to generate a composite image, and the plurality of images may include an image generated by the liquid lens changing the optical path differently.
또 다른 실시 예에 의한 카메라 모듈은, 복수의 이미지를 센싱하는 이미지센서; 이미지 센서로 입사되는 광 경로를 형성하는 렌즈 어셈블리; 광 경로와 이미지 센서의 위치 중 적어도 하나를 조절하는 제어부; 및 복수의 이미지를 합성하여 합성 이미지를 생성하는 이미지 합성부를 포함하고, 복수의 이미지는 렌즈 어셈블리에 의해 서로 다른 광 경로로 생성된 이미지이거나 이미지 센서의 서로 다른 위치에서 생성된 이미지를 포함할 수 있다.A camera module according to another embodiment includes an image sensor for sensing a plurality of images; A lens assembly forming a light path to be incident on the image sensor; A control unit for adjusting at least one of the position of the optical path and the image sensor; And an image combining section for combining the plurality of images to generate a composite image, wherein the plurality of images may be images generated by different optical paths by the lens assembly, or may include images generated at different positions of the image sensor .
이하, 전술한 카메라 모듈(10, 20)에서 수행되는 초 해상도 이미지 생성 방법을 첨부된 다음과 같이 살펴본다.Hereinafter, a super-resolution image generation method performed by the camera modules 10 and 20 will be described as follows.
초 해상도 이미지 생성 방법은, 제1 이미지 프레임을 출력하는 단계, 제1 이미지 프레임에서 제1 방향으로 제1 거리만큼 이동된 제2 이미지 프레임을 생성하는 단계, 제2 이미지 프레임에서 제2 방향으로 제1 거리만큼 이동된 제3 이미지 프레임을 생성하는 단계, 제3 이미지 프레임에서 제3 방향으로 제1 거리만큼 이동된 제4 이미지 프레임을 생성하는 단계, 및 제1 이미지 프레임 내지 제4 이미지 프레임을 합성하여 합성 이미지를 생성하는 단계를 포함할 수 있다. 이러한 방법을 통해 생성된 합성 이미지는 복수의 이미지 프레임보다 높은 해상도를 가질 수 있다.A method for generating a super-resolution image, comprising: outputting a first image frame; generating a second image frame shifted by a first distance in a first direction in a first image frame; Creating a third image frame shifted by one distance, generating a fourth image frame shifted by a first distance in a third direction in the third image frame, and And generating a composite image. A composite image generated through this method can have a higher resolution than a plurality of image frames.
실시 예에 따른 카메라 모듈(10, 20)에 의하면, 초해상도 이미지를 얻기 위해 요구되는 높은 연산량을, FOV 각도를 변경시키는 가변 렌즈(110) 또는 액츄에이터(240)를 이용하여 하드웨어적으로 해결할 수 있다.According to the camera modules 10 and 20 according to the embodiments, a high computation amount required for obtaining a super-resolution image can be solved in hardware by using the variable lens 110 or the actuator 240 for changing the FOV angle .
또한, 순차적으로 입력되는 현재 프레임에 대해 연속적으로 합성 프레임을 생성함으로써, 프레임 레이트의 저하를 방지할 수 있다.In addition, it is possible to prevent the frame rate from lowering by continuously generating composite frames for the current frame sequentially input.
전술한 카메라 모듈(10)은 하우징에 실장되는 액체 렌즈 및 액체 렌즈의 전면 또는 후면에 배치될 수 있는 적어도 하나의 고체 렌즈를 포함하는 렌즈 어셈블리, 렌즈 어셈블리를 통해 전달되는 광신호를 전기신호로 변환하는 이미지센서, 및 액체 렌즈에 구동 전압을 공급하기 위한 제어회로를 포함할 수 있다. 이때, 전술한 카메라 모듈(20)의 렌즈 어셈블리는 액체 렌즈를 포함하지 않고 고체 렌즈만을 포함할 수 있다.The camera module 10 described above includes a lens assembly including a liquid lens mounted on a housing and at least one solid lens that can be disposed on a front surface or a rear surface of the liquid lens, And a control circuit for supplying a driving voltage to the liquid lens. At this time, the lens assembly of the camera module 20 may not include a liquid lens but may include only a solid lens.
상기한 내용들은 ToF(time of flight)를 이용한 거리 또는 depth 측정 장치에도 적용될 수 있다. 특히 ToF 센서의 경우 일반적으로 일반 이미지 센서보다 해상도가 낮다. 따라서 ToF 센서를 이용하여 안면인식, 물체 인식, depth 추출, 윤곽인식 등을 구현하기 위해 위에서 상술한 초해상도 이미지 구현 방법을 이용하면 현저히 향상된 효과를 얻을 수 있다.The above contents can also be applied to a distance or depth measuring apparatus using time of flight (ToF). In particular, the ToF sensor generally has a lower resolution than a general image sensor. Therefore, using the ToF sensor to implement facial recognition, object recognition, depth extraction, contour recognition, and the like, a remarkably improved effect can be obtained by using the super resolution image implementation method described above.
실시 예와 관련하여 전술한 바와 같이 몇 가지만을 기술하였지만, 이외에도 다양한 형태의 실시가 가능하다. 앞서 설명한 실시 예들의 기술적 내용들은 서로 양립할 수 없는 기술이 아닌 이상은 다양한 형태로 조합될 수 있으며, 이를 통해 새로운 실시형태로 구현될 수도 있다.While only a few have been described above with respect to the embodiments, various other forms of implementation are possible. The technical contents of the embodiments described above may be combined in various forms other than the mutually incompatible technologies, and may be implemented in a new embodiment through the same.
예를 들어, 전술한 액체 렌즈 또는 고체 렌즈 중 적어도 하나를 포함하는 카메라 모듈(10, 20)을 포함한 광학 기기(Optical Device, Optical Instrument)를 구현할 수 있다. 여기서, 광학 기기는 광신호를 가공하거나 분석할 수 있는 장치를 포함할 수 있다. 광학 기기의 예로는 카메라/비디오 장치, 망원경 장치, 현미경 장치, 간섭계 장치, 광도계 장치, 편광계 장치, 분광계 장치, 반사계 장치, 오토콜리메이터 장치, 렌즈미터 장치 등이 있을 수 있으며, 고체 렌즈 또는 액체 렌즈 중 적어도 하나를 포함할 수 있는 광학 기기에 본 실시 예를 적용할 수 있다. 또한, 광학 기기는 스마트폰, 노트북 컴퓨터, 태블릿 컴퓨터 등의 휴대용 장치로 구현될 수 있다. 이러한 광학 기기는 카메라 모듈, 영상을 출력하는 디스플레이부, 카메라 모듈과 디스플레이부를 실장하는 본체 하우징을 포함할 수 있다. 광학기기는 본체 하우징에 타 기기와 통신할 수 있는 통신모듈이 실장될 수 있고 데이터를 저장할 수 있는 메모리부를 더 포함할 수 있다.For example, an optical device (optical device) including the camera module 10, 20 including at least one of the above-described liquid lens or solid lens can be implemented. Here, the optical device may include a device capable of processing or analyzing an optical signal. Examples of optical devices may include camera / video devices, telescope devices, microscope devices, interferometer devices, photometer devices, polarimeter devices, spectrometer devices, reflectometer devices, autocollimator devices, lens meter devices, The present embodiment can be applied to an optical device that can include at least one of the above-described optical elements. In addition, the optical device can be implemented as a portable device such as a smart phone, a notebook computer, and a tablet computer. Such an optical apparatus may include a camera module, a display unit for outputting an image, and a main body housing for mounting the camera module and the display unit. The optical device may further include a memory unit in which a communication module capable of communicating with other devices can be mounted on the body housing and can store data.
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.It will be apparent to those skilled in the art that the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof. Accordingly, the above description should not be construed in a limiting sense in all respects and should be considered illustrative. The scope of the present invention should be determined by rational interpretation of the appended claims, and all changes within the scope of equivalents of the present invention are included in the scope of the present invention.
발명의 실시를 위한 형태는 전술한 "발명의 실시를 위한 최선의 형태"에서 충분히 설명되었다.The mode for carrying out the invention has been fully described in the above-mentioned " Best Mode for Carrying Out the Invention ".
실시 예에 의한 카메라 모듈은 카메라/비디오 장치, 망원경 장치, 현미경 장치, 간섭계 장치, 광도계 장치, 편광계 장치, 분광계 장치, 반사계 장치, 오토콜리메이터 장치, 렌즈미터 장치 등에 이용될 수 있다.The camera module according to the embodiment can be used for a camera / video device, a telescope device, a microscope device, an interferometer device, a photometer device, a polarimeter device, a spectrometer device, a reflectometer device, an auto collimator device,
Claims (10)
- 복수의 이미지 프레임을 출력하는 이미지 센서;An image sensor for outputting a plurality of image frames;상기 이미지 센서 위에 배치되고 외부로부터 상기 이미지 센서로 입사되는 광 경로를 조절하는 가변 렌즈를 포함하는 렌즈 어셈블리;A lens assembly disposed on the image sensor and including a variable lens that adjusts a light path that is incident on the image sensor from the outside;상기 가변 렌즈를 제어하기 위한 제어 신호를 생성하는 제어부; 및A control unit for generating a control signal for controlling the variable lens; And상기 복수의 이미지 프레임을 합성하여 합성 이미지를 생성하는 이미지 합성부를 포함하고,And an image composing unit for compositing the plurality of image frames to generate a composite image,상기 합성 이미지는 상기 복수의 이미지 프레임보다 높은 해상도를 갖고,Wherein the composite image has a higher resolution than the plurality of image frames,상기 복수의 이미지 프레임은 상기 가변 렌즈에 의해 서로 다른 광 경로로 변경되어 생성된 각각의 이미지 프레임인 카메라 모듈.Wherein the plurality of image frames are each image frames generated by changing the optical path by the variable lens.
- 제1 항에 있어서, 상기 이미지 센서는 상기 복수의 이미지 프레임 중 하나의 이미지 프레임을 생성한 후 상기 가변 렌즈에 의한 상기 광 경로가 조절 되었음을 나타내는 피드백 신호를 수신하여 상기 복수의 이미지 프레임 중 다른 하나의 이미지 프레임을 생성하는 카메라 모듈.2. The apparatus of claim 1, wherein the image sensor generates an image frame of one of the plurality of image frames, receives a feedback signal indicating that the optical path by the variable lens is adjusted, A camera module that generates image frames.
- 제1 항에 있어서, 상기 이미지 센서는 제1 영역과 제2 영역을 포함하고,2. The image sensor of claim 1, wherein the image sensor comprises a first region and a second region,상기 제어부는,Wherein,외부로부터 입사되어 상기 가변 렌즈를 통과하는 광을 상기 이미지 센서의 상기 제1 영역에서 상기 제2 영역으로 광의 경로를 변경 시키도록 상기 가변 렌즈를 조정하는 신호를 출력하는 카메라 모듈.And outputs a signal for adjusting the variable lens to change the light path from the outside to the second area from the first area of the image sensor, through the variable lens.
- 제1 항에 있어서, 상기 가변 렌즈는 상기 제어 신호에 따라 서로 다른 성질의 두 액체가 이루는 계면이 변형되는 액체 렌즈를 포함하는 카메라 모듈.2. The camera module according to claim 1, wherein the variable lens includes a liquid lens whose interface is deformed by two liquids of different properties according to the control signal.
- 제1 항에 있어서, 상기 가변 렌즈는2. The zoom lens according to claim 1, wherein the variable lens적어도 하나의 렌즈; 및At least one lens; And상기 적어도 하나의 렌즈를 상기 제어 신호에 따라 수직 방향 또는 수평 방향 중 적어도 하나의 방향으로 이동시키거나 틸팅시키는 액츄에이터를 포함하는 카메라 모듈.And an actuator for moving or tilting the at least one lens in at least one of a vertical direction and a horizontal direction according to the control signal.
- 제1 항에 있어서,The method according to claim 1,상기 이미지 센서는 제1 영역과 제2 영역을 포함하고,Wherein the image sensor comprises a first region and a second region,상기 제어부는,Wherein,외부로부터 입사되어 상기 가변 렌즈를 통과하는 광을 상기 이미지 센서의 제1 영역에서 상기 제2 영역으로 광의 경로를 변경 시키도록 상기 가변 렌즈를 조정하는 신호를 출력하는 카메라 모듈.And outputs a signal for adjusting the variable lens to change the light path from the outside to the second area from the first area of the image sensor, through the variable lens.
- 제6 항에 있어서,The method according to claim 6,상기 이미지 센서는 제3 영역과 제4 영역을 더 포함하고,Wherein the image sensor further comprises a third region and a fourth region,상기 제어부는,Wherein,상기 제2 영역에서 상기 제3 영역으로 광의 경로를 변경 시키도록 상기 가변 렌즈를 조정하는 신호를 출력하고,A signal for adjusting the variable lens to change the light path from the second region to the third region,상기 제3 영역에서 상기 제4 영역으로 광의 경로를 변경 시키도록 상기 가변 렌즈를 조정하는 신호를 출력하는 카메라 모듈.And outputs a signal for adjusting the variable lens to change the light path from the third region to the fourth region.
- 제1 항에 있어서,The method according to claim 1,상기 이미지 합성부는,Wherein the image synthesizing unit comprises:상기 이미지 센서로부터 전달된 제1 내지 제4 이미지 프레임을 이용하여 제1 초해상도 이미지 프레임을 합성하고,Synthesizing the first super resolution image frame using the first through fourth image frames transmitted from the image sensor,이후 상기 이미지 센서로부터 출력되는 제5 이미지 프레임 및 상기 제2 내지 제4 이미지 프레임을 이용하여 제2 초해상도 이미지 프레임을 합성하는 카메라 모듈.And then synthesizing a second super-resolution image frame using a fifth image frame output from the image sensor and the second through fourth image frames.
- 광 경로를 조절하는 액체 렌즈를 포함하는 렌즈 어셈블리;A lens assembly including a liquid lens for adjusting a light path;상기 렌즈 어셈블리를 이용하여 복수의 이미지를 센싱하는 이미지센서;An image sensor for sensing a plurality of images using the lens assembly;상기 액체 렌즈를 제어하는 제어부; 및A control unit for controlling the liquid lens; And상기 복수의 이미지를 합성하여 합성 이미지를 생성하는 합성부를 포함하고,And a combining unit for combining the plurality of images to generate a composite image,상기 복수의 이미지는 상기 액체 렌즈에 의해 상기 광 경로가 서로 다르게 변경되어 생성된 이미지를 포함하는 카메라 모듈.Wherein the plurality of images comprises an image generated by the liquid lens having different optical paths.
- 복수의 이미지를 센싱하는 이미지센서;An image sensor for sensing a plurality of images;상기 이미지 센서로 입사되는 광 경로를 형성하는 렌즈 어셈블리;A lens assembly forming a light path to be incident on the image sensor;상기 광 경로와 상기 이미지 센서의 위치 중 적어도 하나를 조절하는 제어부; 및A control unit for adjusting at least one of the optical path and the position of the image sensor; And상기 복수의 이미지를 합성하여 합성 이미지를 생성하는 이미지 합성부를 포함하고,And an image composing unit for compositing the plurality of images to generate a composite image,상기 복수의 이미지는 상기 렌즈 어셈블리에 의해 서로 다른 광 경로로 생성된 이미지이거나 상기 이미지 센서의 서로 다른 위치에서 생성된 이미지를 포함하는 카메라 모듈.Wherein the plurality of images comprises images generated by different light paths by the lens assembly or images generated at different locations of the image sensor.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/763,735 US11782232B2 (en) | 2017-11-17 | 2018-11-19 | Camera module |
JP2020526989A JP7372241B2 (en) | 2017-11-17 | 2018-11-19 | The camera module |
CN201880073885.4A CN111357272A (en) | 2017-11-17 | 2018-11-19 | Camera module |
EP18879549.6A EP3713215A4 (en) | 2017-11-17 | 2018-11-19 | Camera module |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2017-0153850 | 2017-11-17 | ||
KR20170153850 | 2017-11-17 | ||
KR1020180005893A KR102589291B1 (en) | 2017-11-17 | 2018-01-17 | Camera module, optical apparatus including thereof, and image generating method performed therein |
KR10-2018-0005893 | 2018-01-17 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019098793A1 true WO2019098793A1 (en) | 2019-05-23 |
Family
ID=66539680
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/KR2018/014216 WO2019098793A1 (en) | 2017-11-17 | 2018-11-19 | Camera module |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2019098793A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113747141A (en) * | 2020-05-29 | 2021-12-03 | 华为技术有限公司 | Electronic equipment and depth image shooting method |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20050002979A (en) * | 2003-06-27 | 2005-01-10 | 주식회사 성진씨앤씨 | Method of restoring and reconstructing a super-resolution image from a low-resolution compressed image |
KR20120134223A (en) * | 2011-06-01 | 2012-12-12 | 삼성전자주식회사 | Apparatus and method for multi-view 3d image display |
KR20140146566A (en) * | 2014-11-17 | 2014-12-26 | 명지대학교 산학협력단 | The control of light path using an electrowetting principle and its apparatus |
US20150199792A1 (en) * | 2014-01-13 | 2015-07-16 | Arecont Vision, Llc. | System and method for obtaining super image resolution through optical image translation |
KR20160104324A (en) * | 2015-02-26 | 2016-09-05 | 엘지이노텍 주식회사 | Super resolution camara apparatus using one camera module |
-
2018
- 2018-11-19 WO PCT/KR2018/014216 patent/WO2019098793A1/en unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20050002979A (en) * | 2003-06-27 | 2005-01-10 | 주식회사 성진씨앤씨 | Method of restoring and reconstructing a super-resolution image from a low-resolution compressed image |
KR20120134223A (en) * | 2011-06-01 | 2012-12-12 | 삼성전자주식회사 | Apparatus and method for multi-view 3d image display |
US20150199792A1 (en) * | 2014-01-13 | 2015-07-16 | Arecont Vision, Llc. | System and method for obtaining super image resolution through optical image translation |
KR20140146566A (en) * | 2014-11-17 | 2014-12-26 | 명지대학교 산학협력단 | The control of light path using an electrowetting principle and its apparatus |
KR20160104324A (en) * | 2015-02-26 | 2016-09-05 | 엘지이노텍 주식회사 | Super resolution camara apparatus using one camera module |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113747141A (en) * | 2020-05-29 | 2021-12-03 | 华为技术有限公司 | Electronic equipment and depth image shooting method |
WO2022002162A1 (en) * | 2020-05-29 | 2022-01-06 | 华为技术有限公司 | Electronic device and depth image photographing method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019164298A1 (en) | Camera module | |
WO2018052228A1 (en) | Dual camera module, optical device, camera module, and method for operating camera module | |
WO2019146974A1 (en) | Camera module | |
WO2018135784A1 (en) | Camera module and camera device | |
WO2020050650A1 (en) | Camera module | |
WO2019221541A1 (en) | Camera module | |
WO2019182307A1 (en) | Camera module and optical device comprising same | |
WO2020242202A1 (en) | Camera module | |
WO2019088353A1 (en) | Camera module including liquid lens and optical instrument | |
WO2020060235A1 (en) | Camera device | |
WO2021242079A1 (en) | Camera actuator and camera device comprising same | |
KR20190056932A (en) | Camera module, optical apparatus including thereof, and image generating method performed therein | |
WO2019164312A1 (en) | Camera module and super resolution image processing method thereof | |
WO2019147004A1 (en) | Camera module | |
WO2020145687A1 (en) | Camera module | |
WO2019098793A1 (en) | Camera module | |
WO2020242039A1 (en) | Liquid lens | |
WO2018131925A1 (en) | Method for applying driving voltage for liquid lens, liquid lens, camera module, and optical instrument | |
WO2019146980A1 (en) | Liquid lens module, lens assembly comprising same, and camera module comprising lens assembly | |
WO2019225928A1 (en) | Camera and terminal comprising same | |
WO2019177219A1 (en) | Optical device and mobile terminal comprising same | |
WO2021235834A1 (en) | Camera actuator and camera device comprising same | |
WO2022059949A1 (en) | Camera device and optical instrument | |
WO2021054760A1 (en) | Camera module | |
WO2022045800A1 (en) | Camera module |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18879549 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2020526989 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2018879549 Country of ref document: EP Effective date: 20200617 |