WO2016137273A1 - 카메라 모듈 및 이를 이용한 자동 초점 조절 방법 - Google Patents

카메라 모듈 및 이를 이용한 자동 초점 조절 방법 Download PDF

Info

Publication number
WO2016137273A1
WO2016137273A1 PCT/KR2016/001921 KR2016001921W WO2016137273A1 WO 2016137273 A1 WO2016137273 A1 WO 2016137273A1 KR 2016001921 W KR2016001921 W KR 2016001921W WO 2016137273 A1 WO2016137273 A1 WO 2016137273A1
Authority
WO
WIPO (PCT)
Prior art keywords
value
pixel
unit
image
camera module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2016/001921
Other languages
English (en)
French (fr)
Inventor
문영섭
김민
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Innotek Co Ltd
Original Assignee
LG Innotek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020150027226A external-priority patent/KR102310997B1/ko
Priority claimed from KR1020150026974A external-priority patent/KR20160104236A/ko
Application filed by LG Innotek Co Ltd filed Critical LG Innotek Co Ltd
Priority to US15/553,877 priority Critical patent/US20180039156A1/en
Publication of WO2016137273A1 publication Critical patent/WO2016137273A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/10—Power-operated focusing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/08—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted to co-operate with a remote control mechanism
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/365—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals by analysis of the spatial frequency components of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B29/00—Combinations of cameras, projectors or photographic printing apparatus with non-photographic non-optical apparatus, e.g. clocks or weapons; Cameras having the shape of other objects

Definitions

  • An embodiment relates to a camera module and an auto focus adjusting method using the same.
  • AF Auto Focus
  • an AF system of a phase difference detection method or an AF system of a contrast detection method is mainly applied.
  • the AF system of the contrast detection method is a method of extracting high frequency data from the image data output from the image sensor and performing AF control so that it becomes the maximum. It does not need a separate sensor or optical system for contrast AF, so it is relatively inexpensive to build an AF system, and it has the advantage of obtaining accurate focus, but it requires a relatively long time to focus by fine focusing method. .
  • the AF system of the phase difference detection method splits the light incident through the imaging lens to form a pair of images, and detects a phase difference, which is an interval between the pair of formed images, to capture the image.
  • the focus is detected by determining the position of the lens.
  • phase difference detection AF sensor is provided separately from the image pickup device, and a method of disposing the phase difference detection pixel in the image sensor.
  • the AF system of the phase difference detection method has the advantage of being able to find the focus quickly although the precision is lower than that of the contrast AF system.
  • the number of movement of the optical part is increased according to the continuous use of the imaging device, thereby aging the mechanical part of the camera to move the optical part As the number of focus adjustments increases, the sensitivity of the position change of the optical unit that is moved to obtain an accurate focus image may decrease.
  • the embodiment obtains a focus image by using a phase difference focusing method and a contrast focusing method, and updates the data extracted from the final focus image obtained through focusing to the memory unit, so that even if there is a change in the use environment, It provides a camera module that can obtain the image of the camera and the method of auto focusing using the same.
  • the present invention also provides a camera module capable of preventing image corruption due to camera shake by using a calculation method based on a shield pixel value.
  • Embodiments include an optical unit including at least one lens; An image sensor unit converting the optical signal acquired by the optical unit into image information; An image information processor extracting focus adjustment image information from the converted image information; A memory unit which stores the AF code value; A controller configured to detect the AF code value corresponding to the focus adjustment image information extracted by the image information processor and to generate a driving signal for moving the optical unit; And a driving unit for adjusting the at least one lens position according to the driving signal, wherein the AF code value is updated with the AF code value of the final focus image.
  • the focus adjustment image information may include a phase difference value of the converted image information.
  • the driving unit may include an actuator module for moving the optical unit in the optical axis direction.
  • the control unit includes a first AF control unit for controlling the optical unit in a phase difference focusing method; And a second AF controller which controls the optical unit by using a contrast focusing method.
  • the image sensor unit includes an optical filter layer including a plurality of imaging pixels; A light blocking mask layer including a first pixel group having a shield region deflected on one side and a second pixel group having a shield region deflected on the other side; And a photodiode layer for converting the optical signal passing through the optical filter layer and the light blocking mask layer into an electrical signal.
  • the plurality of imaging pixels may be formed of any one of R (Red), G (Green), and B (Blue) pixels, and the optical filter layer may have a form in which the plurality of imaging pixels are adjacent to each other in a lattice form. .
  • the first pixel group and the second pixel group may have an opening through which light is incident and a shield region that blocks light.
  • the shield area of the first pixel group and the shield area of the second pixel group may be symmetrically disposed with respect to a vertical line or a horizontal line passing through the center of the pixel.
  • the image sensor unit includes an optical filter layer including a plurality of imaging pixels and a phase difference detection pixel; And a photodiode layer for converting the optical signal passing through the optical filter layer into an electrical signal.
  • the memory unit may be an EEPROM or a flash memory.
  • Another embodiment of the present invention includes the steps of acquiring optical information by an auto focus method using the camera module of the above-described embodiment; Converting the obtained optical information into an electrical signal; Calculating a phase difference value from the electrical signal; Extracting an AF code value corresponding to the phase difference value; Determining whether a deviation between the extracted AF code value and a reference AF code value is equal to or less than a threshold value; Moving the at least one lens to a focal length position according to at least one of phase difference autofocus adjustment and contrast autofocus adjustment corresponding to the extracted AF code value; And updating the final AF code value at the focal length position to the memory unit.
  • moving the at least one lens to a focal length position may be a fine focal length adjusting step according to the contrast focus adjustment method.
  • moving the at least one lens to a focal length position corresponds to the extracted AF code value according to the phase difference focusing method. Moving to a first focal length; And adjusting the fine focus distance from the first focus distance to the second focus distance according to the contrast focus adjustment method.
  • Another embodiment is an image sensor unit; An x / y axis actuator for moving the image sensor unit in x and y axis directions; A z axis actuator for moving the image sensor part in a z axis direction; And a driving unit driving the x / y axis actuator and the z axis actuator, wherein the driving unit is based on the value of the left shield pixel and the value of the right shield pixel.
  • a camera module having an image stabilization function capable of driving a y-axis actuator and the z-axis actuator is provided.
  • a normal pixel and a shield pixel may be alternately arranged in each row, and the left shield pixel and the right shield pixel may be alternately arranged in a row in which the shield pixel is disposed.
  • the driving unit may drive the x / y axis actuator by using a predetermined number of normal pixel values located around the left shield pixel and the right shield pixel.
  • the driving unit may include a calculator configured to calculate a difference value according to x / y axis movement and a difference value according to z axis movement by using the value of the left shield pixel and the value of the right shield pixel; A look-up table for storing a motion value to move the image sensor as a digital value according to each of the difference values calculated by the calculator; A digital / analog converter for converting the digital value into an analog signal; And a driver IC for driving the x / y axis actuator and the z axis actuator to move the image sensor according to the analog signal.
  • the driver may drive the x / y axis actuator by using a difference between the left shield pixel value detected in the previous frame and the current frame, and a difference between the right shield pixel value.
  • the driving unit may drive the x / y axis actuator using a look up table.
  • the look-up table may store the x / y axis actuator driving value corresponding to the difference between the left shield pixel value detected in the previous frame and the current frame, and the difference between the right shield pixel value.
  • the driver may drive the z-axis actuator according to a phase difference between the left shield pixel value and the right shield pixel value.
  • the camera module and the auto focus detecting method using the same simultaneously use the focus adjustment method of the phase difference detection method and the contrast auto focus adjustment method, and continuously update and store the AF code value for the lens position in the final state of focus.
  • a focus value corresponding to a change in physical properties of the component or a change in the use environment when the optical unit is driven can be obtained, thereby obtaining a high resolution image.
  • image stabilization can be performed by detecting hand shake without using a physical sensor such as a gyro sensor and a hall sensor, the structure of the camera module can be simplified, manufacturing cost can be reduced, and the miniaturization / lightening of the camera module can be achieved. Is advantageous.
  • the possibility of saturation due to the amount of external light is reduced due to the shield area of the shield pixel, thereby enabling stable operation of the camera module.
  • FIG. 1 is a block diagram illustrating a camera module according to an embodiment.
  • FIG. 2 is a cross-sectional view of a camera module of one embodiment.
  • 3A is a diagram illustrating a phase difference detection pixel included in an image sensor unit according to an embodiment.
  • 3B is a diagram illustrating an embodiment of image information generated from a phase difference detection pixel.
  • 4A to 4B are diagrams showing the relationship between the phase difference value and the AF code value.
  • FIG. 5 is a flowchart illustrating an auto focus adjusting method according to an embodiment.
  • FIG. 6 is a diagram illustrating a camera module having an image stabilization function according to another embodiment.
  • FIG. 7 is a diagram illustrating a left shield pixel and a right shield pixel.
  • FIG. 8 is a diagram illustrating an example of performing x / y axis control using shield pixel values of a previous frame and a current frame.
  • FIG. 9 illustrates an example of performing z-axis control using a phase difference between a left shield pixel value and a right shield pixel value.
  • FIG. 10 is a view showing a camera module according to an embodiment.
  • the above (on) or (under) (on) or under) when described as being formed on the "on or under” of each element, the above (on) or (under) (on) or under) includes two elements in which the two elements are in direct contact with each other, or one or more other elements are formed indirectly between the two elements.
  • the above (on) or (under) (on) or under) when expressed as “on” or “under”, it may include the meaning of the downward direction as well as the upward direction based on one element.
  • relational terms such as “first” and “second”, “upper / upper / up” and “lower / lower / lower”, etc., which are used hereinafter, refer to any physical or logical relationship or order between such entities or elements. May be used only to distinguish one entity or element from another entity or element without necessarily requiring or implying.
  • FIG. 1 is a block diagram illustrating a configuration of a camera module of an embodiment.
  • the camera module of the exemplary embodiment may include an optical unit 110, an image sensor unit 130, an image information processing unit 150, a memory unit 160, and a controller 170.
  • the camera module of the embodiment may further include a driver 120 for driving the optical unit 110.
  • FIG. 2 is a schematic cross-sectional view of a camera module of an embodiment.
  • the optical unit 110 may absorb light incident from the outside and output the light to the image sensor unit 130 to obtain an image of the subject.
  • the optical unit 110 may include at least one lens, and an optical signal obtained through at least one lens of the optical unit may be transmitted to the image sensor unit 130.
  • the optical unit 110 included in one embodiment may seat a lens unit 10 in which a plurality of lenses 10a, 10b, 10c, and 10d are stacked and at least one lens. It may include a bobbin 30 to adjust the position of the lens.
  • the lens unit 10 including the at least one lens may be separated by a separate lens barrel ( It may be fixed to the (not shown), the lens barrel (not shown) may be arranged to be included in the bobbin (30).
  • At least one lens 10 fixed to the bobbin 30 is adjusted to change its position in the optical axis direction, that is, in the vertical direction in the drawing, thereby adjusting the focus of an image formed from the optical signal acquired by the optical unit 110. have.
  • At least one lens 10a to 10d included in the optical unit 110 may be a focus lens or a zoom lens. In addition, at least one of the plurality of lenses 10a to 10d included in the optical unit 110 may focus light onto the image sensor unit 130.
  • the at least one lens 10a to 10d may draw a large amount of light from one point of the subject and refract the incident light to collect the drawn light to one point.
  • the light collected at one point may form an image, and when the image is collected at one point in the image sensor unit 130 and one image is formed, the subject may be located at the focal length of the lens.
  • the image obtained by the image sensor unit 130 is formed of two images having a phase difference, the photographed image is a defocused image.
  • the focus adjustment is performed to shift the position of the optical unit to position the lens at the focal length. in need.
  • the number of lenses constituting the optical unit 110 is not limited thereto, and a single or plural lenses may be disposed in the optical unit 110. .
  • At least one lens 10a to 10d may be sequentially stacked, and a spacer (not shown) may be disposed between the at least one lens 10a to 10d.
  • the spacers may be spaced apart from the plurality of lenses 10a to 10d to maintain a gap between the lenses 10a to 10d.
  • At least one lens 10a to 10d included in the optical unit 110 may be adjusted by the driving unit 120. That is, the position of the optical unit 110 may be changed by the driving unit 120.
  • the driver 120 may include an actuator module that can adjust the position of at least one lens included in the optical unit 110.
  • the actuator module may be to perform an auto focusing function in the camera module.
  • the actuator module may include a voice coil motor (VCM) 121, a magnet 123 and an elastic member 125 that interact with the VCM.
  • VCM voice coil motor
  • the elastic member 125 may be disposed in connection with the bobbin 30 to which the lens is fixed.
  • the elastic member 125 may be disposed to connect the housing unit 115 and the optical unit 110 that are arranged to surround the optical unit 110, and the elastic member 125 may be spring-based.
  • the ball may be formed on a ball basis.
  • the elastic member 125 is an elastic movement that increases or decreases as the position of the optical unit 110 is changed.
  • the use of the elastic member connected to the optical unit 110 increases, and the elastic value of the elastic member is equal to the elastic value when initially mounted on the imaging device. In comparison, changes can occur.
  • the image sensor unit 130 may generate image information by converting an optical signal input from the optical unit 110.
  • the image information generated by the image sensor unit 130 may be image information about a subject.
  • the image information generated when acquiring a captured image of a subject may include image image information of a subject and an image of a captured subject. Focus adjustment image information used for focus adjustment may be included.
  • the image sensor unit 130 may receive optical information of the subject incident through the optical unit 110 and photoelectrically convert it into an electrical signal.
  • the image sensor unit 130 may be a Charge-Coupled Device (CCD) sensor or a Complementary Metal-Oxide-Semiconductor (CMOS) sensor.
  • CCD Charge-Coupled Device
  • CMOS Complementary Metal-Oxide-Semiconductor
  • the image sensor unit 130 may include an optical filter layer 133 including a plurality of imaging pixels and a light blocking mask layer 131 including a pixel group having a shield region. And a photodiode layer 135 for converting the optical signal passing through the optical filter layer and the light shielding mask layer into an electrical signal.
  • the optical filter layer 133 may include a plurality of imaging pixels, and the imaging pixels may be image pixels for generating an image of a subject.
  • the imaging pixel of the optical filter layer may be a color pixel.
  • the imaging pixel may be any one of R (Red), G (Green), and B (Blue) pixels, and the optical filter layer 133 may have a form in which the imaging pixels are arranged adjacent to each other in a lattice form. Can be.
  • the light shielding mask layer 131 is deflected on the other side of the first pixel group having a shield area deflected on one side to obtain image information used for focus adjustment using a phase difference autofocus adjustment method from the optical signal input from the optical unit 110. It may include a second pixel group having a shield region.
  • 3A is a diagram illustrating a first pixel group 20A and a second pixel group 20B according to an embodiment included in a light blocking mask layer.
  • the first pixel group 20A and the second pixel group 20B may be phase difference detection pixels.
  • the shield area 20A-1 of the first pixel group and the shield area 20B-1 of the second pixel group may be symmetrically disposed with respect to a vertical line or a horizontal line passing through the center of the pixel.
  • the light blocking mask layer 131 may be implemented as a metal mask, and the first pixel group and the second pixel group of the light blocking mask layer 131 may have an opening through which light can be incident and a shield region where light is blocked. .
  • the optical signal input through the mask layer of the image sensor unit may generate two image information.
  • the two images may be images provided through the mask layer 131 of the image sensor unit. That is, the two images may be images obtained by using an optical signal of a subject supplied through a shield region of a mask layer which is symmetrical with each other, and may be images obtained by using a division method for one subject.
  • 3B is a diagram illustrating an example of image information generated by passing through a mask layer of an image sensor unit.
  • (a) is image information on an optical signal passing through the first pixel group 20A of FIG. 3A
  • (b) is an optical signal passing through the second pixel group 20B of FIG. 3B. It may be image information about.
  • a pixel difference d which is a distance between two points having the same intensity of light corresponding to each other, may be a phase difference value.
  • the retardation value may be extracted from an out of focus image obtained by the optical unit 110 when the optical unit 110 is not at a focal length from the subject.
  • the phase difference value is obtained by simultaneously photographing the same subject when the image of the subject photographed by the optical unit 110 is obtained by being divided into a pair of phase difference detection images through the image sensor unit 130. It may be a phase difference between two images.
  • the optical filter layer may include a plurality of imaging pixels and a phase detection pixel. That is, the image sensor unit of the exemplary embodiment may include an optical filter layer including a plurality of imaging pixels and a phase difference detection pixel, and a photodiode layer for converting an optical signal passing through the optical filter layer into an electrical signal.
  • the image information generated from the electrical signal converted by the image sensor unit 130 is a phase difference from the image information processing the optical signal passing through the plurality of imaging pixels and the image information processing the optical signal passing through the phase difference detection pixel of the mask layer It may include information from which a value is extracted.
  • Such image information generated by the image sensor unit 130 may be transferred to the image information processor 150.
  • the image information processing unit 150 generates image information of an image captured from electrical signals of the plurality of imaging pixels supplied from the image sensor unit 130, and based on the electrical signals of the phase difference detection pixels of the optical filter layer.
  • the image information for focus adjustment may be calculated and extracted.
  • the image information processor 150 may extract focus adjustment image information for adjusting the focus of the captured image from the image information transmitted from the image sensor unit 130.
  • the focus adjustment image information may be a phase difference value extracted from a defocusing image acquired by the optical unit 110 when the optical unit 110 is not at a focal length from the subject.
  • the image information processor 150 may generate image information from an electrical signal supplied from the image sensor unit 130 and supply the generated information to be output as an image from the image information output unit 190.
  • the focus adjustment image information extracted by the image information processor 150 may be transmitted to the controller 170.
  • the phase difference value which is the focus adjustment image information calculated and extracted by the image information processing unit 150, is transmitted to the controller 170, and the movement amount of the optical unit 110 corresponding to the extracted phase difference value is a memory unit which will be described later.
  • the data may be extracted from the data value stored in the 160 and transferred to the controller 170.
  • the controller 170 may generate a driving signal for moving the optical unit 110.
  • the generated driving signal may be a stored data value of the memory unit 160 corresponding to the focus adjustment image information supplied from the image information processing unit 150, and according to the AF code value stored in the memory unit 160, the optical unit ( It may be a signal for transmitting a moving distance necessary to adjust 110 to the focus position.
  • the driving signal generated by the controller 170 may be transmitted to the driver 120, and the driver 120 may move the optical unit 110 according to the transmitted driving signal. That is, the position of the at least one lens included in the optical unit 110 may be adjusted according to the driving signal, thereby adjusting the focus of the image information acquired through the optical unit 110.
  • controller 170 may include a first AF control unit for controlling the optical unit 110 in a phase difference focus adjustment method and a second AF control unit for controlling the optical unit in a contrast focus adjustment method.
  • the focus of the captured image may be adjusted by at least one of a phase difference autofocus adjustment method controlled by the first AF control unit and a contrast autofocus control method controlled by the second AF control unit.
  • the above two types of auto focus adjustment methods may be used simultaneously, or at least one auto focus adjustment method may be used, and may be transmitted to the driver 120 by at least one of the first AF control unit and the second AF control unit.
  • the driving signal may be generated.
  • the camera module of one embodiment may include a memory unit 160 storing an AF (Auto Focusing) code value used for focusing.
  • AF Auto Focusing
  • the memory 160 may store a reference phase difference value, which is the focus adjustment image information, and an AF code value corresponding thereto, in the form of a look-up table.
  • the AF code value may represent the position of the optical unit according to the reference phase difference value as a code value.
  • the AF code value may be a data value for the amount of movement of the optical unit 110 necessary to obtain the focus image.
  • the phase difference value may be extracted by the image information processing unit 150 with respect to the defocusing image.
  • the memory unit 160 detects an AF code value corresponding to the extracted phase difference value, generates a drive signal in the controller 170 according to the AF code value detected in the memory unit, and generates a drive signal according to the generated drive signal.
  • the position of the optical unit 110 may be adjusted to obtain an focused image.
  • the AF code value stored in the memory unit 160 may be a value that is updated and stored.
  • the AF code value stored in the memory unit may be a value updated and stored with the changed AF code value after the auto focus adjustment is performed by the imaging apparatus to acquire the final focused image.
  • the updated AF code value may be an AF code value in the final focus image obtained by focus adjustment using a phase difference autofocus method and a contrast autofocus method on an image acquired through the optical unit.
  • the updated AF code value may be an AF code value when the phase difference is 0, which is an AF code value at one point corresponding to the focus position.
  • the embodiment is not limited thereto, and the entire AF code value stored in the memory may be updated and stored at a constant ratio.
  • the amount of change in the AF code value when the reference phase difference value is 0 may be stored in the changed new AF code value by reflecting the entire AF code value stored in the memory unit.
  • the memory unit 160 may be an electrically erasable programmable read-only memory (EEPROM) or a flash memory. That is, the stored data value of the memory unit 160 may be converted into a newly updated data value and stored.
  • EEPROM electrically erasable programmable read-only memory
  • 4A to 4B show the relationship of the AF code values to the phase difference values.
  • the X axis may be an AF code value
  • the Y axis may be a phase difference value
  • the graphs of FIGS. 4A to 4B show the phase difference value and the corresponding AF code value.
  • 4A may illustrate a relationship between a phase difference value and an AF code at an initial use of a camera module. That is, the AF code value of the corresponding point can be found in the graph from the phase difference value calculated and extracted by the image information processor, and the controller calculates a difference between the AF code value when the AF code value and the phase difference value are 0, A driving signal for moving the optical unit may be generated based on a value corresponding to the difference of the AF codes.
  • the driving signal generated by the control unit is transmitted to the driving unit, and the driving unit moves the optical unit according to the transmitted driving signal to obtain a focused image.
  • 4B is a view illustrating a change in AF code value according to the number of times of image acquisition by auto focus adjustment.
  • the graph (a) shows the relationship between the AF code values and the phase difference values at the initial use of the camera module, and (b) the graph shows the phase difference values when the imaging device is used more than 5000 times. (C) The graph shows the relationship between the AF code values and the phase difference values when the camera module is used more than 10000 times.
  • the elastic value of the elastic member may change as the number of focus adjustments of the camera module increases. According to the stored AF code value, the optical unit may not be moved to the correct focus position.
  • the camera module of the embodiment may sense the position of the optical unit in the focus image obtained through the auto focus adjustment, and calculate the AF code value from this in reverse so as to be updated to the memory unit with the new AF code value.
  • the camera module of the embodiment updates the AF code value stored in the memory unit to the AF code value in the final focus image every time, even if the physical properties of the elastic member are changed according to the number of times of use. By moving the unit, an accurate focus image can be obtained.
  • the focus adjustment image information is extracted from the electrical signal converted by the image sensor unit 130, and the phase difference automatic focus adjustment method and the contrast automatic are extracted from the extracted focus adjustment image information.
  • the final focus image may be obtained by adjusting focus using at least one of the focus adjustment methods.
  • Another embodiment may be an auto focus adjusting method using the camera module of one embodiment described above with reference to FIGS. 1 and 2.
  • FIG. 5 is a flowchart illustrating an auto focus adjusting method according to an exemplary embodiment.
  • the method may include obtaining optical information (S1100), converting the obtained optical information into an electrical signal (S1200), and performing an electrical signal. Calculating a phase difference value (S1300), extracting an AF code value corresponding to the phase difference value (S1400), determining whether a difference between the extracted AF code value and a reference AF code value is equal to or less than a threshold value (S1500), The method may include adjusting the at least one lens to a focal length position according to at least one of phase difference autofocus adjustment and contrast autofocus adjustment according to the AF code value.
  • adjusting the at least one lens to the focal length position may include performing fine focus adjustment using the contrast autofocus adjusting method (S1600).
  • the fine focusing operation may be a step of adjusting at least one lens of the optical unit to a focal length position, and may obtain a new captured image in focus from the optical unit by finely adjusting the at least one lens. .
  • a step 1700 of outputting an image captured after the fine focus adjusting step S1600 may be included.
  • updating the final AF code value of the image photographed after the fine focus adjustment step S1600 may be included in the memory unit S1750.
  • the deviation of the AF code value for moving the optical unit to the focal length position is critical. The determination may be performed below the value.
  • the extracted AF code value may be an AF code value extracted from the memory unit corresponding to the phase difference value in the captured image
  • the reference AF code value may be an AF code value corresponding to a position where the phase difference value becomes 0.
  • the threshold may be a deviation range of the AF code values that must be satisfied in order to make fine focus adjustments.
  • the extracted AF code value is a
  • the reference AF code value is b
  • the threshold value is c.
  • the AF code value corresponding to the phase difference value of the captured image extracted by the image information processing unit of the camera module of the embodiment may be a
  • the reference AF code value corresponding to the focal position at which the phase difference value is 0 may be b
  • the threshold c may be 10 or less.
  • the phase difference value extracted from two images obtained from the image obtained through the mask layer of the image sensor unit may be adjusted by the phase difference auto focus adjustment method. It may be smaller than the possible phase difference value.
  • phase difference between the two acquired images is not large, it may be difficult to find the correct focus position when the focus is adjusted by the phase difference auto focus method, and thus the exact focus position cannot be adjusted only by the phase difference auto focus method.
  • the adjusting of the at least one lens to the focal length position may be a step of fine focusing according to the contrast autofocus adjustment method.
  • the step of adjusting the at least one lens to the focal length position may include the difference in AF code values according to the phase difference auto focus adjustment method.
  • the method may include moving the optical unit to a first focusing position of which is equal to or less than a threshold value, and adjusting the fine focus from the first focusing position to the second focusing position according to the contrast autofocusing scheme.
  • the auto focus adjusting method of the embodiment extracts a phase difference value, which is an amount of deviation of focus, by using a phase difference auto focus adjustment method, finds an AF code value corresponding thereto, and moves the lens of the optical unit to a first focus position that is a rough focus position. And moving the lens of the optical unit to the second focus position, which is an accurate focus position, through fine focus adjustment by a contrast auto focus adjustment method.
  • the focus adjustment step by the contrast autofocus adjustment method may be included, and the final position of the optical part moved by the autofocus adjustment may be included. May be an accurate focus position with a phase difference value of zero.
  • the AF code value at the moved final position may be updated with a new AF code value when the phase difference value is 0 and stored in the memory unit.
  • the AF code value at the final focal length position in the focused state is continuously updated and stored in the memory unit, so that the focusing accuracy is independent of the change in the state of the driving unit of the camera module.
  • the automatic focusing can be achieved by using the phase contrast auto focusing method and the contrast auto focusing method simultaneously to find the correct focus in a short time.
  • the terminal may be disposed at the front or rear of the camera module of the embodiment.
  • the terminal including the camera module of the embodiment may be a portable terminal, but the embodiment is not limited thereto, and the camera module of the above-described embodiment may also be provided in the fixed terminal.
  • the image of the subject acquired by the camera module of the terminal may be displayed on the display unit of the portable terminal.
  • the display unit may be a device for displaying the acquired image so that the user can check the information, and may be disposed in front of the portable terminal.
  • the display unit may include a liquid crystal display (LCD), an organic light emitting diode (OLED), and the like, but is not limited thereto.
  • the image acquired using the camera module of the embodiment may be provided to be used for other functions of the portable terminal.
  • some of the memory of the portable terminal may replace this, for example, the AF code value may be stored in the memory of the portable terminal.
  • the portable terminal of the embodiment by including the camera module of the embodiment, it is possible to accurately and easily adjust the focus using a phase difference focusing method and a contrast focusing method.
  • the focus can be adjusted to have an effect of obtaining a high quality image.
  • FIG. 6 is a diagram illustrating a camera module having an image stabilization function according to another embodiment.
  • a camera module 200 (hereinafter, referred to as a camera module) having an image stabilization function according to another embodiment may include an image sensor 210, a driver 220, an x / y axis actuator 230, and z. It comprises a shaft actuator 240, and prevents image corruption by camera shake during shooting.
  • FIG 6 illustrates only the elements necessary to describe the features of the camera module 200, and the camera module 200 may be configured in various ways as needed.
  • the image sensor 210 refers to an element that is moved by the actuators 230 and 240 in order to prevent image corruption due to camera shake regardless of the term.
  • the image sensor 210 may be a lens or an element that senses an image, such as a charge coupled device (CCD) or a complementary metal-oxide semiconductor (CMOS).
  • CCD charge coupled device
  • CMOS complementary metal-oxide semiconductor
  • the image sensor 210 is moved up / down / left / right to return an image deviating from the optical axis to its original position.
  • the x / y axis actuator 230 is for moving the image sensor 210 along the x and y axes
  • the z axis actuator 240 is for moving the image sensor 210 along the z axis.
  • 210 may be one or more elements. That is, the image sensor element for the x- / y-axis movement and the image sensor element for the z-axis movement can be provided separately, in which case the x / y-axis actuator 230 and the z-axis actuator 240 are the corresponding images, respectively. Configured to move the sensor element.
  • the driver 220 detects a hand shake and drives the x / y axis actuator 230 and the z axis actuator 240 according to the detected state.
  • the driver 220 does not use a physical sensor such as a gyro sensor or a hall sensor in order to detect a hand shake, but based on the values of a left shield pixel and a right shield pixel.
  • a physical sensor such as a gyro sensor or a hall sensor
  • the x / y-axis actuator 230 and the z-axis actuator 240 are driven according to the determination result.
  • a shield pixel is a pixel that is blocked so that a portion of the pixel does not detect light.
  • FIG. 7 is a diagram illustrating a left shield pixel and a right shield pixel.
  • a pixel in which the left portion 310-1 of the pixel is hidden is referred to as a left shield pixel 310
  • a pixel in which the right portion 320-1 of the pixel is hidden is right as in the example illustrated in FIG. 7B.
  • This is referred to as the shield pixel 320.
  • a pixel in which a part is not covered will be referred to as a normal pixel.
  • the ratio of the masked portion of the shield pixel may be variously configured as necessary. For example, if half of the shield pixels are covered, the amount of light that the shield pixels can detect is less than 50% compared to the normal pixels, thus reducing the probability that the pixels will be saturated.
  • the number or positions of the shield pixels may be variously configured as necessary.
  • the normal pixel and the shield pixel may be alternately arranged in each row, and the left and right shield pixels may be alternately arranged in the row in which the shield pixel is disposed, and the shield pixel may be randomly arranged. .
  • the driver 220 may detect a hand shake by using a shield pixel.
  • the driver 220 may drive the x / y axis actuator 230 by using a difference between a left shield pixel value in a previous frame and a current frame and a difference in a right shield pixel value in a previous frame and a current frame. have.
  • the angle of incidence of light changes, and the amount of light detected by the left shield pixel and the right shield pixel also varies according to the incident angle, and thus, the difference between the left shield pixel value and the right shield pixel value between adjacent frames.
  • the size and the direction of the hand shake can be determined using.
  • FIG. 8 is a diagram illustrating an example of performing x / y axis control using shield pixel values of a previous frame and a current frame.
  • the driver 220 compares a value of a left shield pixel 310 of a previous frame with a value of a left shield pixel 310 of a current frame, and also compares a value of a right shield pixel 320 of a previous frame with a current frame. The values of the right shield pixels 320 are compared.
  • the x / y-axis actuator 230 is driven to move the image sensor 210 according to the determined value.
  • FIG. 8 illustrates an example in which two right shield pixels 320 are disposed in an upper row of the frame image, and two left shield pixels 310 are disposed in a middle row of the frame image.
  • the number, location, arrangement method, etc. can be variously configured as needed.
  • the driver 220 may drive the x / y axis actuator 230 and the z axis actuator 240 using a look up table.
  • the movement value for each difference between the left shield pixel values in the previous frame and the current frame and the movement value for the difference between the right shield pixel values in the previous frame and the current frame are stored in the lookup table in advance,
  • the x / y axis actuator 230 can be driven using the corresponding motion value.
  • the camera 220 may detect hand shake by using not only a shield pixel but also a normal pixel.
  • the driver 220 may include a predetermined number of pixels positioned around a left shield pixel and a right shield pixel.
  • the normal pixel values may be used together to drive the x / y axis actuator 230.
  • FIG. 7C illustrates an example of using the left shield pixel and the adjacent normal pixel 330 value together
  • FIG. 7D illustrates an example of using the right shield pixel and the adjacent normal pixel 330 value together, with each normal pixel value and the shield pixel value.
  • Values corresponding to each shield pixel can be calculated in various ways, such as simple summation, simple average, and weighted average.
  • the driver 220 drives the x / y axis actuator 230 by using a difference between the values calculated for the respective shield pixels in the previous frame and the current frame.
  • the driver 220 may drive the z-axis actuator 240 according to the phase difference between the left shield pixel value and the right shield pixel value of the same frame in relation to the z-axis control.
  • FIG. 9 illustrates an example of performing z-axis control using a phase difference between a left shield pixel value and a right shield pixel value.
  • FIG. 9 illustrates an example in which the right shield pixel and the left shield pixel are alternately arranged in a row, and the driver 220 includes a phase A corresponding to each right shield pixel value and a phase corresponding to each left shield pixel value ( B) can be obtained and z-axis control can be performed by driving the z-axis actuator 240 according to the phase difference.
  • FIG. 10 is a view showing a camera module according to an embodiment.
  • the driver 10 illustrates a specific embodiment of the driver 220 of the camera module 200.
  • the driver 220 includes a calculator 220-1, a look-up table 220-2, and a digital / analog converter. 220-3), and driver IC 220-4.
  • the calculator 220-1 calculates the difference value according to the x / y axis movement and the difference value according to the z axis movement by using the left shield pixel value and the right shield pixel value.
  • the left shield pixel value and the right shield pixel value of the current frame are temporarily stored.
  • the motion value for moving the image sensor 210 according to each difference value calculated by the calculator 220-1 is stored in advance as a digital value in the look-up table 220-2.
  • the motion value is converted into an analog signal through the digital / analog converter 220-3 and applied to the driver IC 220-4, and the driver IC 220-4 receives the x / y axis according to the input analog signal.
  • the driver IC 220-4 receives the x / y axis according to the input analog signal.
  • the camera module according to the embodiment can obtain a high resolution image, the structure of the camera module can be simplified to reduce the manufacturing cost, and the camera module can be miniaturized / light weight.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

실시예의 카메라 모듈과 이를 이용한 자동 초점 조절 방법은 적어도 하나의 렌즈를 포함한 광학부; 광학부에서 획득한 광 신호를 영상 정보로 변환하는 이미지 센서부; 변환된 영상 정보에서 초점 조정 영상 정보를 추출하는 영상 정보 처리부; AF 코드값을 저장한 메모리부; 영상 정보 처리부에서 추출된 상기 초점 조정 영상 정보에 상응한 AF 코드값을 검출하여 광학부를 이동시키는 구동신호를 생성하는 제어부; 및 구동신호에 따라 적어도 하나의 렌즈 위치를 조절하는 구동부를 포함하고, AF 코드값은 최종 초점 영상의 AF 코드값으로 업데이트 되도록 하여, 빠르게 초점 영상을 획득할 수 있고, 사용 횟수가 증가되거나 사용 환경이 변화된 경우에도 정확한 초점 조정을 할 수 있어 고품질의 영상을 획득할 수 있다.

Description

카메라 모듈 및 이를 이용한 자동 초점 조절 방법
실시예는 카메라 모듈과 이를 이용한 자동 초점 조절 방법에 관한 것이다.
카메라의 고품질 영상 획득 기술에 대한 요구가 커짐에 따라, 자동 초점(AF, Auto Focus) 시스템은 디지털 카메라, 렌즈 교환식 카메라뿐 아니라 핸드폰 또는 소형 모바일 기기용 카메라에도 적용이 확대되고 있다.
AF 시스템은 위상차(Phase difference) 검출 방식의 AF 시스템 또는 컨트라스트(Contrast) 검출 방식의 AF 시스템이 주로 적용되고 있다.
컨트라스트 검출 방식의 AF 시스템은 이미지 센서에서의 화상 데이터 출력으로부터 고주파 데이터를 추출해, 이것이 극대가 되도록 AF 제어를 수행하는 방식이다. 컨트라스트 AF를 위한 별도의 센서나 광학계가 필요하지 않아 비교적 저렴하게 AF 시스템을 구축할 수 있고 정확한 초점을 얻을 수 있는 장점이 있으나, 미세한 초점 조정 방식으로 초점 조절에 있어서 상대적으로 많은 시간을 필요로 한다.
또한, 위상차 검출 방식의 AF 시스템은 촬상 렌즈를 통과하여 입사된 광을 동분할(Pupil Division)하여 한 쌍의 상(像)을 형성하고, 형성된 한 쌍의 상 사이의 간격인 위상차를 검출하여 촬상 렌즈의 위치를 결정하여 초점을 검출하는 방식이다.
위상차 검출 방식의 AF 시스템의 경우 위상차 검출 AF 센서를 촬상 소자와 별도로 구비하는 경우와, 위상차 검출용 화소를 이미지 센서에 배치하는 방법이 있다.
이러한 위상차 검출 방식의 AF시스템은 컨트라스트 AF 시스템에 비하여 정밀도는 떨어지나 빠르게 초점을 찾을 수 있는 장점을 가지고 있다.
한편, 카메라의 초점을 조절하기 위해서는 카메라에 포함되는 광학부의 위치를 변화시켜야 하므로, 지속적인 촬상 장치의 사용에 따라 광학부의 이동 횟수가 증가되게 되고, 이에 따라 광학부를 이동시키는 카메라의 기구부의 노화가 일어날 수 있어 초점 조정 횟수가 증가될수록 정확한 초점 영상을 얻기 위하여 이동되는 광학부의 위치 변화의 감도(Sensitivity)가 저하될 수 있다.
실시예는 위상차 초점 조정 방식 및 컨트라스트 초점 조정 방식을 이용하여 초점 영상을 획득하고, 초점 조절을 통하여 획득된 최종 초점 영상으로부터 추출된 데이터를 다시 메모리부에 업데이트함으로써 사용 환경의 변화가 있는 경우에도 고품질의 영상을 얻을 수 있는 카메라 모듈과 이를 이용한 자동 초점 조절 방법을 제공한다.
그리고, 쉴드 픽셀(Shield Pixel) 값에 기초한 계산 방식을 이용하여 손떨림으로 인한 이미지 훼손을 방지할 수 있는 카메라 모듈을 제공한다.
실시예는 적어도 하나의 렌즈를 포함한 광학부; 상기 광학부에서 획득한 광 신호를 영상 정보로 변환하는 이미지 센서부; 상기 변환된 영상 정보에서 초점 조정 영상 정보를 추출하는 영상 정보 처리부; AF 코드값을 저장한 메모리부; 상기 영상 정보 처리부에서 추출된 상기 초점 조정 영상 정보에 상응한 상기 AF 코드값을 검출하여 상기 광학부를 이동시키는 구동신호를 생성하는 제어부; 및 상기 구동신호에 따라 상기 적어도 하나의 렌즈 위치를 조절하는 구동부를 포함하고, 상기 AF 코드값은 최종 초점 영상의 AF 코드값으로 업데이트 되는 카메라 모듈을 제공한다.
상기 초점 조정 영상 정보는 상기 변환된 영상 정보의 위상차 값을 포함할 수 있다.
상기 구동부는 상기 광학부를 광축 방향으로 이동시키는 액추에이터 모듈을 포함할 수 있다.
상기 제어부는 위상차 초점 조정 방식으로 상기 광학부를 제어하는 제1 AF 제어부; 및 컨트라스트 초점 조정 방식으로 상기 광학부를 제어하는 제2 AF 제어부를 포함할 수 있다.
상기 이미지 센서부는 복수의 촬상용 화소를 포함하는 광 필터층; 일측에 편향된 쉴드 영역을 갖는 제1 화소그룹과 타측에 편향된 쉴드 영역을 갖는 제2 화소그룹을 포함한 차광 마스크층; 및 상기 광 필터층과 상기 차광 마스크층을 통과한 상기 광 신호를 전기적 신호로 변환하는 포토 다이오드층을 포함할 수 있다.
상기 복수의 촬상용 화소는 R(Red), G(Green), B(Blue) 화소 중 어느 하나로 이루어지고, 광 필터층은 상기 복수의 촬상용 화소가 격자 형태로 이웃하여 배치된 형태를 가질 수 있다.
상기 제1 화소그룹과 상기 제2 화소그룹은 빛을 입사시키는 개구부와 빛을 차단하는 쉴드 영역을 가질 수 있다.
상기 제1 화소그룹의 쉴드 영역과 상기 제2 화소그룹의 쉴드 영역은 화소의 중심을 지나는 수직선 또는 수평선을 기준으로 서로 대칭되어 배치될 수 있다.
이미지 센서부는 복수의 촬상용 화소와 위상차 검출 화소를 포함한 광 필터층; 및 상기 광 필터층을 통과한 광 신호를 전기적 신호로 변환하는 포토 다이오드층을 포함할 수 있다.
상기 메모리부는 EEPROM 또는 플래시 메모리일 수 있다.
다른 실시예는 상술한 일 실시예의 카메라 모듈을 이용한 자동 초점 조절 방법으로 광학 정보를 획득하는 단계; 상기 획득된 광학 정보를 전기적 신호로 변환하는 단계; 상기 전기적 신호로부터 위상차 값을 연산하는 단계; 상기 위상차 값에 상응한 AF 코드값을 추출하는 단계; 상기 추출된 AF 코드값과 기준 AF 코드값의 편차가 임계값 이하인지 판단하는 단계; 상기 추출된 AF 코드값에 상응하여 위상차 자동초점 조절 또는 컨트라스트 자동초점 조정 중 적어도 하나의 방법에 따라 상기 적어도 하나의 렌즈를 초점 거리 위치로 이동하는 단계; 및 상기 초점 거리 위치에서의 최종 AF 코드값을 상기 메모리부에 업데이트하는 단계를 포함하는 자동 초점 조절 방법을 제공한다.
상기 추출된 AF 코드값과 기준 AF 코드값의 편차가 임계값 이하인 경우, 상기 적어도 하나의 렌즈를 초점 거리 위치로 이동하는 단계는 상기 컨트라스트 초점 조정 방식에 따른 미세 초점 거리 조절 단계일 수 있다.
상기 추출된 AF 코드값과 상기 기준 AF 코드값의 편차가 임계값보다 큰 경우, 상기 적어도 하나의 렌즈를 초점 거리 위치로 이동하는 단계는 상기 위상차 초점 조정 방식에 따라 상기 추출된 AF 코드값에 상응한 제1 초점 거리로 이동하는 단계; 및 상기 컨트라스트 초점 조정 방식에 따라 상기 제1 초점 거리에서 제2 초점 거리로 미세 초점 거리 조절하는 단계를 포함할 수 있다.
또 다른 실시예는 이미지 센서부; 상기 이미지 센서부를 x축과 y축 방향으로 움직이기 위한 x/y 축 액추에이터; 상기 이미지 센서부를 z축 방향으로 움직이기 위한 z 축 액추에이터; 및 상기 x/y 축 액추에이터와 상기 z 축 액추에이터를 구동하는 구동부를 포함하고, 상기 구동부는 좌측 쉴드 픽셀(Left Shield Pixel)의 값과 우측 쉴드 픽셀(Right Shield Pixel)의 값을 기초로 상기 x/y 축 액추에이터와 상기 z 축 액추에이터를 구동할 수 있는 이미지 안정화 기능을 갖는 카메라 모듈을 제공한다.
프레임에는 노멀 픽셀과 쉴드 픽셀이 각 행마다 교대로 배치되고, 상기 쉴드 픽셀이 배치되는 행에는 상기 좌측 쉴드 픽셀과 상기 우측 쉴드 픽셀이 교대로 배치될 수 있다.
상기 구동부는 상기 좌측 쉴드 픽셀과 상기 우측 쉴드 픽셀의 주위에 위치한 일정 개수의 상기 노멀 픽셀 값을 함께 이용하여 상기 x/y 축 액추에이터를 구동할 수 있다.
상기 구동부는 상기 좌측 쉴드 픽셀의 값과 상기 우측 쉴드 픽셀의 값을 이용하여 x/y 축 움직임에 따른 차이 값과 z 축 움직입에 따른 차이 값을 계산하는 계산부; 상기 계산부에서 계산된 각각의 상기 차이 값에 따라 상기 이미지 센서를 움직여야 하는 움직임 값을 디지털 값으로 저장하는 룩 업 테이블; 상기 디지털 값을 아날로그 신호로 변환하는 디지털/아날로그 변환부; 및 상기 아날로그 신호에 따라 상기 x/y 축 액추에이터와 상기 z 축 액추에이터를 구동하여 상기 이미지 센서를 이동시키는 드라이버 IC를 포함할 수 있다.
상기 구동부는 이전 프레임과 현재 프레임에서 감지된 상기 좌측 쉴드 픽셀 값의 차이, 및 상기 우측 쉴드 픽셀 값의 차이를 이용하여 상기 x/y 축 액추에이터를 구동할 수 있다.
상기 구동부는 룩 업 테이블(Look Up Table)을 이용하여 상기 x/y 축 액추에이터를 구동할 수 있다. 상기 룩 업 테이블은 이전 프레임과 현재 프레임에서 감지된 상기 좌측 쉴드 픽셀 값의 차이, 및 상기 우측 쉴드 픽셀 값의 차이에 대응하는 상기 x/y 축 액추에이터 구동 값을 저장할 수 있다.
상기 구동부는 상기 좌측 쉴드 픽셀 값과 상기 우측 쉴드 픽셀 값의 위상차(Phase Difference)에 따라 상기 z 축 액추에이터를 구동할 수 있다.
실시예에 따른 카메라 모듈과 이를 이용한 자동 초점 검출 방법은 위상차 검출 방식의 초점 조정 방식과 컨트라스트 자동 초점 조정 방식을 동시에 사용하고 초점이 맞는 최종 상태의 렌즈 위치에 대한 AF 코드 값을 지속적으로 업데이트하여 저장함으로써, 광학부의 구동시 부품의 물성 변화 또는 사용 환경 변화에 부합한 초점 값을 구할 수 있어 고해상도의 영상을 얻을 수 있다.
그리고, 자이로 센서와 홀 센서 등 물리적 센서를 사용하지 않고도 손떨림을 감지하여 이미지 안정화 기능을 수행할 수 있으므로, 카메라 모듈의 구조가 단순화되고, 제작 비용을 절감할 수 있으며, 카메라 모듈의 소형화/경량화가 유리해진다.
또한, 쉴드 픽셀(Shield Pixel)의 쉴드 영역으로 인해 외부 광량에 의한 포화(Saturation) 가능성이 낮아짐으로써, 카메라 모듈의 안정적인 동작이 가능해진다.
도 1은 일 실시예의 카메라 모듈에 대한 블록도를 나타낸 도면이다.
도 2는 일 실시예의 카메라 모듈에 대한 단면도이다.
도 3a는 일 실시예의 이미지 센서부에 포함되는 위상차 검출 화소에 대한 도면이다.
도 3b는 위상차 검출 화소에서 생성된 영상 정보의 일 실시예를 나타낸 도면이다.
도 4a 내지 도 4b는 위상차 값과 AF 코드값의 관계를 나타낸 도면이다.
도 5는 일 실시예의 자동 초점 조절 방법의 플로우 차트를 나타낸 도면이다.
도 6은 다른 실시예에 대한 이미지 안정화 기능을 갖는 카메라 모듈을 나타낸 도면이다.
도 7은 좌측 쉴드 픽셀과 우측 쉴드 픽셀을 나타낸 도면이다.
도 8은 이전 프레임과 현재 프레임의 쉴드 픽셀 값을 이용하여 x/y축 제어를 수행하는 예를 나타낸 도면이다.
도 9는 좌측 쉴드 픽셀 값과 우측 쉴드 픽셀 값의 위상차를 이용하여 z축 제어를 수행하는 예를 나타낸 도면이다.
도 10은 실시예에 따른 카메라 모듈을 나타낸 도면이다.
이하 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 실시예를 첨부한 도면을 참조하여 설명한다.
본 발명에 따른 실시예의 설명에 있어서, 각 element의 “상(위) 또는 하(아래)(on or under)”에 형성되는 것으로 기재되는 경우에 있어, 상(위) 또는 하(아래)(on or under)는 두 개의 element가 서로 직접(directly) 접촉되거나 하나 이상의 다른 element가 상기 두 element 사이에 배치되어(indirectly) 형성되는 것을 모두 포함한다. 또한 “상(위) 또는 하(아래)(on or under)”로 표현되는 경우 하나의 element를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.
또한, 이하에서 이용되는 “제1” 및 “제2”, “상/상부/위” 및 “하/하부/아래” 등과 같은 관계적 용어들은 그런 실체 또는 요소들 간의 어떠한 물리적 또는 논리적 관계 또는 순서를 반드시 요구하거나 내포하지는 않으면서, 어느 한 실체 또는 요소를 다른 실체 또는 요소와 구별하기 위해서만 이용될 수도 있다.
도 1은 일 실시예의 카메라 모듈의 구성을 나타낸 블록도이다.
일 실시예의 카메라 모듈은 광학부(110), 이미지 센서부(130), 영상 정보 처리부(150), 메모리부(160) 및 제어부(170)를 포함할 수 있다.
또한, 일 실시예의 카메라 모듈은 광학부(110)를 구동시키는 구동부(120)를 더 포함할 수 있다.
도 2는 일 실시예의 카메라 모듈에 대한 단면을 개략적으로 나타낸 도면이다.
도 1 내지 도 2에 도시된 카메라 모듈에서 광학부(110)는 피사체에 대한 영상을 획득하기 위하여 외부로부터 입사되는 빛을 흡수하여 이미지 센서부(130)로 출력하도록 할 수 있다.
광학부(110)는 적어도 하나의 렌즈를 포함할 수 있고 광학부의 적어도 하나의 렌즈를 통하여 획득된 광 신호는 이미지 센서부(130)로 전달될 수 있다.
도 2를 참조하면, 일 실시예에 포함되는 광학부(110)는 복수의 렌즈(10a, 10b, 10c, 10d)가 적층되어 배치된 렌즈부(10)와, 적어도 하나의 렌즈를 안착시키고 또한 렌즈의 위치가 조절되도록 하는 보빈(30)을 포함할 수 있다.
또한, 도 2의 도시를 참조하면, 복수의 렌즈(10a 내지 10d)가 보빈(30)에 직접 고정되는 것으로 표시되고 있으나, 적어도 하나의 렌즈로 구성되는 렌즈부(10)를 별도의 렌즈 배럴(미도시)에 고정할 수 있으며, 렌즈 배럴(미도시)은 보빈(30)에 포함되도록 배치될 수 있다.
보빈(30)에 고정된 적어도 하나의 렌즈(10)는 광축 방향, 즉 도면에서 상하 방향으로 위치가 변화되도록 조정되어, 광학부(110)에서 획득한 광 신호로부터 형성되는 영상의 초점을 조절할 수 있다.
광학부(110)에 포함되는 적어도 하나의 렌즈(10a 내지 10d)는 포커스 렌즈 또는 줌 렌즈 등일 수 있다. 또한, 광학부(110)에 포함되는 복수의 렌즈(10a 내지 10d) 중 적어도 하나는 이미지 센서부(130)로 광을 집광시키는 것일 수 있다.
이때 적어도 하나의 렌즈(10a 내지 10d)는 피사체의 한 지점에서부터 많은 양의 빛을 끌어들이고, 끌어드린 빛을 한 지점으로 모을 수 있도록 입사된 빛을 굴절시키는 것일 수 있다.
이렇게 한 지점으로 모아진 빛은 하나의 상을 맺히게 할 수 있으며, 이미지 센서부(130)에서 한 점으로 모아져서 하나의 이미지가 형성될 경우 피사체는 렌즈의 초점거리에 위치하는 것이라고 할 수 있다. 이와 달리, 이미지 센서부(130)에서 얻어진 이미지가 위상차가 있는 두 개의 이미지로 형성될 경우 촬영된 영상은 디포커싱된 영상으로 렌즈를 초점거리에 위치하도록 하기 위하여 광학부의 위치를 이동시키는 초점 조정을 필요로 한다.
또한, 도면에서 4개의 렌즈(10a 내지 10d)를 도시하고 있으나, 광학부(110)를 구성하는 렌즈의 개수는 이에 한정하지 않으며, 광학부(110)에는 단수 또는 복수의 렌즈가 배치될 수 있다.
적어도 하나의 렌즈(10a 내지 10d)는 순차적으로 적층되어 배치될 수 있으며, 적어도 하나의 렌즈들(10a 내지 10d) 사이에는 스페이서(미도시)가 배치될 수 있다. 스페이서는 복수의 렌즈들(10a 내지 10d) 사이를 이격시켜, 렌즈들(10a 내지 10d) 사이의 간격을 유지시킬 수 있다.
광학부(110)에 포함된 적어도 하나의 렌즈(10a 내지 10d)는 구동부(120)에 의하여 위치가 조절될 수 있다. 즉, 광학부(110)는 구동부(120)에 의하여 위치가 변화될 수 있다.
구동부(120)는 광학부(110)에 포함되는 적어도 하나의 렌즈의 위치를 조절할 수 있는 액추에이터 모듈(Actuator Module)을 포함하는 것일 수 있다. 액추에이터 모듈은 카메라 모듈에서 AF(Auto Focusing) 기능을 수행하는 것일 수 있다.
도 2를 참조하면, 액추에이터 모듈은 VCM(Voice Coil Motor, 121), VCM과 상호 작용하는 마그네트(magnet, 123) 및 탄성부재(125)를 포함할 수 있다. 이때 탄성부재(125)는 렌즈가 고정되는 보빈(30)과 연결되어 배치될 수 있다.
예를 들어, 탄성부재(125)는 광학부(110)를 둘러싸고 배치되는 하우징부(115)와 광학부(110)를 서로 연결하도록 배치될 수 있으며, 탄성부재(125)는 스프링(Spring) 기반 또는 볼(Ball) 기반으로 형성될 수 있다.
이러한 탄성부재(125)는 광학부(110)의 위치가 변경되는 것에 따라 늘어나거나 줄어드는 탄성 운동을 하게 된다. 한편, 카메라 모듈의 사용 횟수가 증가되어 초점 조정 횟수가 늘어날수록 광학부(110)에 연결된 탄성부재의 사용이 많아지게 되며, 탄성부재의 탄성값은 초기에 촬상 장치에 장착된 때의 탄성값과 비교하여 변화가 생길 수 있다.
이미지 센서부(130)는 광학부(110)로부터 입력되는 광 신호를 변환하여 영상 정보를 생성할 수 있다. 이미지 센서부(130)에서 생성되는 영상 정보는 피사체에 대한 영상 정보일 수 있으며, 예를 들어, 피사체에 대한 촬영 영상 획득 시 생성되는 영상 정보는 피사체의 이미지 영상 정보와 촬영된 피사체에 대한 영상의 초점 조정에 사용되는 초점 조정 영상 정보를 포함할 수 있다.
이미지 센서부(130)는 광학부(110)를 통하여 입사된 피사체의 광학 정보를 수신하여 전기 신호로 광전 변환할 수 있다. 이미지 센서부(130)는 CCD(Charge-Coupled Device) 센서 또는 CMOS(Complementary Metal-Oxide-Semiconductor) 센서일 수 있다.
도 2에 도시된 일 실시예의 카메라 모듈(100)에서 이미지 센서부(130)는 복수의 촬상용 화소를 포함하는 광 필터층(133), 쉴드 영역을 갖는 픽셀 그룹을 포함하는 차광 마스크층(131) 및 광 필터층과 차광 마스크층을 통과한 광 신호를 전기적 신호로 변환하는 포토 다이오드층(135)을 포함할 수 있다.
광 필터층(133)은 복수의 촬상용 화소(pixel)를 포함할 수 있으며, 촬상용 화소는 피사체에 대한 이미지를 생성하기 위한 이미지 화소일 수 있다. 또한, 광 필터층의 촬상용 화소는 컬러(color) 화소일 수 있다.
즉, 촬상용 화소는 R(Red), G(Green), B(Blue) 화소 중 어느 하나일 수 있으며, 광 필터층(133)은 이러한 촬상용 화소가 격자 형태로 이웃하여 배치된 형태를 갖는 것일 수 있다.
차광 마스크층(131)은 광학부(110)에서 입력되는 광 신호로부터 위상차 자동 초점 조정 방식을 이용한 초점 조절에 사용되는 영상 정보를 얻기 위하여 일측에 편향된 쉴드 영역을 갖는 제1 화소그룹과 타측에 편향된 쉴드 영역을 갖는 제2 화소그룹을 포함할 수 있다.
도 3a는 차광 마스크층에 포함되는 일 실시예의 제1 화소그룹(20A)과 제2 화소그룹(20B)을 나타낸 도면이다.
이때, 제1 화소그룹(20A)과 제2 화소그룹(20B)은 위상차 검출 화소일 수 있다.
또한, 제1 화소그룹의 쉴드 영역(20A-1)과 제2 화소그룹의 쉴드 영역(20B-1)은 화소의 중심을 지나는 수직선 또는 수평선을 기준으로 서로 대칭되어 배치되는 것일 수 있다.
차광 마스크층(131)은 메탈 마스크로 구현될 수 있으며, 차광 마스크층(131)의 제1 화소그룹과 제2 화소그룹은 빛을 입사시킬 수 있는 개구부와 빛이 차단되는 쉴드 영역을 가질 수 있다.
동일한 피사체에 대하여 영상 촬영시 광학부(110)가 초점 거리 위치에 있지 않은 경우, 이미지 센서부 마스크층을 통하여 입력된 광 신호는 두 개의 영상 정보를 생성할 수 있다.
한편, 두 개의 영상은 이미지 센서부의 마스크층(131)을 통과하여 제공되는 영상일 수 있다. 즉, 두 개의 영상은 서로 대칭되는 마스크층의 쉴드 영역을 통과하여 공급되는 피사체의 광 신호에 대하여 얻어진 영상으로 하나의 피사체에 대하여 동 분할(Pupil Division) 방법으로 획득되는 영상들일 수 있다.
도 3b는 이미지 센서부의 마스크층을 통과하여 생성된 영상 정보의 일 예를 나타낸 도면이다.
예를 들어, 도 3b에서 (a)는 도 3a의 제1 화소그룹(20A)을 통과한 광 신호에 대한 영상 정보이고 (b)는 도 3b의 제2 화소그룹(20B)을 통과한 광 신호에 대한 영상 정보일 수 있다.
도 3b를 참조할 때, 서로 대응되는 동일한 광량(Intensity)을 갖는 두 개의 지점 사이의 거리인 픽셀 차(d)가 위상차(phase difference) 값일 수 있다.
즉, 위상차 값은 광학부(110)가 피사체로부터 초점 거리에 있지 않는 경우 광학부(110)에서 획득된 초점이 맞지 않은 영상(defocusing image)으로부터 추출될 수 있다.
예를 들어, 이때 위상차 값은 광학부(110)에서 촬영된 피사체의 영상이 상기 이미지 센서부(130)를 통하여 한 쌍의 위상차 검출 화상으로 분할되어 획득될 때, 동일한 피사체를 촬영하여 동시에 획득된 두 개의 영상 간의 위상차일 수 있다.
한편, 도면에 도시되지는 않았으나 이미지 센서부의 다른 실시예에서 광 필터층은 복수의 촬상용 화소와 위상차 검출 화소가 동시에 포함되는 것일 수 있다. 즉, 일 실시예의 이미지 센서부는 복수의 촬상용 화소와 위상차 검출 화소를 포함한 광 필터층과, 광 필터층을 통과한 광 신호를 전기적 신호로 변환하는 포토 다이오드층을 포함하여 구성될 수 있다.
이미지 센서부(130)에서 변환된 전기적 신호로부터 생성된 영상 정보는 복수의 촬상 화소를 통과한 광학 신호를 처리한 영상 정보와 마스크층의 위상차 검출 화소를 통과한 광학 신호를 처리한 영상 정보로부터 위상차 값을 추출한 정보를 포함할 수 있다.
이미지 센서부(130)에서 생성된 이러한 영상 정보는 영상 정보 처리부(150)로 전달될 수 있다.
예를 들어, 영상 정보 처리부(150)는 이미지 센서부(130)에서 공급되는 복수의 촬상 화소의 전기적 신호로부터 촬상된 화상의 영상 정보를 생성하고, 광 필터층의 위상차 검출 화소의 전기적 신호에 의거하여 초점 조정용 영상 정보를 연산하여 추출할 수 있다.
즉, 영상 정보 처리부(150)는 이미지 센서부(130)에서 전달된 영상 정보로부터 촬영된 영상의 초점을 조정하기 위한 초점 조정 영상 정보를 추출하는 것일 수 있다.
초점 조정 영상 정보는 광학부(110)가 피사체로부터 초점 거리에 있지 않는 경우 광학부(110)에서 획득된 초점이 맞지 않은 영상(defocusing image)으로부터 추출된 위상차(phase difference) 값일 수 있다.
영상 정보 처리부(150)는 이미지 센서부(130)에서 공급된 전기적 신호로부터 영상 정보를 생성하고 생성된 정보를 영상 정보 출력부(190)에서 화상으로 출력되도록 공급할 수 있다.
또한, 영상 정보 처리부(150)에서 추출된 초점 조정 영상 정보는 제어부(170)로 전달될 수 있다.
예를 들어, 영상 정보 처리부(150)에서 연산되어 추출된 초점 조정 영상 정보인 위상차 값은 제어부(170)로 전달되고, 추출된 위상차 값에 상응하는 광학부(110)의 이동량은 후술하는 메모리부(160)에 저장된 데이터 값으로부터 추출되어 제어부(170)로 전달될 수 있다.
제어부(170)는 광학부(110)를 이동시키는 구동 신호를 생성할 수 있다.
이때, 생성된 구동 신호는 영상 정보 처리부(150)에서 공급되는 초점 조정 영상 정보에 상응한 메모리부(160)의 저장된 데이터값일 수 있으며, 메모리부(160)에 저장된 AF 코드값에 따라 광학부(110)를 초점 위치로 조절하기 위하여 필요한 이동 거리를 전달하는 신호일 수 있다.
예를 들어, 제어부(170)에서 생성된 구동 신호는 구동부(120)로 전달되고, 구동부(120)는 전달된 구동 신호에 따라 광학부(110)를 이동시킬 수 있다. 즉, 광학부(110)에 포함된 적어도 하나의 렌즈의 위치가 구동 신호에 따라 조절됨으로써 광학부(110)를 통하여 획득되는 영상 정보의 초점이 조절될 수 있다.
또한, 제어부(170)는 위상차 초점 조정 방식으로 광학부(110)를 제어하는 제1 AF 제어부와 컨트라스트 초점 조정 방식으로 광학부를 제어하는 제2 AF 제어부를 포함할 수 있다.
일 실시예의 카메라 모듈에서는 제1 AF 제어부에 의하여 제어되는 위상차 자동초점 조정 방식과 제2 AF 제어부에 의하여 제어되는 컨트라스트 자동초점 조정 방식 중 적어도 하나의 방법에 의하여 촬영 영상의 초점이 조절될 수 있다.
즉, 상술한 두 종류의 자동 초점 조정 방식이 동시에 사용되거나 또는 적어도 하나의 자동초점 조정 방식이 사용될 수 있으며, 제1 AF 제어부 또는 제2 AF 제어부 중 적어도 하나의 제어부에 의하여 구동부(120)로 전달되는 구동신호가 생성될 수 있다.
한편, 일 실시예의 카메라 모듈은 초점 조정에 사용되는 AF(Auto Focusing) 코드값을 저장한 메모리부(160)를 포함할 수 있다.
메모리부(160)에는 초점 조정 영상 정보인 기준 위상차 값과 이에 매칭되는 AF 코드(Auto Focus Code) 값이 룩업 테이블(look-up table) 형태로 저장될 수 있다.
예를 들어, AF 코드값은 기준 위상차 값에 따른 광학부의 위치를 코드 값으로 나타낸 것일 수 있다. 또한, AF 코드값은 초점 영상을 얻기 위하여 필요한 광학부(110)의 이동량에 대한 데이터값일 수 있다.
즉, 광학부(110)를 통하여 촬영되어 획득된 영상이 초점이 맞지 않은 디포커싱(defocusing) 영상일 경우, 디포커싱 영상에 대하여 영상 정보 처리부(150)에서 위상차 값이 추출될 수 있다.
다음으로, 추출된 위상차 값에 상응한 AF 코드값을 메모리부(160)에서 검출하고, 메모리부에서 검출된 AF 코드값에 따라 제어부(170)에서 구동 신호를 생성하고, 생성된 구동 신호에 따라 광학부(110)의 위치가 조정되어 초점이 맞는 초점 영상(On focused Image)을 얻을 수 있다.
일 실시예의 카메라 모듈에서 메모리부(160)에 저장된 AF 코드값은 업데이트되어 저장되는 값일 수 있다.
즉, 메모리부에 저장된 AF 코드값은 촬상 장치에서 자동 초점 조정을 시행하여 최종 초점 영상(On focused Image)을 획득한 이후의 변화된 AF 코드값으로 업데이트되어 저장되는 값일 수 있다.
예를 들어, 업데이트 되어 저장되는 AF 코드값은 광학부를 통하여 획득된 영상에 대하여 위상차 자동 초점 방식과 컨트라스트 자동 초점 방식을 이용하여 초점 조정을 하여 얻어진 최종 초점 영상에서의 AF 코드값일 수 있다.
이때, 업데이트 되는 AF 코드값은 초점 위치에 대응되는 일 지점에서의 AF 코드값인 위상차 0인 경우의 AF 코드값일 수 있다. 하지만, 실시예는 이에 한정하지 않으며, 메모리부에 저장된 AF 코드값 전체가 일정한 비율로 업데이트 되어 저장될 수 있다.
즉, 기준이 되는 위상차 값이 0인 경우의 AF 코드값의 변화량만큼을 메모리부에 기 저장된 AF 코드값 전체에 반영하여 변화된 새로운 AF 코드값으로 저장하여 보관할 수 있다.
메모리부(160)는 EEPROM(Electrically erasable programmable read-only memory) 또는 플래시 메모리(Flash memory)일 수 있다. 즉, 메모리부(160)의 저장된 데이터 값은 새롭게 업데이트 되는 데이터값으로 변환되어 저장될 수 있다.
도 4a 내지 도 4b는 위상차 값에 대한 AF 코드값의 관계를 나타낸 것이다.
도 4a 내지 도 4b에서 X축은 AF 코드값이고, Y축은 위상차 값을 나타내는 것일 수 있으며, 도 4a 내지 도 4b의 그래프는 위상차 값과 그에 대응하는 AF 코드값을 나타낸 것이다.
도 4a는 카메라 모듈의 사용 초기에서의 위상차 값과 AF 코드의 관계를 나타낸 것일 수 있다. 즉, 영상 정보 처리부에서 연산되어 추출된 위상차 값으로부터 해당되는 지점의 AF 코드값을 그래프에서 찾을 수 있고, 제어부에서는 해당 AF 코드값과 위상차 값이 0인 경우의 AF 코드값의 차이를 계산하여, AF 코드의 차이에 해당하는 값을 기초로 광학부를 이동시키기 위한 구동신호를 생성할 수 있다.
제어부에서 생성된 구동신호는 구동부에 전달되고 전달된 구동신호에 따라 구동부는 광학부를 이동시켜 초점이 맞는 영상을 얻을 수 있다.
도 4b는 자동 초점 조절에 의한 영상 획득 횟수에 따른 AF 코드값의 변화를 나타낸 도면이다.
도 4b를 참조하면, 도면에서 (a)그래프는 카메라 모듈의 사용초기에서의 위상차 값에 대한 AF 코드값의 관계를 나타낸 것이고, (b)그래프는 5000회 이상 촬상 장치를 사용한 경우에서의 위상차 값에 대한 AF 코드값의 관계를 나타낸 것이며, (c)그래프는 10000회 이상 카메라 모듈을 사용한 경우에서의 위상차 값에 대한 AF 코드값의 관계를 나타낸 것이다.
도 4b에 도시된 바와 같이, 카메라 모듈에서의 영상 촬영 횟수가 늘어날수록 초기의 AF 코드값과 위상차 값의 관계에서 벗어난 정도가 커지는 것을 알 수 있다.
따라서, 카메라 모듈의 메모리부에 초기에 저장된 AF 코드값은 구동부에 포함되는 탄성부재의 초기 탄성값에 기초한 것이므로, 카메라 모듈의 초점 조절 횟수가 늘어날수록 탄성 부재의 탄성값의 변화가 생길 수 있어 초기 저장된 AF 코드값에 따를 경우 정확한 초점 위치로 광학부가 이동되지 않을 수 있다.
한편, 일 실시예의 카메라 모듈의 경우 자동 초점 조절을 통하여 얻어진 초점 영상에서의 광학부의 위치를 센싱하고 이로부터 역으로 AF 코드값을 연산하여 새로운 AF 코드값으로 메모리부에 업데이트 되도록 할 수 있다.
즉, 실시예의 카메라 모듈은 메모리부에 저장된 AF 코드값이 최종 초점 영상에서의 AF 코드값으로 매회 업데이트 되도록 하여, 사용 횟수에 따라 탄성부재의 물성이 변경된 경우에도 업데이트 된 AF 코드값을 기초로 광학부를 이동시킴으로써 정확한 초점 영상을 획득할 수 있다.
도 1 내지 도 2에 도시된 일 실시예의 카메라 모듈의 경우 이미지 센서부(130)에서 변환된 전기적 신호에서 초점 조정 영상 정보를 추출하고, 추출된 초점 조정 영상 정보로부터 위상차 자동 초점 조정 방식과 컨트라스트 자동 초점 조정 방식 중 적어도 하나의 방식을 이용하여 초점 조절을 함으로써 최종의 초점 영상을 획득할 수 있다.
또한, 최종 초점 영상을 획득한 때의 광학부의 위치로부터 새로운 AF 코드값을 추출하여 메모리부에 새로운 데이터값으로 연속적으로 업데이트함으로써, 사용횟수와 사용환경에 관계없이 정확한 자동 초점 조정을 수행할 수 있어 고품질의 영상을 얻을 수 있다.
다른 실시예는 도 1 내지 도 2를 참조하여 상술한 일 실시예의 카메라 모듈을 이용한 자동 초점 조절 방법일 수 있다.
도 5는 일 실시예의 자동 초점 조절 방법을 나타낸 플로우 차트이다.
도 5를 참조하면, 상술한 실시예의 카메라 모듈을 이용한 일 실시예의 자동 초점 조절 방법은 광학 정보를 획득하는 단계(S1100), 획득한 광학 정보를 전기적 신호로 변환하는 단계(S1200), 전기적 신호로부터 위상차 값을 연산하는 단계(S1300), 위상차 값에 상응한 AF 코드값을 추출하는 단계(S1400), 추출된 AF 코드값과 기준 AF 코드값의 차이가 임계값 이하인지 판단하는 단계(S1500), AF 코드값에 상응하여 위상차 자동초점 조정 또는 컨트라스트 자동초점 조정 중 적어도 하나의 방법에 따라 적어도 하나의 렌즈를 초점 거리 위치로 조절하는 단계를 포함할 수 있다.
이때, 적어도 하나의 렌즈를 초점 거리 위치로 조절하는 단계는 컨트라스트 자동 초점 조절 방법을 이용한 미세 초점 조정을 하는 단계(S1600)를 포함할 수 있다.
미세 초점 조정을 하는 단계(S1600)는 광학부의 적어도 하나의 렌즈를 초점 거리 위치로 조절하는 단계일 수 있으며, 적어도 하나의 렌즈가 미세 조정됨으로써 초점이 맞는 새로운 촬영 영상을 광학부로부터 획득할 수 있다.
일 실시예의 자동 초점 조정 방법에 있어서, 미세 초점 조정 단계(S1600) 이후에 촬영된 영상을 출력하는 단계(1700)가 포함될 수 있다.
또한, 미세 초점 조정 단계(S1600) 이후에 촬영된 영상의 최종 AF 코드값을 메모리부에 업데이트 하는 단계(S1750)가 포함될 수 있다.
일 실시예의 자동 초점 조정 방법에 있어서, 추출된 AF 코드값과 기준 AF 코드값의 차이가 임계값 이하인지 판단하는 단계(S1500)는 광학부를 초점 거리 위치로 이동시키기 위한 AF 코드값의 편차가 임계값 이하인지를 판단하는 단계일 수 있다.
즉, 추출된 AF 코드값은 촬영된 영상에서의 위상차 값에 상응하여 메모리부에서 추출된 AF 코드값일 수 있고, 기준 AF 코드값은 위상차 값이 0이 되는 위치에 상응하는 AF 코드값일 수 있으며, 임계값은 미세 초점 조정을 하기 위하여 만족되어야 하는 AF 코드값의 편차 범위일 수 있다.
예를 들어, 추출된 AF 코드값과 기준 AF 코드값의 편차가 임계값 이하인지 판단하는 단계(S1500)는 추출된 AF 코드값이 a이고, 기준 AF 코드값이 b, 임계값이 c라고 할 때, a와 b의 차이값의 절대값이 임계값 c 이하인지를 판단하는 단계일 수 있다.
이때, 실시예의 카메라 모듈의 영상 정보 처리부에서 추출된 촬영된 영상의 위상차 값에 대응하는 AF 코드값이 a이고, 위상차 값이 0이 되는 초점 위치에서 대응하는 기준 AF 코드값이 b일 수 있다. 한편, 임계값 c는 10 이하일 수 있다.
예를 들어, AF 코드값의 편차(|a-b|)가 10 이하인 경우 이미지 센서부의 마스크층을 통과하여 얻어진 영상에서 획득된 두 개의 이미지에서 추출된 위상차 값은 위상차 자동 초점 조정 방식에 의하여 초점 조정을 할 수 있는 위상차 값보다 작은 값일 수 있다.
즉, 이 경우 획득된 두 개 이미지의 위상차가 크지 않아 위상차 자동 초점 방식에 의하여 초점 조절을 할 경우 정확한 초점 위치를 찾는 것이 어려울 수 있으므로, 위상차 자동 초점 조정 방식만으로 정확한 초점 위치를 조절할 수 없다.
AF 코드값의 차이가 임계값 이하로 판단된 경우, 즉 |a-b|≤c 일 때 적어도 하나의 렌즈를 초점 거리 위치로 조정하는 단계는 컨트라스트 자동 초점 조정 방식에 따라 미세 초점 조절하는 단계일 수 있다.
또한, AF 코드값의 차이가 임계값보다 크다고 판단된 경우, 즉 |a-b|>c 일 때, 적어도 하나의 렌즈를 초점 거리 위치로 조정하는 단계는 위상차 자동 초점 조정 방식에 따라 AF 코드값의 차이가 임계값 이하가 되는 제1 초점 위치로 광학부를 이동시키는 단계와 컨트라스트 자동 초점 조정 방식에 따라 제1 초점 위치에서 제2 초점 위치로 미세 초점 조절하는 단계를 포함할 수 있다.
즉, 실시예의 자동 초점 조절 방법은 위상차 자동 초점 조절 방식에 의하여 초점의 어긋남 량인 위상차 값을 추출하여 이에 대응되는 AF 코드값을 찾아 대략적인(Rough) 초점 위치인 제1 초점 위치로 광학부의 렌즈를 이동시키는 단계와 이후, 컨트라스트 자동 초점 조절 방식에 의하여 미세 초점 조정을 통하여 정확한 초점 위치인 제2 초점 위치로 광학부의 렌즈를 이동시키는 단계를 포함하여 이루어질 수 있다.
한편, 추출된 위상차 값에서의 AF 코드값과 기준 AF 코드값의 차이가 임계값 이하일 때는 컨트라스트 자동 초점 조절 방식에 의한 초점 조절 단계만 포함될 수 있으며, 이때 자동 초점 조절에 의하여 이동된 광학부의 최종 위치는 위상차 값이 0인 정확한 초점 위치일 수 있다.
미세 초점 조정에 의하여 광학부가 이동된 후 이동된 최종 위치에서의 AF 코드값은 위상차 값이 0일 때의 새로운 AF 코드값으로 업데이트 되어 메모리부에 저장될 수 있다.
따라서, 일 실시예의 자동 초점 조절 방법의 경우 초점이 맞은 상태에서의 최종 초점 거리 위치에서의 AF 코드값을 지속적으로 메모리부에 업데이트하여 저장 하도록 하여, 카메라 모듈의 구동부의 상태 변화에 관계없이 초점 정확성을 향상시킬 수 있고, 위상차 자동 초점 조정 방식과 컨트라스트 자동 초점 조정 방식을 동시에 사용하여 자동 초점 조절을 함으로써 빠른 시간 내에 정확한 초점을 찾을 수 있다.
이하 상술한 카메라 모듈을 포함한 단말기의 일 실시예에 대하여 다음과 같이 설명하지만, 실시예는 이에 국한되지 않는다.
단말기는 실시예의 카메라 모듈을 정면에 배치하거나 또는 후면에 배치할 수 있다.
예를 들어, 실시예의 카메라 모듈을 포함하는 단말기는 휴대용 단말기일 수 있으나, 실시예는 이에 한정하지 않으며, 상술한 실시예의 카메라 모듈은 고정형 단말기에도 제공될 수 있다.
단말기의 카메라 모듈에서 획득한 피사체의 영상은 휴대용 단말기의 디스플레이부에 표시될 수 있다.
디스플레이부는 획득된 영상을 사용자가 확인할 수 있도록 표시하는 장치일 수 있으며, 휴대용 단말기의 전면에 배치될 수 있다. 디스플레이부는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode) 등이 포함될 수 있으나, 이에 한정하지 않는다.
또한, 실시예의 카메라 모듈을 이용하여 획득한 영상은 휴대용 단말기의 다른 기능에 이용되도록 제공될 수 있다.
한편, 실시예의 카메라 모듈에 포함되는 메모리부의 경우 휴대용 단말기의 메모리 중 일부가 이를 대체할 수 있으며, 예를 들어, AF 코드값은 휴대용 단말기의 메모리에 저장될 수도 있다.
실시예의 휴대용 단말기의 경우 일 실시예의 카메라 모듈을 포함함으로써, 위상차 초점 조정 방식과 컨트라스트 초점 조정 방식을 이용하여 정확하고 용이하게 초점을 조절할 수 있으며, 카메라 모듈의 사용 횟수나 사용 환경이 변화된 경우에도 정확한 초점 조절을 할 수 있어 고품질의 영상을 획득하는 효과를 가질 수 있다.
도 6은 다른 실시예에 대한 이미지 안정화 기능을 갖는 카메라 모듈을 나타낸 도면이다.
도 6을 참조하면, 다른 실시예에 따른 이미지 안정화 기능을 갖는 카메라 모듈(200: 이하, 카메라 모듈이라 함)은 이미지 센서(210), 구동부(220), x/y 축 액추에이터(230), z 축 액추에이터(240)를 포함하여 이루어지며, 촬영 도중 손떨림에 의한 이미지 훼손을 방지한다.
도 6에 도시된 실시예는 카메라 모듈(200)의 특징을 설명하기 위해 필요한 요소만을 도시한 것으로서, 카메라 모듈(200)은 그 이외에도 필요에 따라 얼마든지 다양하게 구성될 수 있다.
이미지 센서(210)는 그 용어에 관계없이 손떨림에 의한 이미지 훼손을 방지하기 위하여 액추에이터(Actuator, 230, 240)에 의해 움직이는 요소를 의미한다. 예를 들어, 이미지 센서(210)는 렌즈일 수도 있고, CCD(Charge Coupled Device)나 CMOS(Complementary Metal-Oxide Semiconductor)와 같이 이미지를 감지하는 요소일 수도 있다. 이러한 이미지 센서(210)를 상/하/좌/우로 이동시켜 광축으로부터 벗어난 이미지를 원래 위치로 복귀시키게 된다.
x/y 축 액추에이터(230)는 이미지 센서(210)를 x축과 y축으로 움직이기 위한 것이고, z 축 액추에이터(240)는 이미지 센서(210)를 z 축으로 움직이기 위한 것으로서, 이미지 센서(210)는 하나 이상의 요소일 수 있다. 즉, x/y 축 움직임을 위한 이미지 센서 요소와 z 축 움직임을 위한 이미지 센서 요소는 개별적으로 구비될 수 있으며, 이 경우 x/y 축 액추에이터(230)와 z 축 액추에이터(240)는 각각 해당 이미지 센서 요소를 움직이도록 구성된다.
구동부(220)는 손떨림을 감지하고, 감지된 상태에 따라 x/y 축 액추에이터(230)와 z 축 액추에이터(240)를 구동한다.
구동부(220)는 손떨림을 감지하기 위하여 종래와 같이 자이로 센서나 홀 센서 등 물리적 센서를 이용하는 것이 아니라, 좌측 쉴드 픽셀(Left Shield Pixel)과 우측 쉴드 픽셀(Right Shield Pixel)의 값을 기초로 손떨림을 판단하며, 판단 결과에 따라 x/y 축 액추에이터(230)와 z 축 액추에이터(240)를 구동한다.
쉴드 픽셀(Shield Pixel)이란 픽셀 중 일정 부분이 광을 감지하지 못하도록 가려진 픽셀을 말한다.
도 7은 좌측 쉴드 픽셀과 우측 쉴드 픽셀을 나타낸 도면이다.
도 7a에 보인 예와 같이 픽셀의 좌측 부분(310-1)이 가려진 픽셀을 좌측 쉴드 픽셀(310)이라 하고, 도 7b에 보인 예와 같이 픽셀의 우측 부분(320-1)이 가려진 픽셀을 우측 쉴드 픽셀(320)이라 하기로 한다. 또한, 일부분이 가려지지 않은 픽셀을 노멀 픽셀(Normal Pixel)이라 하기로 한다.
쉴드 픽셀에서 가려진 부분의 비율은 필요에 따라 다양하게 구성될 수 있다. 예를 들어, 쉴드 픽셀의 절반이 가려지면 해당 쉴드 픽셀이 감지할 수 있는 빛의 양은 노멀 픽셀에 비해 50% 이하가 되므로, 해당 픽셀이 포화 상태가 될 확률도 50% 이하로 줄어든다.
여기서, 어떤 픽셀이 빛에 의해 포화상태가 되면 픽셀 값의 차이를 판별할 수 없어 손떨림을 구분할 수 없게 되는데, 쉴드 픽셀을 사용하여 픽셀이 빛에 의해 포화 상태가 될 확률을 줄여줌으로써 이미지의 안정화를 도모할 수 있다.
쉴드 픽셀의 개수나 위치는 필요에 따라 다양하게 구성될 수 있다.
예를 들어, 노멀 픽셀과 쉴드 픽셀을 각 행마다 교대로 배치하고, 쉴드 픽셀이 배치되는 행에는 좌측 쉴드 픽셀과 우측 쉴드 픽셀을 교대로 배치할 수 있으며, 쉴드 픽셀을 무작위적으로 배치할 수도 있다.
구동부(220)가 쉴드 픽셀을 이용하여 손떨림을 감지하는 방법은 다양하게 구성될 수 있다. 구체적인 예로서, 구동부(220)는 이전 프레임과 현재 프레임에서 좌측 쉴드 픽셀 값의 차이, 및 이전 프레임과 현재 프레임에서 우측 쉴드 픽셀 값의 차이를 이용하여 x/y 축 액추에이터(230)를 구동할 수 있다.
즉, 손떨림이 발생하면 광의 입사각이 달라지고, 입사각이 달라짐에 따라 좌측 쉴드 픽셀과 우측 쉴드 픽셀에 감지되는 빛의 양도 달라지므로, 인접한 프레임 사이에서 좌측 쉴드 픽셀 값의 차이와 우측 쉴드 픽셀 값의 차이를 이용하여 손떨림의 크기나 방향 등을 판단할 수 있다.
도 8은 이전 프레임과 현재 프레임의 쉴드 픽셀 값을 이용하여 x/y축 제어를 수행하는 예를 나타낸 도면이다.
도 8을 참조하면, 구동부(220)는 이전 프레임의 좌측 쉴드 픽셀(310) 값과 현재 프레임의 좌측 쉴드 픽셀(310) 값을 비교하고, 또한 이전 프레임의 우측 쉴드 픽셀(320) 값과 현재 프레임의 우측 쉴드 픽셀(320) 값을 비교한다.
그리고, 비교 결과에 따라 이미지 센서(210)를 x 축과 y 축으로 어느 정도 움직여야 하는지를 결정한 후, 이미지 센서(210)를 결정된 값에 따라 움직이도록 x/y 축 액추에이터(230)를 구동한다.
도 8에는 프레임 이미지의 상단 행에 우측 쉴드 픽셀(320)이 두 개 배치되고, 프레임 이미지의 중간 행에 좌측 쉴드 픽셀(310)이 두 개 배치된 예가 도시되어 있으나, 위에서 설명한 바와 같이 쉴드 픽셀의 개수, 위치, 배치 방법 등은 필요에 따라 다양하게 구성될 수 있다.
구동부(220)는 룩 업 테이블(Look Up Table)을 이용하여 x/y 축 액추에이터(230)와 z 축 액추에이터(240)를 구동할 수 있다.
즉, 룩 업 테이블에 이전 프레임과 현재 프레임에서의 좌측 쉴드 픽셀 값의 차이별 움직임 값, 및 이전 프레임과 현재 프레임에서의 우측 쉴드 픽셀 값의 차이별 움직임 값을 미리 저장해 놓고, 감지된 손떨림 값에 대응하는 움직임 값을 이용하여 x/y 축 액추에이터(230)를 구동할 수 있다.
구동부(220)에 관한 또 다른 실시예로서, 쉴드 픽셀뿐 아니라 노멀 픽셀도 함께 이용하여 손떨림을 감지할 수 있는데, 이 경우 구동부(220)는 좌측 쉴드 픽셀과 우측 쉴드 픽셀의 주위에 위치한 일정 개수의 노멀 픽셀 값을 함께 이용하여 x/y 축 액추에이터(230)를 구동할 수 있다.
도 7c는 좌측 쉴드 픽셀과 인접한 노멀 픽셀(330) 값을 함께 이용하는 예이고, 도 7d는 우측 쉴드 픽셀과 인접한 노멀 픽셀(330) 값을 함께 이용하는 예를 보인 것으로서, 각 노멀 픽셀 값과 쉴드 픽셀 값의 단순 합산, 단순 평균, 가중 평균 등 다양한 방식으로 각 쉴드 픽셀에 대응하는 값을 산출할 수 있다.
그리고, 구동부(220)는 이전 프레임과 현재 프레임에서 각 쉴드 픽셀에 대응하여 산출된 값의 차이를 이용하여 x/y 축 액추에이터(230)를 구동한다.
구동부(220)는 z 축 제어와 관련하여, 동일 프레임의 좌측 쉴드 픽셀 값과 우측 쉴드 픽셀 값의 위상차에 따라 z 축 액추에이터(240)를 구동할 수 있다.
도 9는 좌측 쉴드 픽셀 값과 우측 쉴드 픽셀 값의 위상차를 이용하여 z축 제어를 수행하는 예를 나타낸 도면이다.
도 9는 우측 쉴드 픽셀과 좌측 쉴드 픽셀이 행에 교대로 배치된 예를 보인 것으로서, 구동부(220)는 각 우측 쉴드 픽셀 값에 대응하는 위상(A)과 각 좌측 쉴드 픽셀 값에 대응하는 위상(B)을 구하고, 그 위상차(Phase Difference)에 따라 z 축 액추에이터(240)를 구동하여 z 축 제어를 수행할 수 있다.
도 10은 실시예에 따른 카메라 모듈을 나타낸 도면이다.
도 10은 카메라 모듈(200)의 구동부(220)에 대한 구체적인 실시예를 보인 것으로서, 구동부(220)는 계산부(220-1), 룩 업 테이블(220-2), 디지털/아날로그 변환부(220-3), 및 드라이버 IC(220-4)를 포함하여 구성될 수 있다.
계산부(220-1)는 좌측 쉴드 픽셀 값과 우측 쉴드 픽셀 값을 이용하여 x/y 축 움직임에 따른 차이 값과 z 축 움직임에 따른 차이 값을 계산한다.
위에서 설명한 바와 같이, x/y 축 움직임은 이전 프레임과 현재 프레임의 쉴드 픽셀 값을 모두 이용하기 때문에 현재 프레임의 좌측 쉴드 픽셀 값과 우측 쉴드 픽셀 값을 일시 저장해 둔다.
계산부(220-1)에서 계산된 각 차이 값에 따라 이미지 센서(210)를 움직여야 하는 움직임 값은 룩 업 테이블(220-2)에 디지털 값으로 미리 저장되어 있다.
해당 움직임 값은 디지털/아날로그 변환부(220-3)를 통해 아날로그 신호로 변환되어 드라이버 IC(220-4)로 인가되고, 드라이버 IC(220-4)는 입력되는 아날로그 신호에 따라 x/y 축 액추에이터(230)와 z 축 액추에이터(240)를 구동하여 이미지 센서(210)를 움직임으로써, 손떨림에 따른 보정이 이루어지게 된다.
이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
발명의 실시를 위한 형태는 전술한 "발명의 실시를 위한 최선의 형태"에서 충분히 설명되었다.
실시예에 따른 카메라 모듈은 고해상도의 영상을 얻을 수 있고, 카메라 모듈의 구조가 단순화되어 제작 비용을 절감할 수 있으며, 카메라 모듈의 소형화/경량화할 수 있다.

Claims (20)

  1. 적어도 하나의 렌즈를 포함한 광학부;
    상기 광학부에서 획득한 광 신호를 영상 정보로 변환하는 이미지 센서부;
    상기 변환된 영상 정보에서 초점 조정 영상 정보를 추출하는 영상 정보 처리부;
    AF 코드값을 저장한 메모리부;
    상기 영상 정보 처리부에서 추출된 상기 초점 조정 영상 정보에 상응한 상기 AF 코드값을 검출하여 상기 광학부를 이동시키는 구동신호를 생성하는 제어부; 및
    상기 구동신호에 따라 상기 적어도 하나의 렌즈 위치를 조절하는 구동부를 포함하고,
    상기 AF 코드값은 최종 초점 영상의 AF 코드값으로 업데이트 되는 카메라 모듈.
  2. 제1 항에 있어서, 상기 초점 조정 영상 정보는 상기 변환된 영상 정보의 위상차 값을 포함하는 카메라 모듈.
  3. 제1 항에 있어서, 상기 구동부는 상기 광학부를 광축 방향으로 이동시키는 액추에이터 모듈을 포함하는 카메라 모듈.
  4. 제1 항에 있어서, 상기 제어부는
    위상차 초점 조정 방식으로 상기 광학부를 제어하는 제1 AF 제어부; 및
    컨트라스트 초점 조정 방식으로 상기 광학부를 제어하는 제2 AF 제어부를 포함하는 카메라 모듈.
  5. 제1 항에 있어서, 상기 이미지 센서부는
    복수의 촬상용 화소를 포함하는 광 필터층;
    일측에 편향된 쉴드 영역을 갖는 제1 화소그룹과 타측에 편향된 쉴드 영역을 갖는 제2 화소그룹을 포함한 차광 마스크층; 및
    상기 광 필터층과 상기 차광 마스크층을 통과한 상기 광 신호를 전기적 신호로 변환하는 포토 다이오드층을 포함한 카메라 모듈.
  6. 제5 항에 있어서, 상기 복수의 촬상용 화소는 R(Red), G(Green), B(Blue) 화소 중 어느 하나로 이루어지고, 광 필터층은 상기 복수의 촬상용 화소가 격자 형태로 이웃하여 배치된 형태를 갖는 카메라 모듈.
  7. 제5 항에 있어서, 상기 제1 화소그룹과 상기 제2 화소그룹은 빛을 입사시키는 개구부와 빛을 차단하는 쉴드 영역을 갖는 카메라 모듈.
  8. 제7 항에 있어서, 상기 제1 화소그룹의 쉴드 영역과 상기 제2 화소그룹의 쉴드 영역은 화소의 중심을 지나는 수직선 또는 수평선을 기준으로 서로 대칭되어 배치되는 카메라 모듈.
  9. 제1 항에 있어서, 이미지 센서부는
    복수의 촬상용 화소와 위상차 검출 화소를 포함한 광 필터층; 및
    상기 광 필터층을 통과한 광 신호를 전기적 신호로 변환하는 포토 다이오드층을 포함한 카메라 모듈,
  10. 제1 항에 있어서, 상기 메모리부는 EEPROM 또는 플래시 메모리인 카메라 모듈.
  11. 광학 정보를 획득하는 단계;
    상기 획득된 광학 정보를 전기적 신호로 변환하는 단계;
    상기 전기적 신호로부터 위상차 값을 연산하는 단계;
    상기 위상차 값에 상응한 AF 코드값을 추출하는 단계;
    상기 추출된 AF 코드값과 기준 AF 코드값의 편차가 임계값 이하인지 판단하는 단계;
    상기 추출된 AF 코드값에 상응하여 위상차 자동초점 조절 또는 컨트라스트 자동초점 조정 중 적어도 하나의 방법에 따라 상기 적어도 하나의 렌즈를 초점 거리 위치로 이동하는 단계; 및
    상기 초점 거리 위치에서의 최종 AF 코드값을 상기 메모리부에 업데이트하는 단계를 포함하는 자동 초점 조절 방법.
  12. 제11 항에 있어서, 상기 추출된 AF 코드값과 기준 AF 코드값의 편차가 임계값 이하인 경우,
    상기 적어도 하나의 렌즈를 초점 거리 위치로 이동하는 단계는
    상기 컨트라스트 초점 조정 방식에 따른 미세 초점 거리 조절 단계인 자동 초점 조절 방법.
  13. 제11 항에 있어서, 상기 추출된 AF 코드값과 상기 기준 AF 코드값의 편차가 임계값보다 큰 경우,
    상기 적어도 하나의 렌즈를 초점 거리 위치로 이동하는 단계는
    상기 위상차 초점조정 방식에 따라 상기 추출된 AF 코드값에 상응한 제1 초점 거리로 이동하는 단계; 및
    상기 컨트라스트 초점조정 방식에 따라 상기 제1 초점 거리에서 제2 초점 거리로 미세 초점 거리 조절 단계를 포함하는 자동 초점 조절 방법.
  14. 이미지 센서부;
    상기 이미지 센서부를 x축과 y축 방향으로 움직이기 위한 x/y 축 액추에이터;
    상기 이미지 센서부를 z축 방향으로 움직이기 위한 z 축 액추에이터; 및
    상기 x/y 축 액추에이터와 상기 z 축 액추에이터를 구동하는 구동부를 포함하고,
    상기 구동부는 좌측 쉴드 픽셀(Left Shield Pixel)의 값과 우측 쉴드 픽셀(Right Shield Pixel)의 값을 기초로 상기 x/y 축 액추에이터와 상기 z 축 액추에이터를 구동하는 이미지 안정화 기능을 갖는 카메라 모듈.
  15. 제14 항에 있어서, 프레임에는 노멀 픽셀과 쉴드 픽셀이 각 행마다 교대로 배치되고, 상기 쉴드 픽셀이 배치되는 행에는 상기 좌측 쉴드 픽셀과 상기 우측 쉴드 픽셀이 교대로 배치되는 카메라 모듈.
  16. 제15 항에 있어서, 상기 구동부는 상기 좌측 쉴드 픽셀과 상기 우측 쉴드 픽셀의 주위에 위치한 일정 개수의 상기 노멀 픽셀 값을 함께 이용하여 상기 x/y 축 액추에이터를 구동하는 이미지 안정화 기능을 갖는 카메라 모듈.
  17. 제14 항에 있어서, 상기 구동부는
    상기 좌측 쉴드 픽셀의 값과 상기 우측 쉴드 픽셀의 값을 이용하여 x/y 축 움직임에 따른 차이 값과 z 축 움직입에 따른 차이 값을 계산하는 계산부;
    상기 계산부에서 계산된 각각의 상기 차이 값에 따라 상기 이미지 센서를 움직여야 하는 움직임 값을 디지털 값으로 저장하는 룩 업 테이블;
    상기 디지털 값을 아날로그 신호로 변환하는 디지털/아날로그 변환부; 및
    상기 아날로그 신호에 따라 상기 x/y 축 액추에이터와 상기 z 축 액추에이터를 구동하여 상기 이미지 센서를 이동시키는 드라이버 IC를 포함하는 카메라 모듈.
  18. 제14 항에 있어서, 상기 구동부는 이전 프레임과 현재 프레임에서 감지된 상기 좌측 쉴드 픽셀 값의 차이, 및 상기 우측 쉴드 픽셀 값의 차이를 이용하여 상기 x/y 축 액추에이터를 구동하는 이미지 안정화 기능을 갖는 카메라 모듈.
  19. 제18 항에 있어서, 상기 구동부는 룩 업 테이블(Look Up Table)을 이용하여 상기 x/y 축 액추에이터를 구동하고, 상기 룩 업 테이블은 이전 프레임과 현재 프레임에서 감지된 상기 좌측 쉴드 픽셀 값의 차이, 및 상기 우측 쉴드 픽셀 값의 차이에 대응하는 상기 x/y 축 액추에이터 구동 값을 저장하는 이미지 안정화 기능을 갖는 카메라 모듈.
  20. 제14 항에 있어서, 상기 구동부는 상기 좌측 쉴드 픽셀 값과 상기 우측 쉴드 픽셀 값의 위상차(Phase Difference)에 따라 상기 z 축 액추에이터를 구동하는 이미지 안정화 기능을 갖는 카메라 모듈.
PCT/KR2016/001921 2015-02-26 2016-02-26 카메라 모듈 및 이를 이용한 자동 초점 조절 방법 Ceased WO2016137273A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/553,877 US20180039156A1 (en) 2015-02-26 2016-02-26 Camera Module and Auto-Focus Adjustment Method Using Same

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2015-0026974 2015-02-26
KR1020150027226A KR102310997B1 (ko) 2015-02-26 2015-02-26 이미지 안정화 기능을 갖는 카메라 모듈
KR1020150026974A KR20160104236A (ko) 2015-02-26 2015-02-26 자동 초점 조절 촬상 장치 및 이를 포함하는 단말기와 그 장치를 이용한 자동 초점 조절 방법
KR10-2015-0027226 2015-02-26

Publications (1)

Publication Number Publication Date
WO2016137273A1 true WO2016137273A1 (ko) 2016-09-01

Family

ID=56788870

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/001921 Ceased WO2016137273A1 (ko) 2015-02-26 2016-02-26 카메라 모듈 및 이를 이용한 자동 초점 조절 방법

Country Status (2)

Country Link
US (1) US20180039156A1 (ko)
WO (1) WO2016137273A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220935A (zh) * 2017-05-25 2017-09-29 长光卫星技术有限公司 一种视频卫星在轨视频稳像方法
WO2019221541A1 (ko) * 2018-05-18 2019-11-21 엘지이노텍(주) 카메라 모듈
JP2021074655A (ja) * 2019-11-06 2021-05-20 凸版印刷株式会社 流体チップ及び流体デバイス
WO2022004991A1 (ko) * 2020-07-02 2022-01-06 한화테크윈 주식회사 오토 포커스를 수행하는 이미지 촬영 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102493434B1 (ko) 2018-04-05 2023-01-31 엘지이노텍 주식회사 카메라 모듈 및 이의 동작 방법
KR102902548B1 (ko) * 2020-02-04 2025-12-22 삼성전자주식회사 전자 장치 및 af 수행 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060132940A (ko) * 2004-03-15 2006-12-22 1...리미티드 카메라 오토 포커스
JP2009069170A (ja) * 2007-08-22 2009-04-02 Olympus Imaging Corp 撮影装置および撮影装置の制御方法
KR20100035376A (ko) * 2008-09-26 2010-04-05 삼성디지털이미징 주식회사 위상 차 자동 초점 제어 방법 및 장치
KR20120127903A (ko) * 2011-05-16 2012-11-26 삼성전자주식회사 촬상 소자, 이를 이용한 디지털 촬영 장치, 오토 포커싱 방법, 및 상기 방법을 수행하기 위한 컴퓨터 판독가능 저장매체
KR20130128547A (ko) * 2012-05-17 2013-11-27 엘지이노텍 주식회사 카메라 모듈 및 그의 오토 포커싱 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4845817B2 (ja) * 2007-06-14 2011-12-28 富士フイルム株式会社 撮像装置，レンズユニット，撮像方法及び制御プログラム
US20100245672A1 (en) * 2009-03-03 2010-09-30 Sony Corporation Method and apparatus for image and video processing
JP5734044B2 (ja) * 2011-03-24 2015-06-10 キヤノン株式会社 表示装置および光学機器
JP6055332B2 (ja) * 2013-02-12 2016-12-27 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム
US9338345B2 (en) * 2014-06-13 2016-05-10 Intel Corporation Reliability measurements for phase based autofocus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060132940A (ko) * 2004-03-15 2006-12-22 1...리미티드 카메라 오토 포커스
JP2009069170A (ja) * 2007-08-22 2009-04-02 Olympus Imaging Corp 撮影装置および撮影装置の制御方法
KR20100035376A (ko) * 2008-09-26 2010-04-05 삼성디지털이미징 주식회사 위상 차 자동 초점 제어 방법 및 장치
KR20120127903A (ko) * 2011-05-16 2012-11-26 삼성전자주식회사 촬상 소자, 이를 이용한 디지털 촬영 장치, 오토 포커싱 방법, 및 상기 방법을 수행하기 위한 컴퓨터 판독가능 저장매체
KR20130128547A (ko) * 2012-05-17 2013-11-27 엘지이노텍 주식회사 카메라 모듈 및 그의 오토 포커싱 방법

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220935A (zh) * 2017-05-25 2017-09-29 长光卫星技术有限公司 一种视频卫星在轨视频稳像方法
CN107220935B (zh) * 2017-05-25 2020-07-31 长光卫星技术有限公司 一种视频卫星在轨视频稳像方法
WO2019221541A1 (ko) * 2018-05-18 2019-11-21 엘지이노텍(주) 카메라 모듈
KR20190132126A (ko) * 2018-05-18 2019-11-27 엘지이노텍 주식회사 카메라 모듈
CN112136308A (zh) * 2018-05-18 2020-12-25 Lg伊诺特有限公司 相机模块
US11378814B2 (en) 2018-05-18 2022-07-05 Lg Innotek Co., Ltd. Camera module with controller to move image sensor or lens assembly
KR102510509B1 (ko) * 2018-05-18 2023-03-15 엘지이노텍 주식회사 카메라 모듈
CN112136308B (zh) * 2018-05-18 2023-10-31 Lg伊诺特有限公司 相机模块
JP2021074655A (ja) * 2019-11-06 2021-05-20 凸版印刷株式会社 流体チップ及び流体デバイス
WO2022004991A1 (ko) * 2020-07-02 2022-01-06 한화테크윈 주식회사 오토 포커스를 수행하는 이미지 촬영 장치
US12282204B2 (en) 2020-07-02 2025-04-22 Hanwha Techwin Co., Ltd. Image capturing device for performing autofocus

Also Published As

Publication number Publication date
US20180039156A1 (en) 2018-02-08

Similar Documents

Publication Publication Date Title
WO2016137273A1 (ko) 카메라 모듈 및 이를 이용한 자동 초점 조절 방법
WO2013022235A2 (en) Auto focus adjusting method, auto focus adjusting apparatus, and digital photographing apparatus including the same
WO2015141925A1 (en) Photographing apparatus, method of controlling the same, and computer-readable recording medium
WO2015016619A1 (en) Electronic apparatus, method of controlling the same, and image reproducing apparatus and method
WO2019216676A1 (ko) 카메라 모듈 및 이의 동작 방법
WO2017010745A1 (ko) 렌즈 구동 장치, 카메라 모듈 및 광학기기
WO2018151388A1 (ko) 다축 구조의 반사계 구동장치
WO2020060235A1 (ko) 카메라 장치
WO2020122594A1 (ko) 렌즈 어셈블리 및 이를 포함하는 카메라 모듈
WO2019151700A1 (ko) 카메라 모듈
WO2020141827A1 (ko) 광학계 및 이를 포함하는 카메라 모듈
WO2020153703A1 (ko) 카메라 장치 및 그의 오토포커싱 방법
WO2017014404A1 (en) Digital photographing apparatus and digital photographing method
WO2021242079A1 (ko) 카메라 엑추에이터 및 이를 포함하는 카메라 장치
WO2015163653A1 (en) Imaging device and photographing apparatus
WO2019059635A1 (ko) 하나의 이미지 센서를 통해 획득된 rgb 이미지와 ir 이미지를 이용하여 기능을 제공하는 전자 장치
WO2021210875A1 (ko) 다중 포토다이오드 센서에 의해 획득된 서브 이미지들의 차이에 기반하여 이미지의 결함을 검출하는 전자 장치 및 이의 동작 방법
WO2017119726A2 (ko) 렌즈모듈 및 이를 포함하는 홍채 인식용 카메라모듈, 홍채 인식 카메라 시스템 및 이를 포함하는 단말기
WO2023277651A1 (ko) 광학계 및 이를 포함하는 카메라 모듈
WO2016099165A1 (ko) 이미지 센서, 이를 포함하는 영상 획득 장치 및 그 장치를 포함하는 휴대용 단말기
WO2022059949A1 (ko) 카메라 장치 및 광학기기
WO2012057435A1 (en) Camera module and estimation method of auto focus search range thereof
WO2021020738A2 (ko) 카메라 모듈
WO2021235834A1 (ko) 카메라 엑추에이터 및 이를 포함하는 카메라 장치
WO2011149300A2 (en) Mems actuator mounted camera module having sag compensation and sag compensation method using the same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16755923

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15553877

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16755923

Country of ref document: EP

Kind code of ref document: A1