WO2016099128A1 - 카메라 모듈 및 이의 이미지 센싱 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체 - Google Patents

카메라 모듈 및 이의 이미지 센싱 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체 Download PDF

Info

Publication number
WO2016099128A1
WO2016099128A1 PCT/KR2015/013751 KR2015013751W WO2016099128A1 WO 2016099128 A1 WO2016099128 A1 WO 2016099128A1 KR 2015013751 W KR2015013751 W KR 2015013751W WO 2016099128 A1 WO2016099128 A1 WO 2016099128A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
signal
phase difference
unit
optical signal
Prior art date
Application number
PCT/KR2015/013751
Other languages
English (en)
French (fr)
Inventor
문영섭
Original Assignee
엘지이노텍(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍(주) filed Critical 엘지이노텍(주)
Priority to US15/537,784 priority Critical patent/US20180278828A1/en
Publication of WO2016099128A1 publication Critical patent/WO2016099128A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G02B7/346—Systems for automatic generation of focusing signals using different areas in a pupil plane using horizontal and vertical areas in the pupil plane, i.e. wide area autofocusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/616—Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals

Definitions

  • Embodiments relate to a camera module, an image sensing method thereof, and a recording medium having recorded thereon a program for executing the method.
  • the camera module captures an image of a subject and processes the captured image so that the captured image can be displayed.
  • the camera module may include an image sensor for capturing an image, and an image reproducing unit for processing an image captured by the image sensor.
  • the camera module may also perform a function of automatically adjusting the focus of the lens photographing the subject.
  • the image sensor may include a phase difference detection pixel and an image detection pixel.
  • the phase difference detection pixel is a pixel used to focus the camera module, and the image detection pixel is a pixel containing information about an image of a captured subject.
  • various logic units for obtaining a focus value used to adjust a focus value from a phase difference extracted from an optical signal obtained from the phase difference detection pixel are embedded in the image sensor.
  • noise may be generated or performance may be degraded by the heat generated from the corresponding logic unit.
  • An embodiment provides a camera module having an improved performance, an image sensing method of the module, and a recording medium on which a program for executing the method is recorded.
  • a camera module includes: an image sensor configured to transmit a first image signal obtained from an image detection pixel and a second image signal obtained from at least a pair of phase difference detection pixels as an electrical image signal; And an image reproducing unit for dividing and extracting the first and second image signals from the electrical image signal, reproducing a composite image signal from the extracted first image signal, and extracting a focus value from the extracted second image signal.
  • the image sensor may transmit the second image signal during a period in which generation of the horizontal synchronization signal is terminated every unit period of the vertical synchronization signal.
  • the image sensor includes a light receiving unit for receiving an optical signal for a subject; A phase difference arranging unit for discriminating which pixel of the image detection pixel and the phase difference detection pixel is obtained, and extracting and arranging a phase difference from the optical signal obtained from the phase difference detection pixel; A timing generator configured to match the optical signal acquired from the image detection pixel with a composite image signal; And an output unit configured to output the configured composite image signal corresponding to each of the first and second image signals and the summed phase difference as the electrical image signal, wherein the output unit is horizontal in every unit period of the vertical synchronization signal.
  • the second video signal may be transmitted during a period in which the generation of the synchronization signal ends.
  • the image sensor may further include an image processor to remove noise included in the optical signal.
  • the image processor may multiply and output a predetermined gain to the optical signal from which the jaw is removed.
  • the optical signal from which the noise is removed from the image processor may be output to the phase difference canceller.
  • the optical signal from which noise is removed by the image processor may be output to the timing generator.
  • the phase difference organizer may extract the phase difference from the optical signal received by the optical receiver, or may provide the timing signal to the timing signal generator from which the noise is removed from the image processor.
  • the phase difference organizer may control the timing generator or the image processor to provide the optical signal to which the noise is removed from the image processor to the timing generator.
  • the timing generator may receive the vertical synchronization signal and the horizontal synchronization signal provided from the outside of the image sensor and supply them to the output unit. Alternatively, the timing generator may generate the vertical synchronization signal and the horizontal synchronization signal.
  • the image processor may include a CDS circuit to remove noise included in the optical signal.
  • the image processor may gamma process or clamp process the optical signal.
  • the optical receiver may convert the optical signal into a digital form.
  • the image reproducing unit may include: a timing processing unit configured to extract the first and second image signals by dividing the first and second image signals from the electrical image signal received from the image sensor, and to reproduce the composite image signal from the extracted first image signal to configure a screen; A phase difference processor extracting the focus value from the second image signal extracted by the timing processor; And a main controller configured to image the configured screen and control the focus of the optical signal by using the extracted focus value.
  • the horizontal synchronization signal and the vertical synchronization signal may be used when reproducing the composite video signal every frame.
  • the image sensor may include the image detection pixel and the phase difference detection pixel in a matrix form, and the horizontal synchronizing signal and the vertical synchronizing signal may be used when selecting a desired pixel among the pixels in the matrix form.
  • the camera module comprises an optical unit for generating the optical signal; And a driving unit controlling the optical unit by using the focus value.
  • an image sensing method performed by the image sensor of a camera module including an image sensor and an image reproducing unit may include: receiving an optical signal for a subject; Inspecting which of the image detection pixels and the phase difference detection pixels the received optical signal is obtained; When the received optical signal is obtained from the image detection pixel, configuring the obtained optical signal to fit a composite image signal; Extracting and arranging a phase difference from the obtained optical signal when the received optical signal is obtained from the phase difference detection pixel; And transmitting the composite video signal to the image reproducing unit during a period in which a horizontal synchronization signal is generated every unit period of a vertical synchronization signal, and in the section in which the generation of the horizontal synchronization signal is terminated in a unit period of the vertical synchronization signal. And transmitting the phase difference to the image reproducing unit.
  • a recording medium recording a program for executing an image sensing method performed by the image sensor of a camera module including an image sensor and an image reproducing unit includes: a function of receiving an optical signal for a subject; A function of inspecting from which of the image detection pixel and the phase difference detection pixel the received optical signal is obtained; If the received optical signal is obtained from the image detection pixel, configuring the obtained optical signal to fit a composite image signal; Extracting and arranging a phase difference from the obtained optical signal when the received optical signal is obtained from the phase difference detection pixel; And transmitting the composite video signal to the image reproducing unit during a period in which a horizontal synchronization signal is generated every unit period of a vertical synchronization signal, and in the section in which the generation of the horizontal synchronization signal is terminated in a unit period of the vertical synchronization signal.
  • a function of transmitting the phase difference to the image reproducing unit may be implemented.
  • the camera module and the image sensing method of the module and the recording medium recording the program for executing the method of the camera module according to the embodiment can improve the performance of the image sensor without causing noise to the image sensor, so that images of high resolution and high quality can be improved. To provide.
  • FIG. 1 is a block diagram of a camera module according to an embodiment.
  • FIG. 2 is a cross-sectional view of an optical unit shown in FIG. 1 according to an embodiment.
  • FIG. 3 is a diagram illustrating an example of a pixel included in an image sensor.
  • 4A and 4B are diagrams for explaining the phase difference detection pixel.
  • FIG. 5 is a view briefly illustrating an operation of a first group of phase difference detection pixels.
  • FIG. 6 is a block diagram according to an exemplary embodiment of the image sensor illustrated in FIG. 1.
  • FIG. 7 is a block diagram of another example of the image sensor illustrated in FIG. 1.
  • FIG. 8 is a block diagram according to an exemplary embodiment of the image reproducing unit shown in FIG. 1.
  • 9 to 11 are diagrams for explaining a process of checking whether a subject and a lens are in focus by using a focus value extracted from a second image signal output from an image sensor.
  • FIG. 12 is a flowchart illustrating an image sensing method of a camera module according to an embodiment.
  • FIG. 13 is a waveform diagram illustrating various signals for explaining an image sensing method performed by an image sensor according to an exemplary embodiment.
  • FIG. 14 is a waveform diagram of various signals for explaining an image sensing method performed by an image sensor according to a comparative example.
  • relational terms such as “first” and “second,” “upper / upper / up” and “lower / lower / lower”, etc., as used below, may be used to refer to any physical or logical relationship between such entities or elements, or It may be used only to distinguish one entity or element from another entity or element without necessarily requiring or implying an order.
  • FIG. 1 is a block diagram of a camera module 100 according to an embodiment.
  • the camera module 100 may include an optical unit 110, an image sensor 120, an image reproducing unit 130, and a driving unit 140.
  • the optical unit 110 may include a plurality of lenses, and may absorb light incident from the outside to output an image of the subject and output the light to the image sensor 120 as an optical signal.
  • FIG. 2 is a cross-sectional view of an optical unit 110 shown in FIG. 1 according to an embodiment.
  • the optical unit 110 may include a plurality of lenses 111, 112, 114, and 116 and a lens barrel (or lens barrel) 118. Although only four lenses 111, 112, 114, and 116 are illustrated in the lens barrel 118, the embodiment is not limited thereto. That is, according to another embodiment, more or less than four lenses may be disposed in the lens barrel 118.
  • the plurality of lenses 116, 114, 112, and 111 may be sequentially stacked on the image sensor 120.
  • at least one of the plurality of lenses 111, 112, 114, and 116 may serve to condense light with the image sensor 120.
  • the plurality of lenses 111, 112, 114, and 116 may draw a large amount of light from one point of the subject, and may refracted incident light to collect the drawn light to one point.
  • the light collected at one point by the plurality of lenses 111, 112, 114, and 116 may form an image, and when the image is collected at one point in the image sensor 120 to form one image, the subject may be a lens. It can be said that it is located at the focal length of.
  • a spacer may be further disposed between the plurality of lenses 111, 112, 114, and 116.
  • the spacer is spaced between the plurality of lenses 111, 112, 114, and 116 to maintain a gap between the lenses 111, 112, 114, and 116.
  • the lens barrel 118 may have a cylindrical or rectangular planar shape, but is not limited thereto.
  • the lens barrel 118 is fixedly disposed at a specific position in the optical unit 110, and the lens barrel 118 may be fixed without moving for focusing.
  • the image sensor 120 may transmit the first image signal obtained from the image detection pixel and the second image signal obtained from the at least one pair of phase difference detection pixels to the image reproducing unit 130 as an electrical image signal.
  • the section in which the image sensor 120 transmits the second image signal may include a section in which generation of the horizontal sync signal is terminated in every unit period of the vertical sync signal. That is, in the blank period of the vertical synchronization signal, which is the end of every frame in which the generation of the horizontal synchronization signal is terminated every unit period of the vertical synchronization signal, the second image signal is output from the image sensor 120 to the image reproducing unit 130. Can be sent to.
  • the horizontal synchronizing signal and the vertical synchronizing signal may be signals used when reproducing the composite image signal every frame.
  • the horizontal synchronizing signal and the vertical synchronizing signal may be signals used when selecting a desired pixel among the matrix type pixels.
  • the composite video signal may mean a broadcast signal, for example, a TV signal for television broadcasting, and a signal having both video information and audio information.
  • the image sensor 120 may include an image sensor to receive an optical signal for an image of a subject incident through the lens of the optical unit 110 and convert the optical signal into an electrical image signal.
  • the imaging device of the image sensor 120 may be a Charge-Coupled Device (CCD) sensor or a Complementary Metal-Oxide-Semiconductor (CMOS) sensor.
  • CCD Charge-Coupled Device
  • CMOS Complementary Metal-Oxide-Semiconductor
  • 3 is a diagram illustrating an example of a pixel included in the image sensor 120.
  • 3 is only an example for describing a pixel included in the image sensor 120.
  • the embodiment is not limited to the number of pixels included in the image sensor 120 or the arrangement of the pixels.
  • the image sensor 120 may include a plurality of pairs of phase difference detection pixels 10A and 10B and a plurality of image detection pixels 50.
  • the image detection pixel 50 may be a pixel for converting an optical image signal of the photographed subject into an electrical image signal.
  • a plurality of color pixels may form a lattice unit A, and the lattice unit A may be repeated to be disposed in a lattice pattern form.
  • the color image detection pixel 50 may include red (R: red), green (G: green), and blue (B: blue), but is not limited thereto.
  • the lattice unit A may be a Bayer Arrangement in which four pixels are arranged in two rows and two columns, but the lattice unit A constituting the lattice pattern may be three rows, three columns, or four rows and four columns. It may be a grid unit, but is not limited thereto.
  • two pixels facing diagonally from four pixels constituting the lattice unit A include a G pixel.
  • R and B pixels may be disposed in the remaining two pixels.
  • the phase difference detection pixel 10 may be disposed at a G pixel position in the grid unit A of the image detection pixel 50.
  • the first group pixels 10A are arranged in the first array line L1 at regular intervals in the row direction
  • the second group pixels 10B are arranged in the row direction.
  • the substrate may be spaced apart from one another by the second array line L2.
  • the first array line L1 and the second array line L2 may cross each other in the column direction.
  • the arrangement of the phase difference detection pixels 10A and 10B shown in FIG. 3 is only one example, and the embodiment is not limited to the specific arrangement of the phase difference detection pixels 10A and 10B in the image sensor 120. . That is, the spaced intervals between the pixels included in each of the first and second group pixels 10A and 10B or the relative arrangement of the first group pixel 10A and the second group pixel 10B may vary. .
  • phase difference detection pixels 10A and 10B illustrates a plan view of an embodiment of phase difference detection pixels 10A and 10B.
  • the phase difference detection pixels 10A and 10B may have a limited light receiving area by dividing an opening area of the pixel in a vertical direction to block some of the divided areas.
  • the shielded portions 10A-1 and 10B-1 of the phase difference detection pixels 10A and 10B may be arranged to be deflected in different directions.
  • the phase difference detection pixels 10A and 10B may include the first group pixel 10A having the shielded area deflected to the left and the second group pixel 10B having the shielded area deflected to the right.
  • 4B is a diagram schematically showing the configuration of the phase difference detection pixels 10A and 10B.
  • the phase difference detection pixels 10A and 10B may include a mask layer 11, a micro lens 13, and a photodiode 15.
  • the mask layer 11 may form a shielding area in the phase difference detection pixels 10A and 10B.
  • the mask layer 11 may be implemented as a metal mask, and the phase difference detection pixels 10A and 10B may be divided into an opening area through which light is incident and a shielding area from which light is blocked by the mask layer 11. Can be.
  • the amount of light incident on the photodiode 15 of the image sensor 120 may be adjusted according to the area shielded by the mask layer 11.
  • the microlens 13 may concentrate the incident optical signal toward the centers of the phase difference detection pixels 10A and 10B to be transferred to the photodiode 15.
  • the microlens 13 may change its position relative to the photodiode 15 in order to concentrate the incident optical signal onto the phase difference detection pixels 10A and 10B.
  • the photodiode 15 may convert the incident optical signal into an electrical signal.
  • phase difference detection pixels 10A and 10B illustrate an embodiment of the phase difference detection pixels 10A and 10B, but embodiments of the phase difference detection pixels 10A and 10B are not limited thereto. That is, according to another exemplary embodiment, the present exemplary embodiment may also be applied to another type of phase difference detection pixel in which a partial region obtained by dividing the opening of the pixel in the horizontal direction is shielded.
  • FIG. 5 is a diagram briefly illustrating an operation method of the first group of pixels 10A among the phase difference detection pixels.
  • the light R incident from the left side of the phase difference detection pixel 10A is blocked by the microlens 13 of the image sensor 120. You can move to center. At this time, the light concentrated by the microlens 13 is collected by being biased toward the right side of the photodiode 15 included in the phase difference detection pixel 10A. At this time, since the shielding area is biased from the direction in which light is incident, that is, in a direction in which light is not collected, the incident light may reach the photodiode 15 without being obstructed.
  • the second image signal includes image information obtained by processing the optical signal acquired by the phase difference detection pixel 10A belonging to the first group pixel and a phase difference detection pixel belonging to the second group pixel ( It may include image information obtained by processing the optical signal obtained in 10B).
  • the second image signal may include a phase difference extracted from the image information of the two phase difference detection pixels 10A and 10B.
  • FIG. 6 is a block diagram of an embodiment 120A of the image sensor 120 illustrated in FIG. 1.
  • the image sensor 120A illustrated in FIG. 6 may include a light receiving unit 121, an image processing unit 123, a phase difference arranging unit 125A, a timing generating unit 127A, and an output unit 129.
  • the light receiver 121 receives the optical signal for the subject from the optical unit 110 through the input terminal IN1.
  • the light receiver 121 may convert an optical signal into a digital form and output image data that is a result of the conversion.
  • image data is also referred to as an 'light signal'.
  • the image processor 123 may remove noise included in the raw optical signal received from the optical receiver 121, and output the result of removing the noise to the phase difference arranging unit 125A.
  • the image processor 123 may include a correlated double sampling (CDS) circuit.
  • the image processor 123 may multiply the optical signal from which the roughness is removed by a predetermined gain, and output the optical signal whose gain is multiplied to adjust the level to the phase difference arranging unit 125A.
  • the image processor 123 may include an AGC (Auto Gain Control) circuit.
  • the image processor 123 may further perform gamma processing or clamp processing.
  • the image processor 123 may process the optical signal output from the light receiver 121 and output the processed optical signal to the phase difference arranging unit 125A.
  • the image sensor 120 may omit the image processor 123.
  • the optical signal output from the light receiving unit 121 may be provided to the phase difference arranging unit 125A.
  • the phase difference arranging unit 125A obtains an optical signal processed by the image processing unit 123 from any one of an image detection pixel (eg, 50 of FIG. 3) and a phase difference detection pixel (eg, 10A and 10B of FIG. 3). It is distinguished. If it is determined that the optical signal is obtained from the phase difference detection pixel, the phase difference arranging unit 125A extracts the phase difference from the optical signal and arranges it, and outputs the summed result to the output unit 129 as the second image signal. However, if it is determined that the optical signal is obtained from the image detection pixel, the phase difference arranging unit 125A outputs the optical signal to the timing generator 127A.
  • an image detection pixel eg, 50 of FIG. 3
  • a phase difference detection pixel eg, 10A and 10B of FIG. 3
  • the timing generator 127A configures the optical signal received by the optical receiver 121 and processed by the image processor 123 and bypassed by the phase difference arranging unit 125A to fit the composite image signal. The result is output to the output unit 129 as a first video signal.
  • the output unit 129 outputs the combined image signal corresponding to the first image signal and the summed phase difference corresponding to the second image signal to the image reproducing unit 130 through the output terminal OUT2 as an electrical image signal.
  • the output unit 129 may transmit the second image signal in a period where the generation of the horizontal synchronization signal Hs is terminated in every unit period of the vertical synchronization signal Vs, that is, at the end of every frame. That is, according to the embodiment, the second image signal is inserted into the section where the generation of the horizontal synchronization signal Hs is terminated at the end of every frame.
  • FIG. 7 is a block diagram of another embodiment 120B of the image sensor 120 shown in FIG. 1.
  • the image sensor 120B illustrated in FIG. 7 may include a light receiver 121, an image processor 123, a phase difference organizer 125B, a timing generator 127B, and an output unit 129.
  • the light receiving unit 121, the image processing unit 123, and the output unit 129 are the same as the light receiving unit 121, the image processing unit 123, and the output unit 129 illustrated in FIG. 6, the same reference numerals are used. Omitted duplicate descriptions.
  • the phase difference arranging unit 125B shown in FIG. 7 uses an image detection pixel ( For example, it is distinguished from which pixel among 50 of FIG. 3 and a phase difference detection pixel (for example, 10A and 10B of FIG. 3).
  • the phase difference arranging unit 125B extracts and organizes the phase difference from the optical signal, and outputs the summed result to the output unit 129 as the second image signal.
  • the phase difference arranging unit 125B may control the timing generating unit 127B so that the timing generating unit 127B receives the optical signal processed by the image processing unit 123. have.
  • the phase difference arranging unit 125B may output the optical signal processed by the image processing unit 123 to the timing generating unit 127B. You can also control.
  • the timing generator 127B configures the optical signal received by the optical receiver 121 and processed by the image processor 123 to match the composite image signal, and outputs the configured result to the output unit 129 as a first image signal. do.
  • the vertical synchronizing signal Vs and the horizontal synchronizing signal Hs required for transmitting the first and second image signals from the output unit 129 illustrated in FIGS. 6 and 7 are the image sensors illustrated in FIGS. 6 and 7.
  • the timing generator 127A and 127B may be supplied to the output unit 129 or may be generated by the timing generators 127A and 127B.
  • the embodiment is not limited to the specific occurrence position and the specific supply source of the horizontal synchronizing signal Hs and the vertical synchronizing signal Vs.
  • the image reproducing unit 130 classifies and extracts the first and second image signals from the electrical image signal received from the image sensor 120, and extracts the composite image signal from the extracted first image signal.
  • the focus value may be extracted from the second video signal which has been reproduced and extracted.
  • FIG. 8 is a block diagram according to an embodiment of the image reproducing unit 130 shown in FIG. 1.
  • the image reproducing unit 130 illustrated in FIG. 8 may include a timing processing unit 132, a phase difference processing unit 134, and a main control unit 136.
  • the timing processor 132 receives the electrical image signal output from the image sensor 120 through the input terminal IN2. In addition, the timing processor 132 classifies and extracts the first and second image signals from the received electrical image signal. At this time, the timing processor 132 reconstructs the composite video signal from the extracted first video signal to form a screen, and outputs the screened result to the main controller 136.
  • the timing processor 132 outputs the extracted second video signal to the phase difference processor 134.
  • the phase difference processor 134 extracts a focus value from the second image signal extracted by the timing processor 132, and outputs the extracted focus value to the main controller 136.
  • the main controller 136 processes an entire image of the screen configured by the timing processor 132 and outputs the entire image to a display unit (not shown) through the output terminal OUT3.
  • the display unit is a part showing the entire image-processed screen received from the main controller 136 to the user, and may include a liquid crystal display (LCD), an organic light emitting diode (OLED), etc., but is not limited thereto.
  • the main controller 136 performs the auto focus function using the extracted focus value. That is, the main controller 136 may control the focus of the optical signal by using the focus value.
  • the driving unit 140 may control the optical unit 110 to focus by using the focus value output from the main control unit 136 through the output terminal OUT3.
  • the optical unit 110 may focus by moving the lenses 111, 112, 114, and 116 in the optical axis direction under the control of the driving unit 140.
  • 9 to 11 are views for explaining a process of checking whether a subject and a lens are in focus by using a focus value extracted from a second image signal output from the image sensor 120.
  • FIG. 9 (a) and 9 (b) show the case where the subject O is positioned at the focus position F.
  • FIG. 9A light passing through the optical unit 110 from the subject O is collected by the image sensor 120.
  • the position of the subject O coincides with the focus position F, the light acquired by the optical unit 110 is collected at a point on the image sensor 120.
  • FIG. 9B illustrates the luminance distribution of the optical information acquired by the phase difference detection pixels 10A and 10B of the image sensor 120.
  • FIG. 9A when the subject O is disposed at the focal position F, the luminance value distributions of the optical information acquired by the two phase difference detection pixel groups 10A and 10B are identical. .
  • the focus value extracted by the phase difference processing unit 134 of the image reproducing unit 130 may be expressed as '0'. Therefore, when two images obtained from the phase difference detection pixels 10A and 10B having different shielding areas coincide (i.e., the focus value is '0'), the subject O is the lens from the camera module 100. It is determined to be spaced apart from the position (F) apart by the focal length of.
  • the object O is located farther from the camera module 100 than the focus position F.
  • the image of the object O is smaller than the position of the image sensor 120.
  • One point is gathered from the front to focus and an image that is not in focus is formed on the image sensor 120.
  • the microlens 13 included in the phase difference detection pixels 10A and 10B occurs due to the operation principle of the phase difference detection pixels 10A and 10B described with reference to FIG. 5.
  • the luminance value of the optical signal obtained from the first group of pixels 10A is determined by the image.
  • the luminance value of the optical signal acquired from the second group pixel 10B is high in the pixels disposed on the left side of the image sensor 120.
  • the luminance distributions of the optical signals acquired by the phase difference detection pixels 10A and 10B are biased in the opposite direction with respect to the center pixel C of the image sensor 120.
  • a focus value which is distance information from which the object O is spaced from the optical unit 110, may be obtained.
  • the main controller 136 may control the optical unit 110 through the driver 140 until the focus value becomes '0'.
  • 11 (a) and 11 (b) show a case where the object O is disposed closer to the camera module 100 than the focus position F.
  • the focused image is formed behind the position of the image sensor 120 with respect to the subject O, and an image that is not in focus is formed at the position of the image sensor 120.
  • the movement of the microlens 13 included in the phase difference detection pixels 10A and 10B occurs, and in contrast to the case of FIG. 10B, the first group pixel.
  • the luminance value of the optical signal obtained from 10A is higher in the pixels disposed on the left side of the image sensor 120, and the luminance value of the optical signal obtained from the second group of pixels 10B is determined by the image sensor 120. It appears high in the pixels arranged on the right side.
  • the optical signals obtained from the phase difference detection pixels 10A and 10B based on the center pixel C of the image sensor 120 have luminance distributions biased in opposite directions. This shows a tendency different from that of FIG. 10 (b).
  • the main controller 136 may control the optical unit 110 through the driver 140 until the focus value becomes '0'.
  • the focus value may converge to '0'.
  • FIG. 12 is a flowchart illustrating an image sensing method 200 of a camera module according to an embodiment.
  • An image sensing method 200 according to an embodiment will be described with reference to FIGS. 1, 6, 7, and 12 as follows.
  • Operation 210 may be performed by the light receiver 121 illustrated in FIGS. 6 and 7.
  • Step 220 it is determined whether the received optical signal is obtained from which of the image detection pixel and the phase difference detection pixel (operation 220). Step 220 may be performed by the phase difference arrangement units 125A and 125B shown in FIGS. 6 and 7.
  • Step 230 may be performed by the timing generators 127A and 127B.
  • Step 240 may be performed by the phase difference arranging units 125A and 125B.
  • Operation 250 may be performed by the output unit 129 illustrated in FIGS. 6 and 7.
  • FIG. 13 illustrates a clock signal CLK, a vertical synchronizing signal Vs, and a horizontal synchronizing signal for explaining the image sensing method 200 illustrated in FIG. 12 performed by the image sensor 120 illustrated in FIG. 6 or 7.
  • Hs waveform diagrams of the first and second video signals D1 and D2 are shown.
  • the clock signal CLK is a system clock signal, which is a clock signal used to generate the vertical synchronization signal Vs, the horizontal synchronization signal Hs, and the first and second image signals D1 and D2. .
  • the vertical synchronization signal Vs is generated at the rising edge of the clock signal CLK
  • the horizontal synchronization signal Hs is generated at the "low" logic level of the clock signal CLK.
  • this is only one example. Therefore, the embodiment is not limited to a specific trigger time of the clock signal CLK or the logic level of the clock signal CLK from which the vertical synchronizing signal Vs and the horizontal synchronizing signal Hs are generated.
  • the clock signal CLK, the vertical synchronizing signal Vs, and the horizontal synchronizing signal Hs are generated from the timing generators 127A and 127B shown in FIGS. 6 and 7 or the timing processor 132 shown in FIG. 8. ) Or from outside the camera module 100, the embodiment is not limited to the place where these signals CLK, Vs, Hs occur.
  • the output unit 129 transmits the composite image signal in response to the horizontal synchronization signal Hs every unit period T1 of the vertical synchronization signal Vs. That is, within the unit period T1 of the vertical synchronizing signal Vs, while the horizontal synchronizing signal Hs is generated (that is, while the horizontal synchronizing signal Hs maintains a "high" logic level) (T2)
  • the output unit 129 may transmit the first image signal D1 including the composite image signal to the image reproducing unit 130.
  • the first image signal D1 is not output from the output unit 129.
  • the output unit 129 immediately outputs the first image signal after the logic level of the horizontal synchronization signal Hs is changed from the "high” logic level to the "low” logic level.
  • the transmission of (D1) may be stopped.
  • the output is output.
  • the unit 129 may transmit the summarized phase difference as the second image signal D2 to the image reproducing unit 130.
  • the number of horizontal and vertical pixels of the unit frame reproduced by the vertical synchronizing signal Vs and the horizontal synchronizing signal Hs is 4208 and 3120, respectively, and is horizontal in the unit period T1 of the vertical synchronizing signal Vs.
  • the number of unit periods BT of the clock signal CLK included in the period in which the synchronization signal Hs is generated (that is, the period in which the horizontal synchronization signal Hs maintains a high logic level) T2 is 4240.
  • the length of the section in which the horizontal synchronizing signal Hs is not generated in the unit period T1 of the vertical synchronizing signal, that is, the section T3 in which the horizontal synchronizing signal Hs maintains the "low" logic level is the second length. It may be a period sufficient to transmit the image signal D2 to the image reproducing unit 130.
  • FIG. 14 illustrates a clock signal CLK, a vertical synchronizing signal Vs, a horizontal synchronizing signal Hs, and a first and second image signals D1, according to an image sensing method performed by an image sensor according to a comparative example.
  • the waveform diagram of D2) is shown.
  • the image sensing method performed by the image sensor according to the comparative example may perform only steps 210, 230, and 250 without performing steps 220 and 240 illustrated in FIG. 12.
  • the horizontal synchronizing signal Hs does not occur in the unit period T1 of the vertical synchronizing signal Vs (that is, the level of the horizontal synchronizing signal Hs is a "low" logic level).
  • T3 the second image signal D2 is not transmitted to the image reproducing unit 130. That is, the second image signal D2 is not inserted into the section T3.
  • the phase difference processor 134 illustrated in FIG. 8 is disposed in the image sensor 120 instead of the image reproducing unit 130.
  • noise may be caused to the image sensor 120 or performance may be deteriorated by heat generated from the phase difference processor 134.
  • the phase difference processing unit 134 transmits the second image signal D2 to the image reproducing unit 130 in a specific period T3, so that the phase difference processing unit 134 transmits the image sensor 120.
  • the image sensor 120 since the image sensor 120 transmits the second image signal D2 only in the blank period of the vertical synchronization signal Vs, the high speed frame rate of the image sensor 120 may not be affected.
  • the phase difference processing unit 134 since the phase difference processing unit 134 is disposed in the image sensor 120, the data related to the phase difference is imaged through I2C (Inter-Integrated Circuit) or SPI (Serial Peripheral Interface) communication. It should be transmitted to the playback unit 130. Therefore, it may burden the I2C or SPI communication used for other data communication.
  • the camera module according to the embodiment transmits the second video signal D2 to the video reproducing unit 130 without the help of I2C or SPI communication, thereby reducing the burden of I2C or SPI communication.
  • the recording medium on which the program for executing the image sensing method 200 performed by the image sensor is recorded has a function of causing the light receiving unit 121 to receive an optical signal for a subject, and phase difference arranging units 125A and 125B. A function of checking which pixel of the image detection pixel and the phase difference detection pixel was obtained, and the timing generators 127A and 127B to obtain the received optical signal from the image detection pixel, A function of configuring the obtained optical signal to match the composite image signal, and causing the phase difference arranging units 125A and 125B to extract and organize the phase difference from the obtained optical signal when the received optical signal is obtained from the phase difference detecting pixel.
  • the composite image signal while the output unit 129 generates a horizontal synchronization signal at every unit period of the vertical synchronization signal Transmits to the image reproducing unit 130 and records a program for transmitting the phase difference summed up in the section where the generation of the horizontal synchronizing signal is finished to the image reproducing unit 130 at each unit period of the vertical synchronizing signal,
  • the computer can read the recording medium.
  • Computer-readable recording media include all kinds of storage devices that store data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, and may also be implemented in the form of a carrier wave (for example, transmission over the Internet). Include. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion. In addition, functional programs, codes, and code segments for implementing an image sensing method may be easily inferred by programmers in the art to which the present invention belongs.
  • the camera module according to the embodiment, a method for sensing an image thereof, and a recording medium storing a program for executing the method may be applied to a cellular phone, a car rearview camera, or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

실시 예에 의한 카메라 모듈은 이미지 검출 화소로부터 획득된 제1 영상 신호 및 적어도 한 쌍의 위상차 검출 화소로부터 획득된 제2 영상 신호를 전기적 영상 신호로서 전송하는 이미지 센서 및 전기적 영상 신호로부터 제1 및 제2 영상 신호를 구분하여 추출하고, 추출한 제1 영상 신호로부터 복합 영상 신호를 재생하고, 추출한 제2 영상 신호로부터 초점값을 추출하는 영상 재생부를 포함하고, 이미지 센서는 수직 동기 신호의 매 단위 주기마다 상기 수평 동기 신호의 발생이 종료된 구간 동안에 제2 영상 신호를 전송한다.

Description

카메라 모듈 및 이의 이미지 센싱 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체
실시 예는 카메라 모듈 및 이의 이미지 센싱 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체에 관한 것이다.
일반적으로 카메라 모듈은 피사체에 대한 영상을 캡쳐하고, 캡쳐된 영상이 디스플레이될 수 있도록 가공하는 역할을 한다. 이를 위해 카메라 모듈은 영상을 캡쳐하는 이미지 센서와, 이미지 센서에서 캡쳐된 영상을 가공하는 영상 재생부로 구성될 수 있다.
또한, 카메라 모듈은 피사체를 촬영한 렌즈의 초점을 자동으로 조절하는 기능도 수행할 수 있다. 렌즈의 초점을 맞추기 위해, 이미지 센서는 위상차 검출 화소와 이미지 검출 화소를 포함할 수 있다. 위상차 검출 화소는 카메라 모듈의 초점을 맞추기 위해 이용되는 화소이고, 이미지 검출 화소는 캡쳐된 피사체의 영상에 대한 정보를 담은 화소이다.
이때, 위상차 검출 화소로부터 획득된 광 신호로부터 추출된 위상차에서 초점값을 맞추기 위해 사용되는 초점값을 구하는 다양한 논리부가 이미지 센서에 내장되어 배치된다. 이와 같이, 이미지 센서의 내부에 다양한 논리부들이 존재할 경우, 해당하는 논리부로부터 발생되는 열에 의해 이미지 센서에 잡음이 야기되거나 성능이 저하될 수 있다. 이는 고해상도의 카메라 모듈일수록 이러한 현상은 더욱 심각하게 대두될 수 있다.
실시 예는 개선된 성능을 갖는 카메라 모듈 및 이 모듈의 이미지 센싱 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체를 제공한다.
실시 예에 의한 카메라 모듈은, 이미지 검출 화소로부터 획득된 제1 영상 신호 및 적어도 한 쌍의 위상차 검출 화소로부터 획득된 제2 영상 신호를 전기적 영상 신호로서 전송하는 이미지 센서; 및 상기 전기적 영상 신호로부터 상기 제1 및 제2 영상 신호를 구분하여 추출하고, 상기 추출한 제1 영상 신호로부터 복합 영상 신호를 재생하고, 상기 추출한 제2 영상 신호로부터 초점값을 추출하는 영상 재생부를 포함하고, 상기 이미지 센서는 수직 동기 신호의 매 단위 주기마다 수평 동기 신호의 발생이 종료된 구간 동안, 상기 제2 영상 신호를 전송할 수 있다.
상기 이미지 센서는 피사체에 대한 광 신호를 수신하는 광 수신부; 상기 광 신호가 상기 이미지 검출 화소와 상기 위상차 검출 화소 중 어느 화소로부터 획득되었는가를 구분하고, 상기 위상차 검출 화소로부터 획득된 상기 광 신호로부터 위상차를 추출하여 정리하는 위상차 정리부; 상기 이미지 검출 화소로부터 획득된 상기 광 신호를 복합 영상 신호에 맞도록 구성하는 타이밍 발생부; 및 상기 제1 및 제2 영상 신호 각각에 해당하는 상기 구성된 복합 영상 신호 및 상기 정리된 위상차를 상기 전기적 영상 신호로서 출력하는 출력부를 포함하고, 상기 출력부는 상기 수직 동기 신호의 매 단위 주기마다 상기 수평 동기 신호의 발생이 종료된 구간 동안 상기 제2 영상 신호를 전송할 수 있다.
상기 이미지 센서는 상기 광 신호에 포함된 잡음을 제거하는 영상 처리부를 더 포함할 수 있다. 상기 영상 처리부는 상기 잡읍이 제거된 상기 광 신호에 소정의 이득을 승산하여 출력할 수 있다.
상기 영상 처리부에서 잡음이 제거된 상기 광 신호는 상기 위상차 정리부로 출력될 수 있다. 또는, 상기 영상 처리부에서 잡음이 제거된 상기 광 신호는 상기 타이밍 발생부로 출력될 수도 있다.
상기 위상차 정리부는 상기 광 수신부에서 수신된 상기 광 신호로부터 상기 위상차를 추출하거나, 상기 영상 처리부에서 잡음이 제거된 상기 광 신호를 상기 타이밍 발생부로 제공시킬 수 있다.
상기 위상차 정리부는 상기 타이밍 발생부를 제어하거나 상기 영상 처리부를 제어하여, 상기 영상 처리부에서 잡음이 제거된 상기 광 신호를 상기 타이밍 발생부로 제공할 수 있다.
상기 타이밍 발생부는 상기 이미지 센서의 외부로부터 제공된 상기 수직 동기 신호 및 상기 수평 동기 신호를 받아서 상기 출력부로 공급할 수 있다. 또는, 상기 타이밍 발생부는 상기 수직 동기 신호 및 상기 수평 동기 신호를 생성할 수 있다.
상기 영상 처리부는 상기 광 신호에 포함된 잡음을 제거하는 CDS 회로를 포함할 수 있다.
상기 영상 처리부는 상기 광 신호를 감마 프로세싱하거나 클램프 프로세싱할 수 있다.
상기 광 수신부는 상기 광 신호를 디지털 형태로 변환할 수 있다.
상기 영상 재생부는 상기 이미지 센서로부터 수신한 상기 전기적 영상 신호로부터 상기 제1 및 제2 영상 신호를 구분하여 추출하고, 상기 추출한 제1 영상 신호로부터 상기 복합 영상 신호를 재생하여 화면을 구성하는 타이밍 처리부; 상기 타이밍 처리부에서 추출한 상기 제2 영상 신호로부터 상기 초점값을 추출하는 위상차 처리부; 및 상기 구성된 화면을 영상 처리하고, 상기 추출된 초점값을 이용하여 상기 광 신호의 초점을 제어하는 주 제어부를 포함할 수 있다.
상기 수평 동기 신호 및 상기 수직 동기 신호는 상기 복합 영상 신호를 매 프레임 단위로 재생할 때 사용될 수 있다.
또한, 상기 이미지 센서는 상기 이미지 검출 화소와 상기 위상차 검출 화소를 매트릭스 형태로 포함하고, 상기 수평 동기 신호 및 상기 수직 동기 신호는 상기 매트릭스 형태의 화소 중 원하는 화소를 선택할 때 사용될 수 있다.
상기 카메라 모듈은 상기 광 신호를 생성하는 광학부; 및 상기 초점값을 이용하여 상기 광학부를 제어하는 구동부를 더 포함할 수 있다.
다른 실시 예에 의하면, 이미지 센서와 영상 재생부를 포함하는 카메라 모듈의 상기 이미지 센서에서 수행되는 이미지 센싱 방법은, 피사체에 대한 광 신호를 수신하는 단계; 상기 수신된 광 신호가 이미지 검출 화소와 위상차 검출 화소 중 어느 화소에서 획득되었는가를 검사하는 단계; 상기 수신된 광 신호가 상기 이미지 검출 화소로부터 획득된 경우, 상기 획득된 광 신호를 복합 영상 신호에 맞도록 구성하는 단계; 상기 수신된 광 신호가 상기 위상차 검출 화소로부터 획득된 경우, 상기 획득된 광 신호로부터 위상차를 추출하여 정리하는 단계; 및 수직 동기 신호의 단위 주기 마다 수평 동기 신호가 발생되는 구간 동안 상기 복합 영상 신호를 상기 영상 재생부로 전송하고, 상기 수직 동기 신호의 단위 주기마다 상기 수평 동기 신호의 발생이 종료된 구간에서 상기 정리된 위상차를 상기 영상 재생부로 전송하는 단계를 포함할 수 있다.
또 다른 실시 예에 의하면, 이미지 센서와 영상 재생부를 포함하는 카메라 모듈의 상기 이미지 센서에서 수행되는 이미지 센싱 방법을 실행하기 위한 프로그램을 기록한 기록 매체는, 피사체에 대한 광 신호를 수신하도록 하는 기능; 상기 수신된 광 신호가 이미지 검출 화소와 위상차 검출 화소 중 어느 화소에서 획득되었는가를 검사하도록 하는 기능; 상기 수신된 광 신호가 상기 이미지 검출 화소로부터 획득된 경우, 상기 획득된 광 신호를 복합 영상 신호에 맞도록 구성하도록 하는 기능; 상기 수신된 광 신호가 상기 위상차 검출 화소로부터 획득된 경우, 상기 획득된 광 신호로부터 위상차를 추출하여 정리하도록 하는 기능; 및 수직 동기 신호의 단위 주기 마다 수평 동기 신호가 발생되는 구간 동안 상기 복합 영상 신호를 상기 영상 재생부로 전송하고, 상기 수직 동기 신호의 단위 주기마다 상기 수평 동기 신호의 발생이 종료된 구간에서 상기 정리된 위상차를 상기 영상 재생부로 전송하도록 하는 기능을 구현할 수 있다.
실시 예에 따른 카메라 모듈 및 이 모듈의 이미지 센싱 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체는 이미지 센서에 잡음이 야기되지 않고 이미지 센서의 성능이 개선될 수 있어 고 해상도 및 고화질의 영상을 제공할 있도록 한다.
도 1은 실시 예에 의한 카메라 모듈의 블럭도를 나타낸다.
도 2는 도 1에 도시된 광학부의 일 실시 예에 의한 단면도를 나타낸다.
도 3은 이미지 센서에 포함되는 화소의 일 례를 나타낸 도면이다.
도 4a 및 도 4b는 위상차 검출 화소를 설명하기 위한 도면이다.
도 5는 위상차 검출 화소 중 제1 그룹 화소의 작동 방식을 간략히 나타낸 도면이다.
도 6은 도 1에 도시된 이미지 센서의 일 실시 예에 의한 블럭도를 나타낸다.
도 7은 도 1에 도시된 이미지 센서의 다른 실시 예에 의한 블럭도를 나타낸다.
도 8은 도 1에 도시된 영상 재생부의 일 실시 예에 의한 블럭도를 나타낸다.
도 9 내지 11은 이미지 센서로부터 출력된 제2 영상 신호로부터 추출된 초점값을 이용하여 피사체와 렌즈의 초점이 맞았는가의 여부를 확인하는 과정을 설명하기 위한 도면이다.
도 12는 실시 예에 의한 카메라 모듈의 이미지 센싱 방법을 설명하기 위한 플로우차트이다.
도 13은 실시 예에 의한 이미지 센서에서 수행되는 이미지 센싱 방법을 설명하기 위한 각종 신호의 파형도를 나타낸다.
도 14는 비교 례에 의한 이미지 센서에서 수행되는 이미지 센싱 방법을 설명하기 위한 각종 신호의 파형도를 나타낸다.
이하, 본 발명을 구체적으로 설명하기 위해 실시 예를 들어 설명하고, 발명에 대한 이해를 돕기 위해 첨부도면을 참조하여 상세하게 설명하기로 한다. 그러나, 본 발명에 따른 실시 예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 상술하는 실시 예들에 한정되는 것으로 해석되지 않아야 한다. 본 발명의 실시 예들은 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다.
또한, 이하에서 이용되는 "제1" 및 "제2," "상/상부/위" 및 "하/하부/아래" 등과 같은 관계적 용어들은, 그런 실체 또는 요소들 간의 어떠한 물리적 또는 논리적 관계 또는 순서를 반드시 요구하거나 내포하지는 않으면서, 어느 한 실체 또는 요소를 다른 실체 또는 요소와 구별하기 위해서만 이용될 수도 있다.
도 1은 실시 예에 의한 카메라 모듈(100)의 블럭도를 나타낸다.
도 1을 참조하면, 실시 예에 의한 카메라 모듈(100)은 광학부(110), 이미지 센서(120), 영상 재생부(130) 및 구동부(140)를 포함할 수 있다.
광학부(110)는 복수의 렌즈를 포함할 수 있으며, 피사체에 대한 영상을 획득하기 위하여 외부로부터 입사되는 빛을 흡수하여 광 신호로서 이미지 센서(120)로 출력할 수 있다.
도 2는 도 1에 도시된 광학부(110)의 일 실시 예에 의한 단면도를 나타낸다.
도 2를 참조하면, 광학부(110)는 복수 개의 렌즈(111, 112, 114, 116), 렌즈 경통(또는, 렌즈 배럴)(118)을 포함할 수 있다. 렌즈 경통(118)에 4개의 렌즈(111, 112, 114, 116)만이 배치된 것으로 도시되어 있으나, 실시 예는 이에 국한되지 않는다. 즉, 다른 실시 예에 의하면, 4개보다 많거나 작은 렌즈가 렌즈 경통(118)에 배치될 수 있다.
복수의 렌즈(116, 114, 112, 111)는 이미지 센서(120)에 순차적으로 적층되어 배치될 수 있다. 또한, 복수의 렌즈(111, 112, 114, 116) 중 적어도 하나는 이미지 센서(120)로 광을 집광시키는 역할을 수행할 수 있다. 복수의 렌즈(111, 112, 114, 116)는 피사체의 한 지점에서부터 많은 양의 빛을 끌어들이고, 끌어드린 빛을 한 지점으로 모을 수 있도록 입사된 빛을 굴절시킬 수 있다. 복수의 렌즈(111, 112, 114, 116)에 의해 한 지점으로 모아진 빛은 하나의 상을 맺히게 할 수 있으며, 이미지 센서(120)에서 한 점으로 모아져서 하나의 이미지가 형성될 경우 피사체는 렌즈의 초점 거리에 위치한다고 할 수 있다.
비록 도시되지는 않았지만, 복수의 렌즈들(111, 112, 114, 116) 사이에 스페이서가 더 배치될 수도 있다. 스페이서는 복수의 렌즈들(111, 112, 114, 116) 사이를 이격시켜, 렌즈들(111, 112, 114, 116) 사이의 간격을 유지시키는 역할을 한다.
렌즈 경통(118)은 원통형 또는 사각형의 평면 형상을 가질 수 있으나, 이에 한정하지 않는다. 렌즈 경통(118)은 광학부(110) 내의 특정 위치에 고정되어 배치되며 포커싱(focusing)을 위해 렌즈 경통(118)은 이동되지 않고 고정될 수 있다.
한편, 이미지 센서(120)는 이미지 검출 화소로부터 획득된 제1 영상 신호 및 적어도 한 쌍의 위상차 검출 화소로부터 획득된 제2 영상 신호를 전기적 영상 신호로서 영상 재생부(130)로 전송할 수 있다.
실시 예에 의하면, 이미지 센서(120)가 제2 영상 신호를 전송하는 구간은 수직 동기 신호의 매 단위 주기에서 수평 동기 신호의 발생이 종료된 구간을 포함할 수 있다. 즉, 수직 동기 신호의 단위 주기마다 수평 동기 신호의 발생이 종료된 매 프레임의 끝 구간인 수직 동기 신호의 블랭크(blank) 구간에서 제2 영상 신호가 이미지 센서(120)로부터 영상 재생부(130)로 전송될 수 있다.
여기서, 수평 동기 신호 및 수직 동기 신호는 복합 영상 신호를 매 프레임 단위로 재생할 때 사용되는 신호들일 수 있다. 또는, 이미지 센서(120)가 이미지 검출 화소와 위상차 검출 화소를 매트릭스 형태로 포함할 경우, 수평 동기 신호 및 수직 동기 신호란 매트릭스 형태의 화소 중 원하는 화소를 선택할 때 사용되는 신호들일 수도 있다. 여기서, 복합 영상 신호란, 방송용 신호 예를 들어 텔레비젼 방송을 위한 TV 신호를 의미할 수 있으며 영상 정보와 음성 정보를 함께 갖는 신호를 의미할 수 있다.
이미지 센서(120)는 광학부(110)의 렌즈를 통하여 입사된 피사체의 영상에 대한 광 신호를 수신하여 전기적인 영상 신호로 변환하기 위해 촬상 소자(Image sensor)를 포함할 수 있다. 예를 들어, 이미지 센서(120)의 촬상 소자는 CCD(Charge-Coupled Device) 센서 또는 CMOS(Complementary Metal-Oxide-Semiconductor) 센서일 수 있다.
이하, 이미지 센서(120)의 이미지 검출 화소와 위상차 검출 화소에 대해 첨부된 도면을 참조하여 다음과 같이 살펴본다.
도 3은 이미지 센서(120)에 포함되는 화소의 일 례를 나타낸 도면이다.
도 3은 이미지 센서(120)에 포함되는 화소를 설명하기 위한 일 례에 불과하며, 실시 예는 이미지 센서(120)에 포함되는 화소의 개수나 화소의 배치 형태에 국한되지 않는다.
이미지 센서(120)는 쌍을 이루는 복수의 위상차 검출 화소(10A, 10B) 및 복수의 이미지 검출 화소(50)를 포함할 수 있다.
이미지 검출 화소(50)는 촬상된 피사체에 대한 광학적 영상 신호를 전기적 영상 신호로 변환하기 위한 화소일 수 있다. 이미지 검출 화소(50)는 다수 개의 컬러 화소가 격자 단위(A)를 이루고 이러한 격자 단위(A)가 반복되어 격자 패턴 형태로 배치될 수 있다. 컬러 이미지 검출 화소(50)의 경우 빨강(R:Red), 초록(G:Green), 파랑(B:Blue)을 포함할 수 있으나 이에 한정되지 않는다.
도 3의 경우, 격자 단위(A)는 4개의 화소가 2행 2열로 배치된 베이어 배열(Bayer Arrangement)일 수 있으나, 격자 패턴을 이루는 격자 단위(A)는 3행 3열 또는 4행 4열의 격자 단위일 수 있으며, 이에 한정하지 않는다.
만일, 이미지 검출 화소(50)가 2행 2열의 격자 단위(A)로 반복되어 격자 패턴을 이루는 경우, 격자 단위(A)를 구성하는 4개의 화소에서 대각선으로 마주보는 2 개의 화소에는 G 화소가 배치되고, 나머지 2개의 화소에는 각각 R과 B 화소가 배치될 수 있다.
위상차 검출 화소(10)는 이미지 검출 화소(50)의 격자 단위(A)에서 G 화소 위치에 배치될 수 있다. 예를 들어, 위상차 검출 화소(10A, 10B) 중에서 제1 그룹화소(10A)는 행 방향으로 일정 간격 이격되어 제1 배열 라인(L1)으로 배치되고, 제2 그룹 화소(10B)는 행 방향으로 일정 간격 이격되어 제2 배열 라인(L2)으로 배치될 수 있다. 제1 배열 라인(L1)과 제2 배열 라인(L2)은 열 방향으로 교차되어 배치될 수 있다. 그러나, 도 3에 도시된 위상차 검출 화소(10A, 10B)의 배치는 일 례에 불과하며, 실시 예는 이미지 센서(120)에서의 위상차 검출 화소(10A, 10B)의 특정한 배치 형태에 국한되지 않는다. 즉, 제1 및 제2 그룹 화소(10A, 10B) 각각에 포함된 화소들 사이의 이격된 간격 또는 제1 그룹 화소(10A)와 제2 그룹 화소(10B)의 상대적인 배치 형태는 다양할 수 있다.
도 4a는 위상차 검출 화소(10A, 10B)의 일 실시예에 대한 평면도를 나타낸 것이다.
위상차 검출 화소(10A, 10B)는 화소의 개구 영역을 수직 방향으로 분할하여 구분된 영역 중 일부 영역이 차폐되어 제한된 수광 영역을 가질 수 있다. 이때, 위상차 검출 화소(10A, 10B)의 차폐된 부분(10A-1, 10B-1)은 서로 다른 방향으로 편향되어 배치된 것일 수 있다.
예를 들어, 위상차 검출 화소(10A, 10B)는 차폐된 영역이 좌측으로 편향된 제1 그룹 화소(10A)와 차폐된 영역이 우측으로 편향된 제2 그룹 화소(10B)를 포함할 수 있다.
도 4b는 위상차 검출 화소(10A, 10B)의 구성을 개략적으로 나타낸 도면이다.
위상차 검출 화소(10A, 10B)는 마스크층(11), 마이크로 렌즈(13) 및 포토 다이오드(15)를 포함할 수 있다.
마스크층(11)은 위상차 검출 화소(10A, 10B)에서의 차폐 영역을 형성할 수 있다. 이를 위해 마스크층(11)은 메탈 마스크로 구현될 수 있으며, 마스크층(11)에 의하여 위상차 검출 화소(10A, 10B)는 빛을 입사시킬 수 있는 개구 영역과 빛이 차단되는 차폐 영역을 구분될 수 있다. 예를 들어, 마스크층(11)에 의하여 차폐된 면적에 따라 이미지 센서(120)의 포토다이오드(15)로 입사되는 빛의 양이 조절될 수 있다.
마이크로 렌즈(13)는 입사되는 광 신호를 위상차 검출 화소(10A, 10B)의 중심부로 집중시켜 포토 다이오드(15)로 전달되게 할 수 있다. 마이크로 렌즈(13)는 입사되는 광 신호를 위상차 검출 화소(10A, 10B)로 집중시키기 위하여 포토 다이오드(15)에 대한 상대적인 위치가 변경될 수 있다. 포토 다이오드(15)는 입사되는 광 신호를 전기 신호로 변환할 수 있다.
도 4b를 참조하면, 제1 그룹 화소(10A)와 제2 그룹 화소(10B)로 각각 입사되는 빛은 마이크로 렌즈(13)를 통하여 집중되고, 렌즈(130)에 의해 집중된 빛은 마스크층(11)이 배치되지 않은 수광 영역을 통해 광 신호로서 각각의 포토 다이오드(15)로 전달된다. 이로부터, 위상차 검출을 위한 한 쌍의 상(image)이 획득될 수 있다.
도 4a 내지 4b는 위상차 검출 화소(10A, 10B)의 일 실시예를 도시하였으나, 위상차 검출 화소(10A, 10B)의 실시예는 이에 한정하지 않는다. 즉, 다른 실시 예에 의하면, 화소의 개구부를 수평 방향으로 구분하여 분할한 일부 영역이 차폐된 다른 형태의 위상차 검출 화소의 경우에도 본 실시 예는 적용될 수 있다.
도 5는 위상차 검출 화소 중 제1 그룹 화소(10A)의 작동 방식을 간략히 나타낸 도면이다.
도 5를 참조하면, 위상차 검출 화소(10A)에서 좌측으로 편향된 영역이 차폐된 경우, 위상차 검출 화소(10A)의 좌측으로부터 입사되는 빛(R)을 마이크로 렌즈(13)는 이미지 센서(120)의 중심으로 모으기 위하여 이동할 수 있다. 이때 마이크로 렌즈(13)에 의하여 집중된 빛은 위상차 검출 화소(10A)에 포함된 포토 다이오드(15)의 우측으로 치우쳐서 모아지게 된다. 이때, 차폐 영역은 빛이 입사되는 방향으로부터 치우쳐 있으므로 즉, 빛이 모아지지 않은 방향으로 치우쳐 있으므로, 입사되는 빛은 가려지지 않고 대부분 포토 다이오드(15)에 도달할 수 있다.
이와 달리, 동일한 위상차 검출 화소(10A)에서 빛(R)이 위상차 검출 화소(10A)의 우측으로부터 입사될 경우, 마이크로 렌즈(13)에 의하여 입사된 빛은 포토다이오드(15)의 좌측으로 치우쳐서 모아지게 된다. 이러한 경우 차폐 영역이 빛이 모아지는 방향으로 치우쳐 있으므로 입사되는 빛의 대부분이 차폐되게 된다.
이미지 센서(120)로부터 출력된 전기적 영상 신호 중 제2 영상 신호는 제1 그룹 화소에 속하는 위상차 검출 화소(10A)에서 획득된 광 신호를 처리한 영상 정보와 제2 그룹 화소에 속하는 위상차 검출 화소(10B)에서 획득된 광 신호를 처리한 영상 정보를 포함할 수 있다. 또한, 제2 영상 신호는 두 개의 위상차 검출 화소(10A, 10B)의 영상 정보로부터 추출한 위상차를 포함할 수도 있다.
도 6은 도 1에 도시된 이미지 센서(120)의 일 실시 예(120A)에 의한 블럭도를 나타낸다.
도 6에 도시된 이미지 센서(120A)는 광 수신부(121), 영상 처리부(123), 위상차 정리부(125A), 타이밍 발생부(127A) 및 출력부(129)를 포함할 수 있다.
광 수신부(121)는 피사체에 대한 광 신호를 입력단자 IN1을 통해 광학부(110)로부터 받는다. 광 수신부(121)는 광 신호를 디지털 형태로 변환하고, 변환된 결과인 이미지 데이터를 출력할 수 있다. 이하, 편의상 이미지 데이터 역시 '광 신호'라 칭한다.
영상 처리부(123)는 광 수신부(121)로부터 받은 가공되지 않은(raw) 광 신호에 포함된 잡음을 제거하고, 잡음이 제거된 결과를 위상차 정리부(125A)로 출력할 수 있다. 이를 위해, 영상 처리부(123)는 CDS(Correlated Double Sampling) 회로를 포함할 수 있다.
또한, 영상 처리부(123)는 잡읍이 제거된 광 신호에 소정의 이득을 승산하고, 이득이 승산되어 레벨이 조정된 광 신호를 위상차 정리부(125A)로 출력할 수도 있다. 이를 위해, 영상 처리부(123)는 AGC(Auto Gain Control) 회로를 포함할 수 있다.
그 밖에, 영상 처리부(123)는 감마 프로세싱(gamma processing)이나 클램프 프로세싱(clamp processing)을 더 수행할 수도 있다.
이와 같이, 영상 처리부(123)는 광 수신부(121)로부터 출력되는 광 신호를 처리하고, 처리된 광 신호를 위상차 정리부(125A)로 출력할 수 있다.
경우에 따라, 이미지 센서(120)는 영상 처리부(123)를 생략할 수도 있다. 이 경우, 광 수신부(121)로부터 출력되는 광 신호는 위상차 정리부(125A)로 제공될 수 있다.
위상차 정리부(125A)는 영상 처리부(123)에서 처리된 광 신호가 이미지 검출 화소(예를 들어 도 3의 50)와 위상차 검출 화소(예를 들어, 도 3의 10A, 10B) 중 어느 화소로부터 획득되었는가를 구분한다. 만일, 광 신호가 위상차 검출 화소로부터 획득되었다고 판단되면, 위상차 정리부(125A)는 광 신호로부터 위상차를 추출하여 정리하고, 정리된 결과를 제2 영상 신호로서 출력부(129)로 출력한다. 그러나, 광 신호가 이미지 검출 화소로부터 획득되었다고 판단되면, 위상차 정리부(125A)는 광 신호를 타이밍 발생부(127A)로 출력한다.
타이밍 발생부(127A)는 광 수신부(121)에서 수신되고 영상 처리부(123)에서 처리된 후 위상차 정리부(125A)에 의해 바이패스(bypass)된 광 신호를 복합 영상 신호에 맞도록 구성하고, 구성된 결과를 제1 영상 신호로서 출력부(129)로 출력한다.
출력부(129)는 제1 영상 신호에 해당하는 구성된 복합 영상 신호 및 제2 영상 신호에 해당하는 정리된 위상차를 함께 전기적 영상 신호로서 출력단자 OUT2를 통해 영상 재생부(130)로 출력한다. 이때, 출력부(129)는 수직 동기 신호(Vs)의 매 단위 주기에서 수평 동기 신호(Hs)의 발생이 종료된 구간 즉, 매 프레임의 끝 부분에서 제2 영상 신호를 전송할 수 있다. 즉, 실시 예에 의하면, 매 프레임의 끝 부분에서 수평 동기 신호(Hs)의 발생이 종료된 구간에 제2 영상 신호가 삽입된다.
도 7은 도 1에 도시된 이미지 센서(120)의 다른 실시 예(120B)에 의한 블럭도를 나타낸다.
도 7에 도시된 이미지 센서(120B)는 광 수신부(121), 영상 처리부(123), 위상차 정리부(125B), 타이밍 발생부(127B) 및 출력부(129)를 포함할 수 있다. 여기서, 광 수신부(121), 영상 처리부(123) 및 출력부(129)는 도 6에 도시된 광 수신부(121), 영상 처리부(123) 및 출력부(129)와 각각 동일하므로 동일한 참조부호를 사용하였으며 중복되는 설명을 생략한다.
영상 처리부(123)에서 처리된 광 신호를 받는 도 6에 도시된 위상차 정리부(125A)와 달리, 도 7에 도시된 위상차 정리부(125B)는 광 수신부(121)로부터 받은 광 신호가 이미지 검출 화소(예를 들어 도 3의 50)와 위상차 검출 화소(예를 들어, 도 3의 10A, 10B) 중 어느 화소로부터 획득되었는가를 구분한다.
만일, 광 신호가 위상차 검출 화소로부터 획득되었다고 판단되면, 위상차 정리부(125B)는 광 신호로부터 위상차를 추출하여 정리하고, 정리된 결과를 제2 영상 신호로서 출력부(129)로 출력한다. 그러나, 광 신호가 이미지 검출 화소로부터 획득되었다고 판단되면, 위상차 정리부(125B)는 영상 처리부(123)에서 처리된 광 신호를 타이밍 발생부(127B)가 받아들이도록 타이밍 발생부(127B)를 제어할 수 있다. 또는, 도시된 바와 달리, 광 신호가 이미지 검출 화소로부터 획득되었다고 판단되면, 위상차 정리부(125B)는 영상 처리부(123)에서 처리된 광 신호가 타이밍 발생부(127B)로 출력되도록 영상 처리부(123)를 제어할 수도 있다.
타이밍 발생부(127B)는 광 수신부(121)에서 수신되고 영상 처리부(123)에서 처리된 광 신호를 복합 영상 신호에 맞도록 구성하고, 구성된 결과를 제1 영상 신호로서 출력부(129)로 출력한다.
도 6 및 도 7에 도시된 출력부(129)에서 제1 및 제2 영상 신호를 전송하기 위해 필요한 수직 동기 신호(Vs) 및 수평 동기 신호(Hs)는 도 6 및 도 7에 도시된 이미지 센서(120A, 120B)의 외부로부터 주어진 후 타이밍 발생부(127A, 127B)를 통해 출력부(129)로 공급될 수도 있고, 타이밍 발생부(127A, 127B)에서 자체적으로 생성될 수도 있다. 실시 예는 수평 동기 신호(Hs)와 수직 동기 신호(Vs)의 특정 발생 위치와 특정 공급처에 국한되지 않는다.
한편, 도 1을 다시 참조하면, 영상 재생부(130)는 이미지 센서(120)로부터 받은 전기적 영상 신호로부터 제1 및 제2 영상 신호를 구분하여 추출하고, 추출한 제1 영상 신호로부터 복합 영상 신호를 재생하고, 추출한 제2 영상 신호로부터 초점값을 추출할 수 있다.
도 8은 도 1에 도시된 영상 재생부(130)의 일 실시 예에 의한 블럭도를 나타낸다.
도 8에 도시된 영상 재생부(130)는 타이밍 처리부(132), 위상차 처리부(134) 및 주 제어부(136)를 포함할 수 있다.
타이밍 처리부(132)는 이미지 센서(120)로부터 출력된 전기적 영상 신호를 입력단자 IN2를 통해 수신한다. 또한, 타이밍 처리부(132)는 수신한 전기적 영상 신호로부터 제1 및 제2 영상 신호를 구분하여 추출한다. 이때, 타이밍 처리부(132)는 추출한 제1 영상 신호로부터 복합 영상 신호를 재생하여 화면을 구성하고, 화면 구성된 결과를 주 제어부(136)로 출력한다.
또한, 타이밍 처리부(132)는 추출한 제2 영상 신호를 위상차 처리부(134)로 출력한다. 위상차 처리부(134)는 타이밍 처리부(132)에서 추출한 제2 영상 신호로부터 초점값을 추출하고, 추출한 초점값을 주 제어부(136)로 출력한다.
주 제어부(136)는 타이밍 처리부(132)에서 구성된 화면을 전체 영상 처리하여 출력단자 OUT3을 통해 디스플레이부(미도시)로 출력한다. 여기서, 디스플레이부는 주 제어부(136)로부터 받은 전체 영상 처리된 화면을 사용자에게 보여주는 부분으로서, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode) 등이 포함될 수 있으나, 이에 한정하지 않는다.
또한, 주 제어부(136)는 추출된 초점값을 이용하여 자동 초점 기능을 수행한다. 즉, 주 제어부(136)는 초점값을 이용하여 광 신호의 초점을 제어할 수 있다. 이를 위해, 구동부(140)는 주 제어부(136)로부터 출력단자 OUT3을 통해 출력된 초점값을 이용하여 초점이 맞도록 광학부(110)를 제어할 수 있다. 광학부(110)는 구동부(140)의 제어하에, 광축 방향으로 렌즈(111, 112, 114, 116)를 이동시켜 초점을 맞출 수 있다.
이하, 주 제어부(136)에서 추출되어 출력단자 OUT3을 통해 출력되는 초점값에 의해 초점 제어가 이루어지는 예시적인 과정에 대해 첨부된 도면을 참조하여 다음과 같이 설명한다.
도 9 내지 11은 이미지 센서(120)로부터 출력된 제2 영상 신호로부터 추출된 초점값을 이용하여 피사체와 렌즈의 초점이 맞았는가의 여부를 확인하는 과정을 설명하기 위한 도면이다.
도 9 (a) 및 (b)는 초점 위치(F)에 피사체(O)가 위치하는 경우를 나타낸 것이다. 도 9 (a)를 참조하면, 피사체(O)로부터 광학부(110)를 통과한 빛은 이미지 센서(120)에 모아지게 된다. 도 9 (a)의 경우, 피사체(O)의 위치가 초점 위치(F)와 일치되므로, 광학부(110)에서 획득된 빛은 이미지 센서(120) 상의 한 점으로 모아지게 된다.
도 9 (b)는 이미지 센서(120)의 위상차 검출 화소(10A, 10B)에서 획득된 광학 정보에 대한 휘도 분포를 나타낸 것이다. 도 9 (a)와 같이 초점 위치(F)에 피사체(O)가 배치되는 경우 두 개의 위상차 검출 화소 그룹(10A, 10B)에 의해 획득된 광학 정보의 휘도값 분포는 동일하게 나타나는 것을 알 수 있다.
즉, 이미지 센서(120)의 중심으로 빛이 모아져서 입사되므로, 위상차 검출 화소(10A, 10B)의 마이크로 렌즈(13)의 배치가 변경되지 않으므로 위상차 검출 화소(10A, 10B)의 차폐 영역의 방향에 관계없이 동일한 광학 정보를 얻을 수 있다. 이 경우, 위상차는 없으므로 영상 재생부(130)의 위상차 처리부(134)에서 추출된 초점값은 '0'으로 표기될 수 있다. 따라서, 서로 다른 차폐영역을 갖는 위상차 검출 화소(10A, 10B)로부터 얻어지는 두 개의 이미지가 일치되는 경우(즉, 초점값이 '0'인 경우), 피사체(O)가 카메라 모듈(100)로부터 렌즈의 초점 거리만큼 떨어진 위치(F)에 이격된 것으로 결정한다.
도 10 (a) 및 (b)의 경우 초점 위치(F)보다 피사체(O)가 카메라 모듈(100)로부터 먼 거리에 있는 경우로서 피사체(O)에 대한 이미지는 이미지 센서(120)의 위치보다 앞쪽에서 한 점으로 모아져 초점이 맞게 되고 이미지 센서(120) 상에서는 초점이 맞지 않는 이미지가 맺히게 된다.
도 10 (a)를 참조하면, 광학부(110)로부터 출력된 빛 중에서 광학부(110)의 좌측(도면에서 아래쪽)으로 치우친 빛은 이미지 센서(120)의 우측으로 치우쳐서 공급되며, 광학부(110)의 우측(도면에서 위쪽)으로 치우쳐서 출력된 빛은 이미지 센서(120)의 좌측으로 치우쳐서 공급되게 된다.
예를 들어 도 10 (b)를 참조하면, 도 5에서 설명한 위상차 검출 화소(10A, 10B)의 작동 원리로 인하여 위상차 검출 화소(10A, 10B)에 포함되는 마이크로 렌즈(13)의 이동이 일어난다. 이때, 위상차 검출 화소(10A, 10B)의 마이크로 렌즈(13)로 인하여 포토 다이오드(15)의 중심 영역으로 빛을 모아지게 되므로, 제1 그룹 화소(10A)로부터 획득된 광 신호의 휘도값은 이미지 센서(120)의 우측에 배치된 화소들에서 높게 나타내며, 반대로 제2 그룹 화소(10B)로부터 획득된 광 신호의 휘도값은 이미지 센서(120)의 좌측에 배치된 화소들에서 높게 나타난다.
즉, 도 10 (b)에 도시된 바와 같이 이미지 센서(120)의 중심 화소(C)를 기준으로 각 위상차 검출 화소(10A, 10B)에서 획득된 광 신호의 휘도 분포는 반대 방향으로 치우치게 된다.
따라서, 도 10 (b)의 경우 이미지 센서(120) 상에서는 한 점으로 빛이 모아지지 않으므로 초점이 맞지 않는 두 개의 이미지가 생성되며, 이러한 두 개의 이미지에서 위상차를 구할 수 있고, 두 이미지의 위상차로부터 광학부(110)로부터 피사체(O)가 이격된 거리 정보인 초점값을 구할 수 있다. 이 경우, 초점값이 '0'이 될때까지 주 제어부(136)는 구동부(140)를 통해 광학부(110)를 제어할 수 있다.
도 11 (a) 및 (b)는 초점 위치(F)보다 피사체(O)가 카메라 모듈(100)과 가까운 위치에 배치되는 경우이다. 이때 피사체(O)에 대해서는 이미지 센서(120)의 위치보다 뒤쪽에서 초점이 맞는 이미지가 맺히게 되며, 이미지 센서(120)의 위치에서는 초점이 맞지 않는 이미지가 형성되게 된다.
도 11 (a)를 참조하면, 광학부(110)로부터 출력된 빛 중 광학부(110)의 좌측(도면의 아래쪽)으로 치우친 빛은 이미지 센서(120)의 좌측으로 치우쳐서 공급되며, 광학부(110)의 우측(도면의 위쪽)으로 치우쳐서 출력된 빛은 이미지 센서(120)의 우측으로 치우쳐서 공급되게 된다.
이 경우에도 도 11 (b)에 도시된 바와 같이, 위상차 검출 화소(10A, 10B)에 포함되는 마이크로 렌즈(13)의 이동이 일어나게 되며, 도 10 (b)의 경우와는 반대로 제1 그룹 화소(10A)로부터 획득된 광 신호의 휘도 값은 이미지 센서(120)의 좌측에 배치된 화소들에서 높게 나타나며, 제2 그룹 화소(10B)로부터 획득된 광 신호의 휘도 값은 이미지 센서(120)의 우측에 배치된 화소들에서 높게 나타난다.
즉, 도시된 도 11 (b)를 참조하면, 이미지 센서(120)의 중심 화소(C)를 기준으로 각 위상차 검출 화소(10A, 10B)로부터 획득된 광 신호는 반대 방향으로 치우친 휘도 분포를 가지며, 이는 도 10 (b)와 다른 경향을 나타내게 된다.
또한 도 10 (b)의 경우와 마찬가지로 도 11 (b)의 경우에서도 이미지 센서(120)에서는 한 점으로 빛이 모아지지 않으므로 초점이 맞지 않는 두 개의 이미지가 생성되며, 이러한 두 개의 이미지에서 위상차를 구할 수 있고, 두 이미지의 위상차로부터 광학부(110)로부터 피사체(O)가 이격된 거리 정보 즉, 초점값을 구할 수 있다. 이 경우, 초점값이 '0'이 될때까지 주 제어부(136)는 구동부(140)를 통해 광학부(110)를 제어할 수 있다.
결국, 주 제어부(136)로부터 출력단자 OUT3를 통해 출력되는 초점값을 이용하여 구동부(140)를 통해 광학부(110)를 제어함으로써, 초점값이 '0'으로 수렴하도록 할 수 있다.
이하, 전술한 카메라 모듈(100)의 이미지 센서(120)에서 수행되는 일 실시 예에 의한 이미지 센싱 방법(200)을 첨부된 도면을 참조하여 다음과 같이 설명한다.
도 12는 실시 예에 의한 카메라 모듈의 이미지 센싱 방법(200)을 설명하기 위한 플로우차트이다.
도 1, 도 6, 도 7 및 도 12을 참조하여 실시 예에 의한 이미지 센싱 방법(200)을 살펴보면 다음과 같다.
먼저, 피사체에 대한 광 신호를 수신한다(제210 단계). 제210 단계는 도 6 및 도 7에 도시된 광 수신부(121)에서 수행될 수 있다.
제210 단계 후에, 수신된 광 신호가 이미지 검출 화소와 위상차 검출 화소 중 어느 화소에서 획득되었는가를 검사한다(제220 단계). 제220 단계는 도 6 및 도 7에 도시된 위상차 정리부(125A, 125B)에서 수행될 수 있다.
만일, 수신된 광 신호가 이미지 검출 화소로부터 획득된 경우, 획득된 광 신호를 복합 영상 신호에 맞도록 구성한다(제230 단계). 제230 단계는 타이밍 발생부(127A, 127B)에서 수행될 수 있다.
그러나, 수신된 광 신호가 위상차 검출 화소로부터 획득된 경우, 획득된 광 신호로부터 위상차를 추출하여 정리한다(제240 단계). 제240 단계는 위상차 정리부(125A, 125B)에서 수행될 수 있다.
제230 단계 또는 제240 단계 후에, 복합 영상 신호와 정리된 위상차를 전기적인 영상 신호로서 영상 재생부(130)로 전송한다(제250 단계). 제250 단계는 도 6 및 도 7에 도시된 출력부(129)에서 수행될 수 있다.
도 13은 도 6 또는 도 7에 도시된 이미지 센서(120)에서 수행되는 도 12에 도시된 이미지 센싱 방법(200)을 설명하기 위한 클럭 신호(CLK), 수직 동기 신호(Vs), 수평 동기 신호(Hs), 제1 및 제2 영상 신호(D1, D2)의 파형도를 나타낸다.
도 13에서, 클럭 신호(CLK)는 시스템 클럭 신호로서, 수직 동기 신호(Vs), 수평 동기 신호(Hs), 제1 및 제2 영상 신호(D1, D2)를 발생하기 위해 이용되는 클럭 신호이다. 도 13의 경우, 클럭 신호(CLK)의 상승 엣지에서 수직 동기 신호(Vs)가 발생하는 것으로 도시되어 있고, 수평 동기 신호(Hs)는 클럭 신호(CLK)의 "저" 논리 레벨에서 발생하는 것으로 예시되어 있지만, 이는 일 례에 불과하다. 따라서, 실시 예는 수직 동기 신호(Vs)와 수평 동기 신호(Hs)가 발생되는 클럭 신호(CLK)의 특정한 트리거 시점이나 클럭 신호(CLK)의 특정한 논리 레벨에 국한되지 않는다.
또한, 클럭 신호(CLK), 수직 동기 신호(Vs) 및 수평 동기 신호(Hs)는 도 6 및 도 7에 도시된 타이밍 발생부(127A, 127B)로부터 발생되거나 도 8에 도시된 타이밍 처리부(132)로부터 발생되거나 카메라 모듈(100)의 외부에서 발생될 수 있으며, 실시 예는 이들 신호(CLK, Vs, Hs)의 발생 장소에 국한되지 않는다.
도 7, 도 8, 도 12 및 도 13을 참조하면, 출력부(129)는 수직 동기 신호(Vs)의 단위 주기(T1) 마다 수평 동기 신호(Hs)에 응답하여 복합 영상 신호를 전송한다. 즉, 수직 동기 신호(Vs)의 단위 주기(T1) 내에서, 수평 동기 신호(Hs)가 발생되는 동안(즉, 수평 동기 신호(Hs)가 "고" 논리 레벨을 유지하는 동안)(T2), 출력부(129)는 복합 영상 신호로 구성된 제1 영상 신호(D1)를 영상 재생부(130)로 전송할 수 있다. 그러나, 수직 동기 신호(Vs)의 단위 주기(T1) 내에서 수평 동기 신호(Hs)가 발생되지 않은 동안(즉, 수평 동기 신호(Hs)가 "저" 논리 레벨을 유지하는 동안)(T3), 출력부(129)로부터 제1 영상 신호(D1)가 출력되지 않는다. 도 13의 경우, 수평 동기 신호(Hs)가 "고" 논리 레벨로부터 "저" 논리 레벨로 변한 후, 클럭 신호(CLK)의 소정 주기 후에 제1 영상 신호(D1)가 출력되지 않은 것으로 도시되어 있지만, 실시 예는 이에 국한되지 않는다. 다른 실시 예에 의하면, 도 13에 도시된 바와 달리, 수평 동기 신호(Hs)의 논리 레벨이 "고" 논리 레벨로부터 "저" 논리 레벨로 천이된 후 즉시 출력부(129)는 제1 영상 신호(D1)의 전송을 멈출 수도 있다.
또한, 수직 동기 신호(Vs)의 단위 주기(T1)마다 수평 동기 신호(Hs)의 발생이 종료된 구간(즉, 수평 동기 신호(Hs)가 "저" 논리 레벨을 유지하는 구간)에서, 출력부(129)는 정리된 위상차를 제2 영상 신호(D2)로서 영상 재생부(130)로 전송할 수 있다.
수직 동기 신호(Vs)와 수평 동기 신호(Hs)에 의해 재생되는 단위 프레임의 가로와 세로의 화소의 개수가 각각 4208개 및 3120개이고, 수직 동기 신호(Vs)의 단위 주기(T1) 내에서 수평 동기 신호(Hs)가 발생되는 구간(즉, 수평 동기 신호(Hs)가 "고" 논리 레벨을 유지하는 구간)(T2)에 포함된 클럭 신호(CLK)의 단위 주기(BT)의 개수는 4240개일 수 있다. 여기서, 수직 동기 신호의 단위 주기(T1) 내에서 수평 동기 신호(Hs)가 발생되지 않은 구간 즉, 수평 동기 신호(Hs)가 "저" 논리 레벨을 유지하는 구간(T3)의 길이는 제2 영상 신호(D2)를 영상 재생부(130)로 전송하기에 충분한 기간일 수 있다.
도 14는 비교 례에 의한 이미지 센서에서 수행되는 이미지 센싱 방법에 의할 경우, 클럭 신호(CLK), 수직 동기 신호(Vs), 수평 동기 신호(Hs), 제1 및 제2 영상 신호(D1, D2)의 파형도를 나타낸다.
비교 례에 의한 이미지 센서에서 수행되는 이미지 센싱 방법은 도 12에 도시된 제220 및 제240 단계를 수행하지 않고 제210, 제230 및 제250 단계만을 수행할 수 있다. 이 경우, 도 14를 참조하면, 수직 동기 신호(Vs)의 단위 주기(T1)에서 수평 동기 신호(Hs)가 발생하지 않은 동안(즉, 수평 동기 신호(Hs)의 레벨이 "저" 논리 레벨을 유지하는 동안)(T3), 제2 영상 신호(D2)는 영상 재생부(130)로 전송되지 않는다. 즉, 구간(T3)에 제2 영상 신호(D2)가 삽입되지 않는다.
또한, 비교 례에 의한 카메라 모듈의 경우, 도 8에 도시된 위상차 처리부(134)가 영상 재생부(130)가 아닌 이미지 센서(120) 내에 배치된다. 이 경우, 위상차 처리부(134)로부터 발생되는 열에 의해 이미지 센서(120)에 잡음이 야기되거나 성능이 저하될 수 있다. 그러나, 전술한 실시 예에 의한 카메라 모듈(100)의 경우, 특정한 기간(T3)에서 제2 영상 신호(D2)를 영상 재생부(130)로 전송함으로써, 위상차 처리부(134)가 이미지 센서(120)에 배치되지 않고 영상 재생부(130)에 배치될 수 있다. 따라서, 위상차 처리부(134)가 이미지 센서(120) 내에 배치되어 야기될 수 있는 전술한 문제점 즉, 잡음이 야기되는 문제와 성능이 저하되는 문제가 해소될 수 있다.
또한, 이미지 센서(120)가 제2 영상 신호(D2)를 수직 동기 신호(Vs)의 블랭크(blank) 기간에만 전송하기 때문에, 이미지 센서(120)의 고속 프레임 율에는 영향을 주지 않을 수 있다.
또한, 비교 례에 의한 카메라 모듈의 경우, 위상차 처리부(134)가 이미지 센서(120) 내에 배치되므로 인해, I2C(Inter-Integrated Circuit)나 SPI(Serial Peripheral Interface) 통신을 통해 위상차에 관련된 데이터를 영상 재생부(130)로 전송해야 한다. 따라서, 다른 데이터 통신을 위해 사용되는 I2C나 SPI 통신에 부담을 줄 수 있다. 그러나, 실시 예에 의한 카메라 모듈의 경우, I2C나 SPI 통신의 도움없이 제2 영상 신호(D2)를 영상 재생부(130)로 전송하므로, I2C나 SPI 통신의 부담을 덜어줄 수 있다.
한편, 이미지 센서에서 수행되는 이미지 센싱 방법(200)을 실행하기 위한 프로그램을 기록한 기록 매체는, 광 수신부(121)로 하여금 피사체에 대한 광 신호를 수신하도록 하는 기능과, 위상차 정리부(125A, 125B)로 하여금 수신된 광 신호가 이미지 검출 화소와 위상차 검출 화소 중 어느 화소에서 획득되었는가를 검사하도록 하는 기능과, 타이밍 발생부(127A, 127B)로 하여금 수신된 광 신호가 이미지 검출 화소로부터 획득된 경우, 획득된 광 신호를 복합 영상 신호에 맞도록 구성하도록 하는 기능과, 위상차 정리부(125A, 125B)로 하여금 수신된 광 신호가 위상차 검출 화소로부터 획득된 경우, 획득된 광 신호로부터 위상차를 추출하여 정리하도록 하는 기능과, 출력부(129)로 하여금 수직 동기 신호의 단위 주기 마다 수평 동기 신호가 발생되는 동안 복합 영상 신호를 영상 재생부(130)로 전송하고, 수직 동기 신호의 단위 주기마다 수평 동기 신호의 발생이 종료된 구간에서 정리된 위상차를 영상 재생부(130)로 전송하도록 하는 기능을 구현하는 프로그램을 기록하며, 컴퓨터는 기록 매체를 읽을 수 있다.
컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 이미지 센싱 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상에서 실시 예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시 예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시 예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
발명의 실시를 위한 형태는 전술한 "발명의 실시를 위한 최선의 형태"에서 충분히 설명되었다.
실시 예에 의한 카메라 모듈 및 이의 이미지 센싱 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체는 셀룰러 폰이나 자동차 후방 감지 카메라 등에 적용될 수 있다.

Claims (20)

  1. 이미지 검출 화소로부터 획득된 제1 영상 신호 및 적어도 한 쌍의 위상차 검출 화소로부터 획득된 제2 영상 신호를 전기적 영상 신호로서 전송하는 이미지 센서; 및
    상기 전기적 영상 신호로부터 상기 제1 및 제2 영상 신호를 구분하여 추출하고, 상기 추출한 제1 영상 신호로부터 복합 영상 신호를 재생하고, 상기 추출한 제2 영상 신호로부터 초점값을 추출하는 영상 재생부를 포함하고,
    상기 이미지 센서는 수직 동기 신호의 매 단위 주기마다 수평 동기 신호의 발생이 종료된 구간 동안, 상기 제2 영상 신호를 전송하는 카메라 모듈.
  2. 제1 항에 있어서, 상기 이미지 센서는
    피사체에 대한 광 신호를 수신하는 광 수신부;
    상기 광 신호가 상기 이미지 검출 화소와 상기 위상차 검출 화소 중 어느 화소로부터 획득되었는가를 구분하고, 상기 위상차 검출 화소로부터 획득된 상기 광 신호로부터 위상차를 추출하여 정리하는 위상차 정리부;
    상기 이미지 검출 화소로부터 획득된 상기 광 신호를 복합 영상 신호에 맞도록 구성하는 타이밍 발생부; 및
    상기 제1 및 제2 영상 신호 각각에 해당하는 상기 구성된 복합 영상 신호 및 상기 정리된 위상차를 상기 전기적 영상 신호로서 출력하는 출력부를 포함하고,
    상기 출력부는 상기 수직 동기 신호의 매 단위 주기마다 상기 수평 동기 신호의 발생이 종료된 구간 동안 상기 제2 영상 신호를 전송하는 카메라 모듈.
  3. 제2 항에 있어서, 상기 이미지 센서는
    상기 광 신호에 포함된 잡음을 제거하는 영상 처리부를 더 포함하는 카메라 모듈.
  4. 제3 항에 있어서, 상기 영상 처리부는 상기 잡읍이 제거된 상기 광 신호에 소정의 이득을 승산하여 출력하는 카메라 모듈.
  5. 제3 항에 있어서, 상기 영상 처리부에서 잡음이 제거된 상기 광 신호는 상기 위상차 정리부로 출력되는 카메라 모듈.
  6. 제3 항에 있어서, 상기 영상 처리부에서 잡음이 제거된 상기 광 신호는 상기 타이밍 발생부로 출력되는 카메라 모듈.
  7. 제6 항에 있어서, 상기 위상차 정리부는
    상기 광 수신부에서 수신된 상기 광 신호로부터 상기 위상차를 추출하거나,
    상기 영상 처리부에서 잡음이 제거된 상기 광 신호를 상기 타이밍 발생부로 제공시키는 카메라 모듈.
  8. 제7 항에 있어서, 상기 위상차 정리부는 상기 타이밍 발생부를 제어하여, 상기 영상 처리부에서 잡음이 제거된 상기 광 신호를 상기 타이밍 발생부로 제공하는 카메라 모듈.
  9. 제7 항에 있어서, 상기 위상차 정리부는 상기 영상 처리부를 제어하여, 상기 영상 처리부에서 잡음이 제거된 상기 광 신호를 상기 타이밍 발생부로 제공하는 카메라 모듈.
  10. 제2 항에 있어서, 상기 타이밍 발생부는
    상기 이미지 센서의 외부로부터 제공된 상기 수직 동기 신호 및 상기 수평 동기 신호를 받아서 상기 출력부로 공급하는 카메라 모듈.
  11. 제2 항에 있어서, 상기 타이밍 발생부는 상기 수직 동기 신호 및 상기 수평 동기 신호를 생성하는 카메라 모듈.
  12. 제3 항에 있어서, 상기 영상 처리부는
    상기 광 신호에 포함된 잡음을 제거하는 CDS 회로를 포함하는 카메라 모듈.
  13. 제3 항에 있어서, 상기 영상 처리부는
    상기 광 신호를 감마 프로세싱하거나 클램프 프로세싱하는 카메라 모듈.
  14. 제2 항에 있어서, 상기 광 수신부는 상기 광 신호를 디지털 형태로 변환하는 카메라 모듈.
  15. 제2 항에 있어서, 상기 영상 재생부는
    상기 이미지 센서로부터 수신한 상기 전기적 영상 신호로부터 상기 제1 및 제2 영상 신호를 구분하여 추출하고, 상기 추출한 제1 영상 신호로부터 상기 복합 영상 신호를 재생하여 화면을 구성하는 타이밍 처리부;
    상기 타이밍 처리부에서 추출한 상기 제2 영상 신호로부터 상기 초점값을 추출하는 위상차 처리부; 및
    상기 구성된 화면을 영상 처리하고, 상기 추출된 초점값을 이용하여 상기 광 신호의 초점을 제어하는 주 제어부를 포함하는 카메라 모듈.
  16. 제1 항에 있어서, 상기 수평 동기 신호 및 상기 수직 동기 신호는 상기 복합 영상 신호를 매 프레임 단위로 재생할 때 사용되는 카메라 모듈.
  17. 제1 항에 있어서, 상기 이미지 센서는 상기 이미지 검출 화소와 상기 위상차 검출 화소를 매트릭스 형태로 포함하고,
    상기 수평 동기 신호 및 상기 수직 동기 신호는 상기 매트릭스 형태의 화소 중 원하는 화소를 선택할 때 사용되는 카메라 모듈.
  18. 제2 항에 있어서, 상기 카메라 모듈은
    상기 광 신호를 생성하는 광학부; 및
    상기 초점값을 이용하여 상기 광학부를 제어하는 구동부를 더 포함하는 카메라 모듈.
  19. 이미지 센서와 영상 재생부를 포함하는 카메라 모듈의 상기 이미지 센서에서 수행되는 이미지 센싱 방법에 있어서,
    피사체에 대한 광 신호를 수신하는 단계;
    상기 수신된 광 신호가 이미지 검출 화소와 위상차 검출 화소 중 어느 화소에서 획득되었는가를 검사하는 단계;
    상기 수신된 광 신호가 상기 이미지 검출 화소로부터 획득된 경우, 상기 획득된 광 신호를 복합 영상 신호에 맞도록 구성하는 단계;
    상기 수신된 광 신호가 상기 위상차 검출 화소로부터 획득된 경우, 상기 획득된 광 신호로부터 위상차를 추출하여 정리하는 단계; 및
    수직 동기 신호의 단위 주기 마다 수평 동기 신호가 발생되는 구간 동안 상기 복합 영상 신호를 상기 영상 재생부로 전송하고, 상기 수직 동기 신호의 단위 주기마다 상기 수평 동기 신호의 발생이 종료된 구간에서 상기 정리된 위상차를 상기 영상 재생부로 전송하는 단계를 포함하는 카메라 모듈의 이미지 센싱 방법.
  20. 이미지 센서와 영상 재생부를 포함하는 카메라 모듈의 상기 이미지 센서에서 수행되는 이미지 센싱 방법을 실행하기 위한 프로그램을 기록한 기록 매체에 있어서,
    피사체에 대한 광 신호를 수신하도록 하는 기능;
    상기 수신된 광 신호가 이미지 검출 화소와 위상차 검출 화소 중 어느 화소에서 획득되었는가를 검사하도록 하는 기능;
    상기 수신된 광 신호가 상기 이미지 검출 화소로부터 획득된 경우, 상기 획득된 광 신호를 복합 영상 신호에 맞도록 구성하도록 하는 기능;
    상기 수신된 광 신호가 상기 위상차 검출 화소로부터 획득된 경우, 상기 획득된 광 신호로부터 위상차를 추출하여 정리하도록 하는 기능; 및수직 동기 신호의 단위 주기 마다 수평 동기 신호가 발생되는 구간 동안 상기 복합 영상 신호를 상기 영상 재생부로 전송하고, 상기 수직 동기 신호의 단위 주기마다 상기 수평 동기 신호의 발생이 종료된 구간에서 상기 정리된 위상차를 상기 영상 재생부로 전송하도록 하는 기능을 구현하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
PCT/KR2015/013751 2014-12-18 2015-12-15 카메라 모듈 및 이의 이미지 센싱 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체 WO2016099128A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/537,784 US20180278828A1 (en) 2014-12-18 2015-12-15 Camera Module and Image Sensing Method Thereof, and Recording Medium Having Recorded Therein Program for Implementing Method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140183339A KR102197083B1 (ko) 2014-12-18 2014-12-18 카메라 모듈 및 이의 이미지 센싱 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체
KR10-2014-0183339 2014-12-18

Publications (1)

Publication Number Publication Date
WO2016099128A1 true WO2016099128A1 (ko) 2016-06-23

Family

ID=56126930

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/013751 WO2016099128A1 (ko) 2014-12-18 2015-12-15 카메라 모듈 및 이의 이미지 센싱 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체

Country Status (3)

Country Link
US (1) US20180278828A1 (ko)
KR (1) KR102197083B1 (ko)
WO (1) WO2016099128A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3474535A4 (en) * 2016-07-29 2020-02-19 Guangdong Oppo Mobile Telecommunications Corp., Ltd. IMAGE SYNTHESIS METHOD AND DEVICE FOR MOBILE TERMINAL, AND MOBILE TERMINAL

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10700780B2 (en) 2018-05-30 2020-06-30 Apple Inc. Systems and methods for adjusting movable lenses in directional free-space optical communication systems for portable electronic devices
US11303355B2 (en) 2018-05-30 2022-04-12 Apple Inc. Optical structures in directional free-space optical communication systems for portable electronic devices
US10705347B2 (en) 2018-05-30 2020-07-07 Apple Inc. Wafer-level high aspect ratio beam shaping
US11549799B2 (en) 2019-07-01 2023-01-10 Apple Inc. Self-mixing interference device for sensing applications
US11539875B1 (en) * 2021-08-27 2022-12-27 Omnivision Technologies Inc. Image-focusing method and associated image sensor
CN117396734A (zh) * 2021-09-26 2024-01-12 Oppo广东移动通信有限公司 用于提高由具有图像平面相位差像素的图像传感器采集的图像的质量的方法、电子设备、计算机可读存储介质和终端设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090001177A (ko) * 2007-06-29 2009-01-08 엠텍비젼 주식회사 이미지 센싱 신호의 발생 방법 및 장치
KR20100079831A (ko) * 2008-12-31 2010-07-08 삼성전자주식회사 디지털 카메라 및 그 제어방법
KR20110068796A (ko) * 2009-12-16 2011-06-22 삼성전자주식회사 이미지 센서 모듈, 이의 제조 방법, 및 이를 포함하는 이미지 처리 시스템
JP2011211507A (ja) * 2010-03-30 2011-10-20 Seiko Epson Corp デジタルカメラ
KR20130108253A (ko) * 2010-08-16 2013-10-02 소니 주식회사 촬상 소자 및 촬상 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5703806B2 (ja) * 2011-02-08 2015-04-22 株式会社リコー 撮像装置および撮像方法
GB2511405B (en) * 2012-12-28 2016-01-27 Canon Kk Image pickup element, image pickup apparatus, and method and program for controlling the same
JP6315776B2 (ja) * 2014-02-20 2018-04-25 オリンパス株式会社 撮像素子、撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090001177A (ko) * 2007-06-29 2009-01-08 엠텍비젼 주식회사 이미지 센싱 신호의 발생 방법 및 장치
KR20100079831A (ko) * 2008-12-31 2010-07-08 삼성전자주식회사 디지털 카메라 및 그 제어방법
KR20110068796A (ko) * 2009-12-16 2011-06-22 삼성전자주식회사 이미지 센서 모듈, 이의 제조 방법, 및 이를 포함하는 이미지 처리 시스템
JP2011211507A (ja) * 2010-03-30 2011-10-20 Seiko Epson Corp デジタルカメラ
KR20130108253A (ko) * 2010-08-16 2013-10-02 소니 주식회사 촬상 소자 및 촬상 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3474535A4 (en) * 2016-07-29 2020-02-19 Guangdong Oppo Mobile Telecommunications Corp., Ltd. IMAGE SYNTHESIS METHOD AND DEVICE FOR MOBILE TERMINAL, AND MOBILE TERMINAL
US10848678B2 (en) 2016-07-29 2020-11-24 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image synthesis method and apparatus for mobile terminal, and mobile terminal

Also Published As

Publication number Publication date
KR20160074250A (ko) 2016-06-28
US20180278828A1 (en) 2018-09-27
KR102197083B1 (ko) 2020-12-31

Similar Documents

Publication Publication Date Title
WO2016099128A1 (ko) 카메라 모듈 및 이의 이미지 센싱 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체
US11496716B2 (en) Solid state imaging device and electronic apparatus
WO2014189232A1 (en) Electronic sensor and method for controlling the same
US8411157B2 (en) Solid-state image pickup device and image pickup device
WO2015005672A1 (en) Image generating apparatus and method and non-transitory recordable medium
WO2015083971A1 (en) Electronic apparatus and method of controlling the same
US10397502B2 (en) Method and apparatus for imaging an object
WO2015163671A1 (en) Image pickup apparatus including lens elements having different diameters
CN107181922B (zh) 摄像设备及其控制方法
US9716823B2 (en) Image pickup apparatus, image pickup system, and method of driving image pickup apparatus
US8994861B2 (en) Imaging apparatus and imaging method for obtaining plural kinds of image data with different dynamic ranges in a single photographing
WO2017082484A1 (en) Image photographing apparatus and method for controlling the same
KR20040036458A (ko) 구조가 개선된 디지털 카메라용 이미지 센싱 수단 및 이를채용한 디지털 카메라
WO2014189332A1 (en) Imaging sensor capable of phase difference focus detection cross-reference to related patent application
WO2013137637A1 (en) Imaging apparatus and image sensor thereof
WO2016204371A1 (en) Photographing apparatus for preventing light leakage and image sensor thereof
EP3207696A1 (en) Imaging apparatus and imaging method
US10574928B2 (en) Solid-state imaging element and method for controlling solid-state imaging element
US9407822B2 (en) Image capturing apparatus capable of reducing time taken to display image on display and method of controlling the same
WO2020111369A1 (ko) 이미지 센서 및 그 제어 방법
WO2017099308A1 (ko) 컬러 필터 어레이 및 이를 이용한 이미지 센서
RU2611426C1 (ru) Датчик видеосигнала основных цветов для панорамного телевизионного наблюдения цветного изображения
WO2023277665A1 (ko) 전자 장치 및 그 제어 방법
JP4770262B2 (ja) 撮像装置
JP2009147540A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15870295

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 15537784

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 15870295

Country of ref document: EP

Kind code of ref document: A1