WO2022231349A1 - 카메라 장치 - Google Patents

카메라 장치 Download PDF

Info

Publication number
WO2022231349A1
WO2022231349A1 PCT/KR2022/006108 KR2022006108W WO2022231349A1 WO 2022231349 A1 WO2022231349 A1 WO 2022231349A1 KR 2022006108 W KR2022006108 W KR 2022006108W WO 2022231349 A1 WO2022231349 A1 WO 2022231349A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
light source
output
input
current
Prior art date
Application number
PCT/KR2022/006108
Other languages
English (en)
French (fr)
Inventor
이기석
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to CN202280031648.8A priority Critical patent/CN117280681A/zh
Publication of WO2022231349A1 publication Critical patent/WO2022231349A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Definitions

  • the present invention relates to a camera device.
  • 3D contents are being applied in many fields such as education, manufacturing, and autonomous driving as well as games and culture, and depth map is required to acquire 3D contents.
  • Depth information is information indicating a distance in space, and indicates perspective information of another point with respect to one point of a 2D image.
  • a method of acquiring depth information a method of projecting IR (Infrared) structured light onto an object, a method using a stereo camera, a Time of Flight (TOF) method, and the like are used.
  • IR Infrared
  • TOF Time of Flight
  • a method of acquiring depth information As a method of acquiring depth information, a method of projecting IR (Infrared) structured light onto an object, a method using a stereo camera, a Time of Flight (ToF) method, and the like are used.
  • the distance to the object is calculated by measuring the flight time, that is, the time the light is emitted and reflected.
  • the biggest advantage of the ToF method is that it provides distance information in a 3D space quickly in real time.
  • the user can obtain accurate distance information without applying a separate algorithm or performing hardware correction.
  • accurate depth information can be obtained by measuring a very close subject or measuring a moving subject.
  • the reflectance of light may vary depending on the surface material of the object, and accordingly, the accuracy of depth information acquired according to the ToF method may vary.
  • An object of the present invention is to provide a camera device capable of extracting depth information with high accuracy.
  • Another technical object of the present invention is to provide a camera device capable of selectively extracting depth information for a specific area within an angle of view.
  • a camera device includes an optical output unit generating an output light signal and irradiating an object, an optical input unit receiving an input light signal input after being reflected from the object, and the input light input to the optical input unit a depth information generator configured to generate depth information of the object by using a signal, and a controller configured to control the optical output part, the optical input part, and the depth information generator, wherein the optical output part generates the output optical signal and a light source, wherein the controller controls a current applied to the light source based on information about the object.
  • the information about the object may include at least one of a surface material of the object, an area of the object, and a shape of the object.
  • the control unit controls a current lower than the reference current to be applied to the light source, and when the vertical length of the object is longer than the horizontal length, a current higher than the reference current is applied to the light source can be controlled as much as possible.
  • the light output unit may further include a lens assembly for diffusing an output light signal output from the light source.
  • the optical input unit may include a polarizing member selectively passing an input optical signal having a predetermined polarization angle among the input optical signals, and an image sensor receiving the input optical signal passing through the polarizing member.
  • At least one of a polarization characteristic and a waveform of the output light signal output by the light source may vary according to the current.
  • the light source may include a vertical cavity surface emitting laser (VCSEL).
  • VCSEL vertical cavity surface emitting laser
  • the depth information generator may generate the depth information by using a phase difference between the output optical signal and the input optical signal.
  • the controller may control so that a section in which a first current is applied to the light source and a section in which a second current higher than the first current is applied to the light source are alternately repeated.
  • a method of generating depth information of a camera device includes obtaining information about an object, controlling a current applied to a light source based on the information, and outputting light from the light source based on the current generating a signal and irradiating the object to the object; receiving an input light signal input after being reflected from the object; and generating depth information of the object by using the input light signal.
  • the information about the object may include at least one of a surface material of the object, an area of the object, and a shape of the object.
  • a current lower than the reference current is controlled to be applied to the light source
  • the current higher than the reference current is the light source It can be controlled to be applied to
  • the depth information may be generated using a phase difference between the output optical signal and the input optical signal.
  • a section in which a first current is applied to the light source and a section in which a second current higher than the first current is applied to the light source may be controlled to be alternately repeated.
  • depth information can be extracted with high accuracy in consideration of the surface material of the object.
  • FIG. 1 is a block diagram of a camera device according to an embodiment of the present invention.
  • FIG. 2 is a schematic cross-sectional view of a camera device according to an embodiment of the present invention.
  • FIG 3 is a view for explaining an output light signal output by a camera device according to an embodiment of the present invention.
  • FIG. 4 is a block diagram of a camera device according to an embodiment of the present invention.
  • FIG. 5 is a flowchart of a method for generating depth information of a camera device according to an embodiment of the present invention.
  • 6 to 7 are views for explaining a polarization direction according to a current applied to a light source included in a camera device according to an embodiment of the present invention.
  • FIG. 8 is a view for explaining a pulse shape according to a current applied to a light source included in a camera device according to an embodiment of the present invention.
  • FIG. 9 is a schematic cross-sectional view of a camera device according to another embodiment of the present invention.
  • FIG. 10 shows a pulse of an output light signal controlled according to a current applied to a light source.
  • FIG. 11 shows a depth image that varies according to a current applied to a light source.
  • a component when it is described that a component is 'connected', 'coupled' or 'connected' to another component, the component is not only directly connected, coupled or connected to the other component, but also with the component It may also include the case of 'connected', 'coupled' or 'connected' due to another element between the other elements.
  • a camera device may refer to a camera that extracts depth information using a Time of Flight (ToF) function. Accordingly, the camera device may be used interchangeably with a ToF camera device, a ToF camera module, a ToF camera, and the like.
  • ToF Time of Flight
  • FIG. 1 is a block diagram of a camera apparatus according to an embodiment of the present invention
  • FIG. 2 is a schematic cross-sectional view of a camera apparatus according to an embodiment of the present invention
  • 3 is a view for explaining an output light signal output by a camera device according to an embodiment of the present invention.
  • a camera 1 includes an optical output unit 10 , an optical input unit 20 , a depth information generation unit 30 , and a control unit 40 .
  • the light output unit 10 irradiates an object after generating an output light signal.
  • the optical output unit 10 may generate and output an output optical signal in the form of a pulse wave or a continuous wave.
  • the continuous wave may be in the form of a sinusoid wave or a square wave.
  • the camera 1 determines the time between the output light signal output from the light output unit 10 and the input light signal inputted to the light input unit 20 after being reflected from the object. A difference or a phase difference can be detected.
  • the output light refers to light output from the light output unit 10 and incident on the object
  • the input light is output from the light output unit 10 to reach the object and then reflected from the object to the light input unit 20
  • the output light may be incident light
  • the input light may be reflected light.
  • the light output unit 10 may generate light pulses at a constant cycle.
  • the optical output unit 10 may generate an optical pulse having a predetermined pulse width (t pulse ) with a predetermined pulse repetition period (t modulation ).
  • a predetermined number of light pulses generated by the light output unit 10 may be grouped to form one phase pulse.
  • the optical output unit 10 may generate a phase pulse having a predetermined phase pulse period (t phase ) and a predetermined phase pulse width (t exposure ).
  • the phase pulse width is called t illumination or t integration .
  • one phase pulse period t phase may correspond to one subframe.
  • a sub-frame may be referred to as a phase frame.
  • the phase pulse period may be grouped into a predetermined number.
  • a method of grouping four phase pulse periods (t phase ) may be referred to as a 4-phase method.
  • Grouping eight periods (t phase ) may be referred to as an 8-phase scheme.
  • a predetermined number of phase pulses generated by the optical output unit 10 may be grouped to form one frame pulse.
  • the optical output unit 10 may generate a frame pulse having a predetermined frame pulse period (t frame ) and a predetermined frame pulse width (t phase group (sub-frame group) ).
  • one frame pulse period t frame may correspond to one frame. Accordingly, when an object is photographed at 10 FPS, a frame pulse period (t frame ) of 10 times per second may be repeated.
  • one frame may include four sub-frames. That is, one frame may be generated through four sub-frames.
  • the 8-phase scheme one frame may include 8 subframes. That is, one frame may be generated through 8 sub-frames.
  • the light output unit 10 may include a light source 100 and a lens assembly 110 .
  • the light source 100 generates light.
  • the light generated by the light source 100 may be infrared light having a wavelength of 770 to 3000 nm, or may be visible light having a wavelength of 380 to 770 nm.
  • the light source 100 may use a light emitting diode (LED), and may have a form in which a plurality of light emitting diodes are arranged according to a predetermined pattern.
  • the light source 100 may include an organic light emitting diode (OLED) or a laser diode (LD).
  • the light source 100 may be a Vertical Cavity Surface Emitting Laser (VCSEL).
  • VCSEL Vertical Cavity Surface Emitting Laser
  • the VCSEL is one of laser diodes that converts an electrical signal into an optical signal, and may output a wavelength of about 800 to 1000 nm, for example, about 850 nm or about 940 nm.
  • the light source 100 generates an output light signal in the form of a pulse wave or a continuous wave by repeating flickering (on/off) at regular time intervals.
  • the predetermined time interval may be the frequency of the output light signal.
  • the lens assembly 110 may condense the light output from the light source 100 and output the collected light to the outside.
  • the lens assembly 110 may be disposed above the light source 100 to be spaced apart from the light source 100 .
  • the upper portion of the light source 100 may mean a side from which light is output from the light source 100 .
  • the lens assembly 110 may include at least one lens.
  • each lens may be aligned with respect to a central axis to form an optical system.
  • the central axis may be the same as the optical axis of the optical system.
  • the lens assembly 110 may be accommodated or supported in the housing 120 .
  • the housing 120 may be coupled to a driving module (not shown), and the lens assembly 110 may move in the optical axis direction or in a direction perpendicular to the optical axis by the driving module (not shown).
  • the light input unit 20 receives light reflected from the object.
  • the light input unit 20 includes a lens assembly 130 for condensing input light reflected from an object, a filter (not shown), and an image sensor 140 for converting input light passing through the lens assembly 130 into an electrical signal. ), and the lens assembly 130 , the filter (not shown), and the image sensor 140 may be accommodated or supported in the housing 150 .
  • the housing 120 on the light output unit 10 side and the housing 150 on the light input unit 20 side are shown to be spaced apart from each other, the present invention is not limited thereto, and the housing 120 on the light output unit 10 side is spaced apart from each other. ) and the housing 150 on the side of the optical input unit 20 may be an integral housing.
  • the optical axis of the lens assembly 130 may be aligned with the optical axis of the image sensor 140 .
  • a filter (not shown) is disposed between the lens assembly 130 and the image sensor 140 and may filter light having a predetermined wavelength range. For example, a filter (not shown) may pass light in a wavelength band of the output light output from the light output unit 10 .
  • the image sensor 140 may receive an input light signal in synchronization with the blinking period of the light source 100 . Specifically, the image sensor 140 may receive an output light signal output from the light source 100 and light respectively in phase and out of phase. That is, the image sensor 140 may repeatedly perform the step of receiving the input light signal when the light source is on and the step of receiving the input light signal when the light source is off. The image sensor 140 may generate an electrical signal corresponding to each reference signal using a plurality of reference signals having different phase differences. The frequency of the reference signal may be set to be the same as the frequency of the output light signal output from the light source 100 .
  • the image sensor 140 when the light source 100 generates an output light signal with a plurality of frequencies, the image sensor 140 generates an electrical signal using a plurality of reference signals corresponding to each frequency.
  • the electrical signal may include information on an amount of charge or voltage corresponding to each reference signal.
  • Reference signals according to an embodiment of the present invention may be four (C 1 to C 4 ). Each of the reference signals C 1 to C 4 may have the same frequency as the output light signal, but may have a phase difference of 90 degrees from each other. One of the four reference signals (C 1 ) may have the same phase as the output light signal. The phase of the input light signal is delayed by the distance that the output light signal is reflected back after being incident on the object.
  • the image sensor 140 mixes the input light signal and each reference signal, respectively. Then, the image sensor 140 may generate an electrical signal for each reference signal.
  • the image sensor 140 may have a structure in which a plurality of pixels are arranged in a grid form.
  • the image sensor 140 may be a complementary metal oxide semiconductor (CMOS) image sensor or a charge coupled device (CCD) image sensor.
  • CMOS complementary metal oxide semiconductor
  • CCD charge coupled device
  • the image sensor 140 may include a ToF sensor that receives IR light reflected from an object and measures a distance using time or phase difference.
  • each pixel may include an in-phase receiving unit that receives the input light signal in the same phase as the waveform of the output light, and an out-phase receiving unit that receives the input light signal in a phase opposite to the waveform of the output light.
  • the in-phase receiving unit and the out-phase receiving unit are activated with a time difference, a difference occurs in the amount of light received by the in-phase receiving unit and the out-phase receiving unit according to the distance from the object, and using this, the distance of the object occurs. can be calculated.
  • the light input unit 20 may be disposed side by side with the light output unit 10 .
  • the light input unit 20 may be disposed next to the light output unit 10 .
  • the light input unit 20 may be disposed in the same direction as the light output unit 10 .
  • the depth information generating unit 30 may generate depth information of an object by using an input optical signal input to the optical input unit 20 .
  • the depth information generating unit 30 generates depth information of the object using the flight time it takes for the output light signal output from the light output unit 10 to be input to the light input unit 20 after being reflected from the object.
  • the depth information generator 30 calculates a phase difference between the output light signal and the input light signal using the electrical signal received from the image sensor 140 , and uses the phase difference between the object and the camera 1 . Calculate the distance of
  • the depth information generator 30 may calculate the phase difference between the output optical signal and the input optical signal by using the charge amount information of the electrical signal.
  • the depth information generator 30 may calculate the phase difference t d between the output optical signal and the input optical signal using Equation 1 below.
  • Q 1 to Q 4 are the charge amounts of each of the four electrical signals.
  • Q 1 is the electric charge amount of the electric signal corresponding to the reference signal of the same phase as the output light signal.
  • Q 2 is the electric charge amount of the electrical signal corresponding to the reference signal 180 degrees slower than the output light signal.
  • Q 3 is the electric charge amount of the electrical signal corresponding to the reference signal 90 degrees slower than the output light signal.
  • Q 4 is the amount of charge of the electrical signal corresponding to the reference signal whose phase is 270 degrees slower than that of the output light signal.
  • the depth information generator 30 may calculate the distance between the object and the camera 1 by using the phase difference between the output light signal and the input light signal. In this case, the depth information generator 30 may calculate the distance d between the object and the camera 1 using Equation 2 below.
  • c is the speed of light and f is the frequency of the output light.
  • the control unit 40 controls driving of the optical output unit 10 , the optical input unit 20 , and the depth information generating unit 30 .
  • the depth information generator 30 and the controller 40 may be implemented in the form of a printed circuit board (PCB).
  • the controller 40 may be included in the terminal in which the camera 1 according to the embodiment of the present invention is disposed.
  • the controller 40 may be implemented in the form of an application processor (AP) of a smartphone on which the camera device 1 according to an embodiment of the present invention is mounted.
  • AP application processor
  • the accuracy of depth information may be increased by controlling the current applied to the light source 100 .
  • FIG. 4 is a block diagram of a camera device according to an embodiment of the present invention
  • FIG. 5 is a flowchart of a method for generating depth information of a camera device according to an embodiment of the present invention
  • FIGS. 6 to 7 are embodiments of the present invention It is a view for explaining a polarization direction according to a current applied to a light source included in a camera device according to an example
  • FIG. 8 is a view for explaining a pulse shape according to a current applied to a light source included in a camera device according to an embodiment of the present invention It is a drawing.
  • the camera device 1 includes an optical output unit 10 , an optical input unit 20 , a depth information generation unit 30 , and a control unit 40 .
  • an optical output unit 10 the optical input unit 20
  • a depth information generation unit 30 the depth information generation unit 30
  • a control unit 40 the control unit 40 described with reference to FIGS. 1 to 3 will be omitted.
  • the light source 100 included in the camera device according to the embodiment of the present invention may be a light source having a different polarization direction and a pulse shape depending on the strength of an applied current.
  • the pulse shape may be mixed with a waveform.
  • the light source 100 may be edge-emitting lasers (EELs) or vertical-cavity surface-emitting lasers (VCSELs).
  • a P-polarized component (P-polarized) and an S-polarized component (S-polarized) included in the output light signal output from the light source 100 according to the strength of the current applied to the light source 100 , amount may vary. For example, as shown in Fig. 7(a), at a DC current lower than a reference DC current (ref.), more P-polarized components are output than S-polarized components, and are As described above, at a DC current higher than the reference DC current, more S-polarized components can be output than P-polarized components.
  • the P polarization component may have a rising edge of high intensity compared to the S polarization component.
  • the light output from the light source 100 may pass through the lens assembly 110 and may be output in the form of a pulse shown in FIG. 8(b) .
  • the amounts of the P polarization component and the S polarization component may be variously combined according to the strength of the current applied to the light source 100 , and the width, height, and uniformity of the pulse may be determined according to the combination of the P polarization component and the S polarization component. may vary.
  • the light source 100 intends to generate an output light signal according to the current controlled by the controller 40 .
  • the controller 40 may control the current applied to the light source 100 based on the information about the object.
  • the camera device 1 may further include an object information acquisition unit 50 that acquires information about the object.
  • the object information obtaining unit 50 of the camera device 1 obtains information about the object ( S500 ).
  • the information about the object may include at least one of a surface material of the object, an area of the object, and a shape of the object.
  • the object information acquisition unit 50 may acquire information about the object from a sensor (not shown) disposed inside or outside the camera device 1 .
  • the object information obtaining unit 50 may obtain information about the object through a user interface (not shown).
  • control unit 40 controls the current applied to the light source 100 based on the information about the object obtained by the object information obtaining unit 50 ( S510 ), and the light source 100 is based on the applied current ( S510 ). to generate an output light signal and irradiate it to the object (S520). Then, the optical input unit 20 receives the input light signal after being reflected from the object (S530), and the depth information generator 30 generates depth information of the object by using the input optical signal (S540).
  • the reflectance of light on the surface of the object may vary according to the surface material of the object. That is, when the surface material of the object is metal, the polarization direction of light incident on the object and the polarization direction of light reflected from the object may be the same. Alternatively, the polarization direction of the light incident on the object may be different from the polarization direction of the light reflected from the object according to the surface material of the object. According to an embodiment of the present invention, when the polarization component incident on the object and the polarization component reflected from the object are controlled for each surface material of the object, and only the reflected polarization component is detected, the detection accuracy for a specific surface material can be increased. .
  • the light source 100 is controlled to output only a P polarization component (or an S polarization component), and P polarization reflected from the object
  • P polarization component or an S polarization component
  • the current applied to the light source 100 may be controlled so that the amount of the component is greater than the amount of the S-polarized component. That is, the controller 40 may control a current lower than the reference current to be applied to the light source 100 .
  • the reference current may vary depending on the light source 100 , and may be a unique characteristic of the light source 100 .
  • the current applied to the light source 100 may be controlled so that the amount of the polarization component is output more than the amount of the P polarization component. That is, the controller 40 may control so that a current higher than the reference current is applied to the light source 100 .
  • the reference current may vary depending on the light source 100 , and may be a unique characteristic of the light source 100 .
  • FIG. 9 is a schematic cross-sectional view of a camera device according to another embodiment of the present invention. Duplicate descriptions of the same contents as those described with reference to FIGS. 1 to 8 will be omitted.
  • the optical input unit 20 may further include a polarizing member 160 for selectively passing an input optical signal having a predetermined polarization angle among the input optical signals.
  • the polarizing member 160 may be a polarizing plate or a phase retarder. Accordingly, the image sensor 140 may receive only the input light signal that has passed through the polarization member 160 at a predetermined polarization angle.
  • the reflectance of light on the surface of the object may vary depending on the surface material of the object. That is, when the surface material of the object is metal or water, the polarization direction of light incident on the object and the polarization direction of light reflected from the object may be the same. Alternatively, the polarization direction of the light incident on the object may be different from the polarization direction of the light reflected from the object according to the surface material of the object. According to an embodiment of the present invention, when the polarization component incident on the object and the polarization component reflected from the object are controlled for each surface material of the object, and only the reflected polarization component is detected, the detection accuracy for a specific surface material can be increased. .
  • the light source 100 is controlled to output only the P polarization component (or S polarization component), and polarized light after being reflected from the object
  • P polarization component or S polarization component
  • only depth information about the metal material may be detected with high accuracy.
  • the light source 100 is controlled to output only the P polarization component (or S polarization component), and after being reflected from the object
  • the S-polarized component or the P-polarized component
  • only depth information about the material other than the metallic material may be detected with high accuracy.
  • FIG. 10 shows a pulse of an output light signal controlled according to a current applied to the light source
  • FIG. 11 shows a depth image that varies according to a current applied to the light source.
  • a predetermined number of phase pulses for example, four phase pulses, form one frame pulse (1 fps), and a predetermined number of light pulses (light pulse) constitutes one phase pulse
  • the controller 40 included in the camera device 1 according to the embodiment of the present invention may control the current of the light pulse.
  • the DC current applied to FIG. 10(a) may be higher than that of FIG. 10(b).
  • the input current for the light pulse according to the embodiment of FIG. 10(a) is higher than the input current for the light pulse according to the embodiment of FIG. 10(b), and accordingly, in the embodiment of FIG. 10(a)
  • the output light output from the light source according to FIG. 10( b ) may include more S-polarized light components than the output light output from the light source according to the embodiment of FIG. 10( b ).
  • the input current for the optical pulse according to the embodiment of FIG. 10(b) is higher than the input current for the optical pulse according to the embodiment of FIG. 10(a), and accordingly, according to the embodiment of FIG.
  • the output light output from the light source may include more P-polarized light components than the output light output from the light source according to the embodiment of FIG. 10( a ).
  • the vertical length is longer than that of the depth image obtained by the light pulse (see FIG. 11(c)), and the depth image obtained by the light pulse according to the embodiment of FIG. 10(b) (see FIG. 11(c)) may have a longer horizontal length than that of the depth image (refer to FIG. 11(b) ) obtained by the light pulse according to the embodiment of FIG. 10( a ).
  • the current applied to the light source 100 may vary even within one phase pulse. For example, if the input current for the initial optical pulse within one phase pulse is higher than the input current for the remaining optical pulses, the phase pulse has a distinct rising edge as shown in FIGS. 8(c) to 8(d). , and thus the accuracy of depth information may be increased.
  • the current applied to the light source 100 may vary for each frame.
  • an input current for an optical pulse for an odd-numbered frame may be higher than an input current for an optical pulse for an even-numbered frame.
  • a depth image with an extended vertical length may be acquired in an odd-numbered frame
  • a depth image with an extended horizontal length may be acquired in an even-numbered frame. If the odd-numbered frame and the even-numbered frame are combined, a depth image with both vertical and horizontal lengths extended can be obtained, and a depth image with higher accuracy can be obtained for the area where the odd-numbered frame and the even-numbered frame overlap.
  • control unit 40 control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

본 발명의 실시예에 따른 카메라 장치는 출력광 신호를 생성하여 객체에 조사하는 광출력부, 상기 객체로부터 반사된 후 입력된 입력광 신호를 수신하는 광입력부, 상기 광입력부에 입력된 상기 입력광 신호를 이용하여 상기 객체의 깊이 정보를 생성하는 깊이 정보 생성부, 그리고 상기 광출력부, 상기 광입력부 및 상기 깊이 정보 생성부를 제어하는 제어부를 포함하며, 상기 광출력부는, 상기 출력광 신호를 생성하는 광원을 포함하고, 상기 제어부는 상기 객체에 관한 정보에 기초하여 상기 광원에 인가되는 전류를 제어한다.

Description

카메라 장치
본 발명은 카메라 장치에 관한 것이다.
3 차원 콘텐츠는 게임, 문화뿐만 아니라 교육, 제조, 자율주행 등 많은 분야에서 적용되고 있으며, 3차원 콘텐츠를 획득하기 위하여 깊이 정보(Depth Map)가 필요하다. 깊이 정보는 공간 상의 거리를 나타내는 정보이며, 2차원 영상의 한 지점에 대하여 다른 지점의 원근 정보를 나타낸다. 깊이 정보를 획득하는 방법으로, IR(Infrared) 구조광을 객체에 투사하는 방식, 스테레오 카메라를 이용하는 방식, TOF(Time of Flight) 방식 등이 이용되고 있다.
깊이 정보를 획득하는 방법으로, IR(Infrared) 구조광을 객체에 투사하는 방식, 스테레오 카메라를 이용하는 방식, ToF(Time of Flight) 방식 등이 이용되고 있다. ToF 방식에 따르면, 비행 시간, 즉 빛을 쏘아서 반사되어 오는 시간을 측정함으로써 물체와의 거리를 계산한다. ToF 방식의 가장 큰 장점은 3차원 공간에 대한 거리 정보를 실시간으로 빠르게 제공한다는 점에 있다. 또한 사용자가 별도의 알고리즘 적용이나 하드웨어적 보정을 하지 않고도 정확한 거리 정보를 얻을 수 있다. 또한 매우 가까운 피사체를 측정하거나 움직이는 피사체를 측정하여도 정확한 깊이 정보를 획득할 수 있다.
한편, 객체의 표면 재질에 따라 빛의 반사율이 달라질 수 있으며, 이에 따라 ToF 방식에 따라 획득한 깊이 정보의 정확도가 달라질 수 있다.
본 발명이 이루고자 하는 기술적 과제는 높은 정확도로 깊이 정보의 추출이 가능한 카메라 장치를 제공하는 것이다.
본 발명이 이루고자 하는 다른 기술적 과제는 화각 내 특정 영역에 대한 깊이 정보를 선택적으로 추출하는 것이 가능한 카메라 장치를 제공하는 것이다.
본 발명의 실시예에 따른 카메라 장치는 출력광 신호를 생성하여 객체에 조사하는 광출력부, 상기 객체로부터 반사된 후 입력된 입력광 신호를 수신하는 광입력부, 상기 광입력부에 입력된 상기 입력광 신호를 이용하여 상기 객체의 깊이 정보를 생성하는 깊이 정보 생성부, 그리고 상기 광출력부, 상기 광입력부 및 상기 깊이 정보 생성부를 제어하는 제어부를 포함하며, 상기 광출력부는, 상기 출력광 신호를 생성하는 광원을 포함하고, 상기 제어부는 상기 객체에 관한 정보에 기초하여 상기 광원에 인가되는 전류를 제어한다.
상기 객체에 관한 정보는 상기 객체의 표면 재질, 상기 객체의 면적 및 상기 객체의 형상 중 적어도 하나를 포함할 수 있다.
상기 제어부는 상기 객체의 가로 길이가 세로 길이보다 긴 경우 기준 전류보다 낮은 전류가 상기 광원에 인가되도록 제어하고, 상기 객체의 세로 길이가 가로 길이보다 긴 경우 상기 기준 전류보다 높은 전류가 상기 광원에 인가되도록 제어할 수 있다.
상기 광출력부는, 상기 광원으로부터 출력된 출력광 신호를 확산시키는 렌즈 어셈블리를 더 포함할 수 있다.
상기 광입력부는 상기 입력광 신호 중 소정의 편광 각도를 가지는 입력광 신호를 선택적으로 통과시키는 편광부재, 그리고 상기 편광부재를 통과한 상기 입력광 신호를 수신하는 이미지 센서를 포함할 수 있다.
상기 광원이 출력하는 상기 출력광 신호의 편광 특성 및 파형 중 적어도 하나는 상기 전류에 따라 달라질 수 있다.
상기 광원은 VCSEL(vertical cavity surface emitting laser)를 포함할 수 있다.
상기 깊이 정보 생성부는 상기 출력광 신호 및 상기 입력광 신호 간 위상차를 이용하여 상기 깊이 정보를 생성할 수 있다.
상기 제어부는 상기 광원에 제1 전류가 인가되는 구간 및 상기 광원에 상기 제1 전류보다 높은 제2 전류가 인가되는 구간이 교대로 반복되도록 제어할 수 있다.
본 발명의 한 실시예에 따른 카메라 장치의 깊이 정보 생성 방법은 객체에 관한 정보를 획득하는 단계, 상기 정보에 기초하여 광원에 인가되는 전류를 제어하는 단계, 상기 전류에 기초하여 상기 광원이 출력광 신호를 생성하여 상기 객체에 조사하는 단계, 상기 객체로부터 반사된 후 입력된 입력광 신호를 수신하는 단계, 그리고 상기 입력광 신호를 이용하여 상기 객체의 깊이 정보를 생성하는 단계를 포함한다.
상기 객체에 관한 정보는 객체의 표면 재질, 상기 객체의 면적 및 상기 객체의 형상 중 적어도 하나를 포함할 수 있다.
상기 제어하는 단계에서는 상기 객체의 가로 길이가 세로 길이보다 긴 경우 기준 전류보다 낮은 전류가 상기 광원에 인가되도록 제어하고, 상기 객체의 세로 길이가 가로 길이보다 긴 경우 상기 기준 전류보다 높은 전류가 상기 광원에 인가되도록 제어할 수 있다.
상기 깊이 정보를 생성하는 단계에서는 상기 출력광 신호 및 상기 입력광 신호 간 위상차를 이용하여 상기 깊이 정보를 생성할 수 있다.
상기 제어하는 단계에서는 상기 광원에 제1 전류가 인가되는 구간 및 상기 광원에 상기 제1 전류보다 높은 제2 전류가 인가되는 구간이 교대로 반복되도록 제어할 수 있다.
본 발명의 실시예에 따르면, 객체의 표면 재질을 고려하여 높은 정확도로 깊이 정보를 추출할 수 있다. 또한, 본 발명의 실시예에 따르면, 별도의 구동 장치 없이도 화각 내 특정 영역에 대한 깊이 정보를 선택적으로 추출하는 것이 가능하다.
도 1은 본 발명의 실시예에 따른 카메라 장치의 블록도이다.
도 2는 본 발명의 실시예에 따른 카메라 장치의 개략적인 단면도이다.
도 3은 본 발명의 실시예에 따른 카메라 장치가 출력하는 출력광 신호를 설명하기 위한 도면이다.
도 4는 본 발명의 한 실시예에 따른 카메라 장치의 블록도이다.
도 5는 본 발명의 한 실시예에 따른 카메라 장치의 깊이 정보 생성 방법의 순서도이다.
도 6 내지 도 7은 본 발명의 실시예에 따른 카메라 장치에 포함되는 광원에 인가되는 전류에 따른 편광 방향을 설명하는 도면이다.
도 8은 본 발명의 실시예에 따른 카메라 장치에 포함되는 광원에 인가되는 전류에 따른 펄스 형상을 설명하는 도면이다.
도 9는 본 발명의 다른 실시예에 따른 카메라 장치의 개략적인 단면도이다.
도 10은 광원에 인가되는 전류에 따라 제어되는 출력광 신호의 펄스를 나타낸다.
도 11은 광원에 인가되는 전류에 따라 달라지는 깊이 이미지를 나타낸다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
다만, 본 발명의 기술 사상은 설명되는 일부 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시 예들간 그 구성 요소들 중 하나 이상을 선택적으로 결합, 치환하여 사용할 수 있다.
또한, 본 발명의 실시예에서 사용되는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다.
또한, 본 발명의 실시예에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, "A 및(와) B, C 중 적어도 하나(또는 한 개 이상)"로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합 중 하나 이상을 포함할 수 있다.
또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다.
이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다.
그리고, 어떤 구성 요소가 다른 구성요소에 '연결', '결합' 또는 '접속'된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결, 결합 또는 접속되는 경우뿐만 아니라, 그 구성 요소와 그 다른 구성 요소 사이에 있는 또 다른 구성 요소로 인해 '연결', '결합' 또는 '접속' 되는 경우도 포함할 수 있다.
또한, 각 구성 요소의 "상(위) 또는 하(아래)"에 형성 또는 배치되는 것으로 기재되는 경우, 상(위) 또는 하(아래)는 두 개의 구성 요소들이 서로 직접 접촉되는 경우뿐만 아니라 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한, "상(위) 또는 하(아래)"으로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.
본 발명의 실시예에 따른 카메라 장치는 ToF(Time of Flight) 기능을 이용하여 깊이 정보를 추출하는 카메라를 의미할 수 있다. 따라서, 카메라 장치는 ToF 카메라 장치, ToF 카메라 모듈, ToF 카메라 등과 혼용될 수 있다.
도 1은 본 발명의 실시예에 따른 카메라 장치의 블록도이고, 도 2는 본 발명의 실시예에 따른 카메라 장치의 개략적인 단면도이다. 도 3은 본 발명의 실시예에 따른 카메라 장치가 출력하는 출력광 신호를 설명하기 위한 도면이다.
도 1 및 도 2를 참조하면, 본 발명의 실시예에 따른 카메라(1)는 광출력부(10), 광입력부(20), 깊이 정보 생성부(30) 및 제어부(40)를 포함한다.
광출력부(10)는 출력광 신호를 생성한 후 객체에 조사한다. 이때, 광출력부(10)는 펄스파(pulse wave)의 형태나 지속파(continuous wave)의 형태로 출력광 신호를 생성하여 출력할 수 있다. 지속파는 사인파(sinusoid wave)나 사각파(squared wave)의 형태일 수 있다. 출력광 신호를 펄스파나 지속파 형태로 생성함으로써, 카메라(1)는 광출력부(10)로부터 출력된 출력광 신호와 객체로부터 반사된 후 광입력부(20)로 입력된 입력광 신호 사이의 시간 차 또는 위상 차를 검출할 수 있다. 본 명세서에서, 출력광은 광출력부(10)로부터 출력되어 객체에 입사되는 광을 의미하고, 입력광은 광출력부(10)로부터 출력되어 객체에 도달한 후 객체로부터 반사되어 광입력부(20)로 입력되는 광을 의미할 수 있다. 객체의 입장에서 출력광은 입사광이 될 수 있고, 입력광은 반사광이 될 수 있다.
도 3(a)를 참조하면, 광출력부(10)는 일정한 주기로 광 펄스(light pulse)를 생성할 수 있다. 광출력부(10)는 소정의 펄스 반복 주기(tmodulation)로 소정의 펄스 폭(tpulse)을 가지는 광 펄스를 생성할 수 있다.
도 3(b)를 참조하면, 광출력부(10)가 생성하는 일정 개수의 광 펄스는 그룹핑(grouping)되어 하나의 위상 펄스(phase pulse)를 이룰 수 있다. 광출력부(10)는 소정의 위상 펄스 주기(tphase)와 소정의 위상 펄스 폭(texposure)을 가지는 위상 펄스를 생성할 수 있다. 위상 펄스 폭은 tillumination 또는 tintegration이라 지칭될 수도 있다. 여기서, 하나의 위상 펄스 주기(tphase)는 하나의 서브 프레임에 대응할 수 있다. 서브 프레임(sub-frame)은 위상 프레임(phase frame)으로 불릴 수 있다. 위상 펄스 주기는 소정의 개수로 그룹핑 될 수 있다. 4개의 위상 펄스 주기(tphase)를 그룹핑하는 방식은 4-phase 방식으로 불릴 수 있다. 8개의 주기(tphase)를 그룹핑하는 것은 8-phase 방식으로 불릴 수 있다.
도 3(c)를 참조하면, 광출력부(10)가 생성하는 일정 개수의 위상 펄스는 그룹핑되어 하나의 프레임 펄스(frame pulse)를 이룰 수 있다. 광출력부(10)는 소정의 프레임 펄스 주기(tframe)와 소정의 프레임 펄스 폭(tphase group(sub-frame group))을 가지는 프레임 펄스를 생성할 수 있다. 여기서, 하나의 프레임 펄스 주기(tframe)는 하나의 프레임에 대응할 수 있다. 따라서, 10 FPS로 객체를 촬영하는 경우, 1초에 10번의 프레임 펄스 주기(tframe)가 반복될 수 있다. 4-pahse 방식에서, 하나의 프레임에는 4개의 서브 프레임이 포함될 수 있다. 즉, 하나의 프레임은 4개의 서브 프레임을 통해 생성될 수 있다. 8-phase 방식에서, 하나의 프레임에는 8개의 서브 프레임이 포함될 수 있다. 즉, 하나의 프레임은 8개의 서브 프레임을 통해 생성될 수 있다.
상기에서 설명을 위해, 광 펄스, 위상 펄스 및 프레임 펄스의 용어를 이용하였으나, 이에 한정되지 않는다.
다시 도 1 내지 도 2를 참조하면, 광출력부(10)는 광원(100) 및 렌즈 어셈블리(110)를 포함할 수 있다.
우선, 광원(100)은 빛을 생성한다. 광원(100)이 생성하는 빛은 파장이 770 내지 3000nm인 적외선일 수 있으며, 파장이 380 내지 770 nm인 가시광선 일 수도 있다. 광원(100)은 발광 다이오드(Light Emitting Diode, LED)를 이용할 수 있으며, 복수의 발광 다이오드가 일정한 패턴에 따라 배열된 형태를 가질 수 있다. 뿐만 아니라, 광원(100)은 유기 발광 다이오드(Organic light emitting diode, OLED)나 레이저 다이오드(Laser diode, LD)를 포함할 수도 있다. 또는, 광원(100)은 VCSEL(Vertical Cavity Surface Emitting Laser)일 수도 있다. VCSEL은 전기 신호를 광 신호로 바꾸어 주는 레이저 다이오드 중 하나이며, 약 800 내지 1000nm인 파장, 예를 들어 약 850nm 또는 약 940nm 파장을 출력할 수 있다. 광원(100)은 일정 시간 간격으로 점멸(on/off)을 반복하여 펄스파 형태나 지속파 형태의 출력광 신호를 생성한다. 일정 시간 간격은 출력광 신호의 주파수일 수 있다.
렌즈 어셈블리(110)는 광원(100)으로부터 출력된 빛을 집광하고, 집광된 빛을 외부로 출력할 수 있다. 렌즈 어셈블리(110)는 광원(100)의 상부에서 광원(100)과 이격되어 배치될 수 있다. 여기서, 광원(100)의 상부란 광원(100)으로부터 빛이 출력되는 측을 의미할 수 있다. 렌즈 어셈블리(110)는 적어도 1매의 렌즈를 포함할 수 있다. 렌즈 어셈블리(110)가 복수 매의 렌즈를 포함하는 경우, 각 렌즈들은 중심축을 기준으로 정렬하여 광학계를 형성할 수 있다. 여기서, 중심축은 광학계의 광축(Optical axis)와 동일할 수 있다.
렌즈 어셈블리(110)는 하우징(120)에 수용 또는 지지될 수 있다. 일 실시예에 따르면, 하우징(120)은 구동 모듈(미도시)과 결합될 수 있으며, 렌즈 어셈블리(110)는 구동 모듈(미도시)에 의해 광축 방향 또는 광축에 수직하는 방향으로 이동할 수 있다.
한편, 광입력부(20)는 객체로부터 반사된 빛을 수신한다. 이를 위하여, 광입력부(20)는 객체로부터 반사된 입력광을 집광하는 렌즈 어셈블리(130), 필터(미도시) 및 렌즈 어셈블리(130)를 통과한 입력광을 전기신호로 변환하는 이미지 센서(140)를 포함할 수 있으며, 렌즈 어셈블리(130), 필터(미도시) 및 이미지 센서(140)는 하우징(150)에 수용 또는 지지될 수 있다. 광출력부(10) 측의 하우징(120)과 광입력부(20) 측의 하우징(150)이 서로 이격된 것으로 도시되어 있으나, 이로 제한되는 것은 아니며, 광출력부(10) 측의 하우징(120)과 광입력부(20) 측의 하우징(150)은 일체의 하우징일 수도 있다.
렌즈 어셈블리(130)의 광축은 이미지 센서(140)의 광축과 얼라인(align)될 수 있다. 필터(미도시)는 렌즈 어셈블리(130)와 이미지 센서(140) 사이에 배치되며, 소정 파장 범위를 갖는 빛을 필터링할 수 있다. 예를 들어, 필터(미도시)는 광출력부(10)가 출력하는 출력광의 파장 대역에서 빛을 통과시킬 수 있다.
이미지 센서(140)는 광원(100)의 점멸 주기와 동기화되어 입력광 신호를 수신할 수 있다. 구체적으로, 이미지 센서(140)는 광원(100)으로부터 출력된 출력광 신호와 동상(in phase) 및 이상(out phase)에서 각각 빛을 수신할 수 있다. 즉, 이미지 센서(140)는 광원이 켜져 있는 시간에 입력광 신호를 수신하는 단계와 광원이 꺼져 있는 시간에 입력광 신호를 수신하는 단계를 반복 수행할 수 있다. 이미지 센서(140)는 서로 다른 위상차를 가지는 복수의 참조 신호(reference signal)를 이용하여 각 참조 신호에 대응하는 전기 신호를 생성할 수 있다. 참조 신호의 주파수는 광원(100)으로부터 출력된 출력광 신호의 주파수와 동일하게 설정될 수 있다. 따라서, 광원(100)이 복수의 주파수로 출력광 신호를 생성하는 경우, 이미지 센서(140)는 각 주파수에 대응하는 복수의 참조 신호를 이용하여 전기 신호를 생성한다. 전기 신호는 각 참조 신호에 대응하는 전하량이나 전압에 관한 정보를 포함할 수 있다.
본 발명의 실시예에 따른 참조 신호는 4개(C1 내지 C4)일 수 있다. 각 참조 신호(C1 내지 C4)는 출력광 신호와 동일한 주파수를 가지되, 서로 90도 위상차를 가질 수 있다. 4개의 참조 신호 중 하나(C1)는 출력광 신호와 동일한 위상을 가질 수 있다. 입력광 신호는 출력광 신호가 객체에 입사된 후 반사되어 돌아오는 거리만큼 위상이 지연된다. 이미지 센서(140)는 입력광 신호와 각 참조 신호를 각각 믹싱(mixing)한다. 그러면, 이미지 센서(140)는 전기 신호를 각 참조 신호별로 생성할 수 있다.
이미지 센서(140)는 복수의 픽셀이 그리드 형태로 배열된 구조로 구성될 수 있다. 이미지 센서(140)는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서일 수 있으며, CCD(Charge Coupled Device) 이미지 센서일 수도 있다. 또한, 이미지 센서(140)는 객체로부터 반사된 IR 광을 받아들여 시간 또는 위상 차를 이용해 거리를 측정하는 ToF 센서를 포함할 수 있다. 예를 들어, 각 픽셀은 출력광의 파형과 동일 위상에서 입력광 신호를 수신하는 In phase 수신 유닛 및 출력광의 파형과 반대 위상에서 입력광 신호를 수신하는 Out phase 수신 유닛을 포함할 수 있다. In phase 수신 유닛 및 Out phase 수신 유닛이 시간 차를 두고 활성화되면, 객체와의 거리에 따라 In phase 수신 유닛과 Out phase 수신 유닛이 수신하는 빛의 양에 차이가 발생하며, 이를 이용하여 객체의 거리가 연산될 수 있다.
광입력부(20)는 광출력부(10)와 나란히 배치될 수 있다. 광입력부(20)는 광출력부(10) 옆에 배치될 수 있다. 광입력부(20)는 광출력부(10)와 같은 방향으로 배치될 수 있다.
깊이 정보 생성부(30)는 광입력부(20)에 입력된 입력광 신호를 이용하여 객체의 깊이 정보를 생성할 수 있다. 예를 들어, 깊이 정보 생성부(30)는 광출력부(10)로부터 출력된 출력광 신호가 객체로부터 반사된 후 광입력부(20)에 입력되기까지 걸리는 비행시간을 이용하여 객체의 깊이 정보를 생성할 수 있다. 예를 들어, 깊이 정보 생성부(30)는 이미지 센서(140)로부터 수신한 전기신호를 이용하여 출력광 신호와 입력광 신호 사이의 위상차를 계산하고, 위상차를 이용하여 객체와 카메라(1) 사이의 거리를 계산한다.
구체적으로, 깊이 정보 생성부(30)는 전기신호의 전하량 정보를 이용하여 출력광 신호와 입력광 신호 사이의 위상차를 계산할 수 있다.
상기에서 살펴본 바와 같이, 출력광 신호의 주파수마다 전기신호는 4개가 생성될 수 있다. 따라서, 깊이 정보 생성부(30)는 아래의 수학식 1을 이용하여 출력광 신호와 입력광 신호 사이의 위상차(td)를 계산할 수 있다.
Figure PCTKR2022006108-appb-img-000001
여기서, Q1 내지 Q4는 4개의 전기 신호 각각의 전하 충전량이다. Q1은 출력광 신호와 동일한 위상의 기준신호에 대응하는 전기신호의 전하량이다. Q2는 출력광 신호보다 위상이 180도 느린 기준신호에 대응하는 전기신호의 전하량이다. Q3는 출력광 신호보다 위상이 90도 느린 기준신호에 대응하는 전기신호의 전하량이다. Q4는 출력광 신호보다 위상이 270도 느린 기준신호에 대응하는 전기신호의 전하량이다.
그러면, 깊이 정보 생성부(30)는 출력광 신호와 입력광 신호의 위상차를 이용하여 객체와 카메라(1) 사이의 거리를 계산할 수 있다. 이때, 깊이 정보 생성부(30)는 아래의 수학식 2를 이용하여 객체와 카메라(1) 사이의 거리(d)를 계산할 수 있다.
Figure PCTKR2022006108-appb-img-000002
여기서, c는 빛의 속도이고, f는 출력광의 주파수이다.
제어부(40)는 광출력부(10), 광입력부(20) 및 깊이 정보 생성부(30)의 구동을 제어한다. 깊이 정보 생성부(30) 및 제어부(40)는 PCB(printed circuit board)의 형태로 구현될 수 있다. 또는, 제어부(40)는 본 발명의 실시예에 따른 카메라(1)가 배치된 단말에 포함될 수도 있다. 예를 들어, 제어부(40)는 본 발명의 실시예에 따른 카메라 장치(1)가 탑재된 스마트폰의 어플리케이션 프로세서(Application Processor, AP)의 형태로 구현될 수 있다.
본 발명의 실시예에 따르면, 광원(100)에 인가되는 전류를 제어하여 깊이 정보의 정확도를 높일 수 있다.
도 4는 본 발명의 한 실시예에 따른 카메라 장치의 블록도이고, 도 5는 본 발명의 한 실시예에 따른 카메라 장치의 깊이 정보 생성 방법의 순서도이며, 도 6 내지 도 7은 본 발명의 실시예에 따른 카메라 장치에 포함되는 광원에 인가되는 전류에 따른 편광 방향을 설명하는 도면이고, 도 8은 본 발명의 실시예에 따른 카메라 장치에 포함되는 광원에 인가되는 전류에 따른 펄스 형상을 설명하는 도면이다.
도 4를 참조하면, 카메라 장치(1)는 광출력부(10), 광입력부(20), 깊이 정보 생성부(30) 및 제어부(40)를 포함한다. 도 1 내지 도 3을 참조하여 설명한 광출력부(10), 광입력부(20), 깊이 정보 생성부(30) 및 제어부(40)에 관한 내용과 동일한 내용에 대해서는 중복된 설명을 생략한다.
도 6 내지 도 8을 참조하면, 본 발명의 실시예에 따른 카메라 장치에 포함되는 광원(100)은 인가되는 전류의 세기에 따라 편광 방향 및 펄스 형상(pulse shape)이 달라지는 광원일 수 있다. 여기서, 펄스 형상은 파형과 혼용될 수 있다. 본 발명의 실시예에 따르면, 광원(100)은 EEL(edge-emitting lasers) 또는 VCSEL(vertical-cavity surface-emitting laser)일 수 있다.
도 6에 도시된 바와 같이, 광원(100)에 인가된 전류의 세기에 따라 광원(100)이 출력하는 출력광 신호에 포함되는 P 편광 성분(P-polarized)과 S 편광 성분(S-polarized)의 양은 달라질 수 있다. 예를 들어, 도 7(a)에 도시된 바와 같이 기준 DC 전류(reference DC current, ref.)보다 낮은 DC 전류에서 P 편광 성분이 S 편광 성분보다 더 많이 출력되고, 도 7(b)에 도시된 바와 같이 기준 DC 전류보다 높은 DC 전류에서 S 편광 성분이 P 편광 성분보다 더 많이 출력될 수 있다.
도 8(a)에 도시된 바와 같이, P 편광 성분은 S 편광 성분에 비하여 높은 인텐시티의 상승 에지를 가질 수 있다. 광원(100)으로부터 출력된 광은 렌즈 어셈블리(110)를 통과하여 도 8(b)에 도시된 펄스 형상으로 출력될 수 있다. 광원(100)에 인가된 전류의 세기에 따라 P 편광 성분과 S 편광 성분의 양이 다양하게 조합될 수 있으며, P 편광 성분과 S 편광 성분의 조합에 따라 펄스의 폭, 높이, 균일도(uniformity)가 달라질 수 있다.
특히, 도 8(c)에 도시된 바와 같이, 광원(100)에 순간적으로 추가 전류를 인가할 경우, 도 8(d)에 도시된 바와 같이 펄스의 상승 에지가 더욱 선명하게 드러날 수도 있다.
본 발명의 실시예에 따르면, 광원(100)은 제어부(40)에 의하여 제어된 전류에 따라 출력광 신호를 생성하고자 한다. 이때, 제어부(40)는 객체에 관한 정보에 기초하여 광원(100)에 인가되는 전류를 제어할 수 있다. 이를 위하여, 본 발명의 실시예에 따른 카메라 장치(1)는 객체에 관한 정보를 획득하는 객체 정보 획득부(50)를 더 포함할 수 있다.
다시 도 4 내지 도 5를 참조하면, 본 발명의 실시예에 따른 카메라 장치(1)의 객체 정보 획득부(50)는 객체에 관한 정보를 획득한다(S500). 여기서, 객체에 관한 정보는 객체의 표면 재질, 객체의 면적 및 객체의 형상 중 적어도 하나를 포함할 수 있다. 이때, 객체 정보 획득부(50)는 카메라 장치(1)의 내부 또는 외부에 배치된 센서(미도시)로부터 객체에 관한 정보를 획득할 수 있다. 또는, 객체 정보 획득부(50)는 사용자 인터페이스(미도시)를 통하여 객체에 관한 정보를 획득할 수도 있다.
다음으로, 제어부(40)는 객체 정보 획득부(50)가 획득한 객체에 관한 정보에 기초하여 광원(100)에 인가되는 전류를 제어하며(S510), 광원(100)은 인가된 전류에 기초하여 출력광 신호를 생성하여 객체에 조사한다(S520). 그리고, 광입력부(20)는 객체로부터 반사된 후 입력된 입력광 신호를 수신하며(S530), 깊이 정보 생성부(30)는 입력광 신호를 이용하여 객체의 깊이 정보를 생성한다(S540).
한 예로, 객체의 표면 재질에 따라 객체의 표면에서의 광의 반사율이 달라질 수 있다. 즉, 객체의 표면 재질이 금속인 경우, 객체에 입사된 광의 편광 방향 및 객체로부터 반사된 광의 편광 방향은 동일할 수 있다. 또는, 객체의 표면 재질에 따라, 객체에 입사된 광의 편광 방향이 객체로부터 반사된 광의 편광 방향과 달라질 수도 있다. 본 발명의 실시예에 따르면, 객체의 표면 재질 별로 객체에 입사되는 편광 성분 및 객체로부터 반사되는 편광 성분을 제어하고, 반사된 편광 성분만을 검출할 경우, 특정 표면 재질에 대한 검출 정확도를 높일 수 있다. 예를 들어, 카메라 장치(1)의 화각 내 금속 물질에 관한 깊이 정보만을 획득하고자 할 경우, 광원(100)이 P 편광 성분(또는 S 편광 성분)만을 출력하도록 제어하고, 객체로부터 반사된 P 편광 성분(또는 S 편광 성분)만을 검출할 경우, 금속 물질에 관한 깊이 정보만을 높은 정확도로 검출할 수 있다.
다른 예로, 객체의 가로 길이가 세로 길이보다 긴 경우 또는 세로 방향에 비하여 가로 방향으로 더 긴 영역에 대하여 깊이 정보를 획득하고자 하는 경우, 도 7(a)를 참조하면, 제어부(40)는 P 편광 성분의 양이 S 편광 성분의 양보다 많이 출력되도록 광원(100)에 인가되는 전류를 제어할 수 있다. 즉, 제어부(40)는 기준 전류보다 낮은 전류가 광원(100)에 인가되도록 제어할 수 있다. 여기서, 기준 전류는 광원(100)에 따라 달라질 수 있으며, 광원(100)의 고유 특성일 수 있다.
또 다른 예로, 객체의 세로 길이가 가로 길이보다 긴 경우 또는 가로 방향에 비하여 세로 방향으로 더 긴 영역에 대하여 깊이 정보를 획득하고자 하는 경우, 도 7(b)를 참조하면, 제어부(40)는 S 편광 성분의 양이 P 편광 성분의 양보다 많이 출력되도록 광원(100)에 인가되는 전류를 제어할 수 있다. 즉, 제어부(40)는 기준 전류보다 높은 전류가 광원(100)에 인가되도록 제어할 수 있다. 여기서, 기준 전류는 광원(100)에 따라 달라질 수 있으며, 광원(100)의 고유 특성일 수 있다.
도 9는 본 발명의 다른 실시예에 따른 카메라 장치의 개략적인 단면도이다. 도 1 내지 도 8을 참조하여 설명한 내용과 동일한 내용에 대해서는 중복된 설명을 생략한다.
도 9를 참조하면, 광입력부(20)는 입력광 신호 중 소정의 편광 각도를 가지는 입력광 신호를 선택적으로 통과시키는 편광부재(160)를 더 포함할 수 있다. 여기서, 편광부재(160)는 편광판 또는 위상 지연자일 수 있다. 이에 따라, 이미지 센서(140)는 소정의 편광 각도로 편광부재(160)를 통과한 입력광 신호만을 수신할 수 있다.
전술한 바와 같이, 객체의 표면 재질에 따라 객체의 표면에서의 광의 반사율이 달라질 수 있다. 즉, 객체의 표면 재질이 금속 또는 물인 경우, 객체에 입사된 광의 편광 방향 및 객체로부터 반사된 광의 편광 방향은 동일할 수 있다. 또는, 객체의 표면 재질에 따라, 객체에 입사된 광의 편광 방향이 객체로부터 반사된 광의 편광 방향과 달라질 수도 있다. 본 발명의 실시예에 따르면, 객체의 표면 재질 별로 객체에 입사되는 편광 성분 및 객체로부터 반사되는 편광 성분을 제어하고, 반사된 편광 성분만을 검출할 경우, 특정 표면 재질에 대한 검출 정확도를 높일 수 있다. 예를 들어, 카메라 장치(1)의 화각 내 금속 물질에 관한 깊이 정보만을 획득하고자 할 경우, 광원(100)이 P 편광 성분(또는 S 편광 성분)만을 출력하도록 제어하고, 객체로부터 반사된 후 편광부재(160)를 통과한 P 편광 성분(또는 S 편광 성분)만을 검출할 경우, 금속 물질에 관한 깊이 정보만을 높은 정확도로 검출할 수 있다. 또는, 카메라 장치(1)의 화각 내 금속 물질을 제외한 물질에 관한 깊이 정보만을 획득하고자 할 경우, 광원(100)이 P 편광 성분(또는 S 편광 성분)만을 출력하도록 제어하고, 객체로부터 반사된 후 편광부재(160)를 통과한 S 편광 성분(또는 P 편광 성분)만을 검출할 경우, 금속 물질을 제외한 물질에 관한 깊이 정보만을 높은 정확도로 검출할 수 있다.
이하, 본 발명의 실시예에 따라 광원(100)의 출력 파형을 제어하는 다양한 예를 설명한다.
도 10은 광원에 인가되는 전류에 따라 제어되는 출력광 신호의 펄스를 나타내고, 도 11은 광원에 인가되는 전류에 따라 달라지는 깊이 이미지를 나타낸다.
도 10(a) 내지 도 10(d)를 참조하면, 일정 개수의 위상 펄스(phase pulse), 예를 들어 4개의 위상 펄스가 하나의 프레임 펄스(1fps)를 이루고, 일정 개수의 광 펄스(light pulse)가 하나의 위상 펄스를 이루는 경우, 본 발명의 실시예에 따른 카메라 장치(1)에 포함되는 제어부(40)는 광 펄스(light pulse)의 전류를 제어할 수 있다.
예를 들어, 도 10(b)에 비하여 도 10(a)에 인가되는 DC 전류가 더 높을 수 있다. 이에 따르면, 도 10(a)의 실시예에 따른 광 펄스를 위한 입력 전류는 도 10(b)의 실시예에 따른 광 펄스를 위한 입력 전류보다 높으며, 이에 따라 도 10(a)의 실시예에 따른 광원으로부터 출력된 출력광은 도 10(b)의 실시예에 따른 광원으로부터 출력된 출력광에 비하여 S 편광 성분을 더 많이 포함할 수 있다. 그리고, 도 10(b)의 실시예에 따른 광 펄스를 위한 입력 전류는 도 10(a)의 실시예에 따른 광 펄스를 위한 입력 전류보다 높으며, 이에 따라 도 10(b)의 실시예에 따른 광원으로부터 출력된 출력광은 도 10(a)의 실시예에 따른 광원으로부터 출력된 출력광에 비하여 P 편광 성분을 더 많이 포함할 수 있다. 결과적으로, 도 11(a)의 물체 이미지에 대하여, 도 10(a)의 실시예에 따른 광 펄스에 의하여 획득된 깊이 이미지(도 11(b) 참조)는 도 10(b)의 실시예에 따른 광 펄스에 의하여 획득된 깊이 이미지(도 11(c) 참조)에 비하여 세로 길이가 길고, 도 10(b)의 실시예에 따른 광 펄스에 의하여 획득된 깊이 이미지(도 11(c) 참조)는 도 10(a)의 실시예에 따른 광 펄스에 의하여 획득된 깊이 이미지(도 11(b) 참조)에 비하여 가로 길이가 길 수 있다.
한편, 도 10(c)에 도시된 바와 같이, 하나의 위상 펄스 내에서도 광원(100)에 인가되는 전류가 달라질 수 있다. 예를 들어, 하나의 위상 펄스 내 초기 광 펄스를 위한 입력 전류가 나머지 광 펄스를 위한 입력 전류보다 높은 경우, 도 8(c) 내지 도 8(d)에 도시된 바와 같이 위상 펄스는 뚜렷한 상승 에지를 가질 수 있으며, 이에 따라 깊이 정보의 정확도는 높아질 수 있다.
또는, 도 10(d)에 도시된 바와 같이, 프레임 별로 광원(100)에 인가되는 전류가 달라질 수도 있다. 예를 들어, 홀수 번째 프레임에 대한 광 펄스를 위한 입력 전류는 짝수 번째 프레임에 대한 광 펄스를 위한 입력 전류에 비하여 높을 수 있다. 이에 따르면, 홀수 번째 프레임에서는 세로 길이가 확장된 깊이 이미지를 획득할 수 있고, 짝수 번째 프레임에서는 가로 길이가 확장된 깊이 이미지를 획득할 수 있다. 홀수 번째 프레임과 짝수 번째 프레임을 결합하면, 세로 길이 및 가로 길이가 모두 확장된 깊이 이미지를 획득할 수 있으며, 홀수 번째 프레임과 짝수 번째 프레임이 겹쳐진 영역에 대해서는 더욱 높은 정확도를 가지는 깊이 이미지를 획득할 수 있다.
이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
[부호의 설명]
1: 카메라 장치
10: 광출력부
20: 광입력부
30: 깊이 정보 생성부
40: 제어부
50: 객체 정보 획득부
100: 광원

Claims (14)

  1. 출력광 신호를 생성하여 객체에 조사하는 광출력부,
    상기 객체로부터 반사된 후 입력된 입력광 신호를 수신하는 광입력부,
    상기 광입력부에 입력된 상기 입력광 신호를 이용하여 상기 객체의 깊이 정보를 생성하는 깊이 정보 생성부, 그리고
    상기 광출력부, 상기 광입력부 및 상기 깊이 정보 생성부를 제어하는 제어부를 포함하며,
    상기 광출력부는,
    상기 출력광 신호를 생성하는 광원을 포함하고,
    상기 제어부는 상기 객체에 관한 정보에 기초하여 상기 광원에 인가되는 전류를 제어하는 카메라 장치.
  2. 제1항에 있어서,
    상기 객체에 관한 정보는 상기 객체의 표면 재질, 상기 객체의 면적 및 상기 객체의 형상 중 적어도 하나를 포함하는 카메라 장치.
  3. 제2항에 있어서,
    상기 제어부는 상기 객체의 가로 길이가 세로 길이보다 긴 경우 기준 전류보다 낮은 전류가 상기 광원에 인가되도록 제어하고, 상기 객체의 세로 길이가 가로 길이보다 긴 경우 상기 기준 전류보다 높은 전류가 상기 광원에 인가되도록 제어하는 카메라 장치.
  4. 제1항에 있어서,
    상기 광출력부는,
    상기 광원으로부터 출력된 출력광 신호를 확산시키는 렌즈 어셈블리를 더 포함하는 카메라 장치.
  5. 제1항에 있어서,
    상기 광입력부는 상기 입력광 신호 중 소정의 편광 각도를 가지는 입력광 신호를 선택적으로 통과시키는 편광부재, 그리고
    상기 편광부재를 통과한 상기 입력광 신호를 수신하는 이미지 센서를 포함하는 카메라 장치.
  6. 제1항에 있어서,
    상기 광원이 출력하는 상기 출력광 신호의 편광 특성 및 파형 중 적어도 하나는 상기 전류에 따라 달라지는 카메라 장치.
  7. 제1항에 있어서,
    상기 광원은 VCSEL(vertical cavity surface emitting laser)를 포함하는 카메라 장치.
  8. 제1항에 있어서,
    상기 깊이 정보 생성부는 상기 출력광 신호 및 상기 입력광 신호 간 위상차를 이용하여 상기 깊이 정보를 생성하는 카메라 장치.
  9. 제1항에 있어서,
    상기 제어부는 상기 광원에 제1 전류가 인가되는 구간 및 상기 광원에 상기 제1 전류보다 높은 제2 전류가 인가되는 구간이 교대로 반복되도록 제어하는 카메라 장치.
  10. 카메라 장치의 깊이 정보 생성 방법에 있어서,
    객체에 관한 정보를 획득하는 단계,
    상기 정보에 기초하여 광원에 인가되는 전류를 제어하는 단계,
    상기 전류에 기초하여 상기 광원이 출력광 신호를 생성하여 상기 객체에 조사하는 단계,
    상기 객체로부터 반사된 후 입력된 입력광 신호를 수신하는 단계, 그리고
    상기 입력광 신호를 이용하여 상기 객체의 깊이 정보를 생성하는 단계
    를 포함하는 깊이 정보 생성 방법.
  11. 제10항에 있어서,
    상기 객체에 관한 정보는 객체의 표면 재질, 상기 객체의 면적 및 상기 객체의 형상 중 적어도 하나를 포함하는 깊이 정보 생성 방법.
  12. 제11항에 있어서,
    상기 제어하는 단계에서는 상기 객체의 가로 길이가 세로 길이보다 긴 경우 기준 전류보다 낮은 전류가 상기 광원에 인가되도록 제어하고, 상기 객체의 세로 길이가 가로 길이보다 긴 경우 상기 기준 전류보다 높은 전류가 상기 광원에 인가되도록 제어하는 깊이 정보 생성 방법.
  13. 제10항에 있어서,
    상기 깊이 정보를 생성하는 단계에서는 상기 출력광 신호 및 상기 입력광 신호 간 위상차를 이용하여 상기 깊이 정보를 생성하는 깊이 정보 생성 방법.
  14. 제10항에 있어서,
    상기 제어하는 단계에서는 상기 광원에 제1 전류가 인가되는 구간 및 상기 광원에 상기 제1 전류보다 높은 제2 전류가 인가되는 구간이 교대로 반복되도록 제어하는 깊이 정보 생성 방법.
PCT/KR2022/006108 2021-04-28 2022-04-28 카메라 장치 WO2022231349A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202280031648.8A CN117280681A (zh) 2021-04-28 2022-04-28 相机装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210054995A KR20220147899A (ko) 2021-04-28 2021-04-28 카메라 장치
KR10-2021-0054995 2021-04-28

Publications (1)

Publication Number Publication Date
WO2022231349A1 true WO2022231349A1 (ko) 2022-11-03

Family

ID=83847099

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/006108 WO2022231349A1 (ko) 2021-04-28 2022-04-28 카메라 장치

Country Status (3)

Country Link
KR (1) KR20220147899A (ko)
CN (1) CN117280681A (ko)
WO (1) WO2022231349A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180023785A (ko) * 2016-08-24 2018-03-07 삼성전자주식회사 복수의 발광소자를 포함하는 전자 장치 및 전자 장치의 동작 방법
KR20200005858A (ko) * 2018-07-09 2020-01-17 엘지이노텍 주식회사 광 출력 방법 및 장치
KR20200036614A (ko) * 2018-09-28 2020-04-07 엘지이노텍 주식회사 카메라 장치 및 그의 깊이 정보 추출 방법
KR20200049152A (ko) * 2018-10-31 2020-05-08 엘지이노텍 주식회사 카메라 장치
KR20200085800A (ko) * 2017-11-02 2020-07-15 트럼프 포토닉 컴포넌츠 게엠베하 개선된 깊이 이미지 재구성

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180023785A (ko) * 2016-08-24 2018-03-07 삼성전자주식회사 복수의 발광소자를 포함하는 전자 장치 및 전자 장치의 동작 방법
KR20200085800A (ko) * 2017-11-02 2020-07-15 트럼프 포토닉 컴포넌츠 게엠베하 개선된 깊이 이미지 재구성
KR20200005858A (ko) * 2018-07-09 2020-01-17 엘지이노텍 주식회사 광 출력 방법 및 장치
KR20200036614A (ko) * 2018-09-28 2020-04-07 엘지이노텍 주식회사 카메라 장치 및 그의 깊이 정보 추출 방법
KR20200049152A (ko) * 2018-10-31 2020-05-08 엘지이노텍 주식회사 카메라 장치

Also Published As

Publication number Publication date
CN117280681A (zh) 2023-12-22
KR20220147899A (ko) 2022-11-04

Similar Documents

Publication Publication Date Title
WO2014035127A1 (en) Apparatus for generating depth image
WO2020067738A1 (ko) 카메라 장치 및 그의 깊이 정보 추출 방법
WO2014035128A1 (en) Image processing system
WO2020040390A1 (ko) 3차원 영상 생성 장치 및 방법
JP2002323302A (ja) 非走査型レンジ撮像システム用のｌｅｄを用いた照明デバイス
WO2013176362A1 (ko) 3차원 스캐닝 시스템 및 이를 이용한 3차원 영상획득방법
WO2004015451A3 (en) Appartus and method for free-space optical communication
WO2014051754A1 (en) Methods and apparatus for multiphase sampling of modulated light
JP2008533478A (ja) ３−ｄ撮像システム
CN101031929A (zh) 在光电读取器和图像投影仪中监控光束位置
WO2019199101A1 (ko) 카메라 모듈 및 그의 깊이 정보 추출 방법
WO2022231349A1 (ko) 카메라 장치
WO2019235859A1 (ko) 카메라 모듈 및 그의 깊이 정보 추출 방법
KR20190000666A (ko) 거리 측정 장치 및 그 방법
WO2020122628A1 (ko) 카메라 장치
WO2022154160A1 (ko) 카메라 모듈
WO2019235889A1 (ko) 카메라 모듈 및 그의 깊이 정보 추출 방법
WO2020067745A1 (ko) 카메라 장치
WO2020071885A1 (ko) 깊이 정보를 획득하는 방법 및 카메라 모듈
WO2020022721A1 (ko) 가변 구조광 생성 장치 및 3차원 이미징 시스템
WO2020242223A1 (ko) 카메라 모듈
WO2020045932A1 (ko) 영상 처리 장치 및 영상 처리 방법
WO2021137329A1 (ko) 광학 장치
KR20200038227A (ko) Tof 카메라 장치
Piszczek et al. Laser Photography Device-Spatial Parameters of Imaging

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22796181

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18288259

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22796181

Country of ref document: EP

Kind code of ref document: A1