WO2020045932A1 - 영상 처리 장치 및 영상 처리 방법 - Google Patents

영상 처리 장치 및 영상 처리 방법 Download PDF

Info

Publication number
WO2020045932A1
WO2020045932A1 PCT/KR2019/010865 KR2019010865W WO2020045932A1 WO 2020045932 A1 WO2020045932 A1 WO 2020045932A1 KR 2019010865 W KR2019010865 W KR 2019010865W WO 2020045932 A1 WO2020045932 A1 WO 2020045932A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
tof
rgb
feature point
camera
Prior art date
Application number
PCT/KR2019/010865
Other languages
English (en)
French (fr)
Inventor
박정아
이승원
김동균
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to US17/268,898 priority Critical patent/US11610339B2/en
Priority to CN201980056701.8A priority patent/CN112655022B/zh
Publication of WO2020045932A1 publication Critical patent/WO2020045932A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present invention relates to an image processing apparatus and an image processing method using an RGB camera and a ToF camera.
  • 3D content is applied in many fields such as education, manufacturing, autonomous driving as well as game and culture, and depth information is needed to obtain 3D content.
  • Depth information is information representing a distance in space and represents perspective information of another point with respect to one point of the 2D image.
  • One method of obtaining depth information is a method of projecting IR (Infrared) structured light onto an object and extracting depth information by analyzing light reflected from the object. According to the IR structured light method, it is difficult to obtain a desired depth resolution for a moving object.
  • IR structured light method it is difficult to obtain a desired depth resolution for a moving object.
  • TOF time of flight
  • the distance to an object is calculated by measuring a flight time, that is, a time when light is reflected by shooting.
  • a flight time that is, a time when light is reflected by shooting.
  • the biggest advantage of the ToF method is that it provides fast real-time distance information on three-dimensional space.
  • the user can obtain accurate distance information without any algorithm or hardware correction.
  • accurate depth information can be obtained by measuring a very close subject or a moving subject.
  • a technology for mounting a RGB camera and a ToF camera together in one device for example, a mobile device, matching a RGB image acquired from an RGB camera with a depth image obtained from a ToF camera, and generating a 3D color image It is trying.
  • An object of the present invention is to provide an image processing method and an image processing apparatus capable of calibrating between an RGB camera and a ToF camera.
  • an image processing method of an image processing apparatus device obtaining an RGB image from an RGB camera, obtaining a ToF image from a ToF camera, extracting a first RGB feature point from the RGB image, and the ToF Extracting a first ToF feature point from an image, matching the first RGB feature point with the first ToF feature point, wherein a correlation between the first RGB feature point and the feature point of the first ToF is greater than or equal to a predetermined value; Extracting 2 ToF feature points; calculating an error value between the second RGB feature point and the second ToF feature point; and if the error value is greater than a threshold value, update the pre-stored calibration data and use the updated calibration data. Calibrating the RGB image and the ToF image, and calibrating the RGB image and the ToF image. Synthesizing the phases.
  • the ToF image may include at least one of an IR image and a depth image.
  • At least one of the IR image and the depth image may be generated from IR images for four phases.
  • the first RGB feature point is extracted using at least one of edge information, shape information, size information, and center point information of the object in the RGB image
  • the first ToF feature point is the edge information, shape information, It may be extracted using at least one of the size information and the center point information.
  • the calibration data may include an X value, a Y value, a Z value, a pitch value, a roll value, and a yaw value.
  • the method may further include receiving a drop shock detection signal from a sensor, and when the drop shock detection signal is received, calculating the error value may be performed.
  • the method may further include acquiring autofocusing information of the RGB camera from the RGB camera, and the second RGB feature point and the second ToF feature point may be extracted using the autofocusing information.
  • An image processing apparatus obtains an RGB image from an RGB camera, obtains a ToF image from a ToF camera, extracts a first RGB feature point from the RGB image, and extracts a first RGB feature point from the ToF image.
  • a first feature point extracting unit extracting a ToF feature point, a second RGB feature point and a first correlation between the first RGB feature point and the first ToF feature point by matching the first RGB feature point with the first ToF feature point, and having a predetermined value or more;
  • a second feature point extracting unit for extracting a 2 ToF feature point, calculating an error value between the second RGB feature point and the second ToF feature point, and if the error value is greater than a threshold value, update the pre-stored calibration data, and update the updated calibration.
  • a calibrator configured to calibrate the RGB image and the ToF image using data, the calibrated RGB image, and It includes the image combination unit for combining the image group ToF.
  • the ToF image may include at least one of an IR image and a depth image.
  • At least one of the IR image and the depth image may be generated from IR images for four phases.
  • the first RGB feature point is extracted using at least one of edge information, shape information, size information, and center point information of the object in the RGB image
  • the first ToF feature point is the edge information, shape information, It may be extracted using at least one of the size information and the center point information.
  • the calibration data may include an X value, a Y value, a Z value, a pitch value, a roll value, and a yaw value.
  • the apparatus may further include a signal receiver configured to receive a drop shock detection signal from a sensor, and when the drop shock detection signal is received, the calibration unit may calculate the error value.
  • the apparatus may further include a signal receiver configured to receive a drop shock detection signal from a sensor.
  • the first feature point extractor extracts a first RGB feature point from the RGB image, and a first ToF from the ToF image. Feature points can be extracted.
  • the apparatus may further include a signal receiver configured to receive a calibration request signal from a user user interface.
  • the first feature point extractor extracts a first RGB feature point from the RGB image and a first ToF from the ToF image. Feature points can be extracted.
  • an autofocusing information acquisition unit for acquiring autofocusing information of the RGB camera from the RGB camera, wherein the second feature point extractor further extracts the second RGB feature point and the second ToF feature point using the autofocusing information. can do.
  • an image processing apparatus and method according to an embodiment of the present invention calibration between an RGB camera and a ToF camera can be performed in real time without the user having to visit a service center.
  • efficient calibration can be performed by simple calculation.
  • FIG. 1 is a block diagram of an image processing system according to an exemplary embodiment of the present invention.
  • FIG. 2 is a block diagram of a ToF camera module according to an embodiment of the present invention.
  • FIG. 3 is a view for explaining the frequency of the output light signal of the ToF camera module according to an embodiment of the present invention.
  • FIG. 4 is a view for explaining an electrical signal generation process according to an embodiment of the present invention.
  • FIG. 5 is a view for explaining an image sensor of the ToF camera module according to an embodiment of the present invention.
  • FIG. 6 is four phase images obtained from a ToF camera module according to an embodiment of the present invention.
  • FIG. 7 is a ToF IR image obtained from the phase image of FIG. 6.
  • FIG. 8 is a depth image that may be obtained from the phase image of FIG. 6.
  • FIG. 9 is a block diagram of an image processing apparatus included in an image processing system according to an exemplary embodiment.
  • 10 to 12 are diagrams for explaining a calibration method between a ToF camera and an RGB camera.
  • FIG. 13 is a flowchart illustrating an image processing method of an image processing system according to an exemplary embodiment.
  • FIG. 14 is a diagram for describing a method of extracting a second RGB feature point and a second ToF feature point from a first RGB specific point and a first ToF feature point in an embodiment of the present invention.
  • FIG. 15 is a diagram for describing a method of extracting a second RGB feature point and a second ToF feature point using distance information according to an embodiment of the present invention.
  • 16 is a flowchart illustrating an image processing method of an image processing system according to another exemplary embodiment.
  • 17 is a flowchart illustrating an image processing method of an image processing system according to another exemplary embodiment.
  • ordinal numbers such as second and first
  • first and second components may be used to describe various components, but the components are not limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • second component may be referred to as the first component, and similarly, the first component may also be referred to as the second component.
  • FIG. 1 is a block diagram of an image processing system according to an embodiment of the present invention
  • FIG. 2 is a block diagram of a ToF camera module according to an embodiment of the present invention
  • FIG. 3 is a ToF according to an embodiment of the present invention.
  • 4 is a view for explaining the frequency of the output light signal of the camera module
  • Figure 4 is a view for explaining the electrical signal generation process according to an embodiment of the present invention
  • Figure 5 is a ToF camera according to an embodiment of the present invention It is a figure for demonstrating the image sensor of a module.
  • 6 is four phase images obtained from the ToF camera module according to an embodiment of the present invention
  • FIG. 7 is a ToF IR image obtained from the phase image of FIG. 6
  • FIG. 8 is a phase image of FIG. 6.
  • an image processing system 10 includes a ToF camera 100, an RGB camera 200, and an image processing apparatus 300.
  • the ToF camera 100 is one of devices capable of acquiring depth information. According to the ToF method, the ToF camera 100 calculates a distance from an object by measuring a flight time, that is, a time when light is reflected by shooting.
  • the RGB camera 200 may be a general camera capable of capturing an RBG image.
  • the ToF camera 100 and the RGB camera 200 may be disposed in one device, for example, one mobile device, to photograph the same area.
  • the image processing apparatus 300 is connected to the ToF camera 100 and the RGB camera 200, and fuses the ToF image acquired from the ToF camera 100 and the RGB image acquired from the RGB camera 200. 3D image can be obtained.
  • the image processing apparatus 300 is illustrated as being disposed adjacent to the ToF camera 100 and the RGB camera 200 in the image processing system 10, but is not limited thereto, and the ToF camera 100 and It may be arranged remotely with the RGB camera 200. Alternatively, some functions of the image processing apparatus 300 may be included in the ToF camera 100 and the RGB camera 200.
  • the ToF camera module 100 includes an illumination unit 110, a lens unit 120, an image sensor unit 130, and an image control unit 140.
  • the lighting unit 110 generates an output light signal and irradiates the object.
  • the lighting unit 110 may generate and output an output light signal in the form of a pulse wave or a continuous wave.
  • the continuous wave may be in the form of a sinusoid wave or a squared wave.
  • the output light refers to light that is output from the lighting unit 110 and incident on the object, and the input light is output from the lighting unit 110, reaches the object, is reflected from the object, and then inputs to the ToF camera module 100. It may mean light. From the standpoint of the object, the output light may be incident light and the input light may be reflected light.
  • the lighting unit 110 irradiates the generated output light signal to the object for a predetermined integration time.
  • the exposure period means one frame period.
  • the set exposure period is repeated. For example, when the ToF camera module 100 photographs an object at 20 FPS, the exposure period is 1/20 [sec]. When 100 frames are generated, the exposure period may be repeated 100 times.
  • the lighting unit 110 may generate a plurality of output light signals having different frequencies.
  • the lighting unit 110 may sequentially generate a plurality of output light signals having different frequencies.
  • the lighting unit 110 may simultaneously generate a plurality of output light signals having different frequencies.
  • the lighting unit 110 may control the first half of an exposure period to generate an output light signal having a frequency f 1 , and the other half of the exposure period to control an output light signal having a frequency f 2 . .
  • the lighting unit 110 may control some of the light emitting diodes to generate an output light signal having a frequency f 1 , and control the remaining light emitting diodes to generate an output light signal having a frequency f 2 . have.
  • the lighting unit 110 may include a light source 112 for generating light and a light modulator 114 for modulating the light.
  • the light source 112 generates light.
  • the light generated by the light source 112 may be infrared light having a wavelength of 770 to 3000 nm, or may be visible light having a wavelength of 380 to 770 nm.
  • the light source 112 may use a light emitting diode (LED), and may have a shape in which a plurality of light emitting diodes are arranged in a predetermined pattern.
  • the light source 112 may include an organic light emitting diode (OLED) or a laser diode (LD).
  • the light source 112 may be a vertical cavity surface emitting laser (VCSEL).
  • the VCSEL is one of laser diodes that converts an electrical signal into an optical signal, and may use a wavelength of about 800 to 1000 nm, for example, about 850 nm or about 940 nm.
  • the light source 112 generates an output light signal in the form of a pulse wave or a continuous wave by repeatedly blinking (on / off) at predetermined time intervals.
  • the predetermined time interval may be a frequency of the output light signal. Flashing of the light source may be controlled by the light modulator 114.
  • the light modulator 114 controls the blinking of the light source 112 to control the light source 112 to generate an output light signal in the form of a continuous wave or a pulse wave.
  • the light modulator 114 may control the light source 112 to generate an output light signal in the form of a continuous wave or a pulse wave through frequency modulation or pulse modulation.
  • the lens unit 120 collects the input light signal reflected from the object and transmits the input light signal to the image sensor unit 130.
  • the image sensor unit 130 generates an electrical signal using the input light signal collected through the lens unit 120.
  • the image sensor 130 may absorb the input light signal in synchronization with the blinking period of the lighting unit 110.
  • the image sensor 130 may absorb light in the in-phase and out-phase with the output light signal output from the illumination unit 110, respectively. That is, the image sensor 130 may repeatedly absorb the incident light signal when the light source is turned on and absorb the incident light signal when the light source is turned off.
  • the image sensor 130 may generate an electrical signal corresponding to each reference signal by using a plurality of reference signals having different phase differences.
  • the frequency of the reference signal may be set equal to the frequency of the output light signal output from the illumination unit 110. Therefore, when the illumination unit 110 generates an output light signal at a plurality of frequencies, the image sensor unit 130 generates an electrical signal using a plurality of reference signals corresponding to each frequency.
  • the electrical signal may include information about the amount of charge or voltage corresponding to each reference signal.
  • each reference signal C 1 to C 4 may have the same frequency as the output light signal, but may have a phase difference of 90 degrees.
  • One of the four reference signals C 1 may have the same phase as the output light signal.
  • the input light signal is delayed in phase by a distance from which the output light signal is reflected and returned after being incident on the object.
  • the image sensor unit 130 mixes the input light signal and each reference signal. Then, the image sensor 130 may generate an electrical signal corresponding to the shaded portion of FIG. 4 for each reference signal.
  • the image sensor unit 130 absorbs the input light signal according to the plurality of frequencies.
  • the plurality of reference signals have a phase difference of 90 degrees.
  • the frequency can be generated with four electrical signals through the f 1, the input optical signal and four reference signals corresponding thereto.
  • Four electrical signals may be generated through an input optical signal having a frequency f 2 and four reference signals corresponding thereto.
  • a total of eight electrical signals can be generated.
  • the image sensor unit 130 may have a structure in which a plurality of pixels are arranged in a grid form.
  • the image sensor unit 130 may be a complementary metal oxide semiconductor (CMOS) image sensor or a charge coupled device (CCD) image sensor.
  • CMOS complementary metal oxide semiconductor
  • CCD charge coupled device
  • the image sensor unit 130 may include a ToF sensor that receives infrared light reflected from a subject and measures a distance using a time or phase difference.
  • 76,800 pixels are arranged in a grid.
  • a predetermined interval may be formed between the plurality of pixels as shown in the shaded portion of FIG. 5.
  • the description is made with one pixel including a predetermined interval adjacent to the pixel.
  • each pixel 132 includes a first light receiver 132-1 including a first photodiode and a first transistor, and a second light receiver 132 including a second photodiode and a second transistor. -2).
  • the first light receiving unit 132-1 receives an input light signal in phase with a waveform of output light. That is, at the time when the light source is turned on, the first photodiode is turned on to absorb the input light signal. Then, at the time when the light source is turned off, the first photodiode is turned off to stop the absorption of the input light.
  • the first photodiode converts the absorbed input light signal into a current and delivers it to the first transistor.
  • the first transistor converts the received current into an electrical signal and outputs the electrical signal.
  • the second light receiver 132-2 receives an input light signal in a phase opposite to the waveform of the output light. That is, at the time that the light source is turned on, the second photodiode is turned off to absorb the input light signal. At the time when the light source is turned off, the second photodiode is turned on to stop the absorption of the input light. The second photodiode converts the absorbed input light signal into a current and transfers it to the second transistor. The second transistor converts the received current into an electrical signal.
  • the first light receiver 132-1 may be referred to as an in phase receiving unit
  • the second light receiver 132-2 may be referred to as an out phase receiving unit.
  • a difference occurs in the amount of light received according to the distance to the object.
  • the light source blinks.
  • the cycle becomes a reception cycle of light as it is. Accordingly, only the first light receiver 132-1 receives the light, and the second light receiver 132-2 does not receive the light.
  • the distance of the object may be calculated by using a difference between the amounts of light input to the first light receiver 132-1 and the second light receiver 132-2.
  • the image controller 140 calculates a phase difference between the output light and the input light using the electrical signal received from the image sensor unit 130, and uses the phase difference to detect the object and the ToF camera module 100. Calculate the distance between).
  • the image controller 140 may calculate a phase difference between the output light and the input light by using the charge information of the electric signal.
  • the image controller 140 may calculate the phase difference t d between the output light signal and the input light signal using Equation 1 below.
  • Q 1 to Q 4 are charge charge amounts of each of the four electrical signals.
  • Q 1 is the amount of charge of the electric signal corresponding to the reference signal of the same phase as the output light signal.
  • Q 2 is the amount of charge of the electrical signal corresponding to the reference signal 180 degrees slower than the output light signal.
  • Q 3 is the amount of charge of the electrical signal corresponding to the reference signal 90 degrees slower than the output light signal.
  • Q 4 is the amount of charge of the electrical signal corresponding to the reference signal whose phase is 270 degrees slower than the output light signal.
  • the image controller 140 may calculate the distance between the object and the ToF camera module 100 using the phase difference between the output light signal and the input light signal. In this case, the image controller 140 may calculate the distance d between the object and the ToF camera module 100 by using Equation 2 below.
  • a ToF IR image and a depth image may be obtained from the ToF camera module 100.
  • raw images for four phases may be obtained from the ToF camera module 100 according to an exemplary embodiment of the present invention.
  • the four phases may be 0 °, 90 °, 180 °, and 270 °
  • the low image for each phase may be an image composed of pixel values digitized for each phase, and may be mixed with a phase image, a phase IR image, and the like. Can be.
  • Raw (x 0 ) is the pixel-specific data value accepted by the sensor at phase 0 °
  • Raw (x 90 ) is the pixel-specific data value accepted by the sensor at phase 90 °
  • Raw (x 180 ) is phase 180
  • Raw (x 270 ) may be the pixel-specific data values accepted by the sensor at phase 270 °.
  • an intensity image which is another ToF IR image, may be obtained.
  • Raw (x 0 ) is the pixel-specific data value accepted by the sensor at phase 0 °
  • Raw (x 90 ) is the pixel-specific data value accepted by the sensor at phase 90 °
  • Raw (x 180 ) is phase 180
  • Raw (x 270 ) may be the pixel-specific data values accepted by the sensor at phase 270 °.
  • the ToF IR image is an image generated by subtracting two of the four phase images from each other, and in this process, external light may be removed.
  • the ToF IR image is an image generated by subtracting two of the four phase images from each other, and in this process, external light may be removed.
  • only signals in the wavelength band output by the light source remain in the ToF IR image, thereby increasing the IR sensitivity of the object and significantly reducing the noise.
  • the ToF IR image may refer to an amplitude image or an intensity image, and the intensity image may be mixed with the confidence image. As shown in FIG. 7, the ToF IR image may be a gray image.
  • the depth images of FIG. 8 may also be obtained.
  • FIG. 9 is a block diagram of an image processing apparatus included in an image processing system according to an exemplary embodiment.
  • the image processing apparatus 300 extracts a first RGB feature point from an RGB image and an image acquisition unit 310 that acquires a ToF image and an RGB image, respectively, from the ToF camera 100 and the RGB camera 200. And a first feature point extractor 320 to extract the first ToF feature point from the ToF image, and a second feature point extractor 330 to extract the second RGB feature point and the second ToF feature point from the first RGB feature point and the first ToF feature point. ), A calibrator 340 for calibrating an RGB image and a ToF image using the second RGB feature point and the second ToF feature point, and an image synthesizer for generating a three-dimensional color image by matching the calibrated RGB image and the ToF image ( 350).
  • the image processing apparatus 300 may include a signal receiver configured to receive a signal for triggering operations of the first feature point extractor 320, the second feature point extractor 330, and the calibration unit 340 ( 360, and a distance information acquisition unit 370 that obtains distance information of the object from the ToF camera 100 or the RGB camera 200.
  • the TOF image that may be obtained from the ToF camera 100 may be a ToF IR image and a depth image.
  • the ToF IR image may be an amplitude image or an intensity image generated from IR images of four phases of 0 °, 90 °, 180 °, and 270 °.
  • the amplifier image may be generated as described in FIGS. 6 to 7 and equations (3) and (4).
  • the image synthesizer 350 may generate a 3D color image including both color information and depth information by matching and rendering the RGB image and the depth image.
  • the image synthesizer 350 obtains the ToF camera 100 and the RGB. Precise alignment between 200 is required.
  • the ToF camera 100 and the RGB camera 200 are mounted in one device, for example, one mobile device, the ToF camera 100 and the RGB camera 200 after assembly of the mobile device and before being sold on the market. Calibration of the liver must be preceded.
  • 10 to 12 are diagrams for explaining a calibration method between a ToF camera and an RGB camera.
  • a chart of a predetermined pattern is disposed on the front of the ToF camera 100 and the RGB camera 200, and the ToF camera 100 and the RGB camera 200 each photograph the same chart to capture a pattern image. Acquire.
  • Each camera can extract parameters inside the camera, that is, between the lens and the sensor, through intrinsic calibration from the acquired pattern image.
  • the extracted parameters may be focal lengths, optical centers, and distortion correction coefficients.
  • Each camera may extract parameters between the camera and the chart through extrinsic calibration from the acquired pattern image.
  • the parameters between the camera and chart of the ToF camera can be represented by external parameters (X, Y, Z / Pitch / Roll / Yaw) and reprojection error.
  • the parameters between the camera and chart of the RGB camera are It can be represented by the load parameters (X, Y, Z / Pitch / Roll / Yaw) and the reprojection error.
  • an external calibration between the two cameras may be performed by using the parameters extracted through the intrinsic calibration of each camera and the parameters extracted through the intrinsic calibration, and a parameter about the position correlation between the two cameras may be extracted.
  • the parameters related to the positional correlation between the two cameras may be represented by X, Y, Z / Pitch / Roll / Yaw and reprojection error.
  • the result of mapping the ToF image based on the RGB image may be performed as shown in Table 1 below, and the result may be represented as shown in FIG. 12.
  • the ToF camera 100 and the RGB camera 200 are assembled in one apparatus and before being sold in the market, for example, using the method illustrated in FIGS. Calibration may be preceded, and it may be assumed that calibration data including X, Y, Z / Pitch / Roll / Yaw and reprojection errors is prestored.
  • the calibration data is pre-stored in the image processing apparatus 300 as an example.
  • the image processing apparatus 300 may perform calibration between the ToF camera 100 and the RGB camera 200 in real time. Can be. Accordingly, even if a distortion occurs between the ToF camera 100 and the RGB camera 200 according to the use of the device, it is possible to obtain high quality 3D color images without having to visit the service center.
  • a pre-marketed calibration after assembling the ToF camera and the RGB camera in the device may be referred to as an offline calibration or a process calibration, and may be referred to as a real time in the image processing apparatus 300 during use by the user.
  • the calibration performed as may be referred to as real time calibration, dynamic calibration, dynamic calibration, and the like.
  • the image processing system of the present invention is described as an example mounted in a mobile device, but is not limited thereto. According to the embodiment of the present invention, an RGB camera and a ToF camera are simultaneously mounted to synthesize a 3D color image. It can be applied to any device.
  • FIG. 13 is a flowchart illustrating an image processing method of an image processing system according to an exemplary embodiment.
  • the calibration data may be stored in the image processing apparatus 300 in advance. It may be (S102).
  • the calibration data may include X, Y, Z / Pitch / Roll / Yaw, and reprojection error.
  • the RGB camera 200 and the ToF camera 100 start operation, respectively, and the image acquisition unit 310 of the image processing apparatus 300 is connected with the RGB image.
  • ToF images are acquired (S106 and S108).
  • the ToF image may include a ToF IR image and a depth image generated from IR images for four phases.
  • the first feature point extractor 320 of the image processing apparatus 300 extracts the first RGB feature point from the RGB image (S110), and extracts the first ToF feature point from the ToF image (S112).
  • the first RGB feature point is extracted using at least one of edge information, shape information, size information, and center point information of the object in the RGB image
  • the first ToF feature point is edge information, shape information, and size information of the object in the ToF image.
  • the first ToF feature point may include at least one of a feature point extracted from a ToF IR image and a feature point extracted from a depth image.
  • Various known methods for extracting feature points from an image may be applied to steps S110 and S112.
  • the second feature point extractor 320 of the image processing apparatus 300 matches the first RGB feature point with the first ToF feature point, and thus a correlation between the first RGB feature point and the feature point of the first ToF is greater than or equal to a predetermined value.
  • An RGB feature point and a second ToF feature point are extracted (S114).
  • the correlation between the first RGB feature point and the feature point of the first ToF is greater than or equal to a predetermined value means a feature point that can be extracted from both the RGB image and the ToF image, the RGB camera 200 and the ToF camera 100 are compared. You can infer the degree of distortion between the Accordingly, in the present specification, the second RGB feature point and the second ToF feature point may be referred to as meaningful feature points.
  • the second RGB feature point and the second ToF feature point may be extracted by matching the first RGB feature point and the first ToF feature point of the ToF IR image, or may be extracted by matching the first RGB feature point and the first ToF feature point of the depth image.
  • One RGB feature point, a first ToF feature point of the ToF IR image, and a first ToF feature point of the depth image may be matched and extracted.
  • the ToF IR image is advantageous to extract the edge component of the object as a feature point
  • the depth image is advantageous to classify them as feature points when objects having the same material and color are at different distances.
  • FIG. 14 is a diagram for describing a method of extracting a second RGB feature point and a second ToF feature point from a first RGB specific point and a first ToF feature point. If the feature point of the depth image shown in red in FIG. 14 (a) and the feature point of the RGB image shown in red in FIG. 14 (b) are matched using a SIFT algorithm or a SURF algorithm, the correlation is as shown in FIG. 14 (c). A second RGB feature point and a second ToF feature point whose relationship is greater than or equal to a predetermined value may be extracted.
  • the image processing apparatus 300 stores the information about the second RGB feature point and the second ToF feature point extracted by the second feature point extractor 320 (S116), and then the calibration unit 340 stores the second RGB feature point.
  • An error value between the feature point and the second ToF feature point is calculated (S118).
  • the error value is at least one of the X value, Y value, Z value, Pitch value, Roll value, Yaw value, and reprojection error of the second RGB feature point, and the X value, Y value of the second ToF feature point, It may be calculated using at least one of a Z value, a Pitch value, a Roll value, a Yaw value, and a reprojection error.
  • the error value may mean a degree of distortion between the RGB image and the ToF image, and may include at least one of an X value, a Y value, a Z value, a pitch value, a roll value, a yaw value, and a reprojection error. .
  • the calibration unit 340 of the image processing apparatus 300 compares the error value of step S118 with a threshold value (S120). If the error value is larger than the threshold value, the error value is updated with new calibration data (S122). The RGB image and the ToF image are calibrated using the updated calibration data (S124).
  • the image synthesizer 350 of the image processing apparatus 300 generates a 3D color image by matching the calibrated RGB image with the ToF image (S126).
  • the calibration is automatically performed in real time without visiting a service center. This can be done.
  • the far object can be taken together in the RGB image and the ToF image, and accordingly, the number of the first RGB feature points and the first ToF feature points will increase. Can be less accurate.
  • distance information may be further used to extract the second RGB feature point and the second ToF feature point in step S114.
  • the second RGB feature point and the second ToF feature point may be extracted by comparing only correlations between feature points within a predetermined distance, for example, 1 m, from the camera among the first RGB feature point and the first ToF feature point. According to this, not only the accuracy of meaningful feature points can be increased, but the amount of computation for calculating the correlation between the first RGB feature points and the first ToF feature points can be significantly reduced.
  • the distance information may be obtained from the distance information acquisition unit 370 of the image processing apparatus 300.
  • the distance information acquisition unit 370 may be connected to the ToF camera 100 to obtain distance information of the object in the depth image from the ToF camera 100.
  • the distance information acquisition unit 370 may be connected to the image acquisition unit 310 of the image processing apparatus 300 and directly extract the distance of the object from the depth image received from the image acquisition unit 310.
  • the first RGB feature point is extracted only for an object whose distance to the camera in the RGB image is within a predetermined range
  • FIG. 15 (b) the first ToF feature points are extracted only for objects whose distance to the camera in the ToF image is the same or similar to the predetermined range, and by using the correlation between the first RGB feature points and the first ToF feature points.
  • the second RGB feature point and the second ToF feature point may be extracted.
  • the first RGB feature point and the first ToF feature point may be extracted from the entire range in the RGB image and the entire range in the ToF image, respectively, and the distance between the camera in the RGB image among the extracted first RGB feature points and the first ToF feature points is within a predetermined range.
  • the second RGB feature point and the second ToF feature point may be extracted using a correlation between the first RGB feature point and the first ToF feature point within which the distance between the camera in the ToF image is within the same range as the predetermined range. According to this, not only the amount of calculation can be significantly reduced, but also the accuracy of meaningful feature points can be increased.
  • the distance information may be obtained from the distance information acquisition unit 370 of the image processing apparatus 300.
  • Distance information of the ToF image may be obtained from the ToF camera 100 or extracted from the depth image as described above.
  • Distance information of the RGB image may be obtained using an autofocusing (AF) function in the RGB camera 200.
  • the general RGB camera 200 includes an autofocusing function, and the positions of some components (eg, lens barrels) in the RGB camera 200 may be physically changed to focus the object and the lens.
  • the degree of movement of some components in the RGB camera 200 may vary according to the distance between the object and the lens, and a voice coil moter (VCM) may control these movements.
  • VCM voice coil moter
  • the distance between the object and the lens may be inferred from the current applied to the VCM or hall IC sensor information.
  • the distance information acquisition unit 370 of the image processing apparatus 300 may obtain distance information of an autofocused object from the RGB camera 200.
  • FIG. 16 is a flowchart illustrating an image processing method of an image processing system according to another exemplary embodiment. The same descriptions as those described with reference to FIGS. 13 to 15 will be omitted.
  • the drop shock detection signal may be further used in step S118 of calculating an error value between the second RGB feature point and the second ToF feature point.
  • the sensor operates (S200).
  • the sensor may be a device mounted with the ToF camera 100 and the RGB camera 200, for example, a sensor embedded in a mobile device, and may include at least one of an inertial sensor, an acceleration sensor, a gyro sensor, and a gravity sensor. Can be. The sensor can always operate while the mobile device is on.
  • the sensor measures the change in the movement of the mobile device using the detected information (S202), and if it is estimated that the mobile device is subjected to the drop shock as a result of measuring the change in the movement, the signal receiving unit 360 of the image processing apparatus 300
  • the drop shock detection signal may be transmitted to the user (S204).
  • a distortion may occur between the ToF camera 100 and the RGB camera 200.
  • step S118 may be performed to calculate an error value between the second RGB feature point and the second ToF feature point only when the image processing apparatus 300 receives the drop shock detection signal through the signal receiver 360.
  • FIG. 17 is a flowchart illustrating an image processing method of an image processing system according to another exemplary embodiment. The same descriptions as those described with reference to FIGS. 13 to 16 will be omitted.
  • steps S100 to S126 described with reference to FIG. 13 may be performed in the same manner.
  • steps S200 to S204 described with reference to FIG. 16 may also be performed in the same manner.
  • Steps S110 and S112 may be performed to extract the first RGB feature point from the image and to extract the first ToF feature point from the ToF image.
  • a step S114 of extracting the second RGB feature point and the second ToF feature point by matching the first RGB feature point and the first ToF feature point may be performed.
  • steps S110, S112, S114, S118, and the like are triggered only when the mobile device is subjected to a drop shock, the computation amount and load of the image processing apparatus 300 may be significantly reduced.
  • an application for calibration request is stored in the mobile device, and steps S110 and S112, step S114, step S118, and the like are performed only when the user makes a calibration request through a user interface. May be triggered.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Vascular Medicine (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 실시예에 따른 영상 처리 장치 장치의 영상 처리 방법은 RGB 카메라로부터 RGB 영상을 획득하는 단계, ToF 카메라로부터 ToF 영상 획득하는 단계, 상기 RGB 영상으로부터 제1 RGB 특징점을 추출하는 단계, 상기 ToF 영상으로부터 제1 ToF 특징점을 추출하는 단계, 상기 제1 RGB 특징점과 상기 제1 ToF 특징점을 매칭하여 상기 제1 RGB 특징점과 상기 제1 ToF의 특징점 간의 상관관계가 소정 값 이상인 제2 RGB 특징점과 제2 ToF 특징점을 추출하는 단계, 상기 제2 RGB 특징점과 상기 제2 ToF 특징점 간 오차 값을 계산하는 단계, 상기 오차 값이 임계 값보다 크면, 미리 저장된 캘리브레이션 데이터를 업데이트하고, 업데이트된 캘리브레이션 데이터를 이용하여 상기 RGB 영상 및 상기 ToF 영상을 캘리브레이션하는 단계, 그리고 캘리브레이션된 상기 RGB 영상 및 상기 ToF 영상을 합성하는 단계를 포함한다.

Description

영상 처리 장치 및 영상 처리 방법
본 발명은 RGB 카메라와 ToF 카메라를 이용하는 영상 처리 장치 및 영상 처리 방법에 관한 것이다.
3 차원 콘텐츠는 게임, 문화뿐만 아니라 교육, 제조, 자율주행 등 많은 분야에서 적용되고 있으며, 3차원 콘텐츠를 획득하기 위하여 깊이 정보(Depth Map)가 필요하다. 깊이 정보는 공간 상의 거리를 나타내는 정보이며, 2차원 영상의 한 지점에 대하여 다른 지점의 원근 정보를 나타낸다.
깊이 정보를 획득하는 방법 중 하나는, IR(Infrared) 구조광을 객체에 투사하며, 객체로부터 반사된 광을 해석하여 깊이 정보를 추출하는 방식이다. IR 구조광 방식에 따르면, 움직이는 객체에 대하여 원하는 수준의 깊이 분해능(Depth resolution)을 얻기 어려운 문제가 있다.
한편, IR 구조광 방식을 대체하는 기술로 TOF(Time of Flight) 방식이 주목 받고 있다.
TOF 방식에 따르면, 비행 시간, 즉 빛을 쏘아서 반사되어 오는 시간을 측정함으로써 물체와의 거리를 계산한다. ToF 방식의 가장 큰 장점은 3차원 공간에 대한 거리정보를 실시간으로 빠르게 제공한다는 점에 있다. 또한 사용자가 별도의 알고리즘 적용이나 하드웨어적 보정 없이도 정확한 거리 정보를 얻을 수 있다. 또한 매우 가까운 피사체를 측정하거나 움직이는 피사체를 측정하여도 정확한 깊이 정보를 획득할 수 있다.
이에 따라, 하나의 장치, 예를 들어 모바일 장치 내에 RGB 카메라와 ToF 카메라를 함께 탑재하고, RGB 카메라로부터 획득된 RGB 영상과 ToF 카메라로부터 획득된 깊이 영상을 정합하여 3차원 컬러 영상을 생성하는 기술이 시도되고 있다.
다만, RGB 영상과 깊이 영상 간의 정합을 위하여 RGB 카메라와 ToF 카메라 간의 위치 관계가 정교하게 매핑될 필요가 있다. 사용자의 사용 중 충격 등으로 인하여 RGB 카메라와 ToF 카메라 간 틀어짐이 발생하는 경우, 수 픽셀의 오차라고 하더라도 왜곡이 심한 영상이 얻어질 수 있다. 이에 따라, 효율적인 캘리브레이션 방법이 필요하다.
본 발명이 이루고자 하는 기술적 과제는 RGB 카메라와 ToF 카메라 간의 캘리브레이션이 가능한 영상 처리 방법 및 영상 처리 장치를 제공하는데 있다.
본 발명의 실시예에 따른 영상 처리 장치 장치의 영상 처리 방법은 RGB 카메라로부터 RGB 영상을 획득하는 단계, ToF 카메라로부터 ToF 영상 획득하는 단계, 상기 RGB 영상으로부터 제1 RGB 특징점을 추출하는 단계, 상기 ToF 영상으로부터 제1 ToF 특징점을 추출하는 단계, 상기 제1 RGB 특징점과 상기 제1 ToF 특징점을 매칭하여 상기 제1 RGB 특징점과 상기 제1 ToF의 특징점 간의 상관관계가 소정 값 이상인 제2 RGB 특징점과 제2 ToF 특징점을 추출하는 단계, 상기 제2 RGB 특징점과 상기 제2 ToF 특징점 간 오차 값을 계산하는 단계, 상기 오차 값이 임계 값보다 크면, 미리 저장된 캘리브레이션 데이터를 업데이트하고, 업데이트된 캘리브레이션 데이터를 이용하여 상기 RGB 영상 및 상기 ToF 영상을 캘리브레이션하는 단계, 그리고 캘리브레이션된 상기 RGB 영상 및 상기 ToF 영상을 합성하는 단계를 포함한다.
상기 ToF 영상은 IR 영상 및 깊이 영상 중 적어도 하나를 포함할 수 있다.
상기 IR 영상 및 깊이 영상 중 적어도 하나는 4개의 위상에 대한 IR 이미지로부터 생성될 수 있다.
상기 제1 RGB 특징점은 상기 RGB 영상 내 객체의 에지 정보, 형상 정보, 사이즈 정보 및 중심점 정보 중 적어도 하나를 이용하여 추출되고, 상기 제1 ToF 특징점은 상기 ToF 영상 내 객체의 에지 정보, 형상 정보, 사이즈 정보 및 중심점 정보 중 적어도 하나를 이용하여 추출될 수 있다.
상기 캘리브레이션 데이터는 X 값, Y 값, Z 값, Pitch 값, Roll 값 및 Yaw 값을 포함할 수 있다.
센서로부터 낙하 충격 감지 신호를 수신하는 단계를 더 포함하며, 상기 낙하 충격 감지 신호가 수신되면, 상기 오차 값을 계산하는 단계가 수행될 수 있다.
센서로부터 낙하 충격 감지 신호를 수신하는 단계를 더 포함하며, 상기 낙하 충격 감지 신호가 수신되면, 상기 RGB 영상으로부터 제1 RGB 특징점을 추출하는 단계 및 상기 ToF 영상으로부터 제1 ToF 특징점을 추출하는 단계가 수행될 수 있다.
사용자 유저 인터페이스로부터 캘리브레이션 요청 신호를 수신하는 단계를 더 포함하며, 상기 캘리브레이션 요청 신호가 수신되면, 상기 RGB 영상으로부터 제1 RGB 특징점을 추출하는 단계 및 상기 ToF 영상으로부터 제1 ToF 특징점을 추출하는 단계가 수행될 수 있다.
상기 RGB 카메라로부터 상기 RGB 카메라의 오토포커싱 정보를 획득하는 단계를 더 포함하며, 상기 오토포커싱 정보를 더 이용하여 상기 제2 RGB 특징점과 상기 제2 ToF 특징점을 추출할 수 있다.
본 발명의 한 실시예에 따른 영상 처리 장치는 RGB 카메라로부터 RGB 영상을 획득하고, ToF 카메라로부터 ToF 영상 획득하는 영상 획득부, 상기 RGB 영상으로부터 제1 RGB 특징점을 추출하고, 상기 ToF 영상으로부터 제1 ToF 특징점을 추출하는 제1 특징점 추출부, 상기 제1 RGB 특징점과 상기 제1 ToF 특징점을 매칭하여 상기 제1 RGB 특징점과 상기 제1 ToF의 특징점 간의 상관관계가 소정 값 이상인 제2 RGB 특징점과 제2 ToF 특징점을 추출하는 제2 특징점 추출부, 상기 제2 RGB 특징점과 상기 제2 ToF 특징점 간 오차 값을 계산하고, 상기 오차 값이 임계 값보다 크면, 미리 저장된 캘리브레이션 데이터를 업데이트하고, 업데이트된 캘리브레이션 데이터를 이용하여 상기 RGB 영상 및 상기 ToF 영상을 캘리브레이션하는 캘리브레이션부, 그리고 캘리브레이션된 상기 RGB 영상 및 상기 ToF 영상을 합성하는 영상 합성부를 포함한다.
상기 ToF 영상은 IR 영상 및 깊이 영상 중 적어도 하나를 포함할 수 있다.
상기 IR 영상 및 깊이 영상 중 적어도 하나는 4개의 위상에 대한 IR 이미지로부터 생성될 수 있다.
상기 제1 RGB 특징점은 상기 RGB 영상 내 객체의 에지 정보, 형상 정보, 사이즈 정보 및 중심점 정보 중 적어도 하나를 이용하여 추출되고, 상기 제1 ToF 특징점은 상기 ToF 영상 내 객체의 에지 정보, 형상 정보, 사이즈 정보 및 중심점 정보 중 적어도 하나를 이용하여 추출될 수 있다.
상기 캘리브레이션 데이터는 X 값, Y 값, Z 값, Pitch 값, Roll 값 및 Yaw 값을 포함할 수 있다.
센서로부터 낙하 충격 감지 신호를 수신하는 신호 수신부를 더 포함하며, 상기 낙하 충격 감지 신호가 수신되면, 상기 캘리브레이션부는 상기 오차 값을 계산할 수 있다.
센서로부터 낙하 충격 감지 신호를 수신하는 신호 수신부를 더 포함하며, 상기 낙하 충격 감지 신호가 수신되면, 상기 제1 특징점 추출부는 상기 RGB 영상으로부터 제1 RGB 특징점을 추출하고, 상기 ToF 영상으로부터 제1 ToF 특징점을 추출할 수 있다.
사용자 유저 인터페이스로부터 캘리브레이션 요청 신호를 수신하는 신호 수신부를 더 포함하며, 상기 캘리브레이션 요청 신호가 수신되면, 상기 제1 특징점 추출부는 상기 RGB 영상으로부터 제1 RGB 특징점을 추출하고, 상기 ToF 영상으로부터 제1 ToF 특징점을 추출할 수 있다.
상기 RGB 카메라로부터 상기 RGB 카메라의 오토포커싱 정보를 획득하는 오토포커싱 정보 획득부를 더 포함하며, 상기 제2 특징점 추출부는 상기 오토포커싱 정보를 더 이용하여 상기 제2 RGB 특징점과 상기 제2 ToF 특징점을 추출할 수 있다.
본 발명의 한 실시예에 따른 영상 처리 장치 및 방법을 이용하면, 사용자가 직접 서비스 센터를 방문할 필요 없이 RGB 카메라와 ToF 카메라 간 캘리브레이션이 실시간으로 행해질 수 있다. 특히, 본 발명의 한 실시예에 따른 영상 처리 장치 및 방법을 이용하면, 간단한 연산으로 효율적인 캘리브레이션이 진행될 수 있다.
도 1은 본 발명의 한 실시예에 따른 영상 처리 시스템의 블록도이다.
도 2는 본 발명의 한 실시예에 따른 ToF 카메라 모듈의 블록도이다.
도 3은 본 발명의 한 실시예에 따른 ToF 카메라 모듈의 출력광 신호의 주파수를 설명하기 위한 도면이다.
도 4는 본 발명의 한 실시예에 따른 전기 신호 생성 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 한 실시예에 따른 ToF 카메라 모듈의 이미지 센서를 설명하기 위한 도면이다.
도 6은 본 발명의 한 실시예에 따른 ToF 카메라 모듈로부터 얻을 수 있는 4개의 위상 영상이다.
도 7은 도 6의 위상 영상으로부터 얻어질 수 있는 ToF IR 영상이다.
도 8은 도 6의 위상 영상으로부터 얻어질 수 있는 깊이 영상이다.
도 9는 본 발명의 한 실시예에 따른 영상 처리 시스템에 포함되는 영상 처리 장치의 블록도이다.
도 10 내지 12는 ToF 카메라와 RGB 카메라 간 캘리브레이션 방법을 설명하기 위한 도면이다.
도 13은 본 발명의 한 실시예에 따른 영상 처리 시스템의 영상 처리 방법을 나타내는 흐름도이다.
도 14는 본 발명의 한 실시예에서 제1 RGB 특정점 및 제1 ToF 특징점으로부터 제2 RGB 특징점 및 제2 ToF 특징점을 추출하는 방법을 설명하기 위한 도면이다.
도 15는 본 발명의 한 실시예에서 거리 정보를 이용하여 제2 RGB 특징점 및 제2 ToF 특징점을 추출하는 방법을 설명하기 위한 도면이다.
도 16은 본 발명의 다른 실시예에 따른 영상 처리 시스템의 영상 처리 방법을 나타내는 흐름도이다.
도 17은 본 발명의 또 다른 실시예에 따른 영상 처리 시스템의 영상 처리 방법을 나타내는 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 한 실시예에 따른 영상 처리 시스템의 블록도이고, 도 2는 본 발명의 한 실시예에 따른 ToF 카메라 모듈의 블록도이고, 도 3은 본 발명의 한 실시예에 따른 ToF 카메라 모듈의 출력광 신호의 주파수를 설명하기 위한 도면이며, 도 4는 본 발명의 한 실시예에 따른 전기 신호 생성 과정을 설명하기 위한 도면이고, 도 5는 본 발명의 한 실시예에 따른 ToF 카메라 모듈의 이미지 센서를 설명하기 위한 도면이다. 도 6은 본 발명의 한 실시예에 따른 ToF 카메라 모듈로부터 얻을 수 있는 4개의 위상 영상이고, 도 7은 도 6의 위상 영상으로부터 얻어질 수 있는 ToF IR 영상이며, 도 8은 도 6의 위상 영상으로부터 얻어질 수 있는 깊이 영상이다.
도 1을 참조하면, 본 발명의 한 실시예에 따른 영상 처리 시스템(10)은 ToF 카메라(100), RGB 카메라(200) 및 영상 처리 장치(300)를 포함한다.
ToF 카메라(100)는 깊이 정보를 획득할 수 있은 장치 중 하나로, ToF 방식에 따르면, 비행 시간, 즉 빛을 쏘아서 반사되어 오는 시간을 측정함으로써 물체와의 거리를 계산한다.
RGB 카메라(200)는 RBG 영상을 촬영할 수 있는 일반적인 카메라일 수 있다.
ToF 카메라(100)와 RGB 카메라(200)는 동일한 영역을 촬영할 수 있도록 하나의 장치, 예를 들어 하나의 모바일 장치 내에 배치될 수 있다.
그리고, 영상 처리 장치(300)는 ToF 카메라(100) 및 RGB 카메라(200)와 연결되며, ToF 카메라(100)로부터 획득한 ToF 이미지와 RGB 카메라(200)로부터 획득한 RGB 영상을 합성(fusion)하여 3차원 영상을 획득할 수 있다.
여기서, 영상 처리 장치(300)는 영상 처리 시스템(10) 내에서 ToF 카메라(100) 및 RGB 카메라(200)와 인접하여 배치되는 것으로 도시되어 있으나, 이로 제한되는 것은 아니며, ToF 카메라(100) 및 RGB 카메라(200)와 원격으로 배치될 수도 있다. 또는, 영상 처리 장치(300)의 일부 기능은 ToF 카메라(100) 및 RGB 카메라(200) 내에 포함될 수도 있다.
도 2를 참조하면, ToF 카메라 모듈(100)은 조명부(110), 렌즈부(120), 이미지 센서부(130) 및 영상 제어부(140)를 포함한다.
조명부(110)는 출력광 신호를 생성한 후 객체에 조사한다. 이때, 조명부(110)는 펄스파(pulse wave)의 형태나 지속파(continuous wave)의 형태로 출력광 신호를 생성하여 출력할 수 있다. 지속파는 사인파(sinusoid wave)나 사각파(squared wave)의 형태일 수 있다. 출력광 신호를 펄스파나 지속파 형태로 생성함으로써, ToF 카메라 모듈(100)은 조명부(110)로부터 출력된 출력광 신호와 객체로부터 반사된 후 ToF 카메라 모듈(100)로 입력된 입력광 신호 사이의 위상 차를 검출할 수 있다. 본 명세서에서, 출력광은 조명부(110)로부터 출력되어 객체에 입사되는 광을 의미하고, 입력광은 조명부(110)로부터 출력되어 객체에 도달하여 객체로부터 반사된 후 ToF 카메라 모듈(100)로 입력되는 광을 의미할 수 있다. 객체의 입장에서 출력광은 입사광이 될 수 있고, 입력광은 반사광이 될 수 있다.
조명부(110)는 생성된 출력광 신호를 소정의 노출주기(integration time) 동안 객체에 조사한다. 여기서, 노출주기란 1개의 프레임 주기를 의미한다. 복수의 프레임을 생성하는 경우, 설정된 노출주기가 반복된다. 예를 들어, ToF 카메라 모듈(100)이 20 FPS로 객체를 촬영하는 경우, 노출주기는 1/20[sec]가 된다. 그리고 100개의 프레임을 생성하는 경우, 노출주기는 100번 반복될 수 있다.
조명부(110)는 서로 다른 주파수를 가지는 복수의 출력광 신호를 생성할 수 있다. 조명부(110)는 서로 다른 주파수를 가지는 복수의 출력광 신호를 순차적으로 반복하여 생성할 수 있다. 또는, 조명부(110)는 서로 다른 주파수를 가지는 복수의 출력광 신호를 동시에 생성할 수도 있다.
도 3을 참조하면, 조명부(110)는 노출주기의 첫 절반은 주파수 f1인 출력광 신호가 생성되도록 제어하고, 나머지 절반의 노출주기는 주파수 f2인 출력광 신호가 생성되도록 제어할 수도 있다.
다른 실시예에 따르면, 조명부(110)는 복수의 발광 다이오드 중 일부 발광 다이오드는 주파수 f1인 출력광 신호가 생성되도록 제어하고, 나머지 발광 다이오드는 주파수 f2인 출력광 신호가 생성되도록 제어할 수도 있다.
이를 위하여, 조명부(110)는 빛을 생성하는 광원(112)과 빛을 변조하는 광변조부(114)를 포함할 수 있다.
우선, 광원(112)은 빛을 생성한다. 광원(112)이 생성하는 빛은 파장이 770 내지 3000nm인 적외선 일 수 있으며, 파장이 380 내지 770 nm인 가시광선 일 수도 있다. 광원(112)은 발광 다이오드(Light Emitting Diode, LED)를 이용할 수 있으며, 복수의 발광 다이오드가 일정한 패턴에 따라 배열된 형태를 가질 수 있다. 뿐만 아니라, 광원(112)은 유기 발광 다이오드(Organic light emitting diode, OLED)나 레이저 다이오드(Laser diode, LD)를 포함할 수도 있다. 또는, 광원(112)은 VCSEL(Vertical Cavity Surface Emitting Laser)일 수도 있다. VCSEL은 전기 신호를 광 신호로 바꾸어 주는 레이저 다이오드 중 하나이며, 약 800 내지 1000nm인 파장, 예를 들어 약 850nm 또는 약 940nm 파장을 사용할 수 있다.
광원(112)은 일정 시간 간격으로 점멸(on/off)을 반복하여 펄스파 형태나 지속파 형태의 출력광 신호를 생성한다. 일정 시간 간격은 출력광 신호의 주파수일 수 있다. 광원의 점멸은 광변조부(114)에 의해 제어될 수 있다.
광변조부(114)는 광원(112)의 점멸을 제어하여 광원(112)이 지속파나 펄스파 형태의 출력광 신호를 생성하도록 제어한다. 광변조부(114)는 주파수 변조(frequency modulation)나 펄스 변조(pulse modulation) 등을 통해 광원(112)이 지속파나 펄스파 형태의 출력광 신호를 생성하도록 제어할 수 있다.
한편, 렌즈부(120)는 객체로부터 반사된 입력광 신호를 집광하여 이미지 센서부(130)에 전달한다.
다시 도 2를 참조하면, 이미지 센서부(130)는 렌즈부(120)를 통해 집광된 입력광 신호를 이용하여 전기 신호를 생성한다.
이미지 센서부(130)는 조명부(110)의 점멸 주기와 동기화되어 입력광 신호를 흡수할 수 있다. 구체적으로 이미지 센서부(130)는 조명부(110)로부터 출력된 출력광 신호와 동상(in phase) 및 이상(out phase)에서 각각 빛을 흡수할 수 있다. 즉, 이미지 센서부(130)는 광원이 켜져 있는 시간에 입사광 신호를 흡수하는 단계와 광원이 꺼져 있는 시간에 입사광 신호를 흡수하는 단계를 반복 수행할 수 있다.
다음으로, 이미지 센서부(130)는 서로 다른 위상차를 가지는 복수의 참조 신호(reference signal)를 이용하여 각 참조 신호에 대응하는 전기 신호를 생성할 수 있다. 참조 신호의 주파수는 조명부(110)로부터 출력된 출력광 신호의 주파수와 동일하게 설정될 수 있다. 따라서, 조명부(110)가 복수의 주파수로 출력광 신호를 생성하는 경우, 이미지 센서부(130)는 각 주파수에 대응하는 복수의 참조 신호를 이용하여 전기 신호를 생성한다. 전기 신호는 각 참조 신호에 대응하는 전하량이나 전압에 관한 정보를 포함할 수 있다.
도 4에 나타난 바와 같이, 본 발명의 실시예에 따른 참조 신호는 4개(C1 내지 C4)일 수 있다. 각 참조 신호(C1 내지 C4)는 출력광 신호와 동일한 주파수를 가지되, 서로 90도 위상차를 가질 수 있다. 4개의 참조 신호 중 하나(C1)는 출력광 신호와 동일한 위상을 가질 수 있다. 입력광 신호는 출력광 신호가 객체에 입사된 후 반사되어 돌아오는 거리만큼 위상이 지연된다. 이미지 센서부(130)는 입력광 신호와 각 참조 신호를 각각 믹싱(mixing)한다. 그러면, 이미지 센서부(130)는 도 4의 음영 부분에 대응하는 전기 신호를 각 참조 신호별로 생성할 수 있다.
다른 실시예로, 노출 시간 동안 복수의 주파수로 출력광 신호가 생성된 경우, 이미지 센서부(130)는 복수의 주파수에 따른 입력광 신호를 흡수한다. 예를 들어, 주파수 f1과 f2로 출력광 신호가 생성되고, 복수의 참조 신호는 90도의 위상차를 가진다고 가정한다. 그러면, 입사광 신호 역시 주파수 f1과 f2를 가지므로, 주파수가 f1인 입력광 신호와 이에 대응하는 4개의 참조 신호를 통해 4개의 전기 신호가 생성될 수 있다. 그리고 주파수가 f2인 입력광 신호와 이에 대응하는 4개의 참조 신호를 통해 4개의 전기 신호가 생성될 수 있다. 따라서, 전기 신호는 총 8개가 생성될 수 있다.
이미지 센서부(130)는 복수의 픽셀이 그리드 형태로 배열된 구조로 구성될 수 있다. 이미지 센서부(130)는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서일 수 있으며, CCD(Charge Coupled Device) 이미지 센서일 수도 있다. 또한, 이미지 센서부(130)는 피사체에 반사되는 적외선 광을 받아들여 시간 또는 위상 차를 이용해 거리를 측정하는 ToF 센서를 포함할 수 있다.
도 5를 참조하면, 예를 들어 320x240 해상도의 이미지 센서(130)의 경우 76,800개의 픽셀이 그리드 형태로 배열된다. 이때, 복수의 픽셀 사이에는 도 5의 음영 부분과 같이 일정한 간격이 형성될 수 있다. 본 발명의 실시예에서는 픽셀에 인접한 일정 간격을 포함하여 1 픽셀로 설명하도록 한다.
본 발명의 실시예에 따르면, 각 픽셀(132)은 제1 포토 다이오드 및 제1 트랜지스터를 포함하는 제1 수광부(132-1)와 제2 포토 다이오드 및 제2 트랜지스터를 포함하는 제2 수광부(132-2)를 포함할 수 있다.
제1 수광부(132-1)는 출력광의 파형과 동일 위상에서 입력광 신호를 수신한다. 즉, 광원이 켜진 시간에, 제1 포토 다이오드는 턴온(turn-on)되어 입력광 신호를 흡수한다. 그리고, 광원이 꺼진 시간에, 제1 포토 다이오드는 턴오프(turn-off)되어 입력광 흡수를 중단한다. 제1 포토 다이오드는 흡수한 입력광 신호를 전류로 변환하여 제1 트랜지스터에 전달한다. 제1 트랜지스터는 전달받은 전류를 전기 신호로 변환하여 출력한다.
제2 수광부(132-2)는 출력광의 파형과 반대 위상에서 입력광 신호를 수신한다. 즉, 광원이 켜진 시간에, 제2 포토 다이오드는 턴오프되어 입력광 신호를 흡수한다. 그리고, 광원이 꺼진 시간에, 제2 포토 다이오드는 턴온되어 입력광 흡수를 중단한다. 제2 포토 다이오드는 흡수한 입력광 신호를 전류로 변환하여 제2 트랜지스터에 전달한다. 제2 트랜지스터는 전달받은 전류를 전기 신호로 변환한다.
이에 따라, 제1 수광부(132-1)는 In Phase 수신 유닛이라 할 수 있고, 제2 수광부(132-2)는 Out Phase 수신 유닛이라 할 수 있다. 이와 같이, 제1 수광부(132-1) 및 제2 수광부(132-2)가 시간 차를 두고 활성화되면, 객체와의 거리에 따라 수신되는 광량에 차이가 발생하게 된다. 예를 들어, 객체가 TOF 카메라 모듈(100) 바로 앞에 있는 경우(즉, 거리=0인 경우)에는 조명부(110)로부터 광이 출력된 후 객체에서 반사되어 오는데 걸리는 시간이 0이므로, 광원의 점멸 주기는 그대로 광의 수신 주기가 된다. 이에 따라, 제1 수광부(132-1)만이 빛을 수신하게 되고, 제2 수광부(132-2)는 빛을 수신하지 못하게 된다. 다른 예로, 객체가 ToF 카메라 모듈(100)과 소정 거리 떨어져 위치하는 경우, 조명부(110)로부터 광이 출력된 후 객체에서 반사되어 오는데 시간이 걸리므로, 광원의 점멸 주기는 광의 수신 주기와 차이가 나게 된다. 이에 따라, 제1 수광부(132-1)와 제2 수광부(132-2)가 수신하는 빛의 양에 차이가 발생하게 된다. 즉, 제1 수광부(132-1)와 제2 수광부(132-2)에 입력된 광량의 차를 이용하여 객체의 거리가 연산될 수 있다.
다시 도 2를 참조하면, 영상 제어부(140)는 이미지 센서부(130)로부터 수신한 전기신호를 이용하여 출력광과 입력광 사이의 위상차를 계산하고, 위상차를 이용하여 객체와 ToF 카메라 모듈(100) 사이의 거리를 계산한다.
구체적으로, 영상 제어부(140)는 전기신호의 전하량 정보를 이용하여 출력광과 입력광 사이의 위상차를 계산할 수 있다.
상기에서 살펴본 바와 같이, 출력광 신호의 주파수마다 전기신호는 4개가 생성될 수 있다. 따라서, 영상 제어부(140)는 아래의 수학식 1을 이용하여 출력광 신호와 입력광 신호 사이의 위상차(td)를 계산할 수 있다.
Figure PCTKR2019010865-appb-M000001
여기서, Q1 내지 Q4는 4개의 전기 신호 각각의 전하 충전량이다. Q1은 출력광 신호와 동일한 위상의 기준신호에 대응하는 전기신호의 전하량이다. Q2는 출력광 신호보다 위상이 180도 느린 기준신호에 대응하는 전기신호의 전하량이다. Q3는 출력광 신호보다 위상이 90도 느린 기준신호에 대응하는 전기신호의 전하량이다. Q4는 출력광 신호보다 위상이 270도 느린 기준신호에 대응하는 전기신호의 전하량이다.
그러면, 영상 제어부(140)는 출력광 신호와 입력광 신호의 위상차를 이용하여 객체와 ToF 카메라 모듈(100) 사이의 거리를 계산할 수 있다. 이때, 영상 제어부(140)는 아래의 수학식 2를 이용하여 객체와 ToF 카메라 모듈(100) 사이의 거리(d)를 계산할 수 있다.
Figure PCTKR2019010865-appb-M000002
여기서, c는 빛의 속도이고, f는 출력광의 주파수이다.
본 발명의 실시예에 따르면, ToF 카메라 모듈(100)로부터 ToF IR 영상 및 깊이(depth) 영상을 얻을 수 있다.
이와 관련하여 더욱 구체적으로 설명하면, 도 6에 예시된 바와 같이 본 발명의 실시예에 따른 ToF 카메라 모듈(100)로부터 4개의 위상에 대한 로우(raw) 영상을 얻을 수 있다. 여기서, 4개의 위상은 0°, 90°, 180°, 270°일 수 있으며, 각 위상에 대한 로우 영상은 위상 별로 디지털화된 픽셀 값으로 이루어진 영상일 수 있고, 위상 영상, 위상 IR 영상 등과 혼용될 수 있다.
도 6의 4 개의 위상 영상을 이용하여 수학식 3과 같이 연산하면, 도 7의 ToF IR 영상인 앰플리튜드 영상(amplitude image)을 얻을 수 있다.
Figure PCTKR2019010865-appb-M000003
여기서, Raw(x0)은 phase 0°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x90)은 phase 90°에서 센서가 받아들이는 픽셀 별 데이터 값이며, Raw(x180)은 phase 180°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x270)은 phase 270°에서 센서가 받아들이는 픽셀 별 데이터 값일 수 있다.
또는, 도 6의 4개의 위상 영상을 이용하여 수학식 4와 같이 연산하면, 다른 ToF IR 영상인 인텐시티 영상(intensity image)을 얻을 수도 있다.
Figure PCTKR2019010865-appb-M000004
여기서, Raw(x0)은 phase 0°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x90)은 phase 90°에서 센서가 받아들이는 픽셀 별 데이터 값이며, Raw(x180)은 phase 180°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x270)은 phase 270°에서 센서가 받아들이는 픽셀 별 데이터 값일 수 있다.
이와 같이, ToF IR 영상은 4 개의 위상 영상 중 2개씩 서로 빼주는 과정을 통하여 생성되는 영상으로, 이러한 과정에서 외부 광(background light)이 제거될 수 있다. 이에 따라, ToF IR 영상에는 광원이 출력한 파장대의 신호만 남게 되어, 객체에 대한 IR 감도가 높아지고, 노이즈가 현저하게 줄어들 수 있다.
본 명세서에서, ToF IR 영상은 앰플리튜드(amplitude) 영상 또는 인텐시티(intensity) 영상을 의미할 수 있으며, 인텐시티 영상은 컨피던스(confidence) 영상과 혼용될 수 있다. 도 7에 도시된 바와 같이, ToF IR 영상은 그레이 영상일 수 있다.
한편, 도 6의 4 개의 위상 영상을 이용하여 수학식 5 및 수학식 6과 같이 연산하면, 도 8의 깊이 영상도 얻을 수 있다.
Figure PCTKR2019010865-appb-M000005
Figure PCTKR2019010865-appb-M000006
도 9는 본 발명의 한 실시예에 따른 영상 처리 시스템에 포함되는 영상 처리 장치의 블록도이다.
도 9를 참조하면, 영상 처리 장치(300)는 ToF 카메라(100) 및 RGB 카메라(200)로부터 각각 ToF 영상 및 RGB 영상을 획득하는 영상 획득부(310), RGB 영상으로부터 제1 RGB 특징점을 추출하고, ToF 영상으로부터 제1 ToF 특징점을 추출하는 제1 특징점 추출부(320), 제1 RGB 특징점과 제1 ToF 특징점으로부터 제2 RGB 특징점과 제2 ToF 특징점을 추출하는 제2 특징점 추출부(330), 제2 RGB 특징점과 제2 ToF 특징점을 이용하여 RGB 영상 및 ToF 영상을 캘리브레이션하는 캘리브레이션부(340), 그리고 캘리브레이션된 RGB 영상 및 ToF 영상을 정합하여 3차원 컬러 영상을 생성하는 영상 합성부(350)를 포함한다. 본 발명의 실시예에 따른 영상 처리 장치(300)는 제1 특징점 추출부(320), 제2 특징점 추출부(330) 및 캘리브레이션부(340)의 동작을 트리거링하기 위한 신호를 수신하는 신호 수신부(360), 그리고 ToF 카메라(100) 또는 RGB 카메라(200)로부터 객체의 거리 정보를 획득하는 거리 정보 획득부(370)를 더 포함할 수 있다.
전술한 바와 같이, ToF 카메라(100)로부터 얻어질 수 있는 TOF 영상은 ToF IR 영상 및 깊이 영상일 수 있다. 여기서, ToF IR 영상은 0°, 90°, 180°및 270°의 4개의 위상에 대한 IR 이미지로부터 생성된 앰플리튜드(amplitude) 영상 또는 인텐시티(Intensity) 영상일 수 있다. 앰플리튜드 영상은 도 6 내지 도 7의 설명과 수학식 3 및 4와 같이 생성될 수 있다. 영상 합성부(350)는 RGB 영상 및 깊이 영상을 정합하고 렌더링하여 컬러 정보 및 깊이 정보를 모두 포함하는 3차원 컬러 영상을 생성할 수 있다.
한편, 영상 합성부(350)가 ToF 카메라(100)로부터 획득한 깊이 영상과 RGB 카메라(200)로부터 획득한 RGB 영상을 정합하여 고품질의 3차원 컬러 영상을 얻기 위하여, ToF 카메라(100)와 RGB(200) 간의 정밀한 정렬이 필요하다. ToF 카메라(100)와 RGB 카메라(200)가 하나의 장치, 예를 들어 하나의 모바일 장치 내에 탑재되는 경우, 모바일 장치의 조립 후 시중에 판매되기 전, ToF 카메라(100)와 RGB 카메라(200) 간의 캘리브레이션(calibration)이 선행되어야 한다.
도 10 내지 12는 ToF 카메라와 RGB 카메라 간 캘리브레이션 방법을 설명하기 위한 도면이다.
도 10 내지 11을 참조하면, ToF 카메라(100)와 RGB 카메라(200)의 전면에는 소정 패턴의 챠트가 배치되며, ToF 카메라(100)와 RGB 카메라(200)는 각각 동일한 챠트를 촬영하여 패턴 영상을 획득한다.
각 카메라는 획득한 패턴 영상으로부터 내재적 캘리브레이션(intrinsic calibration)을 통해 카메라 내부, 즉 렌즈와 센서 간 파라미터를 추출할 수 있다.
여기서, 추출된 파라미터는 초점 거리(focal length), 광학 중심(optical center) 및 왜곡 보정 상수(distortion correction coefficients)일 수 있다.
그리고, 각 카메라는 획득한 패턴 영상으로부터 외재적 캘리브레이션(extrinsic calibration)을 통해 카메라와 챠트 간 파라미터를 추출할 수 있다. ToF 카메라의 카메라와 챠트 간 파라미터는 외재적 파라미터(X, Y, Z/Pitch/Roll/Yaw) 및 재투사 에러(reprojection error)에 의하여 나타내어질 수 있고, RGB 카메라의 카메라와 챠트 간 파라미터는 외재적 파라미터(X, Y, Z/Pitch/Roll/Yaw) 및 재투사 에러에 의하여 나타내어질 수 있다.
그리고, 각 카메라의 내재적 캘리브레이션을 통해 추출된 파라미터와 외재적 캘리브레이션을 통해 추출된 파라미터를 이용하여 두 카메라 간의 외재적 캘리브레이션을 수행하고, 두 카메라 간의 위치 상관관계에 관한 파라미터를 추출할 수 있다. 여기서, 두 카메라 간의 위치 상관관계에 관한 파라미터는 X, Y, Z/Pitch/Roll/Yaw 및 재투사 에러(reprojection error)에 의하여 나타내어질 수 있다. 예를 들어, RGB 영상을 기준으로 ToF 영상을 매핑한 결과는 아래 표 1과 같이 수행될 수 있으며, 그 결과는 도 12와 같이 나타내어질 수 있다.
Param TOF RGB RGB 기준 TOF mapping
Pitch (°) 90.9761 86.5407 4.37048
Roll (°) 0.42211 0.92037 -0.23463
Yaw (°) -1.5376 3.40775 -5.00505
X (mm) -6.2585 24.0698 -29.9763
Y (mm) 130.25 133.406 2.33581
Z (mm) -358.023 -352.497 -7.49864
ReprojectionError (pixels) 0.1543 1.0719 4.5120
본 발명의 실시예에서는, ToF 카메라(100)와 RGB 카메라(200)가 하나의 장치 내에 조립된 후 시중에 판매되기 전, 예를 들어 제조 단계에서 도 10 내지 12에서 예시한 방법 등을 이용하여 캘리브레이션이 선행되며, X, Y, Z/Pitch/Roll/Yaw 및 재투사 에러(reprojection error)를 포함하는 캘리브레이션 데이터가 미리 저장된 것을 전제로 할 수 있다. 본 명세서 내에서 캘리브레이션 데이터는 영상 처리 장치(300)에 미리 저장되는 것을 예로 들어 설명하나, 이로 제한되는 것은 아니며, 본 발명의 실시예에 따른 영상 처리 시스템(10)이 탑재된 장치, 예를 들어 모바일 장치에 미리 저장되거나, 원격의 저장소에 미리 저장될 수도 있다.본 발명의 실시예에 따르면, 영상 처리 장치(300)는 ToF 카메라(100)와 RGB 카메라(200) 간 캘리브레이션을 실시간으로 수행할 수 있다. 이에 따라, 장치의 사용에 따라 ToF 카메라(100)와 RGB 카메라(200) 간 틀어짐이 발생하더라도, 일일이 서비스 센터를 방문할 필요 없이 고품질의 3차원 컬러 영상을 얻을 수 있다.
설명의 편의 상, 본 명세서에서는 장치 내 ToF 카메라와 RGB 카메라의 조립 후 시판 전 미리 행해진 캘리브레이션을 오프라인 캘리브레이션 또는 공정 캘리브레이션이라 지칭할 수 있으며, 시판 후 사용자의 사용 중 영상 처리 장치(300) 내에서 실시간으로 수행되는 캘리브레이션을 실시간 캘리브레이션, 동적 캘리브레이션, 다이내믹 캘리브레이션 등으로 지칭할 수 있다. 설명의 편의 상, 본 발명의 영상 처리 시스템이 모바일 장치 내 탑재된 것을 예로 들어 설명하나, 이로 제한되는 것은 아니며, 본 발명의 실시예는 RGB 카메라와 ToF 카메라가 동시에 탑재되어 3차원 컬러 영상을 합성하는 모든 장치에 적용될 수 있다.
도 13은 본 발명의 한 실시예에 따른 영상 처리 시스템의 영상 처리 방법을 나타내는 흐름도이다.
도 13을 참조하면, 전술한 바와 같이, 제품의 시판 전 ToF 카메라(100)와 RGB 카메라(200)간 오프라인 캘리브레이션이 미리 수행되며(S100), 캘리브레이션 데이터가 영상 처리 장치(300) 내에 미리 저장될 수 있다(S102). 여기서, 캘리브레이션 데이터는 X, Y, Z/Pitch/Roll/Yaw 및 재투사 에러(reprojection error)를 포함할 수 있다.
모바일 장치 내 3차원 영상 관련 애플리케이션이 구동되면(S104), RGB 카메라(200)와 ToF 카메라(100)는 각각 동작을 시작하며, 영상 처리 장치(300)의 영상 획득부(310)는 RGB 영상과 ToF 영상을 획득한다(S106, S108). 여기서, ToF 영상은 전술한 바와 같이, 4개의 위상에 대한 IR 이미지로부터 생성된 ToF IR 영상 및 깊이 영상을 포함할 수 있다.
다음으로, 영상 처리 장치(300)의 제1 특징점 추출부(320)는 RGB 영상으로부터 제1 RGB 특징점을 추출하고(S110), ToF 영상으로부터 제1 ToF 특징점을 추출한다(S112). 여기서, 제1 RGB 특징점은 RGB 영상 내 객체의 에지 정보, 형상 정보, 사이즈 정보 및 중심점 정보 중 적어도 하나를 이용하여 추출되고, 제1 ToF 특징점은 ToF 영상 내 객체의 에지 정보, 형상 정보, 사이즈 정보 및 중심점 정보 중 적어도 하나를 이용하여 추출될 수 있다. 여기서, 제1 ToF 특징점은 ToF IR 영상으로부터 추출된 특징점 및 깊이 영상으로부터 추출된 특징점 중 적어도 하나를 포함할 수 있다. 단계 S110 및 단계 S112에는 영상으로부터 특징점을 추출하는 공지의 다양한 방법이 적용될 수 있다.
다음으로, 영상 처리 장치(300)의 제2 특징점 추출부(320)는 제1 RGB 특징점과 제1 ToF 특징점을 매칭하여 제1 RGB 특징점과 제1 ToF의 특징점 간의 상관관계가 소정 값 이상인 제2 RGB 특징점과 제2 ToF 특징점을 추출한다(S114). 여기서, 제1 RGB 특징점과 제1 ToF의 특징점 간의 상관관계가 소정 값 이상이라는 것은 RGB 영상과 ToF 영상에서 모두 추출할 수 있는 특징점을 의미하므로, 이들을 비교하면 RGB 카메라(200)와 ToF 카메라(100) 간의 틀어진 정도를 유추할 수 있다. 이에 따라, 본 명세서에서, 제2 RGB 특징점과 제2 ToF 특징점을 의미있는 특징점이라 지칭할 수도 있다. 여기서, 제2 RGB 특징점과 제2 ToF 특징점은 제1 RGB 특징점과 ToF IR 영상의 제1 ToF 특징점을 매칭하여 추출하거나, 제1 RGB 특징점과 깊이 영상의 제1 ToF 특징점을 매칭하여 추출하거나, 제1 RGB 특징점, ToF IR 영상의 제1 ToF 특징점 및 깊이 영상의 제1 ToF 특징점을 매칭하여 추출할 수 있다. 여기서, ToF IR 영상은 물체의 에지 성분을 특징점으로 추출하기에 유리하고, 깊이 영상은 동일한 재질과 색상을 가지는 물체가 서로 다른 거리에 있을 경우 이들을 특징점으로 구분하기에 유리하다.
단계 S114에는 RGB 영상과 ToF 영상 간의 특징점을 매칭하는 공지의 다양한 방법, 예를 들어 SIFT 알고리즘 또는 SURF 알고리즘 등이 적용될 수 있다. 도 14는 제1 RGB 특정점 및 제1 ToF 특징점으로부터 제2 RGB 특징점 및 제2 ToF 특징점을 추출하는 방법을 설명하기 위한 도면이다. 도 14(a)에서 붉은 색으로 표시된 깊이 영상의 특징점과 도 14(b)에서 붉은 색으로 표시된 RGB 영상의 특징점을 SIFT 알고리즘 또는 SURF 알고리즘 등을 이용하여 매칭하면, 도 14(c)와 같이 상관관계가 소정 값 이상인 제2 RGB 특징점과 제2 ToF 특징점이 추출될 수 있다.
다음으로, 영상 처리 장치(300)는 제2 특징점 추출부(320)에서 추출된 제2 RGB 특징점과 제2 ToF 특징점에 관한 정보를 저장한 후(S116), 캘리브레이션부(340)는 제2 RGB 특징점과 제2 ToF 특징점 간의 오차 값을 계산한다(S118). 여기서, 오차 값은 제2 RGB 특징점의 X 값, Y 값, Z 값, Pitch 값, Roll 값, Yaw 값 및 재투사 에러(reprojection error) 중 적어도 하나와 제2 ToF 특징점의 X 값, Y 값, Z 값, Pitch 값, Roll 값, Yaw 값 및 재투사 에러(reprojection error) 중 적어도 하나를 이용하여 계산될 수 있다. 오차 값은 RGB 영상 및 ToF 영상 간의 틀어진 정도를 의미할 수 있으며, X 값, Y 값, Z 값, Pitch 값, Roll 값, Yaw 값 및 재투사 에러(reprojection error) 중 적어도 하나를 포함할 수 있다.
그리고, 영상 처리 장치(300)의 캘리브레이션부(340)는 단계 S118의 오차 값을 임계 값과 비교하며(S120), 오차 값이 임계 값보다 크면 오차 값을 새로운 캘리브레이션 데이터로 업데이트하고(S122), 업데이트된 캘리브레이션 데이터를 이용하여 RGB 영상 및 ToF 영상을 캘리브레이션한다(S124).
그리고, 영상 처리 장치(300)의 영상 합성부(350)는 캘리브레이션된 RGB 영상과 ToF 영상을 정합하여 3차원 컬러 영상을 생성한다(S126).
이와 같이, 본 발명의 실시예에 따르면, ToF 카메라(100)와 RGB 카메라(200)가 탑재된 장치를 사용 중 다양한 원인에 의하여 틀어짐이 발생하더라도, 서비스센터를 방문할 필요 없이 실시간으로 자동으로 캘리브레이션이 수행될 수 있다.
한편, RGB 카메라와 ToF 카메라의 촬영 범위가 원거리인 경우, RGB 영상과 ToF 영상 내에는 원거리에 있는 물체도 함께 촬영될 수 있으며, 이에 따라 제1 RGB 특징점과 제1 ToF 특징점의 수는 무수히 많아질 수 있고, 정확도도 떨어질 수 있다.
이에 따라, 본 발명의 한 실시예에 따르면, 단계 S114에서 제2 RGB 특징점과 제2 ToF 특징점을 추출하기 위하여, 거리 정보를 더 이용할 수도 있다. 예를 들어, 제1 RGB 특징점과 제1 ToF 특징점 중 카메라로부터 소정 거리, 예를 들어 1m 이내에 있는 특징점들의 상관관계만을 비교하여 제2 RGB 특징점과 제2 ToF 특징점을 추출할 수 있다. 이에 따르면, 의미있는 특징점의 정확도를 높일 수 있을 뿐만 아니라, 제1 RGB 특징점과 제1 ToF 특징점 간의 상관관계를 연산하기 위한 연산량을 현저히 줄일 수 있다.
이를 위하여, 거리 정보는 영상 처리 장치(300)의 거리 정보 획득부(370)로부터 얻어질 수 있다. 이때, 거리 정보 획득부(370)는 ToF 카메라(100)와 연결되어 ToF 카메라(100)로부터 깊이 영상 내 객체의 거리 정보를 획득할 수 있다. 또는, 거리 정보 획득부(370)는 영상 처리 장치(300)의 영상 획득부(310)와 연결되며, 영상 획득부(310)로부터 수신한 깊이 영상으로부터 객체의 거리를 직접 추출할 수도 있다.
또한, RGB 카메라와 ToF 카메라의 촬영 범위 내에 비슷한 패턴이나 모양이 많은 경우, RGB 영상의 제1 RGB 특징점 중 하나와 ToF 영상의 제1 ToF 특징점 중 하나가 동일한 물체임을 보장하기 어려울 수 있다. 이에 따라, 본 발명의 한 실시예에 따르면, 도 15(a)에 도시된 바와 같이 RGB 영상 내 카메라와의 거리가 소정 범위 이내인 물체에 대해서만 제1 RGB 특징점을 추출하고, 도 15(b)에 도시된 바와 같이 ToF 영상 내 카메라와의 거리가 상기 소정 범위와 동일하거나 유사한 범위 이내인 물체에 대해서만 제1 ToF 특징점을 추출하며, 이들 제1 RGB 특징점과 제1 ToF 특징점 간의 상관관계를 이용하여 제2 RGB 특징점과 제2 ToF 특징점을 추출할 수 있다. 또는, RGB 영상 내 전체 범위 및 ToF 영상 내 전체 범위에서 각각 제1 RGB 특징점과 제1 ToF 특징점을 추출하되, 추출한 제1 RGB 특징점과 제1 ToF 특징점 중 RGB 영상 내 카메라와의 거리가 소정 범위 이내인 제1 RGB 특징점과 ToF 영상 내 카메라와의 거리가 상기 소정 범위와 동일한 범위 이내인 제1 ToF 특징점 간의 상관관계를 이용하여 제2 RGB 특징점과 제2 ToF 특징점을 추출할 수도 있다. 이에 따르면, 연산량을 현저히 줄일 수 있을 뿐만 아니라, 의미있는 특징점의 정확도를 높일 수 있다.
이를 위하여, 거리 정보는 영상 처리 장치(300)의 거리 정보 획득부(370)로부터 얻어질 수 있다. ToF 영상의 거리 정보는 전술한 바와 같이 ToF 카메라(100)로부터 획득되거나 깊이 영상으로부터 추출될 수 있다. RGB 영상의 거리 정보는 RGB 카메라(200) 내 오토포커싱(AF) 기능을 이용하여 얻어질 수 있다. 예를 들어, 일반적인 RGB 카메라(200)는 오토포커싱 기능을 포함하며, 객체와 렌즈 간의 초점을 맞추기 위하여 RGB 카메라(200) 내 일부 부품(예, 렌즈 경통)의 위치가 물리적으로 바뀔 수 있다. 객체와 렌즈 간의 거리에 따라 RGB 카메라(200) 내 일부 부품이 이동하는 정도는 달라질 수 있으며, VCM(voice coil moter) 등이 이들 이동을 제어할 수 있다. 여기서, VCM에 가해지는 전류 또는 홀 IC 센서 정보 등으로부터 객체와 렌즈 간의 거리가 유추될 수 있다. 본 발명의 실시예에 따른 영상 처리 장치(300)의 거리 정보 획득부(370)는 RGB 카메라(200)로부터 오토포커싱된 물체의 거리 정보를 얻을 수 있다.
이와 같이, 소정 거리 또는 소정 범위 내의 물체에 대해서만 의미있는 특징점을 추출하면, 의미있는 특징점의 정확도를 높일 수 있을 뿐만 아니라, 연산량을 현저히 줄일 수 있다.
도 16은 본 발명의 다른 실시예에 따른 영상 처리 시스템의 영상 처리 방법을 나타내는 흐름도이다. 도 13 내지 15에서 설명한 내용과 동일한 내용은 중복되는 설명을 생략한다.
도 16을 참조하면, 도 13과 관련하여 설명한 단계 S100 내지 단계 S126이 동일하게 수행될 수 있다. 한편, 본 발명의 실시예에서는 제2 RGB 특징점과 제2 ToF 특징점 간의 오차 값을 계산하는 단계 S118에서는 낙하 충격 감지 신호를 더 이용할 수도 있다. 이를 위하여, 센서가 동작한다(S200). 여기서, 센서는 ToF 카메라(100)와 RGB 카메라(200)가 탑재된 장치, 예를 들어 모바일 장치에 내장된 센서일 수 있으며, 관성 센서, 가속도 센서, 자이로 센서 및 중력 센서 중 적어도 하나를 포함할 수 있다. 센서는 모바일 장치가 켜져 있는 동안 항상 동작할 수 있다.
센서는 감지된 정보를 이용하여 모바일 장치의 움직임 변화를 측정하며(S202), 움직임 변화를 측정한 결과 모바일 장치가 낙하 충격을 받은 것으로 추정되는 경우, 영상 처리 장치(300)의 신호 수신부(360)에게 낙하 충격 감지 신호를 전송할 수 있다(S204).
모바일 장치가 낙하 충격을 받은 경우, ToF 카메라(100)와 RGB 카메라(200) 간 틀어짐이 발생할 수 있다.
이에 따라, 영상 처리 장치(300)가 신호 수신부(360)를 통하여 낙하 충격 감지 신호를 전송 받은 경우에만, 제2 RGB 특징점과 제2 ToF 특징점 간의 오차 값을 계산하는 단계 S118가 수행될 수 있다.
도 17은 본 발명의 또 다른 실시예에 따른 영상 처리 시스템의 영상 처리 방법을 나타내는 흐름도이다. 도 13 내지 16에서 설명한 내용과 동일한 내용은 중복되는 설명을 생략한다.
도 17을 참조하면, 도 13과 관련하여 설명한 단계 S100 내지 단계 S126이 동일하게 수행될 수 있다. 또한, 도 16과 관련하여 설명한 단계 S200 내지 S204도 동일하게 수행될 수 있다.
이때, 도 13 및 도 16에서 설명된 실시예와 달리, 영상 처리 장치(300)가 신호 수신부(360)를 통하여 낙하 충격 감지 신호를 전송 받은 경우에만, 캘리브레이션이 필요한 것으로 판단하고(S300), RGB 영상으로부터 제1 RGB 특징점을 추출하고 ToF 영상으로부터 제1 ToF 특징점을 추출하는 단계 S110 및 단계 S112가 수행될 수 있다.
또는, 도시되지 않았으나, 도 13 및 도 16에서 설명된 실시예와 달리, 영상 처리 장치(300)가 신호 수신부(360)를 통하여 낙하 충격 감지 신호를 전송 받은 경우에만, 캘리브레이션이 필요한 것으로 판단하고(S300), 제1 RGB 특징점과 제1 ToF 특징점을 매칭하여 제2 RGB 특징점과 제2 ToF 특징점을 추출하는 단계 S114가 수행될 수도 있다.
이와 같이, 모바일 장치가 낙하 충격을 받은 경우에만 단계 S110과 단계 S112, 단계 S114 및 단계 S118 등이 트리거될 경우, 영상 처리 장치(300)의 연산량 및 부하를 현저히 줄일 수 있다.
한편, 본 발명의 또 다른 실시예에 따르면, 모바일 장치에는 캘리브레이션 요청을 위한 애플리케이션이 저장되어 있으며, 사용자가 사용자 인터페이스를 통하여 캘리브레이션 요청을 한 경우에만 단계 S110과 단계 S112, 단계 S114 및 단계 S118 등이 트리거될 수도 있다.
이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

  1. 영상 처리 장치 장치의 영상 처리 방법에 있어서,
    RGB 카메라로부터 RGB 영상을 획득하는 단계,
    ToF 카메라로부터 ToF 영상 획득하는 단계,
    상기 RGB 영상으로부터 제1 RGB 특징점을 추출하는 단계,
    상기 ToF 영상으로부터 제1 ToF 특징점을 추출하는 단계,
    상기 제1 RGB 특징점과 상기 제1 ToF 특징점을 매칭하여 상기 제1 RGB 특징점과 상기 제1 ToF의 특징점 간의 상관관계가 소정 값 이상인 제2 RGB 특징점과 제2 ToF 특징점을 추출하는 단계,
    상기 제2 RGB 특징점과 상기 제2 ToF 특징점 간 오차 값을 계산하는 단계,
    상기 오차 값이 임계 값보다 크면, 미리 저장된 캘리브레이션 데이터를 업데이트하고, 업데이트된 캘리브레이션 데이터를 이용하여 상기 RGB 영상 및 상기 ToF 영상을 캘리브레이션하는 단계, 그리고
    캘리브레이션된 상기 RGB 영상 및 상기 ToF 영상을 합성하는 단계를 포함하는 영상 처리 방법.
  2. 제1항에 있어서,
    상기 ToF 영상은 IR 영상 및 깊이 영상 중 적어도 하나를 포함하는 영상 처리 방법.
  3. 제2항에 있어서,
    상기 IR 영상 및 깊이 영상 중 적어도 하나는 4개의 위상에 대한 IR 이미지로부터 생성된 영상 처리 방법.
  4. 제1항에 있어서,
    상기 제1 RGB 특징점은 상기 RGB 영상 내 객체의 에지 정보, 형상 정보, 사이즈 정보 및 중심점 정보 중 적어도 하나를 이용하여 추출되고,
    상기 제1 ToF 특징점은 상기 ToF 영상 내 객체의 에지 정보, 형상 정보, 사이즈 정보 및 중심점 정보 중 적어도 하나를 이용하여 추출되는 영상 처리 방법.
  5. 제1항에 있어서,
    상기 캘리브레이션 데이터는 X 값, Y 값, Z 값, Pitch 값, Roll 값 및 Yaw 값을 포함하는 영상 처리 방법.
  6. 제1항에 있어서,
    센서로부터 낙하 충격 감지 신호를 수신하는 단계를 더 포함하며,
    상기 낙하 충격 감지 신호가 수신되면, 상기 오차 값을 계산하는 단계가 수행되는 영상 처리 방법.
  7. 제1항에 있어서,
    센서로부터 낙하 충격 감지 신호를 수신하는 단계를 더 포함하며,
    상기 낙하 충격 감지 신호가 수신되면, 상기 RGB 영상으로부터 제1 RGB 특징점을 추출하는 단계 및 상기 ToF 영상으로부터 제1 ToF 특징점을 추출하는 단계가 수행되는 영상 처리 방법.
  8. 제1항에 있어서,
    사용자 유저 인터페이스로부터 캘리브레이션 요청 신호를 수신하는 단계를 더 포함하며,
    상기 캘리브레이션 요청 신호가 수신되면, 상기 RGB 영상으로부터 제1 RGB 특징점을 추출하는 단계 및 상기 ToF 영상으로부터 제1 ToF 특징점을 추출하는 단계가 수행되는 영상 처리 방법.
  9. 제1항에 있어서,
    상기 RGB 카메라로부터 상기 RGB 카메라의 오토포커싱 정보를 획득하는 단계를 더 포함하며,
    상기 오토포커싱 정보를 더 이용하여 상기 제2 RGB 특징점과 상기 제2 ToF 특징점을 추출하는 영상 처리 방법.
  10. RGB 카메라로부터 RGB 영상을 획득하고, ToF 카메라로부터 ToF 영상 획득하는 영상 획득부,
    상기 RGB 영상으로부터 제1 RGB 특징점을 추출하고, 상기 ToF 영상으로부터 제1 ToF 특징점을 추출하는 제1 특징점 추출부,
    상기 제1 RGB 특징점과 상기 제1 ToF 특징점을 매칭하여 상기 제1 RGB 특징점과 상기 제1 ToF의 특징점 간의 상관관계가 소정 값 이상인 제2 RGB 특징점과 제2 ToF 특징점을 추출하는 제2 특징점 추출부,
    상기 제2 RGB 특징점과 상기 제2 ToF 특징점 간 오차 값을 계산하고, 상기 오차 값이 임계 값보다 크면, 미리 저장된 캘리브레이션 데이터를 업데이트하고, 업데이트된 캘리브레이션 데이터를 이용하여 상기 RGB 영상 및 상기 ToF 영상을 캘리브레이션하는 캘리브레이션부, 그리고
    캘리브레이션된 상기 RGB 영상 및 상기 ToF 영상을 합성하는 영상 합성부를 포함하는 영상 처리 장치.
PCT/KR2019/010865 2018-08-27 2019-08-26 영상 처리 장치 및 영상 처리 방법 WO2020045932A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/268,898 US11610339B2 (en) 2018-08-27 2019-08-26 Imaging processing apparatus and method extracting a second RGB ToF feature points having a correlation between the first RGB and TOF feature points
CN201980056701.8A CN112655022B (zh) 2018-08-27 2019-08-26 图像处理装置和图像处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0100443 2018-08-27
KR1020180100443A KR102596053B1 (ko) 2018-08-27 2018-08-27 영상 처리 장치 및 영상 처리 방법

Publications (1)

Publication Number Publication Date
WO2020045932A1 true WO2020045932A1 (ko) 2020-03-05

Family

ID=69644602

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/010865 WO2020045932A1 (ko) 2018-08-27 2019-08-26 영상 처리 장치 및 영상 처리 방법

Country Status (4)

Country Link
US (1) US11610339B2 (ko)
KR (1) KR102596053B1 (ko)
CN (1) CN112655022B (ko)
WO (1) WO2020045932A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102420954B1 (ko) * 2020-06-25 2022-08-10 주식회사 유사이언스 패턴 레이저 기반 3d 정보 센서

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170104979A1 (en) * 2015-10-12 2017-04-13 Dell Products, Lp Method and Apparatus for Depth Algorithm Adjustment to Images based on Predictive Analytics and Sensor Feedback in an Information Handling System
JP2017142829A (ja) * 2017-03-28 2017-08-17 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 深度マップを生成するための方法、装置およびプログラム
US9838677B1 (en) * 2013-06-27 2017-12-05 Amazon Technologies, Inc. Detecting impact events for dropped devices
US9866820B1 (en) * 2014-07-01 2018-01-09 Amazon Technologies, Inc. Online calibration of cameras

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8446492B2 (en) * 2009-12-10 2013-05-21 Honda Motor Co., Ltd. Image capturing device, method of searching for occlusion region, and program
JP2013036831A (ja) * 2011-08-08 2013-02-21 Panasonic Corp キャリブレーション装置及び歪み誤差算出方法
US20140198185A1 (en) * 2013-01-17 2014-07-17 Cyberoptics Corporation Multi-camera sensor for three-dimensional imaging of a circuit board
WO2014181581A1 (ja) * 2013-05-07 2014-11-13 日立オートモティブシステムズ株式会社 キャリブレーション装置、キャリブレーションシステム、及び撮像装置
US9753140B2 (en) * 2014-05-05 2017-09-05 Raytheon Company Methods and apparatus for imaging in scattering environments
US9648300B2 (en) * 2014-05-23 2017-05-09 Leap Motion, Inc. Calibration of multi-camera devices using reflections thereof
US10574974B2 (en) * 2014-06-27 2020-02-25 A9.Com, Inc. 3-D model generation using multiple cameras
KR102281184B1 (ko) * 2014-11-20 2021-07-23 삼성전자주식회사 영상 보정 방법 및 장치
KR102456875B1 (ko) * 2015-03-17 2022-10-19 코넬 유니버시티 심도 촬상 장치, 방법 및 응용
JP6701532B2 (ja) * 2015-06-17 2020-05-27 ソニー株式会社 画像処理装置および画像処理方法
US10325402B1 (en) * 2015-07-17 2019-06-18 A9.Com, Inc. View-dependent texture blending in 3-D rendering
US10412369B2 (en) * 2015-07-31 2019-09-10 Dell Products, Lp Method and apparatus for compensating for camera error in a multi-camera stereo camera system
US20170070731A1 (en) * 2015-09-04 2017-03-09 Apple Inc. Single And Multi-Camera Calibration
JP6834964B2 (ja) * 2015-09-30 2021-02-24 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP6598673B2 (ja) * 2015-12-24 2019-10-30 キヤノン株式会社 データ処理装置およびその方法
US9858672B2 (en) * 2016-01-15 2018-01-02 Oculus Vr, Llc Depth mapping using structured light and time of flight
JP6721998B2 (ja) * 2016-02-23 2020-07-15 村田機械株式会社 物体状態特定方法、物体状態特定装置、および、搬送車
JP6649796B2 (ja) * 2016-02-23 2020-02-19 村田機械株式会社 物体状態特定方法、物体状態特定装置、および、搬送車
KR102529928B1 (ko) * 2016-09-22 2023-05-09 삼성전자주식회사 스테레오 카메라의 교정 방법 및 이를 수행하는 전자 장치
US20180108150A1 (en) * 2016-10-17 2018-04-19 Dsi Assignments, Llc Systems and methods for in-field stereocamera calibration
US10365370B2 (en) * 2016-10-31 2019-07-30 Timothy Webster Wear tolerant hydraulic / pneumatic piston position sensing using optical sensors
US10474884B2 (en) * 2016-11-14 2019-11-12 Aisin Seiki Kabushiki Kaisha Action determination device
KR102550931B1 (ko) * 2016-11-29 2023-07-04 삼성전자주식회사 스테레오 매칭 방법 및 장치
KR20180087944A (ko) * 2017-01-26 2018-08-03 삼성전자주식회사 스테레오 매칭 방법 및 장치
JP6925816B2 (ja) * 2017-02-09 2021-08-25 株式会社小松製作所 位置計測システム、作業機械、及び位置計測方法
US11232590B2 (en) * 2017-05-24 2022-01-25 Sony Corporation Information processing apparatus, information processing method, and program
WO2018231981A1 (en) * 2017-06-15 2018-12-20 Macmillan James Method of characterizing, calibrating, and controlling galvanometer laser steering systems
US10460509B2 (en) * 2017-11-07 2019-10-29 Dolby Laboratories Licensing Corporation Parameterizing 3D scenes for volumetric viewing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9838677B1 (en) * 2013-06-27 2017-12-05 Amazon Technologies, Inc. Detecting impact events for dropped devices
US9866820B1 (en) * 2014-07-01 2018-01-09 Amazon Technologies, Inc. Online calibration of cameras
US20170104979A1 (en) * 2015-10-12 2017-04-13 Dell Products, Lp Method and Apparatus for Depth Algorithm Adjustment to Images based on Predictive Analytics and Sensor Feedback in an Information Handling System
JP2017142829A (ja) * 2017-03-28 2017-08-17 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 深度マップを生成するための方法、装置およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XINGDONG L I: "Generating Colored Point Cloud under the Calibration between TOF and RGB Cameras", 2013 IEEE INTERNATIONAL CONFERENCE ON INFORMATION AND AUTOMATION (ICIA, vol. 28, 26 August 2013 (2013-08-26), pages 483 - 488, XP032558972, DOI: 10.1109/ICInfA.2013.6720347 *

Also Published As

Publication number Publication date
CN112655022A (zh) 2021-04-13
KR102596053B1 (ko) 2023-11-01
US20210327091A1 (en) 2021-10-21
CN112655022B (zh) 2023-11-03
KR20200023927A (ko) 2020-03-06
US11610339B2 (en) 2023-03-21

Similar Documents

Publication Publication Date Title
WO2019235859A1 (ko) 카메라 모듈 및 그의 깊이 정보 추출 방법
WO2020045946A1 (ko) 영상 처리 장치 및 영상 처리 방법
WO2014035127A1 (en) Apparatus for generating depth image
WO2017078356A1 (ko) 디스플레이 장치 및 그의 영상 표시 방법
WO2020067738A1 (ko) 카메라 장치 및 그의 깊이 정보 추출 방법
WO2020153703A1 (ko) 카메라 장치 및 그의 오토포커싱 방법
WO2018066868A1 (ko) 3차원 형상 측정 장치 및 그의 측정 방법
WO2019199101A1 (ko) 카메라 모듈 및 그의 깊이 정보 추출 방법
US5422673A (en) Video camera with automatic focus control
WO2021133025A1 (en) Electronic device comprising image sensor and method of operation thereof
WO2020032497A1 (en) Method and apparatus for incorporating noise pattern into image on which bokeh processing has been performed
US8199247B2 (en) Method for using flash to assist in focal length detection
WO2020141827A1 (ko) 광학계 및 이를 포함하는 카메라 모듈
WO2021006497A1 (ko) 센서를 포함하는 전자 장치 및 그의 동작 방법
WO2020032485A1 (ko) 카메라
WO2020045932A1 (ko) 영상 처리 장치 및 영상 처리 방법
WO2018110889A1 (ko) 영상의 화이트 밸런스를 보정하는 방법 및 전자 장치
WO2020075932A1 (ko) 3차원 영상 생성 장치 및 방법
WO2020067745A1 (ko) 카메라 장치
WO2019245300A1 (ko) 이미지 센서 및 이를 이용하는 카메라 모듈
JP4315545B2 (ja) ３次元画像検出システムと３次元画像検出装置
WO2022231349A1 (ko) 카메라 장치
WO2021118279A1 (en) Electronic apparatus and method for controlling thereof
WO2020060321A1 (ko) 카메라 모듈
WO2020204428A1 (ko) 변조 주파수에 따른 깊이 오차를 보상하는 전자 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19855532

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19855532

Country of ref document: EP

Kind code of ref document: A1