WO2022131644A1 - 토프 센서를 이용한 거리 측정 시스템 및 그 측정 방법 - Google Patents

토프 센서를 이용한 거리 측정 시스템 및 그 측정 방법 Download PDF

Info

Publication number
WO2022131644A1
WO2022131644A1 PCT/KR2021/018309 KR2021018309W WO2022131644A1 WO 2022131644 A1 WO2022131644 A1 WO 2022131644A1 KR 2021018309 W KR2021018309 W KR 2021018309W WO 2022131644 A1 WO2022131644 A1 WO 2022131644A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
color image
image
color
information
Prior art date
Application number
PCT/KR2021/018309
Other languages
English (en)
French (fr)
Inventor
이수형
Original Assignee
주식회사 씨자인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 씨자인 filed Critical 주식회사 씨자인
Publication of WO2022131644A1 publication Critical patent/WO2022131644A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G01J1/04—Optical or mechanical part supplementary adjustable parts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • the present invention relates to a distance measuring system and a measuring method using a TOF (Time-of-Flight) sensor.
  • TOF Time-of-Flight
  • the distance measurement method by the TOF sensor is largely divided into a direct TOF method, an indirect TOF method, and a mixed TOF method.
  • the amount of light reflected and measured by the TOF sensor according to the color of the object may vary greatly, making it difficult to accurately measure the distance.
  • the present invention is an invention for the purpose of solving the technical problem as described above, and a distance measurement system using a TOF sensor capable of more accurate distance measurement by correcting a difference in the amount of reflected light depending on the color of an object, and its measurement
  • the purpose is to provide a method.
  • the correcting unit may include: a matching unit for matching the color image and the distance information image; a color information extractor configured to extract color information for each pixel from the color image after matching by the matcher; and a distance corrector for correcting the distance information measured for each pixel of the distance information image by using the color information for each pixel unit extracted by the color information extractor.
  • the distance measuring system of the present invention it is preferable to further include an illuminance sensor for measuring the illuminance of the environment in which the color image is acquired.
  • the compensator may further include a illuminance corrector for correcting the color image obtained from the camera by using the illuminance measured by the illuminance sensor and preset reference illuminance information. It is characterized in that it can use a color image that has been changed or that the illuminance corrector can use a color image output from the matching device.
  • a distance measurement method using a TOF sensor of the present invention comprises the steps of: (a) acquiring a color image of an object; (b) acquiring a distance information image of the object; and (c) correcting the distance information image by using the color image.
  • the step (c) may include: (c-1) matching the color image and the distance information image; (c-2) extracting color information for each pixel from the color image after matching in the step (c-1); and (c-3) correcting the distance information measured for each pixel of the distance information image by using the color information for each pixel unit extracted in step (c-2).
  • the distance measuring method using the TOF sensor of the present invention (d) measuring the illuminance of the environment in which the color image is acquired; may further include.
  • the step (c) preferably includes (c-4) correcting the color image using the illuminance measured in the step (d) and preset reference illuminance information.
  • the step (c-4) may use the color image output from the step (c-1), or the step (c-1) may use the color image output from the step (c-4). characterized in that
  • the distance measuring system and the measuring method using the TOF sensor of the present invention more accurate distance measurement is possible by correcting the difference in the amount of reflected light according to the color of the object.
  • FIG. 3 is a block diagram of a distance measuring system using a TOF sensor according to a second preferred embodiment of the present invention.
  • FIG. 4 is a flowchart of a distance measuring method using a TOF sensor according to a first preferred embodiment of the present invention.
  • FIG. 5 is a flowchart of a distance measurement method using a TOF sensor according to a second preferred embodiment of the present invention.
  • FIG. 1 shows a configuration diagram of a distance measuring system 100 using a TOF sensor according to a first preferred embodiment of the present invention.
  • the camera 110 is a general camera and serves to acquire a color image of an object.
  • the TOF sensor 120 may be configured by using a light receiving element array such as a single photon avalanche diode (SPAD), and serves to acquire a distance information image of an object.
  • a light receiving element array such as a single photon avalanche diode (SPAD)
  • SPAD single photon avalanche diode
  • the correction unit 140 serves to correct the distance information image by using the color image.
  • the correction unit 140 may be implemented using a computing device including a processor.
  • the correction unit 140 may be implemented by a processor, a circuit, or a combination of a processor and a circuit.
  • the corrector 140 may include a matching unit 141 , a color information extractor 142 , and a distance corrector 143 .
  • FIG 2 is an explanatory diagram of a correction method by the correction unit 140 .
  • the matcher 141 serves to match the color image and the distance information image.
  • the color image acquired from the camera 110 and the distance information image acquired by the TOF sensor 120 may have different resolutions.
  • image acquisition areas may be different from each other.
  • the matching unit 141 converts the resolution of the color image or the distance information image to be the same. In addition, the matching unit 141 adjusts the image acquisition areas of the color image and the distance information image to be identical to each other by transforming the coordinates of at least one of the color image and the distance information image.
  • the color information extractor 142 serves to extract color information for each pixel from the color image after matching by the matcher 141 .
  • the distance corrector 143 uses the color information for each pixel unit extracted from the color information extractor 142 to correct the distance information measured for each pixel unit of the distance information image after registration by the matcher 141 . do.
  • the distance corrector 143 corrects the measured distance of the distance information image in units of pixels by using the first correction coefficient with respect to the color information extracted in units of pixels. If the distance information image after registration by the matcher 141 is an image of 10 pixels ⁇ 10 pixels, the measured distance information from the 1st pixel to the 100th pixel is 100 from the 1st pixel of the color image Each of the first correction coefficients by the first pixel is corrected by the 100th first correction coefficient.
  • the first correction coefficient may be previously stored in a memory or may be calculated by a formula.
  • the first correction coefficient is a coefficient for correcting that reflectance is different according to color information of an object.
  • FIG. 3 is a block diagram of a distance measuring system 200 using a TOF sensor according to a second preferred embodiment of the present invention.
  • the distance measuring system 200 using the TOF sensor includes a camera 210 , a TOF sensor 220 , an illuminance sensor 230 and a correction unit. (240) is included.
  • the roles of the camera 210 , the TOF sensor 220 , and the correction unit 240 included in the distance measurement system 200 using the TOF sensor according to the second preferred embodiment of the present invention are this unless otherwise specified. As described in the distance measuring system 100 using the TOF sensor according to the first preferred embodiment of the present invention.
  • the illuminance sensor 230 serves to measure the illuminance of an environment in which a color image and/or a distance information image are acquired.
  • the distance measuring system 200 using the TOF sensor according to the second preferred embodiment of the present invention is to correct the brightness information of the color image acquired by the camera 210 according to the measured illuminance information. That is, it may be necessary to calculate in advance a second correction coefficient for converting the reference color with respect to the reference illuminance by using the change in the brightness of the color image obtained according to the illuminance and store it in the memory or set it as an equation.
  • the corrector 240 further includes an illuminance corrector 244 that corrects the color image obtained from the camera 210 using the illuminance measured by the illuminance sensor 230 and preset reference illuminance information. It is preferable to do
  • the matching unit 241 may use the color image output from the illuminance corrector 244 . Alternatively, after the color image and the distance information image are matched by the matcher 241 , the color image may be corrected by the illuminance corrector 244 .
  • the matcher 241 may use the color image output from the illuminance corrector 244 or the illuminance corrector 244 may use the color image output from the matcher 241 .
  • FIG. 4 is a flowchart of a distance measurement method using a TOF sensor according to a first preferred embodiment of the present invention.
  • the distance measuring method using the TOF sensor according to the first preferred embodiment of the present invention uses the distance measuring system 100 using the TOF sensor according to the first preferred embodiment of the present invention, even if there is no separate explanation, the present invention Of course, it includes all the features of the distance measuring system 100 using the TOF sensor according to the first preferred embodiment.
  • the distance measuring method using the TOF sensor includes: acquiring a color image of an object ( S110 ); obtaining a distance information image of the object (S120); and correcting the distance information image obtained in step S120 by using the color image obtained in step S110 (S130).
  • a distance measurement method using a TOF sensor includes: acquiring a color image of an object (S210); obtaining a distance information image of the object (S220); measuring the illuminance of an environment in which a color image and/or a distance information image is acquired (S230); and correcting the distance information image obtained in step S220 by using the color image obtained in step S210 (S240).
  • step S240 may include correcting the color image of step S210 using the illuminance measured in step S240 and preset reference illuminance information (S231); matching the color image and the distance information image obtained in step S220 (S232); After matching by step S232, extracting color information for each pixel from the color image (S233); and correcting the distance information measured for each pixel of the distance information image by using the color information for each pixel unit extracted in step S233 (S234).
  • step S231 may be performed after step S232. That is, after matching the color image and the distance information image, the color image may be corrected.
  • step S231 may use the color image output from step S232, or step S232 may use the color image output from step S231.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

TOF 센서를 이용한 거리 측정 시스템은, 대상체의 컬러 이미지를 획득하는 카메라; 상기 대상체의 거리 정보 이미지를 획득하는 TOF 센서; 및 상기 컬러 이미지를 이용하여, 상기 거리 정보 이미지를 보정하는 보정부;를 포함하되, 상기 보정부는, 상기 컬러 이미지 및 상기 거리 정보 이미지를 정합하는 정합기; 상기 정합기에 의해 정합 후, 상기 컬러 이미지에서 픽셀 단위별 색상 정보를 추출하는 색상 정보 추출기; 및 상기 색상 정보 추출기에서 추출된 픽셀 단위별 색상 정보를 이용하여, 상기 거리 정보 이미지의 픽셀 단위별 측정된 거리 정보를 보정하는 거리 보정기;를 포함한다.

Description

토프 센서를 이용한 거리 측정 시스템 및 그 측정 방법
본 발명은 TOF(Time-of-Flight) 센서를 이용한 거리 측정 시스템 및 그 측정 방법에 관한 것이다.
TOF(Time-of-Flight) 센서를 이용한 거리 측정을 하는 것에 의해, 3차원 이미지를 생성하는 기술은 근래 많은 진보를 이루고 있다. TOF 센서는, SPAD(Single Photon Avalanche Diode)와 같은 수광 소자를 이용하여 반사된 광량을 측정하는 것에 의해 대상체의 거리를 측정할 수 있다.
크게 TOF 센서에 의한 거리 측정 방식은 직접 TOF 방식, 간접 TOF 방식 및 혼합 TOF 방식으로 나뉜다.
그런데, 대상체의 색상에 따라 반사되어 TOF 센서에 의해 측정되는 광량은 크게 달라질 수 있어, 정확한 거리 측정에 어려움이 있다.
예를 들면, 피부가 희고 검은 머리의 사람이 대상체인 경우, 검은 머리 부분은 실제 보다 아주 먼 거리로, 피부는 실제 보다 가까운 거리로 측정될 수 있다.
본 발명은 전술한 바와 같은 기술적 과제를 해결하는 데 목적이 있는 발명으로서, 대상체의 색상에 따른 반사되는 광량의 차이를 보정하는 것에 의해 보다 정확한 거리 측정이 가능한 TOF 센서를 이용한 거리 측정 시스템 및 그 측정 방법을 제공하는 것에 그 목적이 있다.
본 발명의 TOF 센서를 이용한 거리 측정 시스템에 있어서, 대상체의 컬러 이미지를 획득하는 카메라; 상기 대상체의 거리 정보 이미지를 획득하는 TOF 센서; 및 상기 컬러 이미지를 이용하여, 상기 거리 정보 이미지를 보정하는 보정부;를 포함하여 구성된다.
구체적으로, 상기 보정부는, 상기 컬러 이미지 및 상기 거리 정보 이미지를 정합하는 정합기; 상기 정합기에 의해 정합 후, 상기 컬러 이미지에서 픽셀 단위별 색상 정보를 추출하는 색상 정보 추출기; 및 상기 색상 정보 추출기에서 추출된 픽셀 단위별 색상 정보를 이용하여, 상기 거리 정보 이미지의 픽셀 단위별 측정된 거리 정보를 보정하는 거리 보정기;를 포함하는 것을 특징으로 한다.
아울러, 본 발명의 거리 측정 시스템은, 상기 컬러 이미지의 획득 환경의 조도를 측정하는 조도 센서;를 더 포함하는 것이 바람직하다.
아울러, 상기 보정부는, 상기 조도 센서에 의해 측정된 조도 및 미리 설정된 기준 조도 정보를 이용하여, 상기 카메라로부터 획득된 컬러 이미지를 보정하는 조도 보정기;를 더 포함하되, 상기 정합기가 상기 조도 보정기로부터 출력된 컬러 이미지를 이용하거나, 상기 조도 보정기가 상기 정합기로부터 출력된 컬러 이미지를 이용할 수 있는 것을 특징으로 한다.
본 발명의 TOF 센서를 이용한 거리 측정 방법은, (a) 대상체의 컬러 이미지를 획득하는 단계; (b) 상기 대상체의 거리 정보 이미지를 획득하는 단계; 및 (c) 상기 컬러 이미지를 이용하여, 상기 거리 정보 이미지를 보정하는 단계;를 포함한다.
구체적으로, 상기 (c) 단계는, (c-1) 상기 컬러 이미지 및 상기 거리 정보 이미지를 정합하는 단계; (c-2) 상기 (c-1) 단계에 의해 정합 후, 상기 컬러 이미지에서 픽셀 단위별 색상 정보를 추출하는 단계; 및 (c-3) 상기 (c-2) 단계에서 추출된 픽셀 단위별 색상 정보를 이용하여, 상기 거리 정보 이미지의 픽셀 단위별 측정된 거리 정보를 보정하는 단계;를 포함한다.
또한, 본 발명의 TOF 센서를 이용한 거리 측정 방법은, (d) 상기 컬러 이미지의 획득 환경의 조도를 측정하는 단계;를 더 포함할 수 있다.
아울러, 상기 (c) 단계는, (c-4) 상기 (d) 단계에서 측정된 조도 및 미리 설정된 기준 조도 정보를 이용하여, 컬러 이미지를 보정하는 단계;를 도 포함하는 것이 바람직하다. 또한, 상기 (c-4) 단계가 상기 (c-1) 단계로부터 출력된 컬러 이미지를 이용하거나, 상기 (c-1) 단계가 상기 (c-4) 단계로부터 출력된 컬러 이미지를 이용할 수 있는 것을 특징으로 한다.
본 발명의 TOF 센서를 이용한 거리 측정 시스템 및 그 측정 방법에 따르면, 대상체의 색상에 따른 반사되는 광량의 차이를 보정하는 것에 의해 보다 정확한 거리 측정이 가능하다.
도 1은 본 발명의 바람직한 제 1 실시예에 따른 TOF 센서를 이용한 거리 측정 시스템의 구성도.
도 2는 보정부에 의한 보정 방법에 대한 설명도.
도 3은 본 발명의 바람직한 제 2 실시예에 따른 TOF 센서를 이용한 거리 측정 시스템의 구성도.
도 4는 본 발명의 바람직한 제 1 실시예에 따른 TOF 센서를 이용한 거리 측정 방법의 흐름도.
도 5는 본 발명의 바람직한 제 2 실시예에 따른 TOF 센서를 이용한 거리 측정 방법의 흐름도.
이하, 첨부된 도면을 참조하면서 본 발명의 실시예들에 따른 TOF 센서를 이용한 거리 측정 시스템 및 그 측정 방법에 대해 상세히 설명하기로 한다. 본 발명의 하기의 실시예들은 본 발명을 구체화하기 위한 것일 뿐 본 발명의 권리 범위를 제한하거나 한정하는 것이 아님은 물론이다. 본 발명의 상세한 설명 및 실시예들로부터 본 발명이 속하는 기술 분야의 전문가가 용이하게 유추할 수 있는 것은 본 발명의 권리 범위에 속하는 것으로 해석된다.
먼저, 도 1은 본 발명의 바람직한 제 1 실시예에 따른 TOF 센서를 이용한 거리 측정 시스템(100)의 구성도를 나타낸다.
도 1로부터 알 수 있는 바와 같이, 본 발명의 바람직한 제 1 실시예에 따른 TOF 센서를 이용한 거리 측정 시스템(100)은, 카메라(110), TOF 센서(120) 및 보정부(140)를 포함하여 구성된다.
카메라(110)는 일반 카메라로서, 대상체의 컬러 이미지를 획득하는 역할을 한다.
TOF 센서(120)는, SPAD(Single Photon Avalanche Diode)와 같은 수광 소자 어레이를 이용하여 구성될 수 있으며, 대상체의 거리 정보 이미지를 획득하는 역할을 한다.
보정부(140)는, 컬러 이미지를 이용하여, 거리 정보 이미지를 보정하는 역할을 한다. 보정부(140)는, 프로세서를 포함하는 컴퓨팅 장치를 이용하여 구현될 수 있다. 또는, 보정부(140)는, 프로세서, 회로 또는 프로세서와 회로의 조합에 의해 구현될 수도 있을 것이다.
구체적으로 보정부(140)는, 정합기(141), 색상 정보 추출기(142) 및 거리 보정기(143)를 포함하여 구성될 수 있다.
도 2는 보정부(140)에 의한 보정 방법에 대한 설명도이다.
먼저, 정합기(141)는, 컬러 이미지 및 거리 정보 이미지를 정합하는 역할을 한다.
즉, 카메라(110)로부터 획득된 컬러 이미지와 TOF 센서(120)에 의해 획득된 거리 정보 이미지는, 서로 해상도가 다를 수 있다. 아울러, 카메라(110) 및 TOF 센서(120)가 완전 동일한 위치에 배치될 수 없는 등의 이유로, 이미지의 획득 영역이 서로 상이할 수 있다.
정합기(141)는, 컬러 이미지 또는 거리 정보 이미지의 해상도를 동일하게 변환한다. 아울러, 정합기(141)는, 컬러 이미지 또는 거리 정보 이미지 중 적어도 이미지의 좌표를 변환하는 것에 의해 컬러 이미지 및 거리 정보 이미지의 이미지 획득 영역을 서로 동일하게 조정한다.
색상 정보 추출기(142)는, 정합기(141)에 의해 정합 후, 컬러 이미지에서 픽셀 단위별 색상 정보를 추출하는 역할을 한다.
거리 보정기(143)는, 색상 정보 추출기(142)에서 추출된 픽셀 단위별 색상 정보를 이용하여, 정합기(141)에 의해 정합 후의 거리 정보 이미지의 픽셀 단위별로 측정된 거리 정보를 보정하는 역할을 한다.
구체적으로 거리 보정기(143)는, 픽셀 단위로 추출된 색상 정보에 대해 제 1 보정 계수를 이용하여, 픽셀 단위로 거리 정보 이미지의 측정된 거리를 보정하는 것이 바람직하다. 만약 정합기(141)에 의해 정합 후의 거리 정보 이미지가 10 픽셀×10 픽셀의 이미지라면, 1번째 픽셀부터 100번째 픽셀까지 하나의 픽셀씩 그 측정된 거리 정보가, 컬러 이미지의 1번째 픽셀부터 100번째 픽셀에 의한 1번째 제 1 보정 계수로부터 100번째 제 1 보정 계수에 의해 각각 보정되게 된다.
제 1 보정 계수는, 메모리에 미리 저장되어 있을 수도 있고, 수식에 의해 산출될 수도 있을 것이다. 참고로, 제 1 보정 계수는, 대상체의 색상 정보에 따라 반사율이 다르게 나타나는 것을 보정하기 위한 계수이다.
도 3은 본 발명의 바람직한 제 2 실시예에 따른 TOF 센서를 이용한 거리 측정 시스템(200)의 구성도를 나타낸다.
도 3으로부터 알 수 있는 바와 같이, 본 발명의 바람직한 제 2 실시예에 따른 TOF 센서를 이용한 거리 측정 시스템(200)은, 카메라(210), TOF 센서(220), 조도 센서(230) 및 보정부(240)를 포함하여 구성된다.
본 발명의 바람직한 제 2 실시예에 따른 TOF 센서를 이용한 거리 측정 시스템(200)에 포함된 카메라(210), TOF 센서(220) 및 보정부(240)의 역할은, 별도의 설명이 없는 한 본 발명의 바람직한 제 1 실시예에 따른 TOF 센서를 이용한 거리 측정 시스템(100)에서 설명한 바와 같다.
아울러, 조도 센서(230)는, 컬러 이미지 및/또는 거리 정보 이미지의 획득 환경의 조도를 측정하는 역할을 한다.
본 발명의 바람직한 제 2 실시예에 따른 TOF 센서를 이용한 거리 측정 시스템(200)은 카메라(210)에 의해 획득된 컬러 이미지의 밝기 정보를, 측정된 조도 정보에 따라 보정하고자 한다. 즉, 조도에 따라 획득된 컬러 이미지의 밝기가 변하는 것을 이용하여, 기준 조도에 대한 기준 색상으로 변환하기 위한 제 2 보정 계수를 미리 산출해서 메모리에 저장하거나, 수식으로서 설정해 둘 필요가 있을 것이다.
구체적으로, 보정부(240)는, 조도 센서(230)에 의해 측정된 조도 및 미리 설정된 기준 조도 정보를 이용하여, 카메라(210)로부터 획득된 컬러 이미지를 보정하는 조도 보정기(244)를 더 포함하는 것이 바람직하다.
정합기(241)는, 조도 보정기(244)로부터 출력된 컬러 이미지를 이용할 수 있다. 또는, 정합기(241)에 의한 컬러 이미지 및 거리 정보 이미지의 정합 후, 조도 보정기(244)에 의해 컬러 이미지가 보정될 수도 있다.
즉, 정합기(241)가 조도 보정기(244)로부터 출력된 컬러 이미지를 이용하거나, 조도 보정기(244)가 정합기(241)로부터 출력된 컬러 이미지를 이용할 수도 있는 것을 특징으로 한다.
도 4는 본 발명의 바람직한 제 1 실시예에 따른 TOF 센서를 이용한 거리 측정 방법의 흐름도를 나타낸다.
본 발명의 바람직한 제 1 실시예에 따른 TOF 센서를 이용한 거리 측정 방법은 본 발명의 바람직한 제 1 실시에에 따른 TOF 센서를 이용한 거리 측정 시스템(100)을 이용하므로, 별도의 설명이 없더라도, 본 발명의 바람직한 제 1 실시에에 따른 TOF 센서를 이용한 거리 측정 시스템(100)의 모든 특징을 포함하고 있음은 물론이다.
도 4로부터 알 수 있는 바와 같이, 본 발명의 바람직한 제 1 실시예에 따른 TOF 센서를 이용한 거리 측정 방법은, 대상체의 컬러 이미지를 획득하는 단계(S110); 대상체의 거리 정보 이미지를 획득하는 단계(S120); 및 S110 단계에서 획득된 컬러 이미지를 이용하여, S120 단계에서 획득된 거리 정보 이미지를 보정하는 단계(S130);를 포함한다.
구체적으로 S130 단계는, 컬러 이미지 및 거리 정보 이미지를 정합하는 단계(S131); S131 단계에 의해 정합 후, 컬러 이미지에서 픽셀 단위별 색상 정보를 추출하는 단계(S132); 및 S132 단계에서 추출된 픽셀 단위별 색상 정보를 이용하여, 거리 정보 이미지의 픽셀 단위별 측정된 거리 정보를 보정하는 단계(S133);를 포함하는 것을 특징으로 한다.
도 5는 본 발명의 바람직한 제 2 실시예에 따른 TOF 센서를 이용한 거리 측정 방법의 흐름도를 나타낸다.
본 발명의 바람직한 제 2 실시예에 따른 TOF 센서를 이용한 거리 측정 방법은 본 발명의 바람직한 제 2 실시에에 따른 TOF 센서를 이용한 거리 측정 시스템(200)을 이용하므로, 별도의 설명이 없더라도, 본 발명의 바람직한 제 2 실시에에 따른 TOF 센서를 이용한 거리 측정 시스템(200)의 모든 특징을 포함하고 있음은 물론이다.
도 5로부터 알 수 있는 바와 같이, 본 발명의 바람직한 제 2 실시예에 따른 TOF 센서를 이용한 거리 측정 방법은, 대상체의 컬러 이미지를 획득하는 단계(S210); 대상체의 거리 정보 이미지를 획득하는 단계(S220); 컬러 이미지 및/또는 거리 정보 이미지의 획득 환경의 조도를 측정하는 단계(S230); 및 S210 단계에서 획득된 컬러 이미지를 이용하여, S220 단계에서 획득된 거리 정보 이미지를 보정하는 단계(S240);를 포함한다.
구체적으로 S240 단계는, S240 단계에서 측정된 조도 및 미리 설정된 기준 조도 정보를 이용하여, S210 단계의 컬러 이미지를 보정하는 단계(S231); 컬러 이미지 및 S220 단계에서 획득된 거리 정보 이미지를 정합하는 단계(S232); S232 단계에 의해 정합 후, 컬러 이미지에서 픽셀 단위별 색상 정보를 추출하는 단계(S233); 및 S233 단계에서 추출된 픽셀 단위별 색상 정보를 이용하여, 거리 정보 이미지의 픽셀 단위별 측정된 거리 정보를 보정하는 단계(S234);를 포함하는 것을 특징으로 한다.
다만, S231 단계는, S232 단계 이후에 실시될 수도 있다. 즉, 컬러 이미지 및 거리 정보 이미지를 정합 후, 컬러 이미지가 보정될 수도 있다.
즉, S231 단계가 S232 단계로부터 출력된 컬러 이미지를 이용하거나, S232 단계가 S231 단계로부터 출력된 컬러 이미지를 이용할 수도 있는 것을 특징으로 한다.
상술한 바와 같이, 본 발명의 TOF 센서를 이용한 거리 측정 시스템(100, 200) 및 그 측정 방법에 따르면, 대상체의 색상에 따른 반사되는 광량의 차이를 보정하는 것에 의해 보다 정확한 거리 측정이 가능함을 알 수 있다.

Claims (10)

  1. OF 센서를 이용한 거리 측정 시스템에 있어서,
    대상체의 컬러 이미지를 획득하는 카메라;
    상기 대상체의 거리 정보 이미지를 획득하는 TOF 센서; 및
    상기 컬러 이미지를 이용하여, 상기 거리 정보 이미지를 보정하는 보정부;를 포함하는 것을 특징으로 하는 거리 측정 시스템.
  2. 제1항에 있어서,
    상기 보정부는,
    상기 컬러 이미지 및 상기 거리 정보 이미지를 정합하는 정합기; 및
    상기 정합기에 의해 정합 후, 상기 컬러 이미지에서 픽셀 단위별 색상 정보를 추출하는 색상 정보 추출기;를 포함하는 것을 특징으로 하는 거리 측정 시스템.
  3. 제2항에 있어서,
    상기 보정부는,
    상기 색상 정보 추출기에서 추출된 픽셀 단위별 색상 정보를 이용하여, 상기 거리 정보 이미지의 픽셀 단위별 측정된 거리 정보를 보정하는 거리 보정기;를 더 포함하는 것을 특징으로 하는 거리 측정 시스템.
  4. 제3항에 있어서,
    상기 거리 측정 시스템은,
    상기 컬러 이미지의 획득 환경의 조도를 측정하는 조도 센서;를 더 포함하는 것을 특징으로 하는 거리 측정 시스템.
  5. 제4항에 있어서,
    상기 보정부는,
    상기 조도 센서에 의해 측정된 조도 및 미리 설정된 기준 조도 정보를 이용하여, 상기 카메라로부터 획득된 컬러 이미지를 보정하는 조도 보정기;를 더 포함하되,
    상기 정합기가 상기 조도 보정기로부터 출력된 컬러 이미지를 이용하거나, 상기 조도 보정기가 상기 정합기로부터 출력된 컬러 이미지를 이용할 수 있는 것을 특징으로 하는 거리 측정 시스템.
  6. TOF 센서를 이용한 거리 측정 방법에 있어서,
    (a) 대상체의 컬러 이미지를 획득하는 단계;
    (b) 상기 대상체의 거리 정보 이미지를 획득하는 단계; 및
    (c) 상기 컬러 이미지를 이용하여, 상기 거리 정보 이미지를 보정하는 단계;를 포함하는 것을 특징으로 하는 거리 측정 방법.
  7. 제6항에 있어서,
    상기 (c) 단계는,
    (c-1) 상기 컬러 이미지 및 상기 거리 정보 이미지를 정합하는 단계; 및
    (c-2) 상기 (c-1) 단계에 의해 정합 후, 상기 컬러 이미지에서 픽셀 단위별 색상 정보를 추출하는 단계;를 포함하는 것을 특징으로 하는 거리 측정 방법.
  8. 제7항에 있어서,
    상기 (c) 단계는,
    (c-3) 상기 (c-2) 단계에서 추출된 픽셀 단위별 색상 정보를 이용하여, 상기 거리 정보 이미지의 픽셀 단위별 측정된 거리 정보를 보정하는 단계;를 더 포함하는 것을 특징으로 하는 거리 측정 방법.
  9. 제8항에 있어서,
    상기 거리 측정 방법은,
    (d) 상기 컬러 이미지의 획득 환경의 조도를 측정하는 단계;를 더 포함하는 것을 특징으로 하는 거리 측정 방법.
  10. 제9항에 있어서,
    상기 (c) 단계는,
    (c-4) 상기 (d) 단계에서 측정된 조도 및 미리 설정된 기준 조도 정보를 이용하여, 컬러 이미지를 보정하는 단계;를 더 포함하되,
    상기 (c-4) 단계가 상기 (c-1) 단계로부터 출력된 컬러 이미지를 이용하거나, 상기 (c-1) 단계가 상기 (c-4) 단계로부터 출력된 컬러 이미지를 이용할 수 있는 것을 특징으로 하는 거리 측정 방법.
PCT/KR2021/018309 2020-12-14 2021-12-06 토프 센서를 이용한 거리 측정 시스템 및 그 측정 방법 WO2022131644A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0174014 2020-12-14
KR1020200174014A KR20220084500A (ko) 2020-12-14 2020-12-14 Ｔｏｆ 센서를 이용한 거리 측정 시스템 및 그 측정 방법

Publications (1)

Publication Number Publication Date
WO2022131644A1 true WO2022131644A1 (ko) 2022-06-23

Family

ID=82059242

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/018309 WO2022131644A1 (ko) 2020-12-14 2021-12-06 토프 센서를 이용한 거리 측정 시스템 및 그 측정 방법

Country Status (2)

Country Link
KR (1) KR20220084500A (ko)
WO (1) WO2022131644A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150141019A (ko) * 2014-06-09 2015-12-17 삼성전자주식회사 깊이 정보를 활용하는 전자 장치 및 방법
KR20180027952A (ko) * 2016-09-07 2018-03-15 삼성전자주식회사 ToF (time of flight) 촬영 장치 및 ToF 촬영 장치에서 깊이 이미지의 블러 감소를 위하여 이미지를 처리하는 방법
US20180227509A1 (en) * 2015-08-05 2018-08-09 Wuhan Guide Infrared Co., Ltd. Visible light image and infrared image fusion processing system and fusion method
US20190228513A1 (en) * 2010-04-23 2019-07-25 Flir Systems Ab Infrared resolution and contrast enhancement with fusion
KR20200023928A (ko) * 2018-08-27 2020-03-06 엘지이노텍 주식회사 영상 처리 장치 및 영상 처리 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120091970A (ko) 2011-02-09 2012-08-20 연세대학교 산학협력단 객체 이미지 정합 시스템, 정합 장치 및 정합 방법과 상기 방법을 기록한 기록 매체

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190228513A1 (en) * 2010-04-23 2019-07-25 Flir Systems Ab Infrared resolution and contrast enhancement with fusion
KR20150141019A (ko) * 2014-06-09 2015-12-17 삼성전자주식회사 깊이 정보를 활용하는 전자 장치 및 방법
US20180227509A1 (en) * 2015-08-05 2018-08-09 Wuhan Guide Infrared Co., Ltd. Visible light image and infrared image fusion processing system and fusion method
KR20180027952A (ko) * 2016-09-07 2018-03-15 삼성전자주식회사 ToF (time of flight) 촬영 장치 및 ToF 촬영 장치에서 깊이 이미지의 블러 감소를 위하여 이미지를 처리하는 방법
KR20200023928A (ko) * 2018-08-27 2020-03-06 엘지이노텍 주식회사 영상 처리 장치 및 영상 처리 방법

Also Published As

Publication number Publication date
KR20220084500A (ko) 2022-06-21

Similar Documents

Publication Publication Date Title
JP3129502B2 (ja) 測色方法及びその装置
WO2014081107A1 (ko) 3차원 영상 획득 방법 및 장치
JP2000341715A5 (ko)
WO2009142390A2 (ko) 표면형상 측정장치
EP0998131A3 (en) Color printing system and method
KR20060099538A (ko) 프로젝터의 색 보정 방법
CA2378867A1 (en) Method and system for measuring the relief of an object
KR102139210B1 (ko) 멀티비색보드와 스트립을 이용한 모바일 소변진단방법
WO2020045946A1 (ko) 영상 처리 장치 및 영상 처리 방법
WO2020235734A1 (ko) 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법
WO2019172500A1 (ko) 인공지능을 이용한 영상분석 시정계
US20040197020A1 (en) Color machine vision system for colorimetry
WO2022131644A1 (ko) 토프 센서를 이용한 거리 측정 시스템 및 그 측정 방법
WO2021221334A1 (ko) Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법
CN106296696A (zh) 图像颜色一致性的处理方法及图像采集设备
US11740132B2 (en) Method and apparatus for color lookup using a mobile device
WO2020138754A1 (ko) 펄스 위상 이동을 이용한 3차원 거리측정 카메라의 비선형 거리 오차 보정 방법
WO2022114449A1 (ko) 라이다 센서와 카메라 간 온라인 캘리브레이션 방법 및 장치
JP2002529727A (ja) 着色表面の色度測定のための方法と装置
JP4463388B2 (ja) 視認状況測定装置
WO2011071313A2 (ko) 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법
WO2014035050A1 (ko) 영상 밝기 조절 방법 및 그 장치와, 스테레오 카메라
WO2020246786A1 (ko) 검출 방법 및 검출 패드
WO2014046325A1 (ko) 3차원 계측 시스템 및 그 방법
WO2022092489A1 (ko) 스캐닝 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21906948

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21906948

Country of ref document: EP

Kind code of ref document: A1