KR20230085627A - 3차원 공간 스캔용 ToF-스테레오 센서의 융합 장치 및 방법 - Google Patents

3차원 공간 스캔용 ToF-스테레오 센서의 융합 장치 및 방법 Download PDF

Info

Publication number
KR20230085627A
KR20230085627A KR1020210173980A KR20210173980A KR20230085627A KR 20230085627 A KR20230085627 A KR 20230085627A KR 1020210173980 A KR1020210173980 A KR 1020210173980A KR 20210173980 A KR20210173980 A KR 20210173980A KR 20230085627 A KR20230085627 A KR 20230085627A
Authority
KR
South Korea
Prior art keywords
sensor
rgb image
tof
image information
information
Prior art date
Application number
KR1020210173980A
Other languages
English (en)
Inventor
이윤주
이경택
정석우
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020210173980A priority Critical patent/KR20230085627A/ko
Publication of KR20230085627A publication Critical patent/KR20230085627A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2509—Color coding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30—Polynomial surface description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Algebra (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 3차원 공간 스캔용 ToF-스테레오 센서의 융합 장치 및 방법이 개시된다. 본 발명의 융합 장치는 ToF 센서로부터 깊이 정보를 측정하고, 스테레오 센서로부터 복수의 RGB 이미지 정보를 측정하는 센서부 및 깊이 정보 및 복수의 RGB 이미지 정보를 각각 기 설정된 전처리를 수행하고, 전처리된 깊이 정보 및 RGB 이미지 정보를 이용하여 정보에 대한 신뢰도를 추정하며, 추정된 신뢰도를 이용하여 각 센서의 기능값을 옵션으로 선택 및 조절하는 제어부를 포함한다.

Description

3차원 공간 스캔용 ToF-스테레오 센서의 융합 장치 및 방법{Fusion device and method of ToF-Stereo sensor for 3D spatial scanning}
본 발명은 센서 융합 기술에 관한 것으로, 더욱 상세하게는 거리와 센서 데이터의 품질에 따른 기능을 선택적으로 사용하는 3차원 공간 스캔용 ToF-스테레오 센서의 융합 장치 및 방법에 관한 것이다.
3차원 공간 스캐너가 보급된 이후로 컴퓨터 비전 기술 구동이 가능해짐에 따라 3차원 센싱 공간 스캔 수요가 증가하고 있다. Triangulation, Interferometry, ToF(Time of Flight) 등 공간을 인식할 수 있는 깊이 센서를 사용하여 수 미터 이내의 거리 영상을 촬영하는 공간 스캔 기술이 활발하게 연구되고 있다.
하지만 이런 센싱 기술은 현재 VGA급 해상도로 측정 거리가 약 5m 이내 실내에서만 원활히 동작하고 있어 3차원의 실내외 공간 스캔 응용에 사용하기에는 제약이 있다. 예를 들어 실내 공간과 같이 잘 짜인 환경에서는 공간 스캔 응용이 가능하겠지만 도로나 도심과 같은 변화가 많은 야외 환경에서는 많이 부족하다.
TOF 센서는 레이저의 반송 시간을 측정하여 거리를 측정하기 때문에 단색 피사체에 의한 성능 저하가 없지만 해상도가 떨어지고, 노이즈의 영향을 많이 받는다는 문제점이 있다. 또한 스테레오 RGB 카메라는 두 개의 렌즈로 물체를 3차원으로 인지하는 것이 가능하고, 물체 형상에 대한 정보에 더하여 원근감까지 측정이 가능한 센서이지만 가격이 비싸고, 데이터양이 급격하게 증가하며 단색 표면에 대해서 거리 정보를 취득할 수 없는 한계가 있다.
한국등록특허공보 제10-2135560호(2020.07.20.)
본 발명이 이루고자 하는 기술적 과제는 3차원 공간정보 데이터 획득에 필요한 깊이 정보를 추출하는 ToF 센서와 높은 해상도 및 낮은 노이즈를 가지는 스테레오 센서의 융합을 통해 거리와 센서 데이터의 품질에 따른 기능을 선택적으로 사용함으로써 3차원 실내외 공간 스캔 품질을 향상시키는 3차원 공간 스캔용 ToF-스테레오 센서의 융합 장치 및 방법을 제공하는데 목적이 있다.
상기 목적을 달성하기 위해 본 발명에 따른 3차원 공간 스캔용 ToF-스테레오 센서의 융합 장치는 ToF 센서로부터 깊이 정보를 측정하고, 스테레오 센서로부터 복수의 RGB 이미지 정보를 측정하는 센서부 및 상기 깊이 정보 및 상기 복수의 RGB 이미지 정보를 각각 기 설정된 전처리를 수행하고, 상기 전처리된 깊이 정보 및 RGB 이미지 정보를 이용하여 정보에 대한 신뢰도를 추정하며, 상기 추정된 신뢰도를 이용하여 각 센서의 기능값을 옵션으로 선택 및 조절하는 제어부를 포함한다.
또한 상기 제어부는, 상기 깊이 정보를 데이터 보간하고, 상기 복수의 RGB 이미지 정보를 정합하는 전처리를 수행하는 것을 특징으로 한다.
또한 상기 제어부는, 상기 전처리된 깊이 정보 및 RGB 이미지 정보를 기반으로 각 센서가 데이터를 취득할 수 있는 거리 범위에서의 신뢰도를 추정하는 것을 특징으로 한다.
또한 상기 제어부는, 상기 추정된 신뢰도를 이용하여 각 센서의 거리, 해상도, 외부 환경의 빛 반사 및 조도 중 적어도 하나의 기능값을 옵션으로 선택 및 조절하는 것을 특징으로 한다.
본 발명에 따른 3차원 공간 스캔용 ToF-스테레오 센서의 융합 방법은 융합 장치가 깊이 정보 및 복수의 RGB 이미지 정보를 각각 측정하는 단계, 상기 융합 장치가 상기 깊이 정보 및 상기 복수의 RGB 이미지 정보를 각각 기 설정된 전처리를 수행하는 단계 상기 융합 장치가 상기 전처리된 깊이 정보 및 RGB 이미지 정보를 이용하여 정보에 대한 신뢰도를 추정하는 단계 및 상기 융합 장치가 상기 추정된 신뢰도를 이용하여 각 센서의 기능값을 옵션으로 선택 및 조절하는 단계를 포함한다.
또한 상기 전처리를 수행하는 단계는, 상기 깊이 정보를 데이터 보간하고, 상기 복수의 RGB 이미지 정보를 정합하는 전처리를 수행하는 것을 특징으로 한다.
또한 상기 신뢰도를 추정하는 단계는, 상기 전처리된 깊이 정보 및 RGB 이미지 정보를 기반으로 각 센서가 데이터를 취득할 수 있는 거리 범위에서의 신뢰도를 추정하는 것을 특징으로 한다.
또한 상기 선택 및 조절하는 단계는, 상기 추정된 신뢰도를 이용하여 각 센서의 거리, 해상도, 외부 환경의 빛 반사 및 조도 중 적어도 하나의 기능값을 옵션으로 선택 및 조절하는 것을 특징으로 한다.
본 발명의 3차원 공간 스캔용 ToF-스테레오 센서의 융합 장치 및 방법은 ToF 센서와 스테레오 센서에서 독립적으로 객체를 검출하고, 검출된 결과를 융합하여 신뢰도를 추정하며, 추정된 신뢰도를 통해 각 센서의 거리, 해상도, 외부 환경의 빛 반사 또는 조도 등 기능에 따라 옵션을 선택하고, 조절할 수 있다.
이를 통해 3차원 가상 공간을 스캔하는데 객체 검출 품질을 보장하고, 외부 환경에 영향을 최소화할 수 있다.
도 1은 본 발명의 실시예에 따른 융합 장치를 설명하기 위한 블록도이다.
도 2는 본 발명의 실시예에 따른 깊이 정보와 RGB 이미지 정보가 융합되는 구조를 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 기능 선택 창을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 융합 방법을 설명하기 위한 순서도이다.
이하 본 발명의 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의한다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 당업자에게 자명하거나 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 융합 장치를 설명하기 위한 블록도이고, 도 2는 본 발명의 실시예에 따른 깊이 정보와 RGB 이미지 정보가 융합되는 구조를 설명하기 위한 도면이며, 도 3은 본 발명의 실시예에 따른 기능 선택 창을 설명하기 위한 도면이다.
도 1 내지 도 3을 참조하면, 융합 장치(100)는 3차원 공간정보 데이터 획득에 필요한 깊이 정보를 추출하는 ToF 센서와 높은 해상도 및 낮은 노이즈를 가지는 스테레오 센서의 융합을 통해 거리와 센서 데이터의 품질에 따른 기능을 선택적으로 사용함으로써 3차원 실내외 공간 스캔 품질을 향상시킨다. 융합 장치(100)는 센서부(10) 및 제어부(30)를 포함하고, 출력부(50) 및 저장부(70)를 더 포함할 수 있다.
센서부(10)는 깊이 정보(21) 및 복수의 RGB 이미지 정보(23a, 23b)를 측정한다. 이를 위해 센서부(10)는 ToF 센서(11) 및 스테레오 센서(13)를 포함한다. ToF 센서(11)는 레이저의 반송 시간을 기반으로 거리를 측정하여 3차원 공간정보 데이터를 획득에 필요한 깊이 정보(21)를 생성한다. 스테레오 센서(13)는 복수의 카메라를 통해 높은 해상도 및 낮은 노이즈를 가지는 복수의 RGB 이미지 정보(23a, 23b)를 생성할 수 있으며, 바람직하게는 두 개의 카메라를 통해 두 개의 RGB 이미지 정보를 생성할 수 있다. 여기서 두 개의 RGB 이미지 정보는 왼쪽에 위치한 카메라에서 측정된 RGB 이미지 정보(23a)와 오른쪽에 위치한 카메라에서 측정된 RGB 이미지 정보(23b)로 구분할 수 있다. 센서부(10)는 측정된 정보를 제어부(30)로 전달한다.
제어부(30)는 융합 장치(100)의 전반적인 제어를 수행한다. 제어부(30)는 센서부(10)로부터 전달된 깊이 정보(21) 및 복수의 RGB 이미지 정보(23a, 23b)를 각각 기 설정된 전처리를 수행한다. 제어부(30)는 깊이 정보(21)를 데이터 보간(41)하고, 복수의 RGB 이미지 정보(23a, 23b)를 정합하는 전처리를 수행한다. 이때 제어부(30)는 스테레오 알고리즘(43)을 이용하여 복수의 RGB 이미지 정보(23a, 23b)를 정합할 수 있다. 제어부(30)는 전처리된 깊이 정보 및 RGB 이미지 정보를 통해 검출된 객체를 융합한다. 여기서 ToF 센서(11) 및 스테레오 센서(13)는 하드웨어 성능에 따른 거리, 해상도, 외부 환경의 빛 반사, 조도 등에 따른 품질이 다를 수 있기 때문에, 제어부(30)는 각 센서의 신뢰도를 추정할 수 있다(45). 즉 제어부(30)는 융합된 깊이 정보 및 RGB 이미지 정보를 기반으로 각 센서가 데이터를 취득할 수 있는 거리 범위에서의 신뢰도를 추정할 수 있다. 제어부(30)는 추정된 신뢰도를 이용하여 각 센서의 기능값을 옵션으로 선택 및 조절한다(47). 제어부(30)는 추정된 신뢰도를 이용하여 각 센서의 거리(distance), 해상도(resolution), 외부 환경의 빛 반사(reflection) 및 조도(illumination) 중 적어도 하나의 기능값을 옵션으로 선택 및 조절할 수 있다. 제어부(30)는 기능 선택 창을 통해 기능값을 옵션을 선택하고 조절할 수 있으나, 이에 한정하지 않는다. 바람직하게는 제어부(30)는 각 기능별로 신뢰도가 가장 높은 수치에 맞도록 기능값을 선택하고 조절할 수 있다. 제어부(30)는 최적화된 기능값을 기반으로 깊이 정보와 RGB 이미지 정보를 융합하여 하나의 불일치 맵(disparity map)을 생성할 수 있다. 여기서 불일치 맵은 깊이 정보와 RGB 이미지 정보를 포함하는 3차원 공간정보일 수 있다.
출력부(50)는 센서부(10)로부터 측정된 정보를 출력하고, 제어부(30)로부터 생성된 불일치 맵을 출력한다. 출력부(50)는 터치스크린 기능을 포함할 수 있으며, 바람직하게는 디스플레이일 수 있다. 디스플레이는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
저장부(70)는 융합 장치(100)가 구동되기 위한 프로그램 또는 알고리즘이 저장된다. 저장부(70)는 센서부(10)로부터 측정된 정보가 저장되고, 제어부(30)로부터 생성된 불일치 맵이 저장된다. 저장부(70)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기메모리, 자기 디스크 및 광디스크 중 적어도 하나의 저장매체를 포함할 수 있다.
도 4는 본 발명의 실시예에 따른 융합 방법을 설명하기 위한 순서도이다.
도 1 및 도 4를 참조하면, 융합 방법은 ToF 센서(11)와 스테레오 센서(13)에서 독립적으로 객체를 검출하고, 검출된 결과를 융합하여 신뢰도를 추정하며, 추정된 신뢰도를 통해 각 센서의 거리, 해상도, 외부 환경의 빛 반사 또는 조도 등 기능에 따라 옵션을 선택하고, 조절할 수 있다. 이를 통해 융합 방법은 3차원 가상 공간을 스캔하는데 객체 검출 품질을 보장하고, 외부 환경에 영향을 최소화할 수 있다.
S110 단계에서, 융합 장치(100)는 ToF 센서(11)를 통해 깊이 정보를 측정한다. 융합 장치(100)는 레이저의 반송 시간을 기반으로 거리를 측정하여 3차원 공간정보 데이터를 획득에 필요한 깊이 정보를 생성한다.
S120 단계에서, 융합 장치(100)는 스테레오 센서(13)를 통해 복수의 RGB 이미지 정보를 측정한다. 융합 장치(100)는 복수의 카메라를 통해 높은 해상도 및 낮은 노이즈를 가지는 복수의 RGB 이미지 정보를 생성할 수 있으며, 바람직하게는 두 개의 카메라를 통해 두 개의 RGB 이미지 정보를 생성할 수 있다.
S130 단계에서, 융합 장치(100)는 깊이 정보를 보간한다. 융합 장치(100)는 깊이 정보를 데이터 보간하여 추후 정보를 융합한 후에도 데이터의 품질을 유지하도록 한다.
S140 단계에서, 융합 장치(100)는 복수의 RGB 이미지 정보를 정합한다. 이때 융합 장치(100)는 스테레오 알고리즘 중 정합하는 알고리즘을 이용하여 복수의 RGB 이미지 정보를 정합할 수 있다.
S150 단계에서, 융합 장치(100)는 신뢰도를 측정한다. 융합 장치(100)는 전처리된 깊이 정보 및 RGB 이미지 정보를 기반으로 각 센서가 데이터를 취득할 수 있는 거리 범위에서의 신뢰도를 추정한다.
S160 단계에서, 융합 장치(100)는 기능을 결정한다. 융합 장치(100)는 추정된 신뢰도를 이용하여 각 센서의 거리, 해상도, 외부 환경의 빛 반사 및 조도 중 적어도 하나의 기능값을 옵션으로 선택 및 조절한다.
S170 단계에서, 융합 장치(100)는 깊이 정보 및 RGB 이미지 정보를 융합한다. 융합 장치(100)는 최적화된 기능값을 기반으로 깊이 정보와 RGB 이미지 정보를 융합하여 하나의 불일치 맵을 생성한다.
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것은 아니며, 기술적 사상의 범주를 이탈함없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
10: 센서부
11: ToF 센서
13: 스테레오 센서
30: 제어부
50: 출력부
70: 저장부
100: 융합 장치

Claims (8)

  1. ToF 센서로부터 깊이 정보를 측정하고, 스테레오 센서로부터 복수의 RGB 이미지 정보를 측정하는 센서부; 및
    상기 깊이 정보 및 상기 복수의 RGB 이미지 정보를 각각 기 설정된 전처리를 수행하고, 상기 전처리된 깊이 정보 및 RGB 이미지 정보를 이용하여 정보에 대한 신뢰도를 추정하며, 상기 추정된 신뢰도를 이용하여 각 센서의 기능값을 옵션으로 선택 및 조절하는 제어부;
    를 포함하는 3차원 공간 스캔용 ToF-스테레오 센서의 융합 장치.
  2. 제 1항에 있어서,
    상기 제어부는,
    상기 깊이 정보를 데이터 보간하고, 상기 복수의 RGB 이미지 정보를 정합하는 전처리를 수행하는 것을 특징으로 하는 3차원 공간 스캔용 ToF-스테레오 센서의 융합 장치.
  3. 제 1항에 있어서,
    상기 제어부는,
    상기 전처리된 깊이 정보 및 RGB 이미지 정보를 기반으로 각 센서가 데이터를 취득할 수 있는 거리 범위에서의 신뢰도를 추정하는 것을 특징으로 하는 3차원 공간 스캔용 ToF-스테레오 센서의 융합 장치.
  4. 제 1항에 있어서,
    상기 제어부는,
    상기 추정된 신뢰도를 이용하여 각 센서의 거리, 해상도, 외부 환경의 빛 반사 및 조도 중 적어도 하나의 기능값을 옵션으로 선택 및 조절하는 것을 특징으로 하는 3차원 공간 스캔용 ToF-스테레오 센서의 융합 장치.
  5. 융합 장치가 깊이 정보 및 복수의 RGB 이미지 정보를 각각 측정하는 단계;
    상기 융합 장치가 상기 깊이 정보 및 상기 복수의 RGB 이미지 정보를 각각 기 설정된 전처리를 수행하는 단계;
    상기 융합 장치가 상기 전처리된 깊이 정보 및 RGB 이미지 정보를 이용하여 정보에 대한 신뢰도를 추정하는 단계; 및
    상기 융합 장치가 상기 추정된 신뢰도를 이용하여 각 센서의 기능값을 옵션으로 선택 및 조절하는 단계;
    를 포함하는 3차원 공간 스캔용 ToF-스테레오 센서의 융합 방법.
  6. 제 5항에 있어서,
    상기 전처리를 수행하는 단계는,
    상기 깊이 정보를 데이터 보간하고, 상기 복수의 RGB 이미지 정보를 정합하는 전처리를 수행하는 것을 특징으로 하는 3차원 공간 스캔용 ToF-스테레오 센서의 융합 방법.
  7. 제 5항에 있어서,
    상기 신뢰도를 추정하는 단계는,
    상기 전처리된 깊이 정보 및 RGB 이미지 정보를 기반으로 각 센서가 데이터를 취득할 수 있는 거리 범위에서의 신뢰도를 추정하는 것을 특징으로 하는 3차원 공간 스캔용 ToF-스테레오 센서의 융합 방법.
  8. 제 5항에 있어서,
    상기 선택 및 조절하는 단계는,
    상기 추정된 신뢰도를 이용하여 각 센서의 거리, 해상도, 외부 환경의 빛 반사 및 조도 중 적어도 하나의 기능값을 옵션으로 선택 및 조절하는 것을 특징으로 하는 3차원 공간 스캔용 ToF-스테레오 센서의 융합 방법.
KR1020210173980A 2021-12-07 2021-12-07 3차원 공간 스캔용 ToF-스테레오 센서의 융합 장치 및 방법 KR20230085627A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210173980A KR20230085627A (ko) 2021-12-07 2021-12-07 3차원 공간 스캔용 ToF-스테레오 센서의 융합 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210173980A KR20230085627A (ko) 2021-12-07 2021-12-07 3차원 공간 스캔용 ToF-스테레오 센서의 융합 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20230085627A true KR20230085627A (ko) 2023-06-14

Family

ID=86744791

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210173980A KR20230085627A (ko) 2021-12-07 2021-12-07 3차원 공간 스캔용 ToF-스테레오 센서의 융합 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20230085627A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102135560B1 (ko) 2018-05-16 2020-07-20 주식회사 유진로봇 카메라와 라이다를 이용한 융합 센서 및 이동체

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102135560B1 (ko) 2018-05-16 2020-07-20 주식회사 유진로봇 카메라와 라이다를 이용한 융합 센서 및 이동체

Similar Documents

Publication Publication Date Title
US9835727B2 (en) Method for optically scanning and measuring an environment
US11513231B2 (en) Field calibration of a structured light range-sensor
US11328446B2 (en) Combining light-field data with active depth data for depth map generation
US10237532B2 (en) Scan colorization with an uncalibrated camera
CN109477710B (zh) 基于点的结构化光系统的反射率图估计
US10535151B2 (en) Depth map with structured and flood light
US10132611B2 (en) Laser scanner
US20200003556A1 (en) Distance sensor including adjustable focus imaging sensor
EP2848003B1 (en) Method and apparatus for acquiring geometry of specular object based on depth sensor
US10565720B2 (en) External IR illuminator enabling improved head tracking and surface reconstruction for virtual reality
US7075625B2 (en) Range finder and method
EP1792282B1 (en) A method for automated 3d imaging
US20120134537A1 (en) System and method for extracting three-dimensional coordinates
KR20190089957A (ko) 부정합 검출 시스템, 복합 현실 시스템, 프로그램 및 부정합 검출 방법
JP7300948B2 (ja) 測量データ処理装置、測量データ処理方法、測量データ処理用プログラム
US20170139046A1 (en) Method for optically scanning and measuring an environment
US11995762B2 (en) Virtual reality system for viewing point cloud volumes while maintaining a high point cloud graphical resolution
JP5624457B2 (ja) 三次元データ処理装置、方法及びプログラム
US20210409662A1 (en) Projection apparatus, system and projection method
US20150229896A1 (en) Projector drift corrected compensated projection
KR20230085627A (ko) 3차원 공간 스캔용 ToF-스테레오 센서의 융합 장치 및 방법
US10964042B2 (en) Detection device, method and storage medium for optically detecting distance from a single viewpoint to an object
JPH11183142A (ja) 三次元画像撮像方法及び三次元画像撮像装置
US20230290077A1 (en) Object identification device and object identification method
KR20230096612A (ko) 3차원 포인트 클라우드를 이용한 3차원 객체 인식 장치 및 방법