KR101706093B1 - 3차원 좌표 추출 시스템 및 그 방법 - Google Patents

3차원 좌표 추출 시스템 및 그 방법 Download PDF

Info

Publication number
KR101706093B1
KR101706093B1 KR1020100120312A KR20100120312A KR101706093B1 KR 101706093 B1 KR101706093 B1 KR 101706093B1 KR 1020100120312 A KR1020100120312 A KR 1020100120312A KR 20100120312 A KR20100120312 A KR 20100120312A KR 101706093 B1 KR101706093 B1 KR 101706093B1
Authority
KR
South Korea
Prior art keywords
value
photographing unit
stereo photographing
coordinates
unit
Prior art date
Application number
KR1020100120312A
Other languages
English (en)
Other versions
KR20120058828A (ko
Inventor
윤석준
노경식
형승용
안성환
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100120312A priority Critical patent/KR101706093B1/ko
Priority to US13/298,834 priority patent/US8718326B2/en
Publication of KR20120058828A publication Critical patent/KR20120058828A/ko
Application granted granted Critical
Publication of KR101706093B1 publication Critical patent/KR101706093B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

스테레오 촬영부와 TOF(Time of Flight)　센서부를 통해 획득한 영상정보를 이용하여 높은 신뢰도의 3차원 좌표를 추출할 수 있는 3차원 좌표 추출 시스템 및 그 방법을 제안한다.
스테레오 촬영부를 통해 물체의 3차원 좌표를 획득하고, TOF(Time of flight) 센서부를 통해 물체와의 거리를 측정하여 물체의 3차원 좌표를 획득하고, 스테레오 촬영부를 통해 촬영한 각 영상의 픽셀 좌표와 TOF 센서부를 통해 획득한 3차원 좌표를 맵핑하여 교정(Calibration)하고, 스테레오 촬영부를 통해 획득한 각 픽셀 좌표와 상응하는 TOF 센서부를 통해 측정한 물체와의 거리 값의 유무를 판단하고, 판단에 따라 거리 값 또는 스테레오 촬영부를 통해 획득한 각 픽셀 좌표를 기초로 차이(Disparity) 값을 산정하고, 산정한 차이(Disparity) 값을 기초로 물체의 3차원 좌표를 구함으로써, 스테레오 촬영부 또는 TOF 센서부를 통해 획득되는 부정확한 3차원 좌표에 비해 신뢰도 높은 3차원 좌표를 추출할 수 있다.

Description

3차원 좌표 추출 시스템 및 그 방법{SYSTEM FOR EXTRACTING 3-DIMENSIONAL COORDINATE AND METHOD THEREOF}
스테레오 촬영부와 TOF(Time of Flight)　센서부를 통해 획득한 영상정보를 이용하여 3차원 좌표를 추출하는 3차원 좌표 추출 시스템 및 그 방법에 관한 것이다.
객체 또는 장면으로부터 3차원 정보를 획득하는 방법은 크게 두 가지로 구분될 수 있다. 첫 번째는 3차원 스캐너를 이용한 방법, 구조화된 광선 패턴을 이용한 방법, 깊이 카메라 등의 능동적인 방법이 있다. 이 경우 실시간으로 3차원 정보를 비교적 정확하게 획득할 수 있지만, 장비가 고가이고 깊이 카메라를 제외하고는 동적 객체나 장면의 모델링이 불가능하다는 문제가 있다.
두 번째는 양안식 스테레오 영상을 이용하는 스테레오 정합 방법(Stereo Matching)과 실루엣 기반 방법, 부피 기반 모델링 방법인 복셀 컬러링 방법(Voxel Coloring), 카메라 이동에 의해 촬영된 여러 시점의 정적객체에 대한 3차원 정보를 계산하는 움직임 기반 모양 추정 방법(Shape from Motion), 음영 정보를 이용한 모양추정 방법(Shape from Shading) 등의 수동적인 방법이 있다. 이러한 방법은 여러 시점의 광학 카메라로부터 얻어진 영상을 이용하여 3차원 정보를 생성하는 것으로 첫 번째 방법에 비하여 저가의 비용으로 3차원 정보를 얻을 수 있고, 해상도가 높은 장점이 있다. 그러나, 영상의 특성 즉 조명 조건의 변화, 텍스처, 차폐 영역의 존재로 인하여 깊이 정보의 신뢰도가 첫 번째 방법에 비하여 낮은 단점이 있다.
스테레오 촬영부와 TOF(Time of Flight)　센서부를 통해 획득한 영상정보를 이용하여 높은 신뢰도의 3차원 좌표를 추출할 수 있는 3차원 좌표 추출 시스템 및 그 방법을 제안하고자 한다.
이를 위해 본 발명의 일 측면은　두 개의 촬영렌즈로 각각 물체를 촬영하여 두 개의 영상을 획득한 후, 두 개 영상에 각각 포함되는 각 픽셀 좌표를 기초로 물체의 3차원 좌표를 획득하는 스테레오 촬영부; 물체와의 거리 값을 측정하고 측정된 거리 값을 기초로 물체의 3차원 좌표를 획득하는 TOF(Time of flight) 센서부; 스테레오 촬영부를 통해 획득한 각 픽셀 좌표와 상응하는 TOF 센서부를 통해 측정한 물체와의 거리 값의 유무를 판단하고, 판단에 따라 거리 값 또는 스테레오 촬영부를 통해 획득한 각 픽셀 좌표를 기초로 차이(Disparity) 값을 산정하고, 산정된 차이(Disparity) 값을 기초로 물체의 3차원 좌표를 구하는 제어부를 포함한다.
또한, 스테레오 촬영부를 통해 촬영한 각 영상의 픽셀 좌표와 TOF 센서부를 통해 획득한 3차원 좌표를 맵핑(Mapping)하여 교정(Calibration)하는 교정부를 더 포함한다.
또한, 제어부는 스테레오 촬영부를 통해 획득한 각 픽셀 좌표와 상응하는 TOF 센서부를 통해 측정한 물체와의 거리 값이 있으면 측정된 거리 값을 기초로 차이(Disparity) 값을 산정한다.
또한, 제어부는 거리 값을 기초로 스테레오 촬영부를 통해 획득한 각 픽셀 좌표 사이의 유사도(Correlation)를 연산하고, 연산한 유사도(Correlation)를 기초로 차이(Disparity) 값을 산정한다.
또한, 제어부는 연산한 유사도(Correlation)가 소정의 값 이하인 경우에 거리 값을 기초로 차이(Disparity) 값을 산정한다.
또한, 제어부는 스테레오 촬영부를 통해 획득한 각 픽셀 좌표와 상응하는 TOF 센서부를 통해 측정한 물체와의 거리 값이 없으면, 스테레오 촬영부의 스테레오 프로세싱을 통해 차이(Disparity) 값을 산정한다.
또한, 산정한 차이(Disparity) 값이 소정의 값 이상인지를 판단하여, 산정한 차이(Disparity) 값이 소정의 값 이상일 때에는 산정한 차이(Disparity) 값에 따라 구해진 물체의 3차원 좌표를 제거하고, 소정의 값 미만일 때에는 　산정한 차이(Disparity) 값에 따라 구해진 물체의 3차원 좌표를 제어부로 피드백하는 필터부를 더 포함한다.
본 발명의 다른 측면은 스테레오 촬영부를 통해 두 개의 촬영렌즈로 각각 물체를 촬영하여 두 개의 영상을 획득한 후, 두 개 영상에 각각 포함되는 각 픽셀 좌표를 기초로 물체의 3차원 좌표를 획득하고; TOF(Time of flight) 센서부를 통해 물체와의 거리 값을 측정하고 측정된 거리 값을 기초로 물체의 3차원 좌표를 획득하고;　스테레오 촬영부를 통해 촬영한 각 영상의 픽셀 좌표와 TOF 센서부를 통해 획득한 3차원 좌표를 맵핑하여 교정(Calibration)하고; 스테레오 촬영부를 통해 획득한　각 픽셀 좌표와 상응하는 TOF 센서부를 통해 측정한 물체와의 거리 값의 유무를 판단하고; 판단에 따라 거리 값 또는 스테레오 촬영부를 통해 획득한 각 픽셀 좌표를 기초로 차이(Disparity) 값을 산정하고; 산정한 차이(Disparity) 값을 기초로 물체의 3차원 좌표를 구한다.
또한, 판단에 따라 거리 값 또는 스테레오 촬영부를 통해 획득한 각 픽셀 좌표를 기초로 차이(Disparity) 값을 산정하는 것은, 스테레오 촬영부를 통해 획득한 각 픽셀 좌표와 상응하는 TOF 센서부를 통해 측정한 물체와의 거리 값이 있으면, 측정된 거리 값을 기초로 차이(Disparity) 값을 산정한다.
또한, 판단에 따라 거리 값 또는 스테레오 촬영부를 통해 획득한 각 픽셀 좌표를 기초로 차이(Disparity) 값을 산정하는 것은, 거리 값을 기초로 스테레오 촬영부를 통해 획득한 각 픽셀 좌표 사이의 유사도(Correlation)를 연산하고, 연산한 유사도(Correlation)를 기초로 차이(Disparity) 값을 산정한다.
또한, 연산한 유사도(Correlation)를 기초로 차이(Disparity) 값을 산정하는 것은, 연산한 유사도(Correlation)가 소정의 값 이하인 경우에 거리 값을 기초로 차이(Disparity) 값을 산정한다.
또한, 판단에 따라 거리 값 또는 스테레오 촬영부를 통해 획득한 각 픽셀 좌표를 기초로 차이(Disparity) 값을 산정하는 것은, 스테레오 촬영부를 통해 획득한 각 픽셀 좌표와 상응하는 TOF 센서부를 통해 측정한 물체와의 거리 값이 없으면, 스테레오 촬영부의 스테레오 프로세싱을 통해 차이(Disparity) 값을 산정한다.
또한, 산정한 차이(Disparity) 값이 소정의 값 이상인지를 판단하여, 산정한 차이(Disparity) 값이 소정의 값 이상일 때에는 산정한 차이(Disparity) 값에 따라 구해진 물체의 3차원 좌표를 제거하고, 소정의 값 미만일 때에는 　산정한 차이(Disparity) 값에 따라 물체의 3차원 좌표를 구하는 것을 더 포함한다.
제안된 3차원 좌표 추출 시스템 및 그 방법에 의하면, 스테레오 촬영부 또는 TOF 센서부를 통해 획득되는 부정확한 3차원 좌표에 비해 신뢰도 높은 3차원 좌표를 추출할 수 있다.
도 1은 본 발명의 일 실시예에 따른 3차원 좌표 추출 시스템의 스테레오 촬영부를 도시한 개략도이다.
도 2는 본 발명의 일 실시예에 따른 3차원 좌표 추출 시스템의 TOF 센서부를 도시한 사시도이다.
도 3은　본 발명의 일 실시예에 따른 3차원 좌표 추출 시스템의 구성을 도시한 블록도이다.
도 4는 본 발명의 다른 실시예에 따른 3차원 좌표 추출 방법을 도시한 순서도이다.
도 5는 본 발명의 또 다른 실시예에 따른 3차원 좌표 추출 방법을 도시한 순서도이다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 3차원 좌표 추출 시스템의 스테레오 촬영부를 도시한 개략도이다.
스테레오 촬영부(100)는 두 개의 원점(OL, OR)을 각각 기준으로 하는 두 개의 촬영렌즈(110, 120)를 포함한다.
스테레오 촬영부(100)의 두 개의 원점(왼쪽 촬영렌즈의 원점 OL, 오른쪽 촬영렌즈의 원점 OR) 사이의 거리는 베이스 라인(B)이다.
스테레오 촬영부(100)의 두 개의 원점(OL, OR)으로부터 두 개의 촬영렌즈(110, 120) 면에 수직한 선분의 길이가 초점거리(f)이다.
스테레오 촬영부(100)에 의해 촬영된 물체(5)는 두 개의 촬영렌즈(110, 120) 상에 이미지 좌표(u, v)로 나타낼 수 있다. 왼쪽 촬영렌즈(110) 상에 나타나는 이미지 좌표는 (uL, vL)이고, 오른쪽 촬영렌즈(120) 상에 나타나는 이미지 좌표는 (uR, vR)이다.
스테레오 촬영부(100)를 통해 촬영한 물체(5)의 3차원 좌표(PL)는 PL=(X, Y, Z))로 나타낼 수 있다.
각 이미지 좌표는 다음의 두 수학식에 의한다.
(uL, vL)=(, )
(uR, vR)=(, )
스테레오 촬영부(100)는 두 개의 촬영렌즈(110, 120)로 각각 물체(5)를 촬영하여 두 개의 영상을 획득한 후, 두 개 영상에 각각 포함되는 각 픽셀 좌표((uL, vL), (uR, vR))를 기초로 물체(5)의 3차원 좌표를 획득한다.
스테레오 촬영부(100)는 동시에 두 개의 물체(5)의 영상을 얻을 수 있다. 스테레오 촬영부(100)는 두 개의 촬영렌즈(110, 120)를 소정의 간격을 띄워 놓고 같은 물체(5)를 촬영한다. 스테레오 촬영부(100)는 촬영된 두 개의 영상에 각각 포함되는 각 픽셀 좌표((uL, vL), (uR, vR))의 차이(Disparity) 값을 산정하고, 산정된 차이(Disparity) 값을 통해 물체(5)의 3차원 좌표(PL)를 구한다. 차이(Disparity) 값은 공간상의 동일한 지점이 왼쪽 촬영렌즈(110)와 오른쪽 촬영렌즈(120)의 영상에서 위치하는 좌표((uL, vL), (uR, vR))의 차이다.
각 픽셀 좌표((uL, vL), (uR, vR))의 차이(Disparity) 값 d는 다음 수학식에 의한다.
d=uL-uR=
도 2는 본 발명의 일 실시예에 따른 3차원 좌표 추출 시스템의 TOF 센서부를 도시한 사시도이다.
TOF 센서부(200)는 발광부(230)와 수광부(260)를 포함한다.
발광부(230)는 사인(sin)파 형태의 적외선(Infrared Rays)을 출력을 내면 수광부(260)의 이미지 셀(Cell)이 물체(5)에 반사된 빛을 받아 빛이 이동한 거리를 계산한다. 계산된 빛의 이동 거리를 기초로 TOF 카메라(200)는 이미지 셀을 수 천개 또는 수 만개 모으고 모아진 이미지 셀을 누적하여 3차원 좌표들로 형성된 하나의 영상을 만든다.
TOF 센서부(200)는 레이저 거리 센서, 초음파 센서 등 물체(5)에 대한 거리 정보를 획득할 수 있는 장치를 포함한다.
TOF 센서부(200)는　발광부(230)에서 나온 적외선 광선(IR)이 물체(5)에 반사되어 수광부(260)로 돌아오는 시간을 측정하는 Time of Flight 방식을 이용하여 3차원 거리 정보를 획득하는 장치로, 적외선 강도(intensity) 영상으로부터 3차원 거리 정보를 별도의 복잡한 계산 과정 없이 산출할 수 있어 실시간으로 3차원 거리 정보의 획득이 가능하다.
도 3은　본 발명의 일 실시예에 따른 3차원 좌표 추출 시스템의 구성을 도시한 블록도이다.
도 1에 도시된 스테레오 촬영부(100)는 물체(5)의 표면 재질에 상관없이 물체(5)의 3차원 좌표를 획득할 수 있고, 사용하는 렌즈에 따라 물체(5)의 3차원 좌표 검출 가능 거리를 조절할 수 있다.
그러나, 스테레오 촬영부(100)는 텍스쳐(Texture)가 적은 영역에서 획득되는 3차원 좌표의 오차가 크고, 3차원 좌표를 산정하는데 있어서 시간이 많이 걸린다는 단점이 있다. 또한, 물체(5)에 무늬가 없는 영역이 있거나 가림 현상(Occlusion)이 있는 영역이 있는 경우에는 차이(Disparity) 값을 구할 수 없어서, 물체(5)의 3차원 좌표를 구할 수 없다.
또한, 도 2에 도시된 TOF 센서부(200)는 실시간으로 물체(5)의 3차원 좌표를 획득할 수 있고, 정확한 거리 해상도를 가진다.
그러나 물체(5) 표면의 반사 특성에 따라 물체(5)의 3차원 좌표에 오차가 생긴다. 그리고 발광부(230)에서 나온 적외선 광선(IR)이 물체(5)에 반사되어 수광부(260)로 돌아오는 시간을 측정하는데 있어서, 위상변화(Phase Shift)가 2π이상 일어나게 되면 물체(5)의 3차원 좌표를 정확하게 산정할 수 없는 단점이 있다.
이상에서 살펴본 스테레오 촬영부(100)와 TOF 센서부(200) 각각의 단점을 보완하여 물체(5)의 3차원 좌표를 보다 정확하게 구하기 위해 도 3에 도시된 본 발명의 3차원 좌표 추출 시스템을 제안한다.
3차원 좌표 추출 시스템은 스테레오 촬영부(100), TOF 센서부(200), 교정부(300), 제어부(400), 필터부(500)를 포함한다.
스테레오 촬영부(100)와 TOF 센서부(200)는 각각 획득한 물체(5)의 영상 또는 영상 픽셀의 3차원 좌표를 교정부(300) 또는 제어부(400)에 제공한다.
교정부(300)는 스테레오 촬영부(100)를 통해 촬영한 물체(5)의 각 영상의 픽셀 좌표와 TOF 센서부(200)를 통해 획득한 3차원 좌표를 맵핑(Mapping)하여 교정(Calibration)한다.
제어부(400)는 교정부(300)로부터 물체(5)의 교정(Calibration)된 물체(5)의 3차원 좌표를 입력받는다.
제어부(400)는 스테레오 촬영부(100)를 통해 획득한 각 픽셀 좌표와 상응하는 TOF 센서부(200)를 통해 측정한 물체(5)와의 거리 값의 유무를 판단하고, 판단에 따라 거리 값 또는 스테레오 촬영부(100)를 통해 획득한 각 픽셀 좌표를 기초로 차이(Disparity) 값을 산정하고, 산정된 차이(Disparity) 값을 기초로 물체의 3차원 좌표를 구한다.
필터부(500)는 제어부(400)에서 산정된 차이(Disparity) 값이 소정의 값 이상인지를 판단하여, 산정된 차이(Disparity) 값이 소정의 값 이상일 때에는 산정된 차이(Disparity) 값에 따라 구해진 물체(5)의 3차원 좌표를 제거하고, 소정의 값 미만일 때에는 제어부(400)에 산정된 차이(Disparity) 값에 따라 물체(5)의 3차원 좌표를 보낸다.
도 4는 본 발명의 다른 실시예에 따른 3차원 좌표 추출 방법을 도시한 순서도이다.
먼저, 스테레오 촬영부(100)를 통해 두 개의 촬영렌즈(110, 120)로 각각 물체(5)를 촬영하여 두 개의 영상을 획득한 후, 두 개 영상에 각각 포함되는 각 픽셀 좌표((uL, vL), (uR, vR))를 기초로 물체(5)의 3차원 좌표를 획득한다(600).
다음으로, TOF(Time of flight) 센서부(200)를 통해 물체(5)와의 거리 값을 측정하고 측정된 거리 값을 기초로 물체(5)의 3차원 좌표를 획득한다(610).
다음으로, 스테레오 촬영부(100)를 통해 촬영한 각 영상의 픽셀 좌표와 TOF 센서부(200)를 통해 획득한 3차원 좌표를 맵핑(Mapping)하여 교정(Calibration)한다(620). 이는 TOF 센서부(200)를 통해 획득한 3차원 좌표를 스테레오 촬영부(100)를 통해 획득한 각 영상의 픽셀 좌표에 적용시키기 위한 스케일(Scale) 맞춤 과정이다.
다음으로, 스테레오 촬영부(100)를 통해 획득한 각 픽셀 좌표와 상응하는 TOF 센서부(200)를 통해 측정한 물체(5)와의 거리 값 유무를 판단한다(630).
다음으로, 판단에 따라 거리 값 또는 스테레오 촬영부를 통해 획득한 각 픽셀 좌표를 기초로 차이(Disparity) 값을 산정한다(640).
다음으로, 산정된 차이(Disparity) 값을 기초로 물체(5)의 3차원 좌표를 구한다(650).
도 5는 본 발명의 또 다른 실시예에 따른 3차원 좌표 추출 방법을 도시한 순서도이다.
먼저, 스테레오 촬영부(100)를 통해 두 개의 촬영렌즈(110, 120)로 각각 물체(5)를 촬영하여 두 개의 영상을 획득한 후, 두 개 영상에 각각 포함되는 각 픽셀 좌표((uL, vL), (uR, vR))를 기초로 물체(5)의 3차원 좌표를 획득한다(700).
다음으로, TOF(Time of flight) 센서부(200)를 통해 물체(5)와의 거리 값을 측정하고 측정된 거리 값을 기초로 물체(5)의 3차원 좌표를 획득한다(710).
다음으로, 스테레오 촬영부(100)를 통해 촬영한 각 영상의 픽셀 좌표와 TOF 센서부(200)를 통해 획득한 3차원 좌표를 맵핑(Mapping)하여 교정(Calibration)한다(720). 이는 TOF 센서부(200)를 통해 획득한 3차원 좌표를 스테레오 촬영부(100)를 통해 획득한 각 영상의 픽셀 좌표에 적용시키기 위한 스케일(Scale) 맞춤 과정이다.
다음으로, 스테레오 촬영부(100)를 통해 획득한 각 픽셀 좌표와 상응하는 TOF 센서부(200)를 통해 측정한 물체(5)와의 거리 값 유무를 판단한다(730).
만약 스테레오 촬영부(100)를 통해 획득한 각 픽셀 좌표와 상응하는 TOF 센서부(200)를 통해 측정한 물체(5)와의 거리 값이 있으면, 스테레오 촬영부(100)를 통해 획득한 각 픽셀 좌표 사이의 유사도(Correlation)를 연산한다(740).
유사도(Correlation)를 연산하는 것은 SAD(Sum of Absolute Differences)에 의한다. SAD는 스테레오 촬영부(100)를 통해 획득한 각 픽셀 좌표 사이의 유사도(Correlation)를 판단하는 척도가 된다. SAD는 다음 수학식 (1)에 의해 결정된다.
Figure 112010078638276-pat00001
여기서 x와 y는 스테레오 촬영부(100)를 통해 획득한 각 픽셀 좌표 값이고, 　d는 차이(Disparity) 값이다. winx와 winy는 윈도우(픽셀) 상의 기준 좌표이다. IL은 왼쪽 촬영렌즈(110) 상에 형성되는 픽셀 좌표의 강도(intensity)를 나타내고, IR은 오른쪽 촬영렌즈(120) 상에 형성되는 픽셀 좌표의 강도(intensity)를 나타낸다.
만약 스테레오 촬영부(100)를 통해 획득한 각 픽셀 좌표와 상응하는 TOF 센서부(200)를 통해 측정한 물체(5)와의 거리 값이 없으면, 스테레오 촬영부(100)의 스테레오 프로세싱을 통해 차이(Disparity) 값을 산정한다(750).
여기서 스테레오 촬영부(100)를 통해 획득한 각 픽셀 좌표와 상응하는 TOF 센서부(200)를 통해 측정한 물체(5)와의 거리 값이 없는 경우는, 물체(5)의 재질이 빛 반사 특성이 있어서 TOF 센서부(200)를 통해 거리 값을 측정할 수 없는 경우이다. 또한, 스테레오 촬영부(100)와 TOF 센서부(200)의 영상 픽셀이 맵핑(Mapping)되지 않은 경우도 포함한다.
또한, 스테레오 프로세싱은 Epipolar Geometry를 통해 스캔 라인(Scan Line)에서 한 픽셀씩 이동하면서 유사도(Correlation)가 가장 높은 차이(Disparity) 값을 산정한다.
즉, 위에서 살펴본 수학식 (1)과 다음 수학식 (2)에 의한다.
Figure 112010078638276-pat00002
(2)
여기서, SAD 값이 작은 것이 유사도(Correlation)가 높은 것이며, 유사도(Correlation)가 높은 차이(Disparity) 값을 산정한다.
단계 740 다음으로, 연산한 유사도(Correlation)가 소정의 값 이하인가를 판단한다(760).
만약 연산한 유사도(Correlation)가 소정의 값 이하이면, 거리 값을 기초로 차이(Disparity) 값을 산정한다(770).
만약 연산한 유사도(Correlation)가 소정의 값 미만이면, 스테레오 촬영부(100)의 스테레오 프로세싱을 통해 차이(Disparity) 값을 산정한다. 즉, 단계 750에 의한다.
다음으로, 위에서 살펴본 단계 750과 단계 770에서 산정한 차이(Disparity) 값이 소정의 값 이상인지를 판단한다(780).
이는 산정한 차이(Disparity) 값이 스테레오 촬영부(100)를 통해 획득한 두 개의 영상을 정확하게 반영하고 있는지 판단해서 필터링하는 과정이다.
산정한 차이(Disparity) 값이 스테레오 촬영부(100)를 통해 획득한 두 개의 영상 픽셀의 좌표를 정확하게 반영하기 위해서는 다음 수학식을 만족해야 된다.
Figure 112010078638276-pat00003
수학식이 나타내는 것은, 왼쪽 영상에 해당되는 오른쪽 영상의 위치를 구하고 이를 다시 차이(Disparity) 값을 이용하여 대응되는 왼쪽 영상의 위치를 구할 경우 이 위치가 처음의 위치와 같아야 되는 것을 의미한다.
이를 통해, 스테레오 촬영부(100)와 TOF 센서부(200)의 단점을 극복하면서 신뢰도 있는 3차원 좌표를 구할 수 있다.
산정한 차이(Disparity) 값이 소정의 값 이상인지를 판단한 결과, 산정한 차이(Disparity) 값이 소정의 값 이상일 때에는, 산정한 차이(Disparity) 값에 따라 구해진 물체(5)의 3차원 좌표를 제거한다(790). 여기서, 산정한 차이(Disparity) 값이 소정의 값 이상일 경우는 산정한 차이(Disparity) 값이　물체(5)의 위치를 정확하게 나타내고 있지 않는 경우이다.
산정한 차이(Disparity) 값이 소정의 값 이상인지를 판단한 결과, 산정한 차이(Disparity) 값이 소정의 값 미만일 때에는, 산정한 차이(Disparity) 값에 따라 물체(5)의 3차원 좌표를 구한다(795).
5 : 물체 100 : 스테레오 촬영부
110 : 왼쪽 촬영렌즈 120 : 오른쪽 촬영렌즈
200 : TOF 센서부 300 : 교정부
400 : 제어부 500 : 필터부

Claims (13)

  1. 두 개의 촬영 렌즈로 각각 물체를 촬영하여 두 개의 영상을 획득한 후, 상기 두 개의 영상에 각각 포함되는 각 픽셀 좌표를 기초로 상기 물체의 3차원 좌표를 획득하는 스테레오 촬영부;
    상기 물체와의 거리 값을 측정하고 측정된 거리 값을 기초로 상기 물체의 3차원 좌표를 획득하는 TOF(Time of flight) 센서부;
    상기 스테레오 촬영부를 통해 획득한 상기 각 픽셀 좌표와 상응하는 상기 TOF 센서부를 통해 측정한 물체와의 거리 값의 유무를 판단하고, 상기 판단에 따라 상기 거리 값 또는 상기 스테레오 촬영부를 통해 획득한 상기 각 픽셀 좌표를 기초로 차이(Disparity) 값을 산정하고, 상기 산정된 차이(Disparity) 값을 기초로 상기 물체의 3차원 좌표를 구하는 제어부; 및
    상기 스테레오 촬영부를 통해 촬영한 각 영상의 픽셀 좌표와 상기 TOF 센서부를 통해 획득한 3차원 좌표를 맵핑(Mapping)하여 교정(Calibration)하는 교정부를 포함하되,
    상기 제어부는 상기 스테레오 촬영부를 통해 획득한 상기 각 픽셀 좌표와 상응하는 상기 TOF 센서부를 통해 측정한 물체와의 거리 값이 있으면 상기 측정된 거리 값을 기초로 상기 차이(Disparity) 값을 산정하고,
    상기 제어부는 상기 거리 값을 기초로 상기 스테레오 촬영부를 통해 획득한 상기 각 픽셀 좌표 사이의 유사도(Correlation)를 연산하고, 연산한 유사도(Correlation)를 기초로 상기 차이(Disparity) 값을 산정하는 3차원 좌표 추출 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서,
    상기 제어부는 상기 연산한 유사도(Correlation)가 소정의 값 이하인 경우에 상기 거리 값을 기초로 상기 차이(Disparity) 값을 산정하는 3차원 좌표 추출 시스템.
  6. 제 1 항에 있어서,
    상기 제어부는 상기 스테레오 촬영부를 통해 획득한 상기 각 픽셀 좌표와 상응하는 상기 TOF 센서부를 통해 측정한 물체와의 거리 값이 없으면, 상기 스테레오 촬영부의 스테레오 프로세싱을 통해 상기 차이(Disparity) 값을 산정하는 3차원 좌표 추출 시스템.
  7. 제 5 항 또는 제 6 항에 있어서,
    상기 산정한 차이(Disparity) 값이 소정의 값 이상인지를 판단하여, 상기 산정한 차이(Disparity) 값이 상기 소정의 값 이상일 때에는 상기 산정한 차이(Disparity) 값에 따라 구해진 물체의 3차원 좌표를 제거하고, 상기 소정의 값 미만일 때에는 상기 산정한 차이(Disparity) 값에 따라 구해진 물체의 3차원 좌표를 상기 제어부로 피드백하는 필터부를 더 포함하는 3차원 좌표 추출 시스템.
  8. 스테레오 촬영부를 통해 두 개의 촬영 렌즈로 각각 물체를 촬영하여 두 개의 영상을 획득한 후, 상기 두 개의 영상에 각각 포함되는 각 픽셀 좌표를 기초로 상기 물체의 3차원 좌표를 획득하고;
    TOF(Time of flight) 센서부를 통해 상기 물체와의 거리 값을 측정하고 측정된 거리 값을 기초로 상기 물체의 3차원 좌표를 획득하고;
    상기 스테레오 촬영부를 통해 촬영한 각 영상의 픽셀 좌표와 상기 TOF 센서부를 통해 획득한 3차원 좌표를 맵핑하여 교정(Calibration)하고;
    상기 스테레오 촬영부를 통해 획득한 상기 각 픽셀 좌표와 상응하는 상기 TOF 센서부를 통해 측정한 물체와의 거리 값의 유무를 판단하고;
    상기 판단에 따라 상기 거리 값 또는 상기 스테레오 촬영부를 통해 획득한 상기 각 픽셀 좌표를 기초로 차이(Disparity) 값을 산정하고;
    상기 산정한 차이(Disparity) 값을 기초로 상기 물체의 3차원 좌표를 구하되,
    상기 판단에 따라 상기 거리 값 또는 상기 스테레오 촬영부를 통해 획득한 상기 각 픽셀 좌표를 기초로 차이(Disparity) 값을 산정하는 것은,
    상기 스테레오 촬영부를 통해 획득한 상기 각 픽셀 좌표와 상응하는 상기 TOF 센서부를 통해 측정한 물체와의 거리 값이 있으면, 상기 측정된 거리 값을 기초로 상기 차이(Disparity) 값을 산정하는 것이고,
    상기 판단에 따라 상기 거리 값 또는 상기 스테레오 촬영부를 통해 획득한 상기 각 픽셀 좌표를 기초로 차이(Disparity) 값을 산정하는 것은,
    상기 거리 값을 기초로 상기 스테레오 촬영부를 통해 획득한 상기 각 픽셀 좌표 사이의 유사도(Correlation)를 연산하고, 연산한 유사도(Correlation)를 기초로 상기 차이(Disparity) 값을 산정하는 것인 3차원 좌표 추출 방법.
  9. 삭제
  10. 삭제
  11. 제 8 항에 있어서,
    상기 연산한 유사도(Correlation)를 기초로 상기 차이(Disparity) 값을 산정하는 것은,
    상기 연산한 유사도(Correlation)가 소정의 값 이하인 경우에 상기 거리 값을 기초로 상기 차이(Disparity) 값을 산정하는 3차원 좌표 추출 방법.
  12. 제 8 항에 있어서,
    상기 판단에 따라 상기 거리 값 또는 상기 스테레오 촬영부를 통해 획득한 상기 각 픽셀 좌표를 기초로 차이(Disparity) 값을 산정하는 것은,
    상기 스테레오 촬영부를 통해 획득한 상기 각 픽셀 좌표와 상응하는 상기 TOF 센서부를 통해 측정한 물체와의 거리 값이 없으면, 상기 스테레오 촬영부의 스테레오 프로세싱을 통해 상기 차이(Disparity) 값을 산정하는 3차원 좌표 추출 방법.
  13. 제 11 항 또는 제 12 항에 있어서,
    상기 산정한 차이(Disparity) 값이 소정의 값 이상인지를 판단하여, 상기 산정한 차이(Disparity) 값이 상기 소정의 값 이상일 때에는 상기 산정한 차이(Disparity) 값에 따라 구해진 물체의 3차원 좌표를 제거하고, 상기 소정의 값 미만일 때에는 상기 산정한 차이(Disparity) 값에 따라 물체의 3차원 좌표를 구하는 것을 더 포함하는 3차원 좌표 추출 방법.
KR1020100120312A 2010-11-30 2010-11-30 3차원 좌표 추출 시스템 및 그 방법 KR101706093B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100120312A KR101706093B1 (ko) 2010-11-30 2010-11-30 3차원 좌표 추출 시스템 및 그 방법
US13/298,834 US8718326B2 (en) 2010-11-30 2011-11-17 System and method for extracting three-dimensional coordinates

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100120312A KR101706093B1 (ko) 2010-11-30 2010-11-30 3차원 좌표 추출 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20120058828A KR20120058828A (ko) 2012-06-08
KR101706093B1 true KR101706093B1 (ko) 2017-02-14

Family

ID=46126679

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100120312A KR101706093B1 (ko) 2010-11-30 2010-11-30 3차원 좌표 추출 시스템 및 그 방법

Country Status (2)

Country Link
US (1) US8718326B2 (ko)
KR (1) KR101706093B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022025458A1 (ko) * 2020-07-29 2022-02-03 삼성전자주식회사 전자 장치 및 그 제어 방법

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2208354A4 (en) 2007-10-10 2010-12-22 Gerard Dirk Smits IMAGE PROJECTOR WITH REFLECTIVE LIGHT TRACKING
EP2625845B1 (en) 2010-10-04 2021-03-03 Gerard Dirk Smits System and method for 3-d projection and enhancements for interactivity
US8831336B2 (en) * 2011-11-11 2014-09-09 Texas Instruments Incorporated Method, system and computer program product for detecting an object in response to depth information
KR101918032B1 (ko) 2012-06-29 2018-11-13 삼성전자주식회사 광원의 변화를 사용한 깊이 영상 생성 장치 및 방법
KR101970607B1 (ko) * 2012-12-06 2019-04-19 엘지이노텍 주식회사 3차원 입력장치
KR101879855B1 (ko) * 2012-12-22 2018-07-19 (주)지오투정보기술 영상의 왜곡보정을 통해 공간모델링을 수행하는 수치지도제작 시스템
KR102087595B1 (ko) * 2013-02-28 2020-03-12 삼성전자주식회사 내시경 시스템 및 그 제어방법
JP6096626B2 (ja) * 2013-09-20 2017-03-15 株式会社東芝 計測支援装置、方法及びプログラム
WO2015149027A1 (en) 2014-03-28 2015-10-01 Gerard Dirk Smits Smart head-mounted projection system
WO2016025502A1 (en) 2014-08-11 2016-02-18 Gerard Dirk Smits Three-dimensional triangulation and time-of-flight based tracking systems and methods
KR101534486B1 (ko) * 2014-12-26 2015-07-08 주식회사 한국지중정보 하수관거 3d 원격탐사장비 시스템
US10043282B2 (en) 2015-04-13 2018-08-07 Gerard Dirk Smits Machine vision for ego-motion, segmenting, and classifying objects
CN107534764B (zh) 2015-04-30 2020-03-17 深圳市大疆创新科技有限公司 增强图像分辨率的系统及方法
CN105222724B (zh) * 2015-09-10 2018-09-18 北京天远三维科技股份有限公司 多线阵列激光三维扫描系统及多线阵列激光三维扫描方法
CN106855791A (zh) * 2015-12-08 2017-06-16 上海机电工程研究所 一种红外图像实时处理方法
WO2017106875A1 (en) * 2015-12-18 2017-06-22 Gerard Dirk Smits Real time position sensing of objects
US9813673B2 (en) 2016-01-20 2017-11-07 Gerard Dirk Smits Holographic video capture and telepresence system
KR102647268B1 (ko) * 2016-09-16 2024-03-12 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 장치 및 전자 기기
CN110073243B (zh) 2016-10-31 2023-08-04 杰拉德·迪尔克·施密茨 利用动态体素探测的快速扫描激光雷达
CN106441104B (zh) * 2016-12-26 2019-02-01 中国科学院长春光学精密机械与物理研究所 一种尺寸测量系统
EP3563347A4 (en) 2016-12-27 2020-06-24 Gerard Dirk Smits SYSTEMS AND METHODS FOR MACHINE PERCEPTION
JP7246322B2 (ja) 2017-05-10 2023-03-27 ジェラルド ディルク スミッツ 走査ミラーシステム及び方法
DE112018005610T5 (de) * 2017-10-18 2020-07-02 Sony Semiconductor Solutions Corporation Identifikationseinrichtung und elektronische einrichtung
US10591605B2 (en) 2017-10-19 2020-03-17 Gerard Dirk Smits Methods and systems for navigating a vehicle including a novel fiducial marker system
KR102006148B1 (ko) * 2018-01-16 2019-08-01 한국항공대학교산학협력단 물체의 절대 포인트 클라우드 생성 장치 및 방법
WO2019148214A1 (en) 2018-01-29 2019-08-01 Gerard Dirk Smits Hyper-resolved, high bandwidth scanned lidar systems
US11372320B2 (en) 2020-02-27 2022-06-28 Gerard Dirk Smits High resolution scanning of remote objects with fast sweeping laser beams and signal recovery by twitchy pixel array

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4297464B2 (ja) 1999-12-15 2009-07-15 クラリオン株式会社 ステレオ測位装置及び方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8351653B2 (en) * 2010-08-26 2013-01-08 Honda Motor Co., Ltd. Distance estimation from image motion for moving obstacle detection

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4297464B2 (ja) 1999-12-15 2009-07-15 クラリオン株式会社 ステレオ測位装置及び方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022025458A1 (ko) * 2020-07-29 2022-02-03 삼성전자주식회사 전자 장치 및 그 제어 방법

Also Published As

Publication number Publication date
KR20120058828A (ko) 2012-06-08
US20120134537A1 (en) 2012-05-31
US8718326B2 (en) 2014-05-06

Similar Documents

Publication Publication Date Title
KR101706093B1 (ko) 3차원 좌표 추출 시스템 및 그 방법
Khoshelham Accuracy analysis of kinect depth data
JP7043085B2 (ja) 視点から距離情報を取得するための装置及び方法
CN109961468B (zh) 基于双目视觉的体积测量方法、装置及存储介质
KR101626072B1 (ko) 영상 보정 장치 및 영상 보정 방법
EP2278271B1 (en) Auto-referenced system and apparatus for three-dimensional scanning
EP2313737B1 (en) System for adaptive three-dimensional scanning of surface characteristics
CN108474658B (zh) 地面形态检测方法及系统、无人机降落方法和无人机
WO2019015154A1 (zh) 基于单目三维扫描系统的三维重构方法和装置
US20090196491A1 (en) Method for automated 3d imaging
US8144974B2 (en) Image processing apparatus, method, and program
WO2004044522A1 (ja) ３次元形状計測方法およびその装置
JP2017511495A (ja) マイクロレンズアレイを有する画像化システムの基準線を調節するシステムおよび方法
JP2002152779A (ja) ３次元画像検出装置
Harvent et al. Multi-view dense 3D modelling of untextured objects from a moving projector-cameras system
CN112740065A (zh) 使用视觉惯性测距的增强深度映射
US20210256729A1 (en) Methods and systems for determining calibration quality metrics for a multicamera imaging system
JP2008275366A (ja) ステレオ３次元計測システム
CN116205961A (zh) 多镜头组合影像和激光雷达点云的自动配准方法及其系统
KR101857977B1 (ko) 플래놉틱 카메라와 깊이 카메라를 결합한 영상 장치 및 영상 처리 방법
JP3525712B2 (ja) 三次元画像撮像方法及び三次元画像撮像装置
Agarwal et al. Three dimensional image reconstruction using interpolation of distance and image registration
JP3852285B2 (ja) ３次元形状計測装置および３次元形状計測方法
JPH11223516A (ja) ３次元画像撮像装置
CN111373222A (zh) 光投射系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200120

Year of fee payment: 4