KR20160052256A - 가상 특징점을 이용하는 3차원 공간 매핑장치 및 그 방법 - Google Patents

Abstract

본 발명은 가상 특징점을 이용하는 3차원 공간 매핑장치 및 그 방법에 관한 것으로, 가상 특징점을 이용하는 3차원 공간 매핑장치는 초기 매핑부, 추가 매핑부를 포함할 수 있으며, 이를 통해 특징점을 이용해 영상에서 식별된 특징점 사이에 가상 특징점을 삽입 및 카메라 위치이동을 반영한 추가 특징점의 삽입을 통해 카메라로부터 입력되는 거리가 불안정한 상황에서도 안정적인 추적과 카메라의 위치 추정이 가능하게 하는 3차원 공간에 대한 맵 구성 방법을 제공하는 데 목적이 있다.

Description

가상 특징점을 이용하는 3차원 공간 매핑장치 및 그 방법{Three-dimensional space Mapping apparatus using a virtual feature point and method therefor}

본 발명은 3차원 공간 매핑장치 및 그 방법에 관한 것으로, 보다 구체적으로는 구조광 영상 센서와 통상적인 RGB/스테레오 영상을 활용하여 증강현실 및 로봇의 자동 주행에 필요한 지도를 제공하는 가상 특징점을 이용하는 3차원 공간 매핑장치 및 그 방법에 관한 것이다.

증강 현실 및 로봇 응용에서는 구조광 카메라나 RGB 카메라를 이용해 카메라의 시야에 들어오는 물체에 대한 거리를 측정하여, 이를 기반으로 주변 공간에 대한 3차원 맵을 생성하고, 동일 물체의 이동을 추적함으로써 카메라의 위치를 식별하여 반영함으로써 동일 물체에 대해 다른 물체로 인식하는 것을 방비한다.

그러나 구조광 카메라나 스테레오 비전 기반의 거리 측정은 매우 오차가 심하며 매 프레임마다 동일한 위치의 카메라에서도 상이한 거리를 얻게 될 가능성이 높다.

특히, 맵(Map)을 구성하고 추적함에 있어서는 개별 포인트 보다는 특징점을 사용하여 감지된 특징점에 대해서만 비교를 하게 되며, 이때 통상적인 특징점 추출 알고리즘들은 안정적인 특징점 추출을 위해 모서리 등 변화가 심한 지점을 선정하는 것이 보통이다.

이러한 특징점은 통상 객체들의 모서리가 되는 경향이 있는데, 이러한 지점에서는 거리 특정 값의 변이가 매우 커지게 된다.

이로 인해 특징점을 이용해 카메라의 위치를 추정하게 되면 위치 추정 오차가 커지게 되어, 안정적인 위치 파악의 곤란 및 거리 오차로 인해 동일한 특징점을 새로운 특징점으로 오인하여 맵에 추가함으로써 부정확한 맵 구성이 될 수 있다.

본 발명은 특징점을 이용해 영상에서 식별된 특징점 사이에 가상 특징점을 삽입 및 카메라 위치이동을 반영한 추가 특징점의 삽입을 통해 카메라로부터 입력되는 거리가 불안정한 상황에서도 안정적인 추적과 카메라의 위치 추정이 가능하게 하는 3차원 공간에 대한 맵 구성 방법을 제공하는 데 목적이 있다.

가상 특징점을 이용하는 3차원 공간 매핑장치는 이미지 프레임 및 이미지 프레임의 각 픽셀에 대응하는 거리정보를 생성하여 이미지 프레임에 포함된 객체에 대한 프레임 특징점을 추출하고, 프레임 특징점을 통해 각 평면 및 상기 평면에 존재하는 가상 특징점을 추출하여 프레임 특징점과 가상 특징점을 3차원 공간 맵에 삽입하는 초기 매핑부, 이미지 프레임에 시계열적으로 연속되는 추가 이미지 프레임 및 추가 이미지 프레임의 각 픽셀에 대응하는 거리정보를 생성하여 추가 이미지 프레임에 포함된 객체에 대한 추가 특징점을 추출하고, 이를 3차원 공간 맵에 삽입된 특장점들과의 비교를 통해 카메라의 이동위치를 추적하며 추가 특징점을 추적된 이동위치를 기반으로 변환한 좌표계에 적용하여 상기 3차원 공간 맵에 삽입하는 추가 매핑부를 포함하는 것을 특징으로 할 수 있다.

도 1은 본 발명의 실시 예에 따른 3차원 공간 매핑장치의 구성도이다.
도 2는 도 1에 도시된 초기 매핑부의 세부 구성도이다.
도 3은 도 2에 도시된 가상 특징점 추출부의 세부 구성도이다.
도 4는 도 1에 도시된 추가 매핑부의 세부 구성도이다.
도 5a는 본 발명의 실시 예에 따라 추출된 프레임 특징점을 나타낸 도면이다.
도 5b는 본 발명의 실시 예에 따라 추출된 평면 및 가상 특징점을 나타낸 도면이다.
도 6는 본 발명의 실시 예에 따른 3차원 공간 매핑방법의 흐름도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하, 도면을 참조하여 본 발명의 실시 예에 따른 가상 특징점을 이용하는 3차원 공간 매핑장치 및 그 방법에 대하여 설명한다.

도 1은 본 발명의 실시 예에 따른 3차원 공간 매핑장치(1000)의 구성도이다.

도 1을 참조하면 3차원 공간 매핑장치(1000)는 초기 매핑부(100), 추가 매핑부(200)를 포함 할 수 있다.

3차원 공간 매핑장치(1000)는 영상 정보를 수신하여 이를 통해 이미지 프레임을 생성하여 그 프레임 상의 프레임 특징점을 추출하고, 추출된 프레임 특징점의 기하학적 관계를 통해 각 평면 및 평면 위의 가상의 지점을 가상 특징점으로 선정할 수 있으며, 프레임 특징점과 함께 3차원 공간 맵에 삽입하여 3차원 공간 맵의 매핑작업에 활용할 수 있다.

여기서 특징점이란, RGB 영상 및 depth 영상을 포함하는 이미지 및 영상 데이터를 통해 생성된 이미지 프레임에 포함된 객체를 인식하기 위해 사용되는 그 객체의 특징되는 부분에 대한 위치를 의미한다.

초기 매핑부(100)는 영상 제공장치(300)로부터 RGB 영상 및 depth 영상을 포함하는 이미지 또는 영상 데이터를 수신하여 이를 통해 이미지 프레임 및 프레임의 각 픽셀에 대응하는 거리정보를 생성하고, 생성한 이미지 프레임 및 정보에 기반하여 특징점 추출 알고리즘을 통해 프레임 특징점을 추출할 수 있다.

또한 추출된 프레임 특징점을 기준으로 프레임 특징점들이 존재하는 평면들과 각 평면에 존재하는 가상 특징점을 추출할 수 있다.

추출된 프레임 특징점 및 가상 특징점을 3차원 공간 맵(map)에 삽입할 수 있고, 각 특징점들의 삽입을 통하여 초기 이미지 프레임을 대상으로 3차원 공간 맵을 매핑할 수 있다.

특징점 추출 알고리즘 및 초기 매핑부(100)에 대해서는 도 2를 참조하여 더 자세히 설명하도록 한다.

추가 매핑부(200)는 초기 매핑부(100)에서 분석된 첫 번째 프레임 이후의 연속되는 이미지 프레임(이후 '추가 이미지 프레임'이라고 함.) 및 추가 이미지 프레임의 각 픽셀에 대응하는 거리정보를 수신할 수 있다.

그리고 추가 이미지 프레임 및 프레임의 각 픽셀에 대응하는 거리정보로부터 새로운 프레임 특징점(이후 '추가 특징점'이라고 함.)을 추출하여 이를 추정된 카메라 위치를 기반으로 변환한 좌표계에 맞춰 특징점을 초기 매핑부(100)에서 생성된 3차원 공간 맵에 추가할 수 있다.

추가 매핑부(200)는 도 3을 참조하여 더 자세히 설명하도록 한다.

도 2는 도 1에 도시된 초기 매핑부(100)의 세부 구성도이다.

도 2를 참조하면 초기 매핑부(100)는 프레임 특징점 추출부(110), 가상 특징점 추출부(120)를 포함할 수 있다.

프레임 특징점 추출부(110)는 카메라 등의 영상 제공장치(300)로부터 RGB 영상 및 depth 영상을 포함하는 이미지 또는 영상 데이터를 수신하여, 이를 통해 RGB 정보 및 depth 정보를 포함하는 이미지 프레임의 생성 및 이미지 프레임상에 포함된 객체의 각 특징점에 대응하는 거리 계산을 통해 각 픽셀에 대응하는 거리정보를 생성할 수 있다.

여기서 거리 계산은 삼각 측량에 기반한 기존의 스테레오 비전 기술이 적용되어 산출될 수 있고, 구조광 카메라의 경우 카메라로부터 직접 픽셀별 거리가 주어질 수 있다.

그리고 프레임 특징점 추출부(110)는 RGB 정보 및 depth 정보를 포함하는 이미지 프레임을 대상으로 특징점 추출 알고리즘을 수행함으로써 프레임 특징점의 추출작업을 할 수 있다.

또한 특징점에 대응하는 depth 정보로부터 거리를 가져옴으로써 각 특징점의 3차원 좌표를 구할 수도 있다.

이때 특징점 추출은 RGB 정보 및 depth 정보 중 하나 혹은 모두를 반영해서 적용될 수 있으며 Harris corner detector, FAST, SIFT, SUFT 등의 다양한 특징 추출 알고리즘을 활용하여 프레임 특징점의 추출을 할 수 있다.

이러한 방법으로 추출된 프레임 특징점은 m개의 영상 특징점의 집합 F={f1, f2, …fm | fi = (xi, yi, zi)}로 나타낼 수 있다.

가상 특징점 추출부(120)는 추출된 프레임 특징점을 통해 평면을 추출하여, 추출된 각 평면 위에 존재하는 복수의 프레임 특징점들의 기하학적 관계를 이용하여 가상 특징점을 추출할 수 있다.

또한 생성된 가상의 특징점 및 프레임 특징점 추출부(110)에서 추출된 프레임 특징점을 작성된 3차원 공간 맵에 추가하여 매핑을 할 수 있다.

가상 특징점 추출부(120)는 도 3을 참조하여 더 자세히 설명하도록 한다.

도 3은 도 2에 도시된 가상 특징점 추출부(120)의 세부 구성도이다.

도 3을 참조하면 가상 특징점 추출부(120)는 평면 추출부(121), 가상 특징점 계산부(122), 특징점 추가부(123)을 포함할 수 있다.

평면 추출부(121)는 추출된 프레임 특징점들을 이용하여 평면을 추출할 수 있다.

여기서 평면을 추출하는 것은 미리 설정한 추출 알고리즘에 따라 추출될 수 있으며, 일 실시 예에 따르면 추출 알고리즘으로 RANSAC 알고리즘을 사용할 수 있다.

여기서 RANSAC은 Random Sample Consensus의 약자로 전체 데이터 중 모델 인수를 결정하는데 필요한 최소의 데이터를 무작위로 샘플링(sampling)하하며 반복적으로 해를 계산함으로써 최적의 해를 찾는 방법이다.

이 방법은 전통적인 데이터 스무딩 (smoothing) 기법과는 반대의 개념으로 대부분의 방법들이 초기의 해를 획득하기 위해서 가능한 많은 데이터를 사용하고 그 결과로부터 비 유효한 데이터를 제거하는 반면에 이 방법은 가능한 적은 양의 초기 데이터를 사용해서 일관된 데이터의 집합(consensus set)을 확장시켜가는 방식을 사용한다

RANSAC 평면 추출 알고리즘을 사용하는 실시 예에 따르면 3개 이상의 프레임 특징점들이 존재하는 면을 평면으로 특정 할 수 있고 각 평면에 존재하는 프레임 특징점을 산출할 수 있다.

그 결과 평면의 집합 P={p1,p2, …, pk}가 추출되고 P에 속하는 각 평면 px를 기준으로 px상에 위치하는 프레임 특징점 F의 부분 집합인 Sx = {fi | fi ∈ F and fi is on px}가 도출될 수 있다.

가상 특징점 계산부(122)는 평면 추출부(121)에서 추출된 각 평면 위에 존재하는 복수의 프레임 특징점들의 기하학적 관계를 이용하여 가상 특징점을 계산하여 생성할 수 있다.

가상 특징점은 2개의 프레임 특징점이 이루는 선분의 중심점, 3개 이상의 프레임 특징점이 이루는 삼각형 혹은 사각형 등 도형의 무게 중심점을 활용하거나, 선분을 양방향으로 연장한 가상의 좌표 등 2개 이상의 프레임 특징점으로부터 일정한 규칙에 의해 연산될 수 있는 지점으로 설정될 수 있다.

본 발명의 실시 예에 따르면 2개의 프레임 특징점이 이루는 선분의 중심점을 가상 특징점으로 설정할 수 있다.

실시 예에 따르면 각 평면상에 위치하는 임의의 2개의 프레임 특징점으로 이루어진 모든 프레임 특징점의 쌍의 조합 Lx = {(fi, fj) | fi, fj ∈ Sx}을 구하고, Lx의 모든 쌍이 이루는 동일한 평면 위의 선분 (fi, fj)의 중간점을 가상 특징점으로 하여 추출할 수 있다.

즉, 선분 (fi, fj)로부터 생성되는 가상 특징점 v 는 ((xi + xj) / 2, (yi + yj)/2, (zi + zj)/2)의 좌표 값을 가지게 된다.

가상 특징점과 선분의 중간점의 거리가 일정 이하라면 하나의 평면이라고 보는 것이 합리적인 것이므로 이를 평면으로 볼 수 있다.

일 실시 예에 따르면 지나치게 많은 가상 특징점을 방지하기 위해서는 일정한 거리 이상의 특징점들에 대해서만 가상 특징점을 계산하도록 할 수 있다.

특징점 추가부(123)는 프레임 특징점 추출부(110)에서 추출된 프레임 특징점과 가상 특징점 계산부(122)에서 추출된 가상 특징점을 3차원 공간 맵에 삽입하여 이미지 프레임에 포함된 공간 및 객체의 식별을 위한 매핑작업을 할 수 있다.

가상 특징점 계산부(122)에서 가상 특징점의 집합 V (V={v1, v2, …vm | vi = (xi, yi, zi)})가 구해지면 프레임 특징점 추출부(121)에서 생성된 프레임 특징점의 집합 F에 함께, 이들 두 개 집합의 합 U = F ∪ V를 특징점으로 3차원 공간 맵에 삽입하여 매핑에 활용할 수 있다.

도 4는 도 1에 도시된 추가 매핑부(200)의 세부 구성도이다.

추가 매핑부(200)는 추가 특징점 추출부(210), 카메라 위치 추적부(220), 좌표계 변환부(230)을 포함할 수 있다.

추가 특징점 추출부(210)는 RGB 영상 및 depth 영상을 포함하는 이미지 또는 영상 데이터를 수신하여 생성한 추가 이미지 프레임 및 추가 이미지 프레임의 각 픽셀에 대응하는 거리정보를 획득하여 추가 이미지 프레임에 대한 프레임 특징점, 즉 추가 특징점을 추출할 수 있다.

여기서 추가 특징점은 프레임 특징점 추출부(110)에서 프레임 특징점을 추출할 때 사용한 방법으로 추출할 수 있다.

카메라 위치 추적부(220)는 추가 특징점 추출부(210)에서 추출된 추가 특징점들과 추출된 프레임 특징점의 집합 U를 3차원 공간 맵 M의 3차원 공간에서의 대응을 통해 카메라의 위치이동을 추적할 수 있다.

일 실시 예에 따르면 추출된 추가 특징점들과 3차원 공간 맵 M에 삽입된 특징점들의 집합 U를 3차원 공간 맵 M에서 대응시켜 동일한 특징점으로 식별된 특징점들의 이동거리 및 위치를 판독하여 카메라의 위치이동을 추적할 수 있다.

이렇게 추적된 카메라 위치정보를 반영하여 카메라의 이동으로 인해 3차원 공간 맵 M에는 존재하지 않고 새로 발견된 프레임 특징점들의 집합

을 추출할 수 있다.

좌표계 변환부(230)는 카메라의 이동으로 인해 카메라로부터 새로이 입력된 프레임 특징점들의 집합 N과 이전 영상에 기반한 M의 카메라의 위치가 달라 같은 좌표선 상에 두는 것에 오차가 발생하게 되므로 카메라의 위치추적정보를 반영하여 M의 좌표계에 따라 N의 좌표계를 변환할 수 있다.

좌표계를 변환하여 이를 추가 특징점의 집합 N에 적용하여 좌표계를 변환할 수 있고, 변환된 좌표계에 좌표가 적용된 추가 특징점의 집합N'을 생성하여, 이후 3차원 공간 상의 M에 추가함으로써 갱신된 3차원 공간 맵 M'(M' = M ∪ N')을 매핑할 수 있다.

도 5a는 본 발명의 실시 예에 따라 추출된 프레임 특징점을 나타낸 도면이다.

도 5a를 참조하면 이미지 프레임에서 특징점 추출 알고리즘을 통해 추출된 프레임 특징점 F는 검은색 원형점과 같이 위치할 수 있다.

구조광 카메라 및 스테레오 추출이 가능한 영상 카메라를 포함하는 영상 제공장치(300)로부터 RGB 영상 및 depth 영상을 포함하는 이미지 또는 영상 데이터를 수신하여 이로부터 이미지 프레임 및 이미지 프레임상에 포함된 객체의 각 특징점에 대응하는 거리 계산을 통해 각 픽셀에 대응하는 거리정보를 생성할 수 있다.

본 발명의 실시 예에 따르면 이미지 프레임과 산출된 거리정보를 바탕으로 특징점 추출 알고리즘을 통해 도 5a와 같이 프레임 특징점을 구하게 된다.

이 때 특징점 추출 알고리즘은 도 3에서 상술한 것과 같이 Harris corner detector, FAST, SIFT, SUFT 등의 알고리즘을 사용할 수 있으나 이에 한정되지 아니한다.

도 5b는 본 발명의 실시 예에 따라 추출된 평면 및 가상 특징점을 나타낸 도면이다.

도 5b를 참조하면 추출된 평면은 녹색으로, 추출된 가상 특징점은 파란색 원으로 도시되어 있다.

가상 특징점 추출을 위해서는 우선 프레임 특징점의 집합 F를 대상으로 평면 탐지가 가능한 알고리즘을 수행하여 평면을 추출할 수 있다.

본 발명의 실시 예에 따르면 평면 추출 알고리즘은 RANSAC알고리즘을 사용할 수 있으나, 이에 한정되지 아니한다.

일 실시 예에 따르면 RANSAC알고리즘을 사용하여 3개 이상의 프레임 특징점을 가지는 평면 P를 추출할 수 있다.

도 5b를 참조하면 해당 이미지 프레임에서는 천정과 좌측벽, 바닥에 대해 p1, p2, p3, p4의 4개 평면을 식별할 수 있다.

본 발명의 실시 예에 따르면 각 평면에 포함된 프레임 특징점의 쌍들이 이루는 선분의 중간점을 구하여 이를 가상 특징점으로 하여 추출할 수 있고 구해진 가상 특이점은 도 5b과 같이 나타날 수 있다.

도 6는 본 발명의 실시 예에 따른 3차원 공간 매핑방법의 흐름도이다.

카메라 및 영상 제공장치로부터 영상을 획득하여 이를 통해 이미지 프레임 생성 및 각 픽셀에 대응하는 거리를 산출하여 거리정보를 생성한다(410)

여기서 거리 계산은 삼각 측량에 기반한 기존의 스테레오 비전 기술이 적용되어 산출될 수 있고, 구조광 카메라의 경우 카메라로부터 직접 픽셀별 거리가 주어질 수 있다.

생성된 이미지 프레임 및 거리정보에 기반으로 특징점 추출 알고리즘을 수행함으로써 프레임 특징점을 추출한다(420).

여기서 이미지 프레임은 RGB 정보 및/또는 depth 정보를 포함할 수 있으며, 영상 데이터를 분할하여 생성 할 수 있다.

특징점 추출은 RGB 정보 및 depth 정보 중 하나 혹은 모두 대해서 적용될 수 있으며 Harris corner detector, FAST, SIFT, SUFT 등 다양한 특징 추출 알고리즘을 활용하여 프레임 특징점의 추출을 할 수 있으나 이에 한정되지는 않는다.

추출된 프레임 특징점을 통해 평면을 추출한다(430).

평면을 추출하는 것은 RANSAC 알고리즘을 사용할 수 있으나 이에 한정되지는 않는다.

RANSAC 평면 추출 알고리즘을 사용하는 실시 예에 따르면 3개 이상의 프레임 특징점들이 존재하는 면을 평면으로 특정 할 수 있고 각 평면에 존재하는 프레임 특징점을 산출할 수 있다.

추출된 평면 위에 존재하는 프레임 특징점들의 기하학적 특성을 이용하여 가상 특징점을 추출할 수 있다(440).

가상 특징점은 2개의 프레임 특징점이 이루는 선분의 중심점, 3개 이상의 프레임 특징점이 이루는 삼각형 혹은 사각형 등 도형의 무게 중심점을 활용하거나, 선분을 양방향으로 연장한 가상의 좌표 등 2개 이상의 프레임 특징점으로부터 일정한 규칙에 의해 연산될 수 있는 지점으로 설정될 수 있다.

본 발명의 실시 예에 따르면 추출된 각 평면 위에 존재하는 2개 이상의 프레임 특징점들의 기하학적 관계를 이용하여 각 프레임 특징점들이 이루는 선분의 중심점을 가상 특징점으로 계산하여 생성할 수 있다.

도출된 가상 특징점 및 프레임 특징점을 3차원 공간 맵에 추가하여 3차원 공간 맵을 매핑한다. (450).

가상 특징점의 집합 V가 구해지면 앞서 추출한 프레임 특징점의 집합 F에 추가 할 수 있고, 이들 두 개 집합의 합집합 U (U= F ∪ V)를 특징점으로 3차원 공간 맵에 삽입하여 3차원 공간 맵의 매핑에 활용할 수 있다.

분석된 추가 이미지 프레임 및 프레임의 각 픽셀에 대응하는 거리정보를 생성하고(460), 그 프레임에 대한 추가 특징점을 생성한다(470).

추가 특징점을 추출할 때는 프레임 추출에 사용한 알고리즘을 사용할 수 있다.

추출된 추가 특징점들을 앞서 생성한 3차원 공간 맵 M의 3차원 공간에 각각 대응시켜 각 위치를 비교하여 카메라 위치를 추적한다(480).

일 실시 예에 따르면 추출된 추가 특징점들과 3차원 공간 맵 M에 삽입된 특징점들의 집합 U를 3차원 공간 맵 M에서 대응시켜 동일한 특징점으로 식별된 특징점들의 이동거리 및 위치를 판독하여 카메라의 위치이동을 추적할 수 있다.

이렇게 추적된 카메라 위치정보를 반영하여 카메라의 이동으로 인해 M에는 존재하지 않으며 새로 발견된 추가 특징점들의 집합

을 추출한다(490).

추적한 카메라 위치정보에 따라 이동한 카메라 위치에 맞게 좌표계를 변환하고(500), 변환한 좌표계를 적용하여 추가 특징점들을 3차원 공간 맵에 추가한다(510).

여기서 좌표계를 변환하는 이유는 카메라의 이동으로 인해 카메라로부터 새로이 입력된 프레임 특징점들의 집합 N과 이전 영상에 기반한 M의 카메라의 위치가 달라 같은 좌표선 상에 두는 것에 오차가 발생하게 되므로 카메라의 위치추적정보를 반영하여 M의 좌표계에 따라 N의 좌표계를 변환할 수 있다

이렇게 좌표계를 변환하여 이를 추가 특징점의 집합 N에 적용하여 변환된 좌표계에 적용된 추가 특징점의 집합 N'을 생성하여, 이후 3차원 공간 상의 M에 추가함으로써 갱신된 3차원 공간 맵 M'(M' = M ∪ N')을 매핑할 수 있다.

본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

100 : 초기 매핑부 110 : 프레임 특징점 추출부
120 : 가상 특징점 추출부 121 : 평면 추출부
122 : 가상 특징점 계산부 123 : 특징점 추가부
200 : 추가 매핑부 210 : 추가 특징점 추출부
220 : 카메라 위치 추척부 230 : 좌표계 변환부
300 : 영상 제공장치 1000 : 3차원 공간 매칭장치

Claims (1)

1. 이미지 프레임 및 상기 이미지 프레임의 각 픽셀에 대응하는 거리정보를 생성하여 상기 이미지 프레임에 포함된 객체에 대한 프레임 특징점을 추출하고, 상기 프레임 특징점을 통해 각 평면 및 상기 평면에 존재하는 가상 특징점을 추출하여 상기 프레임 특징점과 가상 특징점을 3차원 공간 맵에 삽입하는 초기 매핑부; 및
   상기 이미지 프레임에 시계열적으로 연속되는 추가 이미지 프레임 및 상기 추가 이미지 프레임의 각 픽셀에 대응하는 거리정보를 생성하여 상기 추가 이미지 프레임에 포함된 객체에 대한 추가 특징점을 추출하고, 이를 상기 3차원 공간 맵에 삽입된 특징점들과의 비교를 통해 카메라의 이동위치를 추적하며 상기 추가 특징점을 상기 추적된 이동위치를 기반으로 변환한 좌표계에 적용하여 상기 3차원 공간 맵에 삽입하는 추가 매핑부를 포함하는 것을 특징으로 하는 가상 특징점을 이용하는 3차원 공간 매핑장치.

Images