KR102339625B1 - 공간 지도 갱신 장치 및 방법 - Google Patents

공간 지도 갱신 장치 및 방법 Download PDF

Info

Publication number
KR102339625B1
KR102339625B1 KR1020210013630A KR20210013630A KR102339625B1 KR 102339625 B1 KR102339625 B1 KR 102339625B1 KR 1020210013630 A KR1020210013630 A KR 1020210013630A KR 20210013630 A KR20210013630 A KR 20210013630A KR 102339625 B1 KR102339625 B1 KR 102339625B1
Authority
KR
South Korea
Prior art keywords
dimensional
image
information
point
descriptors
Prior art date
Application number
KR1020210013630A
Other languages
English (en)
Inventor
이한규
조규성
박재완
Original Assignee
주식회사 맥스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 맥스트 filed Critical 주식회사 맥스트
Priority to KR1020210013630A priority Critical patent/KR102339625B1/ko
Application granted granted Critical
Publication of KR102339625B1 publication Critical patent/KR102339625B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G06K9/46—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

공간 지도 갱신 장치 및 방법이 개시된다. 일 실시예에 따른 공간 지도 갱신 장치는 3차원 공간에 대한 3차원 점 또는 선(Point or Line) 정보와 상기 3차원 점 또는 선 정보에 대응하는 설명자(Descriptor)들을 포함하는 3차원 공간 지도 및 상기 3차원 공간의 적어도 일부를 촬영한 2차원 영상을 획득하는 획득부; 상기 2차원 영상 및 상기 3차원 공간 지도에 기초하여 상기 2차원 영상의 촬영 위치 정보를 획득하는 위치 식별부; 상기 촬영 위치 정보를 기준으로 상기 3차원 점 또는 선 정보를 상기 2차원 영상에 투영하는 투영부; 및 상기 2차원 영상 중 투영된 상기 3차원 점 또는 선 정보가 존재하는 영역에서 상기 2차원 영상의 설명자를 추출하여, 상기 추출된 설명자에 기초하여 상기 3차원 공간 지도를 갱신하는 갱신부를 포함한다.

Description

공간 지도 갱신 장치 및 방법{APPARATUS AND METHOD FOR UPDATING SPACE MAP}
개시되는 실시예들은 공간 지도를 갱신하는 기술에 관한 것이다.
넓은 실내 공간이나 실외 공간 등의 영역을 촬영한 2차원 영상으로부터 해당 영역의 3차원 구조를 복원하기 위한 방법의 하나로서 SfM(Structure from Motion) 알고리즘이 이용된다. SfM 알고리즘은 영상들의 특징점을 추출하고, 영상들 간의 특징점을 매칭하며, 매칭된 특징점들을 삼각측량으로 계산하여 3차원 공간 지도를 생성한다. 이에 따라, 3차원 공간 지도는 영상들의 특징점을 기술하는 설명자(Descriptor)와 3차원 점이 대응된 데이터베이스 정보를 포함하게 된다.
이렇게 생성된 3차원 공간 지도는 새로운 2차원 영상에서 카메라의 위치를 추정하는 위치 식별(Localization) 기술에 주로 이용된다. 하지만, 카메라의 위치 추정은 기 생성된 3차원 공간 지도에 포함된 데이터베이스 정보를 기준으로 이루어지기 때문에, 동일한 공간이라 하더라도 환경이 상당히 변화한 후 촬영된 2차원 영상을 대상으로는 위치 식별 기술의 정확도가 떨어지는 문제점이 있다.
이를 극복하기 위해, 최초에 3차원 공간 지도를 생성할 당시에 다양한 환경의 2차원 영상을 사용하는 방안이 제시되었으나, 2차원 영상의 수집에 부담이 따를 뿐더러 3차원 공간 지도 생성에 많은 시간이 소요되는 한계가 있다.
또한, 위치 식별 기술을 적용 시 복수의 3차원 공간 지도를 사용하는 방안도 제시되었으나, 이 경우 위치 식별 기술의 수행 시간이 급격히 증가하며, 여전히 새로운 환경 변화에 대응하기는 어렵다는 문제점이 있다.
대한민국 등록특허공보 제10-2158324호 (2020.09.15. 등록)
개시되는 실시예들은 공간 지도에 포함되는 설명자(descriptor)를 추가, 대체 또는 제거하여 공간 지도를 갱신하는 수단을 제공하기 위한 것이다.
개시되는 일 실시예에 따른 공간 지도 갱신 장치는, 3차원 공간에 대한 3차원 점 또는 선(Point or Line) 정보와 상기 3차원 점 또는 선 정보에 대응하는 설명자(Descriptor)들을 포함하는 3차원 공간 지도 및 상기 3차원 공간의 적어도 일부를 촬영한 2차원 영상을 획득하는 획득부; 상기 2차원 영상 및 상기 3차원 공간 지도에 기초하여 상기 2차원 영상의 촬영 위치 정보를 획득하는 위치 식별부; 상기 촬영 위치 정보를 기준으로 상기 3차원 점 또는 선 정보를 상기 2차원 영상에 투영하는 투영부; 및 상기 2차원 영상 중 투영된 상기 3차원 점 또는 선 정보가 존재하는 영역에서 상기 2차원 영상의 설명자를 추출하여, 상기 추출된 설명자에 기초하여 상기 3차원 공간 지도를 갱신하는 갱신부를 포함한다.
상기 3차원 공간 지도는, 상기 3차원 점 또는 선 정보 및 상기 3차원 점 또는 선 정보 중 적어도 일부와 매칭되는 설명자들을 데이터베이스 형태로 포함할 수 있다.
상기 위치 식별부는, 상기 2차원 영상에서 복수의 특징점을 추출하고, 상기 추출된 복수의 특징점의 설명자들과 상기 3차원 점 또는 선 정보에 대응하는 설명자들을 비교하여 상기 추출된 복수의 특징점 중 적어도 일부와 상기 3차원 점 또는 선 정보 중 적어도 일부를 매칭하고, 상기 매칭의 결과 생성된 2차원-3차원 매칭 관계에 기초하여 상기 촬영 위치 정보를 획득할 수 있다.
상기 투영부는, 상기 2차원 영상의 해상도(Resolution), 상기 2차원 영상의 시야각(Field of view) 및 상기 2차원 영상을 촬영한 촬영 장치의 내부 파라미터 중 적어도 일부를 이용하여 상기 3차원 점 또는 선 정보를 상기 2차원 영상에 투영할 수 있다.
상기 갱신부는, 상기 추출된 설명자에 기초하여 상기 3차원 공간 지도에 포함된 설명자들로 구성된 데이터베이스를 변경함으로써, 상기 3차원 공간 지도를 갱신할 수 있다.
상기 갱신부는, 상기 추출된 설명자를 상기 데이터베이스에 추가할 수 있다.
상기 갱신부는, 상기 추출된 설명자가 상기 3차원 공간의 현재 환경에 대한 기 설정된 반영 기준을 충족하지 않는 경우, 상기 추출된 설명자를 상기 데이터베이스에 추가함이 없이 상기 3차원 공간 지도에 포함된 설명자들 중 상기 기 설정된 반영 기준을 충족하지 않는 설명자를 상기 데이터베이스에서 삭제할 수 있다.
상기 갱신부는, 상기 3차원 공간 지도에 포함된 설명자들이 상기 데이터베이스에 등록된 시간 정보, 상기 3차원 점 또는 선 정보에 각각 대응될 수 있는 설명자의 최대 개수, 상기 3차원 공간 지도에 포함된 3차원 점 또는 선의 색 정보와 상기 2차원 영상의 색 정보 사이의 연관 정보, 상기 2차원 영상에서 사용자에 의해 지정된 영역, 상기 추출된 설명자와 상기 3차원 공간 지도에 포함된 설명자들에 기초하여 산출된 대푯값 중 적어도 하나에 기초하여, 상기 3차원 공간 지도에 포함된 설명자들의 적어도 일부를 상기 추출된 설명자 또는 상기 추출된 설명자를 이용하여 가공된 정보로 대체할 수 있다.
개시되는 일 실시예에 따른 공간 지도 갱신 방법은, 3차원 공간에 대한 3차원 점 또는 선(Point or Line) 정보와 상기 3차원 점 또는 선 정보에 대응하는 설명자(Descriptor)들을 포함하는 3차원 공간 지도를 획득하는 단계; 상기 3차원 공간의 적어도 일부를 촬영한 2차원 영상을 획득하는 단계; 상기 2차원 영상 및 상기 3차원 공간 지도에 기초하여 상기 2차원 영상의 촬영 위치 정보를 획득하는 단계; 상기 촬영 위치 정보를 기준으로 상기 3차원 점 또는 선 정보를 상기 2차원 영상에 투영하는 단계; 상기 2차원 영상 중 투영된 상기 3차원 점 또는 선 정보가 존재하는 영역에서 상기 2차원 영상의 설명자를 추출하는 단계; 및 상기 추출된 설명자에 기초하여 상기 3차원 공간 지도를 갱신하는 단계를 포함한다.
상기 3차원 공간 지도는, 상기 3차원 점 또는 선 정보 및 상기 3차원 점 또는 선 정보 중 적어도 일부와 매칭되는 설명자들을 데이터베이스 형태로 포함할 수 있다.
상기 촬영 위치 정보를 획득하는 단계는, 상기 2차원 영상에서 복수의 특징점을 추출하는 단계; 상기 추출된 복수의 특징점의 설명자들과 상기 3차원 점 또는 선 정보에 대응하는 설명자들을 비교하여 상기 추출된 복수의 특징점 중 적어도 일부와 상기 3차원 점 또는 선 정보 중 적어도 일부를 매칭하는 단계; 및 상기 매칭의 결과 생성된 2차원-3차원 매칭 관계에 기초하여 상기 촬영 위치 정보를 획득하는 단계를 포함할 수 있다.
상기 투영하는 단계는, 상기 2차원 영상의 해상도(Resolution), 상기 2차원 영상의 시야각(Field of view) 및 상기 2차원 영상을 촬영한 촬영 장치의 내부 파라미터 중 적어도 일부를 이용하여 상기 3차원 점 또는 선 정보를 상기 2차원 영상에 투영할 수 있다.
상기 갱신하는 단계는, 상기 추출된 설명자에 기초하여 상기 3차원 공간 지도에 포함된 설명자들로 구성된 데이터베이스를 변경함으로써, 상기 3차원 공간 지도를 갱신할 수 있다.
상기 갱신하는 단계는, 상기 추출된 설명자를 상기 데이터베이스에 추가할 수 있다.
상기 갱신하는 단계는, 상기 추출된 설명자가 상기 3차원 공간의 현재 환경에 대한 기 설정된 반영 기준을 충족하지 않는 경우, 상기 추출된 설명자를 상기 데이터베이스에 추가함이 없이 상기 3차원 공간 지도에 포함된 설명자들 중 상기 기 설정된 반영 기준을 충족하지 않는 설명자를 상기 데이터베이스에서 삭제할 수 있다.
상기 갱신하는 단계는, 상기 3차원 공간 지도에 포함된 설명자들이 상기 데이터베이스에 등록된 시간 정보, 상기 3차원 점 또는 선 정보에 각각 대응될 수 있는 설명자의 최대 개수, 상기 3차원 공간 지도에 포함된 3차원 점 또는 선의 색 정보와 상기 2차원 영상의 색 정보 사이의 연관 정보, 상기 2차원 영상에서 사용자에 의해 지정된 영역, 상기 추출된 설명자와 상기 3차원 공간 지도에 포함된 설명자들에 기초하여 산출된 대푯값 중 적어도 하나에 기초하여, 상기 3차원 공간 지도에 포함된 설명자들의 적어도 일부를 상기 추출된 설명자 또는 상기 추출된 설명자를 이용하여 가공된 정보로 대체할 수 있다.
개시되는 실시예들에 따르면, 추가로 촬영된 2차원 영상을 이용하여 3차원 영상 내 설명자를 갱신함으로써, 3차원 공간 지도가 생성된 이후 현실에서 발생한 다양한 환경 변화를 손쉽게 3차원 공간 지도에 반영할 수 있다.
또한 개시되는 실시예들에 따르면, 3차원 공간 지도를 생성하는 단계에서 복잡한 환경 변화 양태를 미리 고려할 필요가 없어, 3차원 공간 지도 생성 시 필요한 2차원 영상의 수를 줄이고 신속하게 3차원 공간 지도를 생성할 수 있다.
도 1은 일 실시예에 따른 공간 지도 갱신 장치를 설명하기 위한 블록도
도 2는 일 실시예에 따른 3차원 공간 지도를 갱신하는 원리를 설명하기 위한 예시도
도 3은 일 실시예에 따른 위치 식별 과정을 설명하기 위한 예시도
도 4는 일 실시예에 따른 투영 결과를 나타내는 예시도
도 5는 일 실시예에 따른 공간 지도 갱신 방법을 설명하기 위한 흐름도
도 6은 일 실시예에 따른 위치 식별 방법을 상세히 설명하기 위한 흐름도
도 7은 일 실시예에 따른 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 개시되는 실시예들은 이에 제한되지 않는다.
실시예들을 설명함에 있어서, 관련된 공지기술에 대한 구체적인 설명이 개시되는 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 개시되는 실시예들에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 일 실시예에 따른 공간 지도 갱신 장치(100)를 설명하기 위한 블록도이다.
도시된 바와 같이, 일 실시예에 따른 공간 지도 갱신 장치(100)는 획득부(110), 위치 식별부(120), 투영부(130) 및 갱신부(140)를 포함한다.
획득부(110)는 3차원 공간 지도 및 3차원 공간의 적어도 일부를 촬영한 2차원 영상을 획득한다. 이때, 3차원 공간 지도는 3차원 공간에 대한 3차원 점 또는 선(Point or Line) 정보와 3차원 점 또는 선 정보에 대응하는 설명자(Descriptor)들을 포함한다.
이하의 실시예들에서, '3차원 공간 지도'는 점과 선으로 이루어진 현실의 3차원 공간을 SfM(Structure from Motion), SLAM(Simultaneous Localization And Mapping), Depth Map Fusion 알고리즘 등을 통해 복원한 가상의 공간 지도를 의미한다.
또한 이하의 실시예들에서, '2차원 영상'은 3차원 공간 지도가 나타내는 3차원 공간의 전부 또는 일부를 동일 또는 별개의 구도로 촬영한 영상을 의미한다. 예를 들어, 3차원 공간 지도가 '지하철 강남역 1번 출구'를 나타내는 공간 지도인 경우, 2차원 영상은 지하철 강남역 1번 출구의 전부 또는 일부를 3차원 공간 지도의 구도와 동일한 구도로 촬영한 영상을 의미할 수도 있고, 45도 기울어진 측면에서 촬영한 영상을 의미할 수도 있다.
한편 이하의 실시예들에서, '설명자'는 3차원 공간 상에서 특징점 등의 국소적인 부분의 특성을 표현하기 위한 특징 벡터(feature vector)를 의미한다. 설명자는, 예를 들어, SIFT(Scale-Invariant Feature Transform), SURF(Speeded-Up Robust Features), HOG(Histogram Of Gradients), ORB(Oriented fast and Rotated Brief), BRISK(Binary Robust Invariant Scalable Keypoints), FREAK(Fast Retina Keypoint) 등의 알고리즘에 의해 생성될 수 있으나, 반드시 이에 한정되는 것은 아니다.
일 실시예에 따르면, 3차원 공간 지도는 3차원 점 또는 선 정보와 설명자들을 데이터베이스 형태로 포함할 수 있다. 이때, 데이터베이스에 포함되는 설명자들은 함께 데이터베이스에 포함된 3차원 점 또는 선 정보 중 적어도 일부와 매칭될 수 있다.
즉 다시 말하면, 하나의 3차원 점 또는 선 정보에 대응되는 설명자는 없을 수도 있고, 한 개 이상 존재할 수도 있다.
위치 식별부(120)는 획득부(110)에서 획득한 2차원 영상 및 3차원 공간 지도에 기초하여 2차원 영상의 촬영 위치 정보를 획득한다.
이하의 실시예들에서 '촬영 위치 정보'는 2차원 영상이 촬영된 카메라의 3차원 공간 상에서의 포즈(pose)를 의미한다. 구체적으로, 촬영 위치 정보는 2차원 영상이 촬영된 카메라의 3차원 공간 지도의 좌표계 상에서의 x축, y축, z축 좌표 및 요(yaw), 롤(roll), 피치(pitch) 값 중 적어도 일부를 포함할 수 있다.
즉 다시 말하면, 위치 식별부(120)는 새로운 2차원 영상으로부터 카메라의 촬영 위치 정보를 파악하는 위치 식별(Localization) 기술을 수행할 수 있다.
일 실시예에 따르면, 위치 식별부(120)는 다음과 같은 과정을 통해 위치 식별 기술을 수행할 수 있다.
(1) 획득부(110)에서 획득한 2차원 영상에서 복수의 특징점을 추출
이하의 실시예들에서, '특징점'은 2차원 영상의 특징을 비교적 잘 나타내는 다각형의 꼭지점이나 선분의 끝점 등을 의미하며, 예를 들어, 문이나 옥외 광고판의 모서리, 자동차의 바퀴 등에 해당할 수 있다.
(2) 추출된 복수의 특징점의 설명자들과 3차원 점 또는 선 정보에 대응하는 설명자들을 비교하여 추출된 복수의 특징점 중 적어도 일부와 3차원 점 또는 선 정보 중 적어도 일부를 매칭
구체적으로, 위치 식별부(120)는 추출된 복수의 특징점의 설명자들 중 3차원 점 또는 선 정보에 대응하는 설명자들과 일치하는 설명자를 갖는 일부 특징점들을 3차원 점 또는 선 정보와 매칭시킬 수 있다.
(3) 매칭의 결과 생성된 2차원-3차원 매칭 관계에 기초하여 2차원 영상의 촬영 위치 정보를 획득
예를 들어, 위치 식별부(120)는 2차원 영상의 특징점 일부, 2차원 영상의 특징점 일부와 매칭되는 3차원 점 또는 선 정보, 2차원 영상을 촬영한 카메라의 내부 파라미터 및 왜곡계수에 기초하여 2차원 영상의 촬영 위치 정보를 획득할 수 있다.
투영부(130)는 획득한 촬영 위치 정보를 기준으로 3차원 공간에 대한 3차원 점 또는 선 정보를 획득부(110)에서 획득한 2차원 영상에 투영한다.
일 실시예에 따르면, 투영부(130)는 2차원 영상의 해상도(Resolution), 2차원 영상의 시야각(Field of view) 및 2차원 영상을 촬영한 촬영 장치의 내부 파라미터 중 적어도 일부를 이용하여 3차원 공간에 대한 3차원 점 또는 선 정보를 획득부(110)에서 획득한 2차원 영상에 투영할 수 있다.
구체적으로, 투영부(130)는 위치 식별부(120)에 의해 획득된 촬영 위치 정보를 바탕으로, 해당 촬영 위치에서 보이는 3차원 점 또는 선 정보를 2차원 영상에 해당하는 평면에 투영할 수 있다.
갱신부(140)는 2차원 영상 중 투영부(130)에 의해 투영된 3차원 점 또는 선 정보가 존재하는 영역에서 2차원 영상의 설명자를 추출하여, 추출된 설명자에 기초하여 3차원 공간 지도를 갱신한다.
구체적으로, 투영부(130)에 의한 투영 결과, 2차원 영상에 해당하는 평면 상에는 투영된 3차원 점 또는 선 정보가 존재하는 영역과, 존재하지 않는 영역이 구분된다. 이때, 갱신부(140)는 3차원 점 또는 선 정보가 존재하는 영역에 존재하는 2차원 영상의 설명자를 추출할 수 있다.
일 실시예에 따르면, 갱신부(140)는 추출된 설명자에 기초하여 3차원 공간 지도에 포함된 실명자들로 구성된 데이터베이스를 변경함으로써, 3차원 공간 지도를 갱신할 수 있다.
구체적으로, 갱신부(140)는 3차원 공간 지도에 포함된 실명자들로 구성된 데이터베이스를 추가, 삭제 및 대체 중 어느 하나의 기법을 통해 변경할 수 있다.
예를 들어, 추가 기법의 경우, 갱신부(140)는 추출된 설명자를 3차원 공간 지도에 포함된 설명자들로 구성된 데이터베이스에 추가함으로써 3차원 공간 지도를 갱신할 수 있다.
이는 하나의 3차원 점 또는 선 정보에 대응하는 설명자를 복수 개 지정하고자 할 때 효과적인 갱신 기법으로, 예를 들어, 동일한 3차원 공간에서 빛의 조사량에 따라 달라지는 2차원 영상의 설명자를 모두 3차원 공간 지도에 반영하고자 하는 경우가 이에 해당할 수 있다.
다른 예로써, 삭제 기법의 경우, 갱신부(140)는 추출된 설명자가 3차원 공간의 현재 환경에 대한 기 설정된 반영 기준을 충족하지 않는 경우, 추출된 설명자를 데이터베이스에 추가함이 없이 3차원 공간 지도에 포함된 설명자들 중 기 설정된 반영 기준을 충족하지 않는 설명자를 데이터베이스에서 삭제함으로써 3차원 공간 지도를 갱신할 수 있다.
이는 환경이 변화하여 기존 데이터베이스 내 설명자의 정확도가 현저히 감소했으나, 새로운 2차원 영상으로부터 추출한 설명자 역시 변화한 환경을 제대로 반영하지 못하는 경우에 효과적인 갱신 기법이다.
또 다른 예로써, 대체 기법의 경우, 갱신부(140)는 3차원 공간 지도에 포함된 설명자들의 적어도 일부를 추출된 설명자로 대체하거나, 추출된 설명자를 이용하여 가공된 정보로 대체할 수 있다. 이때, 갱신부(140)는 3차원 공간 지도에 포함된 기존의 설명자들 중 대체될 설명자를 선별하거나, 추출된 설명자를 가공할 방식을 결정함에 있어서 다음과 같은 요소들 중 적어도 하나를 고려할 수 있다.
(1) 3차원 공간 지도에 포함된 설명자들이 데이터베이스에 등록된 시간 정보
(2) 3차원 점 또는 선 정보에 각각 대응될 수 있는 설명자의 최대 개수
(3) 3차원 공간 지도에 포함된 3차원 점 또는 선의 색 정보와 2차원 영상의 색 정보 사이의 연관 정보
(4) 2차원 영상에서 사용자에 의해 지정된 영역
(5) 추출된 설명자와 3차원 공간 지도에 포함된 설명자들에 기초하여 산출된 대푯값
우선 (1)의 경우, 3차원 공간 지도에 포함된 설명자들 중 데이터베이스에 등록된 시간 정보 순으로 등록된 지 일정 시간이 지난 설명자를 새로운 설명자로 대체할 수 있다.
한편 (2)의 경우, (1)과 결합하여, 어느 3차원 점 또는 선 정보에 허용된 최대 개수만큼 설명자들이 대응되어 있다면, 등록된 시간 정보 순으로 가장 오래된 설명자를 새로운 설명자로 대체할 수 있다.
한편 (3)의 경우, 기존 3차원 공간 지도에 포함된 3차원 점 또는 선의 색 정보와 2차원 영상의 색 정보를 비교하여, 두 색 정보가 일정 기준 이상 차이가 가는 경우에 한하여 해당 3차원 점 또는 선에 대응되어 있는 설명자를 새로운 설명자로 대체할 수 있다.
한편 (4)의 경우, 2차원 영상에서 사용자가 지정한 영역에 해당하는 설명자만을 새로운 설명자로 대체할 수 있다.
한편 (5)의 경우, 추출된 설명자와 기존 3차원 공간 지도에 포함된 설명자들 사이에서 평균, 가중치 평균, 중앙값 등의 대푯값을 계산하여, 기존의 설명자를 새로 계산된 대푯값으로 대체할 수도 있다.
도시된 실시예에서, 각 구성들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 구성을 포함할 수 있다.
또한, 일 실시예에서, 획득부(110), 위치 식별부(120), 투영부(130) 및 갱신부(140)는 물리적으로 구분된 하나 이상의 장치를 이용하여 구현되거나, 하나 이상의 프로세서 또는 하나 이상의 프로세서 및 소프트웨어의 결합에 의해 구현될 수 있으며, 도시된 예와 달리 구체적 동작에 있어 명확히 구분되지 않을 수 있다.
도 2는 일 실시예에 따른 3차원 공간 지도를 갱신하는 과정을 개괄적으로 설명하기 위한 예시도(200)이다.
도 2를 참조하면, 3차원 점 또는 선 정보 및 그와 매칭되는 설명자들이 3차원 공간 지도로서 데이터베이스 형태로 저장될 수 있다.
이때, 새로이 촬영된 2차원 영상이 획득되면, 공간 지도 갱신 장치(100)는 해당 2차원 영상이 촬영된 촬영 위치 정보를 획득할 수 있다.
이후, 공간 지도 갱신 장치(100)는 획득한 촬영 위치 정보를 기준으로 3차원 점 또는 선 정보를 2차원 영상에 투영하고, 2차원 영상 중 투영된 3차원 점 또는 선 정보가 존재하는 영역에서 2차원 영상의 설명자를 추출할 수 있다.
이후, 공간 지도 갱신 장치(100)는 추출된 설명자를 3차원 점 또는 선 정보와 매칭되어 저장된 설명자 셋에 추가하거나, 해당 설명자 셋 중 일부를 추출된 설명자로 대체하거나, 추출된 설명자를 이용하지 않고 해당 설명자 셋 중 일부를 삭제하는 방식으로 3차원 공간 지도를 갱신할 수 있다.
도 3은 일 실시예에 따른 위치 식별 과정을 설명하기 위한 예시도(300)이다.
구체적으로, 도 3의 (a)는 SfM(Structure from Motion) 알고리즘을 이용하여 생성된 3차원 공간 지도, 도 3의 (b)는 도 3의 (a)를 생성하기 위해 사용된 2차원 영상의 일부, 도 3의 (c)는 새로이 촬영된 2차원 영상, 도 3의 (d)는 도 3의 (c)의 특징점과 도 3의 (a)의 3차원 점 정보의 매칭 상태를 나타낸 영상, 도 3의 (e)는 도 3의 (c)에 대한 위치 식별을 수행한 결과를 나타낸 영상이다.
우선 도 3의 (a)를 참조하면, SfM 알고리즘을 이용하여 건물 외부 공간에 대한 3차원 공간 지도가 생성되었으며, 구체적으로는 사람들이 지나다닐 수 있는 통로, 옥외 광고판, 건물 외부 창문, 건물 외부 프레임 등이 나타나 있다. 실제로 도 3의 (b)를 참조하면, 도 3의 (a)에 나타난 요소들이 전부 촬영되어 있음을 알 수 있다.
한편 도 3의 (c)를 참조하면, 새로 촬영된 2차원 영상은 도 3의 (b)와 동일한 건물의 외부 공간을 촬영한 것이지만, 도 3의 (b)에 점선 박스로 표시된 부분과 도 3의 (c)에 점선 박스로 표시된 부분을 비교하면 시간이 경과함에 따라 옥외 광고판에 표시된 광고 내용이 달라졌음을 알 수 있다.
그 결과, 도 3의 (b)를 포함한 2차원 영상들에 기반하여 생성된 도 3의 (a)의 3차원 점 정보와 도 3의 (c)에서 추출된 특징점을 비교하면 도 3의 (d)와 같은 매칭 결과를 획득할 수 있다.
구체적으로, 도 3의 (d)에서 어둡게 표시된 점은 3차원 점 정보와 매칭되지 않은 2차원 영상의 특징점을 나타낸 것으로, 점선 박스로 표시된 옥외 광고판 부분에 매우 많이 분포함을 알 수 있다. 이는 도 3의 (a)와 도 3의 (c)를 비교할 때 주로 옥외 광고판 부분이 변화한 것에서 기인한다.
반면, 도 3의 (d)에서 밝게 표시된 점은 3차원 점 정보와 매칭되는 2차원 영상의 특징점을 나타낸 것으로, 건물 1층의 좌측 하단 광고판 부분에 매우 많이 분포함을 알 수 있다. 이는 도 3의 (a)와 도 3의 (c)를 비교할 때 해당 부분은 거의 변화하지 않은 것에서 기인한다.
한편 도 3의 (e)를 참조하면, 도 3의 (c)에 대한 위치 식별을 수행함에 있어서, 3차원 점 정보와 매칭되는 2차원 영상의 특징점과, 해당 특징점에 매칭된 3차원 점 정보에 기초하여 카메라의 위치 식별이 수행됨을 알 수 있다. 그 결과, 도 3의 (c)가 촬영된 위치 정보는 복수의 특징점들과 이어진 직선이 만나는 2차원 영상의 우측 하단 지점으로 식별된다.
도 4는 일 실시예에 따른 투영 결과를 나타내는 예시도(400)이다.
구체적으로, 도 4의 (a)는 2차원 영상의 촬영 위치 정보를 기준으로 3차원 공간 지도를 2차원 영상의 평면에 투영한 후 투영 결과를 색 정보로 표현한 영상, 도 4의 (b)는 투영 결과를 회색조로 표현한 영상이다.
즉, 공간 지도 갱신 장치(100)는 공간 지도 갱신 장치(100) 외부 또는 내부에 구비된 출력장치(미도시)를 통해 투영 결과를 표현할 수 있으며, 이때 사용자의 선택 또는 기 설정된 사항에 따라 투영 결과를 색 정보로 표현할 것인지, 회색조로 표현할 것인지 결정할 수 있다.
이때, '출력장치'란 투영 결과를 출력하는 하드웨어로서, 예를 들어, 개인용 컴퓨터, 랩탑(Laptop Computer), 스마트폰, 태블릿 PC, 또는 스마트 밴드(Smart Band), 스마트 워치(Smart Watch) 등의 웨어러블 디바이스(Wearable Device)의 형태일 수 있다. 그러나 출력장치는 상술한 종류의 기기에 한정되는 것은 아니며, 이외에도 상기 정의를 만족하는 하드웨어라면 출력장치에 속하는 것으로 해석된다.
도 4의 (a) 및 도 4의 (b)를 참조하면, 영상에서 색이 표현되지 않은 어두운 영역은 3차원 공간 지도의 투영 결과 3차원 점 또는 선 정보가 존재하지 않는 영역을 의미한다. 즉, 도 4의 (a)에서 색 정보가 표현된 영역과, 도 4의 (b)에서 회색조로 표현된 영역은 투영된 3차원 점 또는 선 정보가 존재하는 영역으로, 공간 지도 갱신 장치(100)는 해당 영역에 존재하는 설명자를 추출하여 기존 3차원 공간 지도의 설명자를 갱신하게 된다.
도 5는 일 실시예에 따른 공간 지도 갱신 방법을 설명하기 위한 흐름도이다.
도 5에 도시된 방법은 예를 들어, 상술한 공간 지도 갱신 장치(100)에 의해 수행될 수 있다.
우선, 공간 지도 갱신 장치(100)는 3차원 공간에 대한 3차원 점 또는 선(Point or Line) 정보와 3차원 점 또는 선 정보에 대응하는 설명자(Descriptor)들을 포함하는 3차원 공간 지도를 획득한다(510).
이후, 공간 지도 갱신 장치(100)는 3차원 공간의 적어도 일부를 촬영한 2차원 영상을 획득한다(520).
이후, 공간 지도 갱신 장치(100)는 2차원 영상 및 3차원 공간 지도에 기초하여 2차원 영상의 촬영 위치 정보를 획득한다(530).
이후, 공간 지도 갱신 장치(100)는 촬영 위치 정보를 기준으로 3차원 점 또는 선 정보를 2차원 영상에 투영한다(540).
이후, 공간 지도 갱신 장치(100)는 2차원 영상 중 투영된 3차원 점 또는 선 정보가 존재하는 영역에서 2차원 영상의 설명자를 추출한다(550).
이후, 공간 지도 갱신 장치(100)는 추출된 설명자에 기초하여 3차원 공간 지도를 갱신한다(560).
도 6은 일 실시예에 따른 위치 식별 방법을 상세히 설명하기 위한 흐름도이다.
도 6에 도시된 방법은 예를 들어, 상술한 공간 지도 갱신 장치(100)에 의해 수행될 수 있다.
우선, 공간 지도 갱신 장치(100)는 3차원 공간의 적어도 일부를 촬영한 2차원 영상에서 복수의 특징점을 추출한다(610).
이후, 공간 지도 갱신 장치(100)는 추출된 복수의 특징점의 설명자들과 3차원 점 또는 선 정보에 대응하는 설명자들을 비교하여 추출된 복수의 특징점 중 적어도 일부와 3차원 점 또는 선 정보 중 적어도 일부를 매칭한다(620).
이후, 공간 지도 갱신 장치(100)는 매칭의 결과 생성된 2차원-3차원 매칭 관계에 기초하여 2차원 영상이 촬영된 촬영 위치 정보를 획득한다(630).
상기 도시된 흐름도 도 5 및 도 6에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
도 7은 일 실시예에 따른 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 공간 지도 갱신 장치(100)일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 청구범위 뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.
10: 컴퓨팅 환경
12: 컴퓨팅 장치
14: 프로세서
16: 컴퓨터 판독 가능 저장 매체
18: 통신 버스
20: 프로그램
22: 입출력 인터페이스
24: 입출력 장치
26: 네트워크 통신 인터페이스
100: 공간 지도 갱신 장치
110: 획득부
120: 위치 식별부
130: 투영부
140: 갱신부

Claims (16)

  1. 3차원 공간에 대한 3차원 점 또는 선(Point or Line) 정보와 상기 3차원 점 또는 선 정보에 대응하는 설명자(Descriptor)들을 포함하는 3차원 공간 지도 및 상기 3차원 공간의 적어도 일부를 촬영한 2차원 영상을 획득하는 획득부;
    상기 2차원 영상 및 상기 3차원 공간 지도에 기초하여 상기 2차원 영상의 촬영 위치 정보를 획득하는 위치 식별부;
    상기 촬영 위치 정보를 기준으로 상기 3차원 점 또는 선 정보를 상기 2차원 영상에 투영하는 투영부; 및
    상기 2차원 영상 중 투영된 상기 3차원 점 또는 선 정보가 존재하는 영역에서 상기 2차원 영상의 설명자를 추출하여, 상기 추출된 설명자에 기초하여 상기 3차원 공간 지도를 갱신하는 갱신부를 포함하는, 공간 지도 갱신 장치.
  2. 청구항 1항에 있어서,
    상기 3차원 공간 지도는,
    상기 3차원 점 또는 선 정보 및 상기 3차원 점 또는 선 정보 중 적어도 일부와 매칭되는 설명자들을 데이터베이스 형태로 포함하는, 공간 지도 갱신 장치.
  3. 청구항 1항에 있어서,
    상기 위치 식별부는,
    상기 2차원 영상에서 복수의 특징점을 추출하고, 상기 추출된 복수의 특징점의 설명자들과 상기 3차원 점 또는 선 정보에 대응하는 설명자들을 비교하여 상기 추출된 복수의 특징점 중 적어도 일부와 상기 3차원 점 또는 선 정보 중 적어도 일부를 매칭하고, 상기 매칭의 결과 생성된 2차원-3차원 매칭 관계에 기초하여 상기 촬영 위치 정보를 획득하는, 공간 지도 갱신 장치.
  4. 청구항 1항에 있어서,
    상기 투영부는,
    상기 2차원 영상의 해상도(Resolution), 상기 2차원 영상의 시야각(Field of view) 및 상기 2차원 영상을 촬영한 촬영 장치의 내부 파라미터 중 적어도 일부를 이용하여 상기 3차원 점 또는 선 정보를 상기 2차원 영상에 투영하는, 공간 지도 갱신 장치.
  5. 청구항 1항에 있어서,
    상기 갱신부는,
    상기 추출된 설명자에 기초하여 상기 3차원 공간 지도에 포함된 설명자들로 구성된 데이터베이스를 변경함으로써, 상기 3차원 공간 지도를 갱신하는, 공간 지도 갱신 장치.
  6. 청구항 5항에 있어서,
    상기 갱신부는,
    상기 추출된 설명자를 상기 데이터베이스에 추가하는, 공간 지도 갱신 장치.
  7. 청구항 5항에 있어서,
    상기 갱신부는,
    상기 추출된 설명자가 상기 3차원 공간의 현재 환경에 대한 기 설정된 반영 기준을 충족하지 않는 경우, 상기 추출된 설명자를 상기 데이터베이스에 추가함이 없이 상기 3차원 공간 지도에 포함된 설명자들 중 상기 기 설정된 반영 기준을 충족하지 않는 설명자를 상기 데이터베이스에서 삭제하는, 공간 지도 갱신 장치.
  8. 청구항 5항에 있어서,
    상기 갱신부는,
    상기 3차원 공간 지도에 포함된 설명자들이 상기 데이터베이스에 등록된 시간 정보, 상기 3차원 점 또는 선 정보에 각각 대응될 수 있는 설명자의 최대 개수, 상기 3차원 공간 지도에 포함된 3차원 점 또는 선의 색 정보와 상기 2차원 영상의 색 정보 사이의 연관 정보, 상기 2차원 영상에서 사용자에 의해 지정된 영역, 상기 추출된 설명자와 상기 3차원 공간 지도에 포함된 설명자들에 기초하여 산출된 대푯값 중 적어도 하나에 기초하여, 상기 3차원 공간 지도에 포함된 설명자들의 적어도 일부를 상기 추출된 설명자 또는 상기 추출된 설명자를 이용하여 가공된 정보로 대체하는, 공간 지도 갱신 장치.
  9. 3차원 공간에 대한 3차원 점 또는 선(Point or Line) 정보와 상기 3차원 점 또는 선 정보에 대응하는 설명자(Descriptor)들을 포함하는 3차원 공간 지도를 획득하는 단계;
    상기 3차원 공간의 적어도 일부를 촬영한 2차원 영상을 획득하는 단계;
    상기 2차원 영상 및 상기 3차원 공간 지도에 기초하여 상기 2차원 영상의 촬영 위치 정보를 획득하는 단계;
    상기 촬영 위치 정보를 기준으로 상기 3차원 점 또는 선 정보를 상기 2차원 영상에 투영하는 단계;
    상기 2차원 영상 중 투영된 상기 3차원 점 또는 선 정보가 존재하는 영역에서 상기 2차원 영상의 설명자를 추출하는 단계; 및
    상기 추출된 설명자에 기초하여 상기 3차원 공간 지도를 갱신하는 단계를 포함하는, 공간 지도 갱신 방법.
  10. 청구항 9항에 있어서,
    상기 3차원 공간 지도는,
    상기 3차원 점 또는 선 정보 및 상기 3차원 점 또는 선 정보 중 적어도 일부와 매칭되는 설명자들을 데이터베이스 형태로 포함하는, 공간 지도 갱신 방법.
  11. 청구항 9항에 있어서,
    상기 촬영 위치 정보를 획득하는 단계는,
    상기 2차원 영상에서 복수의 특징점을 추출하는 단계;
    상기 추출된 복수의 특징점의 설명자들과 상기 3차원 점 또는 선 정보에 대응하는 설명자들을 비교하여 상기 추출된 복수의 특징점 중 적어도 일부와 상기 3차원 점 또는 선 정보 중 적어도 일부를 매칭하는 단계; 및
    상기 매칭의 결과 생성된 2차원-3차원 매칭 관계에 기초하여 상기 촬영 위치 정보를 획득하는 단계를 포함하는, 공간 지도 갱신 방법.
  12. 청구항 9항에 있어서,
    상기 투영하는 단계는,
    상기 2차원 영상의 해상도(Resolution), 상기 2차원 영상의 시야각(Field of view) 및 상기 2차원 영상을 촬영한 촬영 장치의 내부 파라미터 중 적어도 일부를 이용하여 상기 3차원 점 또는 선 정보를 상기 2차원 영상에 투영하는, 공간 지도 갱신 방법.
  13. 청구항 9항에 있어서,
    상기 갱신하는 단계는,
    상기 추출된 설명자에 기초하여 상기 3차원 공간 지도에 포함된 설명자들로 구성된 데이터베이스를 변경함으로써, 상기 3차원 공간 지도를 갱신하는, 공간 지도 갱신 방법.
  14. 청구항 13항에 있어서,
    상기 갱신하는 단계는,
    상기 추출된 설명자를 상기 데이터베이스에 추가하는, 공간 지도 갱신 방법.
  15. 청구항 13항에 있어서,
    상기 갱신하는 단계는,
    상기 추출된 설명자가 상기 3차원 공간의 현재 환경에 대한 기 설정된 반영 기준을 충족하지 않는 경우, 상기 추출된 설명자를 상기 데이터베이스에 추가함이 없이 상기 3차원 공간 지도에 포함된 설명자들 중 상기 기 설정된 반영 기준을 충족하지 않는 설명자를 상기 데이터베이스에서 삭제하는, 공간 지도 갱신 방법.
  16. 청구항 13항에 있어서,
    상기 갱신하는 단계는,
    상기 3차원 공간 지도에 포함된 설명자들이 상기 데이터베이스에 등록된 시간 정보, 상기 3차원 점 또는 선 정보에 각각 대응될 수 있는 설명자의 최대 개수, 상기 3차원 공간 지도에 포함된 3차원 점 또는 선의 색 정보와 상기 2차원 영상의 색 정보 사이의 연관 정보, 상기 2차원 영상에서 사용자에 의해 지정된 영역, 상기 추출된 설명자와 상기 3차원 공간 지도에 포함된 설명자들에 기초하여 산출된 대푯값 중 적어도 하나에 기초하여, 상기 3차원 공간 지도에 포함된 설명자들의 적어도 일부를 상기 추출된 설명자 또는 상기 추출된 설명자를 이용하여 가공된 정보로 대체하는, 공간 지도 갱신 방법.
KR1020210013630A 2021-01-29 2021-01-29 공간 지도 갱신 장치 및 방법 KR102339625B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210013630A KR102339625B1 (ko) 2021-01-29 2021-01-29 공간 지도 갱신 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210013630A KR102339625B1 (ko) 2021-01-29 2021-01-29 공간 지도 갱신 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102339625B1 true KR102339625B1 (ko) 2021-12-16

Family

ID=79033101

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210013630A KR102339625B1 (ko) 2021-01-29 2021-01-29 공간 지도 갱신 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102339625B1 (ko)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008176768A (ja) * 2006-12-19 2008-07-31 Hitachi Kokusai Electric Inc 画像処理装置
JP2014222550A (ja) * 2010-09-24 2014-11-27 アイロボット・コーポレーション Ｖｓｌａｍ最適化のための方法
KR20190087266A (ko) * 2018-01-15 2019-07-24 에스케이텔레콤 주식회사 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법
KR20200037168A (ko) * 2020-03-30 2020-04-08 네이버랩스 주식회사 관심 영역 변화를 검출하는 방법 및 시스템
KR20200093271A (ko) * 2019-01-28 2020-08-05 에스케이텔레콤 주식회사 랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체
KR102158324B1 (ko) 2019-05-07 2020-09-21 주식회사 맥스트 점군 정보 생성 장치 및 방법
KR102158316B1 (ko) * 2020-04-14 2020-09-21 주식회사 맥스트 점군 정보 가공 장치 및 방법
KR20200118677A (ko) * 2019-04-08 2020-10-16 네이버랩스 주식회사 이미지를 기반으로 포즈 계산을 위한 지도의 최신성을 유지하는 방법 및 시스템

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008176768A (ja) * 2006-12-19 2008-07-31 Hitachi Kokusai Electric Inc 画像処理装置
JP2014222550A (ja) * 2010-09-24 2014-11-27 アイロボット・コーポレーション Ｖｓｌａｍ最適化のための方法
KR20190087266A (ko) * 2018-01-15 2019-07-24 에스케이텔레콤 주식회사 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법
KR20200093271A (ko) * 2019-01-28 2020-08-05 에스케이텔레콤 주식회사 랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체
KR20200118677A (ko) * 2019-04-08 2020-10-16 네이버랩스 주식회사 이미지를 기반으로 포즈 계산을 위한 지도의 최신성을 유지하는 방법 및 시스템
KR102158324B1 (ko) 2019-05-07 2020-09-21 주식회사 맥스트 점군 정보 생성 장치 및 방법
KR20200037168A (ko) * 2020-03-30 2020-04-08 네이버랩스 주식회사 관심 영역 변화를 검출하는 방법 및 시스템
KR102158316B1 (ko) * 2020-04-14 2020-09-21 주식회사 맥스트 점군 정보 가공 장치 및 방법

Similar Documents

Publication Publication Date Title
Li et al. Monocular real-time volumetric performance capture
US11783496B2 (en) Scalable real-time hand tracking
US11222471B2 (en) Implementing three-dimensional augmented reality in smart glasses based on two-dimensional data
US10572072B2 (en) Depth-based touch detection
Wu et al. Real-time shading-based refinement for consumer depth cameras
CN108256479B (zh) 人脸跟踪方法和装置
US20210279967A1 (en) Object centric scanning
CN104937635B (zh) 基于模型的多假设目标追踪器
US11842514B1 (en) Determining a pose of an object from rgb-d images
Liu et al. Real-time robust vision-based hand gesture recognition using stereo images
US11748937B2 (en) Sub-pixel data simulation system
US10950056B2 (en) Apparatus and method for generating point cloud data
US20220291809A1 (en) Systems and methods for augmented or mixed reality writing
US11568631B2 (en) Method, system, and non-transitory computer readable record medium for extracting and providing text color and background color in image
Nasri et al. A novel approach for dynamic hand gesture recognition using contour-based similarity images
KR20230071052A (ko) 이미지 처리 방법 및 장치
Jiang et al. independent hand gesture recognition with Kinect
KR20230049969A (ko) 글로벌 측위 장치 및 방법
GB2572435A (en) Manipulating a face in an image
KR102339625B1 (ko) 공간 지도 갱신 장치 및 방법
Purps et al. Reconstructing facial expressions of hmd users for avatars in vr
CN114489341A (zh) 手势的确定方法和装置、电子设备和存储介质
CN116686006A (zh) 基于可变形模型的三维扫描配准
KR102094927B1 (ko) Qr 코드 추적 장치 및 방법
GB2550344A (en) Locating and augmenting object features in images

Legal Events

Date Code Title Description
J301 Trial decision

Free format text: TRIAL NUMBER: 2021101002195; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20210825

Effective date: 20211130

GRNO Decision to grant (after opposition)
GRNT Written decision to grant