KR102197732B1

KR102197732B1 - 실내공간의 3차원 지도 생성 방법 및 장치

Info

Publication number: KR102197732B1
Application number: KR1020180116195A
Authority: KR
Inventors: 도락주
Original assignee: 고려대학교 산학협력단
Priority date: 2018-04-06
Filing date: 2018-09-28
Publication date: 2021-01-04
Also published as: KR20190117354A

Abstract

실내공간의 3차원 지도 생성 방법을 개시한다. 본 발명의 일 실시예에 따른 실내공간의 3차원 지도 생성 방법은 실내공간에 대한 이미지인 실내공간이미지를 적어도 하나 획득하는 단계; 상기 적어도 하나의 실내공간이미지에서 상기 실내공간의 구조에 대응되는 영역인 배경영역 및 상기 실내공간에 위치한 물체에 대응되는 영역인 비배경영역을 구분하는 단계; 상기 적어도 하나의 실내공간이미지에서 상기 배경영역을 상기 비배경영역으로 확장하여 적어도 하나의 확장실내공간이미지를 생성하는 단계; 상기 적어도 하나의 확장실내공간이미지와 상기 실내공간에 대한 깊이값의 정보를 포함하는 지형정보에 기초하여 깊이-이미지연계정보를 생성하는 단계; 및 상기 적어도 하나의 확장실내공간이미지, 상기 지형정보 및 상기 깊이-이미지연계정보를 이용하여 상기 실내공간에 대한 3차원 지도를 생성하는 단계를 포함한다.

Description

실내공간의 3차원 지도 생성 방법 및 장치{METHOD AND APPARATUS FOR GENERATING 3D MAP OF INDOOR SPACE}

본 발명은 실내공간에 대한 3차원 지도 생성 방법 및 장치에 관한 것으로, 보다 상세하게는, 실내공간에 대한 이미지와 형상에 관한 정보를 이용하여 가상의 공간에서 3차원으로 실내공간을 표시하는 지도 생성 방법 및 장치에 관한 것이다.

실내공간 모델링과 관련하여 전통적으로 카메라와 레이져센서를 융합하여 레이져센서가 취득한 지형값에 카메라가 취득한 영상값을 혼합하여 컬러 점군데이터를 구성하는 방식이 많이 사용되었고, 건축업계등에서는 FARO, RieGL, LeiCA등의 업체가 이를 상용화 하여 적용하고 있다.

또한, 키넥트(kinect) 혹은 유사한 동작원리를 가지는 3차원 센서를 활용하여 컬러 점군데이트를 취득하고, 센서의 이동궤적을 추정하여 누적된 데이터를 이동궤적상에 누적시키는 방법을 통해 3차원 공간을 모델링할 수 있다.

그러나, 이와 같은 종래의 기술에는 다음과 같은 문제점들이 존재한다.

첫째, 센서 측정과 관련된 여러 형태의 오차(센싱오차, 센서위치 추정오차, 다중센서간 정합오차 등)가 실내공간의 3차원 지도에 영향을 미쳐 사용자의 몰입감을 저하시킬 수 있다. 예컨대, 도 1을 참조하면, 영상센서의 작은 위치추정오차로 인해 기둥에 맺혀야 할 영상정보가 바닥에 맺히게 되고, 이로 인해 실감나는 3차원 지도 작성이 어려워지는 것을 알 수 있다.

둘째, 임의의 실내환경에서 복잡한 실내 구성물의 형상을 영상의 픽셀(pixel)들과 1대1 매칭이 되도록 완벽하게 모델링하지 못할 수 있다. 예컨대, 도 2를 참조하면, 영상과 형상의 불일치가 발생하고 이로 인해 실감나는 3차원 지도 작성이 어려워지는 것을 알 수 있다. 특히 인테리어 공정 이후 샹들리에와 같이 매우 복잡한 형상의 물체가 다수 존재하는 경우 형상과 영상을 1대1로 매칭하는 것은 센서 자체의 측정오차 수준을 넘어서기 때문에 현재의 시스템으로는 사실상 불가능한 과업이다.

셋째, 임의의 실내환경을 온전히 모사하기 위해서는 책상 밑이나 좁은 틈새 등 실내 공간의 모든 곳에 대한 데이터를 모두 획득하여야 한다. 이를 수행하기 위해서는 복잡한 형태의 센서시스템이 필요할 뿐만 아니라, 이러한 센서시스템으로 장시간 데이터를 취득하여야 한다. 또한 기존기술을 실시할 경우에는 움직이는 사람이나 이동중인 물체가 존재할 경우, 센서가 측정하기에 충분한 시간이 주어지지 않고, 센서시스템의 이동에 따라 이동중인 사람이나 물체도 별개로 이동하기 때문에, 이에 대한 지형정보를 작성할 수 없는 한계가 있다. 이에 따라 기존 기술을 이용하는 경우는 이동 중인 사람이나 물체가 없을 때 데이터를 취득하거나, 이동 중인 사람이나 물체가 있을 때는 센서의 시야각을 벗어날 때까지 기다려야 하는 불편함이 있었다.

따라서, 상술한 바와 같은 3차원 지도 생성 시 발생하는 기존의 문제점들을 해결할 수 있는 새로운 3차원 지도 생성 방법 및 장치에 대한 필요성이 대두되고 있다.

관련 선행기술로는 한국등록특허 제10-1835434호(발명의 명칭: 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법, 공개일자: 2017년 1월 18일)가 있다.

본 발명은 상술한 종래의 기술의 문제를 해결하면서, 실내공간에서 취득된 정보를 활용하여 가상공간에서 해당 실내공간과 유사한 3차원 지도를 작성하는 방법 및 장치를 제공하고자 한다.

본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 목적을 달성하기 위해, 본 발명에서 제공하는 실내공간의 3차원 지도 생성 방법은 실내공간에 대한 이미지인 실내공간이미지를 적어도 하나 획득하는 단계; 상기 적어도 하나의 실내공간이미지에서 상기 실내공간의 구조에 대응되는 영역인 배경영역 및 상기 실내공간에 위치한 물체에 대응되는 영역인 비배경영역을 구분하는 단계; 상기 적어도 하나의 실내공간이미지에서 상기 배경영역을 상기 비배경영역으로 확장하여 적어도 하나의 확장실내공간이미지를 생성하는 단계; 상기 적어도 하나의 확장실내공간이미지와 상기 실내공간에 대한 깊이값의 정보를 포함하는 지형정보에 기초하여 깊이-이미지연계정보를 생성하는 단계; 및 상기 적어도 하나의 확장실내공간이미지, 상기 지형정보 및 상기 깊이-이미지연계정보를 이용하여 상기 실내공간에 대한 3차원 지도를 생성하는 단계를 포함한다.

바람직하게는, 상기 비배경영역을 구분하는 단계의 이전에, 상기 실내공간에 대한 깊이값의 정보인 깊이값정보를 획득하는 단계; 및 상기 깊이값정보를 이용하여 상기 실내공간에 대한 외곽 정보인 실내공간외곽정보를 생성하는 단계를 더 포함하고, 상기 지형정보는 상기 깊이값정보 및 상기 실내공간외곽정보를 포함할 수 있다.

바람직하게는, 상기 깊이-이미지연계정보를 생성하는 단계의 이후에, 상기 적어도 하나의 확장실내공간이미지 및 상기 지형정보에 포함된 특징점을 이용하여 상기 지형정보 및 상기 깊이-이미지연계정보 중 적어도 하나를 갱신하는 단계를 포함하고, 상기 3차원 지도를 생성하는 단계는 상기 갱신된 지형정보 및 깊이-이미지연계정보 중 적어도 하나를 이용할 수 있다.

바람직하게는, 상기 깊이-이미지연계정보를 생성하는 단계와 상기 실내공간에 대한 3차원 지도를 생성하는 단계의 사이에, 상기 지형정보 및 상기 깊이-이미지연계정보를 이용하여, 상기 적어도 하나의 실내공간이미지에서 상기 배경영역 및 상기 비배경영역을 재구분하는 단계; 및 상기 적어도 하나의 실내공간이미지에서 상기 배경영역을 상기 비배경영역으로 확장하여 적어도 하나의 확장실내공간이미지를 재생성하는 단계를 포함하고, 상기 3차원 지도를 생성하는 단계는 상기 재생성된 적어도 하나의 확장실내공간이미지를 이용할 수 있다.

바람직하게는, 상기 배경영역 및 상기 비배경영역을 재구분하는 단계는 상기 적어도 하나의 실내공간이미지 중 하나인 대상이미지에 대하여 상기 배경영역 및 상기 비배경영역을 재구분할 때, 상기 깊이-이미지연계정보 및 상기 적어도 하나의 실내공간이미지 중에서 상기 대상이미지를 제외한 적어도 하나의 보조이미지를 더 이용할 수 있다.

바람직하게는, 상기 실내공간에 대한 3차원 지도를 생성하는 단계는 상기 깊이-이미지연계정보에 기초하여, 상기 적어도 하나의 확장실내공간이미지 중에서 상기 3차원 지도 상의 소정의 기준위치에 대응되는 기준포즈와 연계되는 하나의 확장실내공간이미지를 선별하여, 대표이미지로 결정하는 단계; 상기 깊이-이미지연계정보 및 상기 기준포즈를 이용하여, 상기 적어도 하나의 확장실내공간이미지 중에서 상기 대표이미지를 제외한 적어도 하나의 보완이미지를 결정하는 단계; 및 상기 대표이미지, 상기 적어도 하나의 보완이미지, 상기 지형정보 및 상기 깊이-이미지연계정보를 이용하여 3차원 지도를 생성하는 단계를 포함할 수 있다.

바람직하게는, 복수의 물체에 대한 형상 및 이미지에 관한 정보를 포함하는 물체DB로부터, 적어도 하나의 물체에 관한 정보를 포함하는 물체정보를 획득하는 단계; 및 상기 물체정보에 기초하여, 상기 생성된 3차원 지도에 상기 적어도 하나의 물체에 대응되는 적어도 하나의 가상물체를 추가하는 단계를 더 포함할 수 있다.

바람직하게는, 상기 물체정보는 상기 실내공간에 위치한 물체에 관한 정보일 수 있다.

바람직하게는, 상기 물체DB에 새로운 물체에 관한 정보가 추가되거나 기존의 가상물체에 관한 정보가 갱신되면, 상기 3차원 지도에 추가된 상기 적어도 하나의 가상물체를 선택적으로 갱신하는 단계를 더 포함할 수 있다.

바람직하게는, 상기 적어도 하나의 가상물체 중에 빛을 반사하는 재질을 포함하는 가상물체인 반사가상물체가 포함되어 있을 때, 상기 적어도 하나의 확장실내공간이미지 및 상기 지형정보를 이용하여, 상기 3차원 지도 상의 소정의 기준위치에 대응되는 기준포즈에 대하여 상기 반사가상물체를 통해 반사되는 상기 실내공간에 대한 영상인 반사영상을 상기 반사가상물체에 표시하는 단계를 더 포함할 수 있다.

바람직하게는, 상기 적어도 하나의 실내공간이미지로부터 상기 실내공간에 위치하는 광원에 관한 위치 및 밝기에 관한 정보를 포함하는 광원정보를 추정하는 단계; 및 상기 적어도 하나의 확장실내공간이미지에 상기 광원정보에 의한 조명 효과를 반영하는 단계를 더 포함할 수 있다.

또한, 상기 목적을 달성하기 위해, 본 발명에서 제공하는 실내공간의 3차원 지도 생성 장치는 실내공간에 대한 이미지인 실내공간이미지를 적어도 하나 획득하는 획득부; 상기 적어도 하나의 실내공간이미지에서 상기 실내공간의 구조에 대응되는 영역인 배경영역 및 상기 실내공간에 위치한 물체에 대응되는 영역인 비배경영역을 구분하는 구분부; 상기 적어도 하나의 실내공간이미지에서 상기 배경영역을 상기 비배경영역으로 확장하여 적어도 하나의 확장실내공간이미지를 생성하는 확장부; 상기 적어도 하나의 확장실내공간이미지와 상기 실내공간에 대한 깊이값의 정보를 포함하는 지형정보에 기초하여 깊이-이미지연계정보를 생성하는 연계부; 및 상기 적어도 하나의 확장실내공간이미지, 상기 지형정보 및 상기 깊이-이미지연계정보를 이용하여 상기 실내공간에 대한 3차원 지도를 생성하는 생성부를 포함한다.

바람직하게는, 상기 획득부는 상기 실내공간에 대한 깊이값의 정보인 깊이값정보를 더 획득하고, 상기 깊이값정보를 이용하여 상기 실내공간에 대한 외곽 정보인 실내공간외곽정보를 생성하는 외곽정보생성부를 더 포함하고, 상기 지형정보는 상기 깊이값정보 및 상기 실내공간외곽정보를 포함할 수 있다.

바람직하게는, 상기 연계부는 상기 적어도 하나의 확장실내공간이미지 및 상기 지형정보에 포함된 특징점을 이용하여 상기 지형정보 및 상기 깊이-이미지연계정보 중 적어도 하나를 갱신하고, 상기 생성부는 상기 갱신된 지형정보 및 깊이-이미지연계정보 중 적어도 하나를 이용할 수 있다.

바람직하게는, 상기 구분부는 상기 지형정보 및 상기 깊이-이미지연계정보를 이용하여, 상기 적어도 하나의 실내공간이미지에서 상기 배경영역 및 상기 비배경영역을 재구분하고, 상기 확장부는 상기 적어도 하나의 실내공간이미지에서 상기 배경영역을 상기 비배경영역으로 확장하여 적어도 하나의 확장실내공간이미지를 재생성하고, 상기 생성부는 상기 재생성된 적어도 하나의 확장실내공간이미지를 이용할 수 있다.

바람직하게는, 상기 구분부가 상기 적어도 하나의 실내공간이미지 중 하나인 대상이미지에 대하여 상기 배경영역 및 상기 비배경영역을 재구분할 때, 상기 깊이-이미지연계정보 및 상기 적어도 하나의 실내공간이미지 중에서 상기 대상이미지를 제외한 적어도 하나의 보조이미지를 더 이용할 수 있다.

바람직하게는, 상기 생성부는 상기 깊이-이미지연계정보에 기초하여, 상기 적어도 하나의 확장실내공간이미지 중에서 상기 3차원 지도 상의 소정의 기준위치에 대응되는 기준포즈와 연계되는 하나의 확장실내공간이미지를 선별하여, 대표이미지로 결정하고, 상기 깊이-이미지연계정보 및 상기 기준포즈를 이용하여, 상기 적어도 하나의 확장실내공간이미지 중에서 상기 대표이미지를 제외한 적어도 하나의 보완이미지를 결정하고, 상기 대표이미지, 상기 적어도 하나의 보완이미지, 상기 지형정보 및 상기 깊이-이미지연계정보를 이용하여 3차원 지도를 생성할 수 있다.

바람직하게는, 복수의 물체에 대한 형상 및 이미지에 관한 정보를 포함하는 물체DB로부터, 적어도 하나의 물체에 관한 정보를 포함하는 물체정보를 획득하는 DB연결부를 더 포함하고, 상기 생성부는 상기 물체정보에 기초하여, 상기 생성된 3차원 지도에 상기 적어도 하나의 물체에 대응되는 적어도 하나의 가상물체를 추가할 수 있다.

바람직하게는, 상기 물체DB에 새로운 물체에 관한 정보가 추가되거나 기존의 가상물체에 관한 정보가 갱신되면, 상기 생성부가 상기 3차원 지도에 추가된 상기 적어도 하나의 가상물체를 선택적으로 갱신할 수 있다.

바람직하게는, 상기 생성부는 상기 적어도 하나의 가상물체 중에 빛을 반사하는 재질을 포함하는 가상물체인 반사가상물체가 포함되어 있을 때, 상기 적어도 하나의 확장실내공간이미지 및 상기 지형정보를 이용하여, 상기 3차원 지도 상의 소정의 기준위치에 대응되는 기준포즈에 대하여 상기 반사가상물체를 통해 반사되어 보이는 상기 실내공간에 대한 영상인 반사영상을 상기 반사가상물체에 더 표시할 수 있다.

바람직하게는, 상기 적어도 하나의 실내공간이미지로부터 상기 실내공간에 위치하는 광원에 관한 위치 및 밝기에 관한 정보를 포함하는 광원정보를 추정하는 광원추정부; 및 상기 적어도 하나의 확장실내공간이미지에 상기 광원정보에 의한 조명 효과를 반영하는 광원반영부를 더 포함할 수 있다.

본 발명은 센서 측정과 관련된 여러 형태의 오차가 존재하는 경우에도 해당 오차의 영향을 상대적으로 적게 받는 공간의 배경(background) 부분만을 활용함을 통해 다양한 오차들이 존재하는 환경에서도 강인하고 안정적으로 3D 지도를 구축할 수 있는 효과가 있다. 특히, 본 발명은 배경의 경계선(boundary) 부분을 적극적으로 활용하여 강인성과 안정성을 추구하며, 보다 상세하게는 배경부분이 비배경부분과 이루는 내부경계선은 배경부분을 확장하는 방향으로 증강시키고, 배경 내에서 영상의 엣지와 지형의 엣지 부분은 상호 정합성이 높아지는 방향으로 보정함을 통해 강인하고 안정적으로 3D 지도를 구축할 수 있다.

또한, 본 발명은 안정적으로 배경을 구성한 이후 해당 배경내에 비치되어야 할 다른 비배경부분들에 대해 기구축된 물체DB(database)에 누적된 영상 및 형상의 정보를 활용하여 배경 위에 비치하는 방법론을 택하며, 이를 통해 오차에 민감할 뿐 아니라 그 특성상 센서 정보로부터 정밀한 정보구축이 거의 불가능한 물체들에 대해서도 기구축된 물체DB를 활용하여 정밀하게 표현할 수 있는 효과가 있다. 또한, 시간적 차이를 두고 물체DB에 새로운 물체가 등록되거나 갱신된 경우, 이전에 기제작된 지도의 물체들에 대해서도 보다 정밀한 영상 및 형상정보를 갱신된 물체DB를 통해 반영할 수 있게 되며, 이 모든 과정이 컴퓨터 알고리즘을 통해 추가적 노동력의 투입없이 수행될 수 있다.

또한, 본 발명은 배경부분에 대해 일부 정보만을 취득한 경우에도 배경에 대한 구성이 가능하고, 비배경부분에 대해 일부 정보만을 취득한 경우에도 어떤 물체이며 어떤 포즈인지를 강인하게 예측할 수 있기 때문에, 모든 시점에서 모든 데이터를 장시간 취득하지 않고 단시간에 일부정보만을 취득한 것으로도 전체 정보를 유추하여 표현할 수 있는 효과가 있다. 또한, 본 발명은 데이터 취득 중 최종 지도에는 표현되지 않는 것이 바람직한 사람 등의 동적인 객체등이 존재하는 경우에도, 이를 비배경부분으로 간주하여 제거할 수 있는 효과가 있다. 특히, 본 발명에서 실시하는 단일지형-복수영상 표현법을 활용할 경우, 특정 영상정보에서 높은 칸막이 등과 같은 심한 가림으로 인해 배경에 대한 추론 및 확장이 어려운 경우에도, 다른 장소에서 취득된 영상정보를 활용하여 보다 정확하고 효과적으로 배경부분을 복원할 수 있다.

또한, 본 발명은 상기와 같이 단일지형-복수영상 표현법을 활용하여 지도데이터를 구성한 경우, 사용자의 이동에 따라 실내의 자연스러운 조명효과 변화가 가능하여 생동감있는 가상지도를 표현할 수 있는 효과가 있다.

도 1은 기둥의 영상정보가 바닥에 투영되어 시각적 오류가 발생한 예시 도면이다.
도 2는 영상과 형상의 불일치로 3차원 지도에서 물체의 외관에 시각적 오류가 발생한 예시 도면이다.
도 3은 본 발명의 일 실시예에 따른 실내공간의 3차원 지도 생성 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 다른 실시예에 따른 실내공간의 3차원 지도 생성 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 대표이미지와 보완이미지를 이용한 실내공간의 3차원 지도 생성 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 또 다른 실시예에 따른 실내공간의 3차원 지도 생성 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 또 다른 실시예에 따른 실내공간의 3차원 지도 생성 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 실내공간의 3차원 지도 생성 장치를 나타내는 블록도이다.
도 9는 본 발명의 다른 실시예에 따른 실내공간의 3차원 지도 생성 장치를 나타내는 블록도이다.
도 10은 본 발명의 또 다른 실시예에 따른 실내공간의 3차원 지도 생성 장치를 나타내는 블록도이다.
도 11은 데이터 취득을 위한 센서 시스템의 예시로서 카메라, 관성센서, 거리측정 센서가 부착된 바퀴형 이동로봇, 배낭형 시스템, 핸드형 시스템의 도면이다.
도 12는 라이다센서를 이용하여 생성한 3차원 지형 정보의 도면이다.
도 13은 360도 파노라믹 이미지와 깊이값을 메쉬(mesh)형태로 연계시킨 도면이다.
도 14 및 15는 각각 물체가 위치하지 않는 실내공간과 다양한 종류의 물체가 위치한 실내공간을 나타내는 도면이다.
도 16 및 17은 각각 실내공간의 배경영역 및 비배경영역을 나타내는 도면이다.
도 18은 본 발명의 일 실시예에 따른 배경영역을 비배경영역으로 확장한 결과를 나타내는 도면이다.
도 19는 본 발명의 일 실시예에 따른 확장실내공간이미지와 실내구조외곽정보 각각에 포함된 엣지를 나타내는 도면이다.
도 20은 이미지상의 영역이 지형정보에서 동일한 영역을 가지도록 구획한 예시를 나타내는 도면이다.
도 21은 점군데이터로 형성한 지형정보의 다양한 실시예를 나타내는 도면이다.
도 22는 메쉬 형태로 구성한 지형정보의 다양한 실시예를 나타내는 도면이다.
도 23은 실내공간이 특정 포즈를 기준으로 깊이-이미지연계 형태로 표현되고, 사용자뷰어에서의 임의의 시야를 표현하여야 하는 경우 확장실내공간이미지를 활용하는 실시예에 대한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

본 발명을 실시하기 위해서는 이미지정보의 취득이 가능한 센서를 포함한 센서시스템을 활용하여 실내공간에서 데이터를 취득해야 할 수 있다. 특히 센서의 시야각에 비해 실내공간이 훨씬 넓고 크기 때문에, 실내공간의 데이터를 충분히 담아낼 수 있도록 센서를 이동하면서 데이터를 취득해야 할 수 있다. 이때, 센서는 카메라 단독으로 사용하거나, 깊이 측정을 위해 복수의 카메라를 사용할 수 있으며, 관성센서나 거리측량이 가능한 레이져센서 등을 더 결합하여 사용할 수 있다.

이때, 센서값은 실내공간에서 이동 중에 획득되었으므로, 개별 센서 데이터들이 취득된 3차원 포즈(pose)가 각각 상이할 수 있다. 이에 정확한 3차원 지도 작성을 위해서는 개별 센서 데이터들이 취득된 포즈값을 정확히 예측할 필요가 있으며, 이를 위해 슬램(SLAM, Simultaneous Localization And Mapping)등의 기법을 활용하여 3차원 포즈를 예측할 수 있다. 그러나, 센서시스템이 도 11과 같이 이동로봇 등을 활용한 경우, 고정된 높이에서 데이터를 취득하게 되는 바, 2차원 포즈의 상태벡터를 추정하는 것으로도 본 발명을 실시할 수 있게 된다. 즉, 센서취득포즈의 일관성이 확보된 데이터를 취득할 수 있게 된다.

한편, 센서값의 구성은 센서의 종류에 따라 상이할 수 있다. 일예로 센서가 단일 카메라로만 구성된 경우 센서값은 카메라 영상만으로 구성되며, 해당 영상을 활용하여 영상내 특징점을 추출하고, 단일 카메라인 경우 해당 특징점들 간의 상대적 거리를, 복수의 카메라인 경우에는 해당 특징점들 간의 절대 거리를 예측할 수 있다. 특히, 특징점을 추출하지 않고도 단일 카메라의 경우 누적된 영상정보를 활용하여 픽셀의 깊이를 예측할 수 있으며, 복수의 카메라의 경우 복수의 카메라 영상이나 이의 누적된 정보를 활용하여 픽셀의 깊이를 예측할 수도 있다.

나아가, 추가적인 관성센서, 깊이측정센서 등의 정보가 함께 활용된 경우, 각 센서의 고유특성에 맞게 센서정보처리가 가능할 수 있다. 일 예로 도 11과 같이 관성센서 정보가 획득가능한 경우에 이를 활용하여 슬램의 성능을 향상시키거나, 영상정보 처리 시 영상 취득지점에 대한 추정(prediction) 정보로 사용하여 영상 취득지점에 대한 보정(correction)이 보다 용이하도록 할 수 있다. 또한, 관성정보의 가속도값 혹은 각속도값을 활용하여 실제 이동 거리를 예상할 수 있고, 이를 단일 카메라 혹은 복수의 카메라로부터 추출된 깊이값의 스케일(scale)을 보정하는데 활용할 수도 있다.

같은 맥락으로, 라이다(LiDAR)나 키넥트(Kinect)와 같이 레이(ray)단위로 깊이측정이 가능한 센서 정보를 취득가능한 경우, 해당 데이터의 취득 포즈를 슬램을 통해 예측하고, 예측된 포즈를 기반으로 깊이측정데이터를 나열하여 도 12와 같이 3차원 지형정보를 보다 정확하게 예측해 낼 수 있다.

이때, 지형정보는 도 21과 같이 레이별로 측정된 점들을 모아놓은 점군형태(상), 또는 점군에서 물체들을 배제한 배경에 해당하는 점들만을 모아놓은 점군형태(중), 또는 물체들로 가려진 배경부분을 배경부분의 지형적 연속성에 근거하여 복원한 점군형태(하)를 포함할 수 있다.

또한, 지형정보는 도 22와 같이 메쉬(mesh)형태로 확장하여 표현한 경우(좌상: 실외시점, 좌하: 실내시점), 메쉬에서 물체들을 배제한 배경에 해당하는 메쉬들만을 모아둔 경우(우상: 실외시점, 우하: 실내시점)등을 포함할 수 있다.

이때, 3차원 지도의 원데이터의 표현 방법은 센서의 구성 및 실시방법에 따라 매우 다양할 수 있다. 이중 360도 카메라를 사용하는 경우, 도 13과 같이 취득된 영상을 파노라마 이미지로 표현하고, 추정된 깊이값을 메쉬(mesh)형태로 파노라마 이미지에 연계하고, 취득된 영상 혹은 메쉬의 특정 기준점 대비 좌표값을 3D 혹은 2D 포즈형태로 저장할 수 있다. 도 13은 특정 포즈의 데이터에 대한 예시이며, 3차원 지도의 원데이터는 실내공간의 넓이에 따라 다수의 데이터로 구성될 수 있다.

한편, 도 11을 참조하면, 본 발명의 일 실시예에 따른 실내공간의 3차원 지도 생성 장치는 카메라, 관성센서, 라이다센서 등을 포함하는 센서시스템이 부착된 바퀴형 이동로봇으로부터 3차원 지도 생성을 위해 필요한 데이터를 유선 또는 무선 통신을 통해 수신하여 획득할 수 있다. 혹은, 본 발명의 일 실시예에 따른 실내공간의 3차원 지도 생성 장치는 센서시스템이 부착된 바퀴형 이동로봇에 직접 탑재되어, 3차원 지도 생성을 수행할 수 있다. 또는, 본 발명의 일 실시예에 따른 실내공간의 3차원 지도 생성 장치는 배낭형 시스템이나, 소형 스캐너나, 카메라와 관성센서를 구비한 스마트폰 그 자체 혹은 스마트폰 확장장치를 부착한 시스템에 탑재되어, 3차원 지도 생성을 수행할 수 있다.

하지만, 본 발명의 일 실시예에 따른 실내공간의 3차원 지도 생성 장치는 도 11에 예시된 시스템을 이용하는 것으로 한정되지 않으며, 이외에도 다양한 종류의 센서시스템을 포함하는 기기로부터 3차원 지도 생성을 위해 필요한 데이터를 수신하거나, 또는 다양한 종류의 기기에 탑재되어 3차원 지도 생성을 수행할 수 있음은 물론이다.

도 3은 본 발명의 일 실시예에 따른 실내공간의 3차원 지도 생성 방법을 설명하기 위한 흐름도이다.

단계 S310에서는, 3차원 지도 생성 장치가 실내공간에 대한 이미지인 실내공간이미지를 적어도 하나 획득한다.

예컨대, 3차원 지도 생성 장치는 카메라가 부착된 외부기기로부터 또는 3차원 지도 생성 장치에 부착된 카메라로부터 실내공간에 대한 이미지인 실내공간이미지를 적어도 하나 획득할 수 있다.

이때, 실내공간이미지는 실내공간 내부의 다양한 위치에서 그 실내공간을 촬영한 이미지일 수 있다.

단계 S320에서는, 3차원 지도 생성 장치가 적어도 하나의 실내공간이미지에서 실내공간의 구조에 대응되는 영역인 배경영역 및 실내공간에 위치한 물체에 대응되는 영역인 비배경영역을 구분한다.

이때, 배경영역은 실내공간이미지에서 실내공간 자체의 구조에만 해당하는 부분을 의미할 수 있다. 또한, 비배경영역은 실내공간이미지에서 실내공간에 위치한 물체 혹은 이동중인 사람과 같이 최종 지도에서 표현하지 않는 것이 바람직한 부분을 의미할 수 있다.

예컨대, 도 14 내지 17을 참조하면, 도 15는 실내공간에 다양한 물체들(책상, 책장, 의자 등)이 위치하는 실내공간이미지에 해당할 수 있다. 이때, 도 16과 같이 물체들이 제거(흰색으로 표시된 영역)된 부분은 배경영역이고, 도 17과 같이 물체에 대응되는 부분은 비배경영역에 해당할 수 있다. 이때, 도 14를 참조하면, 배경영역은 그 실내공간을 형성하는 건축물 자체의 구조를 의미하거나, 또는 그 건축물 자체의 구조에 건축물에 부착된 구조물(예, 방문, 창문 등)까지 포함한 것을 의미할 수 있다.

한편, 3차원 지도 생성 장치는 적어도 하나의 실내공간이미지에 존재하는 구성요소 중 다른 요소에 의한 가림으로 인해 연속적이지 않을 수도 있으나, 실제 환경의 구성 상에서는 연속적으로 구성된 요소들을 배경영역으로 구분할 수 있다. 또한, 3차원 지도 생성 장치는 적어도 하나의 실내공간이미지에서 배경영역으로 구분된 이외의 영역을 비배경영역으로 구분할 수 있다. 이때, 3차원 지도 생성 장치는 적어도 하나의 실내공간이미지를 구성하는 이미지의 픽셀값에 기초하여, 배경영역과 비배경영역을 구분할 수 있다.

이때, 배경영역은 도 14과 같이 사람이 생활하는 환경에서 시간상 가장 먼저 구성된 부분일 수 있다. 즉, 배경영역은 일반적으로 도배 혹은 페인트 공사가 마무리된 시점에 존재하는 구성물들의 조합이며, 이후 도 15와 같이 배경영역 위에 비배경요소(예, 각종 물체)들이 유입될 수 있다. 또한, 배경영역은 다른 요소들로 인해 일부 가려져 있어 데이터가 온전하지 않으나, 가려지지 않은 부분과 유사성을 가질 수 있을 것으로 추론되어, 가려지지 않은 부분을 홀필링(hole filling)이나 인페이팅(inpainting)기법을 사용하여 재구성해 낼 수 있는 부분에 해당할 수 있다. 또한, 배경영역은 건물 내부의 큰 간판이나 안내데스크 등과 같이 다른 물체를 가릴 수 있으나, 해당 물체의 엣지 부분에서 영상과 지형의 정합도가 모든 데이터내에서 일치하거나 별도의 정합 과정을 통해 일치시킬 수 있는 부분일 수 있다.

단계 S330에서는, 3차원 지도 생성 장치가 적어도 하나의 실내공간이미지에서 배경영역을 비배경영역으로 확장하여 적어도 하나의 확장실내공간이미지를 생성한다.

이때, 3차원 지도 생성 장치는 적어도 하나의 실내공간이미지 각각의 배경영역에 관한 정보를 이용하여 배경영역을 비배경영역으로 확장함으로써, 확장실내공간이미지를 생성할 수 있다.

예컨대, 도 16을 참조하면, 3차원 지도 생성 장치는 실내공간이미지에서 배경영역에 관한 정보를 이용하여 이를 비배경영역으로 확장할 수 있다. 즉, 3차원 지도 생성 장치는 배경영역에 포함된 엣지(edge)에 관한 정보를 이용하여, 비배영영역에 해당하는 부분을 추론하고 보강하여 확장실내공간이미지를 생성할 수 있다.

보다 구체적으로, 3차원 지도 생성 장치는 배경영역에 포함된 엣지가 비배경영역과의 경계선(1610)에서 단절된 경우에, 그 엣지의 연장선이 배경영역과 비배경영역 간의 경계선(1610)을 넘어 비배경영역으로 이어진다는 추론을 통해 확장실내공간이미지를 생성할 수 있다.

이때, 3차원 지도 생성 장치는 특정한 실내공간이미지 이외에 다른 하나 이상의 실내공간이미지를 배경보완이미지로 지정하고, 특정한 실내공간이미지의 비배경영역에 해당하는 영역을 그 배경보완이미지의 정보를 사용하여 줄여나갈 수 있다.

한편, 도 19를 참조하면, 3차원 지도 생성 장치는 필요에 따라 부분적으로 확장을 진행할 수 있다. 이때, 도 18(a)는 10%의 확장이 진행된 경우이며, 도 18(b)는 30% 확장이 진행된 경우이고, 도 18(c)는 전체 확장이 진행된 경우이다. 만일, 사용자가 실내공간에 물체가 존재하지 않도록 실내공간의 구조만을 모델링하고, 그 가상의 실내공간에 임의의 가상물체를 비치하기를 원할 경우에는, 도 18(c)와 같이 100% 확장하는 것도 가능하다.

단계 S340에서는, 3차원 지도 생성 장치가 그 적어도 하나의 확장실내공간이미지와 실내공간에 대한 깊이값의 정보를 포함하는 지형정보에 기초하여 깊이-이미지연계정보를 생성한다.

이때, 깊이-이미지연계정보는 그 적어도 하나의 확장실내공간이미지의 픽셀들에 대응되는 실내공간의 깊이값이 매칭된 정보일 수 있다.

이를 위해, 3차원 지도 생성 장치는 그 적어도 하나의 확장실내공간이미지와 지형정보 외에도, 그 적어도 하나의 확장실내공간이미지와 지형정보 각각의 취득 위치 및 취득 각도에 대한 정보를 포함하는 이미지 취득 포즈와 깊이 취득 포즈를 더 이용하여 깊이-이미지연계정보를 생성할 수 있다.

보다 구체적으로, 3차원 지도 생성 장치는 적어도 하나의 확장실내공간이미지에 연계된 이미지 취득 포즈를 통해서, 개별 이미지의 픽셀 전체 혹은 일부가 지형정보에 포함된 깊이값과 대응되는 좌표 관계를 찾을 수 있다. 그리고, 이를 적어도 하나의 확장실내공간이미지에 대해 반복 적용하는 방법으로 깊이-이미지연계정보를 생성할 수 있다.

한편, 이미지 센서의 해상도가 거리 센서의 해상도보다 높은 경우에는 그 적어도 하나의 확장실내공간이미지의 픽셀 중에서 대응되는 깊이값이 존재하지 않는 미매핑픽셀이 발생할 수 있는데, 3차원 지도 생성 장치는 미매핑픽셀에 대해서는 내삽법을 이용하여 추정된 깊이값을 매핑할 수 있다.

다른 실시예에서는, 3차원 지도 생성 장치가 그 적어도 하나의 확장실내공간이미지 및 지형정보에 포함된 특징점을 이용하여 지형정보 및 깊이-이미지연계정보 중 적어도 하나를 갱신할 수 있다.

예컨대, 도13을 참조하면, 3차원 지도 생성 장치는 개별 이미지 픽셀의 전체 혹은 일부가 특정 기준좌표에 연동되고, 해당 기준좌표와 지형정보의 관계가 연동된 깊이-이미지연계정보가 주어져, 이미지 픽셀에 지형정보를 매핑할 수 있게된 경우, 확장실내공간이미지 및 지형정보 각각에 포함된 특징점이 소정의 기준에 따라 정합되도록 기준좌표 및 지형정보 중 적어도 하나를 갱신하는 특징점기반정합과정을 수행할 수 있다.

이때, 특징점기반정합과정에서의 특징점은 확장실내공간이미지와 지형정보 각각에 존재하며 상호 연계가 가능한 형태일 수 있으며, 보다 구체적으로 엣지정보, 점정보, 선분정보, 선정보, 평면조각정보, 평면정보 혹은 이들의 조합으로 구성될 수 있다.

예컨대, 도 19를 참조하면, 3차원 지도 생성 장치는 적어도 하나의 확장실내공간이미지의 엣지(1910)와 지형정보의 엣지(1920)가 서로 일치하지 않는 경우, 확장실내공간이미지의 엣지(1910)와 지형정보의 엣지(1920)간의 상호일치성이 증대되도록 기준좌표를 수정할 수도 있다.

다른 실시예에서는, 3차원 지도 생성 장치가 특징점기반정합과정에서 지형정보를 수정함을 통해 확장실내공간이미지의 엣지(1910)와 지형정보의 엣지(1920)의 정합성을 높일 수 있다.

즉, 3차원 지도 생성 장치가 상술한 바와 같이 특징점기반정합과정을 통해 기준좌표 및 지형정보 중 적어도 하나를 갱신한 경우, 그 갱신된 정보에 기반하여 도13과 같은 깊이-이미지연계정보를 갱신할 수 있다. 또한, 3차원 지도 생성 장치는 그 갱신된 깊이-이미지연계정보 및 지형정보 중 적어도 하나를 3차원 지도를 생성하기 위하여 이용할 수 있다.

또 다른 실시예에서는, 3차원 지도 생성 장치가 지형정보 및 깊이-이미지연계정보를 이용하여 배경영역과 비배경영역을 재구분하여, 적어도 하나의 확장실내공간이미지를 재생성할 수 있다.

즉, 3차원 지도 생성 장치는 깊이-이미지연계정보를 이용하여 보다 정확하게 배경영역과 비배경영역을 재구분할 수 있다. 보다 구체적으로, 3차원 지도 생성 장치는 도 20과 같이 지형정보에서 동일한 평면에 해당하는 경계선(1620)(즉, 특징점)을 깊이-이미지연계정보를 통해 이미지에 매핑하고, 해당 매핑정보를 활용하여 경계선(1610) 내부를 A,B,C로 구획하며, 구획된 정보를 활용하여 배경영역의 이미지를 비배경영역으로 확장할 수 있다.

이때, 지형정보의 특징점은 이미지와 지형정보 각각에 존재하며 상호 연계가 가능한 형태일 수 있으며, 보다 구체적으로 엣지정보, 점정보, 선분정보, 선정보, 평면조각정보, 평면정보 혹은 이들의 조합으로 구성될 수 있다.

또한, 3차원 지도 생성 장치는 실내공간이미지에서 각각 재구분된 배경영역을 비배경영역으로 확장하여 적어도 하나의 확장실내공간이미지를 재생성할 수 있다. 그리고, 3차원 지도 생성 장치는 그 재생성된 적어도 하나의 확장실내공간이미지를 3차원 지도를 생성하기 위하여 이용할 수 있다.

또 다른 실시예에서는, 3차원 지도 생성 장치가 적어도 하나의 실내공간이미지 중 하나인 대상이미지에 대하여 배경영역 및 비배경영역을 재구분할 때, 깊이-이미지연계정보 및 적어도 하나의 실내공간이미지 중에서 대상이미지를 제외한 적어도 하나의 보조이미지를 더 이용할 수 있다.

즉, 3차원 지도 생성 장치는 깊이-이미지연계정보를 이용하여 특정 대상이미지내의 픽셀들 중 기준좌표계와 멀리 떨어져 있는 부분들을 특정할 수 있고, 해당 부분들에 대해서는 특정이미지 이외의 적어도 하나 이상의 보조이미지와 깊이-이미지정보를 동시에 활용하여 배경영역을 비배경영역으로 확장할 수 있다. 또한, 특정 대상이미지에서 가림 등으로 인해 배경을 추정하기가 용이하지 않은 영역에 대해, 깊이-이미지연계정보를 통해 해당 영역에 대한 보다 우수한 이미지 정보를 가지고 있는 적어도 하나 이상의 보조이미지를 특정할 수 있고, 이를 활용하여 배경영역을 비배경영역으로 확장할 수 있다.

마지막으로 단계 S350에서는, 3차원 지도 생성 장치가 적어도 하나의 확장실내공간이미지, 지형정보 및 깊이-이미지연계정보를 이용하여 실내공간에 대한 3차원 지도를 생성한다.

이때, 3차원 지도 생성 장치는 깊이-이미지연계정보에 기반하여 적어도 하나의 확장실내공간이미지를 지형정보에 매핑함으로써, 보다 생동감있는 3차원 지도를 생성할 수 있다. 그 생성된 3차원 지도는 스마트폰, PC 및 태블릿 등에서 동작하는 사용자뷰어(viewer)에서 연동가능한 형태이며, 사용자는 사용자뷰어를 통해 실내공간에 대한 3차원 지도를 볼 수 있다.

또한, 3차원 지도 생성 장치는 앞서 설명한 설명특징점기반정합 과정을 수행함으로써, 사용자에게 체감되는 실감도를 향상시킬 수 있다.

한편, 3차원 지도 생성 장치는 실내공간에서 사용자 뷰어에서 표현하여야 하는 시야가 단일 확장실내공간이미지로 표현가능한 시야의 범위를 넘어설 경우, 깊이-이미지연계정보를 활용하여 하나 이상의 확장실내공간이미지를 활용하여 사용자 시야를 표현할 수 있다.

보다 구체적으로는 도 23에 표현된 것과 같이, 사용자 뷰어에서 표현하여야 하는 시야의 기준위치(2310)가, 깊이-이미지연계정보를 가지고 있는 확장실내공간이미지(2321, 2331, 2341, 2351)의 기준위치(2320, 2330, 2340, 2350)와 상이한 경우, 단일 확장실내공간이미지로 사용자 뷰어의 시야를 표현할 수 없게 되고 유실시야가 발생하는 문제가 있다.

이 경우, 사용자 시야의 기준위치(2310)의 시야를 모두 표현하기 위해 필요한 복수의 확장실내공간이미지를 깊이-이미지연계정보를 통해 특정하고, 이 중 사용자 뷰어의 기준포즈와 근접한 포즈에 연계된 확장실내공간이미지를 대표이미지로 지정하고, 그 대표이미지 외의 적어도 하나의 확장실내공간이미지를 보완이미지로 정하여, 사용자 뷰어에서 표현할 시야를 대표이미지와 적어도 하나의 보완이미지를 동시에 활용하여 사용자 뷰어의 시야를 모두 표현할 수 있다.

한편, 3차원 지도 생성 장치가 대표이미지와 적어도 하나의 보완이미지를 함께 이용하여 3차원 지도를 생성하는 자세한 방법은 도 5에 대한 설명에서 구체적으로 후술한다.

다른 실시예에서는, 3차원 지도 생성 장치가 적어도 하나의 실내공간이미지를 이용하여 지형정보를 생성할 수 있다.

예컨대, 3차원 지도 생성 장치는 적어도 하나의 실내공간이미지를 이용하여 이미지 내의 특징점을 추출하고, 단일 카메라인 경우 해당 특징점들 간의 상대적 거리를, 복수의 카메라인 경우에는 해당 특징점들 간의 절대 거리를 예측할 수 있다. 또한, 3차원 지도 생성 장치는 특징점을 추출하지 않고도 단일 카메라의 경우 누적된 영상정보를 활용하여 픽셀의 깊이를 예측할 수 있으며, 복수의 카메라의 경우 복수의 카메라 영상이나 이의 누적된 정보를 활용하여 픽셀의 깊이를 예측할 수 있다.

이를 통해, 3차원 지도 생성 장치는 적어도 하나의 실내공간이미지를 이용하여 지형정보를 생성할 수 있다.

이와 같이, 본 발명의 일 실시예에 따른 실내공간의 3차원 지도 생성 방법은 오차의 영향을 상대적으로 적게 받는 공간의 배경 부분만을 활용하여, 다양한 오차들이 존재하는 환경에서도 강인하고 안정적으로 3D 지도를 구축할 수 있는 효과가 있다.

도 4는 본 발명의 다른 실시예에 따른 실내공간의 3차원 지도 생성 방법을 설명하기 위한 흐름도이다.

단계 S410에서는, 3차원 지도 생성 장치가 실내공간에 대한 이미지인 실내공간이미지를 적어도 하나 획득한다.

단계 S420에서는, 3차원 지도 생성 장치가 실내공간에 대한 깊이값의 정보인 깊이값정보를 획득한다.

예컨대, 3차원 지도 생성 장치는 깊이측정센서가 탑재된 외부기기로부터 또는 3차원 지도 생성 장치에 부착된 깊이측정센서로부터 실내공간에 대한 깊이값정보를 획득할 수 있다.

단계 S430에서는, 3차원 지도 생성 장치가 깊이값정보를 이용하여 실내공간에 대한 외곽 정보인 실내공간외곽정보를 생성한다.

여기서, 실내공간외곽정보는 물체가 존재하지 않는, 실내공간의 구조에 관한 외곽 정보일 수 있다.

한편, 3차원 지도 생성 장치는 컨벡스 컷(convex cut) 등과 같은 알고리즘을 이용하여, 실내공간에 존재하는 물체가 제거된 상태의 실내공간외곽정보를 생성할 수 있다. 여기서, 컨벡스 컷 알고리즘은 실내공간의 깊이값정보(point cloud data)를 이용하여 실시간으로 실내공간의 구조를 추출하는 알고리즘이다.

단계 S440에서는, 3차원 지도 생성 장치가 적어도 하나의 실내공간이미지에서 실내공간의 구조에 대응되는 영역인 배경영역 및 실내공간에 위치한 물체에 대응되는 영역인 비배경영역을 구분한다.

단계 S450에서는, 3차원 지도 생성 장치가 적어도 하나의 실내공간이미지에서 배경영역을 비배경영역으로 확장하여 적어도 하나의 확장실내공간이미지를 생성한다.

단계 S460에서는, 3차원 지도 생성 장치가 그 적어도 하나의 확장실내공간이미지와 실내공간에 대한 깊이값의 정보를 포함하는 지형정보에 기초하여 깊이-이미지연계정보를 생성한다.

마지막으로 단계 S470에서는, 3차원 지도 생성 장치가 적어도 하나의 확장실내공간이미지, 지형정보 및 깊이-이미지연계정보를 이용하여 실내공간에 대한 3차원 지도를 생성한다.

여기서, 지형정보는 깊이값정보와 실내공간외곽정보를 포함할 수 있다.

도 5는 본 발명의 일 실시예에 따른 대표이미지와 보완이미지를 이용한 실내공간의 3차원 지도 생성 방법을 설명하기 위한 흐름도이다.

단계 S510에서는, 3차원 지도 생성 장치가 깊이-이미지연계정보에 기초하여, 적어도 하나의 확장실내공간이미지 중에서 3차원 지도 상의 소정의 기준위치에 대응되는 기준포즈와 연계되는 하나의 확장실내공간이미지를 선별하여, 대표이미지로 결정한다.

예컨대, 3차원 지도 생성 장치는 적어도 하나의 확장실내공간이미지 중에서 사용자 뷰어의 포즈를 기준포즈하여, 그 기준포즈에 가장 가까운 포즈와 연계되는 하나를 선별하여 대표이미지로 결정할 수 있다.

단계 S520에서는, 3차원 지도 생성 장치가 깊이-이미지연계정보 및 기준포즈를 이용하여, 적어도 하나의 확장실내공간이미지 중에서 대표이미지를 제외한 적어도 하나의 보완이미지를 결정한다.

예컨대, 3차원 지도 생성 장치는 그 기준포즈에 인접한 적어도 하나의 보완이미지를 추가적으로 결정할 수 있다.

마지막으로 단계 S530에서는, 3차원 지도 생성 장치가 대표이미지, 적어도 하나의 보완이미지, 지형정보 및 깊이-이미지연계정보를 이용하여 3차원 지도를 생성한다.

즉, 3차원 지도 생성 장치는 대표이미지와 적어도 하나의 보완이미지를 동시에 활용하여, 사용자 뷰어에 해당하는 시야를 모두 표현할 수 도 있다

도 6은 본 발명의 또 다른 실시예에 따른 실내공간의 3차원 지도 생성 방법을 설명하기 위한 흐름도이다.

단계 S610에서는, 3차원 지도 생성 장치가 실내공간에 대한 이미지인 실내공간이미지를 적어도 하나 획득한다.

단계 S620에서는, 3차원 지도 생성 장치가 적어도 하나의 실내공간이미지에서 실내공간의 구조에 대응되는 영역인 배경영역 및 실내공간에 위치한 물체에 대응되는 영역인 비배경영역을 구분한다.

단계 S630에서는, 3차원 지도 생성 장치가 적어도 하나의 실내공간이미지에서 배경영역을 비배경영역으로 확장하여 적어도 하나의 확장실내공간이미지를 생성한다.

단계 S640에서는, 3차원 지도 생성 장치가 그 적어도 하나의 확장실내공간이미지와 실내공간에 대한 깊이값의 정보를 포함하는 지형정보에 기초하여 깊이-이미지연계정보를 생성한다.

단계 S650에서는, 3차원 지도 생성 장치가 적어도 하나의 확장실내공간이미지, 지형정보 및 깊이-이미지연계정보를 이용하여 실내공간에 대한 3차원 지도를 생성한다.

단계 S660에서는, 3차원 지도 생성 장치가 복수의 물체에 대한 형상 및 이미지에 관한 정보를 포함하는 물체DB로부터, 적어도 하나의 물체에 관한 정보를 포함하는 물체정보를 획득한다.

이때, 물체DB는 다양한 종류의 물체 각각에 대하여 종류, 명칭, 형상 및 이미지 등에 관한 정보를 포함할 수 있다. 또한, 3차원 지도 생성 장치는 어떤 물체의 형상에 관한 정보와 이미지에 관한 정보를 결합함으로써, 그 물체의 3차원 외관을 가상의 공간에서 재현할 수 있다. 한편, 물체의 형상에 관한 정보는 물체의 크기에 관한 정보를 포함할 수 있다.

한편, 3차원 지도 생성 장치는 생성된 3차원 지도 상에 위치시키고자 하는 적어도 하나의 물체에 관한 물체정보를 물체DB로부터 획득할 수 있다. 이때, 지도 상에 위치시키고자 하는 적어도 하나의 물체는 그 실내공간에 실제로 위치하는 물체 또는 그 실내공간에 위치하지 않은 임의의 물체일 수 있다.

다른 실시예에서는, 3차원 지도 생성 장치가 적어도 하나의 확장실내공간이미지를 이용하여, 그 실내공간에 위치하는 물체를 판별할 수 있다.

이를 위해, 3차원 지도 생성 장치는 다양한 물체의 영상 및 형상 정보를 포함하는 물체DB를 활용할 수 있으며, 물체DB내에 포함된 정보 혹은 물체의 영상 및 형상 정보로부터 추출된 특징점 정보들을 활용하여 물체의 구분(segmentation), 분류(classification)작업 등에 활용할 수 있다.

그리고, 그 판별된 물체가 물체DB에 존재하지 않거나 다른 형태로 존재한다고 판단된 경우, 사용자에게 새로운 물체 혹은 수정된 물체에 관한 형상 및 이미 정보를 물체DB에 에 추가하거나 갱신할 것을 요청할 수 있다.

또는, 3차원 지도 생성 장치는 그 판별된 물체와 완전히 동일한 물체를 찾기보다 가장 유사한 크기와 형태를 가지는 물체들을 물체DB에서 검색할 수 있다. 이는 확장실내공간이미지의 배경부분이 실내공간이미지의 배경부분보다 넓기 때문에, 비배경영역에 존재하는 물체에 비해 다소 크기가 적은 물체가 물체DB에서 선택되어 배치되더라도 시각적 어색함을 발생하지 않기 때문이다. 반대로, 비배경영역에 존재하는 물체보다 다소 큰 물체를 선택하여 배치하더라도, 그 물체 뒤의 배경이 구축되어 있으므로 배경과 물체 사이에 데이터 결핍이나 어색한 부분들이 존재하지 않게 된다.

마지막으로 단계 S670에서는, 3차원 지도 생성 장치가 물체정보에 기초하여, 생성된 3차원 지도에 그 적어도 하나의 물체에 대응되는 적어도 하나의 가상물체를 추가한다.

즉, 3차원 지도 생성 장치는 물체정보에 포함된 적어도 하나의 물체에 대응되는 적어도 하나의 가상물체를 3차원 지도에 위치시킴으로써, 적어도 하나의 가상물체를 포함하는 3차원 지도를 완성할 수 있다.

다른 실시예에서는, 3차원 지도 생성 장치가 물체DB에 새로운 물체에 관한 정보가 추가되거나 기존의 가상물체에 관한 정보가 갱신되면, 그 3차원 지도에 추가된 적어도 하나의 가상물체를 선택적으로 갱신할 수 있다.

즉, 3차원 지도 생성 장치는 시간적 차이를 두고 물체DB에 새로운 물체가 등록되거나 갱신된 경우, 기존에 생성된 3차원 지도에 위치한 가상물체에 대해서도 그 등록되거나 갱신된 새로운 정보를 반영할 수 있다. 또한, 3차원 지도 생성 장치는 그 과정이 컴퓨터 알고리즘을 통해 반복되도록 함으로써, 추가적인 노동력의 투입없이 지속적으로 3차원 지도에 위치한 물체의 정보를 갱신할 수 있다.

또한, 3차원 지도 생성 장치는 물체DB에 새로운 물체에 관한 정보가 추가되거나 기존의 가상물체에 관한 정보가 갱신된 경우에, 그로 인해 3차원 지도에 위치한 가상물체의 정보를 갱신해야 하는 경우에만 선택적으로 가상물체의 정보를 갱신할 수 있다.

예컨대, 3차원 지도 생성 장치는 A 물체를 3차원 지도상에 추가하고자 했지만, 물체DB에 A 물체에 관한 정보가 없어, 이와 유사한 B물체에 대응되는 가상물체를 3차원 지도상에 추가할 수 있다. 그러나, 그 이후 물체DB에 A 물체에 관한 정보가 새롭게 추가되었다면, 3차원 지도 생성 장치는 B물체에 대응되는 가상물체를 A 물체에 대응되는 가상물체로 대체할 수 있다.

마찬가지로, 3차원 지도 생성 장치는 A 물체를 3차원 지도상에 추가한 이후에, 물체DB에 A 물체에 관한 정보가 갱신되었다면, A 물체에 대응되는 가상물체를 갱신할 수 있다.

또 다른 실시예에서는, 3차원 지도 생성 장치가 그 적어도 하나의 가상물체 중에 빛을 반사하는 재질을 포함하는 가상물체인 반사가상물체가 포함되어 있을 때, 그 반사가상물체를 통해 반사되는 실내공간에 대한 반사영상을 그 반사가상물체에 더 표시할 수 있다.

여기서, 반사가상물체에 포함되어 빛을 반사하는 재질은 거울, 유리 및 금속 등이 해당될 수 있으나 이에 한정되는 것은 아니다. 또한, 물체DB에 포함된 복수의 물체에 대한 형상 및 이미지에 관한 정보에는 복수의 물체 각각에 대하여 빛을 반사하는 재질의 포함 여부와 함께 그 반사재질의 투과도 및 영역에 관한 정보가 더 포함될 수 있다.

이때, 3차원 지도 생성 장치는 그 적어도 하나의 가상물체 중에 반사가상물체가 포함되어 있으면, 3차원 지도의 기준위치에 대응되는 기준포즈에 대하여 그 반사가상물체를 통해 반사되는 반사영상을 그 반사가상물체의 표면에 표시할 수 있다.

예컨대, 3차원 지도 생성 장치는 그 기준포즈를 중심으로 3차원 지도를 감상하는 사용자가 그 반사가상물체를 바라볼 때, 그 반사가상물체를 통해 반사되는 실내공간에 대한 영상을 그 반사가상물체의 표면에 더 표시할 수 있다. 이는, 물체DB에 포함된 반사가상물체에는 실내공간에 대한 영상이 반사되지 않기 때문일 수 있다.

이를 위해, 3차원 지도 생성 장치는 적어도 하나의 확장실내공간이미지 및 지형정보를 이용하여 그 반사가상물체에 포함된 반사 재질의 영역에 대응되는 새로운 깊이-이미지연계정보를 구성할 수 있다. 또는, 3차원 지도 생성 장치는 앞서 생성한 깊이-이미지연계정보로부터 그 반사가상물체에 포함된 반사 재질의 영역에 대응되는 새로운 깊이-이미지연계정보를 추출할 수 있다.

그리고, 3차원 지도 생성 장치는 그 새로운 깊이-이미지연계정보를 바탕으로 반사 재질의 투과도를 고려하여, 사용자가 기준포즈에서 그 반사가상물체를 바라볼 때 그 반사 재질에 표현되어야 할 반사영상을 생성할 수 있다. 또한, 3차원 지도 생성 장치는 그 반사영상을 그 반사가상물체에 포함된 반사 재질의 영역에 나타낼 수 있다.

보다 구체적으로, 3차원 지도 생성 장치는 그 반사 재질이 거울인 경우, 실내공간 내 임의의 위치에서 그 거울을 바라보았을 때 그 거울에 비춰지는 영상을 생성하여 반사가상물체에 표시할 수 있다. 또한, 3차원 지도 생성 장치는 그 반사 재질이 반투명 유리일 경우, 실내공간 내 임의의 위치에서 그 반투명 유리를 바라보았을 때, 그 반투명 유리의 투과도에 비례하여 반사된 영상과 투과된 영상이 중첩되도록 하여 반사가상물체에 표시할 수 있다.

이와 같이, 3차원 지도 생성 장치가 사용자의 시점을 연속적으로 변화시켜 가면서 반사가상물체에 반사영상을 실시간으로 갱신할 경우, 거울 등 반사 재질에 비치는 실내공간의 영상이 실제 변화와 동일하게 변화하는 효과를 부여할 수 있으므로, 보다 생동감 있는 3차원 지도를 생성할 수 있다.

도 7은 본 발명의 또 다른 실시예에 따른 실내공간의 3차원 지도 생성 방법을 설명하기 위한 흐름도이다.

단계 S710에서는, 3차원 지도 생성 장치가 실내공간에 대한 이미지인 실내공간이미지를 적어도 하나 획득한다.

단계 S720에서는, 3차원 지도 생성 장치가 적어도 하나의 실내공간이미지에서 실내공간의 구조에 대응되는 영역인 배경영역 및 실내공간에 위치한 물체에 대응되는 영역인 비배경영역을 구분한다.

단계 S730에서는, 3차원 지도 생성 장치가 적어도 하나의 실내공간이미지에서 배경영역을 비배경영역으로 확장하여 적어도 하나의 확장실내공간이미지를 생성한다.

단계 S740에서는, 3차원 지도 생성 장치가 그 적어도 하나의 확장실내공간이미지와 실내공간에 대한 깊이값의 정보를 포함하는 지형정보에 기초하여 깊이-이미지연계정보를 생성한다.

단계 S750에서는, 3차원 지도 생성 장치가 적어도 하나의 확장실내공간이미지, 지형정보 및 깊이-이미지연계정보를 이용하여 실내공간에 대한 3차원 지도를 생성한다.

단계 S760에서는, 3차원 지도 생성 장치가 적어도 하나의 실내공간이미지로부터 실내공간에 위치하는 광원에 관한 위치 및 밝기에 관한 정보를 포함하는 광원정보를 추정한다.

즉, 3차원 지도 생성 장치는 적어도 하나의 실내공간이미지 각각으로부터, 이미지에 포함된 픽셀값의 정보를 이용하여 광원의 위치 및 밝기를 추정할 수 있다.

예컨대, 3차원 지도 생성 장치는 적어도 하나의 실내공간이미지 각각으로부터 소정 범위의 픽셀값에 대응되는 위치를 광원의 위치로 추정할 수 있고, 그 추정된 위치의 픽셀값에 따라 광원의 밝기를 추정할 수 있다.

마지막으로 단계 S770에서는, 3차원 지도 생성 장치가 적어도 하나의 확장실내공간이미지에 광원정보에 의한 조명 효과를 반영한다.

예컨대, 3차원 지도 생성 장치가 배경영역을 비배경영역으로 확장하여 확장실내공간이미지를 생성하는 과정에서, 비배경영역에 대한 조명 효과가 사라졌을 수 있다. 이때, 3차원 지도 생성 장치는 확장실내공간이미지에 광원효과에 의한 조명 효과를 반영함으로써, 보다 실감나는 3차원 지도를 생성할 수 있다.

또한, 3차원 지도 생성 장치는, 3차원 지도에 적어도 하나의 가상물체가 위치하고 있는 경우에, 광원정보에 포함된 광원의 위치 및 밝기에 따라 그 적어도 하나의 가상물체에 대한 그림자를 더 추가하여, 3차원 지도의 실감성을 향상시킬 수 있다.

다른 실시예에서는, 3차원 지도 생성 장치가 3차원 지도에 조명 효과를 반영할 때, 사용자가 지도를 감상하는 실시간환경에서 반영하지 않고, 사용자가 지도를 감상하기 이전에 사전작업을 통해 반영함으로써, 실시간의 조명 효과 연산에 따른 부하를 줄일 수 있다.

그 결과, 3차원 지도 생성 장치가 하나의 실내구조외곽정보와 적어도 하나의 확장실내공간이미지를 활용하여 3차원 지도를 구성할 경우 적어도 하나의 확장실내공간이미지의 개수에 비례하는 실시간 부하를 줄일 수 있다.

도 8은 본 발명의 일 실시예에 따른 실내공간의 3차원 지도 생성 장치를 나타내는 블록도이다.

도 8을 참조하면, 본 발명의 일 실시예에 따른 실내공간의 3차원 지도 생성 장치(800)는 획득부(810), 구분부(820), 확장부(830), 연계부(840) 및 생성부(850)를 포함한다. 또한, 선택적으로 외곽정보생성부(미도시)를 더 포함할 수 있다.

획득부(810)는 실내공간에 대한 이미지인 실내공간이미지를 적어도 하나 획득한다.

구분부(820)는 적어도 하나의 실내공간이미지에서 실내공간의 구조에 대응되는 영역인 배경영역 및 실내공간에 위치한 물체에 대응되는 영역인 비배경영역을 구분한다.

확장부(830)는 적어도 하나의 실내공간이미지에서 배경영역을 비배경영역으로 확장하여 적어도 하나의 확장실내공간이미지를 생성한다.

연계부(840)는 적어도 하나의 확장실내공간이미지와 실내공간에 대한 깊이값의 정보를 포함하는 지형정보에 기초하여 깊이-이미지연계정보를 생성한다.

생성부(850)는 적어도 하나의 확장실내공간이미지, 지형정보 및 깊이-이미지연계정보를 이용하여 실내공간에 대한 3차원 지도를 생성한다.

마지막으로, 외곽정보생성부(미도시)는 깊이값정보를 이용하여 실내공간에 대한 외곽 정보인 실내공간외곽정보를 생성한다.

다른 실시예에서는, 획득부(810)는 실내공간에 대한 깊이값의 정보인 깊이값정보를 더 획득하고, 지형정보는 깊이값정보 및 외곽정보생성부(미도시)가 생성한 실내공간외곽정보를 포함할 수 있다.

또 다른 실시예에서는, 연계부(840)는 적어도 하나의 확장실내공간이미지 및 지형정보에 포함된 특징점을 이용하여 지형정보 및 깊이-이미지연계정보 중 적어도 하나를 갱신하고, 생성부(850)는 그 갱신된 지형정보 및 깊이-이미지연계정보 중 적어도 하나를 이용할 수 있다.

또 다른 실시예에서는, 구분부(820)는 지형정보 및 깊이-이미지연계정보를 이용하여, 적어도 하나의 실내공간이미지에서 배경영역 및 비배경영역을 재구분하고, 확장부(830)는 적어도 하나의 실내공간이미지에서 배경영역을 비배경영역으로 확장하여 적어도 하나의 확장실내공간이미지를 재생성하고, 생성부(850)는 그 재생성된 적어도 하나의 확장실내공간이미지를 이용할 수 있다.

또 다른 실시예에서는, 구분부(820)가 적어도 하나의 실내공간이미지 중 하나인 대상이미지에 대하여 배경영역 및 비배경영역을 재구분할 때, 깊이-이미지연계정보 및 적어도 하나의 실내공간이미지 중에서 대상이미지를 제외한 적어도 하나의 보조이미지를 더 이용할 수 있다.

또 다른 실시예에서는, 생성부(850)는 깊이-이미지연계정보에 기초하여, 적어도 하나의 확장실내공간이미지 중에서 3차원 지도 상의 소정의 기준위치에 대응되는 기준포즈와 연계되는 하나의 확장실내공간이미지를 선별하여, 대표이미지로 결정하고, 그 깊이-이미지연계정보 및 기준포즈를 이용하여, 적어도 하나의 확장실내공간이미지 중에서 대표이미지를 제외한 적어도 하나의 보완이미지를 결정하고, 대표이미지, 적어도 하나의 보완이미지, 지형정보 및 깊이-이미지연계정보를 이용하여 3차원 지도를 생성할 수 있다.

도 9는 본 발명의 다른 실시예에 따른 실내공간의 3차원 지도 생성 장치를 나타내는 블록도이다.

도 9를 참조하면, 본 발명의 일 실시예에 따른 실내공간의 3차원 지도 생성 장치(800)는 획득부(810), 구분부(820), 확장부(830), 연계부(840), 생성부(850) 및 DB연결부(860)를 포함한다.

마지막으로 DB연결부(860)는 복수의 물체에 대한 형상 및 이미지에 관한 정보를 포함하는 물체DB로부터, 적어도 하나의 물체에 관한 정보를 포함하는 물체정보를 획득한다.

다른 실시예에서는, 생성부(850)는 물체정보에 기초하여, 생성된 3차원 지도에 적어도 하나의 물체에 대응되는 적어도 하나의 가상물체를 추가할 수 있다.

또 다른 실시예에서는, 물체정보는 실내공간에 위치한 물체에 관한 정보일 수 있다.

또 다른 실시예에서는, 물체DB에 새로운 물체에 관한 정보가 추가되거나 기존의 가상물체에 관한 정보가 갱신되면, 생성부(850)가 그 3차원 지도에 추가된 적어도 하나의 가상물체를 선택적으로 갱신할 수 있다.또 다른 실시예에서는, 생성부(850)는 그 적어도 하나의 가상물체 중에 빛을 반사하는 재질을 포함하는 가상물체인 반사가상물체가 포함되어 있을 때, 적어도 하나의 확장실내공간이미지 및 지형정보를 이용하여, 3차원 지도 상의 소정의 기준위치에 대응되는 기준포즈에 대하여 반사가상물체를 통해 반사되어 보이는 실내공간에 대한 영상인 반사영상을 반사가상물체에 더 표시할 수 있다.

도 10은 본 발명의 또 다른 실시예에 따른 실내공간의 3차원 지도 생성 장치를 나타내는 블록도이다.

도 10을 참조하면, 본 발명의 일 실시예에 따른 실내공간의 3차원 지도 생성 장치(800)는 획득부(810), 구분부(820), 확장부(830), 연계부(840), 생성부(850), 광원추정부(870) 및 광원반영부(880)를 포함한다.

광원추정부(870)는 적어도 하나의 실내공간이미지로부터 실내공간에 위치하는 광원에 관한 위치 및 밝기에 관한 정보를 포함하는 광원정보를 추정한다.

마지막으로 광원반영부(880)는 적어도 하나의 확장실내공간이미지에 광원정보에 의한 조명 효과를 반영한다.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.

상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 를 포함한다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims

실내공간에 대한 이미지인 실내공간이미지를 적어도 하나 획득하는 단계;
상기 적어도 하나의 실내공간이미지에서 상기 실내공간의 구조에 대응되는 영역인 배경영역 및 상기 실내공간에 위치한 물체에 대응되는 영역인 비배경영역을 구분하는 단계;
상기 배경영역에서 유추된 기하정보를 이용하여, 상기 적어도 하나의 실내공간이미지에서 상기 배경영역을 상기 비배경영역으로 확장하여 적어도 하나의 확장실내공간이미지를 생성하는 단계;
상기 적어도 하나의 확장실내공간이미지와 상기 실내공간에 대한 깊이값의 정보를 포함하는 지형정보에 기초하여 깊이-이미지연계정보를 생성하는 단계; 및
상기 적어도 하나의 확장실내공간이미지, 상기 지형정보 및 상기 깊이-이미지연계정보를 이용하여 상기 실내공간에 대한 3차원 지도를 생성하는 단계
를 포함하는 것을 특징으로 하는 실내공간의 3차원 지도 생성 방법.
제1항에 있어서,
상기 비배경영역을 구분하는 단계의 이전에,
상기 실내공간에 대한 깊이값의 정보인 깊이값정보를 획득하는 단계; 및
상기 깊이값정보를 이용하여 상기 실내공간에 대한 외곽 정보인 실내공간외곽정보를 생성하는 단계를 더 포함하고,
상기 지형정보는
상기 깊이값정보 및 상기 실내공간외곽정보를 포함하는 것을 특징으로 하는 실내공간의 3차원 지도 생성 방법.
제1항에 있어서,
상기 깊이-이미지연계정보를 생성하는 단계의 이후에,
상기 적어도 하나의 확장실내공간이미지 및 상기 지형정보에 포함된 특징점을 이용하여 상기 지형정보 및 상기 깊이-이미지연계정보 중 적어도 하나를 갱신하는 단계를 포함하고,
상기 3차원 지도를 생성하는 단계는
상기 갱신된 지형정보 및 깊이-이미지연계정보 중 적어도 하나를 이용하는 것을 특징으로 하는 실내공간의 3차원 지도 생성 방법.
제1항에 있어서,
상기 깊이-이미지연계정보를 생성하는 단계와 상기 실내공간에 대한 3차원 지도를 생성하는 단계의 사이에,
상기 지형정보 및 상기 깊이-이미지연계정보를 이용하여, 상기 적어도 하나의 실내공간이미지에서 상기 배경영역 및 상기 비배경영역을 재구분하는 단계; 및
상기 적어도 하나의 실내공간이미지에서 상기 배경영역을 상기 비배경영역으로 확장하여 적어도 하나의 확장실내공간이미지를 재생성하는 단계
를 포함하고,
상기 3차원 지도를 생성하는 단계는
상기 재생성된 적어도 하나의 확장실내공간이미지를 이용하는 것을 특징으로 하는 실내공간의 3차원 지도 생성 방법.
제4항에 있어서,
상기 배경영역 및 상기 비배경영역을 재구분하는 단계는
상기 적어도 하나의 실내공간이미지 중 하나인 대상이미지에 대하여 상기 배경영역 및 상기 비배경영역을 재구분할 때,
상기 깊이-이미지연계정보 및 상기 적어도 하나의 실내공간이미지 중에서 상기 대상이미지를 제외한 적어도 하나의 보조이미지를 더 이용하는 것을 특징으로 하는 실내공간의 3차원 지도 생성 방법.
제1항에 있어서,
상기 실내공간에 대한 3차원 지도를 생성하는 단계는
상기 깊이-이미지연계정보에 기초하여, 상기 적어도 하나의 확장실내공간이미지 중에서 상기 3차원 지도 상의 소정의 기준위치에 대응되는 기준포즈와 연계되는 하나의 확장실내공간이미지를 선별하여, 대표이미지로 결정하는 단계;
상기 깊이-이미지연계정보 및 상기 기준포즈를 이용하여, 상기 적어도 하나의 확장실내공간이미지 중에서 상기 대표이미지를 제외한 적어도 하나의 보완이미지를 결정하는 단계; 및
상기 대표이미지, 상기 적어도 하나의 보완이미지, 상기 지형정보 및 상기 깊이-이미지연계정보를 이용하여 3차원 지도를 생성하는 단계
를 포함 하는 것을 특징으로 하는 실내공간의 3차원 지도 생성 방법.
제1항에 있어서,
복수의 물체에 대한 형상 및 이미지에 관한 정보를 포함하는 물체DB로부터, 적어도 하나의 물체에 관한 정보를 포함하는 물체정보를 획득하는 단계; 및
상기 물체정보에 기초하여, 상기 생성된 3차원 지도에 상기 적어도 하나의 물체에 대응되는 적어도 하나의 가상물체를 추가하는 단계
를 더 포함하는 것을 특징으로 하는 실내공간의 3차원 지도 생성 방법.
제7항에 있어서,
상기 물체정보는
상기 실내공간에 위치한 물체에 관한 정보인 것을 특징으로 하는 실내공간의 3차원 지도 생성 방법.
제7항에 있어서,
상기 물체DB에 새로운 물체에 관한 정보가 추가되거나 기존의 가상물체에 관한 정보가 갱신되면, 상기 3차원 지도에 추가된 상기 적어도 하나의 가상물체를 선택적으로 갱신하는 단계
를 더 포함하는 것을 특징으로 하는 실내공간의 3차원 지도 생성 방법.
제7항에 있어서,
상기 적어도 하나의 가상물체 중에 빛을 반사하는 재질을 포함하는 가상물체인 반사가상물체가 포함되어 있을 때,
상기 적어도 하나의 확장실내공간이미지 및 상기 지형정보를 이용하여, 상기 3차원 지도 상의 소정의 기준위치에 대응되는 기준포즈에 대하여 상기 반사가상물체를 통해 반사되는 상기 실내공간에 대한 영상인 반사영상을 상기 반사가상물체에 표시하는 단계
를 더 포함하는 것을 특징으로 하는 실내공간의 3차원 지도 생성 방법.
제1항에 있어서,
상기 적어도 하나의 실내공간이미지로부터 상기 실내공간에 위치하는 광원에 관한 위치 및 밝기에 관한 정보를 포함하는 광원정보를 추정하는 단계; 및
상기 적어도 하나의 확장실내공간이미지에 상기 광원정보에 의한 조명 효과를 반영하는 단계
를 더 포함하는 것을 특징으로 하는 실내공간의 3차원 지도 생성 방법.
실내공간에 대한 이미지인 실내공간이미지를 적어도 하나 획득하는 획득부;
상기 적어도 하나의 실내공간이미지에서 상기 실내공간의 구조에 대응되는 영역인 배경영역 및 상기 실내공간에 위치한 물체에 대응되는 영역인 비배경영역을 구분하는 구분부;
상기 배경영역에서 유추된 기하정보를 이용하여, 상기 적어도 하나의 실내공간이미지에서 상기 배경영역을 상기 비배경영역으로 확장하여 적어도 하나의 확장실내공간이미지를 생성하는 확장부;
상기 적어도 하나의 확장실내공간이미지와 상기 실내공간에 대한 깊이값의 정보를 포함하는 지형정보에 기초하여 깊이-이미지연계정보를 생성하는 연계부; 및
상기 적어도 하나의 확장실내공간이미지, 상기 지형정보 및 상기 깊이-이미지연계정보를 이용하여 상기 실내공간에 대한 3차원 지도를 생성하는 생성부
를 포함하는 것을 특징으로 하는 실내공간의 3차원 지도 생성 장치.
제12항에 있어서,
상기 획득부는 상기 실내공간에 대한 깊이값의 정보인 깊이값정보를 더 획득하고,
상기 깊이값정보를 이용하여 상기 실내공간에 대한 외곽 정보인 실내공간외곽정보를 생성하는 외곽정보생성부를 더 포함하고,
상기 지형정보는
상기 깊이값정보 및 상기 실내공간외곽정보를 포함하는 것을 특징으로 하는 실내공간의 3차원 지도 생성 장치.
제12항에 있어서,
상기 연계부는
상기 적어도 하나의 확장실내공간이미지 및 상기 지형정보에 포함된 특징점을 이용하여 상기 지형정보 및 상기 깊이-이미지연계정보 중 적어도 하나를 갱신하고,
상기 생성부는
상기 갱신된 지형정보 및 깊이-이미지연계정보 중 적어도 하나를 이용하는 것을 특징으로 하는 실내공간의 3차원 지도 생성 장치.
제12항에 있어서,
상기 구분부는 상기 지형정보 및 상기 깊이-이미지연계정보를 이용하여, 상기 적어도 하나의 실내공간이미지에서 상기 배경영역 및 상기 비배경영역을 재구분하고,
상기 확장부는 상기 적어도 하나의 실내공간이미지에서 상기 배경영역을 상기 비배경영역으로 확장하여 적어도 하나의 확장실내공간이미지를 재생성하고,
상기 생성부는
상기 재생성된 적어도 하나의 확장실내공간이미지를 이용하는 것을 특징으로 하는 실내공간의 3차원 지도 생성 장치.
제15항에 있어서,
상기 구분부가
상기 적어도 하나의 실내공간이미지 중 하나인 대상이미지에 대하여 상기 배경영역 및 상기 비배경영역을 재구분할 때,
상기 깊이-이미지연계정보 및 상기 적어도 하나의 실내공간이미지 중에서 상기 대상이미지를 제외한 적어도 하나의 보조이미지를 더 이용하는 것을 특징으로 하는 실내공간의 3차원 지도 생성 장치.
제12항에 있어서,
상기 생성부는
상기 깊이-이미지연계정보에 기초하여, 상기 적어도 하나의 확장실내공간이미지 중에서 상기 3차원 지도 상의 소정의 기준위치에 대응되는 기준포즈와 연계되는 하나의 확장실내공간이미지를 선별하여, 대표이미지로 결정하고,
상기 깊이-이미지연계정보 및 상기 기준포즈를 이용하여, 상기 적어도 하나의 확장실내공간이미지 중에서 상기 대표이미지를 제외한 적어도 하나의 보완이미지를 결정하고,
상기 대표이미지, 상기 적어도 하나의 보완이미지, 상기 지형정보 및 상기 깊이-이미지연계정보를 이용하여 3차원 지도를 생성하는 것을 특징으로 하는 실내공간의 3차원 지도 생성 장치.
제12항에 있어서,
복수의 물체에 대한 형상 및 이미지에 관한 정보를 포함하는 물체DB로부터, 적어도 하나의 물체에 관한 정보를 포함하는 물체정보를 획득하는 DB연결부를 더 포함하고,
상기 생성부는
상기 물체정보에 기초하여, 상기 생성된 3차원 지도에 상기 적어도 하나의 물체에 대응되는 적어도 하나의 가상물체를 추가하는 것을 특징으로 하는 실내공간의 3차원 지도 생성 장치.
제18항에 있어서,
상기 물체정보는
상기 실내공간에 위치한 물체에 관한 정보인 것을 특징으로 하는 실내공간의 3차원 지도 생성 장치.
제18항에 있어서,
상기 물체DB에 새로운 물체에 관한 정보가 추가되거나 기존의 가상물체에 관한 정보가 갱신되면,
상기 생성부가
상기 3차원 지도에 추가된 상기 적어도 하나의 가상물체를 선택적으로 갱신하는 것을 특징으로 하는 실내공간의 3차원 지도 생성 장치.
제18항에 있어서,
상기 생성부는
상기 적어도 하나의 가상물체 중에 빛을 반사하는 재질을 포함하는 가상물체인 반사가상물체가 포함되어 있을 때,
상기 적어도 하나의 확장실내공간이미지 및 상기 지형정보를 이용하여, 상기 3차원 지도 상의 소정의 기준위치에 대응되는 기준포즈에 대하여 상기 반사가상물체를 통해 반사되어 보이는 상기 실내공간에 대한 영상인 반사영상을 상기 반사가상물체에 더 표시하는 것을 특징으로 하는 실내공간의 3차원 지도 생성 장치.
제12항에 있어서,
상기 적어도 하나의 실내공간이미지로부터 상기 실내공간에 위치하는 광원에 관한 위치 및 밝기에 관한 정보를 포함하는 광원정보를 추정하는 광원추정부; 및
상기 적어도 하나의 확장실내공간이미지에 상기 광원정보에 의한 조명 효과를 반영하는 광원반영부
를 더 포함하는 것을 특징으로 하는 실내공간의 3차원 지도 생성 장치.