KR101902131B1 - 시뮬레이션 파노라마 실내영상 제작 시스템 - Google Patents

Abstract

오브젝트를 추가하거나 오브젝트의 위치를 변경하거나 회전시킬 수 있는 시뮬레이션 파노라마 실내영상 제작 시스템이 개시된다. 시뮬레이션 파노라마 실내영상 제작 시스템은, 네트워크를 통해 접속하는 사용자 단말에 시뮬레이션 서비스를 제공하는 웹서버, 및 웹서버에 연결되며 사용자 단말의 카메라를 통해 획득한 영상에 기초하여 3차원 포인트 클라우드 데이터를 생성하고 3차원 포인트 클라우드 데이터를 사용하여 실내영상 데이터를 생성하고 시뮬레이션 서비스를 위한 실내영상 데이터를 웹서버에 제공하는 영상통합서버를 포함하며, 웹서버는 사용자 단말에 실내영상 데이터 내 오브젝트들 간의 위상관계에 맞게 커스텀 오브젝트를 배치하고 커스텀 오브젝트의 크기와 방향을 조절하는 사용자 인터페이스를 제공한다.

Description

시뮬레이션 파노라마 실내영상 제작 시스템{SYSTEM FOR PRODUCING SIMULATION PANORAMIC INDOOR IMAGES}

본 발명의 실시예는 실내영상 제작 기술에 관한 것으로, 보다 상세하게는, 오브젝트를 추가하거나 오브젝트의 위치를 변경하거나 회전시킬 수 있는 시뮬레이션 파노라마 실내영상 제작 시스템에 관한 것이다.

특정한 위치에서 출발하여 이동방향, 위치 등을 탐색하기 위해서는 자신의 현재 위치를 정확하게 파악하는 것이 무엇보다 중요하며, 이는 도로, 산 등의 외부공간뿐 아니라 상대적으로 복잡한 구조를 가진 실내공간에서도 마찬가지이다. 그것은 높은 정밀도를 가진 지도가 제공되어도 현재 위치를 알지 못한다면 이동 방향이나 위치 정보를 이용할 수 없기 때문이다.

GPS(Global Positioning System) 장비는 지구상에서 자신의 위치를 확인하는데 이용된다. GPS는 높은 정확도를 가지고 특정 위치 정보를 제공할 수 있으므로 GPS를 통한 위치 정보와 자이로 센서를 이용한 방향정보를 통해 차량의 길안내 등 다양한 분야에서 활용되고 있다.

또한, 카메라를 이용한 이미지 확보와 증강현실 사용자 인터페이스(user interface, UI)와의 결합을 통해 특정 위치에서의 파노라마 이미지 구현으로 다양한 공간정보를 이용할 수 있도록 하는 기술이 연구개발 중에 있다.

하지만, 선박, 원자력 발전소, 지하구조물 등의 실내공간에서는 GPS 신호를 수신할 수 없으므로 이를 이용한 위치 정보 확인 및 증강현실 UI 구현이 어렵다. 또한, 실내 사용에 신뢰도가 떨어지는 GPS의 문제를 보완하기 위해 근거리 무선통신망이나 이동통신망을 이용하여 사용자의 위치를 알아내는 방법이 이용되기도 하나, 무선통신은 전파전송장비의 위치에 따른 개략적 위치정보만을 줄 뿐 GPS와 유사하게 정확도가 떨어지는 문제점이 있다.

최근 매터포트(Matterport), 브이월드, 다음 스토어뷰 등 다양한 기업에서 실내뷰를 구축하고 있다. 이 기업들에서 구축하는 실내뷰는 3차원 구형 공간을 구축하고 해당 구면에 360° 파노라마 사진을 디스플레이하는 방식이다. 그러나, 상기의 종래 방식은 사용자의 입장에서 단순 이차원(2D) 사진을 보는 것에 불과하며, 2D 표면상에 아이콘이나 마커를 표시하는 등 그 활용이 제한적인 문제점이 있다.

즉, 전술한 종래 기술들의 실내뷰 모두는 3차원 구형 공간을 구축하고 해당 구면에 360° 파노라마 사진을 디스플레이할 뿐 실내의 공간적인 특성을 이용하여 오브젝트를 삽입하는 등 시뮬레이션하거나 편집할 수 콘텐츠 서비스를 제공하고 있지는 않다. 이와 같이, 실내뷰 기술에서도 개선되거나 새로운 파노라마 실내영상 서비스에 대한 요구가 증가하고 있는 실정이다.

국내 등록특허공보 제10-1754524호(2017.06.29.)

상술한 종래 기술의 문제점을 해결하기 위하여 본 발명은, RGB-D 카메라로 추출한 3차원 포인트 클라우드와 360° 파노라마 실내뷰를 통합하여 공간데이터를 활용할 수 있고 시뮬레이션이 가능한 3차원 360° 파노라마 실내뷰를 제공할 수 있는, 시뮬레이션 파노라마 실내영상 제작 시스템을 제공하는데 그 목적이 있다.

본 발명의 다른 목적은 오브젝트들 간의 위상 관계를 실시간으로 해석하여 거리에 따른 오브젝트의 원근감, 오브젝트들 간의 위상관계, 오브젝트와 바닥과의 공간적 관계를 표현하고, 오브젝트의 크기와 방향을 조정할 수 있는 360° 파노라마 시뮬레이터 기능을 제공할 수 있는, 시뮬레이션 파노라마 실내영상 제작 시스템을 제공하는데 있다.

본 발명의 또 다른 목적은 RGB-D 카메라로 추출한 3차원 포인트 클라우드 데이터를 사용하여 실내 공간데이터로 활용하며, 실내 공간데이터 내 오브젝트들 간의 위상관계를 고려하여 커스텀 오브젝트를 자유롭게 배치하고 오브젝트의 크기와 방향을 조절하는 시뮬레이션 서비스를 제공할 수 있는, 시뮬레이션 파노라마 실내영상 제작 시스템을 제공하는데 있다.

상술한 기술적 과제를 달성하기 위하여 본 발명의 일 측면에 따른 시뮬레이션 파노라마 실내영상 제작 시스템은, 네트워크를 통해 접속하는 사용자 단말에 시뮬레이션 서비스를 제공하는 웹서버; 및 상기 웹서버에 연결되며 상기 사용자 단말의 카메라를 통해 획득한 영상에 기초하여 3차원 포인트 클라우드 데이터를 생성하고 상기 3차원 포인트 클라우드 데이터를 사용하여 실내영상 데이터를 생성하고 상기 시뮬레이션 서비스를 위한 실내영상 데이터를 상기 웹서버에 제공하는 영상통합서버를 포함하며, 상기 웹서버는 상기 사용자 단말에 상기 실내영상 데이터 내 오브젝트들 간의 위상관계에 대응하여 거리에 따른 오브젝트의 원근감, 오브젝트들 간의 위상관계, 및 오브젝트와 바닥과의 공간적 관계를 표현하는 커스텀 오브젝트가 배치되고 상기 커스텀 오브젝트의 크기가 조정되고 상기 커스텀 오브젝트의 방향이 360°로 조정되는 사용자 인터페이스를 제공한다.

일실시예에서, 상기 영상통합서버는 RGB-D 카메라에서 촬영된 영상과 실내의 위치 포인트에 대한 영상을 통합하여 파노라마 영상과 상기 3차원 포인트 클라우드 데이터를 생성할 수 있다.

일실시예에서, 상기 영상통합서버는, 상기 파노라마 영상과 상기 3차원 포인트 클라우드 데이터를 통합하는 영상통합모듈; 상기 영상통합모듈로부터 3차원 공간상의 좌표(X, Y, Z)를 취득하는 좌표취득모듈; 상기 커스텀 오브젝트에 대한 이미지를 수집하는 오브젝트이미지수집모듈; 상기 오브젝트이미지수집모듈에 수집된 이미지와 상기 영상통합모듈로부터 수신된 공간상의 크기와 배율을 맞추는 오브젝트변형값산출모듈; 상기 오브젝트변형값산출모듈로부터 산출된 오브젝트 크기와 상기 좌표취득모듈에서 산출된 값을 비교하여 위상관계를 산출하는 위상관계산출모듈; 상기 웹서버로부터 수신되며 영상과 제작된 시뮬레이션 파노라마 실내영상을 저장하는 영상수집모듈을 포함할 수 있다.

일실시예에서, 상기 오브젝트변형값 산출모듈은 크기변형 행렬(scale matrix)에 기반하여 상기 커스텀 오브젝트의 크기를 조절하기 위한 오브젝트 변형값(제1 오브젝트 변형값)을 산출할 수 있다.

일실시예에서, 상기 오브젝트변형값 산출모듈은 오일러(euler) 변환에 기반하여 상기 커스텀 오브젝트를 회전하여 방향을 조절하기 위한 오브젝트 변형값(제2 오브젝트 변형값)을 산출할 수 있다.

일실시예에서, 시뮬레이션 파노라마 실내영상 제작 시스템은 RGB-D 카메라를 통해 취득한 영상을 저장하는 실내뷰 파노라마 영상 데이터베이스를 더 포함할 수 있다. 여기서, 상기 영상통합서버는 상기 사용자 단말의 카메라를 통해 획득한 영상 내 실내공간에 적어도 하나 이상의 기준점을 설정하고 상기 기준점을 이용하여 상기 실내공간의 위치정보를 수집하고 이에 기초하여 실내 포인트 클라우드 영상을 생성할 수 있다. 생성된 실내 포인트 클라우드 영상은 실내 포인트 클라우드 데이터베이스에 저장된다. 또한, 상기 영상통합서버는 실내뷰 파노라마 영상 데이터베이스로부터 사용자 단말의 영상을 획득할 수 있다.

상술한 바와 같은 본 발명의 시뮬레이션 파노라마 실내영상 제작 시스템을 사용하면, 3차원 공간 데이터를 구축하고 해당 데이터를 사용하여 오브젝트들 간의 위상관계를 해석하도록 서비스할 수 있고, 실내 공간 데이터에 커스텀 오브젝트를 자유롭게 배치하도록 서비스할 수 있다.

또한, 본 발명에 의하면, 쇼룸 전시영상을 제공하거나 사용자의 요구 및 취향에 따라 다양한 객체를 추가 또는 삭제하여 미디어 컨텐츠를 보다 간편하게 제작하는 서비스를 제공할 수 있는 장점이 있다.

또한, 본 발명에 의하면, RGB-D 카메라를 이용하여 3차원 실내 측위 및 공간 데이터 응용 기술을 제공할 수 있고, 그에 의해 다양한 분야에 시뮬레이션 파노라마 실내영상을 손쉽게 효율적으로 적용할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 시뮬레이션 파노라마 실내영상 제작 시스템의 전체적으로 개략도이다.
도 2는 도 1의 영상통합서버에 대한 블록도이다.
도 3은 도 1의 영상통합서버의 좌표취득모듈의 작동 원리를 설명하기 위한 도면이다.
도 4는 도 1의 영상통합서버의 깊이값에 따른 오브젝트를 선택하는 원리를 설명하기 위한 도면이다.
도 5는 도 1의 영상통합서버의 오브젝트변형값 산출모듈의 작동 원리를 설명하기 위한 도면이다.
도 6은 도 1의 영상통합서버의 오브젝트변형값 산출모듈의 또 다른 작동 원리를 설명하기 위한 도면이다.
도 7은 도 1의 영상통합서버의 위상관계산출모듈의 작동 원리를 설명하기 위한 도면이다.
도 8은 도 1의 영상통합서버의 위상관계산출모듈에 있어서, 실제 위상관계와 사람의 시야에서 보이는 모습을 설명하기 위한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 아니하는 것으로 이해되어야 할 것이다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함한다", "가진다" 등과 관련된 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 명세서에서 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 포함한다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 의미와 일치하는 의미로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 시뮬레이션 파노라마 실내영상 제작 시스템의 전체적으로 개략도이다. 도 2는 도 1의 영상통합서버에 대한 블록도이다. 도 3은 도 1의 영상통합서버의 좌표취득모듈의 작동 원리를 설명하기 위한 도면이다. 도 4는 도 1의 영상통합서버의 깊이값에 따른 오브젝트를 선택하는 원리를 설명하기 위한 도면이다. 도 5는 도 1의 영상통합서버의 오브젝트변형값 산출모듈의 작동 원리를 설명하기 위한 도면이다. 도 6은 도 1의 영상통합서버의 오브젝트변형값 산출모듈의 또 다른 작동 원리를 설명하기 위한 도면이다. 도 7은 도 1의 영상통합서버의 위상관계산출모듈의 작동 원리를 설명하기 위한 도면이다. 그리고 도 8은 도 1의 영상통합서버의 위상관계산출모듈에 있어서, 실제 위상관계와 사람의 시야에서 보이는 모습을 설명하기 위한 도면이다.

본 실시예에 따른 시뮬레이션 파노라마 실내영상 제작 시스템(이하 간략히 '실내영상 제작 시스템')은, 도 1에 도시된 바와 같이, 영상통합서버(300)를 포함하여 구성된다. 네트워크를 통해 사용자 단말(100)과 연결될 수 있다.

또한, 실내영상 제작 시스템은 웹서버(200)를 더 포함할 수 있다. 그 경우, 영상통합서버(300)는 웹서버(200)를 통해 사용자 단말(100)과 연결될 수 있다.

또한, 실내영상 제작 시스템은 실내뷰 파노라마 영상 데이터베이스(400)와, 실내 포인트 클라우드 데이터베이스(500)를 더 포함할 수 있다.

각 구성요소를 좀더 구체적으로 설명하면, 사용자 단말(100)은 시뮬레이션 파노라마 실내영상 서비스를 이용하는 장치로서, 웹서버(200)를 통해 제공되는 사용자 인터페이스를 이용하여 시뮬레이션 파노라마 실내영상 서비스에서 커스텀 오브젝트를 배치하고 상기 커스텀 오브젝트의 크기와 방향을 조절할 수 있다.

사용자 단말(100)은 스마트폰이나 패드, 노트북 등의 모바일 단말, 데스크탑을 포함할 수 있고, 유무선 인터넷망을 통해 실내 영상을 전송하거나 파노라마 라벨링 컨텐츠 서비스를 제공받 수 있는 단말기를 포함할 수 있다.

즉, 사용자 단말(100)은 인터넷이나 무선 통신만을 통해 라벨링 서버(200)에 접속가능한 단말을 포함하며, 넓은 의미로는 각종 데이터를 입력하는 키보드, 마우스 등과 같은 입력장치, 모니터 및 프린터 등과 같은 출력장치, 모뎀이나 LAN 등과 같은 송수신장치, 마이크로프로세서, 그래픽 카드와 같은 영상 처리장치 및 이들을 운용하거나 제어하는 각종 프로그램을 탑재한 저장장치, 또는 이들의 조합을 포함하여 구성될 수 있다.

일례로, 사용자 단말(100)은 개인용 컴퓨터(Personal Computer, PC), 노트북(Notebook) 등을 이루어질 수 있으며, 그 경우 별도의 카메라가 유선 또는 무선 통신 방식으로 연결될 수 있다. 또한, 사용자 단말(100)은 개인 통신 단말기(Personal Communication System, PCS), GSM(Global System for Mobile communications) 단말기, 개인 디지털 셀룰러 단말기(Personal Digital Cellular, PDC), PHS(Personal Handphone System), 개인 정보 단말기(Personal Digital Assistant, PDA), 스마트폰(Smart Phone), 텔레매틱스(Telematics), 무선 데이터 통신 단말기, 휴대 인터넷 단말 등에서 선택되는 적어도 하나 이상을 포함하여 이루어질 수 있다.

웹서버(200)는 사용자 단말(100)에 시뮬레이션 파노라마 실내영상의 제작을 위한 사용자 인터페이스를 제공할 수 있다. 웹서버(200)는 영상통합서버(300)에 연결되며, 영상통합서버(300)에 접속하여 필요한 영상을 수신하고 오브젝트를 추가 또는 삭제하는 사용자 단말(100)의 신호나 데이터를 영상통합서버(300)에 전달할 수 있다.

웹서버(200)는 사용자 단말(100)의 요청에 따라 필요한 실내 360°파노라마 영상을 제공하며, 제공된 실내영상에 추가 또는 삭제하고자 하는 오브젝트의 크기 변경 또는 방향 회전 등을 제어할 수 있도록 하는 툴바를 제공할 수 있다.

또한, 웹서버(200)는 사용자가 시뮬레이션하고자 하는 실내영상을 제작할 수 있는 프로그램을 제공할 수 있고, 제작하고자 하는 실내영상 및 커스텀 오브젝트에 대한 이미지를 영상통합서버(300)로부터 제공받을 수 있다.

영상 통합 서버(300)는 웹서버(200)와 신호 및 데이터를 송수신하며, 필요한 영상을 웹서버(200)나 사용자 단말(100)에 제공할 수 있다. 영상 통합 서버(300)는 RGB-D 카메라에서 촬영된 영상과 이 영상 내 실내 공간에 지정한 위치 포인트를 포함하는 영상을 통합하여 3차원(3D) 영상을 생성할 수 있다. 3차원 영상은 파노라마 영상과 실내 포인트 클라우드 영상을 포함할 수 있고, 실내 포인트 클라우드 영상은 실내 포인트 클라우드 데이터에 대응될 수 있다.

영상 통합 서버(300)는, 도 2에 도시한 바와 같이, 파노라마 영상과 실내 포인트 클라우드 영상을 통합하는 영상 통합 모듈(310)과, 영상 통합 모듈(310)의 영상으로부터 3D공간상의 좌표(X,Y,Z)를 취득하는 좌표 취득 모듈(320)과, 사용자 단말(100)의 소정 입력에 대응하는 커스텀 오브젝트에 대한 이미지를 수집하는 오브젝트 이미지 수집 모듈(330)과, 오브젝트 이미지 수집 모듈(330)에 수집된 이미지와 영상 통합 모듈(310)로부터 수신되는 실내영상 내 공간상의 크기와 배율을 맞추는 오브젝트 변형값 산출 모듈(340)과, 오브젝트 변형값 산출 모듈(340)로부터 산출된 오브젝트 크기와 좌표 취득 모듈(320)에서 산출된 값을 비교하여 위상관계를 산출하는 위상 관계 산출 모듈(350)과, 웹서버(200)로부터 수신되는 영상과 위의 모듈들을 통해 제작된 시뮬레이션 영상을 수집하여 저장하는 영상 수집 모듈(360)을 포함할 수 있다.

영상 통합 모듈(310)은 실내뷰 파노라마 영상 데이터베이스(400)로부터 RGB-D 카메라에서 취득한 영상을 수신하고, 실내 포인트 클라우드 데이터베이스(500)로부터 실내 공간의 위치정보를 수신하여 통합된 영상을 생성하고 생성된 영상을 웹서버(200)에 제공할 수 있다.

좌표 취득 모듈(320)은 실내뷰 파노라마 영상 데이터베이스(400)로부터 수신된 영상 데이터 즉, RGB-D 카메라를 사용해 해석한 공간데이터를 기반으로 영상 내에서의 깊이 정보를 취득할 수 있다. RGB-D 카메라로 구축한 3D 공간상의 좌표(X, Y, Z)를 취득하여 추후 오브젝트 이미지 수집 모듈(330)로부터 수신되는 오브젝트의 위치를 결정할 수 있다.

위치 결정에 따라 실내영상 내 공간의 깊이 정보가 결정되므로, 오브젝트의 위치에 따라 원근감을 적용하여 도 3에 도시한 바와 같이 멀리 있는 오브젝트는 작게 표시하고(도 3의 오른쪽), 가까이 있는 오브젝트는 크게 표시(도 3의 왼쪽)하여 사용자에게 원근감을 제공할 수 있다.

오브젝트 이미지 수집 모듈(330)은 2D 이미지 상에서 깊이에 따라 해당 깊이에 존재하는 오브젝트를 구분하고 이에 대한 커스텀 오브젝트 이미지를 수집하고 저장한다. 오브젝트는 테이블 조명 등 실내공간에 거치할 수 있는 물건을 지칭할 수 있다. 오브젝트 이미지 수집 모듈(330)은 온라인 또는 인터넷 등에서 수집할 수 있는 오브젝트를 이용하도록 구현될 수 있다.

한편, 본 발명에서는 RGB-D 카메라를 사용하여 깊이 데이터를 취득하고 그 데이터를 사용하여 오브젝트간의 위상관계를 파악할 수 있도록 하는 것으로 도 4에 도시된 바와 같이 2D 이미지 상에서 깊이에 따라 해당 깊이에 존재하는 오브젝트를 구분할 수 있고, 이 데이터를 기반으로 커스텀 오브젝트를 배치할 때 실시간으로 다른 오브젝트들과의 위상관계를 파악할 수 있으며 2D 지도에서 공간데이터를 활용할 수 있다.

오브젝트 변형값 산출 모듈(340)은 사용자가 웹서버(200)에 접속하여 실내영상 내 공간에서 적당한 크기 및 방향으로 커스텀 오브젝트를 조절할 수 있도록 실내영상 내 공간과 오브젝트간의 스케일된 좌표값을 산출할 수 있다.

커스텀 오브젝트의 크기를 조절하기 위해, 오브젝트 변형값 산출 모듈(340)은 크기변형 행렬(scale matrix)을 사용하며, 사용가능한 크기변형 행렬을 예시하면 다음의 [수학식 1]과 같다.

[수학식 1]

위의 수학식 1에서,

,

,

에는 각각 크기에 대한 배율이 들어가고 해당 값은 곱셈 연산을 하게 된다. 해당 결과로 스케일된 좌표값이 산출된다. 크기 변형 행렬을 사용하면, 도 5에 도시한 바와 같이, 커스텀 오브젝트의 크기를 키울 수 있고, 반대로 작게 만들 수 있다.

또한, 오브젝트를 회전하여 방향을 조절하기 위하여 오브젝트 변형값 산출 모듈(340)은 오일러(euler) 변환을 사용할 수 있다. 즉, 3차원 공간 좌표계를 (x,y,z)라고 하고 이를 변환시킨 좌표계를 (X,Y,Z)라고 할 때, 오브젝트의 방향은 다음과 같이 세 각도로 표현될 수 있다.

α: z-축을 기준으로 회전된 x-y 좌표축의 각도

β: 회전된 x-축을 기준으로 회전된 z-y 좌표축의 각도

γ: 회전된 z-축을 기준으로 회전된 x-y 좌표축의 각도

상기와 같이 회전 각도를 구하고, 이에 기초하여 x축, y축, z축으로 오브젝트를 회전시킬 수 있다. 회전된 오브젝트는 다음의 [수학식 2]를 이용하여 좌표를 취득할 수 있다.

[수학식 2]

위상 관계 산출 모듈(350)은, 도 6에 도시한 바와 같이, 3차원적인 공간에서 위치에 따라 오브젝트의 위상관계를 표현할 수 있도록 한다. 또한, 위상 관계 산출 모듈(350)은 RGB-D 카메라를 통해 획득한 포인트 클라우드에서 높이 값을 사용해서 바닥면을 추출할 수 있고, 커스텀 오브젝트가 해당 바닥면보다 낮은 곳에 있는 부분은 바닥면 이미지를 덮어서 지울 수 있다(도 7의 왼쪽 도면 참조). 이는 바닥면에 한정하는 것이 아니라 바닥이 아닌 다른 오브젝트와의 위상관계에서도 동일하게 적용될 수 있다.

즉, 위상 관계 산출 모듈(350)은 도 7에 도시한 바와 같이 커스텀 오브젝트(스탠드)와 바닥과의 위상관계를 표현할 수 있고(왼쪽 도면), 스탠트가 책상의 오른쪽 뒤에 놓여 완전히 보이는 상태(오른쪽 위쪽 도면)에서 책상 뒤로 이동하여 책상에 그 하단부가 가려지는 경우, 스탠드의 가려진 부분을 책상으로 덮어씌워 책상 뒤에 있는 것을 표현해 줄 수 있다(오른쪽 아래 도면).

한편, 상기 위상 관계 산출 모듈(350)은 바닥면과 커스텀 오브젝트 사이의 위상 관계뿐 아니라 다른 오브젝트와의 위상관계도 표현할 수 있도록 한다. 도 8에 도시된 바와 같이, 커스텀 오브젝트의 위치가 책상의 앞에 있는 경우와 뒤에 있는 경우 두 가지를 표현할 수 있다.

이를 좀더 자세히 설명하면, 사람, 책상, 커스텀 오브젝트의 순서로 위치되어 있는 경우, 사람의 시야에서는 커스텀 오브젝트가 책상에 가려진 상태로 보여지며, 사람, 커스텀오브젝트, 책상 순서로 위치되어 있는 경우에는 사람의 시야에서 커스텀 오브젝트가 책상 앞에 위치하게 된다.

따라서, 상기 위상 관계 산출 모듈(350)은 오브젝트들의 공간 데이터를 통해 위상관계를 실시간으로 해석하여 위치관계와 위치에 따른 스케일을 조정하여 360°파노라마 사진을 생성할 수 있다.

또한, 상기 위상 관계 산출 모듈(350)은 좌표 취득 모듈(320)에서 취득한 깊이 데이터를 이용하여 도 8에 도시된 바와 같이, 2D 이미지 상에서 깊이에 따라 해당 깊이에 존재하는 오브젝트를 구분할 수 있고, 이 데이터를 기반으로 커스텀 오브젝트를 배치할 때 실시간으로 다른 오브젝트들과의 위상관계를 파악할 수 있으며 이는 2D 지도에서 공간데이터를 활용할 수 있도록 한다.

영상 수집 모듈(360)은 웹서버(200)로부터 수신된 영상을 수집하고, 시뮬레이션 파노라마 실내영상 서비스를 위한 영상을 저장할 수 있다. 영상수집모듈(360)에 수집되거나 저장된 영상은 필요에 따라 호출되어 사용자 단말(100)에 제공될 수 있다.

실내뷰 파노라마 영상 데이터베이스(400)는 RGB-D 카메라에서 취득한 영상을 저장한다. 실내뷰 파노라마 영상 데이터베이스(400)에 저장된 데이터는 RGB-D 카메라를 이용하여 실내를 360°파노라마로 촬영한 영상으로 영상 통합 서버(300)의 요청에 따라 제공될 수 있다.

카메라는 실내의 수평방향으로 일정 높이에서 별도의 거치대를 이용하여 거치된 뒤 촬영하여 실내영상을 생성할 수 있다. 또한, RGB-D 카메라를 사용하는 경우, 실내의 소정 수평 평면이나 질감 정보가 없는 평면에서 컬러(RGB) 정보와 깊이(Depth) 정보를 갖는 영상을 촬영하여 획득할 수 있다. 이 경우, 카메라를 통해 3차원 관측 데이터를 바로 얻을 수 있다.

RGB-D 카메라를 사용하는 경우, 카메라를 통해 촬영된 컬러 정보와 깊이 정보는 촬영된 영상을 통해 픽셀 정보와 함께 검출될 수 있다. 또한, 깊이 센서와 RGB 카메라 사이의 위치 및 캘리브레이션(calibration) 정보가 주어지면, 3차원 점을 투영시키는 과정을 통해 센서 정합을 실시할 수 있다. 이를 통해 컬러 영상과 깊이 영상을 촬영하는 각각의 카메라 또는 센서가 가지는 시차와 화각(field of view, FOV)을 보정할 수 있다.

실내 포인트 클라우드 데이터베이스(500)는 실내영상 내 공간의 위치정보를 수집한다. 실내 포인트 클라우드 데이터베이스(500)는 실내공간 내에 적어도 하나 이상의 기준점을 설정하고, 이를 이용하여 위치 확인의 기준으로 사용할 수 있다. 기준점은 위치 확인을 위한 것으로 실내공간의 입구, 출구 또는 중요한 지점에 하나 이상 설정될 수 있다.

이상 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (5)

1. 네트워크를 통해 접속하는 사용자 단말에 시뮬레이션 서비스를 제공하는 웹서버;
   상기 웹서버에 연결되며 상기 사용자 단말의 RGB-D 카메라를 통해 획득한 영상 내 실내공간에 적어도 하나의 기준점을 설정하고 상기 기준점을 이용하여 상기 실내공간의 위치정보를 수집하고, 상기 영상, 기준점 및 위치정보에 기초하여 3차원 포인트 클라우드 데이터를 생성하고 상기 3차원 포인트 클라우드 데이터를 사용하여 실내영상 데이터를 생성하고 상기 시뮬레이션 서비스를 위한 실내영상 데이터를 상기 웹서버에 제공하는 영상통합서버;
   상기 사용자 단말의 RGB-D 카메라를 통해 취득한 영상을 저장하는 실내뷰 파노라마 영상 데이터베이스; 및
   상기 영상과 상기 영상 내 실내공간의 위치정보가 통합된 실내 포인트 클라우드 영상을 저장하는 실내 포인트 클라우드 데이터베이스를 포함하며,
   상기 웹서버는 상기 사용자 단말에 상기 실내영상 데이터 내 오브젝트들 간의 위상관계에 대응하여 거리에 따른 오브젝트의 원근감, 오브젝트들 간의 위상관계, 및 오브젝트와 바닥과의 공간적 관계를 표현하는 커스텀 오브젝트가 배치되고 상기 커스텀 오브젝트의 크기가 조정되고 상기 커스텀 오브젝트의 방향이 360°로 조정되는 사용자 인터페이스를 제공하는,
   시뮬레이션 파노라마 실내영상 제작 시스템.
2. 삭제
3. 제1항에 있어서,
   상기 영상통합서버는,
   상기 파노라마 영상과 상기 3차원 포인트 클라우드 데이터를 통합하는 영상통합모듈;
   상기 영상통합모듈로부터 3차원 공간상의 좌표(X, Y, Z)를 취득하는 좌표취득모듈;
   상기 커스텀 오브젝트에 대한 이미지를 수집하는 오브젝트이미지수집모듈;
   상기 오브젝트이미지수집모듈에 수집된 이미지와 상기 영상통합모듈로부터 수신된 공간상의 크기와 배율을 맞추는 오브젝트변형값산출모듈;
   상기 오브젝트변형값산출모듈로부터 산출된 오브젝트 크기와 상기 좌표취득모듈에서 산출된 값을 비교하여 위상관계를 산출하는 위상관계산출모듈; 및
   상기 웹서버로부터 수신되며 영상과 제작된 시뮬레이션 파노라마 실내영상을 저장하는 영상수집모듈을 포함하는, 시뮬레이션 파노라마 실내영상 제작 시스템.
4. 제3항에 있어서,
   상기 오브젝트변형값산출모듈은 크기변형 행렬(scale matrix)을 이용하여 상기 커스텀 오브젝트의 크기를 조절하기 위한 제1 오브젝트 변형값을 산출하고, 오일러(euler) 변환을 사용하여 상기 커스텀 오브젝트를 회전하여 방향을 조절하기 위한 제2 오브젝트 변형값을 산출하는, 시뮬레이션 파노라마 실내영상 제작 시스템.
5. 삭제

Images