KR102392606B1 - 실내 혼합현실 매칭 시스템 - Google Patents

실내 혼합현실 매칭 시스템 Download PDF

Info

Publication number
KR102392606B1
KR102392606B1 KR1020200136303A KR20200136303A KR102392606B1 KR 102392606 B1 KR102392606 B1 KR 102392606B1 KR 1020200136303 A KR1020200136303 A KR 1020200136303A KR 20200136303 A KR20200136303 A KR 20200136303A KR 102392606 B1 KR102392606 B1 KR 102392606B1
Authority
KR
South Korea
Prior art keywords
data
unit
virtual space
virtual
mixed reality
Prior art date
Application number
KR1020200136303A
Other languages
English (en)
Other versions
KR20220052211A (ko
Inventor
김명환
이후경
강필도
박성혁
김민수
이병현
김승선
Original Assignee
(주)심스리얼리티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)심스리얼리티 filed Critical (주)심스리얼리티
Priority to KR1020200136303A priority Critical patent/KR102392606B1/ko
Publication of KR20220052211A publication Critical patent/KR20220052211A/ko
Application granted granted Critical
Publication of KR102392606B1 publication Critical patent/KR102392606B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Abstract

본 발명에 따른 실내 혼합현실 매칭 시스템은, 가상공간 데이터의 시현, 현실공간과 가상공간의 매칭, 실시간 혼합현실 장치의 위치 추적 및 혼합현실 데이터를 제어하는 혼합현실 시스템부(100); 상기 혼합현실 시스템부에서 생성된 실내 MAP 기반으로 가상 데이터를 생성, 편집, 제어하는 가상공간 데이터 시스템부(300) 및 상기 혼합현실 시스템부와 가상공간 데이터 시스템부와의 데이터 송수신과 데이터 저장을 관리하는 데이터 저장소부(200)를 포함하되, 상기 혼합현실 시스템부는 빌드된 실행파일을 사용하지 않고 외부의 데이터 저장소로부터 패키지된 데이터를 수신받아 시작 위치를 보정하여 실행하는 것을 특징으로 한다.

Description

실내 혼합현실 매칭 시스템{Indoor mixed reality matching system}
본 발명은 실내 혼합현실 매칭 시스템에 관한 것으로서, 더욱 상세하게는 RGB-D카메라로 실내를 스캔하여 데이터를 획득하고 혼합현실 실행 시 스캔한 데이터와 비교하여 현재 위치 및 방향을 찾아 보정하여 실시간으로 실내공간과 가상의 공간을 매칭하는 시스템에 관한 것이다.
현실공간과 가상공간을 혼합하는 혼합현실은 가상공간에 3D 콘텐츠 및 2D 콘텐츠를 생성하고 위치 설정 후 혼합현실 실행파일을 만들어 혼합현실을 실행하고 특정 시작 위치 또는 마커 인식을 통해 보정하여 현실공간과 가상공간을 매칭 후 사용자가 이동시 관성측정 센서(IMU)를 통해 실시간으로 실내공간과 가상의 공간을 매칭한다.
그러나 가상공간에 3D 콘텐츠 및 2D 콘텐츠 생성 시 RGB-D 카메라로 실시간 촬영하여 3D 오브젝트를 매칭해야 하므로, 콘텐츠를 생성하기 위한 소요 시간이 증가될 수도 있고, RGB-D 카메라로 항시 촬영해야 하는 불편함이 있다. 또한, 3D 콘텐츠 및 2D 콘텐츠를 수정하면 다시 실행 파일을 만들어야 하며 현실공간과 가상공간의 매칭을 위해 고정적인 위치에서 시작해야 하는 불편함과 사용자가 이동시 관성측정 센서를 통해 실시간 실내공간과 가상의 공간의 매칭의 정확도가 낮은 문제점이 있다.
또한, 종래의 혼합현실 시스템은 3D를 구성하는 데이터를 모아 실행파일 형태로 빌드하여 독립된 방식으로 구동하였기 때문에 수정되면 다시 데이터를 받아 빌드하여 실행되어야 하는 문제점이 있다.
한국공개특허 제10-2014-0000315호
상기의 문제점을 해결하고자 본 발명은 3D 콘텐츠를 구성하는 데이터를 빌드하지 않고 데이터를 파일 형태로 저장소에 저장하였다가 외부에서 파일을 읽어 들여 3D 콘텐츠를 보여주는 시스템을 제공하고자 한다.
상기의 해결하고자 하는 과제를 위한 본 발명에 따른 실내 혼합현실 매칭 시스템은, 가상공간 데이터의 시현, 현실공간과 가상공간의 매칭, 실시간 혼합현실 장치의 위치 추적 및 혼합현실 데이터를 제어하는 혼합현실 시스템부(100); 상기 혼합현실 시스템부에서 생성된 실내 지도(map) 기반으로 가상 데이터를 생성, 편집, 제어하는 가상공간 데이터 시스템부(300) 및 상기 혼합현실 시스템부와 가상공간 데이터 시스템부와의 데이터 송수신과 데이터 저장을 관리하는 데이터 저장소부(200)를 포함하되, 상기 혼합현실 시스템부는 빌드된 실행파일을 사용하지 않고 외부의 데이터 저장소로부터 패키지된 데이터를 수신받아 시작 위치를 보정하여 실행하는 것을 특징으로 한다.
상기 혼합현실 시스템부는, 실내공간을 인식하여 Map을 생성하는 데이터 기반을 마련하고 Map 데이터와 현재 RGB-D 카메라 데이터를 비교하여 위치를 매칭하는 SLAM 제어부(1000); 센서를 통해 혼합현실 장치의 위치 데이터를 제공하고 현실공간의 환경 및 사물을 인식하는 센서 데이터를 제공하는 센서 위치 추정부(1100); 가상공간과 실내공간을 매칭하는 가상공간 매칭부(1200); 주변 환경과 사물을 인식하고 판단하는 현실공간 인식부(1300); 실내 Map 데이터, 현재 위치 데이터, 가상공간 데이터를 조합하여 가상공간의 데이터를 매핑하고 현재 위치를 정의하는 혼합현실 시현부(1400); 혼합현실 장치 사용자의 손을 인식하고 제스처에 따른 상호 인식 및 명령을 제어하는 혼합현실 제어부(1500); 가상공간 데이터 시스템부(300) 및 데이터 저장소부(200)와 혼합현실 시스템부(100)간의 데이터 송수신 및 메시지 송수신을 관리하는 네트워크 제어부(1600) 및 혼합현실 장치에서 실행 시 실행 소프트웨어 환경을 설정하고 불러올 가상공간 데이터 및 Map을 관리하는 혼합현실 실행부(1700)를 포함하는 것을 특징으로 한다.
상기 SLAM 제어부(1000)는, RGB-D 카메라로 실내를 촬영하고 촬영 데이터를 조합하여 실내 Map을 생성하는 실내 Map 생성부(1001); 실내 촬영 시 특징점 데이터를 추출하는 특징점 추출부(1002); 실내 Map 기반으로 현재 촬영하고 있는 특징점으로 위치를 추정하는 위치 추정부(1003) 및 실내/외, 광원, 사물 영향, 특정 지역 등 상황에 맞게 영상 처리 설정을 변경하는 카메라 제어부(1004)를 포함하는 것을 특징으로 한다.
상기 센서 위치 추정부(1100)는, 혼합현실 장치의 위치, 방향, 주변환경 인식에 사용되는 센서들을 관리하는 센서 관리부(1101) 및 상기 센서에서 획득한 데이터를 포맷 변환/분리/조합하는 센서 데이터 제어부(1102)를 포함하는 것을 특징으로 한다.
상기 가상공간 매칭부(1200)는, 혼합현실 실행 시작 시 현실공간과 가상공간을 매칭하는 시작 위치 캘리브레이션부(1201) 및 혼합현실 가상공간과 SLAM 위치 및 센서 위치의 데이터를 실시간 매칭하는 실시간 가상공간 및 현실위치 매칭부(1202)를 포함하는 것을 특징으로 한다.
상기 현실공간 인식부(1300)는, RGB-D 카메라 및 센서를 통해 실내/실외, 주간/야간, 특수 환경을 인식하고 판단하는 환경 인식부(1301) 및 사람, 물체 및 물질을 인식하고 판단하는 사물 인식부(1302)를 포함하는 것을 특징으로 한다.
상기 혼합현실 시현부(1400)는, 상기 가상공간 데이터 시스템부(300)에서 생성된 가상 데이터를 상기 가상공간 매칭부(1200)에서 전달받아 혼합현실 장치에 시현하는 가상 데이터 시현부(1401); 혼합현실 제어부(1500)를 통해 명령을 받으면 가상공간 데이터를 실행/편집/이동 제어하는 가상 데이터 제어부(1402); 실내 Map 데이터, 가상공간 좌표, 가상 데이터를 매핑하는 가상 데이터 매핑부(1403) 및 현실의 위치와 매핑된 가상공간에서의 위치를 매핑하여 현재 위치를 시현하는 현재 위치 시현부(1404)를 포함하는 것을 특징으로 한다.
상기 혼합현실 제어부(1500)는, 사용자의 손을 RGB-D 카메라 및 센서를 통해 손 및 제스처를 인식하는 제스처 인식부(1501) 및 제스처에 따른 명령어를 생성 및 제어하는 제스처 명령어부(1502)를 포함하는 것을 특징으로 한다.
상기 네트워크 제어부(1600)는, SLAM 제어부(1000)에서 생성된 실내 Map을 즉시 가상공간 데이터 시스템부(300)로 전송하거나 데이터 저장소부(200)에 전달하고, 가상공간 데이터를 가상공간 데이터 시스템부(300) 또는 데이터 저장소부(200)에서 수신하는 데이터 송수신부(1601) 및 가상공간 데이터 시스템부(300) 또는 데이터 저장소부(200)에 요청하는 메시지를 송수신하는 메시지 송수신부(1602)를 포함하는 것을 특징으로 한다.
상기 혼합현실 실행부(1700)는, 혼합현실 장치 실행 시 시야각, 디스플레이 퀄리티, 제스처 명령어 설정을 관리하는 환경 설정부(1701) 및 혼합현실 실행 시 실내 및 가상공간을 매칭 할 데이터 파일을 불러오기/수정/삭제를 관리하는 실행 파일 관리부(1702)를 포함하는 것을 특징으로 한다.
상기 가상공간 데이터 시스템부는, 네트워크 제어부(3400)를 통해 실내 Map 및 가상공간 데이터를 포맷하고 제어하는 가상공간 데이터부(3100); 가상공간 데이터 생성부(3300)를 통해 전달받은 실내 Map 데이터 및 가상 데이터를 입력받아 가상공간을 생성하고 가상 데이터를 편집하고 매칭하는 가상 데이터 제어부(3200); 가상공간 데이터부(3100)에서 전달받은 실내 Map 데이터와 외부 가상 데이터 파일을 입력 후 변환한 가상 데이터를 제어부(3200)에 전달하는 가상공간 데이터 생성부(3300) 및 혼합현실 시스템부(100) 및 데이터 저장소부(200)와 가상공간 데이터 시스템부(300)간에 데이터를 송수신하고 메시지를 송수신하는 네트워크 제어부(3400)를 포함하는 것을 특징으로 한다.
상기 가상공간 데이터부(3100)는, 가상 데이터 제어부(3200)에서 전달받은 가상공간 데이터 및 가상 데이터를 전달받아 하나의 패키지로 포맷하는 가상공간 데이터 포맷부(3101) 및 실내 Map 및 가상공간 데이터를 수신받아 네트워크 제어부(3400), 가상공간 데이터 생성부(3300) 및 가상 데이터 제어부(3200)에 전달하는 가상공간 데이터 제어부(3102)를 포함하는 것을 특징으로 한다.
상기 가상 데이터 제어부(3200)는, 가상공간 데이터 생성부(3300)를 통해 전달받은 실내 Map 데이터 및 가상 데이터를 입력받아 가상공간을 생성하고 가상 데이터를 편집하고 매칭하며, 가상공간 생성 시 가상공간 중점을 정의하고 데이터를 생성하는 가상공간 생성부(3201); 가상공간 데이터 생성부(3300)에서 전달받은 가상 데이터에 효과를 부여/편집하는 가상 데이터 효과 편집부(3202); 가상 데이터의 위치/회전/크기를 포함하는 데이터를 편집하는 가상 데이터 편집부(3203) 및 가상공간, 실내 Map, 가상 데이터를 매칭하는 가상공간 매칭부(3204)를 포함하는 것을 특징으로 한다.
상기 가상공간 데이터 생성부(3300)는, 가상공간 데이터부(3100)에서 전달받은 실내 Map 데이터와 외부 가상 데이터 파일을 입력 후 변환한 가상 데이터를 제어부(3200)에 전달하며, 외부 가상 데이터 파일을 불러와 입력하는 외부 가상 데이터 파일 입력부(3301); 입력된 외부 파일을 변환하는 외부 가상 데이터 파일 변환부(3302); 외부 가상 데이터에 대한 정보를 입력하는 가상 데이터 정보 입력부(3303) 및 가상공간 데이터부(3100)에서 전달받은 실내 Map 데이터를 입력하는 실내 Map 데이터 입력부(3304)를 포함하는 것을 특징으로 으로 한다.
상기 네트워크 제어부(3400)는, 가상공간 데이터부(3100)에서 전달받은 가상공간 데이터를 혼합현실 시스템부(100) 또는 데이터 저장소부(200)에게 데이터를 송신하고, 혼합현실 시스템부(100) 및 데이터 저장소부(200)에서 실내 Map 데이터 및 가상공간 데이터 수신을 제어하는 데이터 송수신부(3401) 및 혼합현실 시스템부(100) 또는 데이터 저장소부(200)를 대상으로 요청 메시지를 송신 및 수신하는 메시지 송수신부(3402)를 포함하는 것을 특징으로 한다.
상기 데이터 저장소부는, 혼합현실 시스템부(100)와 가상공간 데이터 시스템부(300)에서 데이터의 송/수신을 제어하고 요청 메시지 처리하는 네트워크 제어부(2000) 및 혼합현실 시스템부(100)와 가상공간 데이터 시스템부(300)에서 수신한 데이터를 저장하고 관리하는 데이터 저장소 시스템부(2100)를 포함하는 것을 특징으로 한다.
상기 네트워크 제어부(2000)는, 혼합현실 시스템부(100)와 가상공간 데이터 시스템부(300)에서 요청한 데이터를 데이터 저장소 시스템부(2100)에서 획득하여 해당 부에 송신하고 혼합현실 시스템부(100)와 가상공간 데이터 시스템부(300)에서 송신한 데이터를 데이터 저장소 시스템부(2100)에 전달하는 데이터 송수신부(2001) 및 혼합현실 시스템부(100) 또는 가상공간 데이터 시스템부(300)를 대상으로 요청하는 메시지를 송수신하는 메시지 송수신부(2002)를 포함하는 것을 특징으로 한다.
상기 데이터 저장소 시스템부(2100)는, 혼합현실 시스템부(100)와 가상공간 데이터 시스템부(300)에서 수신한 데이터를 저장하고 관리하며, 네트워크 제어부(2000)에서 수신한 데이터를 종류/크기/분류에 맞춰 데이터를 구성하고 저장하는 데이터 저장부(2101) 및 저장된 데이터를 수정/삭제/제어하는 데이터 관리부(2102)를 포함하는 것을 특징으로 한다.
본 발명에 따른 내 혼합현실 매칭 시스템은, 종래의 혼합현실 시스템이 3D를 구성하는 데이터를 모아 실행파일 형태로 빌드하여 독립된 방식으로 구동하였기 때문에 수정되면 다시 데이터를 받아 빌드하여 실행해야 하는 문제점을 해결하였다.
또한, 콘텐츠를 생성하기 위한 소요 시간을 단축할 수도 있고, 3D 콘텐츠 및 2D 콘텐츠를 수정하면 다시 실행 파일을 만드는 불편함을 해소하였고, 사용자가 이동 시 관성측정 센서를 통해 실시간 실내공간과 가상공간 매칭의 정확도를 높일 수 있다.
도 1은 본 발명에 따른 실내 혼합현실 매칭 시스템의 실행 개념도이다.
도 2는 본 발명에 따른 가상공간과 현실공간의 실시예이다.
도 3은 본 발명에 따른 가상공간과 현실공간의 매칭 개념도이다.
도 4는 본 발명에 따른 가상공간 패키지 데이터 개념도이다.
도 5는 본 발명에 따른 실내 혼합현실 매칭 시스템의 블록도이다.
도 6은 본 발명에 따른 실내 혼합현실 매칭 시스템의 혼합현실 시스템부와 가상공간 데이터 시스템부간의 흐름도이다.
도 7은 본 발명에 따른 실내 혼합현실 매칭 시스템의 혼합현실 시스템부, 데이터 저장소부 및 가상공간 데이터 시스템부간의 흐름도이다.
이하, 본 발명의 실시를 위한 구체적인 실시예와 도면을 참고하여 설명한다. 본 발명의 실시예는 하나의 발명을 설명하기 위한 것으로서 권리범위는 예시된 실시예에 한정되지 아니하고, 예시된 도면은 발명의 명확성을 위하여 핵심적인 내용만 확대 도시하고 부수적인 것을 생략하였으므로 도면에 한정하여 해석하여서는 아니 된다.
도 1은 본 발명에 따른 실내 혼합현실 매칭 시스템의 실행 개념도이다.
본 발명에 따른 실내 혼합현실 매칭 시스템은, 가상공간 데이터의 시현, 현실공간과 가상공간의 매칭, 실시간 혼합현실 장치의 위치 추적 및 혼합현실 데이터를 제어하는 혼합현실 시스템부(100); 생성된 실내 지도(map) 기반으로 가상 데이터를 생성, 편집, 제어하는 가상공간 데이터 시스템부(300); 혼합현실 시스템부(100)와 가상공간 데이터 시스템부(300)와의 데이터 송수신 및 데이터 저장을 관리하는 데이터 저장소부(200)를 포함한다.
가상공간은 컴퓨터 시스템을 활용하여 연출해 내는 현실과 같은 상상의 3차원 세계로 지도 데이터, 2D/3D 콘텐츠, 아바타 데이터 및 가상공간 관련 가상공간 데이터로 이루어진다. 실내 지도 데이터는 실제 사용하는 물리 데이터이고 가상 데이터는 2D 및 3D 콘텐츠를 만드는 데이터이다.
가상공간과 현실공간에서의 내비게이션 예로서 가상공간은 실내 지도, 2D/3D 콘텐츠 및 아바타로 구성되고, 혼합현실은 현실공간에 2D/3D 콘텐츠로 구성된다.
상기 혼합현실 시스템부(100)는 RGB-D 카메라 또는 센서에서 획득한 데이터를 통해 실내 Map을 생성 후 네트워크 제어부(1600)로 통해 가상공간 데이터 시스템부(300)로 전송하고 가상공간 데이터 시스템부(300)에서 가상공간 데이터를 수신받아 실내 Map 데이터 기반으로 현실위치와 가상공간을 매칭한다. 상기 혼합현실 시스템부는 SLAM 제어부(1000), 센서위치 추정부(1100), 가상공간 매칭부(1200), 현실공간 인식부(1300), 혼합현실 시현부(1400), 혼합현실 제어부(1500), 네트워크 제어부(1600) 및 혼합현실 실행부(1700)를 포함한다.
현실위치와 가상공간의 매칭은 도 3과 같이 가상공간에서의 위치와 현실공간에서의 위치를 일치시키는 작업을 의미한다.
상기 SLAM 제어부(1000)는 실내공간을 인식하여 Map을 생성하는 데이터 기반을 마련하고 Map 데이터와 현재 RGB-D 카메라 데이터를 비교하여 위치를 매칭한다. 상기 SLAM 제어부(1000)는 RGB-D 카메라로 실내를 촬영하고 촬영 데이터를 조합하여 실내 Map을 생성하는 실내 Map 생성부(1001); 촬영 시 특징점 데이터를 추출하는 특징점 추출부(1002); 실내 Map 기반으로 현재 촬영하고 있는 특징점으로 위치를 추정하는 위치 추정부(1003); 실내/외, 광원, 사물 영향, 특정 지역 등 상황에 맞게 영상 처리 설정을 변경하는 카메라 제어부(1004)로 구성된다.
상기 센서 위치 추정부(1100)는 센서를 통해 혼합현실 장치의 위치 데이터를 제공하고 현실공간의 환경 및 사물을 인식하는 센서 데이터를 제공하며, 혼합현실 장치의 위치, 방향, 주변환경 인식 등에 사용되는 센서들을 관리하는 센서 관리부(1101)와 센서에서 획득한 데이터를 포맷 변환/분리/조합하는 센서 데이터 제어부(1102)로 구성된다.
상기 가상공간 매칭부(1200)는 가상공간과 실내공간을 매칭하며, 혼합현실을 시작 시 현실공간과 가상공간을 매칭하는 시작 위치 캘리브레이션부(1201) 및 혼합현실 가상공간과 SLAM 위치 및 센서 위치의 데이터를 실시간 매칭하는 실시간 가상공간 및 현실위치 매칭부(1202)로 구성된다.
상기 현실공간 인식부(1300)는 주변 환경과 사물을 인식하고 판단하며, RGB-D 카메라 및 센서를 통해 실내/실외, 주간/야간, 특수 환경 등을 인식하고 판단하는 환경 인식부(1301) 및 사람/물체/물질 등을 인식하고 판단하는 사물 인식부(1302)로 구성된다.
상기 혼합현실 시현부(1400)는 실내 Map 데이터, 현재 위치 데이터, 가상공간 데이터를 조합하여 혼합현실 장치와 가상공간의 데이터를 매핑하고 현재 위치를 정의한다. 상기 혼합현실 시현부(1400)는 가상공간 데이터 시스템부(300)에서 생성된 가상 데이터를 가상공간 매칭부(1200)에서 전달받아 혼합현실 장치에 시현하는 가상 데이터 시현부(1401); 혼합현실 제어부(1500)를 통해 명령을 받으면 가상공간 데이터를 실행/편집/이동 등으로 제어하는 가상 데이터 제어부(1402); 실내 Map 데이터, 가상공간 좌표, 가상 데이터를 매핑하는 가상 데이터 매핑부(1403); 현실의 위치와 매핑된 가상공간에서의 위치를 매핑하여 현재 위치를 시현하는 현재 위치 시현부(1404)로 구성된다.
상기 혼합현실 제어부(1500)는 혼합현실 장치 사용자의 손을 인식하고 제스처에 따른 상호 인식 및 명령을 제어하며, 사용자의 손을 RGB-D 카메라 및 센서를 통해 손 및 제스처를 인식하는 제스처 인식부(1501) 및 제스처에 따른 명령어를 생성 및 제어하는 제스처 명령어부(1502)로 구성된다.
상기 네트워크 제어부(1600)는 가상공간 데이터 시스템부(300) 및 데이터 저장소부(200)와 혼합현실 시스템부(100) 간의 데이터 송수신 및 메시지 송수신을 관리한다. 상기 네트워크 제어부(1600)는 SLAM 제어부(1000)에서 생성된 실내 Map을 즉시 가상공간 데이터 시스템부(300)로 전송하거나 데이터 저장소부(200)에 전달하고, 가상공간 데이터를 가상공간 데이터 시스템부(300) 또는 데이터 저장소부(200)에서 수신하는 데이터 송수신부(1601) 및 가상공간 데이터 시스템부(300) 또는 데이터 저장소부(200)에 요청하는 메시지를 송수신하는 메시지 송수신부(1602)로 구성된다.
상기 혼합현실 실행부(1700)는 혼합현실 장치에서 실행 시 실행 소프트웨어 환경을 설정하고 불러올 가상공간 데이터 및 Map을 관리한다. 혼합현실 장치 실행 시 시야각, 디스플레이 퀄리티, 제스처 명령어 설정 등을 관리하는 환경 설정부(1701) 및 혼합현실 실행 시 실내 및 가상공간을 매칭 할 데이터 파일을 불러오기/수정/삭제를 관리하는 실행 파일 관리부(1702)로 구성된다.
상기 데이터 저장소부(200)는 혼합현실 시스템부(100)와 가상공간 데이터 시스템부(300) 사이에서 데이터를 송수신하고 저장 및 관리한다. 상기 데이터 저장소부(200)는 데이터와 메시지를 송수신하는 네트워크제어부(2000)와 데이터를 저장 및 관리하는 데이터 저장소 시스템부(2100)를 포함한다.
상기 네트워크 제어부(2000)는 혼합현실 시스템부(100)와 가상공간 데이터 시스템부(300)에서 데이터의 송/수신을 제어하고 요청 메시지 처리하며, 혼합현실 시스템부(100)와 가상공간 데이터 시스템부(300)에서 요청한 데이터를 데이터 저장소 시스템부(2100)에서 획득하여 해당 부에 송신하고 혼합현실 시스템부(100)와 가상공간 데이터 시스템부(300)에서 송신한 데이터를 데이터 저장소 시스템부(2100)에 전달하는 데이터 송수신부(2001) 및 혼합현실 시스템부(100) 또는 가상공간 데이터 시스템부(300)를 대상으로 요청하는 메시지를 송수신하는 메시지 송수신부(2002)로 구성된다.
상기 데이터 저장소 시스템부(2100)는 혼합현실 시스템부(100)와 가상공간 데이터 시스템부(300)에서 수신한 데이터를 저장하고 관리하며, 네트워크 제어부(2000)에서 수신한 데이터를 종류/크기/분류에 맞춰 데이터를 구성하고 저장하는 데이터 저장부(2101) 및 저장된 데이터를 수정/삭제/제어하는 데이터 관리부(2102)로 구성된다.
상기 가상공간 데이터 시스템부(300)는 혼합현실 시스템부(100)에서 수신된 실내 Map 데이터를 기반으로 가상공간을 생성하고 가상공간에 출력될 가상 데이터 외부 파일을 입력받아 편집 후 데이터를 포맷하여 혼합현실 시스템부(100)로 전송한다. 상기 가상공간 데이터 시스템부는 가상공간 데이터부(3100), 가상 데이터 제어부(3200), 가상공간 데이터 생성부(3300) 및 네트워크 제어부(3400)로 구성된다.
상기 가상공간 데이터부(3100)는 네트워크 제어부(3400)를 통해 실내 Map 및 가상공간 데이터를 포맷하고 제어하며, 가상 데이터 제어부(3200)에서 전달받은 가상공간 데이터 및 가상 데이터를 전달받아 하나의 패키지로 포맷하는 가상공간 데이터 포맷부(3101) 및 실내 Map 및 가상공간 데이터를 수신받아 네트워크 제어부(3400), 가상공간 데이터 생성부(3300), 가상 데이터 제어부(3200)에 전달하는 가상공간 데이터 제어부(3102)로 구성된다.
가상공간 패키지 데이터는 도 4와 같이 실내공간 Map 데이터, 2차원 지도 및 방향 표시와 같은 2D 데이터, 3차원적 형상 데이터인 3D 데이터, 좌표, 설정값 등이며, 패키지 포맷은 패키지 데이터를 구조적으로 정의하여 만드는 행위이다.
상기 가상 데이터 제어부(3200)는 가상공간 데이터 생성부(3300)를 통해 전달받은 실내 Map 데이터 및 가상 데이터를 입력받아 가상공간을 생성하고 가상 데이터를 편집하고 매칭하며, 가상공간 생성 시 가상공간 중점을 정의하고 데이터를 생성하는 가상공간 생성부(3201), 가상공간 데이터 생성부(3300)에서 전달받은 가상 데이터에 효과를 부여/편집하는 가상 데이터 효과 편집부(3202), 가상 데이터의 위치/회전/크기 등 데이터를 편집하는 가상 데이터 편집부(3203) 및 가상공간, 실내 Map, 가상 데이터를 매칭하는 가상공간 매칭부(3204)로 구성된다.
상기 가상공간 데이터 생성부(3300)는 가상공간 데이터부(3100)에서 전달받은 실내 Map 데이터와 외부 가상 데이터 파일을 입력 후 변환한 가상 데이터를 제어부(3200)에 전달하며, 외부 가상 데이터 파일을 불러와 입력하는 외부 가상 데이터 파일 입력부(3301), 입력된 외부 파일을 변환하는 외부 가상 데이터 파일 변환부(3302), 외부 가상 데이터에 대한 정보를 입력하는 가상 데이터 정보 입력부(3303) 및 가상공간 데이터부(3100)에서 제스처 실내 Map 데이터를 입력하는 실내 Map 데이터 입력부(3304)로 구성된다.
상기 네트워크 제어부(3400)는 혼합현실 시스템부(100) 및 데이터 저장소부(200)와 가상공간 데이터 시스템부(300)간에 데이터를 송수신하고 메시지를 송수신하며, 가상공간 데이터부(3100)에서 제스처 가상공간 데이터를 혼합현실 시스템부(100) 또는 데이터 저장소부(200)에게 데이터를 송신하고 혼합현실 시스템부(100) 및 데이터 저장소부(200)에서 실내 Map 데이터 및 가상공간 데이터 수신을 제어하는 데이터 송수신부(3401) 및 혼합현실 시스템부(100) 또는 데이터 저장소부(200) 대상으로 요청 메시지 송신 및 수신하는 메시지 송수신부(3402)로 구성된다.
도 6은 본 발명에 따른 실내 혼합현실 매칭 시스템의 혼합현실 시스템부와 가상공간 데이터 시스템부 간의 흐름도로서, 혼합현실 시스템부(100)에서 실내 지도(Map)를 생성하고, 가상공간 데이터 시스템부(300)에서 수신된 실내 Map 데이터를 기반으로 가상공간을 생성하고 가상공간에 출력될 가상 데이터 외부 파일을 입력받아 편집 후 데이터를 포맷하여 패키지 데이터로 혼합현실 시스템부(100)로 전송하고, 혼합현실 시스템부(100)에서 패키지 데이터를 수신하여 혼합현실 실행 시작 위치를 보정(캘리브레이션)하여 매핑하고 가상 데이터를 시현한다.
도 7은 본 발명에 따른 실내 혼합현실 매칭 시스템의 혼합현실 시스템부, 데이터 저장소부 및 가상공간 데이터 시스템부간의 흐름도로서, 도 6의 흐름도에서 데이터 저장소부(200)가 추가되어 혼합현실 시스템부(100)와 가상공간 데이터 시스템부(300) 사이에서 데이터를 송수신하고 저장하고 관리한다.
100: 혼합현실 시스템부
200: 데이터 저장소부
300: 가상공간 데이터 시스템부

Claims (8)

  1. 가상공간 데이터의 시현, 현실공간과 가상공간의 매칭, 실시간 혼합현실 장치의 위치 추적 및 혼합현실 데이터를 제어하는 혼합현실 시스템부(100);
    상기 혼합현실 시스템부에서 생성된 실내 지도(Map) 기반으로 가상 데이터를 생성, 편집, 제어하는 가상공간 데이터 시스템부(300) 및
    상기 혼합현실 시스템부와 가상공간 데이터 시스템부와의 데이터 송수신과 데이터 저장을 관리하는 데이터 저장소부(200)를 포함하되,
    상기 혼합현실 시스템부는 빌드된 실행파일을 사용하지 않고 외부의 데이터 저장소로부터 패키지된 데이터를 수신받아 시작 위치를 보정하여 실행하고,
    상기 혼합현실 시스템부는,
    실내공간을 인식하여 Map을 생성하는 데이터 기반을 마련하고 Map 데이터와 현재 RGB-D 카메라 데이터를 비교하여 위치를 매칭하는 SLAM 제어부(1000);
    센서를 통해 혼합현실 장치의 위치 데이터를 제공하고 현실공간의 환경 및 사물을 인식하는 센서 데이터를 제공하는 센서 위치 추정부(1100);
    가상공간과 실내공간을 매칭하는 가상공간 매칭부(1200);
    주변 환경과 사물을 인식하고 판단하는 현실공간 인식부(1300);
    실내 Map 데이터, 현재 위치 데이터, 가상공간 데이터를 조합하여 가상공간의 데이터를 매핑하고 현재 위치를 정의하는 혼합현실 시현부(1400);
    혼합현실 장치 사용자의 손을 인식하고 제스처에 따른 상호 인식 및 명령을 제어하는 혼합현실 제어부(1500);
    가상공간 데이터 시스템부(300) 및 데이터 저장소부(200)와 혼합현실 시스템부(100)간의 데이터 송수신 및 메시지 송수신을 관리하는 네트워크 제어부(1600) 및
    혼합현실 장치에서 실행 시 실행 소프트웨어 환경을 설정하고 불러올 가상공간 데이터 및 Map을 관리하는 혼합현실 실행부(1700)를 포함하는 것을 특징으로 하는 실내 혼합현실 매칭 시스템.
  2. 삭제
  3. 제1항에 있어서, 상기 SLAM 제어부(1000)는,
    RGB-D 카메라로 실내를 촬영하고 촬영 데이터를 조합하여 실내 Map을 생성하는 실내 Map 생성부(1001);
    실내 촬영 시 특징점 데이터를 추출하는 특징점 추출부(1002);
    실내 Map 기반으로 현재 촬영하고 있는 특징점으로 위치를 추정하는 위치 추정부(1003) 및
    실내/외, 광원, 사물 영향, 특정 지역 등 상황에 맞게 영상 처리 설정을 변경하는 카메라 제어부(1004)를 포함하는 것을 특징으로 하는 실내 혼합현실 매칭 시스템.
  4. 제1항에 있어서, 상기 가상공간 매칭부(1200)는,
    혼합현실 실행 시작 시 현실공간과 가상공간을 매칭하는 시작 위치 캘리브레이션부(1201) 및
    혼합현실 가상공간과 SLAM 위치 및 센서 위치의 데이터를 실시간 매칭하는 실시간 가상공간 및 현실위치 매칭부(1202)를 포함하는 것을 특징으로 하는 실내 혼합현실 매칭 시스템.
  5. 제1항에 있어서, 상기 혼합현실 시현부(1400)는,
    상기 가상공간 데이터 시스템부(300)에서 생성된 가상 데이터를 상기 가상공간 매칭부(1200)에서 전달받아 혼합현실 장치에 시현하는 가상 데이터 시현부(1401);
    혼합현실 제어부(1500)를 통해 명령을 받으면 가상공간 데이터를 실행/편집/이동 제어하는 가상 데이터 제어부(1402);
    실내 Map 데이터, 가상공간 좌표, 가상 데이터를 매핑하는 가상 데이터 매핑부(1403) 및
    현실의 위치와 매핑된 가상공간에서의 위치를 매핑하여 현재 위치를 시현하는 현재 위치 시현부(1404)를 포함하는 것을 특징으로 하는 실내 혼합현실 매칭 시스템.
  6. 제1항에 있어서, 상기 가상공간 데이터 시스템부는,
    네트워크 제어부(3400)를 통해 실내 Map 및 가상공간 데이터를 포맷하고 제어하는 가상공간 데이터부(3100);
    가상공간 데이터 생성부(3300)를 통해 전달받은 실내 Map 데이터 및 가상 데이터를 입력받아 가상공간을 생성하고 가상 데이터를 편집하고 매칭하는 가상 데이터 제어부(3200);
    가상공간 데이터부(3100)에서 전달받은 실내 Map 데이터와 외부 가상 데이터 파일을 입력 후 변환한 가상 데이터를 제어부(3200)에 전달하는 가상공간 데이터 생성부(3300) 및
    혼합현실 시스템부(100) 및 데이터 저장소부(200)와 가상공간 데이터 시스템부(300)간에 데이터를 송수신하고 메시지를 송수신하는 네트워크 제어부(3400)를 포함하는 것을 특징으로 하는 실내 혼합현실 매칭 시스템.
  7. 제6항에 있어서, 상기 가상 데이터 제어부(3200)는,
    가상공간 데이터 생성부(3300)를 통해 전달받은 실내 Map 데이터 및 가상 데이터를 입력받아 가상공간을 생성하고 가상 데이터를 편집하고 매칭하며, 가상공간 생성 시 가상공간 중점을 정의하고 데이터를 생성하는 가상공간 생성부(3201);
    가상공간 데이터 생성부(3300)에서 전달받은 가상 데이터에 효과를 부여/편집하는 가상 데이터 효과 편집부(3202);
    가상 데이터의 위치/회전/크기를 포함하는 데이터를 편집하는 가상 데이터 편집부(3203) 및
    가상공간, 실내 Map, 가상 데이터를 매칭하는 가상공간 매칭부(3204)를 포함하는 것을 특징으로 하는 실내 혼합현실 매칭 시스템.
  8. 제6항에 있어서, 상기 가상공간 데이터 생성부(3300)는,
    가상공간 데이터부(3100)에서 전달받은 실내 Map 데이터와 외부 가상 데이터 파일을 입력 후 변환한 가상 데이터를 제어부(3200)에 전달하며, 외부 가상 데이터 파일을 불러와 입력하는 외부 가상 데이터 파일 입력부(3301);
    입력된 외부 파일을 변환하는 외부 가상 데이터 파일 변환부(3302);
    외부 가상 데이터에 대한 정보를 입력하는 가상 데이터 정보 입력부(3303) 및
    가상공간 데이터부(3100)에서 전달받은 실내 Map 데이터를 입력하는 실내 Map 데이터 입력부(3304)를 포함하는 것을 특징으로 하는 실내 혼합현실 매칭 시스템.
KR1020200136303A 2020-10-20 2020-10-20 실내 혼합현실 매칭 시스템 KR102392606B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200136303A KR102392606B1 (ko) 2020-10-20 2020-10-20 실내 혼합현실 매칭 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200136303A KR102392606B1 (ko) 2020-10-20 2020-10-20 실내 혼합현실 매칭 시스템

Publications (2)

Publication Number Publication Date
KR20220052211A KR20220052211A (ko) 2022-04-27
KR102392606B1 true KR102392606B1 (ko) 2022-04-29

Family

ID=81391137

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200136303A KR102392606B1 (ko) 2020-10-20 2020-10-20 실내 혼합현실 매칭 시스템

Country Status (1)

Country Link
KR (1) KR102392606B1 (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101505060B1 (ko) * 2010-08-24 2015-03-26 한국전자통신연구원 가상 현실 연동 서비스 제공 시스템 및 그 방법
US8711206B2 (en) 2011-01-31 2014-04-29 Microsoft Corporation Mobile camera localization using depth maps
KR102197732B1 (ko) * 2018-04-06 2021-01-04 고려대학교 산학협력단 실내공간의 3차원 지도 생성 방법 및 장치

Also Published As

Publication number Publication date
KR20220052211A (ko) 2022-04-27

Similar Documents

Publication Publication Date Title
US10699481B2 (en) Augmentation of captured 3D scenes with contextual information
US20220103709A1 (en) Method and apparatus for scanning and printing a 3d object
KR102184586B1 (ko) 파노라마 이미지 디스플레이 제어 방법 및 장치 그리고 저장 매체
WO2020103022A1 (zh) 一种测绘系统、测绘方法、装置、设备及介质
KR102382868B1 (ko) 표본점을 매핑하는 계획 방법, 장치, 제어 단말기 및 기억 매체
WO2023035829A1 (zh) 一种确定和呈现目标标记信息的方法与设备
CN112189218A (zh) 基于场地的增强现实的方法和装置
US20180047209A1 (en) Image management device, image management method, image management program, and presentation system
KR102197615B1 (ko) 증강 현실 서비스를 제공하는 방법 및 증강 현실 서비스를 제공하기 위한 서버
US20220114803A1 (en) Model obtaining method and apparatus, and object predetermining method and apparatus
KR20190100133A (ko) 증강현실용 컨텐츠 제공 장치 및 방법
US11556170B2 (en) Intelligent interface based on augmented reality
US20120092507A1 (en) User equipment, augmented reality (ar) management server, and method for generating ar tag information
WO2020103023A1 (zh) 一种测绘系统、测绘方法、装置、设备及介质
KR102392606B1 (ko) 실내 혼합현실 매칭 시스템
KR102218843B1 (ko) 스테레오 카메라를 이용한 중첩 레이어 기반의 멀티 카메라 증강현실 방송시스템 및 그 제공 방법
CN112887601A (zh) 拍摄方法、装置及电子设备
JP2016194784A (ja) 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム
WO2020103024A1 (zh) 一种作业控制系统、作业控制方法、装置、设备及介质
CN115278084A (zh) 图像处理方法、装置、电子设备及存储介质
CN104580967B (zh) 一种基于便携式投影仪的地图投影方法和用于投影的装置
US20220198764A1 (en) Spatially Aware Environment Relocalization
CN111311759A (zh) 移动增强现实视频编辑系统
KR20190048810A (ko) 증강현실용 컨텐츠 제공 장치 및 방법
CN115082648A (zh) 一种基于标志物模型绑定的ar场景布置方法及系统

Legal Events

Date Code Title Description
GRNT Written decision to grant