KR102146375B1 - 혼합 현실 기반의 로봇 시뮬레이터 플랫폼 시스템 - Google Patents
혼합 현실 기반의 로봇 시뮬레이터 플랫폼 시스템 Download PDFInfo
- Publication number
- KR102146375B1 KR102146375B1 KR1020190038908A KR20190038908A KR102146375B1 KR 102146375 B1 KR102146375 B1 KR 102146375B1 KR 1020190038908 A KR1020190038908 A KR 1020190038908A KR 20190038908 A KR20190038908 A KR 20190038908A KR 102146375 B1 KR102146375 B1 KR 102146375B1
- Authority
- KR
- South Korea
- Prior art keywords
- robot
- simulator
- mixed reality
- learning
- module
- Prior art date
Links
- 238000004519 manufacturing process Methods 0.000 claims abstract description 7
- 230000004083 survival effect Effects 0.000 claims description 39
- 238000000034 method Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 13
- 238000004088 simulation Methods 0.000 claims description 9
- 239000000463 material Substances 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Abstract
본 발명은 현실과 가상 세계를 혼합한 혼합 현실을 기반으로 하는 로봇 시뮬레이터를 통해 현실감 있게 로봇 체험 학습을 수행할 수 있도록 하는 혼합 현실 기반의 로봇 시뮬레이터 플랫폼 시스템에 관한 것이다.
본 발명에 따른 혼합 현실 기반의 로봇 시뮬레이터 플랫폼 시스템은 혼합현실 디바이스(10)의 컴퓨터(11)에 탑재되어, 로봇 시뮬레이터 체험 학습을 제공하는 로봇 시뮬레이터 플랫폼 시스템으로, 혼합현실을 기반으로 로봇 학습 홀로그램을 출력하여, 사용자가 로봇 조립을 위한 지식을 대화형으로 학습할 수 있도록 하는 로봇 학습부(120)와, 혼합현실을 기반으로 로봇 조립 홀로그램을 출력하여, 사용자가 로봇의 부품을 조립하여 로봇을 제작할 수 있도록 하는 로봇 조립 시뮬레이터(130)와, 혼합현실 기반의 로봇 학습 정보 및 로봇 부품 정보가 등록되는 데이터베이스(160)와, 상기 데이터베이스(160)에 등록된 로봇 부품 정보를 기반으로 로봇 부품 및 로봇의 운동 에너지를 산출하여 상기 로봇 학습부(120) 및 로봇 조립 시뮬레이터(130)에 제공함으로써, 실제 로봇의 운동 에너지와 유사한 움직임을 구현할 수 있도록 하는 로봇 시뮬레이터 물리엔진(110)이 구비된 로봇 시뮬레이터 플랫폼(100);을 포함하여 이루어져, 현실감 있는 로봇 체험 학습을 수행할 수 있도록 제공된다.
본 발명에 따른 혼합 현실 기반의 로봇 시뮬레이터 플랫폼 시스템은 혼합현실 디바이스(10)의 컴퓨터(11)에 탑재되어, 로봇 시뮬레이터 체험 학습을 제공하는 로봇 시뮬레이터 플랫폼 시스템으로, 혼합현실을 기반으로 로봇 학습 홀로그램을 출력하여, 사용자가 로봇 조립을 위한 지식을 대화형으로 학습할 수 있도록 하는 로봇 학습부(120)와, 혼합현실을 기반으로 로봇 조립 홀로그램을 출력하여, 사용자가 로봇의 부품을 조립하여 로봇을 제작할 수 있도록 하는 로봇 조립 시뮬레이터(130)와, 혼합현실 기반의 로봇 학습 정보 및 로봇 부품 정보가 등록되는 데이터베이스(160)와, 상기 데이터베이스(160)에 등록된 로봇 부품 정보를 기반으로 로봇 부품 및 로봇의 운동 에너지를 산출하여 상기 로봇 학습부(120) 및 로봇 조립 시뮬레이터(130)에 제공함으로써, 실제 로봇의 운동 에너지와 유사한 움직임을 구현할 수 있도록 하는 로봇 시뮬레이터 물리엔진(110)이 구비된 로봇 시뮬레이터 플랫폼(100);을 포함하여 이루어져, 현실감 있는 로봇 체험 학습을 수행할 수 있도록 제공된다.
Description
본 발명은 로봇 시뮬레이터 플랫폼 시스템에 관한 것으로, 특히 현실과 가상 세계를 혼합한 혼합 현실을 기반으로 하는 로봇 시뮬레이터를 통해 현실감 있게 로봇 체험 학습을 수행할 수 있도록 하는 혼합 현실 기반의 로봇 시뮬레이터 플랫폼 시스템에 관한 것이다.
근래 들어 컴퓨터 그래픽 기술 및 정보 통신 기술 등의 발달에 힘입어 가상 현실 체험 시스템이 많이 활용되고 있다. 가상 현실은 현실의 특정한 환경이나 상황을 컴퓨터를 통해 그대로 모방하여 사용자가 마치 실제 주변 상황·환경과 상호작용을 하고 있는 것처럼 만드는 기술로서, 의학·생명과학·로봇공학·우주과학·교육학 등 다양한 분야에서 활용되고 있다.
특히, 이러한 가상 현실 시스템은 교육이나 실습을 목적으로 하는 체험 학습에도 많이 이용되는데, 이러한 가상현실 체험 시스템의 일례로서 공개특허공보 제10-2019-001483호 "3D 설비 모델의 운영유지 가상체험 시스템 및 그 방법"이 있다. 이 3D 설비 모델의 운영유지 가상체험 시스템은 운영유지 가상체험을 위한 설비의 분해 및 조립이 가능한 3D 모델 기반의 VR 모델 라이브러리를 생성함으로써, 플랫폼 환경에 따라 사용자가 원하는 플랫폼 기능들을 제공하여, 해당 설비에 대해 분해, 조립 및 운전원리를 구체적으로 체험 가능하고 시공간의 제약없는 교육환경을 제공할 수 있도록 하고 있다.
하지만, 이러한 종래의 가상현실 체험 시스템은 현실과는 무관하게 가상의 공간에서만 플랫폼을 제공하기 때문에 현실의 공간을 현실감있게 활용하지 못하는 문제점이 있었다. 또한, 종래 가상현실 체험 시스템에서는 가상 공간에서만 경험이 가능했기 때문에 체험 학습에 필요한 디자인 데이터베이스를 전부 가상 그래픽 리소스로 구현해야 하는데, 이에 따라 가상 그래픽 리소스 제작에 대한 개발비가 많이 소요되었으며 이는 체험할 수 있는 리소스를 제약하게 되는 문제점이 있었다.
본 발명은 상기 종래 가상현실 체험 시스템의 문제점을 해결하기 위하여 제안된 것으로서, 본 발명의 목적은 현실 공간과 가상 세계를 혼합한 혼합 현실을 통하여 체험 학습 시뮬레이터를 구현하여 현실감 있게 로봇 체험 학습을 할 수 있도록 하는 혼합 현실 기반의 체험 학습 시뮬레이터 플랫폼 시스템을 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명에 따른 혼합 현실 기반의 체험 학습 시뮬레이터 플랫폼 시스템은 혼합현실 디바이스의 컴퓨터에 탑재되어, 로봇 시뮬레이터 체험 학습을 제공하는 로봇 시뮬레이터 플랫폼 시스템으로, 혼합현실을 기반으로 로봇 학습 홀로그램을 출력하여 사용자가 로봇 조립을 위한 지식을 대화형으로 학습할 수 있도록 하는 로봇 학습부와, 혼합현실을 기반으로 로봇 조립 홀로그램을 출력하여 사용자가 로봇의 부품을 조립하여 로봇을 제작할 수 있도록 하는 로봇 조립 시뮬레이터와, 혼합현실 기반의 로봇 학습 정보 및 로봇 부품 정보가 등록되는 데이터베이스와, 상기 데이터베이스에 등록된 로봇 부품 정보를 기반으로 로봇 부품 및 로봇의 운동 에너지를 산출하여 상기 로봇 학습부 및 로봇 조립 시뮬레이터에 제공함으로써, 실제 로봇의 운동 에너지와 유사한 움직임을 구현할 수 있도록 하는 로봇 시뮬레이터 물리엔진이 구비된 로봇 시뮬레이터 플랫폼;을 포함한다.
상기 데이터베이스에는 로봇 부품 및 로봇 부품의 길이, 무게, 중심, 재질, 탄성 정보를 포함하는 로봇 부품 정보를 저장하는 로봇 부품정보 DB가 구비되고, 상기 로봇 시뮬레이터 물리엔진은 상기 로봇 부품정보 DB에 저장된 로봇 부품 정보를 이용하여 강체 운동역학, 회전운동, 토크량, 충격량을 포함하는 운동 에너지를 산출하여 로봇의 움직임을 구현하게 된다.
여기서, 상기 로봇 시뮬레이터 물리엔진은 로봇 부품의 탄성, 강성, 강체, 충돌 감지 및 충돌 처리, 접촉, 질량, 마찰을 중심으로 8개 그룹으로 구분하여 로봇 특화형 물리엔진 함수를 결정하여, 로봇의 운동 에너지를 산출하는 것이 바람직하다.
한편, 상기 로봇 학습부에는 혼합현실 기반 홀로그램을 통해 로봇의 구동 이론 학습을 진행하는 로봇 구동 이론 학습모듈과, 로봇 제어 및 센서에 대한 학습을 진행하는 로봇 제어 및 센서 학습모듈과, 로봇의 동작 제어를 위한 프로그래밍 학습을 진행하는 로봇 프로그래밍 학습모듈이 구비된다.
또한, 상기 로봇 조립 시뮬레이터에는 사용자가 혼합현실 기반 홀로그램을 통해 데이터베이스에 저장된 로봇 부품을 직접 조립하여 로봇을 완성하도록 하는 로봇 조립모듈과, 부품별 로봇 동작을 제어하는 프로그래밍을 수행하는 로봇 제어 프로그래밍 모듈과, 조립된 로봇의 움직임을 컨트롤하는 로봇 컨트롤 시뮬레이션 모듈이 구비된다.
상기 로봇 시뮬레이터 플랫폼에는 사용자가 혼합현실 기반 홀로그램을 통해 로봇의 각 부품에 대해 시간 단위 및 순차 단위의 기능을 부여하는 로봇 배치 프로그래밍 모듈과, 로봇 부품에 대해 부여된 시간 단위 및 순차 단위 기능을 통해 주어진 미션을 수행하는 미션 수행 모듈을 포함하는 로봇 배치 시뮬레이터가 구비된다.
또한, 상기 로봇 시뮬레이터 플랫폼에는 로봇 조립 시뮬레이터를 통해 제작된 로봇을 혼합현실 기반 홀로그램 게임에 투입하여 다른 로봇과의 서바이벌 게임을 진행하기 위해 로봇 서바이벌 게임 경기장을 선택하는 로봇 서바이벌 경기장 선택모듈과, 상기 로봇 서바이벌 경기장 선택모듈을 통해 선택된 경기장에서 로봇 서바이벌 게임을 수행하는 로봇 서바이벌 게임 수행모듈을 포함하는 로봇 서바이벌 시뮬레이터가 구비된다.
여기서, 상기 로봇 시뮬레이터 플랫폼에 구비된 시뮬레이터는 사용자의 제스처 또는 음성을 통해 로봇 부품 또는 로봇의 동작을 제어하는 것이 바람직하다.
본 발명에 따른 로봇 시뮬레이터 플랫폼 시스템은 현실 공간과 가상 세계를 혼합한 혼합 현실을 기반으로 체험 학습 시뮬레이터를 제공함으로써 현실의 공간에서 가상 세계를 체험할 수 있어 보다 현실감 있는 로봇 체험 학습을 수행할 수 있는 효과가 있다.
특히, 본 발명에서는 현실의 객체를 그대로 두고 학습할 로봇 시뮬레이터만 가상으로 구현하기 때문에 가상 그래픽 리소스 제작에 대한 개발비를 절감할 수 있으며, 학습과 실습이 동시에 가능하여 보다 정확한 로봇 체험 학습이 가능한 효과가 있다.
도 1은 본 발명에 따른 로봇 시뮬레이터 플랫폼이 탑재되는 혼합현실 디바이스의 일례,
도 2는 본 발명에 따른 혼합현실 디바이스의 블록 구성도,
도 3은 본 발명에 따른 로봇 시뮬레이터 플랫폼의 블록 구성도,
도 4는 본 발명에 따른 로봇 시뮬레이터 물리엔진이 로봇의 운동에너지를 산출하는 기준을 나타낸 일례,
도 5는 본 발명에 따른 SpatialMapping 프로그램 소스코드의 일례,
도 6은 본 발명에 따른 로봇 시뮬레이터 플랫폼이 구동되어 혼합현실을 기반으로 로봇 체험 학습이 이루어지는 과정을 나타낸 흐름도,
도 7은 본 발명에 따른 로봇 시뮬레이터 메인 메뉴 화면의 일례,
도 8은 본 발명에 따른 로봇 학습 메뉴 화면의 일례,
도 9는 본 발명에 따른 로봇 학습 화면의 일례,
도 10은 본 발명에 따른 로봇 제작 화면의 일례,
도 11은 본 발명에 따른 로봇 컨트롤 시뮬레이션 화면의 일례,
도 12는 본 발명에 따른 혼합현실 디바이스의 음성 인터페이스에서 음성을 인식하는 "Speech Controller" 소스코드의 일례,
도 13은 본 발명에 따른 로봇 배치 프로그래밍 화면의 일례,
도 14는 본 발명에 따른 로봇 서바이벌 시뮬레이터를 통한 로봇 서바이벌 게임 진행 화면의 일례를 나타낸 것이다.
도 2는 본 발명에 따른 혼합현실 디바이스의 블록 구성도,
도 3은 본 발명에 따른 로봇 시뮬레이터 플랫폼의 블록 구성도,
도 4는 본 발명에 따른 로봇 시뮬레이터 물리엔진이 로봇의 운동에너지를 산출하는 기준을 나타낸 일례,
도 5는 본 발명에 따른 SpatialMapping 프로그램 소스코드의 일례,
도 6은 본 발명에 따른 로봇 시뮬레이터 플랫폼이 구동되어 혼합현실을 기반으로 로봇 체험 학습이 이루어지는 과정을 나타낸 흐름도,
도 7은 본 발명에 따른 로봇 시뮬레이터 메인 메뉴 화면의 일례,
도 8은 본 발명에 따른 로봇 학습 메뉴 화면의 일례,
도 9는 본 발명에 따른 로봇 학습 화면의 일례,
도 10은 본 발명에 따른 로봇 제작 화면의 일례,
도 11은 본 발명에 따른 로봇 컨트롤 시뮬레이션 화면의 일례,
도 12는 본 발명에 따른 혼합현실 디바이스의 음성 인터페이스에서 음성을 인식하는 "Speech Controller" 소스코드의 일례,
도 13은 본 발명에 따른 로봇 배치 프로그래밍 화면의 일례,
도 14는 본 발명에 따른 로봇 서바이벌 시뮬레이터를 통한 로봇 서바이벌 게임 진행 화면의 일례를 나타낸 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세하게 설명하기로 한다.
혼합 현실(MR ; Mixed Reality)은 현실 세계(real world)와 가상 세계(virtual world)가 혼합된 상태를 의미하는데, 이 혼합 현실은 현실을 기반으로 가상 정보를 부가하는 증강 현실(AR: Augmented Reality)과 가상 환경에 현실 정보를 부가하는 증강 가상(AV: Augmented Virtuality)의 의미를 포함한다. 즉, 혼합 현실은 완전 가상 세계(가상 현실, Virtual Reality)가 아닌 현실과 가상이 자연스럽게 연결된 스마트 환경을 사용자에게 제공하게 되는데, 이러한 혼합 현실을 체험할 수 있게 해주는 혼합현실 디바이스로는 MS(Microsoft Corporation) 사에게 개발한 홀로렌즈(HoloLens) 디바이스가 대표적이다.
본 발명에서는 이러한 혼합현실 디바이스에 로봇 시뮬레이터 플랫폼을 탑재하여, 사용자가 혼합 현실을 통해 로봇 체험 학습을 수행할 수 있도록 제공하게 된다. 도 1은 본 발명에 따른 로봇 시뮬레이터 플랫폼이 탑재되는 혼합현실 디바이스의 일례를 나타낸 것이고, 도 2는 혼합현실 디바이스의 블록 구성도를 나타낸 것이다.
도 1과 도 2에 도시된 혼합현실 디바이스(10)는 혼합현실 디바이스의 대표 주자인 MS 사의 홀로렌즈(HoloLens)를 나타낸 것으로, 이 혼합현실 디바이스(10)에는 다양한 주변 신호를 감지하는 복수 개의 센서(12)와, 전방의 상하좌우 120도 이상의 시야각을 지원하는 카메라(13)와, 혼합현실 디바이스를 착용한 사용자가 홀로그램 영상을 확인할 수 있도록 홀로그램 영상을 출력하는 홀로그램 렌즈(14)와, 사용자의 명령어를 인식하기 위한 마이크(15)와, 음향 신호를 출력하는 스피커(16)와, 외부장치와의 통신을 수행하는 통신부(17)와, 혼합현실 디바이스(10)의 동작 환경을 설정하는 환경 설정부(18)와, 상기 각 구성부의 동작을 제어하여 혼합현실 기반으로 홀로그램 영상을 생성하고 처리하는 컴퓨터(11)와, 상기 각 구성부에 전원을 공급하는 전원부(19)가 구비된다.
상기 컴퓨터(11)에는 기본적으로 프로세서와 운영체제 및 홀로그램 프로그램이 탑재되어 있는데, 혼합현실 디바이스(10)인 홀로렌즈의 프로세서에는 HPU(Holographic Processing Unit))라는 코프로세서(Co-processor)가 내장되어, 실시간으로 모든 센서(12)를 통해 수집되는 테라바이트급 정보를 처리하게 된다. 또한, 홀로렌즈의 운영체제로는 윈도우 10이 탑재되어 있으며, 홀로그램 프로그램으로는 홀로 스튜디오와 홀로 투어 및 액션그램이 탑재되어 있다. 상기 홀로 스튜디오(Holo Studio)는 사용자가 직접 각종 도구들을 이용하여 3D 제품을 제작할 수 있도록 지원하는 애플리케이션이고, 홀로 투어(Holo Tour)는 가상관광(Virtual Tour)를 가능하게 해주는 애플리케이션으로 360도로 스캔된 백그라운드 오브젝트를 홀로그램으로 재생해주게 되는데, 이는 홀로그램으로 백그라운드의 풍경을 재현하기 때문에 기존의 사진 기반 가상 관광보다 더 현실적인 깊이감(depth)과 시차(parallax)를 제공하며, 부수적으로 사용자가 바라보고 있는 물체나 장소를 알아내어 더 자세한 정보를 제공할 수도 있게 된다. 상기 액션그램(Actiongram)은 홀로그램으로 비디오를 만들어주는 애플리케이션으로, 홀로그램을 생성한 후 자유롭게 이동하거나 회전시키거나 크기를 조정할 수 있으며, 동영상을 언제 어디서든 스크린으로 띄울 수 있도록 제공한다.
한편, 상기 컴퓨터(11)에는 본 발명에서 제안하는 로봇 시뮬레이터 플랫폼이 설치되어 구동되는데, 이 로봇 시뮬레이터 플랫폼은 사용자가 혼합 현실을 기반으로 하는 홀로그램을 통해 로봇을 학습하고, 로봇을 직접 조립하여 제작하며, 로봇 배치 또는 로봇 서바이벌 게임 등을 즐길 수 있도록 제공하게 된다.
도 3은 본 발명의 실시 예에 따른 로봇 시뮬레이터 플랫폼의 블록 구성도를 나타낸 것이다.
도 3에 도시된 바와 같이, 혼합현실 디바이스(10)에 탑재되는 로봇 시뮬레이터 플랫폼(100)에는 로봇 시뮬레이터 물리엔진(110)과, 로봇 학습부(120), 로봇 조립 시뮬레이터(130), 로봇 배치 시뮬레이터(140), 로봇 서바이벌 시뮬레이터(150) 및 데이터베이스(160)가 구비된다.
상기 로봇 시뮬레이터 물리엔진(110)은 로봇 학습부(120), 로봇 조립 시뮬레이터(130), 로봇 배치 시뮬레이터(140), 로봇 서바이벌 시뮬레이터(150) 및 데이터베이스(160)와 연동하여 혼합현실 기반의 홀로그램을 통해 로봇 시뮬레이터를 생성하고, 로봇의 움직임을 제어하는 프로그램이다. 상기 로봇 시뮬레이터 물리엔진(110)은 로봇 부품 정보를 기반으로 운동 에너지를 산출하여 실제 로봇의 운동 에너지와 유사한 움직임을 구현하게 되는데, 도 4는 본 발명의 실시 예에 따른 로봇 시뮬레이터 물리엔진이 로봇의 운동 에너지를 산출하는 기준을 나타낸 것이다. 도 4에 도시된 바와 같이, 로봇 시뮬레이터 물리엔진(110)은 탄성, 강성, 강체, 충돌, 마찰, 질량 중심으로 8개의 그룹의 나누어 물리엔진 함수를 결정하게 된다. 이를 위해 로봇 부품의 길이, 무게, 중심, 재질, 탄성 정보를 기본으로 부품에서 추출할 수 있는 다양한 정보를 데이터베이스(160)의 로봇 부품정보 DB(162)에 저장하고, 로봇 시뮬레이터 물리엔진(110)은 이 로봇 부품정보 DB(162)에 저장된 로봇 부품 정보를 이용하여 강체 운동역학, 회전운동, 토크량, 충격량 등 다양한 역학 추출 함수를 통해 실제 로봇의 운동 에너지와 유사하게 로봇의 움직임을 구현하게 된다. 또한, 이 로봇 시뮬레이터 물리엔진(110)은 혼합현실 기반의 홀로그램을 통해 로봇 시뮬레이터를 생성하는 과정에서 SpatialMapping 기술을 통해 현실의 사물들을 3D화 하여 인식하고, 이를 로봇 시뮬레이터인 홀로그램과 혼합하여 표현함으로써 현실 객체와 홀로그램이 상호작용할 수 있도록 제공하게 된다. 도 5는 본 발명에 적용된 SpatialMapping 프로그램 소스코드의 일례를 나타낸 것이다.
상기 로봇 학습부(120)는 사용자가 혼합현실을 기반으로 로봇 조립을 위한 기초 지식부터 다양한 응용 지식까지 대화형으로 학습할 수 있도록 하는 프로그램으로써, 이 로봇 학습부(120)에는 혼합현실 기반 홀로그램을 통해 로봇의 구동 이론 학습을 진행하는 로봇 구동 이론 학습모듈(121)과, 로봇 제어 및 센서에 대한 학습을 진행하는 로봇 제어 및 센서 학습모듈(122)과, 로봇의 동작 제어를 위한 프로그래밍 학습을 진행하는 로봇 프로그래밍 학습모듈(123)이 구비된다.
상기 로봇 조립 시뮬레이터(130)는 사용자가 혼합현실을 기반으로 데이터베이스(160)에 저장된 로봇 부품을 직접 조립하여 움직임을 제어할 수 있도록 제공하는 프로그램으로서, 이 로봇 조립 시뮬레이터(130)에는 혼합현실 기반 홀로그램을 통해 로봇 부품을 직접 조립하여 로봇을 완성하는 로봇 조립모듈(131)과, 부품별 로봇 동작을 제어하는 프로그램을 수행하는 로봇 제어 프로그래밍 모듈(132)과, 조립된 로봇의 움직임을 컨트롤하는 로봇 컨트롤 시뮬레이션 모듈(133)이 구비된다. 본 발명의 실시 예에서 상기 로봇 컨트롤 시뮬레이션 모듈(133)은 사용자의 동작과 음성을 통해 로봇의 동작을 컨트롤하게 된다.
상기 로봇 배치 시뮬레이터(140)는 사용자가 혼합현실을 기반으로 로봇의 각 부품에 대해 시간 단위 및 순차 단위의 기능을 부여하고 주어진 미션을 수행하도록 하는 프로그램으로서, 이 로봇 배치 시뮬레이터(140)에는 로봇 부품에 시간 단위 및 순차 단위의 기능을 부여하는 로봇 배치 프로그래밍 모듈(141)과, 로봇 부품에 대해 부여된 시간 단위 및 순차 단위 기능을 통해 주어진 미션을 수행하도록 하는 미션 수행 모듈(142)이 구비된다.
상기 로봇 서바이벌 시뮬레이터(150)는 사용자가 제작한 로봇을 혼합현실 기반 홀로그램 게임에 투입하여 다른 로봇과의 서바이벌 게임을 진행하는 프로그램으로서, 이 로봇 서바이벌 시뮬레이터(150)에는 로봇 서바이벌 게임 경기장을 선택하는 로봇 서바이벌 경기장 선택모듈(151)과, 선택된 경기장에서 로봇 서바이벌 게임을 수행하는 로봇 서바이벌 게임 수행모듈(152)이 구비된다.
상기 데이터베이스(160)에는 혼합현실 기반의 로봇 관련 정보가 등록되게 되는데, 이 데이터베이스(160)에는 로봇 학습을 위한 데이터가 저장되는 로봇 학습정보 DB(161)와, 로봇의 부품 정보가 저장되는 로봇 부품정보 DB(162)와, 로봇 부품별 배치 정보가 등록되는 로봇 배치정보 DB(163)와, 로봇 서바이벌 경기장 및 게임 관련 정보가 등록되는 로봇 게임정보 DB(164)가 구비된다.
이하, 상기의 구성으로 이루어진 로봇 시뮬레이터 플랫폼(100)이 구동되어 로봇 체험 학습이 이루어지는 과정에 대하여 설명하기로 한다.
도 6은 본 발명의 실시 예에 따른 로봇 시뮬레이터 플랫폼(100)이 구동되어 혼합현실을 기반으로 로봇 체험 학습이 이루어지는 과정을 나타낸 흐름도이다.
단계 S100, S110 : 먼저, 사용자가 혼합현실 디바이스(10)를 착용하고 시스템을 턴온한 후, 메뉴 선택을 통해 로봇 시뮬레이터 플랫폼(100)을 구동시키게 된다(S100). 로봇 시뮬레이터 플랫폼(100)의 구동에 따라 혼합현실 디바이스(10)를 착용한 사용자에게 혼합현실 기반의 홀로그램을 통해 로봇 시뮬레이터 메인 화면이 표시되게 되는데, 사용자는 메인 화면에 표시되는 메뉴를 손가락 제스처 또는 음성 명령을 통해 선택하게 된다. 도 7은 혼합현실 기반의 홀로그램을 통해 표시되는 로봇 시뮬레이터 메인 메뉴 화면의 일례를 나타낸 것으로, 혼합현실(증강현실) 기반의 공간 인식을 통해 주어진 벽면과 책상, 바닥 등의 평면에 로봇 시뮬레이터 메인 화면이 표시되게 된다.
단계 S120, S121 : 사용자가 로봇 학습을 선택하게 되면, 학습 메뉴를 선택하는 홀로그램 화면이 표시되는데, 도 8은 사용자가 학습 메뉴를 선택한 후 표시되는 로봇 학습 메뉴 화면의 일례를 나타낸 것이다(S120). 사용자는 로봇 학습 메뉴를 선택하여 로봇 구동 이론 학습, 로봇 제어 및 센서 학습, 로봇 프로그래밍 학습 등을 수행하게 되는데, 이러한 로봇 학습은 혼합현실 기반의 홀로그램 동영상을 통하여 진행된다(S121). 도 9는 로봇 학습 화면의 일례를 나타낸 것이다.
단계 S130 : 사용자가 로봇 조립을 선택하게 되면, 로봇 조립 메뉴를 선택하는 홀로그램 화면이 표시되는데(S120), 사용자는 희망하는 메뉴를 선택하여 로봇 조립, 로봇 제어 프로그래밍, 로봇 컨트롤 시뮬레이션을 수행하게 된다(S121). 도 10은 로봇 제작 화면의 일례를 나타낸 것으로, 사용자는 데이터베이스(160)의 로봇 부품정보 DB(162)에 등록된 로봇 부품을 불러와 로봇을 조립하게 된다. 또한, 도 11은 조립된 로봇의 컨트롤 시뮬레이션의 일례를 나타낸 것으로, 사용자는 조립된 로봇의 동작을 컨트롤하게 된다.
이러한 로봇 조립 및 컨트롤 과정에서 사용자는 제스처를 통해 로봇 조립 명령을 내릴 수 있는데, 사용자의 제스처에 의한 명령으로는 누르고 떼기(Press and Release), 붙들기(Hold), 조작(Manipulation) 등이 있다. 이 중, 누르고 떼기는 가장 기본적인 제스처로서, 에어탭(air-tap)을 통해 동작하는데. 에어탭이란 공기를 가볍게 두드리는 것으로 특별한 버튼을 누르지 않고도 상호작용 하도록 해준다. 에어탭은 손가락을 구부리면서 두드리면 누르기(press)가 실행되며, 다시 손가락을 펴게 되면 떼기(release)가 실행된다. 또한, 붙들기는 에어탭을 누른 뒤에 떼지 않고 유지하는 제스처로서, 사물을 들어 올리거나 상황에 대한 설명을 볼 때 사용하게 된다. 조작은 사용자가 한 개의 홀로그램과 상호작용 하며 움직이거나 회전 또는 크기를 조정할 때에 사용하는 제스처로서, 우선 응시를 통하여 홀로그램을 선택하고 나면, 그 후에는 오직 손으로만 상호작용을 하게 된다. 따라서 사용자는 그 홀로그램을 조작하는 동시에 자유롭게 다른 곳으로 시선을 돌릴 수 있게 된다.
또한, 사용자는 음성(Voice)을 통하여 로봇 조립 명령을 내릴 수 있다. 음성에 의한 명령으로는 먼저 선택 명령(Position change)이 있는데, 이는 사용자가 제스처를 사용하여 선택하지 않아도 "Position change"라고 말하기만 하면 로봇의 좌표를 이동할 수 있는 명령어이다. 다음의 표 1은 로봇 시뮬레이터의 음성 명령어 일례를 나타낸 것이다.
이러한 음성 명령어는 혼합현실 디바이스(10)에 지원하는 음성 인터페이스 기능을 이용하여 다양하게 추가되고 변경될 수 있는데, 도 12는 혼합현실 디바이스의 음성 인터페이스에서 음성을 인식하는 "Speech Controller" 소스 코드의 일례를 나타낸 것이다.
상기 제스처 또는 음성을 통한 명령어 수행에 의해 로봇의 부품이 선택되어 조립되고, 부품별 로봇의 제어 프로그래밍이 수행되며, 조립된 로봇의 동작을 제어하는 로봇 컨트롤 시뮬레이션이 진행되다. 이러한 로봇 조립 및 컨트롤 과정을 수행하는 로봇 조립 시뮬레이터(130)는 로봇 시뮬레이터 물리엔진(110)과 연동되어, 로봇 시뮬레이터 물리엔진(110)을 통하여 추출되는 로봇 부품 및 로봇의 운동 에너지 정보를 제공받아 실제 오프라인 로봇 조립과 유사한 시뮬레이터 환경을 제공하게 된다.
한편, 로봇 조립 시뮬레이터(130)는 사용자가 오프라인 상에서 로봇 부품을 주문할 수 있도록 로봇 주문 메뉴를 제공하여, 사용자가 자신이 로봇 조립 시뮬레이터(130)를 통하여 조립한 로봇이 마음에 드는 경우 오프라인 상에서 해당 로봇 부품을 주문하여 오프라인 상에서 실제 로봇을 조립할 수 있도록 제공한다.
단계 S140, S141 : 사용자가 로봇 배치를 선택하게 되면, 로봇 배치 메뉴가 홀로그램 화면이 표시되며(S140), 사용자는 희망하는 메뉴를 선택하여 로봇 배치 프로그래밍 및 특별 임무를 통한 미션을 수행하게 된다(S141). 도 13은 로봇 배치 프로그래밍 화면의 일례를 나타낸 것으로, 사용자는 로봇 배치 시뮬레이터(140)를 통해 로봇의 센서 및 모터 등을 제어하여 미로찾기 등과 같은 지능화된 알고리즘을 구현하고 시뮬레이션하게 된다. 또한, 화성탐사 등 다양한 미션이 주어지고 주어진 미션을 완료함에 따라 로봇 부품 등의 보상이 이루어지게 되는데, 이러한 로봇 배치 시뮬레이터(140)는 로봇 시뮬레이터 물리엔진(110)과 연동되어 로봇 부품정보 DB(162)의 정보를 기반으로 사실과 유사한 물리법칙이 적용되게 된다.
단계 S150, S151 : 사용자가 로봇 서바이벌 게임을 선택하게 되면, 로봇 서바이벌 게임 메뉴를 선택하는 홀로그램 화면이 표시되며(S150), 사용자는 희망하는 메뉴를 선택하여 로봇 서바이벌 게임을 수행하게 된다. 도 14는 로봇 서바이벌 시뮬레이터를 통한 로봇 서바이벌 게임 진행 화면의 일례를 나타낸 것으로, 사용자는 자신이 설계한 로봇을 게임에 투입하여 타 사용자와 서바이벌 게임을 수행하기 위해, 먼저 경기장을 선택한 후 직접 로봇을 조정하여 게임을 진행하게 된다. 이러한 게임 진행 과정에서 로봇 서바이벌 시뮬레이터(150)는 로봇 시뮬레이터 물리엔진(110)과 연동되어 로봇의 움직임을 실제와 유사하게 표현하게 된다.
단계 S160 : 상기 로봇 시뮬레이터를 통한 로봇 학습, 로봇 조립, 로봇 배치 및 로봇 서바이벌 게임 등의 진행은 사용자의 선택에 의해 반복 수행될 수 있다.
이와 같이, 본 발명에서는 혼합현실 디바이스(10)에 탑재되는 로봇 시뮬레이터 플랫폼(100)을 통하여 사용자가 혼합현실을 기반으로 하는 홀로그램을 통해 로봇 학습, 로봇 조립 및 제어, 로봇 배치 및 서바이벌 게임 등을 오프라인과 유사한 환경에서 체험할 수 있도록 제공함으로써, 사용자가 로봇에 대한 현실감 있는 체험 학습을 할 수 있도록 한다.
한편, 상술한 실시 예에서는 본 발명에 따른 로봇 시뮬레이터 플랫폼(100)이 혼합현실 디바이스(10) 중 하나인 MS 사의 홀로렌즈 디바이스가 탑재되는 것으로 설명하였지만, 이는 다른 회사의 혼합현실 디바이스에도 동일 내지 유사하게 적용될 수 있음은 당연하다. 따라서, 본 발명은 상술한 실시 예에 한정되는 것은 아니며 본 발명이 속하는 기술 분야에서 통상의 지식을 갖는 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구 범위의 균등범위 내에서 다양한 수정 및 변형이 이루어질 수 있음은 물론이다.
10 : 혼합현실 디바이스 11 : 컴퓨터
12 : 센서 13 : 카메라
14 : 홀로그램 렌즈 15 : 마이크
16 : 스피커 17 : 통신부
18 : 환경 설정부 19 : 전원부
100 : 로봇 시뮬레이터 플랫폼 110 : 로봇 시뮬레이터 물리엔진
120 : 로봇 학습부 121 : 로봇 구동 이론 학습모듈
122 : 로봇 제어 및 센서 학습모듈 123 : 로봇 프로그래밍 학습모듈
130 : 로봇 조립 시뮬레이터 131 : 로봇 조립모듈
132 : 로봇 제어 프로그래밍 모듈 133 : 로봇 컨트롤 시뮬레이션 모듈
140 : 로봇 배치 시뮬레이터 141 : 로봇 배치 프로그래밍 모듈
142 : 미션 수행 모듈 150 : 로봇 서바이벌 시뮬레이터
151 : 로봇 서바이벌 경기장 선택모듈 152 : 로봇 서바이벌 게임 수행모듈
160 : 데이터베이스 161 : 로봇 학습정보 DB
162 : 로봇 부품정보 DB 163 : 로봇 배치정보 DB
164 : 로봇 게임정보 DB
12 : 센서 13 : 카메라
14 : 홀로그램 렌즈 15 : 마이크
16 : 스피커 17 : 통신부
18 : 환경 설정부 19 : 전원부
100 : 로봇 시뮬레이터 플랫폼 110 : 로봇 시뮬레이터 물리엔진
120 : 로봇 학습부 121 : 로봇 구동 이론 학습모듈
122 : 로봇 제어 및 센서 학습모듈 123 : 로봇 프로그래밍 학습모듈
130 : 로봇 조립 시뮬레이터 131 : 로봇 조립모듈
132 : 로봇 제어 프로그래밍 모듈 133 : 로봇 컨트롤 시뮬레이션 모듈
140 : 로봇 배치 시뮬레이터 141 : 로봇 배치 프로그래밍 모듈
142 : 미션 수행 모듈 150 : 로봇 서바이벌 시뮬레이터
151 : 로봇 서바이벌 경기장 선택모듈 152 : 로봇 서바이벌 게임 수행모듈
160 : 데이터베이스 161 : 로봇 학습정보 DB
162 : 로봇 부품정보 DB 163 : 로봇 배치정보 DB
164 : 로봇 게임정보 DB
Claims (8)
- 혼합현실 디바이스(10)의 컴퓨터(11)에 탑재되어, 로봇 시뮬레이터 체험 학습을 제공하는 로봇 시뮬레이터 플랫폼 시스템으로,
혼합현실을 기반으로 로봇 학습 홀로그램을 출력하여, 사용자가 로봇 조립을 위한 지식을 대화형으로 학습할 수 있도록 하는 로봇 학습부(120)와,
혼합현실을 기반으로 로봇 조립 홀로그램을 출력하여, 사용자가 로봇의 부품을 조립하여 로봇을 제작할 수 있도록 하는 로봇 조립 시뮬레이터(130)와,
혼합현실 기반의 로봇 학습 정보 및 로봇 부품 정보가 등록되는 데이터베이스(160)와,
상기 데이터베이스(160)에 등록된 로봇 부품 정보를 기반으로 로봇 부품 및 로봇의 운동 에너지를 산출하여 상기 로봇 학습부(120) 및 로봇 조립 시뮬레이터(130)에 제공함으로써, 실제 로봇의 운동 에너지와 유사한 움직임을 구현할 수 있도록 하는 로봇 시뮬레이터 물리엔진(110)이 구비된 로봇 시뮬레이터 플랫폼(100);을 포함하는 것을 특징으로 하는 혼합 현실 기반의 로봇 시뮬레이터 플랫폼 시스템.
- 제 1항에 있어서,
상기 데이터베이스(160)에는 로봇 부품 및 로봇 부품의 길이, 무게, 중심, 재질, 탄성 정보를 포함하는 로봇 부품 정보를 저장하는 로봇 부품정보 DB(162)가 구비되고,
상기 로봇 시뮬레이터 물리엔진(110)은 상기 로봇 부품정보 DB(162)에 저장된 로봇 부품 정보를 이용하여 강체 운동역학, 회전운동, 토크량, 충격량을 포함하는 운동 에너지를 산출하여 로봇의 움직임을 구현하는 것을 특징으로 하는 혼합 현실 기반의 로봇 시뮬레이터 플랫폼 시스템.
- 제 2항에 있어서,
상기 로봇 시뮬레이터 물리엔진(110)은 로봇 부품의 탄성, 강성, 강체, 충돌 감지 및 충돌 처리, 접촉, 질량, 마찰을 중심으로 8개 그룹으로 구분하여 로봇 특화형 물리엔진 함수를 결정하여, 로봇의 운동 에너지를 산출하는 것을 특징으로 하는 혼합 현실 기반의 로봇 시뮬레이터 플랫폼 시스템.
- 제 1항에 있어서,
상기 로봇 학습부(120)에는
혼합현실 기반 홀로그램을 통해 로봇의 구동 이론 학습을 진행하는 로봇 구동 이론 학습모듈(121)과, 로봇 제어 및 센서에 대한 학습을 진행하는 로봇 제어 및 센서 학습모듈(122)과, 로봇의 동작 제어를 위한 프로그래밍 학습을 진행하는 로봇 프로그래밍 학습모듈(123)이 구비된 것을 특징으로 하는 혼합 현실 기반의 로봇 시뮬레이터 플랫폼 시스템.
- 제 1항에 있어서,
상기 로봇 조립 시뮬레이터(130)에는
사용자가 혼합현실 기반 홀로그램을 통해 데이터베이스(160)에 저장된 로봇 부품을 직접 조립하여 로봇을 완성하도록 하는 로봇 조립모듈(131)과, 부품별 로봇 동작을 제어하는 프로그래밍을 수행하는 로봇 제어 프로그래밍 모듈(132)과, 조립된 로봇의 움직임을 컨트롤하는 로봇 컨트롤 시뮬레이션 모듈(133)이 구비되는 것을 특징으로 하는 혼합 현실 기반의 로봇 시뮬레이터 플랫폼 시스템.
- 제 1항에 있어서,
상기 로봇 시뮬레이터 플랫폼(100)에는
사용자가 혼합현실 기반 홀로그램을 통해 로봇의 각 부품에 대해 시간 단위 및 순차 단위의 기능을 부여하는 로봇 배치 프로그래밍 모듈(141)과, 로봇 부품에 대해 부여된 시간 단위 및 순차 단위 기능을 통해 주어진 미션을 수행하는 미션 수행 모듈(142)을 포함하는 로봇 배치 시뮬레이터(140)가 구비되는 것을 특징으로 하는 혼합 현실 기반의 로봇 시뮬레이터 플랫폼 시스템.
- 제 1항에 있어서,
상기 로봇 시뮬레이터 플랫폼(100)에는
상기 로봇 조립 시뮬레이터(130)를 통해 제작된 로봇을 혼합현실 기반 홀로그램 게임에 투입하여 다른 로봇과의 서바이벌 게임을 진행하기 위해 로봇 서바이벌 게임 경기장을 선택하는 로봇 서바이벌 경기장 선택모듈(151)과, 상기 로봇 서바이벌 경기장 선택모듈(151)을 통해 선택된 경기장에서 로봇 서바이벌 게임을 수행하는 로봇 서바이벌 게임 수행모듈(152)을 포함하는 로봇 서바이벌 시뮬레이터(150)가 구비된 것을 특징으로 하는 혼합 현실 기반의 로봇 시뮬레이터 플랫폼 시스템.
- 제 1항 내지 제 7항 중 어느 한 항에 있어서,
상기 로봇 시뮬레이터 플랫폼(100)에 구비된 시뮬레이터는 사용자의 제스처 또는 음성을 통해 로봇 부품 또는 로봇의 동작을 제어하는 것을 특징으로 하는 혼합 현실 기반의 로봇 시뮬레이터 플랫폼 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190038908A KR102146375B1 (ko) | 2019-04-03 | 2019-04-03 | 혼합 현실 기반의 로봇 시뮬레이터 플랫폼 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190038908A KR102146375B1 (ko) | 2019-04-03 | 2019-04-03 | 혼합 현실 기반의 로봇 시뮬레이터 플랫폼 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102146375B1 true KR102146375B1 (ko) | 2020-08-20 |
Family
ID=72293087
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190038908A KR102146375B1 (ko) | 2019-04-03 | 2019-04-03 | 혼합 현실 기반의 로봇 시뮬레이터 플랫폼 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102146375B1 (ko) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110034713A (ko) * | 2009-09-29 | 2011-04-06 | 홍익대학교 산학협력단 | 사용자 제작 로봇을 위한 가상 테스트 시스템 및 그 방법 |
| KR20110101794A (ko) * | 2010-03-09 | 2011-09-16 | 건국대학교 산학협력단 | 전투 게임용 로봇 및 이를 이용한 전투 게임 시스템과 방법 |
| KR20120043543A (ko) * | 2010-10-26 | 2012-05-04 | 주식회사마이크로컴퓨팅 | 로봇 교육 장치 |
| WO2018042784A1 (ja) * | 2016-08-31 | 2018-03-08 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| KR20190001483A (ko) | 2017-06-27 | 2019-01-04 | 주식회사 케이씨산업 | 샌드위치 피씨-월 및 이를 이용한 구조물 시공방법 |
| KR20200031939A (ko) * | 2018-09-17 | 2020-03-25 | 한국과학기술원 | 혼합현실 기술을 이용하여 자재의 최적조립을 지원하기 위한 장치 및 그 방법 |
-
2019
- 2019-04-03 KR KR1020190038908A patent/KR102146375B1/ko active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110034713A (ko) * | 2009-09-29 | 2011-04-06 | 홍익대학교 산학협력단 | 사용자 제작 로봇을 위한 가상 테스트 시스템 및 그 방법 |
| KR20110101794A (ko) * | 2010-03-09 | 2011-09-16 | 건국대학교 산학협력단 | 전투 게임용 로봇 및 이를 이용한 전투 게임 시스템과 방법 |
| KR20120043543A (ko) * | 2010-10-26 | 2012-05-04 | 주식회사마이크로컴퓨팅 | 로봇 교육 장치 |
| WO2018042784A1 (ja) * | 2016-08-31 | 2018-03-08 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| KR20190001483A (ko) | 2017-06-27 | 2019-01-04 | 주식회사 케이씨산업 | 샌드위치 피씨-월 및 이를 이용한 구조물 시공방법 |
| KR20200031939A (ko) * | 2018-09-17 | 2020-03-25 | 한국과학기술원 | 혼합현실 기술을 이용하여 자재의 최적조립을 지원하기 위한 장치 및 그 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11615598B2 (en) | Mission driven virtual character for user interaction | |
| EP3861387A1 (en) | Rendering location specific virtual content in any location | |
| WO2020005757A1 (en) | Waypoint creation in map detection | |
| US20080204420A1 (en) | Low relief tactile interface with visual overlay | |
| Sreedharan et al. | 3D input for 3D worlds | |
| US20090186693A1 (en) | Interactive video game display method, apparatus, and/or system for object interaction | |
| Nilsson et al. | Propping up virtual reality with haptic proxies | |
| Kaimoto et al. | Sketched reality: Sketching bi-directional interactions between virtual and physical worlds with ar and actuated tangible ui | |
| WO2020201998A1 (en) | Transitioning between an augmented reality scene and a virtual reality representation | |
| Kulik | Building on realism and magic for designing 3D interaction techniques | |
| KR102146375B1 (ko) | 혼합 현실 기반의 로봇 시뮬레이터 플랫폼 시스템 | |
| Moshayedi et al. | Unity in Embedded System Design and Robotics: A Step-by-step Guide | |
| Chang et al. | A platform for mechanical assembly education using the Microsoft Kinect | |
| Berki | Navigation power of MaxWhere: a unique solution | |
| CN116645850A (zh) | 记录的物理交互回放 | |
| Friz | Design of an Augmented Reality User Interface for an Internet based Telerobot using Multiple Monoscopic Views | |
| Vamos et al. | Collaboration in virtual reality of intelligent agents | |
| Zhang et al. | Interaction Design for Room Escape Virtual Reality Games | |
| Malaka et al. | Using Natural User Interfaces for Previsualization. | |
| Scicali et al. | Usability study of leap motion controller | |
| Fabri et al. | Virtual and augmented reality | |
| Fitzgerald | Spatial material interfaces | |
| JP2019193705A (ja) | ゲームプログラム及びゲーム装置 | |
| Mentzelopoulos et al. | Perceptual user interface framework for immersive information retrieval environments (An experimental framework for testing and rapid iteration) | |
| Yang et al. | Research on interactive operation considered physical attributes by using force feedback device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |