KR20190048810A - 증강현실용 컨텐츠 제공 장치 및 방법 - Google Patents

증강현실용 컨텐츠 제공 장치 및 방법 Download PDF

Info

Publication number
KR20190048810A
KR20190048810A KR1020170144033A KR20170144033A KR20190048810A KR 20190048810 A KR20190048810 A KR 20190048810A KR 1020170144033 A KR1020170144033 A KR 1020170144033A KR 20170144033 A KR20170144033 A KR 20170144033A KR 20190048810 A KR20190048810 A KR 20190048810A
Authority
KR
South Korea
Prior art keywords
augmented reality
virtual
work instruction
real
space
Prior art date
Application number
KR1020170144033A
Other languages
English (en)
Inventor
송형주
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020170144033A priority Critical patent/KR20190048810A/ko
Publication of KR20190048810A publication Critical patent/KR20190048810A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Abstract

일 실시예에 따른 증강현실용 컨텐츠 제공 장치는 현실공간을 맵핑한 가상공간을 저장하는 가상현실용 장치와 통신을 수행하는 통신부와, 상기 현실공간을 촬영하여 현실영상을 획득하는 촬영부와, 상기 현실영상을 기초로 상기 증강현실용 컨텐츠 제공 장치가 상기 현실공간에서 갖는 현재위치를 결정하는 슬램(Simultaneous Localization And Mapping)부와, 상기 가상공간에서 상기 가상현실용 장치에 의해 생성된 작업지시 및 상기 작업지시가 증강현실 방식으로 표시될 표시위치가 상기 통신부를 통해 수신되면, 상기 현재위치와 상기 표시위치를 기반으로 상기 현실영상에 상기 작업지시를 표시하는 영상 표시부를 포함한다.

Description

증강현실용 컨텐츠 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING AUGMENTED REALITY CONTENTS}
본 발명은 증강현실용 컨텐츠 제공 장치 및 방법에 관한 것이다.
가상현실은 어떤 특정한 환경이나 상황을 컴퓨터로 만들어서, 그것을 사용하는 사람이 마치 실제 주변 상황이나 환경과 상호작용을 하고 있는 것처럼 만들어 주는 인간과 컴퓨터 사이의 인터페이스를 말한다. 가상현실은 사람들이 일상적으로 경험하기 어려운 환경을 직접 체험하지 않고서도 그 환경에 들어와 있는 것처럼 보여주고 조작할 수 있게 해준다.
이와 달리, 증강현실은 사용자가 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여주는 기술이다. 현실세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주므로 혼합현실(Mixed Reality, MR)이라고도 한다.
한편, 슬램(Simultaneous Localization And Mapping, SLAM)은 미지의 환경에서 카메라의 위치 및/또는 배향을 결정하거나 또는 이러한 미지의 환경의 맵을 생성하기 위한 기술이다. 이러한 SLAM은 미지의 환경에서 전술한 증강현실과 결합됨으로써 다양한 서비스의 구현을 가능하게 한다.
한국특허공개공보, 제 10-2017-0112113호 (2017.10.12. 공개)
본 발명이 해결하고자 하는 과제는, 가상현실과 증강현실 및 슬램을 이용하여서, 원격지에 있는 작업 관리자(마스터)로부터 작업지시가 수신되면, 슬램을 이용하여서 해당 작업지시를 작업자에게 증강현실 방식으로 증강시켜서 제공하는 기술을 제공하는 것이다.
다만, 본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
일 실시예에 따른 증강현실용 컨텐츠 제공 장치는 현실공간을 맵핑한 가상공간을 저장하는 가상현실용 장치와 통신을 수행하는 통신부와, 상기 현실공간을 촬영하여 현실영상을 획득하는 촬영부와, 상기 현실영상을 기초로 상기 증강현실용 컨텐츠 제공 장치가 상기 현실공간에서 갖는 현재위치를 결정하는 슬램(Simultaneous Localization And Mapping)부와, 상기 가상공간에서 상기 가상현실용 장치에 의해 생성된 작업지시 및 상기 작업지시가 증강현실 방식으로 표시될 표시위치가 상기 통신부를 통해 수신되면, 상기 현재위치와 상기 표시위치를 기반으로 상기 현실영상에 상기 작업지시를 표시하는 영상 표시부를 포함한다.
일 실시예에 따른 증강현실용 컨텐츠 제공 방법은 증강현실용 컨텐츠 제공 장치에 의해 수행되며, 현실공간을 촬영하여 현실영상을 획득하는 단계와, 상기 현실영상을 기초로 상기 증강현실용 컨텐츠 제공 장치가 상기 현실공간에서 갖는 현재위치를 결정하는 단계와, 상기 현실공간을 맵핑한 가상공간을 저장하는 가상현실용 장치로부터, 상기 가상공간에서 상기 가상현실용 장치에 의해 생성된 작업지시 및 상기 작업지시가 증강현실 방식으로 표시될 표시위치를 수신하는 단계와, 상기 현재위치와 상기 표시위치를 기반으로 상기 현실영상에 상기 작업지시를 표시하는 단계를 포함한다.
일 실시예에 따른 가상현실용 장치는 현실공간에 배치된 증강현실용 컨텐츠 제공 장치와 통신을 수행하는 통신부와, 상기 현실공간을 맵핑한 가상공간을 저장하는 저장부와, 상기 가상공간을 가상현실 방식으로 표시하는 가상영상 표시부와, 상기 표시된 가상공간에서 상기 증강현실용 컨텐츠 제공 장치에게 전달할 작업지시를 생성하는 작업지시 생성부를 포함한다. 이 때, 작업지시는 상기 통신부를 통해 상기 증강현실용 컨텐츠 제공 장치에게 송신될 수 있다.
일 실시예에 따르면 원격지에 있는 작업 관리자는 현실공간을 모델링한 가상공간에서 가상현실용 장치를 이용하여 작업지시를 생성할 수 있고, 현실공간(현장)에 있는 작업자는 이러한 작업지시를 증강현실용 방식으로 제공받을 수 있다. 이에 따라, 작업자는 보다 직관적으로 작업지시를 이해할 수 있는 바, 작업 수행에 있어서의 정확성, 신속성 또는 효율성 등이 향상될 수 있다.
도 1은 일 실시예에 증강현실용 컨텐츠 제공 장치와 가상현실용 장치에 대해 도시하고 있다.
도 2는 도 1에 도시된 증강현실용 컨텐츠 제공 장치의 구성을 도시하고 있다.
도 3은 도 2에 도시된 영상 표시부에서, 작업지시가 증강되어 표시되는 방식을 도시하고 있다.
도 4는 도 2에 도시된 영상 표시부에서, 작업지시가 증강되어 표시되는 방식을 도시하고 있다.
도 5는 도 1에 도시된 가상현실용 장치의 구성을 도시하고 있다.
도 6은 일 실시예에 따른 증강현실용 컨텐츠 제공 장치가 원격지의 가상현실용 장치로부터 작업지시를 전달받은 뒤 이를 증강시켜서 표현하는 과정을 도시하고 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 일 실시예에 따른 증강현실용 컨텐츠 제공 장치와 가상현실용 장치에 대해 도시하고 있다.
도 1을 참조하면, 증강현실용 컨텐츠 제공 장치(100)는 현실공간에서 작업자에게 제공되는 장치이다. 여기서 현실공간이란 작업자 및 작업자의 작업 대상이 존재하는 공간을 의미하며, 작업자는 이러한 현실공간에서 작업 대상에 대해 작업을 수행하는 사람을 의미한다. 작업 대상에는 예컨대 조립이나 분해의 대상이 되는 기계 또는 배치되어야 할 가구 등 다양한 것들이 있을 수 있다.
작업자는 작업지시를 참조하여서 작업 대상에 작업을 수행할 수 있다. 이러한 작업지시는 원격지에 있는 가상현실용 장치(200)에 의해 생성된 뒤 그로부터 전달받은 것이며, 증강현실용 컨텐츠 제공 장치(100)에 의해 증강현실 방식으로 표시될 수 있다. 증강현실 방식으로 표시되는 작업지시에 대해 살펴보면, 텍스트의 형태로 작업지시의 내용이 증강되어서 표시되는 형태 또는 작업지시의 대상이 되는 객체의 형상을 기반으로 증강되어서 표시되는 형태 등이 있을 수 있으나 이에 한정되는 것은 아니다. 예컨대 작업지시에는 현실공간에서는 조립이 완료되지 않은 작업 대상이 현실영상에서 조립이 완료된 상태로 증강되어서 표시되는 경우, 현실공간에서는 A라는 위치에 배치된 작업 대상이 현실영상에서는 B라는 위치에 배치된 상태로 증강되어서 표시되는 경우 등이 있을 수 있다.
한편, 가상현실용 장치(200)는 가상공간에서 작업 관리자에게 제공되는 장치이다. 여기서 가상공간이란 전술한 현실공간이 모델링된, 현실공간과 매칭되는 가상의 공간을 의미한다. 가상현실용 장치(200)에 저장된 가상공간은 현실공간에 대한 스캔 영상을 기초로 생성된 것일 수 있다. 여기서 현실공간에 대한 스캔 영상은 증강현실용 컨텐츠 제공 장치(100)에 의해 스캔되어서 이러한 증강현실용 컨텐츠 제공 장치(100)로부터 전달받은 것이거나, 또는 도면에는 도시되지 않은 외부의 서버 등으로부터 전달받은 것일 수 있으나 이에 한정되는 것은 아니다.
가상현실용 장치(200)는 현실공간과는 이격된, 원격지의 공간에 배치될 수 있다. 원격지에 있는 작업 관리자는 가상현실용 장치(200)에 포함된 헤드 마운티드 디스플레이(head mounted display, HMD)를 이용하여서 현실공간과 매칭되는 가상공간을 인지할 수 있다. 또한 작업 관리자는 가상현실용 장치(200)에 포함된, 가상현실용 컨텐츠 제작을 위한 구성(예컨대, 가상공간에서 텍스트를 입력하거나 그림을 그리는데 사용되는 펜, 가상공간에서 작업 관리자의 손이나 발 등의 움직임을 인식하고 이를 가상공간에 반영할 수 있는 모션 인식 장치 등)을 이용하여서 작업지시가 생성되도록 할 수 있다. 여기서, 가상공간에서 작업지시가 생성되는 기술 자체는 이미 공지된 기술이므로 이에 대한 설명은 생략하기로 한다.
한편, 증강현실용 컨텐츠 제공 장치(100)는 자신의 현실공간에서의 현재위치 또는 현재 시선 방향 등을 나타내는 현재정보를 슬램(Simultaneous Localization And Mapping, SLAM)을 이용하여서 획득할 수 있다. 이러한 현재정보는 가상현실용 장치(200)에게 전달될 수 있으며, 이 경우 작업 관리자의 가상현실용 장치(200)에 포함된 HMD에는 이러한 현재정보가 표시될 수 있다. 따라서, 작업 관리자는 증강현실용 컨텐츠 제공 장치(100)(또는 작업자)가 현재 현실공간에서 어느 위치에 있는지 그리고 시선이 어디를 향하고 있는지를 파악할 수 있으며, 작업지시를 생성하는데에 있어서 이와 같이 파악된 정보를 활용할 수 있다.
또한, 현재정보는 증강현실용 컨텐츠 제공 장치(100)가 작업지시를 증강시켜서 표시할 때 활용될 수 있다. 예컨대, 작업 관리자가 가상공간에서 A라는 위치에 배치된 객체를 가상공간에서 B라는 위치로 옮긴 경우, 작업지시는 해당 객체가 가상공간에서 B라는 위치로 옮겨진 결과를 나타내는 영상일 수 있다. 이러한 작업지시가 증강현실용 컨텐츠 제공 장치(100)에게 전달되면 해당 작업지시는 현실공간을 촬영한 현실영상에서 A라는 위치 또는 B라는 위치에 표시될 수 있는데, 이를 위해서는 현실공간을 촬영한 현실영상에서 A라는 위치 또는 B라는 위치가 인식될 수 있어야 하며, 이를 위해 슬램의 결과물인 현재정보가 활용될 수 있다.
이상에서 살펴본 바와 같이, 일 실시예에 따르면 원격지에 있는 작업 관리자는 현실공간을 모델링한 가상공간에서 가상현실용 장치를 이용하여 작업지시를 생성할 수 있고, 현실공간(현장)에 있는 작업자는 이러한 작업지시를 증강현실용 방식으로 제공받을 수 있다. 이에 따라, 작업자는 보다 직관적으로 작업지시를 이해할 수 있는 바, 작업 수행에 있어서의 정확성, 신속성 또는 효율성 등이 향상될 수 있다.
이하에서는 도 1에 도시된 증강현실용 컨텐츠 제공 장치(100)의 구성에 대해 도 2를 기초로 살펴보기로 한다.
도 2는 도 1에 도시된 증강현실용 컨텐츠 제공 장치(100)의 구성을 도시하고 있다. 다만, 도 2는 예시적인 것에 불과하므로, 증강현실용 컨텐츠 제공 장치(100)의 구성이 도 2에 도시된 것으로 한정해석되지는 않는다.
도 2를 참조하면, 증강현실용 컨텐츠 제공 장치(100)는 통신부(110), 촬영부(120), 슬램부(130) 및 영상 표시부(140)를 포함하며, 실시예에 따라서 제어부(150) 또는 관성 센서부(160)를 더 포함할 수 있다.
통신부(110)는 가상현실용 장치(200) 또는 도면에는 도시되지 않은 외부의 서버와 데이터를 주고받는 무선 통신 모듈로 구현 가능하다.
촬영부(120)는 현실공간을 촬영하여서 현실영상을 생성하는 구성이다. 현실영상은 통신부(110)를 통해 가상현실용 장치(200)에게 제공되어서 가상공간의 생성에 사용될 수 있다. 또는, 현실영상은 후술할 슬램부(130)에 제공되어서 증강현실용 컨텐츠 제공 장치(100)가 현재공간에서 갖는 현재위치 또는 현재의 시선 방향을 결정하는데에 사용될 수 있다. 이러한 촬영부(120)는 양안 카메라, 깊이(depth) 카메라 등으로 구현 가능하다.
슬램부(130)는 촬영부(120)에 의해 촬영된 현실영상을 분석하여서, 증강현실용 컨텐츠 제공 장치(100)의 현재위치 또는 현재의 시선 방향 등에 대한 현실정보를 결정하는 구성이다. 이러한 슬램부(130)는 전술한 기능을 수행하도록 프로그램된 명령어를 저장하는 메모리 및 이러한 명령어를 실행하는 마이크로프로세서에 의해 구현 가능하다. 여기서, 슬램부(130)가 현실공간을 촬영한 현실영상을 분석하여서 전술한 현실정보를 결정 내지는 추출하는 기술 자체는 슬램 분야에서 이미 공지된 것이므로 이에 대한 설명은 생략하기로 한다.
슬램부(130)에 의해 결정된 현실정보는 통신부(110)를 통해 가상현실용 장치(200)에게 제공될 수 있다. 또는, 작업지시가 가상현실용 장치(200)로부터 수신된 경우, 현실영상에서 이러한 작업지시를 표시할 위치를 결정하는데에 이러한 현실정보가 사용될 수 있다.
영상 표시부(140)는 촬영부(120)에 의해 촬영된 현실영상에 작업지시를 증강현실 방식으로 표시하는 구성이며, 이는 디스플레이에 의해 구현 가능하다. 여기서, 작업지시에는 해당 작업지시가 현실영상에서 표시될 위치에 대한 정보가 포함될 수 있다. 도 3은 영상 표시부(140)가 작업지시(142)를 표시 위치에 대한 정보를 기초로 현실영상에 증강현실 방식으로 표시한 것을 예시적으로 도시하고 있다. 도 3을 참조하면, 현실영상에는 현실에 있는 현실 객체(141)가 배치될 수 있으며, 작업지시(142)는 이러한 현실영상에 증강현실 방식으로 표시될 수 있다. 여기서, 영상 표시부(140)가 현실영상에 해당 작업지시를 해당 작업지시가 표시될 위치에 대한 정보를 기초로 증강현실 방식으로 표시하는 기술 그 자체는 이미 공지된 것이므로, 이에 대한 설명은 생략하기로 한다.
다만, 가상현실용 장치(200)로부터 전달받은 작업지시의 표시 위치가, 영상 표시부(140)가 현재 표시하고 있는 현실영상의 범위를 벗어날 수 있다. 예컨대, 증강현실용 컨텐츠 제공 장치(100)(또는 작업자)가 A라는 위치에 있는데, A와는 이격되어 있으면서 현재의 촬영부(120)가 촬영하고 있지 않은 B라는 위치에 배치될 작업지시가 수신된 경우가 있을 수 있다. 또는 증강현실용 컨텐츠 제공 장치(100)(또는 작업자)는 위치 A에 있고 이러한 위치 A에서 촬영된 현실영상에는 객체 a가 있는데, 객체 a를 현재의 촬영부(120)가 촬영하고 있지 않은 B라는 위치로 옮기는 작업지시가 수신된 경우가 있을 수 있다. 이러한 경우들은, 슬램부(130)에 의해 결정된 증강현실용 컨텐츠 제공 장치(100)의 현재위치나 현재 시선을, 가상현실용 장치(200)로부터 전달받은 작업지시의 표시 위치와 비교함으로써 판단 가능하다.
이 경우, 영상 표시부(140)는 이러한 작업지시 자체를 표시할 수는 없지만, 현재영상에 이러한 작업지시가 표시될 방향을 표시할 수 있다. 도 4는 이러한 상황을 도시하고 있다. 도 4를 참조하면, 영상 표시부(140)에는 현실에 있는 현실객체(141)가 배치될 수 있는데, 작업지시는 도 4의 영상 표시부(140)가 표시하고 있는 현실영상의 범위를 벗어난 곳에 배치될 수 있다. 이 경우, 영상 표시부(140)는 화살표(143) 등을 이용해서 작업지시가 표시될 위치를 표시할 수 있으며, 따라서 작업자는 이러한 화살표를 참조로 작업지시가 표시될 위치를 향해 이동하거나 고개를 돌림으로써 해당 작업지시를 인식할 수 있다.
한편, 실시예에 따라서 증강현실용 컨텐츠 제공 장치(100)는 제어부(150)를 더 포함할 수 있다. 제어부(150)는 이하에서 설명할 기능을 수행하도록 프로그램된 명령어를 저장하는 메모리 및 이러한 명령어를 실행하는 마이크로프로세서에 의해 구현 가능하다.
제어부(150)는 작업자로부터 요청이 있는 경우 또는 기 정의된 시간 등에 가상현실용 장치(200)에게 작업지시가 통신부(110)를 통해 요청되도록 제어할 수 있다. 이 때 제어부(150)는 작업지시에 대한 요청과 함께 슬램의 결과물, 즉 증강현실용 컨텐츠 제공 장치(100)의 현재위치 또는 증강현실용 컨텐츠 제공 장치(100)의 현재 시선 방향 등이 가상현실용 장치(200)에게 통신부(110)를 통해 전달되도록 제어할 수 있다. 작업 관리자의 가상현실용 장치(200)에 포함된 HMD에는 이러한 현실영상에 대한 정보가 표시될 수 있다. 이를 통해, 작업 관리자는 증강현실용 컨텐츠 제공 장치(100)(또는 작업자)가 현재 현실공간에서 어느 위치에 있는지 그리고 시선이 어디를 향하고 있는지를 파악할 수 있다.
또한, 증강현실용 컨텐츠 제공 장치(100)는 실시예에 따라서 관성 센서부(160)를 더 포함할 수 있다. 관성 센서부(160)는 증강현실용 컨텐츠 제공 장치(100)의 움직임, 예컨대 가속도, 각속도 등을 측정할 수 있는 관성 측정 센서(inertial measurement unit, IMU)에 의해 구현 가능하다. 이 경우, 슬램부(130)는 촬영부(120)에 의해 촬영된 현실영상을 관성 센서부(160)에 의해 감지된 움직임에 대한 정보와 결합하여서 증강현실용 컨텐츠 제공 장치(100)의 현재위치 또는 현재의 시선 방향을 결정할 수 있다.
이상에서 살펴본 바와 같이, 일 실시예에 따르면 원격지에 있는 작업 관리자는 현실공간을 모델링한 가상공간에서 가상현실용 장치를 이용하여 작업지시를 생성할 수 있고, 현실공간(현장)에 있는 작업자는 이러한 작업지시를 증강현실용 방식으로 제공받을 수 있다. 이에 따라, 작업자는 보다 직관적으로 작업지시를 이해할 수 있는 바, 작업 수행에 있어서의 정확성, 신속성 또는 효율성 등이 향상될 수 있다.
도 5는 도 1에 도시된 가상현실용 장치(200)의 구성을 도시한 도면이다. 다만 도 5는 예시적인 것에 불과하므로, 가상현실용 장치(200)의 구성이 도 5에 도시된 것으로 한정해석되지는 않는다.
먼저, 가상현실용 장치(200)는 개인용 컴퓨터(personal computer)나 서버 등에서 구현 가능하다.
도 5를 참조하면, 가상현실용 장치(200)는 통신부(210), 가상공간 생성부(220), 저장부(230), 가상영상 표시부(240) 및 작업지시 생성부(250)를 포함할 수 있다.
통신부(210)는 증강현실용 컨텐츠 제공 장치(100) 또는 도면에는 도시되지 않은 외부의 서버와 데이터를 주고받는 무선 통신 모듈로 구현 가능하다.
가상공간 생성부(220)는 현실공간을 모델링한 가상공간을 생성하는 구성이며, 이러한 기능을 수행하도록 프로그램된 명령어를 저장하는 메모리 및 이러한 명령어를 실행하는 마이크로프로세서에 의해 구현 가능하다.
가상공간 생성부(220)는 현실공간에 대해 스캔된 영상을 기초로 가상공간을 생성할 수 있는데, 현실공간에 대해 스캔된 영상을 기초로 가상공간을 생성하는 기술 그 자체는 이미 공지된 것이므로 이에 대한 설명은 생략하기로 한다. 여기서, 현실공간에 대해 스캔된 영상은 통신부(210)를 통해서 증강현실용 컨텐츠 제공 장치(100) 또는 도면에는 도시되지 않은 외부의 서버로부터 전달받은 것일 수 있다.
저장부(230)는 데이터를 저장하는 메모리 등으로 구현 가능하다. 저장부(230)가 저장하는 데이터에는 예컨대 가상공간에 대한 정보가 있을 수 있다. 여기서, 가상공간은 가상공간 생성부(220)에 의해 생성된 것이거나 또는 외부로부터 전달받은 것일 수 있다.
가상영상 표시부(240)는 저장부(220)에 저장된 가상공간의 정보를 기초로, 가상공간을 표시하는 구성이다. 이러한 가상영상 표시부(240)는 헤드 마운티드 디스플레이(head mounted display, HMD) 등에 의해 구현 가능하다. 가상영상 표시부(240)에는 가상공간 뿐만 아니라 증강현실용 컨텐츠 제공 장치(100)가 현실공간에서 갖는 현재위치 또는 현실공간에서의 시선 방향 등이 가상공간에서 함께 표시될 수 있다.
작업지시 생성부(250)는 작업지시를 가상현실 컨텐츠 타입으로 생성하는 구성이다. 이러한 작업지시 생성부(250)는 예컨대 가상공간에서 텍스트를 입력하거나 그림을 그릴 수 있는 펜, 가상공간에서 작업 관리자의 손이나 발 등의 움직임을 표현할 수 있는 모션 인식 장치 등으로 구현 가능하다.
작업지시 생성부(250에 의해 생성된 작업지시의 종류에는 예컨대 조립되지 않은 기계를 조립된 상태로 보여주는 것, 작업지시의 내용이 텍스트나 도면의 형태로 표시된 것, 가상공간에서 어느 한 위치에 있는 객체를 다른 위치로 옮기는 것 등이 있을 수 있으나 이에 한정되는 것은 아니다.
도 6은 일 실시예에 따른 증강현실용 컨텐츠를 제공하는 방법의 절차를 도시한 도면이다. 도 6에 도시된 방법은 도 2에 도시된 증강현실용 컨텐츠 제공 장치(100)에 의해 수행될 수 있다. 아울러, 도 2에 도시된 방법의 절차는 예시적인 것에 불과하므로, 도 2에 도시된 것에 한정해석되는 것은 아니다.
도 6을 참조하면, 증강현실용 컨텐츠 제공 장치(100)의 촬영부(120)는 현실공간을 스캔한다(S100). 여기서, 현실공간을 스캔하는 주체가 증강현실용 컨텐츠 제공 장치(100)의 촬영부(120)가 아닌 별도로 마련된 스캔 장치일 수도 있다.
단계 S100에서 스캔된 영상은 증강현실용 컨텐츠 제공 장치(100)의 통신부(110)를 통해 가상현실용 장치(200)에게 전송한다(S110). 여기서, 실시예에 따라서 스캔된 영상은 가상현실용 장치(200)가 아닌 별도로 마련된 서버(도면에는 미도시)에게 전송될 수도 있다.
가상현실용 장치(200)는 단계 S110에서 전송받은 영상을 기초로 현실공간을 모델링한 가상공간을 생성하고 저장한다(S200). 다만, 실시예에 따라서 가상현실용 장치(200)는 별도의 서버로부터 현실공간의 스캔 영상을 전달받은 뒤 이를 기초로 가상공간을 생성하고 저장할 수도 있다.
증강현실용 컨텐츠 제공 장치(100)는 슬램을 수행한다(S300). 슬램에 의해 증강현실용 컨텐츠 제공 장치(100)가 현실공간에서 갖는 현재위치 또는 현재의 시선 방향 등에 대한 현실 정보가 결정될 수 있다.
증강현실용 컨텐츠 제공 장치(100)는 가상현실용 장치(200)에게 작업지시를 요청하며, 이 경우 실시예에 따라서 단계 S300에서 수행된 슬램의 결과물, 즉 증강현실용 컨텐츠 제공 장치(100)가 현실공간에서 갖는 현재위치 또는 현재의 시선 방향 등에 대한 현실 정보가 작업지시와 함께 가상현실용 장치(200)에게 전송될 수 있다(S310). 다만, 단계 S310은 실시예에 따라서 수행되지 않을 수도 있다.
가상현실용 장치(200)는 단계 S310에서 전송받은 슬램의 결과물을 가상공간에 표시한다(S400). 이를 통해 가상현실용 장치(200)를 착용한 작업 관리자는 증강현실용 컨텐츠 제공 장치(100)(또는 작업자)가 현실공간에서 어디에 위치해 있는지 또는 시선이 어느 방향인지 등에 대한 정보를 획득할 수 있으며, 이를 작업지시를 생성하는데에 활용할 수 있다.
작업 관리자는 가상현실용 장치(200)를 이용하여서 가상공간에서 작업지시가 생성되도록 할 수 있다(S410). 이 때, 작업 관리자는 가상현실용 장치(200)에 포함된 HMD를 착용한 상태로, 가상현실용 장치(200)에 포함된 가상현실용 컨텐츠 제작을 위한 구성(예컨대, 가상공간에서 텍스트를 입력하거나 그림을 그릴 수 있는 펜, 가상공간에서 작업 관리자의 손이나 발 등의 움직임을 표현할 수 있는 모션 인식 장치 등)을 이용하여서 작업지시가 생성되도록 할 수 있다. 작업 지시의 종류에는 조립되지 않은 기계를 조립된 상태로 보여주는 것, 작업지시의 내용이 텍스트나 도면의 형태로 표시된 것, 가상공간에서 어느 한 위치에 있는 객체를 다른 위치로 옮기는 것 등이 있을 수 있으나 이에 한정되는 것은 아니다.
단계 S410에서 생성된 작업지시는 그 작업지시가 현실영상에서 표시될 위치와 함께 증강현실용 컨텐츠 제공 장치(100)에게 전송된다(S420).
그러면, 증강현실용 컨텐츠 제공 장치(100)의 영상 표시부(140)는 해당 작업지시를 해당 작업지시에 대한 표시위치를 기초로 증강현실 방식으로 표시한다(S500). 만약, 작업지시의 표시위치가 현재 영상 표시부(140)가 표시하고 있는 현실영상의 범위를 벗어난다면, 영상 표시부(140)는 작업지시의 표시위치의 방향을 화살표 등의 영상으로 표시할 수 있다.
이상에서 살펴본 바와 같이, 원격지에 있는 작업 관리자는 현실공간을 모델링한 가상공간에서 가상현실용 장치를 이용하여 작업지시를 생성할 수 있고, 현실공간(현장)에 있는 작업자는 이러한 작업지시를 증강현실용 방식으로 제공받을 수 있다. 이에 따라, 작업자는 보다 직관적으로 작업지시를 이해할 수 있는 바, 작업 수행에 있어서의 정확성, 신속성 또는 효율성 등이 향상될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
일 실시예에 따르면 작업자는 보다 직관적으로 작업지시를 이해할 수 있으며, 따라서 작업 수행에 있어서의 정확성, 신속성 또는 효율성 등이 향상될 수 있다.
100: 증강현실용 컨텐츠 제공 장치
200: 가상현실용 장치

Claims (10)

  1. 증강현실용 컨텐츠 제공 장치로서,
    현실공간을 맵핑한 가상공간을 저장하는 가상현실용 장치와 통신을 수행하는 통신부와,
    상기 현실공간을 촬영하여 현실영상을 획득하는 촬영부와,
    상기 현실영상을 기초로 상기 증강현실용 컨텐츠 제공 장치가 상기 현실공간에서 갖는 현재위치를 결정하는 슬램(Simultaneous Localization And Mapping)부와,
    상기 가상공간에서 상기 가상현실용 장치에 의해 생성된 작업지시 및 상기 작업지시가 증강현실 방식으로 표시될 표시위치가 상기 통신부를 통해 수신되면, 상기 현재위치와 상기 표시위치를 기반으로 상기 현실영상에 상기 작업지시를 증강현실 방식으로 표시하는 영상 표시부를 포함하는
    증강현실용 컨텐츠 제공 장치.
  2. 제 1 항에 있어서,
    상기 통신부를 통해 상기 현실영상에 대한 정보가 상기 가상현실용 장치에게 송신되도록 제어하는 제어부를 더 포함하는
    증강현실용 컨텐츠 제공 장치.
  3. 제 1 항에 있어서,
    상기 영상 표시부는,
    상기 증강현실 방식으로 표시될 작업지시의 표시위치가 상기 작업지시를 표시하려는 시점에서 촬영된 현실영상의 범위를 벗어나는 경우, 상기 표시위치의 방향을 상기 현실영상에 표시하는
    증강현실용 컨텐츠 제공 장치.
  4. 제 1 항에 있어서,
    상기 작업지시는,
    상기 작업지시의 대상이 되는 객체의 형상을 기초로 표시되는
    증강현실용 컨텐츠 제공 장치.
  5. 제 1 항에 있어서,
    상기 증강현실용 컨텐츠 제공 장치의 가속도값 또는 각속도값 중 적어도 하나를 측정하는 관성 센서부를 더 포함하고,
    상기 슬램부는,
    상기 현재위치를 상기 가속도값 또는 상기 각속도값 중 적어도 하나와 상기 현실영상을 기초로 결정하는
    증강현실용 컨텐츠 제공 장치.
  6. 증강현실용 컨텐츠 제공 장치에 의해 수행되는 증강현실용 컨텐츠 제공 방법으로서,
    현실공간을 촬영하여 현실영상을 획득하는 단계와,
    상기 현실영상을 기초로 상기 증강현실용 컨텐츠 제공 장치가 상기 현실공간에서 갖는 현재위치를 결정하는 단계와,
    상기 현실공간을 맵핑한 가상공간을 저장하는 가상현실용 장치로부터, 상기 가상공간에서 상기 가상현실용 장치에 의해 생성된 작업지시 및 상기 작업지시가 증강현실 방식으로 표시될 표시위치를 수신하는 단계와,
    상기 현재위치와 상기 표시위치를 기반으로 상기 현실영상에 상기 작업지시를 증강현실 방식으로 표시하는 단계를 포함하는
    증강현실용 컨텐츠 제공 방법.
  7. 제 6 항에 있어서,
    상기 현실영상에 대한 정보를 상기 가상현실용 장치에게 송신하는 단계를 더 포함하는
    증강현실용 컨텐츠 제공 방법.
  8. 제 6 항에 있어서,
    상기 증강현실 방식으로 표시될 작업지시의 표시위치가 상기 작업지시를 표시하려는 시점에서 촬영된 현실영상의 범위를 벗어나는 경우, 상기 표시위치의 방향을 상기 현실영상에 표시하는 단계를 더 포함하는
    증강현실용 컨텐츠 제공 방법.
  9. 가상현실용 장치로서,
    현실공간에 배치된 증강현실용 컨텐츠 제공 장치와 통신을 수행하는 통신부와,
    상기 현실공간을 맵핑한 가상공간을 저장하는 저장부와,
    상기 가상공간을 가상현실 방식으로 표시하는 가상영상 표시부와,
    상기 표시된 가상공간에서 상기 증강현실용 컨텐츠 제공 장치에게 전달할 작업지시를 생성하는 작업지시 생성부를 포함하며,
    상기 생성된 작업지시는 상기 통신부를 통해 상기 증강현실용 컨텐츠 제공 장치에게 송신되는
    가상현실용 장치.
  10. 제 9 항에 있어서,
    상기 통신부는,
    상기 증강현실용 컨텐츠 제공 장치로부터 상기 증강현실용 컨텐츠 제공 장치가 상기 현실공간에서 갖는 현재위치 또는 상기 증강현실용 컨텐츠 제공 장치가 촬영한 현재영상에 대한 정보를 전달받고,
    상기 가상영상 표시부는,
    상기 현재위치에 대한 정보 또는 상기 현재영상에 대한 정보를 상기 가상공간에 표시하는
    가상현실용 장치.
KR1020170144033A 2017-10-31 2017-10-31 증강현실용 컨텐츠 제공 장치 및 방법 KR20190048810A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170144033A KR20190048810A (ko) 2017-10-31 2017-10-31 증강현실용 컨텐츠 제공 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170144033A KR20190048810A (ko) 2017-10-31 2017-10-31 증강현실용 컨텐츠 제공 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020190101373A Division KR20190100133A (ko) 2019-08-19 2019-08-19 증강현실용 컨텐츠 제공 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20190048810A true KR20190048810A (ko) 2019-05-09

Family

ID=66545728

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170144033A KR20190048810A (ko) 2017-10-31 2017-10-31 증강현실용 컨텐츠 제공 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20190048810A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102210614B1 (ko) * 2020-02-12 2021-02-03 주식회사 씨엠엑스 머신러닝에 기반하여 건축물의 공간 상태 정보를 판별하는 방법 및 이를 이용한 공간 상태 정보 판별 서버
KR102369019B1 (ko) 2021-05-11 2022-02-28 이은령 증강현실 컨텐츠를 공유하는 시스템 및 그 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170112113A (ko) 2016-03-30 2017-10-12 주식회사 버드나무 아이템 기반 가상현실 및 증강현실 제공 방법 및 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170112113A (ko) 2016-03-30 2017-10-12 주식회사 버드나무 아이템 기반 가상현실 및 증강현실 제공 방법 및 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102210614B1 (ko) * 2020-02-12 2021-02-03 주식회사 씨엠엑스 머신러닝에 기반하여 건축물의 공간 상태 정보를 판별하는 방법 및 이를 이용한 공간 상태 정보 판별 서버
KR102260056B1 (ko) * 2020-02-12 2021-06-03 주식회사 씨엠엑스 머신러닝에 기반하여 건축물의 공간 상태 정보를 판별하는 방법 및 이를 이용한 공간 상태 정보 판별 서버
KR102369019B1 (ko) 2021-05-11 2022-02-28 이은령 증강현실 컨텐츠를 공유하는 시스템 및 그 방법

Similar Documents

Publication Publication Date Title
US10902239B2 (en) Methods and systems for training an object detection algorithm using synthetic images
CN106062862B (zh) 用于沉浸式和交互式多媒体生成的系统和方法
JP5936155B2 (ja) ３次元ユーザインタフェース装置及び３次元操作方法
US10095030B2 (en) Shape recognition device, shape recognition program, and shape recognition method
US7487468B2 (en) Video combining apparatus and method
US8965741B2 (en) Context aware surface scanning and reconstruction
US7830334B2 (en) Image displaying method and apparatus
KR102079097B1 (ko) 투명 디스플레이를 이용한 증강현실 구현 장치 및 그 방법
US11755122B2 (en) Hand gesture-based emojis
US20130174213A1 (en) Implicit sharing and privacy control through physical behaviors using sensor-rich devices
KR20190100133A (ko) 증강현실용 컨텐츠 제공 장치 및 방법
JP4834424B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2019008623A (ja) 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体
JP2005174021A (ja) 情報提示方法及び装置
KR20150133585A (ko) 3차원 영상의 단면 탐색 시스템 및 방법
JP2016122392A (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
KR101638550B1 (ko) 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
CN112655027A (zh) 维护辅助系统、维护辅助方法、程序、加工图像的生成方法以及加工图像
KR20190048810A (ko) 증강현실용 컨텐츠 제공 장치 및 방법
JP2009258884A (ja) ユーザインタフェイス
JP6818968B2 (ja) オーサリング装置、オーサリング方法、及びオーサリングプログラム
JP6975001B2 (ja) 傾き測定装置及び傾き測定方法
JP2021039567A (ja) 作業支援システム及びプログラム
JP2015121892A (ja) 画像処理装置、画像処理方法
WO2022172335A1 (ja) 仮想ガイド表示装置、仮想ガイド表示システム、及び仮想ガイド表示方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment
A107 Divisional application of patent