KR20150105131A - 증강현실 제어 시스템 및 제어 방법 - Google Patents

증강현실 제어 시스템 및 제어 방법 Download PDF

Info

Publication number
KR20150105131A
KR20150105131A KR1020140027391A KR20140027391A KR20150105131A KR 20150105131 A KR20150105131 A KR 20150105131A KR 1020140027391 A KR1020140027391 A KR 1020140027391A KR 20140027391 A KR20140027391 A KR 20140027391A KR 20150105131 A KR20150105131 A KR 20150105131A
Authority
KR
South Korea
Prior art keywords
augmented reality
control
virtual object
user
virtual
Prior art date
Application number
KR1020140027391A
Other languages
English (en)
Inventor
유초롱
심재철
조기성
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020140027391A priority Critical patent/KR20150105131A/ko
Publication of KR20150105131A publication Critical patent/KR20150105131A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명에 따른 증강현실 서비스 제공 시스템은 증강현실 제어 장치 및 객체 장치를 포함한다. 증강현실 제어 장치는 증강현실 제어 장치에 의해 제어되는 하나 이상의 전자 단말로 구성된 객체 장치와 네트워크로 연결을 구성하며, 객체 장치를 탐지하고, 사용자로부터 수신되는 명령에 기초하여 객체 장치를 제어하는 객체 제어부 및 구비된 영상촬영장치 또는 별도의 영상촬영장치를 통해 촬영된 영상에 가상 객체 GUI(Graphic User Interface)를 포함하는 증강현실 콘텐츠를 렌더링(Rendering)하여 가상 객체에 대한 증강현실 콘텐츠를 출력하는 증강현실 처리부를 포함한다.

Description

증강현실 제어 시스템 및 제어 방법{SYSTEM AND METHOD FOR AUGMENTED REALITY CONTROL}
본 발명은 증강현실에 관한 기술로서, 보다 상세하게는 증강현실 콘텐츠를 제공하는 장치 및 방법에 관한 기술이다.
증강현실(Augmented Reality, AR)은 가상현실(Virtual Reality)의 한 분야로 실제 환경에 가상 사물이나 정보를 합성하여 실제 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법으로, 현실환경과 가상환경을 융합하는 복합형 가상현실 시스템이다. 기존의 가상현실은 가상의 공간과 사물만을 대상으로 하고 있었다. 반면에, 증강현실은 현실 시계의 기반 위에 가상의 사물을 합성하여 추가적인 정보를 제공하기 때문에 부가적인 정보들을 보강해 제공할 수 있다. 증강현실은 일반적으로 사용자가 보고 있는 실사 영상에 3차원 가상영상을 겹침(overlap)으로써 현실환경과 가상화면과의 구분이 모호해지도록 나타내는 형태로 구현된다. 예를 들어, 스마트폰과 같은 모바일 단말의 카메라로 주변을 비추면 인근에 있는 상점의 위치, 전화번호 등의 정보가 3차원 입체영상으로 표시될 수 있다.
증강현실에 대한 연구는 착용 컴퓨터 개발을 시작으로 시스루 헤드마운트 디스플레이(See-through Head-Mounted Display)를 통해 활발히 진행되어 왔으며 최근 스마트 단말을 이용한 다양한 증강현실 서비스들이 개발 및 공개되고 있다. 현재 서비스되고 있는 다양한 증강현실 서비스의 경우, 텍스트 위주의 정보를 증강현실 콘텐츠로 제공하고 있다. 또한, 실제 증강현실 콘텐츠에 대한 상호작용은 증강현실 콘텐츠에 대한 사이즈 조절, 회전 및 렌더링 각도를 변경하는 기능 등과 같이 컴퓨터 그래픽에 대한 변경 기능만을 제한적으로 제공하는 경우가 많다.
대한민국 공개특허 제10-2012-0009663호는 증강현실을 이용한 정보 제공 장치 및 방법에 관한 발명으로, 제1 이동단말로부터 이미지 수신에 연동하여, 이미지 내 오브젝트를 분석하는 AR 모듈과 분석 결과 오브젝트를 경계대상 물체로 식별하는 경우 제1 이동단말과 연관된 제2 이동단말로 경고 알림 정보를 전송한다. 대한민국 공개특허 제10-2012-0009663호는 증강현실 콘텐츠를 생성하여 전달하는 내용을 포함하고 있으나, 증강현신 콘텐츠를 생성하여 제공할 뿐, 다양한 기능을 제공하지 못한다.
대한민국 공개특허 제10-2012-0009663호
본 발명이 해결하고자 하는 과제는 종래의 증강현실 제공 서비스가 가진 제약을 극복하고, 증강현실 콘텐츠인 가상 객체에 대응되는 실 객체에 대한 제어가 가능한 증강현실 서비스 제공 장치 및 방법을 제공하는 것이다.
본 발명에 따른 증강현실 서비스 제어 시스템은 증강현실 제어 장치 및 객체 장치를 포함한다. 증강현실 제어 장치는 증강현실 처리부 및 객체 제어부를 포함한다. 객체 제어부는 증강현실 제어 장치에 의해 제어되는 하나 이상의 전자 단말로 구성된 객체 장치와 네트워크로 연결을 구성하며, 객체 장치를 탐지하고, 객체 장치의 객체 정보를 수신 및 저장한다. 그리고, 객체 제어부는 사용자로부터 수신되는 명령 입력에 기초하여 객체 장치를 제어한다. 증강현실 처리부는 구비된 영상촬영장치 또는 별도의 영상촬영장치를 통해 촬영된 영상에 가상 객체 GUI(Graphic User Interface)를 포함하는 증강현실 콘텐츠를 렌더링(Rendering)하여 가상 객체에 대한 증강현실 콘텐츠를 출력한다. 가상 객체 GUI는 가상 객체에 대한 정보 관리 및 사용자의 인터페이스 인식 기능을 포함할 수 있다. 가상 객체에 대한 증강현실 콘텐츠를 통해 사용자는 가상 객체 및 해당 가상 객체에 대응하는 객체 장치에 대한 정보를 획득하여, 현재 상태, 기능 및 운용 여부 등을 파악할 수 있다. 사용자는 가상 객체에 대응하는 객체 장치에 대한 정보에 기초하여 가상 객체에 대한 증강현실 콘텐츠를 통해 해당 객체 장치를 제어할 수 있다.
객체 장치는 증강현실 제어 장치와 네트워크로 연결될 수 있으며, 증강현실 제어 장치로부터 수신되는 객체 제어 신호에 따라 동작하거나 객체 장치마다 네트워크 연결 기능이 다양하게 제공되는 문제가 발생할 수 있다. 이를 해결하기 위하여 객체 장치의 네트워크 인터페이스로 웹 서버를 탑재하여, 증강현실 처리부에 의해 화면에 표시되는 가상 객체에서는 실 객체인 객체 장치의 웹 서버와 웹 서비스 메커니즘을 통해 신호를 송수신하도록 하는 것이 바람직할 수 있다.
본 발명에 따른 증강현실 제어 방법은 객체 장치의 상태를 탐지한다. 객체 장치 상태가 탐지되면, 증강현실 제어 시스템은 증강현실 콘텐츠 가상 객체를 렌더링한다. 그리고, 가상 객체 GUI를 포함하는 가상 객체가 렌더링되면, 사용자의 가상 객체 선택을 인식한다. 다음으로, 가상 객체 제어 메뉴를 렌더링한다. 그리고, 사용자의 가상 객체 제어 메뉴 선택을 인식한다. 사용자의 가상 객체 제어 메뉴 선택이 인식되면, 사용자가 선택한 제어 메뉴에 기초하여 객체 장치로 제어 명령(객체 제어 신호)를 전달한다. 객체 장치로 제어 명령이 전달되면, 객체 장치는 수신된 제어 명령에 기초하여 기능을 구동한다. 그리고, 객체 장치는 수신된 제어 명령에 따라 구동한 기능의 제어 결과를 증강현실 제어 장치로 전송한다. 객체 장치로부터 제어 결과가 전송되면, 증강현실 제어 장치는 가상 객체 제어 결과를 화면에 렌더링한다.
본 발명에 따른 증강현실 제어 시스템 및 제어 방법은 특정 공간 내에서 서비스 사용자에게 속한 실 객체(객체 장치)를 대상으로 증강현실 콘텐츠인 가상 객체를 렌더링하여 제공하고, 이를 통해 객체 장치를 제어하며 제어 결과를 수신하여 확인할 수 있다. 이를 통해, 사용자는 원거리에서 제어를 원하는 객체에 대해 증강현실을 이용하여 필요한 정보를 확인하고 제어할 수 있다. 이는 거동이 불편한 노약자 또는 장애우들의 일상생활에서 불편하게 여겨졌던 원거리 단말에 대한 조작이나 사용에 있어 편리성을 가져다 줄 수 있다.
도 1은 본 발명에 따른 증강현실 제어 시스템의 일 실시예를 나타내는 구성도이다.
도 2는 본 발명의 일 실시예에 따른 증강현실 제어 장치(100)의 증강현실 처리부(110)를 나타내는 구성도이다.
도 3은 본 발명의 일 실시예에 따른 증강현실 제어 장치(100)의 객체 제어부(130)를 나타내는 구성도이다.
도 4는 본 발명의 일 실시예에 따른 증강현실 제어 시스템의 가상 객체(200)를 나타내는 구성도이다.
도 5a 및 도 5b는 본 발명의 일 실시예에 따른 증강현실 제어 시스템의 가상 객체 제공 증강현실 콘텐츠의 실행화면을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 증강현실 제어 방법을 나타내는 흐름도이다.
이하, 본 발명의 실시예를 첨부된 도면들을 참조하여 상세하게 설명한다. 본 명세서에서 사용되는 용어 및 단어들은 실시예에서의 기능을 고려하여 선택된 용어들로서, 그 용어의 의미는 발명의 의도 또는 관례 등에 따라 달라질 수 있다. 따라서 후술하는 실시예에서 사용된 용어는, 본 명세서에 구체적으로 정의된 경우에는 그 정의에 따르며, 구체적인 정의가 없는 경우는 당업자들이 일반적으로 인식하는 의미로 해석되어야 할 것이다.
도 1은 본 발명에 따른 증강현실 제어 시스템의 일 실시예를 나타내는 구성도이다.
도 1을 참조하면, 본 발명에 따른 증강현실 제어 시스템은 증강현실 제어 장치(100) 및 객체 장치(200)를 포함한다.
증강현실 제어 장치(100)는 증강현실 처리부(110) 및 객체 제어부(130)를 포함한다.
객체 제어부(130)는 증강현실 제어 장치(100)에 의해 제어되는 하나 이상의 전자 단말로 구성된 객체 장치(200)와 네트워크로 연결을 구성하며, 객체 장치(200)를 탐지하고, 객체 장치(200)의 객체 정보를 수신 및 저장한다. 그리고, 객체 제어부(130)는 사용자로부터 수신되는 명령 입력에 기초하여 객체 장치(200)를 제어한다.
객체 제어부(130)는 네트워크로 연결된 하나 이상의 전자 단말 중에서 제어할 수 있는 전자 단말을 객체 장치(200)로서 탐지한다. 그리고, 객체 제어부(130)는 탐지된 객체 장치(200) 또는 등록된 객체 장치(200)의 객체 정보를 저장하여 관리한다. 객체 장치(200)의 객체 정보는 각각의 객체 장치(200)의 종류, 통신 인터페이스 및 제어 가능한 기능 등을 포함할 수 있으며, 각각의 객체 장치(200)에 대한 사용자의 설정 정보를 포함할 수 있다. 객체 제어부(130)는 객체 장치(200)의 객체 정보를 증강현실 처리부(110)로 전달한다. 또한, 객체 제어부(130)는 탐지 또는 등록된 하나 이상의 객체 장치(200)의 켜짐 상태 및 동작 상태를 확인할 수 있다. 객체 제어부(130)는 켜짐 상태 및 동작 상태를 포함하는 객체 정보를 증강현실 처리부(110)로 전달한다.
그리고, 객체 제어부(130)는 증강현실 처리부(110)로부터 수신된 객체 제어 신호에 기초하여 객체 장치(200)를 제어하고, 객체 장치(200)의 제어 결과를 수신한다. 객체 장치(200)로부터 수신된 제어 결과를 수신한 객체 제어부(130)는 수신된 제어 결과를 증강현실 처리부(110)로 전달한다. 객체 제어부(130)와 객체 장치(200)의 네트워크 연결을 위한 인터페이스는 구성 프로토콜에 제한을 두지 않는다. 또한, 객체 제어부(130) 및 객체 장치(200) 사이에 송수신되는 객체 제어 신호 및 제어 결과를 포함하는 신호 역시 양식에 제한을 두지 않는다. 다만, 네트워크 인터페이스의 경우, 객체 장치(200)의 종류 및 특성에 따라 다양한 네트워크 인터페이스가 가능할 수 있어, 각 객체 장치(200)마다 네트워크 연결 기능이 다양하게 제공되는 문제가 발생할 수 있다. 이를 해결하기 위하여 객체 장치(200)의 네트워크 인터페이스로 웹 서버를 탑재하여, 증강현실 처리부(110)에 의해 화면에 표시되는 가상 객체에서는 실 객체인 객체 장치(200)의 웹 서버와 웹 서비스 메커니즘을 통해 신호를 송수신하도록 하는 것이 바람직할 수 있다. 웹 서비스 메커니즘은 그 방식에 제한을 두지 않으며 SOAP(Simple Object Access Protocol) 기반의 웹 서비스 및 RESTful 웹 서비스 모두를 지원할 수 있다.
증강현실 처리부(110)는 구비된 영상촬영장치 또는 별도의 영상촬영장치를 통해 촬영된 영상에 가상 객체 GUI(Graphic User Interface)를 포함하는 증강현실 콘텐츠를 렌더링(Rendering)하여 가상 객체에 대한 증강현실 콘텐츠를 출력한다. 가상 객체는 영상촬영장치를 통해 촬영된 객체 장치(200)를 나타낸다.
가상 객체 GUI는 가상 객체에 대한 정보 관리 및 사용자의 인터페이스 인식 기능을 포함할 수 있다. 가상 객체에 대한 증강현실 콘텐츠를 통해 사용자는 가상 객체 및 해당 가상 객체에 대응하는 객체 장치(200)에 대한 정보를 획득하여, 현재 상태, 기능 및 운용 여부 등을 파악할 수 있다. 사용자는 가상 객체에 대응하는 객체 장치(200)에 대한 정보에 기초하여 가상 객체에 대한 증강현실 콘텐츠를 통해 해당 객체 장치(200)를 제어할 수 있다. 객체 제어 신호(객체 제어 입력)는 화면에 표시되는 가상 객체 GUI를 사용하여 사용자로부터 입력 받을 수 있다.
또한, 사용자의 객체 제어 신호는 동작 인식 장치를 통해 수신할 수 있다. 심도 카메라(Depth Camera)와 같은 동작 인식 카메라를 통해 가상 객체 GUI의 메뉴를 네비게이션하거나 선택하기 위하여 GUI 출력 화면 내 특정 위치 선택, 누름 및 드래그와 같은 동작 이벤트(Gesture Event)를 인식할 수 있다. 증강현실 처리부(110)는 사용자로부터 수신 또는 인식된 객체 제어 신호를 객체 제어부(130)로 전달한다. 증강현실 콘텐츠에 관한 내용은 후술하는 도 5a 및 도 5b에서 실시예를 통해 추가적으로 설명한다.
객체 장치(200)는 증강현실 제어 장치(100)와 네트워크로 연결될 수 있으며, 증강현실 제어 장치(100)로부터 수신되는 객체 제어 신호에 따라 동작하거나 제어될 수 있는 전자 장치를 나타낸다. 객체 장치(200)는 스마트TV, 스마트폰, 테블릿PC 및 데스크탑과 같은 스마트 기기뿐만 아니라, 네트워크를 통해 제어할 수 있는 모든 가전제품 및 실내 구성요소를 포함할 수 있다. 증강현실 제어 장치(100)와 네트워크 연결을 위한 인터페이스는 구성 프로토콜에 제한을 두지 않는다. 또한, 증강현실 제어 장치(100) 및 객체 장치(200) 사이에 송수신되는 객체 제어 신호 및 제어 결과를 포함하는 신호 역시 양식에 제한을 두지 않는다. 다만, 네트워크 인터페이스의 경우, 객체 장치(200)의 종류 및 특성에 따라 다양한 네트워크 인터페이스가 가능할 수 있어, 각 객체 장치(200)마다 네트워크 연결 기능이 다양하게 제공되는 문제가 발생할 수 있다. 이를 해결하기 위하여 객체 장치(200)의 네트워크 인터페이스로 웹 서버를 탑재하여, 증강현실 처리부(110)에 의해 화면에 표시되는 가상 객체에서는 실 객체인 객체 장치(200)의 웹 서버와 웹 서비스 메커니즘을 통해 신호를 송수신하도록 하는 것이 바람직할 수 있다. 웹 서비스 메커니즘은 그 방식에 제한을 두지 않으며 SOAP(Simple Object Access Protocol) 기반의 웹 서비스 및 RESTful 웹 서비스 모두를 지원할 수 있다.
도 2는 본 발명의 일 실시예에 따른 증강현실 제어 장치(100)의 증강현실 처리부(110)를 나타내는 구성도이다.
도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 증강현실 제어 장치(100)의 증강현실 처리부(110)는 가상 객체 GUI부(111), 증강현실 콘텐츠 렌더링부(112) 및 사용자 인터페이스 인식부(113)를 포함한다.
가상 객체 GUI부(111)는 가상 객체에 대한 객체 정보 관리 및 사용자의 인터페이스 인식 기능을 포함하는 가상 객체 GUI를 생성한다. 가상 객체 GUI부(111)는 객체 제어부(130)로부터 수신된 객체 정보를 증강현실 콘텐츠에 포함시킬 수 있으며, 객체 장치(200)를 제어할 수 있는 사용자 인터페이스를 포함할 수 있다. 사용자는 가상 객체에 대한 증강현실 콘텐츠인 가상 객체 GUI를 통해 가상 객체 및 해당 가상 객체에 대응하는 객체 장치(200)에 대한 정보를 획득하여, 현재 상태, 기능 및 운용 여부 등을 파악할 수 있다. 또한, 사용자는 가상 객체에 대응하는 객체 장치(200)에 대한 정보에 기초하여 가상 객체 GUI를 통해 해당 객체 장치(200)를 제어할 수 있다. 객체 제어 신호(객체 제어 입력)는 화면에 표시되는 가상 객체 GUI를 사용하여 사용자로부터 입력 받을 수 있다.
증강현실 콘텐츠 렌더링부(112)는 가상 객체 GUI부에서 생성된 가상 객체 GUI를 포함하는 증강현실 콘텐츠를 렌더링하여 가상 객체와 함께 화면에 표시한다. 가상 객체 GUI를 포함하는 증강현실 콘텐츠는 객체 장치(200)에 대응하는 가상 객체에 객체 정보를 제공하기 위한 인터페이스 및 객체 장치(200) 제어를 위한 인터페이스를 제공할 수 있다.
사용자 인터페이스 인식부(113)는 사용자로부터 객체 제어 신호를 인식한다. 사용자는 가상 객체 GUI를 통해 객체 장치(200)의 정보를 확인하고, 객체 장치(200)를 제어하기 위한 객체 제어 신호를 입력한다. 사용자는 화면에 표시되는 가상 객체 GUI를 터치스크린 또는 입력 버튼 등으로 조작하여 객체 제어 신호를 입력할 수 있다. 또한, 사용자의 객체 제어 신호는 동작 인식 장치를 통해 수신할 수 있다. 심도 카메라(Depth Camera)와 같은 동작 인식 카메라를 통해 가상 객체 GUI의 메뉴를 네비게이션하거나 선택하기 위하여 GUI 출력 화면 내 특정 위치 선택, 누름 및 드래그와 같은 동작 이벤트(Gesture Event)를 인식할 수 있다. 사용자 인터페이스 인식부(113)는 사용자로부터 수신 또는 인식된 객체 제어 신호를 객체 제어부(130)로 전달한다. 증강현실 콘텐츠에 관한 내용은 후술하는 도 5a 및 도 5b에서 실시예를 통해 추가적으로 설명한다.
도 3은 본 발명의 일 실시예에 따른 증강현실 제어 장치(100)의 객체 제어부(130)를 나타내는 구성도이다.
도 1 및 도 3을 참조하면, 본 발명의 일 실시예에 따른 증강현실 제어 장치(100)의 객체 제어부(130)는 객체 정보 관리부(131), 객체 상태 탐지부(132), 네트워크 연결부(133), 객체 제어 명령부(134)를 포함한다.
객체 정보 관리부(131)는 탐지 또는 등록된 객체 장치(200)로부터 객체 정보를 수집하여 저장 및 관리한다. 객체 장치(200)의 객체 정보는 각각의 객체 장치(200)의 종류, 통신 인터페이스 및 제어 가능한 기능 등을 포함할 수 있으며, 각각의 객체 장치(200)에 대한 사용자의 설정 정보를 포함할 수 있다. 객체 정보 관리부(131)는 객체 장치(200)로부터 수집된 객체 정보를 증강현실 처리부(110)로 전달한다.
객체 상태 탐지부(132)는 증강현실 제어 장치(100)와 네트워크로 연결될 수 있는 객체 장치(200)를 탐지한다. 새로운 객체 장치(200)가 유선 또는 무선 통신을 통해 네트워크에 접속되면, 객체 상태 탐지부(132)는 새로운 객체 장치(200)를 탐지하고, 탐지된 객체 장치(200)가 증강현실 제어 장치(100)를 통해 제어될 수 있는 객채 장치(200)인지에 기초하여 등록 여부를 판단할 수 있다.
네트워크 연결부(133)는 증강현실 제어 장치(100)에 의해 제어되는 하나 이상의 객체 장치(200)와 네트워크로 연결을 구성한다. 네트워크 연결부(133)와 객체 장치(200)의 네트워크 연결을 위한 인터페이스는 구성 프로토콜에 제한을 두지 않는다. 다만, 네트워크 인터페이스의 경우, 객체 장치(200)의 종류 및 특성에 따라 다양한 네트워크 인터페이스가 가능할 수 있어, 각 객체 장치(200)마다 네트워크 연결 기능이 다양하게 제공되는 문제가 발생할 수 있다. 이를 해결하기 위하여 객체 장치(200)의 네트워크 인터페이스로 웹 서버를 탑재하여, 증강현실 처리부(110)에 의해 화면에 표시되는 가상 객체에서는 실 객체인 객체 장치(200)의 웹 서버와 웹 서비스 메커니즘을 통해 신호를 송수신하도록 하는 것이 바람직할 수 있다. 웹 서비스 메커니즘은 그 방식에 제한을 두지 않으며 SOAP(Simple Object Access Protocol) 기반의 웹 서비스 및 RESTful 웹 서비스 모두를 지원할 수 있다.
객체 제어 명령부(134)는 증강현실 처리부(110)로부터 수신된 객체 제어 신호에 기초하여 객체 장치(200)를 제어하고, 객체 장치(200)의 제어 결과를 수신한다. 객체 장치(200)로부터 수신된 제어 결과를 수신한 객체 제어부(130)는 수신된 제어 결과를 증강현실 처리부(110)로 전달한다. 객체 제어부(130) 및 객체 장치(200) 사이에 송수신되는 객체 제어 신호 및 제어 결과를 포함하는 신호 역시 양식에 제한을 두지 않는다.
도 4는 본 발명의 일 실시예에 따른 증강현실 제어 시스템의 가상 객체(200)를 나타내는 구성도이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 증강현실 제어 시스템의 가상 객체(200)는 가상 객체 네트워크 연결부(210), 제어 신호 수신부(220) 및 객체 제어 결과 송신부(230)를 포함한다.
가상 객체 네트워크 연결부(210)는 객체 장치(200)와 증강현실 제어 장치(100)를 네트워크로 연결한다. 가상 객체 네트워크 연결부(210) 및 증강현실 제어 장치(100) 사이의 네트워크 연결을 위한 인터페이스는 구성 프로토콜에 제한을 두지 않는다. 다만, 객체 장치(200)의 네트워크 인터페이스로 웹 서버를 탑재하여, 증강현실 처리부(110)에 의해 화면에 표시되는 가상 객체에서는 실 객체인 객체 장치(200)의 웹 서버와 웹 서비스 메커니즘을 통해 신호를 송수신하도록 하는 것이 바람직할 수 있다. 웹 서비스 메커니즘은 그 방식에 제한을 두지 않으며 SOAP(Simple Object Access Protocol) 기반의 웹 서비스 및 RESTful 웹 서비스 모두를 지원할 수 있다.
제어 신호 수신부(220)는 증강현실 제어 장치(100)로부터 객체 제어 신호를 수신하고, 수신된 객체 제어 신호에 기초하여 객체 장치(200)를 제어한다. 사용자는 증강현실 제어 장치(100)가 제공하는 증강현실 콘텐츠의 가상 객체 GUI를 통해 객체 장치(200)를 제어하기 위한 객체 제어 신호를 전달한다. 사용자의 의해 증강현실 제어 장치(100)로부터 수신된 객체 제어 신호를 통해 제어 신호 수신부(220)는 객체 장치(200)를 제어한다. 예를 들어, 객체 장치(200)에 해당하는 TV를 켜거나 끌 수 있으며, 냉방기구 또는 난방기구를 제어하여 실내 온도를 조절할 수 있다.
객체 제어 결과 송신부(230)는 제어 신호 수신부(220)가 수신된 객체 제어 신호에 기초하여 객체 장치(200)를 제어하면, 객체 장치(200)의 객체 제어 결과를 객체 정보에 포함하여 증강현실 제어 장치(100)로 전달한다. 증강현실 제어 장치(100)는 객체 제어 결과 송신부(230)로부터 수신된 객체 제어 결과를 포함하는 객체 정보를 통해 객체 장치(200)의 상태에 대한 정보를 갱신할 수 있다.
도 5a 및 도 5b는 본 발명의 일 실시예에 따른 증강현실 제어 시스템의 가상 객체 제공 증강현실 콘텐츠의 실행화면을 나타내는 도면이다.
도 5a는 특정 공간 거실 내에 위치한 서비스 이용자 객체 장치를 대상으로 헤드마운트 디스플레이 장치(Head Mounted Display, HMD)를 착용하고 있는 사용자에게 가상 객체 제공 증강현실 콘텐츠를 서비스하는 화면의 일례를 나타낸다. 영상촬영장치를 통해 촬영된 거실 영상에서 세 개의 객체 장치(510, 520, 530)가 인식된다. 인식된 객체 장치는 스마트TV(510), 스마트폰(520) 및 데스크탑PC(530)이다. 본 발명에 따른 증강현실 제어 장치는 인식된 스마트TV(510)에 대응하는 가상 객체로 제1 가상 객체(511)를, 스마트폰(520)에 대응하는 가상 객체로 제2 가상 객체(521)를, 그리고, 데스크탑PC(530)에 대응하는 가상 객체로 제3 가상 객체(531)를 렌더링하여 가상 객체 GUI를 포함하는 증강현실 콘텐츠를 화면에 표시한다. 사용자는 HMD의 화면상에 렌더링된 제1 가상 객체(511), 제2 가상 객체(521) 및 제3 가상 객체(531)를 통해 스마트TV(510), 스마트폰(520) 및 데스크탑PC(530)를 제어할 수 있다.
도 5b는 도 5a의 가상 객체 제공 증강현실 콘텐츠를 이용하여 스마트폰을 제어하는 일례를 나타낸다. 사용자는 HMD의 영상화면에 표시되는 증강현실 콘텐츠의 가상 객체 중에서 스마트폰(520)에 대응하는 제2 가상 객체(521)를 선택하여 스마트폰(520)을 직접 조작하지 않고도 HMD를 착용한 상태에서 스마트폰(520)을 사용할 수 있다. 사용자가 제2 가상 객체(521)를 선택하는 방법은 동작인식(Gesture Recognition)을 이용할 수 있다. 예를 들어, 사용자의 손을 인식하여, 사용자의 손이 HMD에 표시되는 제2 가상 객체(521) 상에서 소정의 동작을 취하거나 소정의 시간 동안 대기하는 경우 제2 가상 객체(521)를 선택한 것으로 인식할 수 있다. 사용자에 의해 제2 가상 객체(521)가 선택되면, 제2 가상 객체(521)를 제어하기 위한 추가적인 가상 객체 GUI(522,523,524,525)가 표시될 수 있다. 통화 메뉴(522), 메시지 메뉴(523), 주소록 메뉴(524) 및 파일 탐색 메뉴(525)를 통해 사용자는 스마트폰(520)을 제어할 수 있다. 예를 들어, 문자 메시지가 수신된 경우, 메시지 메뉴(523)를 선택하여 스마트폰(520)을 제어할 수 있으며, 제어 기능 수행에 대한 결과를 획득하여 수신 메시지(526)를 확인할 수 있다.
도 6은 본 발명의 일 실시예에 따른 증강현실 제어 방법을 나타내는 흐름도이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 증강현실 제어 방법은 먼저 객체 장치의 상태를 탐지한다(601). 본 발명에 따른 증강현실 제어 시스템은 네트워크에 연결된 객체 장치를 탐지하여 새로운 객체 장치가 탐지되면 해당 객체 장치를 새로 등록한다. 그리고, 탐지된 객체 장치의 객체 상태에 대한 정보를 수집한다. 객체 정보는 각각의 객체 장치의 종류, 통신 인터페이스 및 제어 가능한 기능 등을 포함할 수 있으며, 각각의 객체 장치에 대한 사용자의 설정 정보를 포함할 수 있다.
객체 장치 상태가 탐지되면, 증강현실 제어 시스템은 증강현실 콘텐츠 가상 객체를 렌더링한다(602). 증강현실 제어 시스템은 객체 정보를 확인하고 객체 장치를 제어하기 위한 가상 객체 GUI를 생성하여, 가상 객체 GUI를 포함하는 증강현실 콘텐츠를 가상 객체로 화면에 렌더링한다. 사용자는 가상 객체에 대한 증강현실 콘텐츠인 가상 객체 GUI를 통해 가상 객체 및 해당 가상 객체에 대응하는 객체 장치에 대한 정보를 획득하여, 현재 상태, 기능 및 운용 여부 등을 파악할 수 있다. 또한, 사용자는 객체 장치에 대한 정보에 기초하여 가상 객체 GUI(객체 장체이 대응하는 가상 객체)를 통해 해당 객체 장치를 제어할 수 있다.
가상 객체 GUI를 포함하는 가상 객체가 렌더링되면, 사용자의 가상 객체 선택을 인식한다(603). 사용자는 가상 객체를 통해 가상 객체 GUI를 선택하여 객체 장치를 제어할 수 있다. 따라서, 사용자의 가상 객체 선택을 인식해야 한다. 사용자의 가상 객체 선택은 사용자가 터치스크린 또는 물리버튼을 통해 직접 가상 객체 GUI를 선택하는 과정을 통해 인식할 수 있다. 또한, 동작인식을 통해 사용자의 특정한 동작을 인식하여 사용자의 가상 객체 선택을 인식할 수 있다. 심도 카메라(Depth Camera)와 같은 동작 인식 카메라를 통해 가상 객체 GUI의 메뉴를 네비게이션하거나 선택하기 위하여 GUI 출력 화면 내 특정 위치 선택, 누름 및 드래그와 같은 동작 이벤트(Gesture Event)를 인식할 수 있다.
사용자의 가상 객체 선택이 인식되면, 가상 객체 제어 메뉴를 렌더링한다(604). 가상 객체 GUI는 탐지된 객체 장치를 제어하기 위한 제어 메뉴를 포함하고 있다. 따라서, 사용자의 가상 객체 선택이 인식되면, 해당 가상 객체에 대응하는 객체 장치를 제어하기 위한 가상 객체 GUI를 화면에 렌더링하여 사용자에게 제공한다. 다음으로, 사용자의 가상 객체 제어 메뉴 선택을 인식한다(605). 603 단계와 동일한 과정을 통해 사용자의 가상 객체 제어 메뉴 선택을 인식한다.
사용자의 가상 객체 제어 메뉴 선택이 인식되면, 사용자가 선택한 제어 메뉴에 기초하여 객체 장치로 제어 명령(객체 제어 신호)를 전달한다(606). 사용자가 가상 객체 GUI를 통해 소정의 제어 명령을 선택하면, 증강현실 제어 시스템은 사용자의 제어 명령을 객체 장치로 전달한다. 객체 장치로 제어 명령이 전달되면, 객체 장치는 수신된 제어 명령에 기초하여 기능을 구동한다(607). 예를 들어, 사용자가 스마트폰의 문자 메시지 확인을 요청하면, 스마트폰은 수신된 문자 메시지를 확인하는 기능을 구동한다. 그리고, 객체 장치는 수신된 제어 명령에 따라 구동한 기능의 제어 결과를 증강현실 제어 장치로 전송한다(608). 객체 장치로부터 제어 결과가 전송되면, 증강현실 제어 장치는 가상 객체 제어 결과를 화면에 렌더링한다(609). 예를 들어, 사용자의 제어 명령이 스마트폰의 문자 메시지 확인이었다면, 객체 장치인 스마트폰은 문자 메시지를 수신하여 확인된 문자 메시지 내용을 증강현신 제공 장치로 전달한다. 그리고, 증강현실 제어 장치는 수신된 문자 메시지 내용을 화면에 증강현실 콘텐츠로서 렌더링하여 사용자에게 제공한다.
상술한 내용을 포함하는 본 발명은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체 또는 정보저장매체에 저장되고, 컴퓨터에 의하여 판독되고 실행함으로써 본 발명의 방법을 구현할 수 있다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.
이상 바람직한 실시예를 들어 본 발명을 상세하게 설명하였으나, 본 발명은 전술한 실시예에 한정되지 않고, 본 발명의 기술적 사상의 범위 내에서 당분야에서 통상의 지식을 가진자에 의하여 여러 가지 변형이 가능하다.
100: 증강현실 제어 장치
110: 증강현실 처리부
111: 가상 객체 GUI부
112: 증강현실 콘텐츠 렌더링부
113: 사용자 인터페이스 인식부
130: 객체 제어부
131: 객체 정보 관리부
132: 객체 상태 탐지부
133: 네트워크 연결부
134: 객체 제어 명령부
200: 객체 장치
210: 가상 객체 네트워크 연결부
220: 제어 신호 수신부
230: 객체 제어 결과 송신부
510: 스마트TV
511: 제1 가상 객체
520: 스마트폰
521: 제2 가상 객체
530: 데스크탑PC
531: 제3 가상 객체

Claims (1)

  1. 수신된 객체 제어 신호에 기초하여 동작하고, 동작 결과를 전달하는 하나 이상의 객체 장치; 및
    상기 하나 이상의 객체 장치를 탐지하여 객체 정보를 수집하고, 상기 탐지된 객체 장치에 대응하는 가상 객체를 화면에 렌더링하며, 상기 가상 객체에 대한 사용자의 입력을 인식하여 객체 제어 신호를 상기 객체 장치로 전달하고, 상기 객체 장치로부터 수신된 동작 결과를 화면에 렌더링하는 증강현실 제어 장치;
    를 포함하는 증강현실 제어 시스템.
KR1020140027391A 2014-03-07 2014-03-07 증강현실 제어 시스템 및 제어 방법 KR20150105131A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140027391A KR20150105131A (ko) 2014-03-07 2014-03-07 증강현실 제어 시스템 및 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140027391A KR20150105131A (ko) 2014-03-07 2014-03-07 증강현실 제어 시스템 및 제어 방법

Publications (1)

Publication Number Publication Date
KR20150105131A true KR20150105131A (ko) 2015-09-16

Family

ID=54244622

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140027391A KR20150105131A (ko) 2014-03-07 2014-03-07 증강현실 제어 시스템 및 제어 방법

Country Status (1)

Country Link
KR (1) KR20150105131A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019066133A1 (ko) * 2017-09-26 2019-04-04 에이케이엔코리아 주식회사 혼합 현실에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법
KR20190056935A (ko) * 2017-11-17 2019-05-27 주식회사 코이노 휴대단말과 원격관리장치 및 이를 이용한 증강현실 기반 원격 가이던스 방법
KR102362978B1 (ko) 2020-11-12 2022-02-22 주식회사 탱글 웹페이지 상에서 삼차원 파일을 증강현실을 통해 구현 가능하도록 하는 증강현실 임베디드 코드 변환 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019066133A1 (ko) * 2017-09-26 2019-04-04 에이케이엔코리아 주식회사 혼합 현실에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법
KR20190056935A (ko) * 2017-11-17 2019-05-27 주식회사 코이노 휴대단말과 원격관리장치 및 이를 이용한 증강현실 기반 원격 가이던스 방법
KR102362978B1 (ko) 2020-11-12 2022-02-22 주식회사 탱글 웹페이지 상에서 삼차원 파일을 증강현실을 통해 구현 가능하도록 하는 증강현실 임베디드 코드 변환 장치

Similar Documents

Publication Publication Date Title
EP3204837B1 (en) Docking system
EP3515046A1 (en) Task management based on instant communication message
US11445026B2 (en) Methods, systems, and media for indicating a security status of an internet of things device
EP4040277A1 (en) Method for displaying multiple windows, and electronic device and system
EP2797299B1 (en) Device and method for remote controlling of an external display using different positions of the remote controller
US20170364239A1 (en) Application icon customization
KR20170126295A (ko) 헤드 마운티드 디스플레이 장치 및 그것의 제어방법
US9829706B2 (en) Control apparatus, information processing apparatus, control method, information processing method, information processing system and wearable device
EP2704461B1 (en) Mobile terminal and control method thereof
KR20160087268A (ko) 이동 단말기 및 이의 제어방법
CN106896920B (zh) 虚拟现实系统、虚拟现实设备、虚拟现实控制装置及方法
KR20180099182A (ko) 헤드 마운티드 디스플레이를 포함하는 시스템 및 그 제어 방법
US11029778B2 (en) Device and method for processing user input
CN109496293B (zh) 扩展内容显示方法、装置、系统及存储介质
KR102004986B1 (ko) 어플리케이션 실행 방법 및 시스템, 단말과 그 기록 매체
KR20170089662A (ko) 증강현실을 제공하는 웨어러블 디바이스
EP2965164B1 (en) Causing specific location of an object provided to a device
KR20160053641A (ko) 멀티 디스플레이 제어 방법 및 그 전자 장치
KR102057196B1 (ko) 정보 전송 방법 및 시스템과 그 기기
KR20150105131A (ko) 증강현실 제어 시스템 및 제어 방법
KR20180017638A (ko) 이동단말기 및 그 제어방법
KR20160001229A (ko) 이동단말기 및 그 제어방법
CN107133028B (zh) 一种信息处理方法及电子设备
CN114546188B (zh) 基于互动界面的互动方法、装置、设备及可读存储介质
US10250845B1 (en) Remote collaboration system with projector-camera based robot device and head mounted display, and remote interaction method using the same

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination