KR102073940B1 - 스마트 단말을 이용한 ar hmd의 통합 인터페이스를 구축하는 장치 및 방법 - Google Patents

스마트 단말을 이용한 ar hmd의 통합 인터페이스를 구축하는 장치 및 방법 Download PDF

Info

Publication number
KR102073940B1
KR102073940B1 KR1020180131554A KR20180131554A KR102073940B1 KR 102073940 B1 KR102073940 B1 KR 102073940B1 KR 1020180131554 A KR1020180131554 A KR 1020180131554A KR 20180131554 A KR20180131554 A KR 20180131554A KR 102073940 B1 KR102073940 B1 KR 102073940B1
Authority
KR
South Korea
Prior art keywords
content
information
interface
hmd
steering
Prior art date
Application number
KR1020180131554A
Other languages
English (en)
Inventor
황보택근
하마쳐 알라릭
오석희
Original Assignee
가천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가천대학교 산학협력단 filed Critical 가천대학교 산학협력단
Priority to KR1020180131554A priority Critical patent/KR102073940B1/ko
Application granted granted Critical
Publication of KR102073940B1 publication Critical patent/KR102073940B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H04L67/38—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Computer Hardware Design (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 일 실시예에 따라, 서버에 의해 수행되는 AR 컨트롤러 통합 서비스를 제공하는 방법에 있어서, (a) AR HMD와 스마트단말을 기 등록된 고유식별자에 기초하여 연동시키고, AR HMD에 AR콘텐츠를 제공하는 단계; (b) AR HMD와 스마트단말로 조종 정보를 수신하기 위한 조종 인터페이스를 제공하는 단계;(c) AR HMD와 스마트단말로부터 조종 정보를 수신하고, 조종 정보를 AR콘텐츠에 적용하는 단계; 및 (d) 사용자가 이용중인 AR콘텐츠의 상태에 기초하여 상황 정보를 산출하고, 이를 관리자 단말로 전달하는 단계;를 포함하되, 고유식별자는 AR콘텐츠를 이용하는 사용자가 보유한 장치의 연동을 위해 기 생성된 식별자이며, 조종 정보는 AR콘텐츠를 사용자가 직접 이용하며 생성하는 제 1 조종 정보 및 AR콘텐츠의 외부환경을 조작하기 위해 생성되는 제 2 조종 정보로 구성된다.

Description

스마트 단말을 이용한 AR HMD의 통합 인터페이스를 구축하는 장치 및 방법 {APPARATUS AND METHOD FOR CONSTRUCTING INTEGRATED INTERFACE OF AR HMD USING SMART TERMINAL}
본 발명은 AR HMD이 가지는 다양한 인터페이스 환경을 스마트 단말을 이용하여 통합하는 장치 및 방법에 관한 것이다.
디스플레이 기술과 컴퓨터 소형화 기술의 발전은 새로운 웨어러블 기술 개발 발전에 기여하고 있다. 주요 분야의 기술 중 하나는 증강현실(AR, augmented reality)의 영역이다.
도 1은 종래의 AR HMD 장치들의 예시를 나타낸 것이다.
HMD(head mounted display)란 안경처럼 머리에 쓰고 대형 영상을 즐길 수 있는 영상표시장치의 일종으로, 도 1에 도시되어 있는 예시들의 형태로 구현되어 있다.
사용자는 이를 통해 휴대하면서 대형의 화면이 필요한 영상물을 생생하게 즐기거나, AR기술이 적용된 콘텐츠를 즐길 수 있게 된다.
이와 같이, 증강현실(AR) 카테고리의 콘텐츠와 응용 프로그램을 개발하기 위한 많은 장치 솔루션이 존재한다. 하지만, 증강현실의 기기에 따라 콘텐츠를 유저에게 전달하는 효율성, 정확성, 편안함 등은 HMD를 생산하는 메이커마다 천차만별로 그 용도 또한 달라지게 된다.
도 2는 종래의 AR HDM을 조작하기 위해 사용된 장치들의 예시이다.
도 2를 참조하면, AR HDM의 콘텐츠를 조작하기 위해 다양한 방식이 사용될 수 있음을 확인할 수 있다.
그림(a)는 일반적인 데스크톱에서 사용하게 되는 마우스를 예시로 든 것이며, 그림(b)는 터치 기반의 입력패드를 사용하는 예시가 될 수 있다. 마지막으로 그림 (c)는 사람의 제스쳐(gestures)를 AR HDM에 부착된 카메라나 외부 카메라를 통해 인식하는 조작 방식의 예시를 든 것이다.
이와 같이 다양한 방식으로 AR HDM에 명령을 제공할 수 있는 방법이 있으나, 이를 공통적으로 사용하기 위한 AR콘텐츠 인터페이스의 구축에는 어려움이 따르고 있는 실정이다.
특히, 그림(c)에 제시된 방식의 경우, 기술에 따른 고가의 장비를 필요로 하기 때문에 일반인이 사용하기 어렵다는 단점 또한 존재하고 있다.
따라서, AR HMD의 플랫폼에 의존하지 않는 디스플레이 서버의 도입과 유저에게 친화적이지 못한 어려운 인터액션의 문제를 해결할 필요성이 강조되고 있는 상황이다.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 연결된 AR 디스플레이 장치를 위해 아날로그 또는 디지털 정보의 수집 및 표시를 지원할 수 있는 효율적인 애플리케이션 서버를 구축하는 것을 목적으로 한다.
또한, 증강현실 장치를 쉽고 효율적이면서도 인간의 상호 작용을 증진시키기 위한 혁신적인 원격 제어 입력 메소드를 생성하는 것을 목적으로 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따라, 서버에 의해 수행되는 스마트 단말을 이용한 AR HMD의 통합 인터페이스를 구축하는 방법에 있어서, (a) AR HMD와 스마트단말을 기 등록된 고유식별자에 기초하여 연동시키고, AR HMD에 AR콘텐츠를 제공하는 단계; (b) AR HMD와 스마트단말로 조종 정보를 수신하기 위한 조종 인터페이스를 제공하는 단계;(c) AR HMD와 스마트단말로부터 조종 정보를 수신하고, 조종 정보를 AR콘텐츠에 적용하는 단계; 및 (d) 사용자가 이용중인 AR콘텐츠의 상태에 기초하여 상황 정보를 산출하고, 이를 관리자 단말로 전달하는 단계;를 포함하되, 고유식별자는 AR콘텐츠를 이용하는 사용자가 보유한 장치의 연동을 위해 기 생성된 식별자이며, 조종 정보는 AR콘텐츠를 사용자가 직접 이용하며 생성하는 제 1 조종 정보 및 AR콘텐츠의 외부환경을 조작하기 위해 생성되는 제 2 조종 정보로 구성될 수 있다.
다른 일 실시예에 따른, 스마트 단말을 이용한 AR HMD의 통합 인터페이스를 구축하는 시스템에 있어서, AR콘텐츠를 생성하여 서버로 제공하고, 서버로부터 수신한 상황 정보에 기초하여 생성하는 피드백 정보를 서버로 전달하는 관리자 단말; 서버로부터 AR콘텐츠와 제 1 조종 인터페이스를 수신하여 사용자에게 제공하는 AR HMD; AR HMD와 연동하여 서버로부터 수신된 제 2 조종 인터페이스를 통해 AR콘텐츠를 조작하기 위한 스마트단말; 및 AR HMD과 스마트단말을 기 등록된 고유식별자에 기초하여 연동시키고, 관리자 단말로부터 수신한 AR콘텐츠를 상기 AR HMD로 제공하고, ARHMD와 스마트단말로 조종 정보를 수신하기 위한 조종 인터페이스를 제공 및 사용자가 이용중인 AR콘텐츠의 상태에 기초하여 상황 정보를 산출 후 관리자 단말로 전달하는 상기 서버;를 포함하되 고유식별자는 AR콘텐츠를 이용하는 사용자가 보유한 장치의 연동을 위해 기 생성된 식별자이며, 조종 정보는 AR콘텐츠를 사용자가 직접 이용하며 생성하는 제 1 조종 정보 및 AR콘텐츠의 외부환경을 조작하기 위해 생성되는 제 2 조종 정보로 구성될 수 있다.
본 발명은 연결된 AR 디스플레이 장치를 위해 아날로그 또는 디지털 정보의 수집 및 표시를 지원할 수 있는 효율적인 애플리케이션 서버를 구축할 수 있다.
또한, 증강현실 장치를 쉽고 효율적이면서도 인간의 상호 작용을 증진시키기 위한 혁신적인 원격 제어 입력 메소드를 생성할 수 있다.
이를 통해 AR분야의 다양한 애플리케이션의 개발 확대에 기여하고, 효율, 편안함, 유효성을 향상 시킬 수 있는 새로운 도구를 제안할 수 있게 되는 것이다.
도 1은 종래의 AR HMD 장치들의 예시를 나타낸 것이다.
도 2는 종래의 AR HDM을 조작하기 위해 사용된 장치들의 예시이다.
도 3은 본 발명의 일 실시예에 따른, 스마트 단말을 이용한 AR HMD의 통합 인터페이스를 구축하는 시스템의 구성을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른, 서버의 구성을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른, AR HMD의 통합 인터페이스를 구축하는 방법을 나타낸 동작 흐름도이다.
도 6은 본 발명의 일 실시예에 따른, 스마트 단말로 제공되는 제 2 조종 인터페이스의 예시를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른, 관리자 단말로 제공되는 AR콘텐츠 관리 인터페이스의 예시를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른, AR콘텐츠 관리 인터페이스의 필드값 입력란에 삽입될 수 있는 XML의 예시를 나타낸 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하의 실시예는 본 발명의 이해를 돕기 위한 상세한 설명이며, 본 발명의 권리 범위를 제한하는 것이 아니다. 따라서 본 발명과 동일한 기능을 수행하는 동일 범위의 발명 역시 본 발명의 권리 범위에 속할 것이다.
명세서 전체에서, 서버(100)는 스마트 단말을 이용한 AR HMD의 통합 인터페이스를 구축하는 장치를 의미할 수 있다.
도 3은 본 발명의 일 실시예에 따른, 스마트 단말을 이용한 AR HMD의 통합 인터페이스를 구축하는 시스템의 구성을 나타낸 도면이다.
도 3을 참조하면, 스마트 단말을 이용한 AR HMD의 통합 인터페이스를 구축하는 시스템(1)은 서버(100), AR HMD(210), 스마트 단말(220), 생체정보인식센서(230) 및 관리자 단말(300)을 포함할 수 있다. 또한, 각각의 장치들은 통신망을 통해 상호 연결하게 된다.
본 발명의 일 실시예에 따라, 서버(100)는 AR HMD(210)와 스마트 단말(220), 관리자 단말(300)을 통해 스마트 단말을 이용한 AR HMD의 통합 인터페이스를 구축할 수 있도록, 기 등록된 고유 식별자를 통해, 서버(100)에 접속된 AR HMD(210)과 스마트 단말(220)을 연동시키게 된다.
그 외에도, 선택적으로 생체정보인식센서(230)도 고유식별자에 등록하여, 서버(100)에 접속된 타 장치들과 연동하여 사용할 수 있다.
이때, 고유식별자는 AR콘텐츠를 이용하는 사용자가 보유한 장치의 연동을 위해 기 생성된 식별자를 뜻하게 되며, 아이디(ID, identification)와 같은 것이 고유식별자의 한 종류가 될 수 있다.
또한, 고유식별자에는 사용자의 정보나, AR HMD(210), 스마트 단말(220) 및 생체정보인식센서(230)의 기기가 가지는 고유 식별자가 저장될 수 있다. 여기서, 기기 식별자란 맥어드레스나 제조번호 등이 될 수 있다.
서버(100)는 AR콘텐츠를 AR HMD(210)에 제공하고, 연결된 장치로부터 조종 정보를 수신하기 위해 AR HMD(210)와 스마트 단말(220)에 각각 조종 인터페이스를 제공하게 된다.
이때, 서버(100)는 조종 인터페이스는 용도에 따라 AR콘텐츠를 사용자가 직접 이용하며 생성하는 제 1 조종 정보를 생성하기 위한 제 1 조종 인터페이스와 AR콘텐츠의 외부환경을 조작하기 위해 생성되는 제 2 조종 정보를 생성하기 위한 제 2 조종 인터페이스로 나뉘어 제공하게 된다.
AR HMD(210)와 스마트 단말(220)로부터 조종 정보를 수신하는 서버(100)는 해당 조종 정보를 AR콘텐츠에 적용하고, 그에 대한 상황 정보를 산출하여 관리자 단말(300)로 전달하는 것을 특징으로 한다.
이때, 상황 정보는 사용자가 AR콘텐츠를 실시간으로 이용하면서 생성되는 실시간 AR콘텐츠 상황 정보와 기 설정된 시간 혹은 상기 AR콘텐츠가 종료된 이후 생성되는 AR콘텐츠 보고 정보로 구성된 정보를 뜻할 수 있다.
예를 들어, 실시간 AR콘텐츠 상황 정보는 AR콘텐츠를 이용하는 사용자들을 실시간 모니터링하며 발생하는 정보가 될 수 있고, AR콘텐츠 보고 정보는 사용자가 특정 AR콘텐츠의 이용을 마치면 그에 대한 리포트가 포함된 정보가 되는 것이다.
AR HMD(210)는 AR콘텐트를 사용자에게 직접 제공하는 AR디스플레이 장치를 통칭하게 된다. 생산되는 브랜드나 목적에 따라 다양한 형태나 방법으로 구현되어 사용자에게 제공될 수 있다. 따라서 AR콘텐츠를 구현하는 방법이나 형태가 본 발명의 범위를 제약하지 않으며, AR HMD(210)에 포함할 수 있는 부가적인 인터페이스에 대해서도 제한을 두지 않는다.
이때, AR HMD(210)는 서버(100)로부터 AR콘텐츠와 제 1 조종 인터페이스를 수신하여 사용자에게 제공하는 것을 특징으로 한다.
스마트 단말(220)은 서버(100)로부터 제공받은 스마트 단말을 이용한 AR HMD의 통합 인터페이스를 구축을 위한 애플리케이션을 통해 표시할 수 있다. 예컨대, AR HMD(210)와 연동하여 서버(100)로부터 수신된 제 2 조종 인터페이스를 통해 상기 AR콘텐츠를 조작할 수 있게 되는 것을 특징으로 한다.
추가 실시예로, 스마트 단말(220)이 포함하는 카메라 기능, 위치 인식 기능, 모션 인식 기능을 이용하여, AR콘텐츠를 조작할 수도 있다.
예컨대, 스마트 단말(220)이 포함하는 카메라를 통해 사용자의 모습을 촬영하거나, 모션 인식 기능을 통해 움직임을 인식하여 AR콘텐츠에 적용할 수도 있다. 또한, 위치 인식 기능을 이용하여 실제로 이동하는 사용자의 움직임을 파악할 수도 있다.
이때, 사용되는 스마트 단말(220)은 유무선 통신 환경에서 단말 애플리케이션을 이용할 수 있는 통신 단말기를 의미한다. 여기서 스마트 단말(200)은 사용자의 휴대용 단말기일 수 있다. 도 3에서는 스마트 단말(220)이 휴대용 단말기의 일종인 스마트폰(smart phone)으로 도시되었지만, 본 발명의 사상은 이에 제한되지 아니하며, 상술한 바와 같이 단말 애플리케이션을 탑재할 수 있는 단말에 대해서 제한 없이 차용될 수 있다.
이를 더욱 상세히 설명하면, 스마트 단말(220)은 핸드헬드 컴퓨팅 디바이스(예를 들면, PDA, 이메일 클라이언트 등), 퍼스널 컴퓨터(Personal computer), 또는 다른 종류의 컴퓨팅 또는 커뮤니케이션 플랫폼의 임의의 형태를 포함할 수 있으나, 본 발명이 이에 한정되는 것은 아니다.
관리자 단말(300)은 AR콘텐츠를 생성하여 서버(100)로 제공하고, 서버(100)로부터 수신한 상황 정보에 기초하여 생성하는 피드백 정보를 서버(100)로 전달하는 것을 특징으로 한다. 이때, 상황 정보는 실시간 AR 콘텐츠 상황 정보와 AR콘텐츠 보고 정보를 포함하며, 실시간 AR콘텐츠 상황정보는 AR콘텐츠를 실시간으로 이용하는 사용자들을 모니터링한 정보로서, 사용자가 제 1 또는 제 2 조종 인터페이스를 조작함에 따르는 조종 정보가 적용된 AR콘텐츠의 로그 데이터를 뜻하는 것이고, AR콘텐츠 보고 정보는 사용자가 특정 AR콘텐츠의 이용을 마치거나 기 설정된 시간이 지난 후 생성되는 것으로서, 사용자가 AR 콘텐츠를 이용한 최종 결과값에 관한 정보일 수 있다.
이때, 피드백 정보란 상황 정보에 기초하여 상기 AR콘텐츠 관리 인터페이스를 이용하여 생성하고, 관리자 단말(300)이 AR콘텐츠를 관리하기 위한 정보가 될 수 있다.
관리자 단말(300)도 스마트 단말(220)과 마찬가지로 유무선 통신 환경에서 단말 애플리케이션을 이용할 수 있는 통신 단말기를 의미한다. 도 3에서는 관리자 단말(300)이 퍼스널 컴퓨터(personal computer)으로 도시되었지만, 본 발명의 사상은 이에 제한되지 아니하며, 상술한 바와 같이 단말 애플리케이션을 탑재할 수 있는 단말에 대해서 제한 없이 차용될 수 있다.
한편, 통신망은 서버(100) 타 장치들을 연결하는 역할을 수행한다. 즉, 통신망은 본 발명을 이루기 위한 장치들이 서버(100)에 접속한 후 데이터를 송수신할 수 있도록 접속 경로를 제공하는 통신망을 의미한다. 통신망은 예컨대 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
생체정보인식센서(230)는 사용자의 신체에 장착되어 실시간 혹은 기 설정된 시간에 사용자의 생체정보를 측정하여 서버(100)로 제공하는 장치를 뜻할 수 있다. 예컨대, 심박측정기, 홍채인식기 등이 생체정보인식센서(330)에 포함될 수 있다.
이때, 생체정보인식센서(330)를 기기 식별자를 고유식별자에 등록되면, 생체정보인식센서(330)를 추가로 연동하게 되는 것이다.
도 4는 본 발명의 일 실시예에 따른, 서버(100)의 구성을 나타낸 도면이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 서버(100)는 통신 모듈(110), 메모리(120), 프로세서(130) 및 데이터베이스(140)를 포함한다.
상세히, 통신 모듈(110)은 통신망과 연동하여 서버(100) 와 타 장치들 간의 송수신 신호를 패킷 데이터 형태로 제공하는 데 필요한 통신 인터페이스를 제공한다. 나아가, 통신 모듈(110)은 타 장치들로부터 데이터 요청을 수신하고, 이에 대한 응답으로서 데이터를 송신하는 역할을 수행할 수 있다.
여기서, 통신 모듈(110)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.
메모리(120)는 스마트 단말을 이용한 AR HMD의 통합 인터페이스를 구축하는 방법을 수행하기 위한 프로그램이 기록된다.
또한, 프로세서(130)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 여기서, 메모리(120)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
프로세서(130)는 일종의 중앙처리장치로서 스마트 단말을 이용한 AR HMD의 통합 인터페이스를 구축하는 전체 과정을 제어한다. 프로세서(130)가 수행하는 각 단계에 대해서는 도 5를 참조하여 후술하기로 한다.
여기서, 프로세서(130)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
데이터베이스(140)는 스마트 단말을 이용한 AR HMD의 통합 인터페이스를 구축하기 위한 정보인 고유식별정보, AR콘텐츠, 각종 정보 교환에 따른 로그(log) 등이 저장될 수 있다.
비록 도 4에는 도시하지 아니하였으나, 고유식별정보, AR콘텐츠, 각종 정보 교환에 따른 로그(log) 중 일부는 데이터베이스(140)와 물리적 또는 개념적으로 분리된 데이터베이스(미도시)에 저장될 수 있다.
도 5는 본 발명의 일 실시예에 따른, AR HMD(210)의 통합 인터페이스를 구축하는 방법을 나타낸 동작 흐름도이다.
도 5를 참조하여, 서버(100)에 의해 수행되는 AR HMD(210)의 통합 인터페이스를 구축하는 방법은 먼저, 서버(100)에 접속한 AR HMD(210) 및 스마트 단말(220)을 포함하는 장치들의 연동을 수행한다(S410).
단계(S410) 이전에, 서버(100)는 관리자 단말(300)로부터 AR콘텐츠를 수신할 수 있다. 이는 관리자 단말(300)이 AR콘텐츠를 생성한 주체인 경우 가능하지만, 경우에 따라 AR HMD(210)의 통합 인터페이스를 구축하는 시스템(1)에 포함되지 않은 단말로부터 생성된 AR콘텐츠를 관리자 단말(300)을 통해 서버(100)에 업로드하거나, 관리 받을 수도 있다.
따라서, 관리자 단말(300)로부터 기 저장된 AR콘텐츠를 업데이트 하기 위한 업데이트 데이터를 더 수신할 수 있으며, 서버(100)가 업데이트 데이터를 수신하게 된다면, 이를 AR콘텐츠에 적용하게 되는 것이다.
단계(S410)에서 AR HMD(210)과 스마트 단말(220)를 포함한 각종 장치들은 앞서 서술한 바와 같이 고유식별자를 통해 연동되고, 연동 작업에서 사용되는 고유식별자는 사용자가 본 서비스를 이용하기 이전에 서버(100)에 기 등록하여야 한다.
그 외에도 고유식별자에 스마트 단말(220)의 기기 식별자만을 등록되는 경우, AR HMD(210)를 스마트 단말(220)에 직접 연동하여 서버(100)로 접속할 수도 있다.
추가 실시예로, 별도의 고유식별자를 생성하지 않으면 서버(100)에 접속한 AR HMD(210)와 스마트 단말(220)의 기기 식별자를 사용자가 직접 확인하며, 연동작업을 수행하여 사용할 수도 있다.
AR HMD(210) 및 스마트 단말(220)로 AR콘텐츠와 그를 조종하기 위한 조종 인터페이스를 제공한다(S420).
이때, 제공되는 조종 인터페이스는 제 1 조종 인터페이스와 제 2 조종 인터페이스로 구성될 수 있다.
제 1 조종 인터페이스는 AR콘텐츠에 포함되어 AR HMD(210)로 제공되어 AR콘텐츠를 조작하기 위한 제 1 조종 정보를 생성하고, 제 2 조종 인터페이스는 AR콘텐츠의 외부옵션을 설정하기 위한 것으로 스마트 단말(220)에 제공되어 제 2 조종 정보를 생성한다.
조종 인터페이스를 더 사세하게 설명하면, 제 1 조종 인터페이스는 사용자가 AR콘텐츠를 이용하기 위해, AR콘텐츠의 위치나 시점 조작, AR콘텐츠 내부의 부가 서비스 수락, 콘텐츠 조종 명령 중 적어도 하나 이상을 포함하는 인터페이스이다.
따라서, 제 1 조종 인터페이스는 AR콘텐츠의 구현 방법이나 AR HMD(210)가 보유한 조작 대응할 수 있도록 다양한 방식으로 구현될 수 있다. 즉, 제 1 조종 인터페이스의 구현 방식이나 조작 방식이 본 발명의 범위를 제한하지 않는다.
제 2 조종 인터페이스의 경우 AR콘텐츠의 종류, 음량, 언어, 조작방식, 인터페이스의 외형 중 적어도 하나 이상을 선택하여 설정할 수 있는 인터페이스를 뜻하며, 후술할 도 6을 통해 상세하게 설명하도록 한다.
AR HMD(210) 및 스마트 단말(220)로부터 조종 정보를 수신하고, 그를 AR콘텐츠에 적용한다(S430).
단계(S420)에서 서버(100)가 AR HMD(210) 및 스마트 단말(220)로 제공한 조종 인터페이스를 통해 조종 정보를 수신하고, 수신된 조종 정보를 AR콘텐츠에 적용하여 사용자가 자신이 콘텐츠를 이용하고 있음을 체감시킬 수 있다.
만약, 단계(S410)에서 생체정보인식센서(230)가 추가로 연동되는 경우, 사용자의 생체정보를 추가로 수신할 수 있다.
이때, 생체정보는 사용자로부터 실시간으로 측정하여 생성된 정보를 뜻하며, 대표적으로 심박정보, 사람이 눈을 감고 뜨는지, 숨쉬기 등이 될 수도 있다.
생체정보를 수신한 서버(100)는 기 설정된 알고리즘에 따라 AR콘텐츠에 적용하게 되는데, 예시적으로 제시할 수 있는 알고리즘은 맥박속도에 기초하여 AR콘텐츠의 재생속도를 조절하는 기능, 사용자가 눈을 기 설정된 시간 동안 감으면 AR콘텐츠의 재생을 일시 정지하는 기능 중 적어도 하나가 포함될 수 있다.
생체정보인식센서(230) 이외에도 다양한 디바이스 장치가 추가 실시예로 연동되어 사용될 수 있으며, 카메라나 음향감지기기, 진동기기 등이 포함되어 사용될 수 있다.
사용자가 이용중인 AR콘텐츠에 기초하여 상황 정보를 산출하고, 해당 정보를 관리자 단말(300)로 전달한다(S440).
단계(S440)에서 산출하는 상황 정보는 두 가지 종류가 있으며, 앞서 설명한 바와 같이 사용자가 AR콘텐츠를 실시간으로 이용하면서 생성되는 실시간 AR콘텐츠 상황 정보와 기 설정된 시간 혹은 AR콘텐츠가 종료된 이후 생성되는 AR콘텐츠 보고 정보로 구성될 수 있다.
마지막으로 관리자 단말(300)로부터 상황 정보에 대한 피드백 정보를 수신한다(S450).
단계(S440)에서 서버(100)는 상황 정보와 함께 AR콘텐츠를 관리하기 위한 AR콘텐츠 관리 인터페이스를 관리자 단말(300)로 전달하게 된다.
이때, 피드백 정보는 관리자 단말(300)이 AR콘텐츠를 관리하기 위한 정보로서, 상황 정보에 기초하여 AR콘텐츠 관리 인터페이스를 통해 생성하게 된다.
피드백 정보를 수신한 서버(100)는 피드백 정보를 적용하여, AR콘텐츠를 변화시키게 된다.
도 6은 본 발명의 일 실시예에 따른, 스마트 단말(220)로 제공되는 제 2 조종 인터페이스의 예시를 나타낸 도면이다.
도 6을 참조하면, 제 2 조종 인터페이스는 AR콘텐츠의 종류선택 메뉴(221), 옵션 선택 메뉴(222), 콘텐츠 시작 명령 메뉴(223) 및 수락 메뉴(224)를 확인할 수 있다.
이때, AR콘텐츠의 종류에 따라 다양한 형태와 더 많은 종류의 옵션이 추가될 수 있기에 도 6에 도시된 인터페이스의 형태나 기능이 본 발명의 범위를 제한하지는 않는다.
사용자는 종류 선택 메뉴(221)를 통해 자신이 조작하고자 하는 AR콘텐츠를 선택할 수 있다. 그 밖에도 진행시간을 표시할 수 있는 프로그래스바나 명령 입력란이 종류 선택 메뉴(221)로서 제공될 수도 있다.
옵션 선택 메뉴(222)는 0~10까지의 표시되어 사용자가 원하는 값을 터치 방식으로 선택할 수 있는 수직바의 형태로 제공된다. 이를 통해, 사용자는 AR콘텐츠의 재생속도나 음향의 크기 등을 조절할 수 있게 되는 것이다.
콘텐츠 시작 명령 메뉴(223)는 유저가 AR콘텐츠를 사용할 준비가 되었을 경우, 해당 버튼을 터치하여 입력하여 AR콘텐츠의 가동을 시작하게 만들 수 있다.
수락 메뉴(224)는 AR콘텐츠를 이용 중인 사용자가 AR콘텐츠 내에 포함되어 있는 미션을 수락하기 위해 사용하는 메뉴가 될 수 있다.
도 7은 본 발명의 일 실시예에 따른, 관리자 단말(300)로 제공되는 AR콘텐츠 관리 인터페이스의 예시를 나타낸 도면이다.
도 7을 참조하면, AR콘텐츠 관리 인터페이스는 필드값 입력란(301), 제 1 디스플레이(302), 제 2 디스플레이(303) 및 컨트롤 버튼(304)을 확인할 수 있다.
도면 상에 도시되어 있는 인터페이스 또한, 도 6에 도시되어 있는 제 2 조종 인터페이스와 마찬가지로 AR콘텐츠의 종류에 따라 다양한 형태와 더 많은 종류의 옵션이 추가될 수 있기에 도 7에 도시된 인터페이스의 형태나 기능이 본 발명의 범위를 제한하지는 않는다.
필드값 입력란(301)은 관리자가 AR콘텐츠에 대한 데이터를 입력할 수 있는 인터페이스이다. 예컨대, 도 8을 통해 예시로 제시할 XML과 같은 데이터를 입력할 수 있다.
제 1 디스플레이(302)는 AR콘텐츠의 로그 데이터를 확인하기 위한 디스플레이 형식의 인터페이스로 사용자가 AR콘텐츠를 실시간으로 이용하면서 생성되는 실시간 AR콘텐츠 상황 정보가 여기에 표시될 수 있다.
제 2 디스플레이(303)는 사용자가 AR콘텐츠를 이용한 최종 결과값을 확인하기 위한 디스플레이 형식의 인터페이스로, AR콘텐츠가 종료된 이후 생성되는 AR콘텐츠 보고 정보가 여기에 표시될 수 있다.
이때, 제 1 디스플레이(302) 및 제 2 디스플레이(303)를 통해 확인한 정보에 대한 피드백 정보를 서버(100)로 전달하면, 서버(100)는 이를 타이머에 기록하여 XML log파일로 데이터베이스(140)에 저장하게 되는 것이다.
컨트롤 버튼(304)은 AR콘텐츠를 조작하기 위한 인터페이스로, 필드값 입력란(301)과 더불어 관리자가 직접 AR콘텐츠를 조작할 수 있는 인터페이스가 될 수 있다.
도 8은 본 발명의 일 실시예에 따른, AR콘텐츠 관리 인터페이스의 필드값 입력란(301)에 삽입될 수 있는 XML의 예시를 나타낸 도면이다.
도 8을 참조하면, 자바(java) 기반의 언어로 개발된, 소스코드를 확인할 수 있다.
이는, AR 콘텐츠의 인터페이스를 디스플레이해주고, 암호화 알고리즘을 적용하여 외부로부터 콘텐츠 변경을 차단하는 프로그래밍 구조를 가질 수 있게 되는 것이다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
1: 스마트 단말을 이용한 AR HMD의 통합 인터페이스를 구축하는 시스템
100: 서버
210: AR HMD 220: 스마트 단말
230: 생체정보인식센서
300: 관리자 단말

Claims (18)

  1. 서버에 의해 수행되는 스마트 단말을 이용한 AR HMD의 통합 인터페이스를 구축하는 방법에 있어서,
    (a) AR HMD와 스마트단말을 기 등록된 고유식별자에 기초하여 연동시키고, 상기 AR HMD에 AR콘텐츠를 제공하되, 상기 고유식별자에 생체정보인식센서의 기기 식별자가 등록되면, 상기 생체정보인식센서를 추가로 연동하여 사용자의 생체정보를 수신하는 단계;
    (b) 상기 AR HMD와 스마트단말로 조종 정보를 수신하기 위한 조종 인터페이스를 제공하는 단계;
    (c) 상기 AR HMD와 스마트단말로부터 조종 정보를 수신하고, 상기 조종 정보를 상기 AR콘텐츠에 적용하는 단계;
    (d) 사용자가 이용중인 상기 AR콘텐츠의 상태에 기초하여 상황 정보를 산출하고, 상기 상황 정보와 함께 상기 AR콘텐츠를 관리하기 위한 AR콘텐츠 관리 인터페이스를 관리자 단말로 전달하는 단계; 및
    (e) 상기 관리자 단말로부터 피드백 정보를 수신하면, 상기 피드백 정보에 기초하여 상기 AR콘텐츠를 변화시키는 단계;
    를 포함하되,
    상기 고유식별자는 상기 AR콘텐츠를 이용하는 사용자가 보유한 장치의 연동을 위해 기 생성된 식별자이며,
    상기 (c) 단계는
    상기 생체정보인식센서가 사용자로부터 실시간으로 측정한 생체정보를 더 수신하고, 기 설정된 알고리즘에 따라 상기 AR콘텐츠에 적용하여, 상기 생체정보에 포함된 맥박속도를 통해 상기 AR콘텐츠의 재생속도를 조절하고,
    상기 조종 인터페이스는 제 1 조종 인터페이스와 제 2 조종 인터페이스로 구성되며,
    상기 조종 정보는 상기 AR콘텐츠를 사용자가 직접 이용하며 생성하는 제 1 조종 정보 및 상기 AR콘텐츠의 외부환경을 조작하기 위해 생성되는 제 2 조종 정보로 구성되고,
    상기 제 1 조종 인터페이스는 상기 AR콘텐츠에 포함되어 상기 AR콘텐츠를 조작하기 위한 제 1 조종 정보를 생성되어 상기 AR HMD로 제공되고, 상기 제 2 조종 인터페이스는 상기 AR콘텐츠의 외부옵션을 설정하기 위한 제 2 조종 정보를 생성하고, 상기 스마트단말로 제공되고,
    상기 상황 정보는 실시간 AR콘텐츠 상황 정보와 AR콘텐츠 보고 정보를 포함하며, 상기 실시간 AR콘텐츠 상황 정보는 상기 AR콘텐츠를 실시간으로 이용하는 사용자들을 모니터링한 정보로서 사용자가 상기 제 1 또는 제 2 조종 인터페이스를 조작함에 따르는 상기 조종 정보가 적용된 상기 AR콘텐츠의 로그 데이터를 뜻하고, 상기 AR콘텐츠 보고 정보는 사용자가 특정 AR콘텐츠의 이용을 마치거나 기 설정된 시간이 지난 후 생성되는 것으로서 사용자가 상기 AR콘텐츠를 이용한 최종 결과값에 관한 정보이며,
    상기 AR콘텐츠 상황 정보 및 AR콘텐츠 보고 정보가 상기 AR콘텐츠 관리 인터페이스 내의 구분된 디스플레이 영역에 표시됨에 따라, 상기 관리자 단말이 생성하는 피드백 정보를 수신하되, 상기 피드백 정보는 상기 상황 정보에 기초하여 상기 관리자 단말이 상기 AR콘텐츠를 관리하기 위한 정보를 뜻하고, 상기 AR콘텐츠 관리 인터페이스는 관리자가 단말이 상기 AR콘텐츠를 조작할 수 있도록 하는 인터페이스를 포함하는 것인, 스마트 단말을 이용한 AR HMD의 통합 인터페이스를 구축하는 방법.
  2. 제 1 항에 있어서,
    상기 (a) 단계 이전에
    상기 관리자 단말로부터 AR콘텐츠를 수신하는 단계;를 포함하는 것인, 스마트 단말을 이용한 AR HMD의 통합 인터페이스를 구축하는 방법.
  3. 제 2 항에 있어서,
    상기 관리자 단말로부터 기 저정된 상기 AR콘텐츠를 업데이트하기 위한 업데이트 데이터를 수신하고, 상기 업데이트 데이터 상기 AR콘텐츠에 적용하는 것인, 스마트 단말을 이용한 AR HMD의 통합 인터페이스를 구축하는 방법.
  4. 제 1 항에 있어서,
    상기 (a) 단계는
    상기 고유식별자가 포함하는 기기 식별자와 상기 AR HMD 및 스마트단말의 고유한 기기 식별자를 비교하고, 비교 결과에 기초하여 연동을 수행하는 것인, 스마트 단말을 이용한 AR HMD의 통합 인터페이스를 구축하는 방법.
  5. 제 4 항에 있어서,
    상기 고유식별자에 상기 스마트단말의 기기 식별자만 등록되면, 상기 AR HMD를 상기 스마트 단말에 직접 연동하는 것인, 스마트 단말을 이용한 AR HMD의 통합 인터페이스를 구축하는 방법.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 제 1 항에 있어서,
    상기 제 1 조종 인터페이스는 사용자가 상기 AR콘텐츠를 이용하기 위해 위치나 시점 조작, 부가 서비스 수락, 콘텐츠 조종 명령 중 적어도 하나 이상을 포함하는 AR콘텐츠를 이용하기 위한 조작 인터페이스를 포함하는 것인, 스마트 단말을 이용한 AR HMD의 통합 인터페이스를 구축하는 방법.
  11. 제 1 항에 있어서,
    상기 제 2 조종 인터페이스는 상기 AR콘텐츠의 종류, 음량, 언어, 조작방식, 인터페이스 외형 중 적어도 하나 이상을 선택하여 설정할 수 있는 인터페이스를 제공하는 것인, 스마트 단말을 이용한 AR HMD의 통합 인터페이스를 구축하는 방법.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 스마트 단말을 이용한 AR HMD의 통합 인터페이스를 구축하는 시스템에 있어서,
    AR콘텐츠를 생성하여 서버로 제공하고, 상기 서버로부터 수신한 상황 정보에 기초하여 생성하는 피드백 정보를 상기 서버로 전달하는 관리자 단말;
    상기 서버로부터 상기 AR콘텐츠와 제 1 조종 인터페이스를 수신하여 사용자에게 제공하는 AR HMD;
    상기 AR HMD와 연동하여 상기 서버로부터 수신된 제 2 조종 인터페이스를 통해 상기 AR콘텐츠를 조작하기 위한 스마트단말; 및
    상기 AR HMD과 스마트단말을 기 등록된 고유식별자에 기초하여 연동시키고, 상기 관리자 단말로부터 수신한 AR콘텐츠를 상기 AR HMD로 제공하고, 상기 AR HMD와 스마트단말로 조종 정보를 수신하기 위한 조종 인터페이스를 제공 및 사용자가 이용중인 상기 AR콘텐츠의 상태에 기초하여 상황 정보를 산출 후 상기 상황 정보와 함께 상기 AR콘텐츠를 관리하기 위한 AR콘텐츠 관리 인터페이스를 상기 관리자 단말로 전달하고, 상기 관리자 단말로부터 수신한 피드백 정보에 기초하여 상기 AR콘텐츠를 변화시키는 상기 서버;를 포함하되
    상기 고유식별자는 상기 AR콘텐츠를 이용하는 사용자가 보유한 장치의 연동을 위해 기 생성된 식별자이며, 상기 조종 인터페이스는 제 1 조종 인터페이스와 제 2 조종 인터페이스로 구성되며, 상기 조종 정보는 상기 AR콘텐츠를 사용자가 직접 이용하기 위해 생성하는 제 1 조종 정보 및 상기 AR콘텐츠의 외부환경을 조작하기 위해 생성되는 제 2 조종 정보로 구성되고, 상기 제 1 조종 인터페이스는 상기 AR콘텐츠에 포함되어 상기 AR콘텐츠를 조작하기 위한 제 1 조종 정보를 생성되어 상기 AR HMD로 제공되고, 상기 제 2 조종 인터페이스는 상기 AR콘텐츠의 외부옵션을 설정하기 위한 제 2 조종 정보를 생성하고, 상기 스마트단말로 제공되고,
    상기 서버는 고유식별자에 생체정보인식센서의 기기 식별자가 등록되면, 상기 생체정보인식센서를 추가로 연동하여 사용자의 생체정보를 수신하며, 기 설정된 알고리즘에 따라 상기 생체정보를 상기 AR콘텐츠에 적용하여, 상기 생체정보에 포함된 맥박속도를 통해 상기 AR콘텐츠의 재생 속도를 조절하고,
    상기 상황 정보는 실시간 AR콘텐츠 상황 정보와 AR콘텐츠 보고 정보를 포함하며, 상기 실시간 AR콘텐츠 상황 정보는 상기 AR콘텐츠를 실시간으로 이용하는 사용자들을 모니터링한 정보로서 사용자가 상기 제 1 또는 제 2 조종 인터페이스를 조작함에 따르는 상기 조종 정보가 적용된 상기 AR콘텐츠의 로그 데이터를 뜻하고, 상기 AR콘텐츠 보고 정보는 사용자가 특정 AR콘텐츠의 이용을 마치거나 기 설정된 시간이 지난 후 생성되는 것으로서 사용자가 상기 AR콘텐츠를 이용한 최종 결과값에 관한 정보이며,
    상기 서버는 상기 AR콘텐츠 상황 정보 및 AR콘텐츠 보고 정보가 상기 AR콘텐츠 관리 인터페이스 내의 구분된 디스플레이 영역에 표시됨에 따라, 상기 관리자 단말이 생성하는 피드백 정보를 수신하되, 상기 피드백 정보는 상기 상황 정보에 기초하여 상기 관리자 단말이 상기 AR콘텐츠를 관리하기 위한 정보를 뜻하고, 상기 AR콘텐츠 관리 인터페이스는 관리자가 단말이 상기 AR콘텐츠를 조작할 수 있도록 하는 인터페이스를 포함하는 것인, 스마트 단말을 이용한 AR HMD의 통합 인터페이스를 구축하는 시스템.
KR1020180131554A 2018-10-31 2018-10-31 스마트 단말을 이용한 ar hmd의 통합 인터페이스를 구축하는 장치 및 방법 KR102073940B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180131554A KR102073940B1 (ko) 2018-10-31 2018-10-31 스마트 단말을 이용한 ar hmd의 통합 인터페이스를 구축하는 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180131554A KR102073940B1 (ko) 2018-10-31 2018-10-31 스마트 단말을 이용한 ar hmd의 통합 인터페이스를 구축하는 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102073940B1 true KR102073940B1 (ko) 2020-02-05

Family

ID=69514718

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180131554A KR102073940B1 (ko) 2018-10-31 2018-10-31 스마트 단말을 이용한 ar hmd의 통합 인터페이스를 구축하는 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102073940B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005141393A (ja) * 2003-11-05 2005-06-02 Nippon Telegr & Teleph Corp <Ntt> コンテンツ提供方法及びそのシステム並びにそのコンピュータプログラム及びコンピュータ読み取り可能な情報記録媒体
KR20130015560A (ko) * 2011-08-04 2013-02-14 주식회사 포키비언 서비스 대응 사용자 인터페이스 제공 시스템 및 방법
JP2018005892A (ja) * 2016-06-23 2018-01-11 株式会社ガイア・システム・ソリューション エンゲージメント値処理システム及びエンゲージメント値処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005141393A (ja) * 2003-11-05 2005-06-02 Nippon Telegr & Teleph Corp <Ntt> コンテンツ提供方法及びそのシステム並びにそのコンピュータプログラム及びコンピュータ読み取り可能な情報記録媒体
KR20130015560A (ko) * 2011-08-04 2013-02-14 주식회사 포키비언 서비스 대응 사용자 인터페이스 제공 시스템 및 방법
JP2018005892A (ja) * 2016-06-23 2018-01-11 株式会社ガイア・システム・ソリューション エンゲージメント値処理システム及びエンゲージメント値処理装置

Similar Documents

Publication Publication Date Title
US20220021734A1 (en) Systems and methods for synchronizing content and information on multiple computing devices
JP4151728B2 (ja) データ更新システム、データ更新方法、およびデータ更新プログラム、ならびにロボットシステム
JP6438940B2 (ja) シングルサインオンのためのウェブベースインターフェース統合
US9485607B2 (en) Enhancing the security of short-range communication in connection with an access control device
WO2020010816A1 (zh) 个人主页的展示方法及装置、终端设备及存储介质
CN109691057A (zh) 经由私人内容分发网络可交换地取回敏感内容
CN105917627A (zh) 云服务定制执行环境
CN105900396A (zh) 移动云服务体系架构
US20140201256A1 (en) Appliance control system and method
WO2019201287A1 (zh) 多联机空调系统的集控方法、系统及计算机可读存储介质
EP2869151B1 (en) Industrial equipment management system, industrial equipment management server, industrial equipment management method, program, and information storage medium
JP2005049993A (ja) 会議システムおよびその制御方法
JP2011040045A (ja) コンピュータ装置間での動的なコンテンツ・プレファレンス及び動作の共有
US10972462B2 (en) Electronic account recovery through account connections
KR20190118939A (ko) Mr 지원 망원경 장치, 방법 및 이를 이용한 mr 지원 망원경 운영 시스템 및 방법
KR101874075B1 (ko) 스마트 도어락 해제 방법 및 애플리케이션
US20030140101A1 (en) Visualization processing system, visualization processing method, and visualization processing program product
US10572231B1 (en) Component grouping for application development
KR102073940B1 (ko) 스마트 단말을 이용한 ar hmd의 통합 인터페이스를 구축하는 장치 및 방법
JP2002120184A (ja) ネットワーク上のロボット動作制御システム
JP6257040B2 (ja) カラオケシステム、携帯型情報処理装置及びプログラム
CN110532324A (zh) 基于区块链的公告信息展示方法、装置、设备及存储介质
CN105847669B (zh) 通信设备、通信系统及其控制方法
JP6564484B1 (ja) 同室感コミュニケーションシステム
JP6839771B2 (ja) 補正パターン分析による映像補正方法およびシステム

Legal Events

Date Code Title Description
AMND Amendment
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant