KR101609064B1 - Interactive guide using augmented reality - Google Patents
Interactive guide using augmented reality Download PDFInfo
- Publication number
- KR101609064B1 KR101609064B1 KR1020140121971A KR20140121971A KR101609064B1 KR 101609064 B1 KR101609064 B1 KR 101609064B1 KR 1020140121971 A KR1020140121971 A KR 1020140121971A KR 20140121971 A KR20140121971 A KR 20140121971A KR 101609064 B1 KR101609064 B1 KR 101609064B1
- Authority
- KR
- South Korea
- Prior art keywords
- wearable glass
- program
- glass device
- interlocking device
- wearable
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
실시예에 따른 웨어러블 글라스 장치의 동작 방법은, 연동 기기로부터 상기 연동 기기에 관한 정보를 수신하는 단계; 상기 연동 기기에 관한 정보를 이용하여 상기 연동 기기에 관한 설명 프로그램을 수신하는 단계; 상기 웨어러블 글라스 장치의 착용자의 입력에 따라 상기 연동 기기에 관한 설명 프로그램을 실행하는 단계; 및 상기 설명 프로그램에 따른 증강 현실 영상을 상기 웨어러블 글라스 장치의 글라스에 표시되는 영상에 동기화하여 표시하는 단계를 포함할 수 있다.A method of operating a wearable glass device according to an embodiment includes the steps of: receiving information on the interlocking device from an interlocking device; Receiving a description program for the interlocking device using information on the interlocking device; Executing a description program for the interlocking device in accordance with an input of a wearer of the wearable glass device; And displaying the augmented reality image according to the program described above in synchronization with the image displayed on the glass of the wearable glass device.
Description
아래의 설명은 설명서 기술에 관한 것으로, 증감 현실을 통하여 설명서를 제공하는 방법에 관한 것이다.The following description relates to the description of the manual, and how to provide the description through the incremental reality.
전자 기기의 경우 다양하고 편리한 기능을 제공하지만, 기능의 복잡성으로 인하여 유저가 활용을 제대로 못하고 있다는 단점이 있다. 일례로, 초기 TV 리모컨에서 제공하는 부분만이 현재 제공되는 리모컨에서 대부분 사용하고 있는 현상을 초래한다. 초기 리모컨의 기능은 현재 상단부에 위치하고 있으며, 부가 기능은 하단부에 위치하고 있다. 상단부는 대부분의 사용자가 직관적으로 이해하고 사용할 수 있으나 하단부의 신규 기능의 경우 일부 사용자를 제외하고는 용도 자체를 모르는 경우가 많다.Although electronic devices provide various convenient functions, they have a drawback in that users are not able to utilize them due to complexity of functions. For example, only the portion provided by the initial TV remote control causes the phenomenon that is mostly used in the currently provided remote control. The function of the initial remote control is located at the upper end, and the additional function is located at the lower end. Most users can understand and use the upper part intuitively, but in the case of the new function at the lower part, many users do not know the purpose except for some users.
현재 대부분의 설명서는 나열식으로 기술된 형태로 제공된다. 일반적으로 사용자가 기능을 이해하기 위해서는 나열된 설명들을 학습하여야 한다. 이에 따라 현재 일부 시스템에서는 전자 설명서를 제공하고 있으며, 사용 동영상 등을 추가하여 보다 직관적으로 쉬운 형태를 취하고 있지만 사용자에게 많은 이점은 주지 못한다. 이에 따라 스마트 글래스 시스템에 설명 프로그램에 따른 증감 현실을 적용하여 직관적인 설명서를 제공함으로써 해당 기능을 쉽게 이해할 수 있는 기술이 제공될 필요가 있다.Currently, most manuals are provided in a form that is described in an array. Generally, users should learn the descriptions listed in order to understand the function. As a result, some systems currently provide electronic manuals, and they are easy to use by adding video clips, etc., but they do not offer many benefits to users. Therefore, it is necessary to provide technology that can easily understand the function by providing the intuitive manual by applying the increasing and decreasing reality according to the descriptive program to the smart glass system.
일 실시예에 따른 웨어러블 글라스 장치는 증감 현실을 이용한 인터랙티브 설명서를 제공할 수 있다.The wearable glass device according to one embodiment can provide an interactive manual using an increase / decrease reality.
일 실시예에 따른 웨어러블 글라스 장치의 동작 방법은, 연동 기기로부터 상기 연동 기기에 관한 정보를 수신하는 단계; 상기 연동 기기에 관한 정보를 이용하여 상기 연동 기기에 관한 설명 프로그램을 수신하는 단계; 상기 웨어러블 글라스 장치의 착용자의 입력에 따라 상기 연동 기기에 관한 설명 프로그램을 실행하는 단계; 및 상기 설명 프로그램에 따른 증강 현실 영상을 상기 웨어러블 글라스 장치의 글라스에 표시되는 영상에 동기화하여 표시할 수 있다.A method of operating a wearable glass device according to an embodiment includes receiving information on the interlocking device from an interlocking device; Receiving a description program for the interlocking device using information on the interlocking device; Executing a description program for the interlocking device in accordance with an input of a wearer of the wearable glass device; And displaying the augmented reality image according to the program described above in synchronization with the image displayed on the glass of the wearable glass device.
일측에 따르면, 웨어러블 글라스 장치의 동작 방법은, 상기 연동 기기에 관한 설명 프로그램이 실행되면, 상기 착용자에 대한 명령을 출력하는 단계; 상기 웨어러블 글라스 장치의 카메라로부터 입력된 화상 데이터를 분석하여 상기 화상 데이터에 상기 명령과 연관된 상기 연동 기기에 대한 영상이 포함되어 있는지 판단하는 단계; 및 상기 화상 데이터에 상기 연동 기기에 대한 영상이 포함되어 있는 경우, 상기 설명 프로그램의 다음 단계를 실행하는 단계를 더 포함할 수 있다.According to one aspect of the present invention, a method of operating a wearable glass device includes the steps of: outputting a command to the wearer when a description program for the interlocking device is executed; Analyzing image data input from a camera of the wearable glass device and determining whether the image data includes an image of the interlocking device associated with the command; And executing the next step of the explanatory program when the image data includes the image of the interlocking device.
또 다른 일측에 따르면, 웨어러블 글라스 장치의 동작 방법은, 가장 최근에 사용한 N개(N은 미리 정해진 자연수)의 연동 기기에 대한 설명 프로그램을 상기 웨어러블 글라스 장치에 유지하고, 나머지 설명 프로그램은 삭제하는 단계를 더 포함할 수 있다.According to another aspect of the present invention, there is provided a method of operating a wearable glass device comprising the steps of: maintaining a description program for the most recently used interlocking device (N is a predetermined natural number) in the wearable glass device; As shown in FIG.
또 다른 일측에 따르면, 상기 연동 기기에 관한 정보를 수신하는 단계는, 상기 연동 기기로부터 상기 연동 기기에 대한 유니크한 식별자를 수신하는 단계를 포함하고, 상기 연동 기기에 관한 정보를 이용하여 상기 연동 기기에 관한 설명 프로그램을 수신하는 단계는, 상기 유니크한 식별자를 미리 정해진 서버로 송신하고, 상기 서버로부터 상기 연동 기기에 관한 설명 프로그램을 다운로드 하는 단계를 포함할 수 있다.According to another aspect, the step of receiving information on the interlocking device includes receiving a unique identifier for the interlocking device from the interlocking device, and using the information on the interlocking device, , The step of receiving the description program may include transmitting the unique identifier to a predetermined server and downloading a description program for the interlocking device from the server.
또 다른 일측에 따르면, 상기 설명 프로그램을 상기 웨어러블 글라스 장치의 글라스에 표시되는 영상에 동기화하여 표시하는 단계는, 상기 웨어러블 글라스 장치의 카메라로부터 획득된 영상 정보에 대응하는 상기 설명 프로그램의 기능을 탐색하는 단계; 및 상기 웨어러블 글라스 장치의 카메라로부터 획득된 영상 정보에 대응하는 상기 기능이 탐색된 경우, 상기 설명 프로그램의 상기 기능을 실행하여 증감현실 데이터를 상기 웨어러블 글라스 장치의 글라스에 표시하는 단계를 포함할 수 있다.According to another aspect of the present invention, the step of displaying the explanatory program in synchronization with the image displayed on the glass of the wearable glass device includes the step of searching for the function of the explanatory program corresponding to the image information acquired from the camera of the wearable glass device step; And displaying the increase / decrease reality data on the glass of the wearable glass device by executing the function of the description program when the function corresponding to the image information obtained from the camera of the wearable glass device is searched .
일 실시예에 따른 웨어러블 글라스 장치의 동작 방법은, 연동 기기와 통신 연결하는 단계; 상기 연동 기기에서 상기 연동 기기와 관련된 설명 프로그램을 실행하는 단계; 상기 연동 기기로부터 상기 설명 프로그램과 연관된 증감 현실 데이터를 수신하는 단계; 및 상기 설명 프로그램과 동기화하여 상기 증감 현실 데이터를 상기 웨어러블 글라스 장치의 디스플레이에 표시하는 단계를 포함할 수 있다.A method of operating a wearable glass device according to an exemplary embodiment of the present invention includes: communicating with an interlocking device; Executing a description program related to the interlocking device in the interlocking device; Receiving increasing and decreasing reality data associated with the program from the interlocking device; And displaying the increase / decrease reality data on the display of the wearable glass device in synchronization with the program described above.
일측에 따르면, 웨어러블 글라스 장치의 동작 방법은, 상기 웨어러블 글라스 장치의 카메라 및 아이트래킹 센서를 이용하여 상기 웨어러블 글라스 장치의 착용자의 상기 연동 기기에 대한 시점을 식별하는 단계; 상기 연동 기기의 기능 중 상기 시점과 연관된 기능의 설명 프로그램을 상기 연동 기기에서 재생하는 단계; 및 상기 설명 프로그램과 동기화하여 상기 시점과 연관된 기능의 증감 현실 데이터를 상기 웨어러블 글라스 장치의 디스플레이에 표시하는 단계를 포함할 수 있다.According to an aspect of the present invention, a method of operating a wearable glass device includes the steps of: identifying a viewpoint of the wearer of the wearable glass device with respect to the interlocking device using a camera of the wearable glass device and an eye tracking sensor; Reproducing a description program of a function associated with the time point among the functions of the interlocking device in the interlocking device; And displaying the increasing and decreasing reality data of the function associated with the viewpoint on the display of the wearable glass device in synchronism with the explanatory program.
일 실시예에 따른 웨어러블 글라스 장치의 동작 방법은, 자동차의 통신 모듈과 통신 연결하는 단계; 상기 자동차의 통신 모듈로부터 상기 자동차의 기종에 관한 기종 정보를 수신하는 단계; 상기 자동차의 기종 정보를 이용하여 설명 프로그램 서버로부터 상기 자동차의 기종에 대응하는 설명 프로그램을 수신하는 단계; 및 상기 설명 프로그램을 실행하는 단계를 포함할 수 있다.A method of operating a wearable glass device according to an embodiment includes: communicating with a communication module of an automobile; Receiving model information on a model of the automobile from a communication module of the automobile; Receiving a description program corresponding to the model of the automobile from the description program server using the model information of the automobile; And executing the program described above.
일 측에 따르면, 상기 설명 프로그램을 실행하는 단계는, 상기 웨어러블 글라스 장치의 카메라 및 아이트래킹 센서를 이용하여 상기 웨어러블 글라스 장치의 착용자가 바라보는 상기 자동차의 부분을 식별하는 단계; 상기 식별된 자동차의 부분과 연관된 설명 프로그램의 기능을 실행하는 단계를 포함할 수 있다.According to one aspect, the step of executing the demonstration program may include the steps of: identifying a portion of the automobile that the wearer of the wearable glass device looks at using the camera and the eye tracking sensor of the wearable glass device; And executing a function of a description program associated with the identified portion of the automobile.
또 다른 일측에 따르면, 상기 설명 프로그램을 실행하는 단계는, 상기 웨어러블 글라스 장치의 카메라를 이용하여 상기 착용자의 동작을 분석하는 단계; 및 상기 분석된 착용자의 동작에 대응하는 설명 프로그램의 기능을 시행하는 단계를 포함할 수 있다.According to another aspect of the present invention, the step of executing the demonstration program includes the steps of analyzing the operation of the wearer using the camera of the wearable glass device; And executing a function of a description program corresponding to the analyzed operation of the wearer.
또 다른 일측에 따르면, 상기 자동차에서 제2 설명 프로그램을 실행시키는 단계; 및 상기 제2 설명 프로그램과 상기 웨어러블 글라스 장치에서 실행되는 상기 설명 프로그램을 동기화하여 실행하는 단계를 포함할 수 있다.According to another aspect, there is provided a computer program product, comprising: executing a second demonstration program in the automobile; And executing the second program described above and the program described in the wearable glass device in synchronization with each other.
일 실시예에 따른 웨어러블 글라스 장치는 증감 현실을 이용한 인터랙티브 설명서를 제공함으로써 해당 기능을 직관적으로 이해할 수 있도록 제공할 수 있다.The wearable glass device according to one embodiment can provide an interactive manual using an increase / decrease reality so that the function can be intuitively understood.
도 1은 일 실시예에 따른 웨어러블 글라스 장치의 동작을 나타낸 도면이다.
도 2는 일 실시예에 따른 웨어러블 글라스 장치의 구성을 나타낸 도면이다.
도 3은 일 실시예에 따른 웨어러블 글라스 장치의 설명 프로그램을 실행시키는 방법을 나타낸 도면이다.
도 4는 일 실시예에 따른 웨어러블 글라스 장치를 통하여 스마트 폰의 설명 프로그램을 동작시키는 예를 나타낸 도면이다.
도 5는 일 실시예에 따른 웨어러블 글라스 장치의 동작 방법에 있어서, 증감 현실을 이용한 인터랙티브 설명서를 구현한 예이다
도 6은 일 실시예에 따른 웨어러블 글라스 장치의 동작 방법에 있어서, 증감 현실을 이용한 인터랙티브 설명서를 구현한 또 다른 예이다.1 is a view showing an operation of a wearable glass device according to an embodiment.
2 is a view showing a configuration of a wearable glass device according to an embodiment.
3 is a diagram showing a method of executing a description program of a wearable glass device according to an embodiment.
4 is a diagram illustrating an example of operating a description program of a smartphone through a wearable glass device according to an embodiment.
5 is an example of implementing an interactive manual using an increase / decrease reality in an operation method of a wearable glass device according to an embodiment
FIG. 6 is another example of implementing an interactive manual using an increase / decrease reality in a method of operating a wearable glass device according to an embodiment.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
Hereinafter, embodiments will be described in detail with reference to the accompanying drawings.
도 1은 일실시예에 따른 웨어러블 글라스 장치의 동작을 나타내기 위한 도면이다. FIG. 1 is a view for showing an operation of a wearable glass device according to an embodiment.
웨어러블 글라스 장치(111)는 예를 들면, HMD, 스마트 폰, 태블릿 등과 같이 설명 프로그램이 증감 현실로 표현될 수 있는 최소 요구 조건을 충족하는 기기일 수 있다. 연동 기기(130)는 사용자가 구입하였거나 보유하고 있는 기기, 상기 기기에 대하여 기능 학습이 요구되는 기기, 예를 들면, TV, 스마트 폰, 스마트 기기 등의 하드웨어 혹은 내장된 각종 소프트웨어 등이 포함될 수 있다. The
웨어러블 글라스 장치(111)는 연동 기기(130)로부터 연동 기기(130)에 관한 정보를 수신할 수 있다. 웨어러블 글라스 장치(110)는 연동 기기(130)에 관한 정보는 연동 기기(130)로부터 연동 기기(130)에 대한 유니크한 식별자를 수신할 수 있다. 예를 들면, 연동 기기의 제품 번호가 IW123이라면, 웨어러블 글라스 장치는 연동 기기의 기기 제품 IW123을 수신할 수 있다. 이때, 웨어러블 글라스 장치(111)와 연동 기기(130)는 무선 통신망, 예를 들면, NFC, 블루투스와 같은 근거리 무선 통신을 통하여 데이터를 송수신할 수 있다. The
웨어러블 글라스 장치(111)는 연동 기기(130)에 관한 정보를 이용하여 연동 기기(130)에 관한 설명 프로그램을 수신할 수 있다. 이때, 설명 프로그램은 연동 기기(130)로부터 수신할 수 있고, 서버를 통하여 수신할 수 있다. 예를 들면, 유니크한 식별자를 미리 정해진 서버로 송신하고, 서버로부터 연동 기기에 관한 설명 프로그램을 다운로드할 수 있다. The
웨어러블 글라스 장치(111)의 착용자의 입력에 따라 연동 기기(130)에 관한 설명 프로그램을 실행할 수 있다. 이때, 웨어러블 글라스 장치(111)의 카메라 및 아이트래킹 센서를 이용하여 웨어러블 글라스 장치(111)의 착용자의 연동 기기(130)에 대한 시점을 식별하고, 연동 기기의 기능 중 시점과 연관된 기능의 설명 프로그램을 연동 기기(130)에서 재생할 수 있다.It is possible to execute the explanatory program for the
웨어러블 글라스 장치(111)는 연동 기기(130)에 관한 설명 프로그램이 실행되면, 착용자에 대한 명령을 출력할 수 있다. 예를 들면, 웨어러블 장치는 스마트 폰에 관한 설명 프로그램이 실행되면, "스마트 폰의 후면을 보세요."와 같은 명령이 출력될 수 있다. 웨어러블 글라스 장치의 카메라로부터 입력된 화상 데이터를 분석하여 화상 데이터에 명령과 연관된 연동 기기에 대한 영상이 포함되어 있는지 판단할 수 있다. 예를 들면, 스마트 폰 후면이 표시되어 있는지를 판단할 수 있다. 화상 데이터에 연동 기기에 대한 영상이 포함되어 있는 경우, 설명 프로그램의 다음 단계를 실행할 수 있다.The
설명 프로그램에 따른 증강 현실 영상을 웨어러블 글라스 장치(111)의 글라스에 표시되는 영상에 동기화하여 표시할 수 있다. 웨어러블 글라스 장치(111)의 카메라로부터 획득된 영상 정보에 대응하는 설명 프로그램의 기능을 탐색할 수 있다. 웨어러블 글라스 장치(111)의 카메라로부터 획득된 영상 정보에 대응하는 기능이 탐색된 경우, 설명 프로그램의 기능을 실행하여 증감현실 데이터를 웨어러블 글라스 장치의 글라스에 표시할 수 있다. The augmented reality image according to the description program can be displayed in synchronization with the image displayed on the glass of the
일 실시예에 따른 웨어러블 글라스 장치는 실행되고 있는 애플리케이션에 대하여 해당 애플리케이션 설명서를 요청하여 동기화를 실행시킬 수 있다. 또한, 증감 현실을 통해 현재 입력 정보와 동기화되어 사용자는 1:1 학습을 할 수 있다. 예를 들면, 엑셀의 수식 혹은 VBA와 같은 기능들에 대한 학습을 수행할 수 있고, 무선 네트워크를 통하여 실시간으로 전문가와 연결을 가능하게 할 수 있다.The wearable glass device according to an embodiment can request synchronization with an application being executed by requesting a corresponding application instruction. In addition, the user can perform 1: 1 learning by synchronizing with the current input information through the increase / decrease reality. For example, you can learn about Excel functions or functions such as VBA, and enable you to connect with experts in real time via wireless network.
도 2는 일 실시예에 따른 웨어러블 글라스 장치의 구성을 나타낸 도면이다.2 is a view showing a configuration of a wearable glass device according to an embodiment.
웨어러블 글라스 장치(200)는 임베디드 시스템으로 이루어진 장치로서, 디스플레이(210), 처리부(211), 배터리(212), 카메라 모듈(213), 골전도 모듈(214), 스피커(215), 마이크(216), 저장부(217), 수신부(218), 통신부(219) 등을 포함할 수 있다. The
통신부(219) 웨어러블 글라스 장치와 연동 기기를 연결하기 위하여 웨어러블 글라스 장치와 연동 기기 사이에 통신을 가능하게 할 수 있다. 예를 들면, NFC(Near Field Communication), 블루투스와 같은 근거리 무선 통신을 가능하게 할 수 있다. The
수신부(218)는 연동 기기로부터 연동 기기에 관한 정보를 수신할 수 있고, 예를 들면, 연동 기기로부터 연동 기기에 대한 유니크한 식별자를 수신할 수 있다. 수신부(218)는 연동 기기에 관한 정보를 이용하여 연동 기기에 관한 설명 프로그램을 수신할 수 있다. 예를 들면, 유니크한 식별자를 미리 정해진 서버로 송신하고, 서버로부터 연동 기기에 관한 설명 프로그램을 다운로드 할 수 있다. 수신부(218)는 연동 기기로부터 설명 프로그램과 연관된 증감 현실 데이터를 수신할 수 있다. The receiving
처리부(211)는 웨어러블 글라스 장치(200)의 착용자의 입력에 따라 연동 기기에 관한 설명 프로그램을 실행할 수 있다. 처리부(211)는 연동 기기에 관한 설명 프로그램이 실행되면, 착용자에 대한 명령을 출력할 수 있다. 처리부(211)는 웨어러블 글라스 장치의 카메라 모듈(213)로부터 입력된 화상 데이터를 분석하여 화상 데이터에 대한 명령과 연관된 연동 기기에 대한 영상이 포함되어 있는지 판단할 수 있고, 화상 데이터에 연동 기기에 대한 영상이 포함되어 있는 경우, 설명 프로그램의 다음 단계를 실행할 수 있다. The
처리부(211)는 웨어러블 글라스 장치의 카메라 모듈(213) 및 아이트래킹 센서를 이용하여 웨어러블 글라스 장치의 착용자의 연동 기기에 대한 시점을 식별할 수 있다. 처리부(2110)는 연동 기기의 기능 중 시점과 연관된 기능의 설명 프로그램을 연동 기기에서 재생할 수 있다. The
디스플레이(210)는 예를 들면, OLED를 사용한 투과형 디스플레이가 사용될 수 있으며, 설명 프로그램에 따른 증감 현실 영상을 웨어러블 글라스 장치의 글라스에 표시되는 영상에 동기화하여 표시할 수 있다.For example, a transmissive display using an OLED can be used as the
배터리(212)는 예를 들면, 인체 공학적인 보조 배터리 시스템을 사용할 수 있다. 보조 배터리는 솔리드 재질로 구성될 수 있고, 자체적으로 휘어지지는 않으나 본체 시스템과는 경첩 구조로 연결되어 접힐 수 있다.The
골전도 모듈(214)은 음파가 두개골을 진동시켜 내이의 액체에 도달되어 감각기에 전달되는 음의 전도 과정을 이용한 스피커로서, 외부에는 음성이 들리지 않는다.The
스피커(215)는 전기 신호를 진동판의 진동으로 바꾸어 공기에 소밀파를 발생시켜 음파를 복사하는 음향기기로서, 처리부(211)로부터 수행된 결과 및 사용자의 음성을 오디오 데이터로 출력할 수 있다.The
마이크(215)는 음파 또는 초음파를 받아서 그 진동에 따른 전기신호를 발생하는 기기로서, 웨어러블 글라스 장치는 마이크를 통해서 사용자 및 외부의 오디오 데이터를 수신할 수 있다.The
저장부(217)는 가장 최근에 사용한 N개(N은 미리 정해진 자연수)의 연동 기기에 대한 설명 프로그램을 웨어러블 글라스 장치에 유지하고, 나머지 설명 프로그램은 삭제할 수 있다. 예를 들면, 웨어러블 글라스 장치는 연동 기기에 대한 설명 프로그램을 저장하고 있을 수 있으며, 최근 일주일 동안 사용한 연동 기기에 대한 설명 프로그램을 웨어러블 글라스 장치에 저장하고 있을 수 있다. 일정 기준마다 최근에 사용한 설명 프로그램과 사용하지 않은 설명 프로그램을 구분하여 업데이트할 수 있다. The
도 3은 일 실시예에 따른 웨어러블 글라스 장치의 설명 프로그램을 실행시키는 방법을 나타낸 도면이다.3 is a diagram showing a method of executing a description program of a wearable glass device according to an embodiment.
웨어러블 글라스 장치는 연동 기기의 설명 프로그램을 실행시키기 위하여 앱과 같은 프로그램을 실행시킬 수 있다(301). 웨어러블 글라스 장치는 앱이 실행되고 난 후, 대기 상태를 유지할 수 있다(302). 웨어러블 글라스 장치는 연동 기기의 설명이 필요한 경우(303), 웨어러블 글라스 장치는 연동 기기와 연결하기 위하여 무선 통신망을 통하여 자동으로 연결할 수 있고(304), 연동 기기의 설명이 필요하지 않은 경우 대기 상태를 유지할 수 있다(302). 만약 연동 기기가 무선 통신이 불가능한 기기인 경우, 사용자의 입력에 의하여 수동으로 연결될 수 있다.The wearable glass device may execute a program such as an app to execute a description program of the interlocking device (301). The wearable glass device may remain idle 302 after the app is executed. When a description of the interlocking device is required (303), the wearable glass device can automatically connect (304) through the wireless communication network to connect the interlocking device to the interlocking device. If the description of the interlocking device is not necessary, (302). If the interlocking device is a device that is not capable of wireless communication, it can be connected manually by the user's input.
연동 기기는 설명 프로그램을 예를 들면, 설명 앱을 통하여 실행시킬 수 있다(305). 연동 기기는 설명 프로그램을 웨어러블 글라스 장치에 전달할 수 있고(306), 웨어러블 글라스 장치는 디스플레이에 설명 프로그램에 따른 증감 현실 영상을 동기화하여 표시할 수 있다(307). 웨어러블 글라스 장치는 사용자의 입력이 없다면, 웨어러블 글라스 장치의 디스플레이에 설명 프로그램에 따른 증감 현실 영상을 동기화하여 표시할 수 있다. 웨어러블 글라스 장치는 사용자의 입력(308)이 있다면, 사용자 입력에 따른 설명 기능을 전송할 수 있다(309). 연동 기기는 웨어러블 글라스 장치로부터 전송된 설명 기능을 실행시킬 수 있다(311). 이후, 계속 연동 기기에 대한 조작을 하고자 한다면, 연동 기기의 설명 프로그램을 통하여 웨어러블 글라스 장치는 사용자의 입력을 통하여 연동 기기의 기능을 실행시킬 수 있다. The interlocking device can execute the explanatory program, for example, through the explanatory application (305). The interlocking device can transmit the description program to the wearable glass device (306), and the wearable glass device can display the increase / decrease reality image according to the description program on the display in synchronized manner (307). The wearable glass device can display the increase / decrease reality image according to the description program on the display of the wearable glass device in synchronism with the wearer's glass device if there is no input from the user. The wearable glass device may transmit a description function according to the user's input if the user's
예를 들면, 웨어러블 글라스 장치를 착용하고 있는 사용자가 스마트 폰의 기능을 알고 싶다면, 웨어러블 글라스 장치는 스마트 폰의 설명 프로그램을 수신하여 웨어러블 글라스 장치의 디스플레이에 설명 프로그램을 증감 현실로 표시할 수 있다. 이때, 사용자가 스마트 폰의 계정을 생성하고자 한다면, 사용자는 웨어러블 글라스 장치의 설명에 따라 스마트 폰의 계정을 생성할 수 있도록 조작할 수 있다. 계정을 생성한 후, 스마트 폰을 통하여 카메라 기능을 사용하고 싶다면, 사용자는 스마트 폰의 카메라를 응시할 수 있다. 웨어러블 글라스 장치는 웨어러블 글라스 장치의 카메라 및 아이트래킹 센서를 이용하여 웨어러블 글라스 장치의 착용자의 스마트 폰에 대한 시점을 식별할 수 있다. 웨어러블 글라스 장치는 스마트 폰의 기능 중 상기 시점과 연관된 기능 중 카메라에 대한 설명 프로그램을 스마트 폰에서 재생할 수 있다. 설명 프로그램과 동기화하여 시점과 연관된 기능의 증감 현실 데이터를 웨어러블 글라스 장치의 디스플레이에 표시할 수 있다. For example, if the user wearing the wearable glass device desires to know the function of the smartphone, the wearable glass device can receive the description program of the smartphone and display the description program as the increase / decrease reality on the display of the wearable glass device. At this time, if the user wishes to create an account of the smartphone, the user can manipulate the account of the smartphone in accordance with the description of the wearable glass device. After creating an account, if you want to use the camera function via your smartphone, you can take a look at the camera on your smartphone. The wearable glass device can identify the viewpoint of the wearer's smartphone of the wearable glass device using the camera of the wearable glass device and the eye tracking sensor. The wearable glass device can reproduce a description program of the camera among the functions of the smart phone related to the above point of view on the smartphone. It is possible to display the increase / decrease reality data of the function associated with the viewpoint on the display of the wearable glass device in synchronism with the comment program.
도 4는 일 실시예에 따른 웨어러블 글라스 장치를 통하여 스마트 폰의 설명 프로그램을 동작시키는 동작 예를 나타낸 도면이다.4 is a view illustrating an example of an operation of operating a description program of a smartphone through a wearable glass device according to an embodiment.
웨어러블 글라스 장치를 착용하고 있는 착용자가 스마트 폰을 응시하고 있다면, 웨어러블 글라스 장치와 스마트 폰의 통신을 통하여 스마트 폰에 관한 정보를 수신할 수 있다. 이때, 스마트 폰에 관한 정보를 이용하여 스마트 폰에 대한 설명 프로그램을 수신할 수 있다. 웨어러블 글라스 장치의 착용자의 입력에 따라 스마트 폰에 관한 설명 프로그램을 실행할 수 있다. 웨어러블 글라스 장치는 설명 프로그램에 따른 증감 현실 영상을 웨어러블 글라스 장치의 글라스에 표시되는 영상에 동기화하여 표시할 수 있다. If the wearer wearing the wearable glass device is looking at the smartphone, information about the smartphone can be received through communication between the wearable glass device and the smartphone. At this time, a description program for the smartphone can be received using the information about the smartphone. A description program for the smartphone can be executed in accordance with the wearer's input of the wearable glass device. The wearable glass device can display the increase / decrease reality image according to the description program in synchronization with the image displayed on the glass of the wearable glass device.
스마트 폰에 관한 설명 프로그램이 실행되면, 착용자에 대한 명령을 출력할 수 있다. 예를 들면, 웨어러블 글라스 장치는 착용자에게 스마트 폰에 대한 설명을 하기 위하여 "스마트 폰의 후면을 보세요."와 같은 멘트를 출력할 수 있다. 웨어러블 글라스 장치의 카메라로부터 입력된 화상 데이터를 분석하여 화상 데이터에 명령과 연관된 연동 기기에 대한 영상이 포함되어 있는지 판단할 수 있다. 예를 들면, 웨어러블 글라스 장치는 스마트 폰의 후면이 표시되어 있는지 분석할 수 있다. 화상 데이터에 스마트 폰에 대한 영상이 포함되어 있는 경우, 설명 프로그램의 다음 단계를 실행할 수 있다. When a description program for the smart phone is executed, a command for the wearer can be outputted. For example, a wearable glass device may output a message such as "Look on the back of a smartphone " to describe the smartphone to the wearer. It is possible to analyze the image data input from the camera of the wearable glass device and determine whether the image data includes the image of the interlocking device associated with the command. For example, a wearable glass device can analyze whether the back side of a smart phone is displayed. If the image data includes the image for the smartphone, the next step of the description program can be executed.
웨어러블 글라스 웨어러블 글라스 장치의 카메라 및 아이트래킹 센서를 이용하여 웨어러블 글라스 장치의 착용자의 스마트 폰에 대한 시점을 식별할 수 있다. 웨어러블 글라스 장치는 스마트 폰의 기능 중 시점과 연관된 기능의 설명 프로그램을 스마트 폰에서 재생할 수 있다. 웨어러블 글라스 장치는 설명 프로그램과 동기화하여 시점과 연관된 증감 현실 데이터를 웨어러블 글라스 장치의 디스플레이에 표시할 수 있다. The wearable glass wearable glass device camera and the eye tracking sensor can be used to identify the viewpoint of the wearable smartphone of the wearable glass device. The wearable glass device can play a description program of a function associated with a point in time of the function of the smartphone on the smartphone. The wearable glass device can display the increase / decrease reality data associated with the viewpoint on the display of the wearable glass device in synchronization with the description program.
예를 들면, 사용자가 스마트 폰의 전면 외관을 응시하고 있다면, 웨어러블 글라스 장치와 스마트 폰은 통신을 통하여 연결될 수 있다. 스마트 폰은 스마트 폰과 관련된 설명 프로그램을 실행할 수 있다. 웨어러블 글라스 장치는 스마트 폰의 설명 프로그램과 연관된 증감 현실 데이터를 수신할 수 있고, 설명 프로그램과 동기화하여 증감 현실 데이터를 디스플레이에 표시할 수 있다. 웨어러블 글라스 장치는 스마트 폰의 전면 외관에 대하여 볼륨 조절 버튼, 전원 버튼, 터치 디스플레이, 홈 버튼에 대한 설명을 표시할 수 있다.For example, if the user is staring at the front of the smartphone, the wearable glass device and the smartphone can be connected through communication. The smart phone can execute a description program related to the smart phone. The wearable glass device can receive the increase / decrease reality data associated with the description program of the smartphone, and can display the increase / decrease reality data on the display in synchronization with the description program. The wearable glass device can display a description of the volume control button, the power button, the touch display, and the home button on the front surface of the smartphone.
도 5는 일 실시예에 따른 웨어러블 글라스 장치의 동작 방법에 있어서, 증감 현실을 이용한 인터랙티브 설명서를 구현한 예이다.5 is an example of implementing an interactive manual using an increase / decrease reality in an operation method of a wearable glass device according to an embodiment.
웨어러블 글라스 장치를 통하여 스마트 TV에 대한 설명 프로그램을 실행시킴으로써 착용자에게 스마트 TV 사용법을 제공할 수 있다. 웨어러블 글라스 장치는 스마트 TV로부터 스마트 TV에 대한 정보를 수신할 수 있다. 예를 들면, 스마트 TV로부터 스마트 TV를 조작할 수 있는 제어기기(예를 들면, 리모컨)에 관한 정보를 수신할 수 있다. 스마트 TV에 관한 정보를 이용하여 스마트 TV를 조작할 수 있는 제어기기에 관한 설명 프로그램을 수신할 수 있다. By executing a description program for the smart TV through the wearable glass device, it is possible to provide the wearer with a method of using the smart TV. The wearable glass device can receive information on the smart TV from the smart TV. For example, information on a control device (e.g., a remote control) capable of operating a smart TV from a smart TV can be received. A program for explaining a control device capable of operating a smart TV using information on the smart TV can be received.
스마트 TV에서 착용자가 알고자 하는 기능을 선택하면 웨어러블 글라스 장치에 스마트 TV가 증감 현실로 동기화되어 표현될 수 있다. 스마트 TV에 검색어를 입력하고 싶다면, 웨어러블 글라스 장치를 착용하고 있는 착용자는 제어기기를 응시할 수 있다. 웨어러블 글라스 장치의 착용자는 스마트 TV에 검색어를 입력할 수 있는 제어기기의 검색 기능 가능한 버튼이 증감 현실로 표현될 수 있다. 예를 들면, 웨어러블 글라스 장치에 표시된 제어기기에는 검색 기능이 가능한 버튼이 표시되면서 "검색 버튼을 누르세요"라는 코멘트가 출력될 수 있다. 사용자가 검색 기능을 실행할 경우 스마트 TV의 기능이 실행되면서 동기화 될 수 있다.Smart TVs can be expressed in a wearable glass device by synchronizing the increase and decrease of reality with smart TVs by selecting functions that the wearer wants to know. If a user wishes to input a search word on a smart TV, a wearer wearing a wearable glass device can take a look at the control device. A wearable wearer of a wearable glass device can display a searchable function button of a control device capable of inputting a search word on a smart TV as an increase / decrease reality. For example, a button indicating a search function is displayed on the control device displayed on the wearable glass device, and a comment of "Press search button" may be output. When the user executes the search function, the functions of the smart TV can be executed and synchronized.
일 실시예에 따른 웨어러블 글라스 장치는 사용자가 제어기기의 검색 기능뿐만 아니라 다른 기능도 익힐 수 있다. The wearable glass device according to an embodiment allows the user to learn not only the search function of the control device but also other functions.
일 실시예에 따른 웨어러블 글라스 장치는 웹으로부터 해당 스마트 TV의 설명 프로그램을 다운로드할 수 있다. The wearable glass device according to one embodiment can download the description program of the corresponding smart TV from the web.
도 6은 일 실시예에 따른 웨어러블 글라스 장치의 동작 방법에 있어서, 증감 현실을 이용한 인터랙티브 설명서를 구현한 또 다른 예이다. FIG. 6 is yet another example of implementing an interactive manual using an increase / decrease reality in an operation method of a wearable glass device according to an embodiment.
도 6은 웨어러블 글라스 장치를 통하여 자동차에 대한 설명 프로그램을 실행시키는 예를 나타낸 도면이다. 웨어러블 글라스 장치는 자동차의 통신 모듈과 통신을 연결할 수 있다. 웨어러블 글라스 장치는 자동차의 통신 모듈로부터 자동차의 기종에 관한 기종 정보를 수신할 수 있다. 웨어러블 글라스 장치는 자동차의 기종 정보를 이용하여 설명 프로그램 서버로부터 자동차의 기종에 대응하는 설명 프로그램을 수신할 수 있다. 웨어러블 글라스 장치는 설명 프로그램을 실행시킬 수 있다. 이때, 웨어러블 글라스 장치의 카메라 및 아이트래킹 센서를 이용하여 웨어러블 글라스 장치의 착용자가 바라보는 자동차의 부분을 식별할 수 있고, 식별된 자동차의 부분과 연관된 설명 프로그램의 기능을 실행할 수 있다. 웨어러블 글라스 장치는 웨어러블 글라스 장치의 카메라를 이용하여 착용자의 동작을 분석할 수 있고, 분석된 착용자의 동작에 대응하는 설명 프로그램을 기능을 시행할 수 있다. 자동차에서 제2 설명 프로그램을 실행시키고, 제2 설명 프로그램과 웨어러블 글라스 장치에서 실행되는 설명 프로그램을 동기화하여 실행할 수 있다.6 is a diagram showing an example of executing a description program for a vehicle through a wearable glass device. The wearable glass device can communicate with the communication module of the vehicle. The wearable glass device can receive the model information on the model of the automobile from the communication module of the automobile. The wearable glass device can receive a description program corresponding to the model of the automobile from the description program server using the model information of the automobile. The wearable glass device can execute the description program. At this time, by using the camera of the wearable glass device and the eye tracking sensor, the wearer of the wearable glass device can recognize the part of the vehicle that the wearer sees and can execute the function of the description program associated with the part of the identified car. The wearable glass device can analyze the wearer's operation using a camera of the wearable glass device and can implement a description program corresponding to the analyzed behavior of the wearer. It is possible to execute the second explanatory program in the automobile and synchronously execute the explanatory program executed in the wearable glass device and the second explanatory program.
예를 들면, 웨어러블 글라스 장치를 착용하고 있는 착용자는 자동차의 대쉬보드를 응시하고 있다면, 웨어러블 글라스 장치는 웨어러블 글라스 장치의 카메라 및 아이트래킹 센서를 이용하여 자동차의 대쉬보드를 식별할 수 있고, 대쉬보드와 연관된 설명 프로그램의 기능을 실행시킬 수 있다. 이때, 착용자가 대쉬보드에서 오디오 시스템에 대한 설명을 선택하였을 경우, 오디오 시스템에 대한 설명이 시작될 수 있다. 오디오 전원 버튼, 주파수 변경 버튼, 추천 애플리케이션과 같은 설명이 시작될 수 있다. 예를 들면, "오디오 전원 버튼은 오디오의 전원을 온오프하는 버튼입니다."와 같이 설명이 실행될 수 있다. For example, if the wearer wearing the wearable glass device is staring at the dashboard of the automobile, the wearable glass device can identify the dashboard of the automobile by using the camera of the wearable glass device and the eye tracking sensor, And the function of the description program associated with the program. At this time, if the wearer selects a description of the audio system in the dashboard, a description of the audio system may be started. Audio power button, frequency change button, recommendation application can be started. For example, the description can be performed as in "Audio power button is a button that turns audio on and off."
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the apparatus and components described in the embodiments may be implemented within a computer system, such as, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA) A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing unit may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device , Or may be permanently or temporarily embodied in a transmitted signal wave. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.
110: 웨어러블 글라스 장치
120: 무선 통신망
130: 연동 기기110: a wearable glass device
120: Wireless communication network
130: Interlocking device
Claims (11)
연동 기기로부터 상기 연동 기기에 관한 정보를 수신하는 단계;
상기 연동 기기에 관한 정보를 이용하여 상기 연동 기기에 관한 설명 프로그램을 수신하는 단계;
가장 최근에 사용한 N개(N은 미리 정해진 자연수)의 연동 기기에 대한 설명 프로그램을 상기 웨어러블 글라스 장치에 유지하고, 나머지 설명 프로그램은 삭제하는 단계;
상기 웨어러블 글라스 장치의 착용자의 입력에 따라 상기 연동 기기에 관한 설명 프로그램을 실행하는 단계; 및
상기 설명 프로그램에 따른 증강 현실 영상을 상기 웨어러블 글라스 장치의 글라스에 표시되는 영상에 동기화하여 표시하는 단계
를 포함하는 웨어러블 글라스 장치의 동작 방법.A method of operating a wearable glass device,
Receiving information about the interlocking device from the interlocking device;
Receiving a description program for the interlocking device using information on the interlocking device;
Maintaining a description program for the most recently used interlocking device (N is a predetermined natural number) in the wearable glass device and deleting the remaining description program;
Executing a description program for the interlocking device in accordance with an input of a wearer of the wearable glass device; And
A step of synchronously displaying an augmented reality image according to the program described above on an image displayed on a glass of the wearable glass device
And a control unit for controlling the operation of the wearable glass device.
상기 연동 기기에 관한 설명 프로그램이 실행되면, 상기 착용자에 대한 명령을 출력하는 단계;
상기 웨어러블 글라스 장치의 카메라로부터 입력된 화상 데이터를 분석하여 상기 화상 데이터에 상기 명령과 연관된 상기 연동 기기에 대한 영상이 포함되어 있는지 판단하는 단계; 및
상기 화상 데이터에 상기 연동 기기에 대한 영상이 포함되어 있는 경우, 상기 설명 프로그램의 다음 단계를 실행하는 단계
를 더 포함하는 웨어러블 글라스 장치의 동작 방법.The method according to claim 1,
Outputting a command to the wearer when a description program for the interlocking device is executed;
Analyzing image data input from a camera of the wearable glass device and determining whether the image data includes an image of the interlocking device associated with the command; And
When the image data includes the image of the interlocking device, executing the next step of the description program
Further comprising the steps of:
상기 연동 기기에 관한 정보를 수신하는 단계는,
상기 연동 기기로부터 상기 연동 기기에 대한 유니크한 식별자를 수신하는 단계
를 포함하고,
상기 연동 기기에 관한 정보를 이용하여 상기 연동 기기에 관한 설명 프로그램을 수신하는 단계는,
상기 유니크한 식별자를 미리 정해진 서버로 송신하고, 상기 서버로부터 상기 연동 기기에 관한 설명 프로그램을 다운로드 하는 단계
를 포함하는 웨어러블 글라스 장치의 동작 방법.The method according to claim 1,
Wherein the step of receiving information about the interlocking device comprises:
Receiving a unique identifier for the interlocking device from the interlocking device
Lt; / RTI >
Wherein the step of receiving a description program for the interlocking device using the information on the interlocking device comprises:
Transmitting the unique identifier to a predetermined server and downloading a description program for the interlocking device from the server
And a control unit for controlling the operation of the wearable glass device.
상기 설명 프로그램을 상기 웨어러블 글라스 장치의 글라스에 표시되는 영상에 동기화하여 표시하는 단계는,
상기 웨어러블 글라스 장치의 카메라로부터 획득된 영상 정보에 대응하는 상기 설명 프로그램의 기능을 탐색하는 단계; 및
상기 웨어러블 글라스 장치의 카메라로부터 획득된 영상 정보에 대응하는 상기 기능이 탐색된 경우, 상기 설명 프로그램의 상기 기능을 실행하여 증감현실 데이터를 상기 웨어러블 글라스 장치의 글라스에 표시하는 단계
를 포함하는 웨어러블 글라스 장치의 동작 방법.The method according to claim 1,
The step of displaying the program described above in synchronization with an image displayed on a glass of the wearable glass device includes:
Searching for a function of the explanatory program corresponding to image information obtained from a camera of the wearable glass device; And
When the function corresponding to the image information acquired from the camera of the wearable glass device is searched, executing the function of the program to display the increase / decrease reality data on the glass of the wearable glass device
And a control unit for controlling the operation of the wearable glass device.
자동차의 통신 모듈과 통신 연결하는 단계;
상기 자동차의 통신 모듈로부터 상기 자동차의 기종에 관한 기종 정보를 수신하는 단계;
상기 자동차의 기종 정보를 이용하여 설명 프로그램 서버로부터 상기 자동차의 기종에 대응하는 설명 프로그램을 수신하는 단계; 및
상기 설명 프로그램을 실행하는 단계
를 포함하는 웨어러블 글라스 장치의 동작 방법.A method of operating a wearable glass device,
Communicating with the communication module of the vehicle;
Receiving model information on a model of the automobile from a communication module of the automobile;
Receiving a description program corresponding to the model of the automobile from the description program server using the model information of the automobile; And
The step of executing the above described program
And a control unit for controlling the operation of the wearable glass device.
상기 설명 프로그램을 실행하는 단계는,
상기 웨어러블 글라스 장치의 카메라 및 아이트래킹 센서를 이용하여 상기 웨어러블 글라스 장치의 착용자가 바라보는 상기 자동차의 부분을 식별하는 단계; 및
상기 식별된 자동차의 부분과 연관된 설명 프로그램의 기능을 실행하는 단계
를 포함하는 웨어러블 글라스 장치의 동작 방법.9. The method of claim 8,
The step of executing the above-
Identifying a portion of the vehicle that the wearer of the wearable glass device sees, using the camera of the wearable glass device and the eye tracking sensor; And
Executing a function of a description program associated with the portion of the identified car
And a control unit for controlling the operation of the wearable glass device.
상기 식별된 자동차의 부분과 연관된 설명 프로그램의 기능을 실행하는 단계는,
상기 웨어러블 글라스 장치의 카메라를 이용하여 상기 착용자의 동작을 분석하는 단계; 및
상기 분석된 착용자의 동작에 대응하는 설명 프로그램의 기능을 시행하는 단계
를 포함하는 웨어러블 글라스 장치의 동작 방법.10. The method of claim 9,
Wherein performing the function of the description program associated with the identified portion of the automobile comprises:
Analyzing the operation of the wearer using a camera of the wearable glass device; And
Executing the function of the explanatory program corresponding to the analyzed operation of the wearer
And a control unit for controlling the operation of the wearable glass device.
상기 자동차에서 제2 설명 프로그램을 실행시키는 단계; 및
상기 제2 설명 프로그램과 상기 웨어러블 글라스 장치에서 실행되는 상기 설명 프로그램을 동기화하여 실행하는 단계
를 더 포함하는 웨어러블 글라스 장치의 동작 방법.9. The method of claim 8,
Executing a second demonstration program in the automobile; And
The step of synchronously executing the second program described above and the program described in the wearable glass device
Further comprising the steps of:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140121971A KR101609064B1 (en) | 2014-09-15 | 2014-09-15 | Interactive guide using augmented reality |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140121971A KR101609064B1 (en) | 2014-09-15 | 2014-09-15 | Interactive guide using augmented reality |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160031795A KR20160031795A (en) | 2016-03-23 |
| KR101609064B1 true KR101609064B1 (en) | 2016-04-04 |
Family
ID=55645166
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140121971A KR101609064B1 (en) | 2014-09-15 | 2014-09-15 | Interactive guide using augmented reality |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101609064B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210111955A (en) | 2020-03-03 | 2021-09-14 | 주식회사 코아소프트 | Remote assistance apparatus using augmented reality |
| KR20220015807A (en) * | 2020-07-31 | 2022-02-08 | 주식회사 인벤티스 | System and method for providing vehicle function guidance and vritrual test-driving experience based on augmented reality |
| US11626028B2 (en) | 2020-07-31 | 2023-04-11 | Inventis Co., Ltd | System and method for providing vehicle function guidance and virtual test-driving experience based on augmented reality content |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102092290B1 (en) * | 2017-12-14 | 2020-03-23 | 주식회사 엔터리얼 | Providing system for a virtual manual of electronic device based on the agmented reality and method therefor |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR200473246Y1 (en) | 2012-07-17 | 2014-06-24 | 김승진 | Glasses type remote controller |
| KR101430614B1 (en) * | 2014-05-30 | 2014-08-18 | 주식회사 모리아타운 | Display device using wearable eyeglasses and method for operating the same |
-
2014
- 2014-09-15 KR KR1020140121971A patent/KR101609064B1/en not_active IP Right Cessation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR200473246Y1 (en) | 2012-07-17 | 2014-06-24 | 김승진 | Glasses type remote controller |
| KR101430614B1 (en) * | 2014-05-30 | 2014-08-18 | 주식회사 모리아타운 | Display device using wearable eyeglasses and method for operating the same |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210111955A (en) | 2020-03-03 | 2021-09-14 | 주식회사 코아소프트 | Remote assistance apparatus using augmented reality |
| KR20220015807A (en) * | 2020-07-31 | 2022-02-08 | 주식회사 인벤티스 | System and method for providing vehicle function guidance and vritrual test-driving experience based on augmented reality |
| KR102431493B1 (en) * | 2020-07-31 | 2022-08-11 | 주식회사 인벤티스 | System and method for providing vehicle function guidance and vritrual test-driving experience based on augmented reality |
| US11626028B2 (en) | 2020-07-31 | 2023-04-11 | Inventis Co., Ltd | System and method for providing vehicle function guidance and virtual test-driving experience based on augmented reality content |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20160031795A (en) | 2016-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107873136B (en) | Electronic device, peripheral device, and control method thereof | |
| US11327711B2 (en) | External visual interactions for speech-based devices | |
| US10678563B2 (en) | Display apparatus and method for controlling display apparatus | |
| CN111752442A (en) | Method, device, terminal and storage medium for displaying operation guide information | |
| KR101609064B1 (en) | Interactive guide using augmented reality | |
| KR102374620B1 (en) | Device and system for voice recognition | |
| KR20140128276A (en) | Electronic system with interface modification mechanism and method of operation thereof | |
| MX2015005393A (en) | Method of providing information-of-users' interest when video call is made, and electronic apparatus thereof. | |
| EP2963935A1 (en) | Multi screen display controlled by a plurality of remote controls | |
| KR20200097444A (en) | Electronic device for providing graphic data based on voice and operating method thereof | |
| WO2019173577A1 (en) | Audio content engine for audio augmented reality | |
| US20190237085A1 (en) | Display apparatus and method for displaying screen of display apparatus | |
| CN105721904B (en) | The method of the content output of display device and control display device | |
| US10142579B2 (en) | Display apparatus and display method | |
| JP2021177418A (en) | Method of providing electronic device with interpretation function and ear set device | |
| CN111866568A (en) | Display device, server and video collection acquisition method based on voice | |
| KR102159816B1 (en) | Apparatus and method for playing back tangible multimedia contents | |
| KR20220080270A (en) | Electronic device and controlling method of electronic device | |
| KR20160015837A (en) | Method and apparatus for providing mobile contents using portable product | |
| WO2015144192A1 (en) | System comprising an audio device and a mobile device for displaying information concerning the audio device | |
| KR102393112B1 (en) | Method and apparatus for function of translation using earset | |
| KR102531655B1 (en) | Electronic device and method for providing virtual device via at least portion of content | |
| KR20190053727A (en) | Electronic apparatus and control method thereof | |
| KR102070300B1 (en) | Method, computer program and system for tuning hearing aid | |
| JP6188512B2 (en) | Information processing apparatus, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| N231 | Notification of change of applicant | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| LAPS | Lapse due to unpaid annual fee |