KR102633493B1 - Confirmation event handling method and apparatus for head-mounted display apparatus - Google Patents

Confirmation event handling method and apparatus for head-mounted display apparatus Download PDF

Info

Publication number
KR102633493B1
KR102633493B1 KR1020210133502A KR20210133502A KR102633493B1 KR 102633493 B1 KR102633493 B1 KR 102633493B1 KR 1020210133502 A KR1020210133502 A KR 1020210133502A KR 20210133502 A KR20210133502 A KR 20210133502A KR 102633493 B1 KR102633493 B1 KR 102633493B1
Authority
KR
South Korea
Prior art keywords
head
confirmation event
display device
sensor
acceptance
Prior art date
Application number
KR1020210133502A
Other languages
Korean (ko)
Other versions
KR20230050160A (en
Inventor
최치원
김정환
Original Assignee
주식회사 피앤씨솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피앤씨솔루션 filed Critical 주식회사 피앤씨솔루션
Priority to KR1020210133502A priority Critical patent/KR102633493B1/en
Publication of KR20230050160A publication Critical patent/KR20230050160A/en
Application granted granted Critical
Publication of KR102633493B1 publication Critical patent/KR102633493B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 머리 착용형 디스플레이 장치를 위한 확인 이벤트 처리 방법에 관한 것으로서, 보다 구체적으로는 머리 착용형 디스플레이 장치에 의해 각 단계가 수행되는 확인 이벤트 처리 방법으로서, (1) 승낙/거절 응답을 요구하는 확인 이벤트가 발생하는 단계; (2) 머리 움직임을 인식하는 센서를 활성화하는 단계; (3) 상기 활성화한 센서를 사용해 머리 움직임을 인식하고, 승낙 또는 거절을 판별하는 단계; 및 (4) 상기 단계 (3)의 판별 결과에 따라 상기 확인 이벤트에 대해 승낙 또는 거절 응답을 처리하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
또한, 본 발명은 머리 착용형 디스플레이 장치를 위한 확인 이벤트 처리 장치에 관한 것으로서, 보다 구체적으로는 머리 착용형 디스플레이 장치에 의해 각 단계가 수행되는 확인 이벤트 처리 장치로서, 머리 착용형 디스플레이 장치에서 승낙/거절 응답을 요구하는 확인 이벤트가 발생하는 이벤트 발생부; 머리 움직임을 인식하는 센서를 활성화하는 센서 활성화부; 상기 활성화한 센서를 사용해 머리 움직임을 인식하고, 승낙 또는 거절을 판별하는 판별부; 및 상기 판별부 판별 결과에 따라 상기 확인 이벤트에 대해 승낙 또는 거절 응답을 처리하는 응답 처리부를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 머리 착용형 디스플레이 장치를 위한 확인 이벤트 처리 방법 및 장치에 따르면, 머리 착용형 디스플레이 장치에서 발생하는 확인 이벤트에 대하여 센서를 사용해 인식한 머리 움직임에 따라 승낙 또는 거절을 판별해 처리함으로써, 직관적으로 사용할 수 있는 머리 움직임으로 확인 이벤트에 대해 쉽고 빠르고 정확하게 응답하며, 입력한 명령을 다시 확인하는 과정인 확인 이벤트의 출력에 따른 착용자의 번거로움을 최소화할 수 있다.The present invention relates to a confirmation event processing method for a head-worn display device, and more specifically, to a confirmation event processing method in which each step is performed by the head-worn display device, including (1) requesting an acceptance/rejection response; A step in which a confirmation event occurs; (2) activating a sensor that recognizes head movement; (3) recognizing head movement using the activated sensor and determining acceptance or rejection; and (4) processing an acceptance or rejection response to the confirmation event according to the determination result of step (3).
In addition, the present invention relates to a confirmation event processing device for a head-worn display device, and more specifically, to a confirmation event processing device in which each step is performed by the head-worn display device, and the head-worn display device accepts/accepts an event generation unit that generates a confirmation event requesting a rejection response; A sensor activation unit that activates a sensor that recognizes head movement; a determination unit that recognizes head movement using the activated sensor and determines acceptance or rejection; and a response processing unit that processes an acceptance or rejection response to the confirmation event according to the determination result of the determination unit.
According to the confirmation event processing method and device for a head-worn display device proposed in the present invention, acceptance or rejection is determined and processed based on head movement recognized using a sensor for confirmation events occurring in the head-worn display device. By doing so, it is possible to respond to confirmation events easily, quickly and accurately with intuitive head movements, and to minimize the wearer's inconvenience caused by the output of the confirmation event, which is the process of reconfirming the entered command.

Description

머리 착용형 디스플레이 장치를 위한 확인 이벤트 처리 방법 및 장치{CONFIRMATION EVENT HANDLING METHOD AND APPARATUS FOR HEAD-MOUNTED DISPLAY APPARATUS}Confirmation event processing method and apparatus for head-mounted display device {CONFIRMATION EVENT HANDLING METHOD AND APPARATUS FOR HEAD-MOUNTED DISPLAY APPARATUS}

본 발명은 확인 이벤트 처리 방법 및 장치에 관한 것으로서, 보다 구체적으로는 머리 착용형 디스플레이 장치를 위한 확인 이벤트 처리 방법 및 장치에 관한 것이다.The present invention relates to a confirmation event processing method and device, and more specifically, to a confirmation event processing method and device for a head-mounted display device.

디지털 디바이스의 경량화 및 소형화 추세에 따라 다양한 웨어러블 디바이스(wearable device)들이 개발되고 있다. 이러한 웨어러블 디바이스의 일종인 헤드 마운티드 디스플레이(Head Mounted Display)는 사용자가 머리에 착용하여 멀티미디어 컨텐츠 등을 제공받을 수 있는 각종 디바이스를 의미한다. 여기서 헤드 마운티드 디스플레이(HMD)는 사용자의 신체에 착용 되어 사용자가 이동함에 따라서 다양한 환경에서 사용자에게 영상을 제공하게 된다. 이러한 헤드 마운티드 디스플레이(HMD)는 투과(see-through)형과 밀폐(see-closed)형으로 구분되고 있으며, 투과형은 주로 증강현실(Augmented Reality, AR)용으로 사용되고, 밀폐형은 주로 가상현실(Virtual Reality, VR)용으로 사용되고 있다.In accordance with the trend toward lighter and smaller digital devices, various wearable devices are being developed. A head mounted display, a type of wearable device, refers to a variety of devices that a user can wear on their head to receive multimedia content. Here, the head mounted display (HMD) is worn on the user's body and provides images to the user in various environments as the user moves. These head-mounted displays (HMDs) are divided into see-through and see-closed types. The see-through type is mainly used for Augmented Reality (AR), and the closed type is mainly used for virtual reality (Virtual Reality). It is used for Reality (VR).

헤드 마운티드 디스플레이는 기존의 터치스크린과 같은 입력 방식을 사용하기 어려우므로, 사용자 상호작용을 위한 최적화된 입력 방식이 필요하다. 헤드 마운티드 디스플레이의 증강현실에서 사용할 수 있는 입력 방식으로, HMD에 구비된 버튼이나 HMD와 연결된 별도의 입력 장치, 제스처 인식, 음성 인식 등이 있을 수 있다.Because it is difficult to use input methods like existing touch screens for head-mounted displays, an optimized input method for user interaction is needed. Input methods that can be used in augmented reality on a head-mounted display may include buttons provided on the HMD, separate input devices connected to the HMD, gesture recognition, and voice recognition.

기본적으로 대부분의 앱 프로그램은 종료를 하려면 다시 한번 종료할지에 대한 질문(Yes or No)을 던지는 등, 다양한 상황에서 확인 또는 재질문하는 이벤트가 발생한다. 헤드 마운티드 디스플레이의 여러 프로그램에서도 이와 같은 확인 이벤트 또는 재질문 이벤트가 자주 발생할 수 있는데, 그때마다 손 제스처로 UI 버튼을 누른다든가, 음성명령어로 응답을 입력하기에는 오작동 가능성이 크다. 예를 들어, 제스처로 Yes 버튼을 눌러야 하는데 No 버튼이 눌러지는 현상이나, 시끄러운 소리로 인하여 음성명령어를 인식하지 못하는 현상 등이 발생할 수 있다.Basically, most app programs generate confirmation or re-question events in various situations, such as asking a question (Yes or No) about whether to quit again when quitting. Confirmation or re-question events like this can occur frequently in many programs on head-mounted displays, but there is a high possibility of malfunction if you press a UI button with a hand gesture or input a response using a voice command each time. For example, the No button may be pressed when the Yes button must be pressed with a gesture, or the voice command may not be recognized due to a loud sound.

따라서 전술한 바와 같은 한계를 극복하여, 자주 발생하는 확인 이벤트 또는 재질문 이벤트에 대해 쉽고 빠르고 정확성 높게 응답을 입력할 수 있는 방법의 개발이 필요하다.Therefore, there is a need to develop a method that can overcome the limitations described above and input responses easily, quickly, and with high accuracy for frequently occurring confirmation events or re-question events.

한편, 본 발명과 관련된 선행기술로서, 공개특허 제10-2019-0093966호(발명의 명칭: HMD 장치 및 그 동작 방법, 공개일자: 2019년 08월 12일) 등이 개시된 바 있다.Meanwhile, as prior art related to the present invention, Publication Patent No. 10-2019-0093966 (title of the invention: HMD device and method of operating the same, publication date: August 12, 2019) has been disclosed.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 머리 착용형 디스플레이 장치에서 발생하는 확인 이벤트에 대하여 센서를 사용해 인식한 머리 움직임에 따라 승낙 또는 거절을 판별해 처리함으로써, 직관적으로 사용할 수 있는 머리 움직임으로 확인 이벤트에 대해 쉽고 빠르고 정확하게 응답하며, 입력한 명령을 다시 확인하는 과정인 확인 이벤트의 출력에 따른 착용자의 번거로움을 최소화할 수 있는, 머리 착용형 디스플레이 장치를 위한 확인 이벤트 처리 방법 및 장치를 제공하는 것을 그 목적으로 한다.The present invention was proposed to solve the above-mentioned problems of previously proposed methods, and processes confirmation events occurring in a head-worn display device by determining acceptance or rejection based on head movement recognized using a sensor. , a head-worn display device that responds to confirmation events easily, quickly and accurately with intuitive head movements, and minimizes the wearer's inconvenience due to the output of the confirmation event, which is the process of re-confirming the entered command. The purpose is to provide a confirmation event processing method and device for

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 머리 착용형 디스플레이 장치를 위한 확인 이벤트 처리 방법은,A confirmation event processing method for a head-mounted display device according to the characteristics of the present invention to achieve the above object is,

머리 착용형 디스플레이 장치에 의해 각 단계가 수행되는 확인 이벤트 처리 방법으로서,A confirmation event processing method in which each step is performed by a head-worn display device, comprising:

(1) 승낙/거절 응답을 요구하는 확인 이벤트가 발생하는 단계;(1) A confirmation event requiring an acceptance/rejection response occurs;

(2) 머리 움직임을 인식하는 센서를 활성화하는 단계;(2) activating a sensor that recognizes head movement;

(3) 상기 활성화한 센서를 사용해 머리 움직임을 인식하고, 승낙 또는 거절을 판별하는 단계; 및(3) recognizing head movement using the activated sensor and determining acceptance or rejection; and

(4) 상기 단계 (3)의 판별 결과에 따라 상기 확인 이벤트에 대해 승낙 또는 거절 응답을 처리하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.(4) It is characterized in that it includes the step of processing an acceptance or rejection response to the confirmation event according to the determination result of step (3).

바람직하게는, 상기 센서는,Preferably, the sensor:

상기 머리 착용형 디스플레이 장치의 일측에 구비되어, 착용자의 머리 자세로부터 머리 움직임을 인식하는 IMU 센서일 수 있다.It may be an IMU sensor that is provided on one side of the head-worn display device and recognizes head movement from the wearer's head posture.

바람직하게는, 상기 확인 이벤트는,Preferably, the confirmation event is:

상기 머리 착용형 디스플레이 장치에서 구동된 프로그램에서 입력된 명령어의 수행을 확인하는 재질문 이벤트일 수 있다.This may be a re-question event that confirms the execution of a command input from a program run on the head-worn display device.

바람직하게는, 상기 단계 (3)에서는,Preferably, in step (3),

상기 머리 움직임이 끄덕임에 해당하면 승낙, 상기 머리 움직임이 좌우 회전에 해당하면 거절로 판별할 수 있다.If the head movement corresponds to a nod, it can be judged as acceptance, and if the head movement corresponds to left and right rotation, it can be judged as rejection.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 머리 착용형 디스플레이 장치를 위한 확인 이벤트 처리 장치는,A confirmation event processing device for a head-mounted display device according to the characteristics of the present invention to achieve the above object,

머리 착용형 디스플레이 장치에 의해 각 단계가 수행되는 확인 이벤트 처리 장치로서,A confirmation event processing device in which each step is performed by a head-worn display device,

머리 착용형 디스플레이 장치에서 승낙/거절 응답을 요구하는 확인 이벤트가 발생하는 이벤트 발생부;an event generation unit that generates a confirmation event requesting an acceptance/rejection response from the head-worn display device;

머리 움직임을 인식하는 센서를 활성화하는 센서 활성화부;A sensor activation unit that activates a sensor that recognizes head movement;

상기 활성화한 센서를 사용해 머리 움직임을 인식하고, 승낙 또는 거절을 판별하는 판별부; 및a determination unit that recognizes head movement using the activated sensor and determines acceptance or rejection; and

상기 판별부 판별 결과에 따라 상기 확인 이벤트에 대해 승낙 또는 거절 응답을 처리하는 응답 처리부를 포함하는 것을 그 구성상의 특징으로 한다.A structural feature is that it includes a response processing unit that processes an acceptance or rejection response to the confirmation event according to the determination result of the determination unit.

바람직하게는, 상기 센서는,Preferably, the sensor:

상기 머리 착용형 디스플레이 장치의 일측에 구비되어, 착용자의 머리 자세로부터 머리 움직임을 인식하는 IMU 센서일 수 있다.It may be an IMU sensor that is provided on one side of the head-worn display device and recognizes head movement from the wearer's head posture.

바람직하게는, 상기 확인 이벤트는,Preferably, the confirmation event is:

상기 머리 착용형 디스플레이 장치에서 구동된 프로그램에서 입력된 명령어의 수행을 확인하는 재질문 이벤트일 수 있다.This may be a re-question event that confirms the execution of a command input from a program run on the head-worn display device.

바람직하게는, 상기 판별부는,Preferably, the determination unit,

상기 머리 움직임이 끄덕임에 해당하면 승낙, 상기 머리 움직임이 좌우 회전에 해당하면 거절로 판별할 수 있다.If the head movement corresponds to a nod, it can be judged as acceptance, and if the head movement corresponds to left and right rotation, it can be judged as rejection.

본 발명에서 제안하고 있는 머리 착용형 디스플레이 장치를 위한 확인 이벤트 처리 방법 및 장치에 따르면, 머리 착용형 디스플레이 장치에서 발생하는 확인 이벤트에 대하여 센서를 사용해 인식한 머리 움직임에 따라 승낙 또는 거절을 판별해 처리함으로써, 직관적으로 사용할 수 있는 머리 움직임으로 확인 이벤트에 대해 쉽고 빠르고 정확하게 응답하며, 입력한 명령을 다시 확인하는 과정인 확인 이벤트의 출력에 따른 착용자의 번거로움을 최소화할 수 있다.According to the confirmation event processing method and device for a head-worn display device proposed in the present invention, acceptance or rejection is determined and processed based on head movement recognized using a sensor for confirmation events occurring in the head-worn display device. By doing so, it is possible to respond to confirmation events easily, quickly and accurately with intuitive head movements, and to minimize the wearer's inconvenience caused by the output of the confirmation event, which is the process of reconfirming the entered command.

도 1은 본 발명의 일실시예에 따른 머리 착용형 디스플레이 장치를 위한 확인 이벤트 처리 장치를 포함하는 머리 착용형 디스플레이 장치의 구성을 도시한 도면.
도 2 및 도 3은 머리 착용형 디스플레이 장치의 전체 모습을 예를 들어 도시한 도면.
도 4는 본 발명의 일실시예에 따른 머리 착용형 디스플레이 장치를 위한 확인 이벤트 처리 방법에서 확인 이벤트를 예를 들어 도시한 도면.
도 5는 본 발명의 일실시예에 따른 머리 착용형 디스플레이 장치를 위한 확인 이벤트 처리 장치의 구성을 도시한 도면.
도 6 및 도 7은 본 발명의 일실시예에 따른 머리 착용형 디스플레이 장치를 위한 확인 이벤트 처리 방법의 흐름을 도시한 도면.
도 8은 본 발명의 일실시예에 따른 머리 착용형 디스플레이 장치를 위한 확인 이벤트 처리 방법에서, 승낙 모션을 예를 들어 도시한 도면.
도 9는 본 발명의 일실시예에 따른 머리 착용형 디스플레이 장치를 위한 확인 이벤트 처리 방법에서, 거절 모션을 예를 들어 도시한 도면.1 is a diagram illustrating the configuration of a head-worn display device including a confirmation event processing device for the head-worn display device according to an embodiment of the present invention.
Figures 2 and 3 are diagrams showing the overall appearance of a head-worn display device as an example.
Figure 4 is a diagram illustrating an example of a confirmation event in a confirmation event processing method for a head-mounted display device according to an embodiment of the present invention.
Figure 5 is a diagram illustrating the configuration of a confirmation event processing device for a head-worn display device according to an embodiment of the present invention.
6 and 7 are diagrams illustrating the flow of a confirmation event processing method for a head-worn display device according to an embodiment of the present invention.
Figure 8 is a diagram illustrating an acceptance motion as an example in a confirmation event processing method for a head-mounted display device according to an embodiment of the present invention.
Figure 9 is a diagram showing an example of a rejection motion in the confirmation event processing method for a head-mounted display device according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.Hereinafter, with reference to the attached drawings, preferred embodiments will be described in detail so that those skilled in the art can easily practice the present invention. However, when describing preferred embodiments of the present invention in detail, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description will be omitted. In addition, the same symbols are used throughout the drawings for parts that perform similar functions and actions.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.In addition, throughout the specification, when a part is said to be 'connected' to another part, this is not only the case when it is 'directly connected', but also when it is 'indirectly connected' with another element in between. Includes. Additionally, ‘including’ a certain component does not mean excluding other components, but rather including other components, unless specifically stated to the contrary.

도 1은 본 발명의 일실시예에 따른 머리 착용형 디스플레이 장치(10)를 위한 확인 이벤트 처리 장치(100)를 포함하는 머리 착용형 디스플레이 장치(10)의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 머리 착용형 디스플레이 장치(10)를 위한 확인 이벤트 처리 장치(100)를 포함하는 머리 착용형 디스플레이 장치(10)는, 확인 이벤트 처리 장치(100)를 포함하여 구성될 수 있으며, 광학 디스플레이부(200), 센서부(300), 제어부(400) 및 통신부(500)를 더 포함하여 구성될 수 있다.FIG. 1 is a diagram illustrating the configuration of a head-worn display device 10 including a confirmation event processing device 100 for the head-worn display device 10 according to an embodiment of the present invention. As shown in FIG. 1, the head-worn display device 10 including the confirmation event processing device 100 for the head-worn display device 10 according to an embodiment of the present invention, the confirmation event processing device It may be configured to include 100, and may further include an optical display unit 200, a sensor unit 300, a control unit 400, and a communication unit 500.

도 2 및 도 3은 머리 착용형 디스플레이 장치(10)의 전체 모습을 예를 들어 도시한 도면이다. 도 2 및 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 머리 착용형 디스플레이 장치(10)를 위한 확인 이벤트 처리 장치(100)를 포함하는 머리 착용형 디스플레이 장치(10)는, 눈 주변이 밀폐된 형태의 고글 또는 측면이 개방된 형태의 안경 등으로 구현될 수 있다.Figures 2 and 3 are diagrams showing the overall appearance of the head-worn display device 10 as an example. As shown in Figures 2 and 3, the head-worn display device 10 including the confirmation event processing device 100 for the head-worn display device 10 according to an embodiment of the present invention, It can be implemented as goggles with a closed perimeter or glasses with open sides.

이하에서는, 도 1 내지 도 3을 참조하여 본 발명의 일실시예에 따른 프로그램에 종속한 음성명령어가 지원되는 머리 착용형 디스플레이 장치(10)의 각 구성에 대해 상세히 설명하도록 한다.Hereinafter, each configuration of the head-mounted display device 10 that supports voice commands dependent on a program according to an embodiment of the present invention will be described in detail with reference to FIGS. 1 to 3.

확인 이벤트 처리 장치(100)는, 머리 착용형 디스플레이 장치(10)에서 발생하는 확인 이벤트에 대응하는 응답을 처리하는 장치로, 확인 이벤트에 대한 승낙/거절 응답을 머리 움직임에 따라 처리해 쉽고 간편하며 정확하게 확인 이벤트에 대한 응답을 처리할 수 있다. 여기서, 확인 이벤트는, 머리 착용형 디스플레이 장치(10)에서 구동된 프로그램에서 입력된 명령어의 수행을 확인하는 재질문 이벤트일 수 있다.The confirmation event processing device 100 is a device that processes a response corresponding to a confirmation event occurring in the head-worn display device 10. It processes the acceptance/rejection response to the confirmation event according to head movement to make it easy, convenient, and accurate. You can handle responses to confirmation events. Here, the confirmation event may be a re-question event that confirms the execution of a command input in a program run on the head-worn display device 10.

도 4는 본 발명의 일실시예에 따른 머리 착용형 디스플레이 장치(10)를 위한 확인 이벤트 처리 장치(100)에서 확인 이벤트를 예를 들어 도시한 도면이다. 머리 착용형 디스플레이 장치(10)에서는 프로그램 종료나 작업 종료 등 특정 명령어가 입력되면, 도 4에 도시된 바와 같이, 해당 명령어를 수행할지 다시 한번 질문하는 확인 이벤트가 증강현실 영상으로 출력될 수 있다. 본 발명의 일실시예에 따른 머리 착용형 디스플레이 장치(10)를 위한 확인 이벤트 처리 장치(100)는, 증강현실 영상으로 출력되는 확인 이벤트에 대응해, 승낙(“확인”) 또는 거절(“취소”)을 머리 움직임을 통해 쉽게 입력할 수 있도록 한다. 확인 이벤트 처리 장치(100)의 세부적인 구성에 대해서는 추후 도 5를 참조하여 상세히 설명하도록 한다.FIG. 4 is a diagram showing an example of a confirmation event in the confirmation event processing device 100 for the head-worn display device 10 according to an embodiment of the present invention. In the head-worn display device 10, when a specific command such as ending a program or ending a task is input, a confirmation event asking again whether to execute the command may be output as an augmented reality image, as shown in FIG. 4. The confirmation event processing device 100 for the head-mounted display device 10 according to an embodiment of the present invention responds to a confirmation event output as an augmented reality image, accepting (“confirming”) or rejecting (“cancel”) ”) can be entered easily through head movement. The detailed configuration of the confirmation event processing device 100 will be described in detail later with reference to FIG. 5.

광학 디스플레이부(200)는, 착용자의 양안의 전방에 배치되어 착용자에게 증강현실을 제공할 수 있다. 보다 구체적으로, 광학 디스플레이부(200)는, 착용자의 양안의 전방에 배치되어 착용자에게 증강현실, 혼합현실 및 가상현실 중 적어도 어느 하나를 제공할 수 있다. 즉, 광학 디스플레이부(200)는 머리 착용형 디스플레이 장치(10)의 AR, VR 또는 MR 글라스에 해당하는 구성으로서, 도 1에 도시된 바와 같이 디스플레이(210) 및 광학계(220)를 포함하여 구성될 수 있다.The optical display unit 200 is disposed in front of both eyes of the wearer and can provide augmented reality to the wearer. More specifically, the optical display unit 200 is disposed in front of both eyes of the wearer and can provide at least one of augmented reality, mixed reality, and virtual reality to the wearer. That is, the optical display unit 200 is a component corresponding to AR, VR, or MR glass of the head-worn display device 10 and includes a display 210 and an optical system 220 as shown in FIG. 1. It can be.

디스플레이(210)는, 영상 정보가 착용자에게 제공될 수 있도록 영상 광을 출력할 수 있다. 보다 구체적으로, 디스플레이(210)는, 영상 정보가 착용자에게 제공될 수 있도록, 이하에서 상세히 설명할 광학계(220)에 결합해, 광학계(120)에 의해 착용자의 눈 방향으로 전달되는 영상 광을 출력하며, 양안 디스플레이를 위해 한 쌍의 디스플레이(210)로 구성될 수 있다. 디스플레이(210)는 OLED 등 다양하게 구성될 수 있다.The display 210 may output image light so that image information can be provided to the wearer. More specifically, the display 210 is coupled to the optical system 220, which will be described in detail below, so that image information can be provided to the wearer, and outputs image light transmitted by the optical system 120 toward the wearer's eyes. and may be composed of a pair of displays 210 for binocular display. The display 210 may be configured in various ways, such as OLED.

광학계(220)는, 머리 착용형 디스플레이 장치(10)를 착용한 착용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공할 수 있다. 보다 구체적으로, 광학계(220)는, 착용자의 시야를 통한 실제 세계(real world)의 광의 적어도 일부를 투과시키고, 디스플레이(210)에서 출력되는 영상 광을 착용자의 눈 방향으로 전달하여 증강현실을 제공할 수 있다. 즉, 광학계(220)는 머리 착용형 디스플레이 장치(10)를 착용한 착용자가 증강현실을 경험할 수 있도록 구성될 수 있다.The optical system 220 is disposed in front of both eyes of the wearer wearing the head-worn display device 10 and can provide augmented reality by combining real world light and image light. More specifically, the optical system 220 transmits at least a portion of the light of the real world through the wearer's field of view and transmits the image light output from the display 210 toward the wearer's eyes to provide augmented reality. can do. That is, the optical system 220 may be configured so that a wearer wearing the head-worn display device 10 can experience augmented reality.

또한, 광학계(220)는 복수의 렌즈와 미러 등으로 구성되며 다양한 방식으로 구현될 수 있는데, 예를 들어 광학 회절 방식, 빔 스플리터 방식, 핀 미러 방식 등으로 구현될 수 있다.Additionally, the optical system 220 is composed of a plurality of lenses and mirrors and can be implemented in various ways, for example, an optical diffraction method, a beam splitter method, a pin mirror method, etc.

센서부(300)는, 적어도 하나 이상의 센서를 포함할 수 있으며, 머리 움직임을 인식하는 센서를 포함할 수 있다. 보다 구체적으로, 머리 움직임을 인식하는 센서는, 머리 착용형 디스플레이 장치(10)의 일측에 구비되어 착용자의 머리 자세로부터 머리 움직임을 인식하는 IMU 센서(310)일 수 있다. IMU 센서(310)는 3축 가속도계, 3축 자이로계 및 3축 지자계를 포함하는 9축 센서로서, 머리 착용형 디스플레이 장치(10)에 설치되어 착용자 머리의 자세를 정확하게 파악할 수 있다. 예를 들어, IMU 센서(310)는 MPU9250 센서 등으로 구현될 수 있다.The sensor unit 300 may include at least one sensor and may include a sensor that recognizes head movement. More specifically, the sensor that recognizes head movement may be the IMU sensor 310 provided on one side of the head-worn display device 10 and recognizes head movement from the wearer's head posture. The IMU sensor 310 is a 9-axis sensor including a 3-axis accelerometer, a 3-axis gyrometer, and a 3-axis magnetometer, and is installed on the head-worn display device 10 to accurately determine the posture of the wearer's head. For example, the IMU sensor 310 may be implemented as an MPU9250 sensor, etc.

또한, 센서부(300)는, IMU 센서(310) 외에 홍채 인식 센서, 위치 추적 센서를 더 포함할 수 있고, 환경 유해 가스나 온습도 등을 검출할 수 있는 센서를 포함할 수도 있다. 실시예에 따라서, 사용자가 착용형 증강현실 장치(10)를 착용하고 사용자 인증을 하면, 제어부(400)는 각 사용자에 따라 저장된 조도, IPD(Inter-Pupillary Distance), 입력 인터페이스, 머리 움직임 패턴, 머리 움직임 임계값 등 여러 가지 설정 내용을 자동으로 적용할 수도 있다. 이때, 사용자 인증은 센서부(300)에 포함된 홍채 인식 센서 등을 사용할 수 있다.Additionally, the sensor unit 300 may further include an iris recognition sensor and a location tracking sensor in addition to the IMU sensor 310, and may also include a sensor capable of detecting environmental harmful gases, temperature and humidity, etc. Depending on the embodiment, when a user wears the wearable augmented reality device 10 and performs user authentication, the control unit 400 stores the illuminance, IPD (Inter-Pupillary Distance), input interface, head movement pattern, etc. stored for each user. You can also automatically apply various settings, such as head movement threshold. At this time, user authentication may use an iris recognition sensor included in the sensor unit 300.

제어부(400)는, 프로그램을 구동하고 프로그램 동작 및 명령어 입력에 따른 확인 이벤트를 출력하며, 확인 이벤트 처리 장치(100)와 상호작용하여 유저 인터페이스(User Interface; UI)를 이용한 사용자 입력에 대응해 확인 이벤트에 대한 승낙, 거절 응답 등을 처리할 수 있다.The control unit 400 runs the program, outputs confirmation events according to program operations and command input, and interacts with the confirmation event processing device 100 to confirm in response to user input using a user interface (UI). Approval and rejection responses to events can be processed.

통신부(500)는, 머리 착용형 디스플레이 장치(10)의 일측에 설치되며, 다른 머리 착용형 디스플레이 장치(10)나 서버 등과 각종 신호 및 데이터를 송수신할 수 있다. 여기서, 통신부(500)가 사용하는 네트워크는, 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network), 위성 통신망, 블루투스(Bluetooth), Wibro(Wireless Broadband Internet), HSDPA(High Speed Downlink Packet Access), LTE(Long Term Evolution), 3/4/5/6G(3/4/5/6th Generation Mobile Telecommunication) 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.The communication unit 500 is installed on one side of the head-worn display device 10 and can transmit and receive various signals and data to another head-worn display device 10 or a server. Here, the network used by the communication unit 500 is a wired network or a mobile network such as a local area network (LAN), a wide area network (WAN), or a value added network (VAN). radio communication network), satellite communication network, Bluetooth, Wibro (Wireless Broadband Internet), HSDPA (High Speed Downlink Packet Access), LTE (Long Term Evolution), 3/4/5/6G (3/4/5/ It can be implemented with all types of wireless networks such as 6th Generation Mobile Telecommunication).

도 5는 본 발명의 일실시예에 따른 머리 착용형 디스플레이 장치(10)를 위한 확인 이벤트 처리 장치(100)의 구성을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 머리 착용형 디스플레이 장치(10)를 위한 확인 이벤트 처리 장치(100)는, 머리 착용형 디스플레이 장치(10)에 의해 각 단계가 수행되는 확인 이벤트 처리 장치(100)로서, 머리 착용형 디스플레이 장치(10)에서 승낙/거절 응답을 요구하는 확인 이벤트가 발생하는 이벤트 발생부(110); 머리 움직임을 인식하는 센서를 활성화하는 센서 활성화부(120); 활성화한 센서를 사용해 머리 움직임을 인식하고, 승낙 또는 거절을 판별하는 판별부(130); 및 판별부(130) 판별 결과에 따라 확인 이벤트에 대해 승낙 또는 거절 응답을 처리하는 응답 처리부(140)를 포함하여 구성될 수 있다.FIG. 5 is a diagram illustrating the configuration of a confirmation event processing device 100 for the head-worn display device 10 according to an embodiment of the present invention. As shown in FIG. 5, the confirmation event processing device 100 for the head-worn display device 10 according to an embodiment of the present invention has each step performed by the head-worn display device 10. The confirmation event processing device 100 includes an event generator 110 that generates a confirmation event requesting an acceptance/rejection response from the head-worn display device 10; A sensor activation unit 120 that activates a sensor that recognizes head movement; A determination unit 130 that recognizes head movement using an activated sensor and determines acceptance or rejection; and a response processing unit 140 that processes an acceptance or rejection response to the confirmation event according to the determination result of the determination unit 130.

도 6 및 도 7은 본 발명의 일실시예에 따른 머리 착용형 디스플레이 장치(10)를 위한 확인 이벤트 처리 방법의 흐름을 도시한 도면이다. 도 6 및 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 머리 착용형 디스플레이 장치(10)를 위한 확인 이벤트 처리 방법은, 머리 착용형 디스플레이 장치(10)에 의해 각 단계가 수행되는 확인 이벤트 처리 방법으로서, 승낙/거절 응답을 요구하는 확인 이벤트가 발생하는 단계(S110), 머리 움직임을 인식하는 센서를 활성화하는 단계(S120), 머리 움직임을 인식하고 승낙 또는 거절을 판별하는 단계(S130) 및 확인 이벤트에 대해 승낙 또는 거절 응답을 처리는 단계(S140)를 포함하여 구현될 수 있다.6 and 7 are diagrams illustrating the flow of a confirmation event processing method for the head-worn display device 10 according to an embodiment of the present invention. As shown in FIGS. 6 and 7, the confirmation event processing method for the head-worn display device 10 according to an embodiment of the present invention includes each step being performed by the head-worn display device 10. As a confirmation event processing method, a confirmation event requiring an acceptance/rejection response occurs (S110), activating a sensor that recognizes head movement (S120), and recognizing head movement and determining acceptance or rejection ( It may be implemented including a step S130) and a step S140 of processing an acceptance or rejection response to the confirmation event.

단계 S110에서는, 승낙/거절 응답을 요구하는 확인 이벤트가 발생할 수 있다. 즉, 이때 발생하는 확인 이벤트는 도 4에 도시된 바와 같이 프로그램 또는 작업 종료 명령어에 응답해 종료 여부를 재확인하는 이벤트일 수 있으며, 데이터 전송 시 수신인 확인 등 프로그램에서 추가적인 확인 또는 재질문이 필요하다고 판단하여 출력하는 여러 가지 이벤트일 수 있다. 이때, 확인 이벤트의 내용은 승낙(Yes) 또는 거절(No)로 응답 가능한 Yes/No Question에 해당하는 간단한 질문일 수 있다.In step S110, a confirmation event requesting an acceptance/rejection response may occur. In other words, the confirmation event that occurs at this time may be an event that reconfirms whether or not the program or task has been terminated in response to a program or task termination command, as shown in Figure 4, and it is determined that additional confirmation or re-questioning is necessary in the program, such as confirmation of the recipient when transmitting data. There may be several events that are output. At this time, the content of the confirmation event may be a simple question corresponding to a Yes/No Question that can be answered with Yes or No.

단계 S120에서는, 센서 활성화부(120)에서 머리 움직임을 인식하는 센서를 활성화할 수 있다. 머리 움직임이 지나치게 민감하게 센싱되면 머리 착용형 디스플레이 장치(10)의 사용에 불편이 있을 수 있으므로, 불활성화 상태의 센서를 단계 S110에서 확인 이벤트가 발생했을 때 활성화하여, 머리 움직임을 확인 이벤트에 대한 사용자 응답으로 수신할 수 있도록 제어할 수 있다.In step S120, the sensor activation unit 120 may activate a sensor that recognizes head movement. If head movement is sensed too sensitively, there may be inconvenience in using the head-worn display device 10, so the sensor in the deactivated state is activated when a confirmation event occurs in step S110 to detect head movement in response to the confirmation event. It can be controlled to receive user responses.

단계 S130에서는, 활성화한 센서를 사용해 판별부(130)에서 머리 움직임을 인식하고, 승낙 또는 거절을 판별할 수 있다. 이때, 단계 S110의 확인 이벤트 활성화 후 미리 정해진 시간 동안에만 IMU 센서(310)에 의한 머리 움직임을 인식하고 이를 확인 이벤트에 대한 응답으로 사용할 수 있으며, 미리 정해진 시간이 경과하면 단계 S110의 확인 이벤트를 재출력하거나 응답을 다시 요구할 수 있다. 보다 구체적으로, 단계 S130에서는, 머리 움직임이 끄덕임에 해당하면 승낙, 머리 움직임이 좌우 회전에 해당하면 거절로 판별할 수 있다.In step S130, the determination unit 130 can recognize head movement using the activated sensor and determine acceptance or rejection. At this time, after activating the confirmation event in step S110, the head movement by the IMU sensor 310 can be recognized only for a predetermined time and used as a response to the confirmation event. When the predetermined time has elapsed, the confirmation event in step S110 can be reactivated. You can print it out or request a response again. More specifically, in step S130, acceptance can be determined if the head movement corresponds to a nod, and rejection can be determined if the head movement corresponds to left and right rotation.

도 8은 본 발명의 일실시예에 따른 머리 착용형 디스플레이 장치(10)를 위한 확인 이벤트 처리 방법에서, 승낙 모션을 예를 들어 도시한 도면이고, 도 9는 본 발명의 일실시예에 따른 머리 착용형 디스플레이 장치(10)를 위한 확인 이벤트 처리 방법에서, 거절 모션을 예를 들어 도시한 도면이다. 발명의 일실시예에 따른 머리 착용형 디스플레이 장치(10)를 위한 확인 이벤트 처리 방법의 단계 S130에서는, 도 8에 도시된 바와 같이 통상적인 긍정 표시인 머리 끄덕임을 확인 이벤트에 대한 승낙(Yes)으로, 도 9에 도시된 바와 같이 통상적인 부정 표시인 머리 좌우 회전을 확인 이벤트에 대한 거절(No)로 각각 판별하여, 착용자가 직관적으로 머리를 움직이는 것으로 확인 이벤트에 대한 응답을 간단히 입력할 수 있다.FIG. 8 is a diagram illustrating an acceptance motion as an example in the confirmation event processing method for the head-worn display device 10 according to an embodiment of the present invention, and FIG. 9 is a diagram illustrating an example of an acceptance motion according to an embodiment of the present invention. This diagram shows an example of a rejection motion in the confirmation event processing method for the wearable display device 10. In step S130 of the confirmation event processing method for the head-worn display device 10 according to an embodiment of the invention, as shown in FIG. 8, a head nod, which is a typical positive indication, is used as approval (Yes) for the confirmation event. , As shown in FIG. 9, the left and right head rotation, which is a typical negative indication, is determined as a rejection (No) to the confirmation event, and the wearer can simply input a response to the confirmation event by intuitively moving the head.

특히, 확인 이벤트는 프로그램 종료, 데이터 전송 등 입력한 명령을 다시 확인하는 과정이므로 착용자는 이러한 확인 이벤트의 출력에 번거로움을 느낄 수 있는데, 일상적으로 사용하는 승낙 모션(머리 끄덕임)과 거절 모션(머리 좌우 회전)을 사용해 직관적이고 쉽고 빠른 UI(유저 인터페이스)를 제공할 수 있다.In particular, since the confirmation event is a process of reconfirming input commands such as program termination, data transmission, etc., the wearer may feel inconvenienced in the output of such confirmation events. The acceptance motion (head nod) and rejection motion (head nod) used on a daily basis may be inconvenient. You can provide an intuitive, easy and fast UI (user interface) using left and right rotation.

단계 S140에서는, 응답 처리부(140)에서 단계 S130의 판별 결과에 따라 확인 이벤트에 대해 승낙 또는 거절 응답을 처리할 수 있다. 즉, 단계 S140에서는, 응답 처리부(140)가 제어부(400)와 상호작용해, 확인 이벤트에 대한 승낙 또는 거절을 처리하고 기존 입력된 명령을 수행 또는 취소할 수 있다.In step S140, the response processing unit 140 may process an acceptance or rejection response to the confirmation event according to the determination result in step S130. That is, in step S140, the response processing unit 140 can interact with the control unit 400 to process acceptance or rejection of the confirmation event and perform or cancel the previously input command.

전술한 바와 같이, 본 발명에서 제안하고 있는 머리 착용형 디스플레이 장치(10)를 위한 확인 이벤트 처리 방법 및 장치에 따르면, 머리 착용형 디스플레이 장치(10)에서 발생하는 확인 이벤트에 대하여 센서를 사용해 인식한 머리 움직임에 따라 승낙 또는 거절을 판별해 처리함으로써, 직관적으로 사용할 수 있는 머리 움직임으로 확인 이벤트에 대해 쉽고 빠르고 정확하게 응답하며, 입력한 명령을 다시 확인하는 과정인 확인 이벤트의 출력에 따른 착용자의 번거로움을 최소화할 수 있다.As described above, according to the confirmation event processing method and device for the head-worn display device 10 proposed in the present invention, the confirmation event occurring in the head-worn display device 10 is recognized using a sensor. By determining and processing acceptance or rejection based on head movement, it responds to confirmation events easily, quickly, and accurately with head movements that can be intuitively used, and eliminates the wearer's inconvenience due to the output of the confirmation event, which is the process of reconfirming the entered command. can be minimized.

한편, 본 발명은 다양한 통신 단말기로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터에서 판독 가능한 매체를 포함할 수 있다. 예를 들어, 컴퓨터에서 판독 가능한 매체는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD_ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.Meanwhile, the present invention may include a computer-readable medium containing program instructions for performing operations implemented in various communication terminals. For example, computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD_ROM and DVD, and floptical disks. It may include magneto-optical media and hardware devices specifically configured to store and perform program instructions, such as ROM, RAM, flash memory, etc.

이와 같은 컴퓨터에서 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이때, 컴퓨터에서 판독 가능한 매체에 기록되는 프로그램 명령은 본 발명을 구현하기 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예를 들어, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.Such computer-readable media may include program instructions, data files, data structures, etc., singly or in combination. At this time, program instructions recorded on a computer-readable medium may be specially designed and configured to implement the present invention, or may be known and available to those skilled in the computer software art. For example, it may include not only machine language code such as that produced by a compiler, but also high-level language code that can be executed by a computer using an interpreter, etc.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention described above can be modified or applied in various ways by those skilled in the art, and the scope of the technical idea according to the present invention should be determined by the claims below.

10: 머리 착용형 디스플레이 장치
100: 본 발명의 특징에 따른 확인 이벤트 처리 장치
110: 이벤트 발생부
120: 센서 활성화부
130: 판별부
140: 응답 처리부
200: 광학 디스플레이부
210: 디스플레이
220: 광학계
300: 센서부
310: IMU 센서
400: 제어부
500: 통신부
S110: 승낙/거절 응답을 요구하는 확인 이벤트가 발생하는 단계
S120: 머리 움직임을 인식하는 센서를 활성화하는 단계
S130: 머리 움직임을 인식하고 승낙 또는 거절을 판별하는 단계
S140: 확인 이벤트에 대해 승낙 또는 거절 응답을 처리는 단계10: Head-worn display device
100: Confirmation event processing device according to the characteristics of the present invention
110: Event occurrence unit
120: sensor activation unit
130: Determination unit
140: Response processing unit
200: Optical display unit
210: display
220: Optical system
300: Sensor unit
310: IMU sensor
400: Control unit
500: Department of Communications
S110: Step in which a confirmation event requiring an acceptance/rejection response occurs
S120: Activating a sensor that recognizes head movement
S130: Step of recognizing head movement and determining acceptance or rejection
S140: Processing an acceptance or rejection response to a confirmation event

Claims (8)

머리 착용형 디스플레이 장치(10)에 의해 각 단계가 수행되는 확인 이벤트 처리 방법으로서,
(1) 승낙/거절 응답을 요구하는 확인 이벤트가 발생하는 단계;
(2) 불활성화 상태의 머리 움직임을 인식하는 센서를 상기 단계 (1)에서 확인 이벤트가 발생했을 때 활성화하는 단계;
(3) 상기 활성화한 센서를 사용해 머리 움직임을 인식하고, 승낙 또는 거절을 판별하는 단계; 및
(4) 상기 단계 (3)의 판별 결과에 따라 상기 확인 이벤트에 대해 승낙 또는 거절 응답을 처리하는 단계를 포함하며,
상기 센서는,
상기 머리 착용형 디스플레이 장치(10)의 일측에 구비되어, 착용자의 머리 자세로부터 머리 움직임을 인식하는 IMU 센서(310)이며,
상기 확인 이벤트는,
상기 머리 착용형 디스플레이 장치(10)에서 구동된 프로그램에서 입력된 명령어의 수행을 다시 확인하는 재질문 이벤트이며,
상기 단계 (3)에서는,
상기 머리 움직임이 끄덕임에 해당하면 승낙, 상기 머리 움직임이 좌우 회전에 해당하면 거절로 판별하며,
상기 단계 (1)에서 확인 이벤트가 발생한 후 미리 정해진 시간 동안에만 상기 센서에 의한 머리 움직임 인식에 따른 승낙 또는 거절의 판별 결과를 상기 확인 이벤트에 대한 응답으로 사용하며, 상기 미리 정해진 시간이 경과하면 상기 단계 (1)의 확인 이벤트를 재출력하거나, 응답을 다시 요구하며,
상기 머리 착용형 디스플레이 장치(10)를 착용하고 홍채 인식 센서를 사용해 사용자 인증을 하면, 각 사용자에 따라 저장된 머리 움직임 패턴 및 머리 움직임 임계값의 설정 내용을 자동으로 적용하는 것을 특징으로 하는, 머리 착용형 디스플레이 장치(10)를 위한 확인 이벤트 처리 방법.
A confirmation event processing method in which each step is performed by the head-worn display device 10, comprising:
(1) A confirmation event requiring an acceptance/rejection response occurs;
(2) activating a sensor that recognizes head movement in an inactivated state when the confirmation event in step (1) occurs;
(3) recognizing head movement using the activated sensor and determining acceptance or rejection; and
(4) Processing an acceptance or rejection response to the confirmation event according to the determination result of step (3),
The sensor is,
An IMU sensor 310 is provided on one side of the head-worn display device 10 and recognizes head movement from the wearer's head posture,
The confirmation event is,
It is a re-question event that re-confirms the execution of the command input from the program run on the head-worn display device 10,
In step (3),
If the head movement corresponds to a nod, it is judged as acceptance; if the head movement corresponds to left and right rotation, it is judged as rejection;
In step (1), the decision result of acceptance or rejection based on head movement recognition by the sensor is used as a response to the confirmation event only during a predetermined time after the confirmation event occurs, and when the predetermined time elapses, the decision result of acceptance or rejection is used as a response to the confirmation event. Reprint the confirmation event in step (1) or request a response again,
When the head-worn display device 10 is worn and user authentication is performed using an iris recognition sensor, the head movement pattern and head movement threshold settings stored for each user are automatically applied. Confirmation event processing method for type display device (10).
 삭제delete 삭제delete 삭제delete 머리 착용형 디스플레이 장치(10)에 의해 각 단계가 수행되는 확인 이벤트 처리 장치(100)로서,
머리 착용형 디스플레이 장치(10)에서 승낙/거절 응답을 요구하는 확인 이벤트가 발생하는 이벤트 발생부(110);
불활성화 상태의 머리 움직임을 인식하는 센서를 상기 이벤트 발생부에서 확인 이벤트가 발생했을 때 활성화하는 센서 활성화부(120);
상기 활성화한 센서를 사용해 머리 움직임을 인식하고, 승낙 또는 거절을 판별하는 판별부(130); 및
상기 판별부(130) 판별 결과에 따라 상기 확인 이벤트에 대해 승낙 또는 거절 응답을 처리하는 응답 처리부(140)를 포함하며,
상기 센서는,
상기 머리 착용형 디스플레이 장치(10)의 일측에 구비되어, 착용자의 머리 자세로부터 머리 움직임을 인식하는 IMU 센서(310)이며,
상기 확인 이벤트는,
상기 머리 착용형 디스플레이 장치(10)에서 구동된 프로그램에서 입력된 명령어의 수행을 다시 확인하는 재질문 이벤트이며,
상기 판별부(130)는,
상기 머리 움직임이 끄덕임에 해당하면 승낙, 상기 머리 움직임이 좌우 회전에 해당하면 거절로 판별하며,
상기 이벤트 발생부(110)에서 확인 이벤트가 발생한 후 미리 정해진 시간 동안에만 상기 센서에 의한 머리 움직임 인식에 따른 승낙 또는 거절의 판별 결과를 상기 확인 이벤트에 대한 응답으로 사용하며, 상기 미리 정해진 시간이 경과하면 상기 확인 이벤트를 재출력하거나, 응답을 다시 요구하며,
상기 머리 착용형 디스플레이 장치(10)를 착용하고 홍채 인식 센서를 사용해 사용자 인증을 하면, 각 사용자에 따라 저장된 머리 움직임 패턴 및 머리 움직임 임계값의 설정 내용을 자동으로 적용하는 것을 특징으로 하는, 머리 착용형 디스플레이 장치(10)를 위한 확인 이벤트 처리 장치(100).A confirmation event processing device (100) in which each step is performed by the head-worn display device (10),
An event generator 110 that generates a confirmation event requesting an acceptance/rejection response from the head-worn display device 10;
a sensor activation unit 120 that activates a sensor that recognizes head movement in an inactivated state when a confirmation event occurs in the event generation unit;
A determination unit 130 that recognizes head movement using the activated sensor and determines acceptance or rejection; and
It includes a response processing unit 140 that processes an acceptance or rejection response to the confirmation event according to the determination result of the determination unit 130,
The sensor is,
An IMU sensor 310 is provided on one side of the head-worn display device 10 and recognizes head movement from the wearer's head posture,
The confirmation event is,
It is a re-question event that re-confirms the execution of the command input from the program run on the head-worn display device 10,
The determination unit 130,
If the head movement corresponds to a nod, it is judged as acceptance; if the head movement corresponds to left and right rotation, it is judged as rejection;
After the confirmation event occurs in the event generator 110, the decision result of acceptance or rejection based on head movement recognition by the sensor is used as a response to the confirmation event only during a predetermined time, and the predetermined time elapses. If so, the confirmation event will be reprinted or a response will be requested again.
When the head-worn display device 10 is worn and user authentication is performed using an iris recognition sensor, the head movement pattern and head movement threshold settings stored for each user are automatically applied. Confirmation event processing device (100) for type display device (10). 삭제delete 삭제delete 삭제delete
KR1020210133502A 2021-10-07 2021-10-07 Confirmation event handling method and apparatus for head-mounted display apparatus KR102633493B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210133502A KR102633493B1 (en) 2021-10-07 2021-10-07 Confirmation event handling method and apparatus for head-mounted display apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210133502A KR102633493B1 (en) 2021-10-07 2021-10-07 Confirmation event handling method and apparatus for head-mounted display apparatus

Publications (2)

Publication Number Publication Date
KR20230050160A KR20230050160A (en) 2023-04-14
KR102633493B1 true KR102633493B1 (en) 2024-02-06

Family

ID=85946475

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210133502A KR102633493B1 (en) 2021-10-07 2021-10-07 Confirmation event handling method and apparatus for head-mounted display apparatus

Country Status (1)

Country Link
KR (1) KR102633493B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120235883A1 (en) 2010-02-28 2012-09-20 Osterhout Group, Inc. See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US20150138074A1 (en) * 2013-11-15 2015-05-21 Kopin Corporation Head Tracking Based Gesture Control Techniques for Head Mounted Displays
JP2019128757A (en) 2018-01-24 2019-08-01 セイコーエプソン株式会社 Head-mounted display device and control method therefor
US20200183496A1 (en) * 2017-08-01 2020-06-11 Sony Corporation Information processing apparatus and information processing method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101452372B1 (en) * 2013-03-06 2014-10-22 주식회사 씨트링 Method and System for Controlling Camera

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120235883A1 (en) 2010-02-28 2012-09-20 Osterhout Group, Inc. See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US20150138074A1 (en) * 2013-11-15 2015-05-21 Kopin Corporation Head Tracking Based Gesture Control Techniques for Head Mounted Displays
US20200183496A1 (en) * 2017-08-01 2020-06-11 Sony Corporation Information processing apparatus and information processing method
JP2019128757A (en) 2018-01-24 2019-08-01 セイコーエプソン株式会社 Head-mounted display device and control method therefor

Also Published As

Publication number Publication date
KR20230050160A (en) 2023-04-14

Similar Documents

Publication Publication Date Title
EP2929424B1 (en) Multi-touch interactions on eyewear
US9798517B2 (en) Tap to initiate a next action for user requests
KR102318788B1 (en) Wearable electronic device
WO2017091514A1 (en) Cross-device security scheme for tethered devices
US10559024B1 (en) Voice initiated purchase request
US9661501B2 (en) Mobile terminal and method for controlling the same
KR102110208B1 (en) Glasses type terminal and control method therefor
US20150130688A1 (en) Utilizing External Devices to Offload Text Entry on a Head Mountable Device
US11947728B2 (en) Electronic device for executing function based on hand gesture and method for operating thereof
US20230317032A1 (en) Transferring a virtual object
US20220236801A1 (en) Method, computer program and head-mounted device for triggering an action, method and computer program for a computing device and computing device
US20160306421A1 (en) Finger-line based remote control
KR102633493B1 (en) Confirmation event handling method and apparatus for head-mounted display apparatus
US20230325002A1 (en) Techniques for neuromuscular-signal-based detection of in-air hand gestures for text production and modification, and systems, wearable devices, and methods for using these techniques
JP2016149587A (en) Head-mounted display, method for controlling the same, and control program
US20230418364A1 (en) Methods and Systems for Selecting a Virtual Element in a Virtual or Augmented Reality Environment Generated by an Electronic Device
US9727716B1 (en) Shared workspace associated with a voice-request account
KR102539045B1 (en) Dashboard control apparatus and method for wearable augmented reality device
KR102636996B1 (en) Method for providing a virtual menu based on hand recognition for ar glasses apparatus and ar glasses system for providing a virtual menu based on hand recognition
KR102522142B1 (en) Wearable augmented reality device that inputs operation signal using a two-handed gesture and method of operating a wearable augmented reality device using a two-handed gesture
KR102633495B1 (en) Method of operating an app library through recognition of wrist and trigger gesture and head-mounted display apparatus in which the app library operates
KR101714691B1 (en) Method and program for playing game by mobile device
KR102613391B1 (en) Ar glasses apparatus having an automatic ipd adjustment using gesture and automatic ipd adjustment method using gesture for ar glasses apparatus
US20240143267A1 (en) Electronic device for using external device in metaverse and method thereof
US20230273985A1 (en) Devices, methods, and graphical user interfaces for authorizing a secure operation

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant