KR20230053452A - 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치 - Google Patents

손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치 Download PDF

Info

Publication number
KR20230053452A
KR20230053452A KR1020210136973A KR20210136973A KR20230053452A KR 20230053452 A KR20230053452 A KR 20230053452A KR 1020210136973 A KR1020210136973 A KR 1020210136973A KR 20210136973 A KR20210136973 A KR 20210136973A KR 20230053452 A KR20230053452 A KR 20230053452A
Authority
KR
South Korea
Prior art keywords
app
gesture
wrist
library
wearer
Prior art date
Application number
KR1020210136973A
Other languages
English (en)
Other versions
KR102633495B1 (ko
Inventor
최치원
이원석
Original Assignee
주식회사 피앤씨솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피앤씨솔루션 filed Critical 주식회사 피앤씨솔루션
Priority to KR1020210136973A priority Critical patent/KR102633495B1/ko
Priority to PCT/KR2022/005830 priority patent/WO2023063515A1/ko
Publication of KR20230053452A publication Critical patent/KR20230053452A/ko
Application granted granted Critical
Publication of KR102633495B1 publication Critical patent/KR102633495B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법에 관한 것으로서, 보다 구체적으로는 복수의 애플리케이션 프로그램(이하, “앱”이라 한다.)이 설치된 머리 착용형 디스플레이 장치에서 각 단계가 수행되는 앱 라이브러리 동작 방법으로서, (1) 착용자의 시야 내에 위치하는 착용자의 손목을 인식하는 단계; (2) 상기 단계 (1)에서 인식한 손목에 제1 콘텐츠를 증강현실 기반으로 표시하는 단계; (3) 상기 표시된 제1 콘텐츠와 연관된 트리거 제스처에 대응해, 착용자의 팔 위에 증강현실 기반으로 앱 아이콘을 배치하여 앱 라이브러리를 구동하는 단계; 및 (4) 상기 앱 라이브러리와 연관된 동작 제스처에 대응해, 상기 앱 라이브러리를 제어하는 단계를 포함하며, 상기 트리거 제스처는, 상기 손목에 표시된 제1 콘텐츠를 팔쪽에서 손쪽으로 또는 손쪽에서 팔쪽으로 가로지르는 동작인 것을 그 구성상의 특징으로 한다.
또한, 본 발명은 손목과 트리거 제스처의 단계적 인식을 통해 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치에 관한 것으로서, 보다 구체적으로는 복수의 애플리케이션 프로그램(이하, “앱”이라 한다.)이 설치된 머리 착용형 디스플레이 장치로서, 착용자의 양안의 전방에 배치되어 착용자에게 증강현실을 제공하는 광학 디스플레이부; 착용자의 손목 및 제스처를 인식하는 제스처 인식부; 상기 제스처 인식부에서 착용자의 시야 내에 위치하는 착용자의 손목을 인식하면, 상기 광학 디스플레이부를 통해 상기 제스처 인식부가 인식한 착용자의 손목에 제1 콘텐츠를 증강현실 기반으로 표시하는 잠금화면 표시부; 상기 표시된 제1 콘텐츠와 연관된 트리거 제스처를 상기 제스처 인식부에서 인식하면, 상기 트리거 제스처에 대응해 착용자의 팔 위에 증강현실 기반으로 앱 아이콘을 배치하여 앱 라이브러리를 구동하는 라이브러리 구동부; 및 상기 라이브러리 구동부에서 구동한 앱 라이브러리와 연관된 동작 제스처에 대응해, 상기 앱 라이브러리를 제어하는 제어부를 포함하며, 상기 트리거 제스처는, 상기 손목에 표시된 제1 콘텐츠를 팔쪽에서 손쪽으로 또는 손쪽에서 팔쪽으로 가로지르는 동작인 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치에 따르면, 손목 인식과 제스처 인식의 단계적 처리를 통해 복수의 인식 단계를 거치고, 일반적으로 사용하지 않는 제스처 유형으로 손목에 표시되는 제1 콘텐츠와 연관된 트리거 제스처를 사용해 오작동을 최소화하고 인식률을 높이며, 신체 구조상 편안하고 직관적인 동작으로 앱 라이브러리를 구동할 수 있다.

Description

손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치{METHOD OF OPERATING AN APP LIBRARY THROUGH RECOGNITION OF WRIST AND TRIGGER GESTURE AND HEAD-MOUNTED DISPLAY APPARATUS IN WHICH THE APP LIBRARY OPERATES}
본 발명은 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치에 관한 것으로서, 보다 구체적으로는 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치에 관한 것이다.
디지털 디바이스의 경량화 및 소형화 추세에 따라 다양한 웨어러블 디바이스(wearable device)들이 개발되고 있다. 이러한 웨어러블 디바이스의 일종인 헤드 마운티드 디스플레이(Head Mounted Display)는 사용자가 머리에 착용하여 멀티미디어 컨텐츠 등을 제공받을 수 있는 각종 디바이스를 의미한다. 여기서 헤드 마운티드 디스플레이(HMD)는 사용자의 신체에 착용 되어 사용자가 이동함에 따라서 다양한 환경에서 사용자에게 영상을 제공하게 된다. 이러한 헤드 마운티드 디스플레이(HMD)는 투과(see-through)형과 밀폐(see-closed)형으로 구분되고 있으며, 투과형은 주로 증강현실(Augmented Reality, AR)용으로 사용되고, 밀폐형은 주로 가상현실(Virtual Reality, VR)용으로 사용되고 있다.
헤드 마운티드 디스플레이는 기존의 터치스크린과 같은 입력 방식을 사용하기 어려우므로, 사용자 상호작용을 위한 최적화된 입력 방식이 필요하다. 헤드 마운티드 디스플레이의 증강현실에서 사용할 수 있는 입력 방식으로, HMD에 구비된 버튼이나 HMD와 연결된 별도의 입력 장치, 제스처 인식, 음성인식 등이 있을 수 있다.
증강현실용 헤드 마운티드 디스플레이(이하, ‘AR 글라스’라 한다.)는 스마트폰(Smartphone), 스마트 워치(Smart Watch)와 비슷하게 애플리케이션 프로그램(이하, “앱”이라 한다.)을 통해 여러 가지 활동을 할 수 있다. 따라서, AR 글라스에 설치된 앱을 정리해 놓고 열람하고 실행할 수 있도록 구성된 앱 라이브러리 기능이 필요하다.
전술한 바와 같이, 제스처 위주의 입력 방식을 사용하는 AR 글라스의 특성상 앱 라이브러리를 동작하기 위해서도 특정한 제스처가 필요하다. 그러나 일상적인 동작 시에 앱 라이브러리가 구동되어서는 안 되므로, 오작동 우려를 최소화하고 인식률도 높은 앱 라이브러리의 구동 방법의 개발이 요구된다.
한편, 본 발명과 관련된 선행기술로서, 등록특허 제10-1700569호(발명의 명칭: 제스처 기반의 사용자 인증이 가능한 HMD 장치 및 상기 HMD 장치의 제스처 기반의 사용자 인증 방법, 등록일자: 2017년 01월 23일) 등이 개시된 바 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 손목 인식과 제스처 인식의 단계적 처리를 통해 복수의 인식 단계를 거치고, 일반적으로 사용하지 않는 제스처 유형으로 손목에 표시되는 제1 콘텐츠와 연관된 트리거 제스처를 사용해 오작동을 최소화하고 인식률을 높이며, 신체 구조상 편안하고 직관적인 동작으로 앱 라이브러리를 구동할 수 있는, 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치를 제공하는 것을 그 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치는,
복수의 애플리케이션 프로그램(이하, “앱”이라 한다.)이 설치된 머리 착용형 디스플레이 장치에서 각 단계가 수행되는 앱 라이브러리 동작 방법으로서,
(1) 착용자의 시야 내에 위치하는 착용자의 손목을 인식하는 단계;
(2) 상기 단계 (1)에서 인식한 손목에 제1 콘텐츠를 증강현실 기반으로 표시하는 단계;
(3) 상기 표시된 제1 콘텐츠와 연관된 트리거 제스처에 대응해, 착용자의 팔 위에 증강현실 기반으로 앱 아이콘을 배치하여 앱 라이브러리를 구동하는 단계; 및
(4) 상기 앱 라이브러리와 연관된 동작 제스처에 대응해, 상기 앱 라이브러리를 제어하는 단계를 포함하며,
상기 트리거 제스처는,
상기 손목에 표시된 제1 콘텐츠를 팔쪽에서 손쪽으로 또는 손쪽에서 팔쪽으로 가로지르는 동작인 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 단계 (3)에서는,
상기 단계 (1)에서 인식한 착용자의 손목부터 팔꿈치까지의 공간 위에 팔의 길이 방향으로 미리 정해진 간격으로 앱 아이콘을 배치하는 것을 특징으로 하는, 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법.
바람직하게는, 상기 단계 (4)에서는,
상기 동작 제스처에 대응해 상기 앱 라이브러리에 포함된 앱의 선택, 실행 및 앱 아이콘 스크롤을 포함하는 군에서 선택된 적어도 하나의 동작을 수행할 수 있다.
더욱 바람직하게는, 상기 단계 (4)에서는,
상기 동작 제스처가 앱의 실행 제스처이면 상기 앱 라이브러리를 종료하고 해당 앱을 실행할 수 있다.
바람직하게는, 상기 단계 (2) 내지 단계 (4) 중 어느 하나에서는,
종료 제스처가 인식되면, 상기 종료 제스처에 대응해 상기 앱 라이브러리의 동작을 종료할 수 있다.
더욱 바람직하게는, 상기 종료 제스처는,
상기 단계 (1)에서 인식된 손목을 뒤집어 반대쪽을 인식하는 동작일 수 있다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치는,
복수의 애플리케이션 프로그램(이하, “앱”이라 한다.)이 설치된 머리 착용형 디스플레이 장치로서,
착용자의 양안의 전방에 배치되어 착용자에게 증강현실을 제공하는 광학 디스플레이부;
착용자의 손목 및 제스처를 인식하는 제스처 인식부;
상기 제스처 인식부에서 착용자의 시야 내에 위치하는 착용자의 손목을 인식하면, 상기 광학 디스플레이부를 통해 상기 제스처 인식부가 인식한 착용자의 손목에 제1 콘텐츠를 증강현실 기반으로 표시하는 잠금화면 표시부;
상기 표시된 제1 콘텐츠와 연관된 트리거 제스처를 상기 제스처 인식부에서 인식하면, 상기 트리거 제스처에 대응해 착용자의 팔 위에 증강현실 기반으로 앱 아이콘을 배치하여 앱 라이브러리를 구동하는 라이브러리 구동부; 및
상기 라이브러리 구동부에서 구동한 앱 라이브러리와 연관된 동작 제스처에 대응해, 상기 앱 라이브러리를 제어하는 제어부를 포함하며,
상기 트리거 제스처는,
상기 손목에 표시된 제1 콘텐츠를 팔쪽에서 손쪽으로 또는 손쪽에서 팔쪽으로 가로지르는 동작인 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 라이브러리 구동부는,
상기 제스처 인식부가 인식한 착용자의 손목부터 팔꿈치까지의 공간 위에 팔의 길이 방향으로 미리 정해진 간격으로 앱 아이콘을 배치하며,
상기 제어부는,
상기 동작 제스처에 대응해 상기 앱 라이브러리에 포함된 앱의 선택, 실행 및 앱 아이콘 스크롤을 포함하는 군에서 선택된 적어도 하나의 동작을 수행할 수 있다.
본 발명에서 제안하고 있는 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치에 따르면, 손목 인식과 제스처 인식의 단계적 처리를 통해 복수의 인식 단계를 거치고, 일반적으로 사용하지 않는 제스처 유형으로 손목에 표시되는 제1 콘텐츠와 연관된 트리거 제스처를 사용해 오작동을 최소화하고 인식률을 높이며, 신체 구조상 편안하고 직관적인 동작으로 앱 라이브러리를 구동할 수 있다.
도 1은 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통해 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치의 구성을 도시한 도면.
도 2 및 도 3은 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통해 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치의 모습을 예를 들어 도시한 도면.
도 4는 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법의 흐름을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법의 단계 S110 및 단계 S120을 설명하기 위해 도시한 도면.
도 6은 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법의 단계 S130을 설명하기 위해 도시한 도면.
도 7은 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법에 의해 앱 라이브러리가 구동된 모습을 예를 들어 도시한 도면.
도 8은 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법의 단계 S140에서 앱을 선택하는 모습을 예를 들어 도시한 도면.
도 9 및 도 10은 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법의 단계 S140에서 앱 아이콘을 스크롤하는 모습을 예를 들어 도시한 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통해 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치(10)의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통해 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치(10)는, 복수의 애플리케이션 프로그램(이하, “앱”이라 한다.)이 설치된 머리 착용형 디스플레이 장치(10)로서, 착용자의 양안의 전방에 배치되어 착용자에게 증강현실을 제공하는 광학 디스플레이부(100); 착용자의 손목 및 제스처를 인식하는 제스처 인식부(200); 제스처 인식부(200)에서 착용자의 시야 내에 위치하는 착용자의 손목을 인식하면, 광학 디스플레이부(100)를 통해 제스처 인식부(200)가 인식한 착용자의 손목에 제1 콘텐츠를 증강현실 기반으로 표시하는 잠금화면 표시부(300); 표시된 제1 콘텐츠와 연관된 트리거 제스처를 제스처 인식부(200)에서 인식하면, 트리거 제스처에 대응해 착용자의 팔 위에 증강현실 기반으로 앱 아이콘을 배치하여 앱 라이브러리를 구동하는 라이브러리 구동부(400); 및 라이브러리 구동부(400)에서 구동한 앱 라이브러리와 연관된 동작 제스처에 대응해, 앱 라이브러리를 제어하는 제어부(500)를 포함하여 구성될 수 있으며, 카메라부(600), 센서부(700) 및 통신부(800)를 더 포함하여 구성될 수 있다.
도 2 및 도 3은 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통해 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치(10)의 모습을 예를 들어 도시한 도면이다. 도 2 및 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통해 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치(10)는, 눈 주변이 밀폐된 형태의 고글 또는 측면이 개방된 형태의 안경 등으로 구현될 수 있다.
여기서, 광학 디스플레이부(100)는, 착용자의 양안의 전방에 배치되어 착용자에게 증강현실을 제공할 수 있다. 보다 구체적으로, 광학 디스플레이부(100)는, 착용자의 양안의 전방에 배치되어 착용자에게 증강현실, 혼합현실 및 가상현실 중 적어도 어느 하나를 제공할 수 있다. 즉, 광학 디스플레이부(100)는 머리 착용형 디스플레이 장치(10)의 AR, VR 또는 MR 글라스에 해당하는 구성으로서, 도 1에 도시된 바와 같이 디스플레이(110) 및 광학계(120)를 포함하여 구성될 수 있다.
디스플레이(110)는, 영상 정보가 착용자에게 제공될 수 있도록 영상 광을 출력할 수 있다. 보다 구체적으로, 디스플레이(110)는, 영상 정보가 착용자에게 제공될 수 있도록, 이하에서 상세히 설명할 광학계(120)에 결합해, 광학계(120)에 의해 착용자의 눈 방향으로 전달되는 영상 광을 출력하며, 양안 디스플레이를 위해 한 쌍의 디스플레이(110)로 구성될 수 있다. 디스플레이(110)는 OLED 등으로 다양하게 구성될 수 있다.
광학계(120)는, 머리 착용형 디스플레이 장치(10)를 착용한 착용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공할 수 있다. 보다 구체적으로, 광학계(120)는, 착용자의 시야를 통한 실제 세계(real world)의 광의 적어도 일부를 투과시키고, 디스플레이(110)에서 출력되는 영상 광을 착용자의 눈 방향으로 전달하여 증강현실을 제공할 수 있다. 즉, 광학계(120)는 머리 착용형 디스플레이 장치(10)를 착용한 착용자가 증강현실을 경험할 수 있도록 구성될 수 있다.
또한, 광학계(120)는 복수의 렌즈와 미러 등으로 구성되며 다양한 방식으로 구현될 수 있는데, 예를 들어 광학 회절 방식, 빔 스플리터 방식, 핀 미러 방식 등으로 구현될 수 있다.
제스처 인식부(200)는, 착용자의 손목 및 제스처를 인식할 수 있다. 보다 구체적으로는, 제스처 인식부(200)는 카메라부(600)로부터 획득한 착용자의 시선 방향 영상으로부터 손과 제스처를 인식할 수 있다. 예를 들어, 착용자가 손목을 바라보면, 제스처 인식부(200)는 카메라 영상에서 손과 팔의 두께 변화를 인식해 손목 부분을 특정할 수 있다. 손목은 손과 팔 사이에서 두께가 급격히 변하는 부위로, 세부적인 손의 골격을 인식해야 하는 손 또는 제스처 인식에 비해 빠르고 정확하게 인식 프로세스를 처리할 수 있다. 또한, 제스처 인식부(200)는 착용자가 앱 라이브러리를 구동하고 제어하는 데 사용하는 다양한 제스처를 인식할 수 있으며, 각각의 제스처는 손의 모습(자세)과 동작 중 적어도 하나로 구성될 수 있다.
이때, 제스처 인식부(200)는, 영상 처리, 인공지능 등을 기반으로 하는 비전 인식 기술을 사용해 손 형상이나 특징점 등을 추정할 수 있으며, 추정된 손 형상이나 특징점을 사용해 제스처를 인식할 수 있다.
실시예에 따라서, 제스처 인식부(200)는, 머리 착용형 디스플레이 장치(10)의 RGB 카메라, 적외선 이미지 카메라, 깊이 센서 등에서 획득한 손 영상을 사용할 수 있다. 보다 구체적으로, 제스처 인식부(200)는, 머리 착용형 디스플레이 장치(10)의 적외선 이미지 카메라로부터 획득한 적외선 손 영상을 사용할 수 있다.
적외선 영상은 단일채널 이미지로, 적외선 손 영상을 사용해 제스처 인식을 하면 이미지 처리에 사용되는 계산 비용을 줄일 수 있으므로, 머리 착용형 디스플레이 장치(10)의 임베디드 환경에서도 제스처 인식을 효과적으로 수행할 수 있다. 특히, 머리 착용형 디스플레이 장치(10)는 무게가 무거우면 목과 어깨에 부담이 되고 머리 움직임이 제한되어 장시간 착용이 어려우므로, 경량화 및 소형화가 중요하다. 따라서 머리 착용형 디스플레이 장치(10)에 많은 계산 자원을 탑재할 수 없으므로, 단일채널 이미지인 적외선 영상을 사용해 임베디드 환경에서 사용할 수 있도록 계산 비용을 줄일 수 있다.
잠금화면 표시부(300), 라이브러리 구동부(400) 및 제어부(500)에 대해서는, 이하에서 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법과 관련해 상세히 설명하도록 한다.
도 4는 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법의 흐름을 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법은, 복수의 애플리케이션 프로그램(이하, “앱”이라 한다.)이 설치된 머리 착용형 디스플레이 장치(10)에서 각 단계가 수행되는 앱 라이브러리 동작 방법으로서, 착용자의 손목을 인식하는 단계(S110), 손목에 제1 콘텐츠를 증강현실 기반으로 표시하는 단계(S120), 제1 콘텐츠와 연관된 트리거 제스처에 대응해 앱 라이브러리를 구동하는 단계(S130), 및 동작 제스처에 대응해 앱 라이브러리를 제어하는 단계(S140)를 포함하여 구현될 수 있다.
단계 S110에서는, 제스처 인식부(200)에서 착용자의 시야 내에 위치하는 착용자의 손목을 인식할 수 있다. 즉, 착용자가 머리 착용형 디스플레이 장치(10)를 착용하고 손목을 바라보면, 제스처 인식부(200)가 손과 손목의 두께 변화를 인식해 손목 부분을 특정할 수 있다. 이때, 손목은 손목의 바깥쪽(손등 쪽) 또는 안쪽(손바닥 쪽)일 수 있으며, 제스처 인식부(200)는 손의 모습으로부터 바깥쪽 손목인지 안쪽 손목인지를 특정할 수 있다.
단계 S120에서는, 잠금화면 표시부(300)에서 단계 S110에서 인식한 손목에 증강현실 기반으로 제1 콘텐츠를 표시할 수 있다. 즉, 단계 S110에서 손목 바깥쪽(손등 쪽)이 인식 및 특정되면, 광학 디스플레이부(100)를 통해 특정된 손목 바깥쪽 부위에 제1 콘텐츠를 증강현실 영상 광으로 출력할 수 있다. 여기서, 제1 콘텐츠는 미리 정해진 콘텐츠로, 스마트폰의 잠금화면에 해당하는 콘텐츠일 수 있으며, 일반적인 정보확인용 콘텐츠일 수 있다.
도 5는 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법의 단계 S110 및 단계 S120을 설명하기 위해 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법에서는, 착용자가 머리 착용형 디스플레이 장치(10)를 착용한 상태에서 손목 바깥쪽을 바라보면 손목이 인식되고(단계 S110, 좌측 도면), 인식된 손목에 시간이나 날씨 등을 확인할 수 있는 가상 손목시계 형태의 정보확인용 콘텐츠가 제1 콘텐츠로 표시될 수 있다(단계 S120, 우측 도면).
단계 S130에서는, 라이브러리 구동부(400)가, 표시된 제1 콘텐츠와 연관된 트리거 제스처에 대응해, 착용자의 팔 위에 증강현실 기반으로 앱 아이콘을 배치하여 앱 라이브러리를 구동할 수 있다. 여기서, 트리거 제스처는, 손목에 표시된 제1 콘텐츠를 팔쪽에서 손쪽으로 또는 손쪽에서 팔쪽으로 가로지르는 동작일 수 있다.
도 6은 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법의 단계 S130을 설명하기 위해 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법에서는, 착용자가 한쪽 손목(왼쪽 손목)의 바깥쪽에 표시된 제1 콘텐츠를 다른 쪽 손(오른손)의 손가락 2개를 사용해 팔쪽에서 손쪽으로 가로질러 쓸어넘기는 동작을 트리거 제스처로 수행할 수 있다. 이때, 트리거 제스처는 제1 콘텐츠와 연관된 것으로 다른 제스처들과 구별되어 앱 라이브러리를 구동하기 위한 트리거(trigger) 역할을 할 수 있도록 구성되며, 다양하게 정의될 수 있다. 예를 들어, 손가락 1개, 손가락 4개, 손바닥 등을 사용할 수 있고, 제1 콘텐츠를 손쪽에서 팔쪽으로 가로지르거나, 팔의 길이 방향과 수직이 되도록 제1 콘텐츠를 쓸어내리거나, 제1 콘텐츠를 특정 방향 또는 위치로 이동시키는 등 다양한 동작을 트리거 제스처로 정의할 수 있다.
한편, 단계 S130에서는, 착용자의 트리거 제스처에 대응해 앱 라이브러리를 구동할 수 있다. 보다 구체적으로, 제스처 인식부(200)에서 트리거 제스처를 인식하면 손목에 표시된 제1 콘텐츠를 제거하고, 착용자 팔의 손목부터 팔꿈치까지의 공간을 사용해 앱 라이브러리를 구동할 수 있다.
도 7은 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법에 의해 앱 라이브러리가 구동된 모습을 예를 들어 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법의 단계 S130에서는, 라이브러리 구동부(400)가 단계 S110에서 인식한 착용자의 손목부터 팔꿈치까지의 공간 위에 팔의 길이 방향으로 미리 정해진 간격으로 앱 아이콘을 배치할 수 있다. 이때, 도 7에 도시된 바와 같이 앱 아이콘이 한 줄로 나열될 수 있으나 여러 줄로 나열될 수도 있고, 개발자 또는 착용자가 설정한 아이콘 크기와 착용자의 팔 길이, 착용자의 시야 내의 팔 위치, 자세, 길이, 넓이 등에 따라 앱 아이콘의 크기와 배치는 변경될 수 있다.
단계 S140에서는, 제어부(500)에서 앱 라이브러리와 연관된 동작 제스처에 대응해, 앱 라이브러리를 제어할 수 있다. 보다 구체적으로, 단계 S140에서는, 동작 제스처에 대응해 앱 라이브러리에 포함된 앱의 선택, 실행 및 앱 아이콘 스크롤을 포함하는 군에서 선택된 적어도 하나의 동작을 수행할 수 있다.
도 8은 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법의 단계 S140에서 앱을 선택하는 모습을 예를 들어 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법에서는, 오른손 손가락을 사용해 앱 라이브러리가 표시된 왼팔에서 앱 아이콘을 선택할 수 있다. 단계 S140에서는, 동작 제스처가 앱의 실행 제스처이면 앱 라이브러리를 종료하고 해당 앱을 실행할 수 있다. 여기서, 앱의 실행 제스처는, 도 8에 도시된 바와 같이 증강현실로 표시된 가상의 앱 아이콘을 터치하는 제스처일 수 있다.
한편, 단계 S140에서 앱의 실행 제스처에 의해 앱 라이브러리가 종료되고 앱 실행 중에 착용자가 손목 바깥쪽을 바라보아 단계 S110의 손목 인식이 수행되면, 단계 S110 내지 단계 S140의 앱 라이브러리 구동을 단계적으로 실행함으로써, 앱 실행 중에도 쉽고 편리하게 앱 라이브러리를 구동할 수 있다.
도 9 및 도 10은 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법의 단계 S140에서 앱 아이콘을 스크롤하는 모습을 예를 들어 도시한 도면이다. 도 9에 도시된 바와 같이, 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법에서는, 앱 라이브러리가 구동된 팔을 좌우로 쓰는(sweep) 동작을 좌우 스크롤 제스처로 인식할 수 있다. 따라서 착용자가 오른손 손가락을 사용해 앱 라이브러리를 좌우로 스크롤하는 스크롤 제스처에 대응해, 팔의 길이로 인해 표시되지 않던 앱 아이콘들이 이동해 “메시지” 아이콘이 표시될 수 있다. 또한, 도 10에 도시된 바와 같이, 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법에서는, 상하 방향의 스크롤 제스처를 사용해 앱 라이브러리를 탐색할 수도 있다.
한편, 단계 S120 내지 단계 S140 중 어느 하나에서는, 종료 제스처가 인식되면, 종료 제스처에 대응해 앱 라이브러리의 동작을 종료할 수 있다. 여기서, 종료 제스처는, 단계 S110에서 인식된 손목을 뒤집어 반대쪽을 인식하는 동작일 수 있다.
예를 들어, 단계 S120에서 제1 콘텐츠가 손목 바깥쪽에 표시된 상태에서 착용자가 손목을 뒤집어 손목 안쪽을 인식시키면, 앱 라이브러리 구동 없이 제1 콘텐츠의 표시는 종료될 수 있다. 또한, 단계 S130에서 앱 라이브러리가 구동된 상태에서, 단계 S130 또는 단계 S140의 언제라도 착용자가 손목을 뒤집어 손목 안쪽이 인식되면 앱 라이브러리가 종료되며, 다시 앱 라이브러리를 구동하기 위해서는 단계 S110의 손목 바깥쪽 인식을 수행할 수 있다.
한편, 본 발명의 일실시예에 따른 손목과 트리거 제스처의 단계적 인식을 통해 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치(10)는, 카메라부(600), 센서부(700) 및 통신부(800)를 더 포함하여 구성될 수 있다.
즉, 제어부(500)는, 카메라부(600) 및 센서부(700)에서 수집한 정보에 기초하여, 착용자에게 제공할 영상 정보를 생성해 디스플레이(110)로 전송되도록 제어함으로써, 착용자가 증강현실을 통해 앱 라이브러리, 외부 환경에 대한 추가 정보 등을 최적화된 화면으로 전달받도록 할 수 있다.
카메라부(600)는, 착용자의 시야 방향의 영상을 촬영해 제스처 인식부(200)에 전달하여 비전 인식 기반으로 손목 및 제스처를 인식할 수 있다. 보다 구체적으로, 카메라부(600)는, 제스처 인식부(200)의 손목 및 제스처 인식 알고리즘에 따라 RGB 카메라, 적외선 이미지 카메라, 깊이 센서 등을 포함하여, 손목 및 제스처 인식에 필요한 손 영상을 제공할 수 있다.
센서부(700)는, 적어도 하나 이상의 센서를 포함할 수 있으며, 보다 구체적으로 동공 추적 센서, 홍채 인식 센서 등을 포함할 수 있다. 실시예에 따라서, 동공 추적 센서를 사용해 착용자의 시선을 추적하여, 착용자가 착용자의 손목을 바라볼 때 제스처 인식부에서 착용자의 손목을 인식하도록 구성함으로써, 착용자가 의도하지 않은 상황에서 앱 라이브러리 구동 또는 제1 콘텐츠 표시 등이 되지 않도록 할 수 있다. 이때, 미리 정해진 시간 이상 손목을 바라볼 때 단계 S110이 수행되도록 하여, 오작동을 최소화할 수 있다.
한편, 착용자가 착용형 증강현실 장치(10)를 착용하고 사용자 인증을 하면, 제어부(500)는 각 착용자에 따라 앱 아이콘 크기 및 배치 등의 앱 라이브러리 설정 내용, 개별 착용자의 동작 제스처 사용 패턴, 선호 조도, IPD(Inter-Pupillary Distance), 인터페이스 등 여러 가지 사용자별 설정 내용을 자동으로 적용할 수도 있다. 이때, 사용자 인증은 센서부(700)에 포함된 홍채 인식 센서 등을 사용할 수 있다.
통신부(800)는, 착용형 증강현실 장치(10)의 일측에 설치되며, 다른 착용형 증강현실 장치(10)나 서버 등과 각종 신호 및 데이터를 송수신할 수 있다. 여기서, 통신부(800)가 사용하는 네트워크는, 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network), 위성 통신망, 블루투스(Bluetooth), Wibro(Wireless Broadband Internet), HSDPA(High Speed Downlink Packet Access), LTE(Long Term Evolution), 3/4/5/6G(3/4/5/6th Generation Mobile Telecommunication) 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.
전술한 바와 같이, 본 발명에서 제안하고 있는 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치(10)에 따르면, 손목 인식과 제스처 인식의 단계적 처리를 통해 복수의 인식 단계를 거치고, 일반적으로 사용하지 않는 제스처 유형으로 손목에 표시되는 제1 콘텐츠와 연관된 트리거 제스처를 사용해 오작동을 최소화하고 인식률을 높이며, 신체 구조상 편안하고 직관적인 동작으로 앱 라이브러리를 구동할 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
10: 머리 착용형 디스플레이 장치
100: 광학 디스플레이부
110: 디스플레이
120: 광학계
200: 제스처 인식부
300: 잠금화면 표시부
400: 라이브러리 구동부
500: 제어부
600: 카메라부
700: 센서부
800: 통신부
S110: 착용자의 손목을 인식하는 단계
S120: 손목에 제1 콘텐츠를 증강현실 기반으로 표시하는 단계
S130: 제1 콘텐츠와 연관된 트리거 제스처에 대응해 앱 라이브러리를 구동하는 단계
S140: 동작 제스처에 대응해 앱 라이브러리를 제어하는 단계

Claims (8)

  1. 복수의 애플리케이션 프로그램(이하, “앱”이라 한다.)이 설치된 머리 착용형 디스플레이 장치(10)에서 각 단계가 수행되는 앱 라이브러리 동작 방법으로서,
    (1) 착용자의 시야 내에 위치하는 착용자의 손목을 인식하는 단계;
    (2) 상기 단계 (1)에서 인식한 손목에 제1 콘텐츠를 증강현실 기반으로 표시하는 단계;
    (3) 상기 표시된 제1 콘텐츠와 연관된 트리거 제스처에 대응해, 착용자의 팔 위에 증강현실 기반으로 앱 아이콘을 배치하여 앱 라이브러리를 구동하는 단계; 및
    (4) 상기 앱 라이브러리와 연관된 동작 제스처에 대응해, 상기 앱 라이브러리를 제어하는 단계를 포함하며,
    상기 트리거 제스처는,
    상기 손목에 표시된 제1 콘텐츠를 팔쪽에서 손쪽으로 또는 손쪽에서 팔쪽으로 가로지르는 동작인 것을 특징으로 하는, 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법.
  2. 제1항에 있어서, 상기 단계 (3)에서는,
    상기 단계 (1)에서 인식한 착용자의 손목부터 팔꿈치까지의 공간 위에 팔의 길이 방향으로 미리 정해진 간격으로 앱 아이콘을 배치하는 것을 특징으로 하는, 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법.
  3. 제1항에 있어서, 상기 단계 (4)에서는,
    상기 동작 제스처에 대응해 상기 앱 라이브러리에 포함된 앱의 선택, 실행 및 앱 아이콘 스크롤을 포함하는 군에서 선택된 적어도 하나의 동작을 수행하는 것을 특징으로 하는, 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법.
  4. 제3항에 있어서, 상기 단계 (4)에서는,
    상기 동작 제스처가 앱의 실행 제스처이면 상기 앱 라이브러리를 종료하고 해당 앱을 실행하는 것을 특징으로 하는, 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법.
  5. 제1항에 있어서, 상기 단계 (2) 내지 단계 (4) 중 어느 하나에서는,
    종료 제스처가 인식되면, 상기 종료 제스처에 대응해 상기 앱 라이브러리의 동작을 종료하는 것을 특징으로 하는, 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법.
  6. 제5항에 있어서, 상기 종료 제스처는,
    상기 단계 (1)에서 인식된 손목을 뒤집어 반대쪽을 인식하는 동작인 것을 특징으로 하는, 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법.
  7. 복수의 애플리케이션 프로그램(이하, “앱”이라 한다.)이 설치된 머리 착용형 디스플레이 장치(10)로서,
    착용자의 양안의 전방에 배치되어 착용자에게 증강현실을 제공하는 광학 디스플레이부(100);
    착용자의 손목 및 제스처를 인식하는 제스처 인식부(200);
    상기 제스처 인식부(200)에서 착용자의 시야 내에 위치하는 착용자의 손목을 인식하면, 상기 광학 디스플레이부(100)를 통해 상기 제스처 인식부(200)가 인식한 착용자의 손목에 제1 콘텐츠를 증강현실 기반으로 표시하는 잠금화면 표시부(300);
    상기 표시된 제1 콘텐츠와 연관된 트리거 제스처를 상기 제스처 인식부(200)에서 인식하면, 상기 트리거 제스처에 대응해 착용자의 팔 위에 증강현실 기반으로 앱 아이콘을 배치하여 앱 라이브러리를 구동하는 라이브러리 구동부(400); 및
    상기 라이브러리 구동부(400)에서 구동한 앱 라이브러리와 연관된 동작 제스처에 대응해, 상기 앱 라이브러리를 제어하는 제어부(500)를 포함하며,
    상기 트리거 제스처는,
    상기 손목에 표시된 제1 콘텐츠를 팔쪽에서 손쪽으로 또는 손쪽에서 팔쪽으로 가로지르는 동작인 것을 특징으로 하는, 손목과 트리거 제스처의 단계적 인식을 통해 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치(10).
  8. 제7항에 있어서, 상기 라이브러리 구동부(400)는,
    상기 제스처 인식부(200)가 인식한 착용자의 손목부터 팔꿈치까지의 공간 위에 팔의 길이 방향으로 미리 정해진 간격으로 앱 아이콘을 배치하며,
    상기 제어부(500)는,
    상기 동작 제스처에 대응해 상기 앱 라이브러리에 포함된 앱의 선택, 실행 및 앱 아이콘 스크롤을 포함하는 군에서 선택된 적어도 하나의 동작을 수행하는 것을 특징으로 하는, 손목과 트리거 제스처의 단계적 인식을 통해 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치(10).
KR1020210136973A 2021-10-14 2021-10-14 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치 KR102633495B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210136973A KR102633495B1 (ko) 2021-10-14 2021-10-14 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치
PCT/KR2022/005830 WO2023063515A1 (ko) 2021-10-14 2022-04-24 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210136973A KR102633495B1 (ko) 2021-10-14 2021-10-14 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치

Publications (2)

Publication Number Publication Date
KR20230053452A true KR20230053452A (ko) 2023-04-21
KR102633495B1 KR102633495B1 (ko) 2024-02-06

Family

ID=85988348

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210136973A KR102633495B1 (ko) 2021-10-14 2021-10-14 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치

Country Status (2)

Country Link
KR (1) KR102633495B1 (ko)
WO (1) WO2023063515A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150104769A (ko) * 2014-03-06 2015-09-16 엘지전자 주식회사 글래스 타입의 이동 단말기
US9510790B2 (en) * 2015-02-27 2016-12-06 Samsung Electronics Co., Ltd. Method for measuring biological signal and wearable electronic device for the same
KR20190063156A (ko) * 2017-11-29 2019-06-07 상명대학교산학협력단 제스처 인식 장치 및 그 방법
US20200387286A1 (en) * 2019-06-07 2020-12-10 Facebook Technologies, Llc Arm gaze-driven user interface element gating for artificial reality systems

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101502085B1 (ko) * 2013-10-04 2015-03-12 주식회사 매크론 안경형 디스플레이 디바이스의 동작인식 입력방법
KR101548872B1 (ko) * 2014-06-13 2015-09-02 세종대학교산학협력단 영상처리를 이용한 손가락 인식 방법 및 시스템
KR20160137253A (ko) * 2015-05-22 2016-11-30 한국전자통신연구원 증강 현실 디바이스 및 상기 증강 현실 디바이스를 위한 사용자 인터랙션 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150104769A (ko) * 2014-03-06 2015-09-16 엘지전자 주식회사 글래스 타입의 이동 단말기
US9510790B2 (en) * 2015-02-27 2016-12-06 Samsung Electronics Co., Ltd. Method for measuring biological signal and wearable electronic device for the same
KR20190063156A (ko) * 2017-11-29 2019-06-07 상명대학교산학협력단 제스처 인식 장치 및 그 방법
US20200387286A1 (en) * 2019-06-07 2020-12-10 Facebook Technologies, Llc Arm gaze-driven user interface element gating for artificial reality systems

Also Published As

Publication number Publication date
KR102633495B1 (ko) 2024-02-06
WO2023063515A1 (ko) 2023-04-20

Similar Documents

Publication Publication Date Title
EP2929424B1 (en) Multi-touch interactions on eyewear
CN105745568B (zh) 用于在可头戴式设备上执行多触摸操作的系统和方法
US20180210544A1 (en) Head Tracking Based Gesture Control Techniques For Head Mounted Displays
US10416835B2 (en) Three-dimensional user interface for head-mountable display
US8217856B1 (en) Head-mounted display that displays a visual representation of physical interaction with an input interface located outside of the field of view
CN104793842B (zh) 图形用户界面系统、显示处理装置及输入处理装置
US9500867B2 (en) Head-tracking based selection technique for head mounted displays (HMD)
US20220229524A1 (en) Methods for interacting with objects in an environment
US20160132189A1 (en) Method of controlling the display of images and electronic device adapted to the same
US20170115736A1 (en) Photo-Based Unlock Patterns
JP2015176588A (ja) 表示装置、画像表示システムおよび情報処理方法
US20170139567A1 (en) Entering Unlock Sequences Using Head Movements
JP2015176186A (ja) 情報処理装置、情報処理方法、及び情報処理システム
KR101370027B1 (ko) 안경형 디스플레이 디바이스용 마우스 장치 및 그 구동 방법
EP3109734A1 (en) Three-dimensional user interface for head-mountable display
KR102633495B1 (ko) 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치
WO2016006070A1 (ja) 携帯情報端末装置及びそれと連携するヘッドマウントディスプレイ
KR102636996B1 (ko) 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법 및 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템
KR102539045B1 (ko) 착용형 증강현실 장치를 위한 대시보드 제어 장치 및 대시보드 제어 방법
KR102522142B1 (ko) 양손 제스처를 이용해 조작 신호를 입력하는 착용형 증강현실 장치 및 양손 제스처를 이용한 착용형 증강현실 장치의 조작 방법
KR102585343B1 (ko) 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치 및 손 마디 인식을 이용한 착용형 증강현실 장치의 인터페이스 제공 방법
JPWO2020031493A1 (ja) 端末装置および端末装置の制御方法
JP6669183B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
KR20240028874A (ko) 외부 디바이스에 의해 제어되는 증강 현실 디바이스 및 그 동작 방법
KR20230050160A (ko) 머리 착용형 디스플레이 장치를 위한 확인 이벤트 처리 방법 및 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant