KR20230080081A - 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법 및 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템 - Google Patents

증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법 및 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템 Download PDF

Info

Publication number
KR20230080081A
KR20230080081A KR1020210167494A KR20210167494A KR20230080081A KR 20230080081 A KR20230080081 A KR 20230080081A KR 1020210167494 A KR1020210167494 A KR 1020210167494A KR 20210167494 A KR20210167494 A KR 20210167494A KR 20230080081 A KR20230080081 A KR 20230080081A
Authority
KR
South Korea
Prior art keywords
palm
virtual menu
augmented reality
wearer
providing
Prior art date
Application number
KR1020210167494A
Other languages
English (en)
Other versions
KR102636996B1 (ko
Inventor
최치원
조성동
김정환
백지엽
민경진
Original Assignee
주식회사 피앤씨솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피앤씨솔루션 filed Critical 주식회사 피앤씨솔루션
Priority to KR1020210167494A priority Critical patent/KR102636996B1/ko
Priority to PCT/KR2022/005833 priority patent/WO2023096038A1/ko
Publication of KR20230080081A publication Critical patent/KR20230080081A/ko
Application granted granted Critical
Publication of KR102636996B1 publication Critical patent/KR102636996B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법에 관한 것으로서, 보다 구체적으로는 증강현실 글래스 시스템에서 각 단계가 수행되는 가상메뉴 제공 방법으로서, (1) 착용자의 시야 내에 위치하는 착용자의 손바닥을 인식하는 단계; (2) 상기 단계 (1)에서 인식한 손바닥의 방향을 식별하는 단계; 및 (3) 상기 식별한 손바닥의 방향에 기초하여 결정되는 가상메뉴를 상기 인식한 손바닥 위에 표시해 제공하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
또한, 본 발명은 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템에 관한 것으로서, 보다 구체적으로는 증강현실 글래스 장치로서, 착용자의 양안의 전방에 배치되어 착용자에게 증강현실을 제공하는 광학 디스플레이부; 착용자의 시야 내에 위치하는 착용자의 손바닥을 인식하는 인식부; 상기 인식부에서 인식한 손바닥의 방향을 식별하는 식별부; 및 상기 식별한 손바닥의 방향에 기초하여 결정되는 가상메뉴를 상기 인식한 손바닥 위에 표시해 제공하는 메뉴 제공부를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법 및 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템에 따르면, 착용자의 손바닥을 인식하고 손바닥 방향에 기초하여 결정되는 가상메뉴를 손바닥 위에 표시해 제공함으로써, 손바닥 방향에 따라 빠른 메뉴와 전체 메뉴가 선택적으로 표시되므로 손바닥 방향만으로 원하는 메뉴를 착용자에게 쉽게 제공할 수 있고, 반대쪽 손가락으로 가상메뉴에 대한 입력 신호를 입력함으로써, 착용자가 직관적이고 편리하게 가상메뉴를 제어할 수 있다.

Description

증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법 및 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템{METHOD FOR PROVIDING A VIRTUAL MENU BASED ON HAND RECOGNITION FOR AR GLASSES APPARATUS AND AR GLASSES SYSTEM FOR PROVIDING A VIRTUAL MENU BASED ON HAND RECOGNITION}
본 발명은 증강현실 글래스 장치를 위한 가상메뉴 제공 방법 및 가상메뉴를 제공하는 증강현실 글래스 시스템에 관한 것으로서, 보다 구체적으로는 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법 및 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템에 관한 것이다.
디지털 디바이스의 경량화 및 소형화 추세에 따라 다양한 웨어러블 디바이스(wearable device)들이 개발되고 있다. 이러한 웨어러블 디바이스의 일종인 헤드 마운티드 디스플레이(Head Mounted Display)는 사용자가 머리에 착용하여 멀티미디어 컨텐츠 등을 제공받을 수 있는 각종 디바이스를 의미한다. 여기서 헤드 마운티드 디스플레이(HMD)는 사용자의 신체에 착용 되어 사용자가 이동함에 따라서 다양한 환경에서 사용자에게 영상을 제공하게 된다. 이러한 헤드 마운티드 디스플레이(HMD)는 투과(see-through)형과 밀폐(see-closed)형으로 구분되고 있으며, 투과형은 주로 증강현실(Augmented Reality, AR)용으로 사용되고, 밀폐형은 주로 가상현실(Virtual Reality, VR)용으로 사용되고 있다.
헤드 마운티드 디스플레이는 기존의 터치스크린과 같은 입력 방식을 사용하기 어려우므로, 사용자 상호작용을 위한 최적화된 입력 방식이 필요하다. 헤드 마운티드 디스플레이의 증강현실에서 사용할 수 있는 입력 방식으로, HMD에 구비된 버튼이나 HMD와 연결된 별도의 입력 장치, 제스처 인식, 음성인식 등이 있을 수 있다.
증강현실용 헤드 마운티드 디스플레이(이하, ‘AR 글래스’또는 ‘증강현실 글래스’라 한다.)는 스마트폰(Smartphone), 스마트 워치(Smart Watch)와 비슷하게 메뉴를 표시하고, 메뉴 상의 아이콘을 선택하여 여러 가지 기능을 실행할 수 있다. 그런데 AR 글래스는 VR과 달리 제어 보조장치가 없고 주로 제스처 인식을 기반으로 제어되므로, 손 제스처를 사용한 메뉴의 제어 및 조작은 AR 글래스의 활용에서 가장 중요한 과제 중 하나이다.
따라서 제스처 위주의 입력 방식을 사용하는 AR 글래스에서, 조작 오작동 우려를 최소화하고 직관적으로 사용할 수 있는 가상메뉴 제공 및 조작 방법의 개발이 요구된다.
한편, 본 발명과 관련된 선행기술로서, 등록특허 제10-1700569호(발명의 명칭: 제스처 기반의 사용자 인증이 가능한 HMD 장치 및 상기 HMD 장치의 제스처 기반의 사용자 인증 방법, 등록일자: 2017년 01월 23일) 등이 개시된 바 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 착용자의 손바닥을 인식하고 손바닥 방향에 기초하여 결정되는 가상메뉴를 손바닥 위에 표시해 제공함으로써, 손바닥 방향에 따라 빠른 메뉴와 전체 메뉴가 선택적으로 표시되므로 손바닥 방향만으로 원하는 메뉴를 착용자에게 쉽게 제공할 수 있고, 반대쪽 손가락으로 가상메뉴에 대한 입력 신호를 입력함으로써, 착용자가 직관적이고 편리하게 가상메뉴를 제어할 수 있는, 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법 및 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템을 제공하는 것을 그 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법은,
증강현실 글래스 시스템에서 각 단계가 수행되는 가상메뉴 제공 방법으로서,
(1) 착용자의 시야 내에 위치하는 착용자의 손바닥을 인식하는 단계;
(2) 상기 단계 (1)에서 인식한 손바닥의 방향을 식별하는 단계; 및
(3) 상기 식별한 손바닥의 방향에 기초하여 결정되는 가상메뉴를 상기 인식한 손바닥 위에 표시해 제공하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 단계 (2)에서는,
상기 인식한 손바닥의 방향이 가로인지 세로인지를 식별할 수 있다.
더욱 바람직하게는, 상기 단계 (3)에서는,
상기 단계 (2)에서 식별한 손바닥의 방향이 가로이면 빠른 가상메뉴를 표시하며, 상기 손바닥의 위치를 추적해 손바닥의 이동에 따라 상기 빠른 가상메뉴를 이동시켜, 상기 빠른 가상메뉴가 손바닥에 표시되도록 할 수 있다.
더더욱 바람직하게는, 상기 단계 (3) 이후에는,
상기 손바닥이 상기 착용자의 시야에서 이탈하면, 상기 빠른 가상메뉴를 표시하지 않을 수 있다.
더욱 바람직하게는, 상기 단계 (3)에서는,
상기 단계 (2)에서 식별한 손바닥의 방향이 세로이면 상기 손바닥을 기준으로 전체 가상메뉴를 표시하며, 상기 전체 가상메뉴의 표시 후에는 상기 손바닥의 위치 변화와 관계없이 상기 착용자의 시야 내에서 상기 전체 가상메뉴의 위치를 고정해 표시할 수 있다.
바람직하게는, 상기 단계 (3) 이후에는,
(4) 상기 표시한 가상메뉴에 대한 입력 신호를 이용해 상기 가상메뉴를 제어하는 단계를 더 포함하며,
상기 입력 신호는, 상기 단계 (1)에서 인식한 손바닥과 반대쪽 손의 손가락을 사용한 신호일 수 있다.
상기한 목적을 달성하기 위한 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템은,
증강현실 글래스 시스템으로서,
착용자의 양안의 전방에 배치되어 착용자에게 증강현실을 제공하는 광학 디스플레이부;
착용자의 시야 내에 위치하는 착용자의 손바닥을 인식하는 인식부;
상기 인식부에서 인식한 손바닥의 방향을 식별하는 식별부; 및
상기 식별한 손바닥의 방향에 기초하여 결정되는 가상메뉴를 상기 인식한 손바닥 위에 표시해 제공하는 메뉴 제공부를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 식별부는,
상기 인식한 손바닥의 방향이 가로인지 세로인지를 식별하며,
상기 메뉴 제공부는,
상기 식별부에서 식별한 손바닥의 방향이 가로이면 빠른 가상메뉴를 표시하며, 상기 손바닥의 위치를 추적해 손바닥의 이동에 따라 상기 빠른 가상메뉴를 이동시켜, 상기 빠른 가상메뉴가 손바닥에 표시되도록 하고, 상기 식별부에서 식별한 손바닥의 방향이 세로이면 상기 손바닥을 기준으로 전체 가상메뉴를 표시하며, 상기 전체 가상메뉴의 표시 후에는 상기 손바닥의 위치 변화와 관계없이 상기 착용자의 시야 내에서 상기 전체 가상메뉴의 위치를 고정해 표시할 수 있다.
본 발명에서 제안하고 있는 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법 및 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템에 따르면, 착용자의 손바닥을 인식하고 손바닥 방향에 기초하여 결정되는 가상메뉴를 손바닥 위에 표시해 제공함으로써, 손바닥 방향에 따라 빠른 메뉴와 전체 메뉴가 선택적으로 표시되므로 손바닥 방향만으로 원하는 메뉴를 착용자에게 쉽게 제공할 수 있고, 반대쪽 손가락으로 가상메뉴에 대한 입력 신호를 입력함으로써, 착용자가 직관적이고 편리하게 가상메뉴를 제어할 수 있다.
도 1은 본 발명의 일실시예에 따른 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 장치의 모습을 예를 들어 도시한 도면.
도 3은 본 발명의 일실시예에 따른 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법의 흐름을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법에서, 손바닥의 방향이 세로일 때 빠른 가상메뉴가 제공되는 모습을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법에서, 손바닥 이동에 따라 빠른 가상메뉴가 이동해 표시되는 모습을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법에서, 손바닥의 방향이 가로일 때 전체 가상메뉴가 제공되는 모습을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법에서, 손바닥 이동과 관계없이 전체 가상메뉴가 제공되는 모습을 도시한 도면.
도 8은 본 발명의 일실시예에 따른 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법에서, 가상메뉴에 대한 입력 신호를 입력하는 모습을 도시한 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템은, 착용자의 양안의 전방에 배치되어 착용자에게 증강현실을 제공하는 광학 디스플레이부(100); 착용자의 시야 내에 위치하는 착용자의 손바닥을 인식하는 인식부(200); 인식부(200)에서 인식한 손바닥의 방향을 식별하는 식별부(300); 및 식별한 손바닥의 방향에 기초하여 결정되는 가상메뉴를 인식한 손바닥 위에 표시해 제공하는 메뉴 제공부(400)를 포함하여 구성될 수 있으며, 제어부(500), 카메라부(600), 센서부(700) 및 통신부(800)를 더 포함하여 구성될 수 있다.
보다 구체적으로, 식별부(300)는, 인식한 손바닥의 방향이 가로인지 세로인지를 식별하며, 메뉴 제공부(400)는 식별부(300)에서 식별한 손바닥의 방향이 가로이면 빠른 가상메뉴를, 손바닥의 방향이 세로이면 손바닥을 기준으로 전체 가상메뉴를 각각 표시할 수 있다. 즉, 착용자의 손바닥 방향에 따라 빠른 메뉴와 전체 메뉴를 선택적으로 손바닥 위에 영상으로 표시해 제공하여, 손바닥 방향만으로 원하는 메뉴를 착용자에게 쉽게 제공할 수 있다.
도 2는 본 발명의 일실시예에 따른 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 장치(10)의 모습을 예를 들어 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 장치(10)는, 눈 주변이 밀폐된 형태의 고글 또는 측면이 개방된 형태의 안경 등으로 구현될 수 있다.
본 발명의 일실시예에 따른 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템은 증강현실 글래스 장치(10)와 서버로 구성될 수 있으나, 증강현실 글래스 장치(10) 단독으로 구현될 수도 있다. 예를 들어, 광학 디스플레이부(100)와 카메라부(600) 등은 증강현실 글래스 장치(10)의 구성요소로, 인식부(200), 식별부(300) 등은 서버의 구성요소로 각각 구현할 수 있다. 즉, 증강현실 글래스 장치(10)의 카메라부(600)에서 촬영된 영상이 서버에 전달되고, 서버의 인식부(200) 및 식별부(300)가 인공지능 모델 기반으로 손바닥을 인식, 연산 및 분석하고 제어 이벤트를 생성하면, 증강현실 글래스 장치(10)의 광학 디스플레이부(100)를 통해 제어 이벤트에 따른 가상메뉴가 증강현실로 착용자에게 제공될 수 있다. 이와 같이, 본 발명의 일실시예에 따른 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템에서, 증강현실 글래스 장치(10)와 서버가 담당하는 각각의 기능은 다양하게 구현될 수 있다.
이하에서는, 본 발명의 일실시예에 따른 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템의 각 구성에 대해 상세히 설명하도록 한다.
여기서, 광학 디스플레이부(100)는, 착용자의 양안의 전방에 배치되어 착용자에게 증강현실을 제공할 수 있다. 즉, 광학 디스플레이부(100)는 증강현실 글래스 장치(10)의 AR 글래스에 해당하는 구성으로서, 도 1에 도시된 바와 같이 디스플레이(110) 및 광학계(120)를 포함하여 구성될 수 있다.
디스플레이(110)는, 영상 정보가 착용자에게 제공될 수 있도록 영상 광을 출력할 수 있다. 보다 구체적으로, 디스플레이(110)는, 영상 정보가 착용자에게 제공될 수 있도록, 이하에서 상세히 설명할 광학계(120)에 결합해, 광학계(120)에 의해 착용자의 눈 방향으로 전달되는 영상 광을 출력하며, 양안 디스플레이를 위해 한 쌍의 디스플레이(110)로 구성될 수 있다. 디스플레이(110)는 OLED 등으로 다양하게 구성될 수 있다.
광학계(120)는, 증강현실 글래스 장치(10)를 착용한 착용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공할 수 있다. 보다 구체적으로, 광학계(120)는, 착용자의 시야를 통한 실제 세계(real world)의 광의 적어도 일부를 투과시키고, 디스플레이(110)에서 출력되는 영상 광을 착용자의 눈 방향으로 전달하여 증강현실을 제공할 수 있다. 즉, 광학계(120)는 증강현실 글래스 장치(10)를 착용한 착용자가 증강현실을 경험할 수 있도록 구성될 수 있다.
또한, 광학계(120)는 복수의 렌즈와 미러 등으로 구성되며 다양한 방식으로 구현될 수 있는데, 예를 들어 광학 회절 방식, 빔 스플리터 방식, 핀 미러 방식 등으로 구현될 수 있다.
인식부(200), 식별부(300), 메뉴 제공부(400) 및 제어부(500)에 대해서는, 이하에서 본 발명의 일실시예에 따른 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴 제공 방법과 관련해 상세히 설명하도록 한다.
도 3은 본 발명의 일실시예에 따른 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴 제공 방법의 흐름을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴 제공 방법은, 증강현실 글래스 시스템에서 각 단계가 수행되는 가상메뉴 제공 방법으로서, 착용자의 손바닥을 인식하는 단계(S110), 손바닥의 방향을 식별하는 단계(S120) 및 손바닥의 방향에 기초하여 결정되는 가상메뉴를 인식한 손바닥에 표시해 제공하는 단계(S130)를 포함하여 구현될 수 있으며, 가상메뉴에 대한 입력 신호를 이용해 가상메뉴를 제어하는 단계(S140)를 더 포함하여 구현될 수 있다.
단계 S110에서는, 인식부(200)가 착용자의 시야 내에 위치하는 착용자의 손바닥을 인식할 수 있다. 보다 구체적으로, 인식부(200)는 카메라부(600)로부터 획득한 착용자의 시선 방향 영상으로부터 손바닥을 인식할 수 있다. 예를 들어, 착용자가 손을 바라보면 인식부(200)는 카메라 영상에서 손 형태를 인식해 손바닥을 특정할 수 있다. 이때, 단계 S110에서 인식하는 대상은 착용자의 왼손 손바닥일 수 있으며, 왼손을 펼쳐 손바닥이 보이게 한 형태를 인식할 수 있다.
여기서, 인식부(200)는, 영상 처리, 인공지능 등을 기반으로 하는 비전 인식 기술을 사용해 손 형상이나 특징점 등을 추정할 수 있으며, 추정된 손 형상이나 특징점을 사용해 손바닥이나 제스처 등을 인식할 수 있다. 실시예에 따라서, 인식부(200)는, 증강현실 글래스 장치(10)의 RGB 카메라, 적외선 이미지 카메라, 깊이 센서 등에서 획득한 손 영상을 사용할 수 있다.
보다 구체적으로, 인식부(200)는, 증강현실 글래스 장치(10)의 적외선 이미지 카메라로부터 획득한 적외선 손 영상을 사용할 수 있다. 적외선 영상은 단일채널 이미지로, 적외선 손 영상을 사용해 제스처 인식을 하면 이미지 처리에 사용되는 계산 비용을 줄일 수 있으므로, 증강현실 글래스 장치(10)의 임베디드 환경에서도 제스처 인식을 효과적으로 수행할 수 있다. 특히, 증강현실 글래스 장치(10)는 무게가 무거우면 목과 어깨에 부담이 되고 머리 움직임이 제한되어 장시간 착용이 어려우므로, 경량화 및 소형화가 중요하다. 따라서 증강현실 글래스 장치(10)에 많은 계산 자원을 탑재할 수 없으므로, 단일채널 이미지인 적외선 영상을 사용해 임베디드 환경에서 사용할 수 있도록 계산 비용을 줄이면, 단계 S110의 연산을 서버가 아닌 증강현실 글래스 장치(10)에서 처리할 수도 있다.
단계 S120에서는, 식별부(300)가 단계 S110에서 인식한 손바닥의 방향을 식별할 수 있다. 보다 구체적으로, 단계 S120에서는, 인식한 손바닥의 방향이 가로인지 세로인지를 식별할 수 있다. 여기서, 식별부(300)는 인식부(200)가 추정한 손 형상이나 특징점 등을 기초로 손바닥의 각도를 계산하고, 손바닥의 각도가 미리 정해진 가로 방향 각도 범위 또는 세로 방향 각도 범위에 속하는지를 판단해, 손바닥의 방향을 가로 또는 세로로 식별할 수 있다.
단계 S130에서는, 메뉴 제공부(400)가, 식별부(300)가 식별한 손바닥의 방향에 기초하여 결정되는 가상메뉴를 인식한 손바닥 위에 표시해 제공할 수 있다. 즉, 단계 S120에서 식별한 손바닥 방향이 가로일 때와 세로일 때, 서로 다른 가상메뉴를 제공할 수 있다.
도 4는 본 발명의 일실시예에 따른 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴(20) 제공 방법에서, 손바닥의 방향이 세로일 때 빠른 가상메뉴(20)가 제공되는 모습을 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴(20) 제공 방법의 단계 S130에서는, 단계 S120에서 식별한 손바닥의 방향이 가로이면 빠른 가상메뉴(20)를 표시할 수 있다. 즉, 도 4의 좌측에 도시된 바와 같이 착용자가 증강현실 글래스 장치(10)를 착용한 상태에서 왼손을 세로 방향으로 펼쳐서 손바닥을 바라보면, 손바닥이 인식되고 손바닥의 방향이 식별되며, 손바닥 방향(세로)에 따라 결정된 빠른 가상메뉴(20)가 도 4의 우측에 도시된 바와 같이 왼손바닥 위에 팝업(pop-up) 디스플레이 될 수 있다.
여기서, 빠른 가상메뉴(20)는 기본 기능 메뉴 또는 즐겨찾기 메뉴 등일 수 있는데, 예를 들어 전화, 웹 브라우저, 앨범, 카메라 등 자주 쓰는 기능 및/또는 애플리케이션들로 구성된 메뉴일 수 있다. 이와 같은 빠른 가상메뉴(20)를 구성하는 기능 및/또는 애플리케이션의 종류와 순서, 배치 등은 착용자가 직접 편집할 수 있다. 따라서 각 착용자가 빠른 가상메뉴(20)를 커스터마이징하여 사용할 수 있다.
도 5는 본 발명의 일실시예에 따른 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴(20) 제공 방법에서, 손바닥 이동에 따라 빠른 가상메뉴(20)가 이동해 표시되는 모습을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴(20) 제공 방법의 단계 S130에서는, 손바닥의 위치를 추적해 손바닥의 이동에 따라 메뉴 제공부(400)가 빠른 가상메뉴(20)를 이동시켜서, 빠른 가상메뉴(20)가 손바닥에 표시되도록 할 수 있다. 즉, 증강현실 글래스 장치(10)는 빠른 가상메뉴(20)가 팝업 표시된 손바닥의 위치를 추적하며, 손바닥이 움직이면 손바닥 위에 빠른 가상메뉴(20)가 고정된 것처럼 함께 이동할 수 있다.
또한, 단계 S130에서 빠른 가상메뉴(20)를 표시한 이후에, 손바닥이 착용자의 시야에서 이탈하면 빠른 가상메뉴(20)를 표시하지 않을 수 있다. 즉, 왼손바닥이 시야에서 이탈하면 빠른 가상메뉴(20)도 함께 사라지게 된다.
도 6은 본 발명의 일실시예에 따른 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴(20) 제공 방법에서, 손바닥의 방향이 가로일 때 전체 가상메뉴(20)가 제공되는 모습을 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴(20) 제공 방법의 단계 S130에서는, 단계 S120에서 식별한 손바닥의 방향이 세로이면 손바닥을 기준으로 전체 가상메뉴(20)를 표시할 수 있다. 즉, 도 6의 좌측에 도시된 바와 같이 착용자가 증강현실 글래스 장치(10)를 착용한 상태에서 왼손을 가로 방향으로 펼쳐서 손바닥을 바라보면, 손바닥이 인식되고 손바닥의 방향이 식별되며, 손바닥 방향(가로)에 따라 결정된 전체 가상메뉴(20)가 도 6의 우측에 도시된 바와 같이 왼손바닥 위에 팝업 디스플레이 될 수 있다.
여기서, 전체 가상메뉴(20)는 증강현실 글래스 장치(10)가 제공하거나 증강현실 글래스 장치(10)에 설치된 모든 기능과 애플리케이션의 목록 메뉴일 수 있다. 이와 같은 전체 가상메뉴(20)를 구성하는 기능 및/또는 애플리케이션의 종류와 순서, 배치 등은 착용자가 직접 편집할 수 있다. 따라서 각 착용자가 원하는 순서와 배치로 전체 가상메뉴(20)를 커스터마이징하여 사용할 수 있다.
이와 같은 전체 가상메뉴(20)는 빠른 가상메뉴(20)에 비해 포함된 아이콘 개수가 많으므로, 도 6의 우측에 도시된 바와 같이 뷰 필드(view field)의 전체 화면으로 출력할 수 있다. 이때, 식별한 왼손바닥의 위치를 기준으로 하여 전체 가상메뉴(20)를 표시할 수 있으며, 예를 들어 왼손바닥이 전체 가상메뉴(20)의 중심에 위치하도록 하거나, 도 6의 우측에 도시된 바와 같이 전체 가상메뉴(20)의 좌측 모서리를 왼손바닥의 시작 부분에 맞추어 표시할 수 있다.
도 7은 본 발명의 일실시예에 따른 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴(20) 제공 방법에서, 손바닥 이동과 관계없이 전체 가상메뉴(20)가 제공되는 모습을 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴(20) 제공 방법의 단계 S130에서는, 전체 가상메뉴(20)의 표시 후에는 손바닥의 위치 변화와 관계없이 착용자의 시야 내에서 전체 가상메뉴(20)의 위치를 고정해 표시할 수 있다. 즉, 빠른 가상메뉴(20)와 달리, 전체 가상메뉴(20)는 착용자가 왼손이나 고개를 움직이는 것과 관계없이 뷰 필드 내에 고정되어 제공될 수 있다.
또한, 단계 S130에서는, 손바닥이 착용자의 시야에서 이탈해도, 착용자의 시야 내에 전체 가상메뉴(20)를 유지할 수 있다. 즉, 빠른 가상메뉴(20)와는 달리, 왼손바닥이 시야에서 이탈하더라도 전체 가상메뉴(20)는 그대로 출력될 수 있다. 전체 가상메뉴(20)를 시야에서 제거하기 위해서는 종료를 위한 별도의 입력 신호가 필요할 수 있다.
단계 S140에서는, 메뉴 제공부(400) 및 제어부(500)가, 가상메뉴(20)에 대한 입력 신호를 이용해 가상메뉴(20)를 제어할 수 있다. 제어부(500)는 입력 신호에 대응해 선택된 기능 또는 애플리케이션을 실행할 수 있으며, 메뉴 제공부(400)와 연동해 가상메뉴(20)를 편집하거나 가상메뉴(20)의 출력을 종료할 수도 있다.
도 8은 본 발명의 일실시예에 따른 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴(20) 제공 방법에서, 가상메뉴(20)에 대한 입력 신호를 입력하는 모습을 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴(20) 제공 방법의 단계 S140에서는, 단계 S110에서 인식한 손바닥과 반대쪽 손의 손가락을 사용한 신호를 입력 신호로 하여, 가상메뉴(20)를 제어할 수 있다. 즉, 착용자는 왼손 위에 표시된 가상메뉴(20)(빠른 가상메뉴(20) 또는 전체 가상메뉴(20))에서, 오른손 집게손가락으로 아이콘을 선택해 해당 기능을 실행할 수 있고, 아이콘 배치를 변경하는 등의 메뉴 편집을 수행할 수도 있다.
한편, 인식부(200)는 착용자가 메뉴 제어를 위해 사용하는 다양한 제스처를 인식하고 입력 신호를 추출해 제어부(500)에 전달함으로써, 가상메뉴(20)가 제어되도록 할 수 있다. 여기서, 각각의 제스처는 손의 모습(자세)과 동작 중 적어도 하나로 구성될 수 있다.
예를 들어, 인식부(200)는 카메라에서 촬영된 영상에서 오른손의 모습(도 8에 도시된 바와 같이 집게손가락만 편 형상)을 검출하고, 손의 키포인트를 추정해 검지 끝점의 좌표값을 추출하여, 가상메뉴(20)를 구성하는 아이콘 중에서 착용자가 가리키는 아이콘을 특정할 수 있다. 또한, 검지 끝점의 뎁스를 추정해 해당 아이콘에 대한 터치 여부를 판별할 수 있다.
한편, 본 발명의 일실시예에 따른 손 인식 기반의 가상메뉴(20)를 제공하는 증강현실 글래스 장치(10)는, 카메라부(600), 센서부(700) 및 통신부(800)를 더 포함하여 구성될 수 있다.
즉, 제어부(500)는, 카메라부(600) 및 센서부(700)에서 수집한 정보에 기초하여, 착용자에게 제공할 영상 정보를 생성해 디스플레이(110)로 전송되도록 제어함으로써, 착용자가 증강현실을 통해 가상메뉴(20)와 외부 환경에 대한 추가 정보 등을 최적화된 화면으로 전달받도록 할 수 있다.
카메라부(600)는, 착용자의 시야 방향의 영상을 촬영해 인식부(200)에 전달하여 비전 인식 기반으로 손바닥과 제스처 등을 인식할 수 있다. 보다 구체적으로, 카메라부(600)는, 인식부(200)의 손바닥 및 제스처 인식 알고리즘에 따라 RGB 카메라, 적외선 이미지 카메라, 깊이 센서 등을 포함하여, 손바닥 및 제스처 인식에 필요한 손 영상을 제공할 수 있다.
센서부(700)는, 적어도 하나 이상의 센서를 포함할 수 있으며, 보다 구체적으로 동공 추적 센서, 홍채 인식 센서 등을 포함할 수 있다. 실시예에 따라서, 동공 추적 센서를 사용해 착용자의 시선을 추적하여, 착용자가 손바닥을 바라볼 때 인식부(200)에서 착용자의 손바닥을 인식하도록 구성함으로써, 착용자가 의도하지 않은 상황에서 가상메뉴(20)가 표시되지 않도록 할 수 있다. 이때, 미리 정해진 시간 이상 손바닥을 바라볼 때 단계 S110이 수행되도록 하여 오작동을 최소화할 수 있다.
한편, 착용자가 증강현실 글래스 장치(10)를 착용하고 사용자 인증을 하면, 제어부(500)는 각 착용자가 커스터마이징 한 가상메뉴(20), 개별 착용자의 동작 제스처 사용 패턴, 선호 조도, IPD(Inter-Pupillary Distance), 인터페이스 등 여러 가지 사용자별 설정 내용을 자동으로 적용할 수도 있다. 이때, 사용자 인증은 센서부(700)에 포함된 홍채 인식 센서 등을 사용할 수 있다.
통신부(800)는, 증강현실 글래스 장치(10)의 일측에 설치되며, 다른 증강현실 글래스 장치(10)나 서버 등과 각종 신호 및 데이터를 송수신할 수 있다. 여기서, 통신부(800)가 사용하는 네트워크는, 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network), 위성 통신망, 블루투스(Bluetooth), Wibro(Wireless Broadband Internet), HSDPA(High Speed Downlink Packet Access), LTE(Long Term Evolution), 3/4/5/6G(3/4/5/6th Generation Mobile Telecommunication) 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.
전술한 바와 같이, 본 발명에서 제안하고 있는 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴(20) 제공 방법 및 손 인식 기반의 가상메뉴(20)를 제공하는 증강현실 글래스 시스템에 따르면, 착용자의 손바닥을 인식하고 손바닥 방향에 기초하여 결정되는 가상메뉴(20)를 손바닥 위에 표시해 제공함으로써, 손바닥 방향에 따라 빠른 메뉴와 전체 메뉴가 선택적으로 표시되므로 손바닥 방향만으로 원하는 메뉴를 착용자에게 쉽게 제공할 수 있고, 반대쪽 손가락으로 가상메뉴(20)에 대한 입력 신호를 입력함으로써, 착용자가 직관적이고 편리하게 가상메뉴(20)를 제어할 수 있다.
한편, 본 발명은 다양한 통신 단말기로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터에서 판독 가능한 매체를 포함할 수 있다. 예를 들어, 컴퓨터에서 판독 가능한 매체는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD_ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
이와 같은 컴퓨터에서 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이때, 컴퓨터에서 판독 가능한 매체에 기록되는 프로그램 명령은 본 발명을 구현하기 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예를 들어, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
10: 증강현실 글래스 장치
20: 가상메뉴
100: 광학 디스플레이부
110: 디스플레이
120: 광학계
200: 인식부
300: 식별부
400: 메뉴 제공부
500: 제어부
600: 카메라부
700: 센서부
800: 통신부
S110: 착용자의 손바닥을 인식하는 단계
S120: 손바닥의 방향을 식별하는 단계
S130: 손바닥의 방향에 기초하여 결정되는 가상메뉴를 인식한 손바닥에 표시해 제공하는 단계
S140: 가상메뉴에 대한 입력 신호를 이용해 가상메뉴를 제어하는 단계

Claims (8)

  1. 증강현실 글래스 시스템에서 각 단계가 수행되는 가상메뉴(20) 제공 방법으로서,
    (1) 착용자의 시야 내에 위치하는 착용자의 손바닥을 인식하는 단계;
    (2) 상기 단계 (1)에서 인식한 손바닥의 방향을 식별하는 단계; 및
    (3) 상기 식별한 손바닥의 방향에 기초하여 결정되는 가상메뉴(20)를 상기 인식한 손바닥 위에 표시해 제공하는 단계를 포함하는 것을 특징으로 하는, 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴(20) 제공 방법.
  2. 제1항에 있어서, 상기 단계 (2)에서는,
    상기 인식한 손바닥의 방향이 가로인지 세로인지를 식별하는 것을 특징으로 하는, 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴(20) 제공 방법.
  3. 제2항에 있어서, 상기 단계 (3)에서는,
    상기 단계 (2)에서 식별한 손바닥의 방향이 가로이면 빠른 가상메뉴(20)를 표시하며, 상기 손바닥의 위치를 추적해 손바닥의 이동에 따라 상기 빠른 가상메뉴(20)를 이동시켜, 상기 빠른 가상메뉴(20)가 손바닥에 표시되도록 하는 것을 특징으로 하는, 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴(20) 제공 방법.
  4. 제3항에 있어서, 상기 단계 (3) 이후에는,
    상기 손바닥이 상기 착용자의 시야에서 이탈하면, 상기 빠른 가상메뉴(20)를 표시하지 않는 것을 특징으로 하는, 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴(20) 제공 방법.
  5. 제2항에 있어서, 상기 단계 (3)에서는,
    상기 단계 (2)에서 식별한 손바닥의 방향이 세로이면 상기 손바닥을 기준으로 전체 가상메뉴(20)를 표시하며, 상기 전체 가상메뉴(20)의 표시 후에는 상기 손바닥의 위치 변화와 관계없이 상기 착용자의 시야 내에서 상기 전체 가상메뉴(20)의 위치를 고정해 표시하는 것을 특징으로 하는, 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴(20) 제공 방법.
  6. 제1항에 있어서, 상기 단계 (3) 이후에는,
    (4) 상기 표시한 가상메뉴(20)에 대한 입력 신호를 이용해 상기 가상메뉴(20)를 제어하는 단계를 더 포함하며,
    상기 입력 신호는, 상기 단계 (1)에서 인식한 손바닥과 반대쪽 손의 손가락을 사용한 신호인 것을 특징으로 하는, 증강현실 글래스 장치(10)를 위한 손 인식 기반의 가상메뉴(20) 제공 방법.
  7. 증강현실 글래스 시스템으로서,
    착용자의 양안의 전방에 배치되어 착용자에게 증강현실을 제공하는 광학 디스플레이부(100);
    착용자의 시야 내에 위치하는 착용자의 손바닥을 인식하는 인식부(200);
    상기 인식부(200)에서 인식한 손바닥의 방향을 식별하는 식별부(300); 및
    상기 식별한 손바닥의 방향에 기초하여 결정되는 가상메뉴(20)를 상기 인식한 손바닥 위에 표시해 제공하는 메뉴 제공부(400)를 포함하는 것을 특징으로 하는, 손 인식 기반의 가상메뉴(20)를 제공하는 증강현실 글래스 시스템.
  8. 제7항에 있어서, 상기 식별부(300)는,
    상기 인식한 손바닥의 방향이 가로인지 세로인지를 식별하며,
    상기 메뉴 제공부(400)는,
    상기 식별부(300)에서 식별한 손바닥의 방향이 가로이면 빠른 가상메뉴(20)를 표시하며, 상기 손바닥의 위치를 추적해 손바닥의 이동에 따라 상기 빠른 가상메뉴(20)를 이동시켜, 상기 빠른 가상메뉴(20)가 손바닥에 표시되도록 하고, 상기 식별부(300)에서 식별한 손바닥의 방향이 세로이면 상기 손바닥을 기준으로 전체 가상메뉴(20)를 표시하며, 상기 전체 가상메뉴(20)의 표시 후에는 상기 손바닥의 위치 변화와 관계없이 상기 착용자의 시야 내에서 상기 전체 가상메뉴(20)의 위치를 고정해 표시하는 것을 특징으로 하는, 손 인식 기반의 가상메뉴(20)를 제공하는 증강현실 글래스 시스템.
KR1020210167494A 2021-11-29 2021-11-29 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법 및 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템 KR102636996B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210167494A KR102636996B1 (ko) 2021-11-29 2021-11-29 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법 및 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템
PCT/KR2022/005833 WO2023096038A1 (ko) 2021-11-29 2022-04-24 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법 및 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210167494A KR102636996B1 (ko) 2021-11-29 2021-11-29 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법 및 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템

Publications (2)

Publication Number Publication Date
KR20230080081A true KR20230080081A (ko) 2023-06-07
KR102636996B1 KR102636996B1 (ko) 2024-02-16

Family

ID=86539968

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210167494A KR102636996B1 (ko) 2021-11-29 2021-11-29 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법 및 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템

Country Status (2)

Country Link
KR (1) KR102636996B1 (ko)
WO (1) WO2023096038A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140048440A (ko) * 2012-10-15 2014-04-24 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
KR20150144100A (ko) * 2014-06-16 2015-12-24 한국과학기술정보연구원 손목 움직임 기반 가상현실 메뉴 제어 시스템 및 방법
KR20160067573A (ko) * 2014-12-04 2016-06-14 엘지전자 주식회사 멀티미디어 디바이스 및 그 제어 방법
KR101708455B1 (ko) * 2015-09-08 2017-02-21 엠더블유엔테크 주식회사 핸드 플로트 입체 메뉴 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200051937A (ko) * 2018-11-06 2020-05-14 한길씨앤씨 주식회사 가상현실 환경에서 사용자의 동작에 따른 gui 객체의 자동 표시방법 및 이를 이용한 vr 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140048440A (ko) * 2012-10-15 2014-04-24 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
KR20150144100A (ko) * 2014-06-16 2015-12-24 한국과학기술정보연구원 손목 움직임 기반 가상현실 메뉴 제어 시스템 및 방법
KR20160067573A (ko) * 2014-12-04 2016-06-14 엘지전자 주식회사 멀티미디어 디바이스 및 그 제어 방법
KR101708455B1 (ko) * 2015-09-08 2017-02-21 엠더블유엔테크 주식회사 핸드 플로트 입체 메뉴 시스템

Also Published As

Publication number Publication date
KR102636996B1 (ko) 2024-02-16
WO2023096038A1 (ko) 2023-06-01

Similar Documents

Publication Publication Date Title
EP2929424B1 (en) Multi-touch interactions on eyewear
US9886086B2 (en) Gesture-based reorientation and navigation of a virtual reality (VR) interface
US9804682B2 (en) Systems and methods for performing multi-touch operations on a head-mountable device
JP7092028B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US8217856B1 (en) Head-mounted display that displays a visual representation of physical interaction with an input interface located outside of the field of view
US20220229524A1 (en) Methods for interacting with objects in an environment
KR101812227B1 (ko) 동작 인식 기반의 스마트 글래스 장치
US20170115736A1 (en) Photo-Based Unlock Patterns
KR102110208B1 (ko) 안경형 단말기 및 이의 제어방법
US20170139567A1 (en) Entering Unlock Sequences Using Head Movements
US11694658B2 (en) Transferring a virtual object
CN108369451B (zh) 信息处理装置、信息处理方法及计算机可读存储介质
KR20160137253A (ko) 증강 현실 디바이스 및 상기 증강 현실 디바이스를 위한 사용자 인터랙션 장치 및 방법
KR101370027B1 (ko) 안경형 디스플레이 디바이스용 마우스 장치 및 그 구동 방법
KR102636996B1 (ko) 증강현실 글래스 장치를 위한 손 인식 기반의 가상메뉴 제공 방법 및 손 인식 기반의 가상메뉴를 제공하는 증강현실 글래스 시스템
KR102633495B1 (ko) 손목과 트리거 제스처의 단계적 인식을 통한 앱 라이브러리 동작 방법 및 앱 라이브러리가 동작하는 머리 착용형 디스플레이 장치
KR102539045B1 (ko) 착용형 증강현실 장치를 위한 대시보드 제어 장치 및 대시보드 제어 방법
KR102585343B1 (ko) 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치 및 손 마디 인식을 이용한 착용형 증강현실 장치의 인터페이스 제공 방법
KR102522142B1 (ko) 양손 제스처를 이용해 조작 신호를 입력하는 착용형 증강현실 장치 및 양손 제스처를 이용한 착용형 증강현실 장치의 조작 방법
KR102633493B1 (ko) 머리 착용형 디스플레이 장치를 위한 확인 이벤트 처리 방법 및 장치
KR102613391B1 (ko) 제스처를 이용해 동공 간 거리를 자동 조절하는 증강현실 글래스 장치 및 증강현실 글래스 장치를 위한 제스처를 이용한 동공 간 거리 자동 조절 방법
JP7406817B2 (ja) 客体制御を支援する方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体
KR102667189B1 (ko) 증강현실 글래스 장치의 손 거리 추정 방법 및 장치
CN115877942A (zh) 电子设备以及通过检测用户眼睛的状态来控制其的方法
KR20230157085A (ko) 아이트래킹 및 글래스 틸팅을 이용해 작동 제어되는 증강현실 글래스 장치 및 그의 작동 제어 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right