KR20230009766A

KR20230009766A - 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치 및 손 마디 인식을 이용한 착용형 증강현실 장치의 인터페이스 제공 방법

Info

Publication number: KR20230009766A
Application number: KR1020210090570A
Authority: KR
Inventors: 최치원; 이원석
Original assignee: 주식회사 피앤씨솔루션
Priority date: 2021-07-09
Filing date: 2021-07-09
Publication date: 2023-01-17
Also published as: WO2023282446A1; KR102585343B1

Abstract

본 발명은 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치에 관한 것으로서, 보다 구체적으로는 착용형 증강현실 장치로서, 착용자의 손동작 및 손 마디를 인식하는 손 인식부; 상기 손 인식부에서 인식된 제1 손의 손 마디에 상기 착용형 증강현실 장치의 기능을 등록하는 등록부; 상기 손 인식부에서 인식된 상기 제1 손의 손 마디에 등록된 기능을 증강현실 영상으로 표시하여 제공하는 인터페이스 표시부; 및 상기 손 인식부에 의해 인식되는 착용자의 손동작 인식에 따라, 상기 제1 손의 손 마디에 증강현실 영상으로 표시된 기능이 제2 손에 의해 선택되면, 선택된 기능을 실행하는 제어부를 포함하며, 상기 제1 손의 손 마디는, 상기 착용자의 제1 손의 손가락 끝과 손가락을 구성하는 복수의 관절, 또는 상기 착용자의 제1 손의 손가락 끝과 손가락을 구성하는 복수의 관절 사이의 공간으로 구성되는 것을 그 구성상의 특징으로 한다.
또한, 본 발명은 손 마디 인식을 이용한 착용형 증강현실 장치의 인터페이스 제공 방법에 관한 것으로서, 보다 구체적으로는 착용형 증강현실 장치의 인터페이스 제공 방법으로서, 착용자의 손동작 및 손 마디를 인식하는 손 인식부를 포함하는 상기 착용형 증강현실 장치에 의해 각 단계가 수행되며, (1) 상기 손 인식부에서 인식된 제1 손의 손 마디에 상기 착용형 증강현실 장치의 기능을 등록하는 단계; (2) 상기 손 인식부에서 상기 제1 손의 미리 설정된 손동작이 인식되면 상기 제1 손에 대한 UI 사용 모드로 전환하는 단계; (3) 상기 UI 사용 모드로 전환되면, 상기 손 인식부에서 인식된 상기 제1 손의 손 마디에 등록된 기능을 증강현실 영상으로 표시하여 제공하는 단계; 및 (4) 상기 손 인식부에 의해 인식되는 착용자의 손동작 인식에 따라, 상기 제1 손의 손 마디에 증강현실 영상으로 표시된 기능이 제2 손에 의해 선택되면, 선택된 기능을 실행하는 단계를 포함하며, 상기 제1 손의 손 마디는, 상기 착용자의 제1 손의 손가락 끝과 손가락을 구성하는 복수의 관절, 또는 상기 착용자의 제1 손의 손가락 끝과 손가락을 구성하는 복수의 관절 사이의 공간으로 구성되는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치 및 손 마디 인식을 이용한 착용형 증강현실 장치의 인터페이스 제공 방법에 따르면, 착용자의 손 마디를 인식해 각각의 손 마디에 등록된 착용형 증강현실 장치의 기능을 증강현실 영상으로 표시하고, 표시된 기능 중에서 선택된 기능을 실행함으로써, 기존의 방식보다 편리하고 직관적인 인터페이스를 제공할 수 있다.

Description

손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치 및 손 마디 인식을 이용한 착용형 증강현실 장치의 인터페이스 제공 방법{WEARABLE AUGMENTED REALITY DEVICE THAT PROVIDES AN INTERFACE USING HAND KOINT RECOGNITION AND METHOD OF PROVIDING AN INTERFACE OF A WEARABLE AUGMENTED REALITY DEVICE USING HAND JOINT RECOGNITION}

본 발명은 착용형 증강현실 장치 및 착용형 증강현실 장치의 인터페이스 제공 방법에 관한 것으로서, 보다 구체적으로는 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치 및 손 마디 인식을 이용한 착용형 증강현실 장치의 인터페이스 제공 방법에 관한 것이다.

디지털 디바이스의 경량화 및 소형화 추세에 따라 다양한 웨어러블 디바이스(wearable device)들이 개발되고 있다. 이러한 웨어러블 디바이스의 일종인 헤드 마운티드 디스플레이(Head Mounted Display)는 사용자가 머리에 착용하여 멀티미디어 컨텐츠 등을 제공받을 수 있는 각종 디바이스를 의미한다. 여기서 헤드 마운티드 디스플레이(HMD)는 사용자의 신체에 착용 되어 사용자가 이동함에 따라서 다양한 환경에서 사용자에게 영상을 제공하게 된다. 이러한 헤드 마운티드 디스플레이(HMD)는 투과(see-through)형과 밀폐(see-closed)형으로 구분되고 있으며, 투과형은 주로 증강현실(Augmented Reality, AR)용으로 사용되고, 밀폐형은 주로 가상현실(Virtual Reality, VR)용으로 사용되고 있다.

헤드 마운티드 디스플레이는 기존의 터치스크린과 같은 입력 방식을 사용하기 어려우므로, 사용자 상호작용을 위한 최적화된 입력 방식이 필요하다. 헤드 마운티드 디스플레이의 증강현실에서 사용할 수 있는 입력 방식으로, HMD에 구비된 버튼이나 HMD와 연결된 별도의 입력 장치, 제스처 인식 등이 있을 수 있다.

그러나 기존의 증강현실을 위한 헤드 마운티드 디스플레이의 유저 인터페이스(User Interface, UI)는 대부분 스마트폰과 유사한 형태를 사용하고 있고, 복잡한 제스처나 음성인식을 사용하므로 사용자가 익히기 불편한 한계가 있다.

한편, 본 발명과 관련된 선행기술로서, 등록특허 제10-1700569호(발명의 명칭: 제스처 기반의 사용자 인증이 가능한 HMD 장치 및 상기 HMD 장치의 제스처 기반의 사용자 인증 방법, 등록일자: 2017년 01월 23일) 등이 개시된 바 있다.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 착용자의 손 마디를 인식해 각각의 손 마디에 등록된 착용형 증강현실 장치의 기능을 증강현실 영상으로 표시하고, 표시된 기능 중에서 선택된 기능을 실행함으로써, 기존의 방식보다 편리하고 직관적인 인터페이스를 제공할 수 있는, 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치 및 손 마디 인식을 이용한 착용형 증강현실 장치의 인터페이스 제공 방법을 제공하는 것을 그 목적으로 한다.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치는,

착용형 증강현실 장치로서,

착용자의 손동작 및 손 마디를 인식하는 손 인식부;

상기 손 인식부에서 인식된 제1 손의 손 마디에 상기 착용형 증강현실 장치의 기능을 등록하는 등록부;

상기 손 인식부에서 인식된 상기 제1 손의 손 마디에 등록된 기능을 증강현실 영상으로 표시하여 제공하는 인터페이스 표시부; 및

상기 손 인식부에 의해 인식되는 착용자의 손동작 인식에 따라, 상기 제1 손의 손 마디에 증강현실 영상으로 표시된 기능이 제2 손에 의해 선택되면, 선택된 기능을 실행하는 제어부를 포함하며,

상기 제1 손의 손 마디는,

상기 착용자의 제1 손의 손가락 끝과 손가락을 구성하는 복수의 관절, 또는 상기 착용자의 제1 손의 손가락 끝과 손가락을 구성하는 복수의 관절 사이의 공간으로 구성되는 것을 그 구성상의 특징으로 한다.

바람직하게는,

손 영상을 촬영하는 카메라부를 더 포함하며,

상기 손 인식부는,

상기 카메라부에서 촬영된 손 영상으로부터 상기 착용자의 손동작 및 손 마디를 인식할 수 있다.

바람직하게는, 상기 손 인식부는,

상기 착용자의 양손 중 제1 손의 손동작 및 손 마디를 인식하며, 상기 제1 손의 손 마디에 증강현실 영상으로 표시된 기능을 선택하는 제2 손의 손동작을 인식할 수 있다.

바람직하게는,

상기 손 인식부에서 상기 제1 손의 미리 설정된 손동작이 인식되면 상기 제1 손에 대한 UI 사용 모드로 전환하는 모드 전환부를 더 포함하며,

상기 인터페이스 표시부는,

상기 UI 사용 모드로 전환되면, 상기 손 인식부에서 인식된 상기 제1 손의 손 마디에 상기 등록된 기능을 증강현실 영상으로 표시하여 제공할 수 있다.

바람직하게는, 상기 등록부는,

UI 등록 모드로 전환되면, 기능 등록을 위해 상기 착용형 증강현실 장치의 기능이 나열된 라이브러리를 증강현실 영상으로 표시하는 라이브러리 표시 모듈;

상기 손 인식부에서 인식된 상기 제1 손의 손 마디를 상기 기능이 할당되는 할당 영역으로 설정하는 할당 영역 인식 모듈; 및

상기 제2 손의 손동작에 의해, 상기 라이브러리에서 선택된 기능을 상기 할당 영역 중 어느 하나에 할당해 등록하는 기능 등록 모듈을 포함할 수 있다.

더욱 바람직하게는, 상기 손 인식부는,

UI 등록 모드 또는 UI 사용 모드에서 상기 착용자의 제1 손이 미리 정해진 포즈일 때 상기 제1 손의 손 마디를 인식할 수 있다.

더욱 바람직하게는, 상기 기능 등록 모듈은,

상기 손 인식부에서 인식되는 상기 제2 손의 드래그 앤 드롭 방식의 손동작에 의해, 상기 라이브러리에서 선택되어 드래그된 기능을 드롭된 할당 영역에 할당해 등록할 수 있다.

또한, 상기한 목적을 달성하기 위한 본 발명의 특징에 따른 손 마디 인식을 이용한 착용형 증강현실 장치의 인터페이스 제공 방법은,

착용형 증강현실 장치의 인터페이스 제공 방법으로서,

착용자의 손동작 및 손 마디를 인식하는 손 인식부를 포함하는 상기 착용형 증강현실 장치에 의해 각 단계가 수행되며,

(1) 상기 손 인식부에서 인식된 제1 손의 손 마디에 상기 착용형 증강현실 장치의 기능을 등록하는 단계;

(2) 상기 손 인식부에서 상기 제1 손의 미리 설정된 손동작이 인식되면 상기 제1 손에 대한 UI 사용 모드로 전환하는 단계;

(3) 상기 UI 사용 모드로 전환되면, 상기 손 인식부에서 인식된 상기 제1 손의 손 마디에 등록된 기능을 증강현실 영상으로 표시하여 제공하는 단계; 및

(4) 상기 손 인식부에 의해 인식되는 착용자의 손동작 인식에 따라, 상기 제1 손의 손 마디에 증강현실 영상으로 표시된 기능이 제2 손에 의해 선택되면, 선택된 기능을 실행하는 단계를 포함하며,

상기 제1 손의 손 마디는,

본 발명에서 제안하고 있는 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치 및 손 마디 인식을 이용한 착용형 증강현실 장치의 인터페이스 제공 방법에 따르면, 착용자의 손 마디를 인식해 각각의 손 마디에 등록된 착용형 증강현실 장치의 기능을 증강현실 영상으로 표시하고, 표시된 기능 중에서 선택된 기능을 실행함으로써, 기존의 방식보다 편리하고 직관적인 인터페이스를 제공할 수 있다.

도 1은 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치에서 인터페이스가 제공된 모습을 예를 들어 도시한 도면.
도 3은 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치에서, 등록부의 세부적인 구성을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치의 등록부에서, 손 마디에 기능을 등록하는 모습을 예를 들어 도시한 도면.
도 5 및 도 6은 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치에서, 등록된 인터페이스가 제공되는 모습을 예를 들어 도시한 도면.
도 7은 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치의 전체적인 구성을 도시한 도면.
도 8은 본 발명의 일실시예에 따른 손 마디 인식을 이용한 착용형 증강현실 장치의 인터페이스 제공 방법의 흐름을 도시한 도면.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.

도 1은 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10)의 구성을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10)는, 손 인식부(110), 등록부(120), 모드 전환부(130), 인터페이스 표시부(140) 및 제어부(400)를 포함하여 구성될 수 있으며, 손 인식을 위한 카메라부(600)를 더 포함하여 구성될 수 있다.

즉, 손 인식부(110), 등록부(120), 모드 전환부(130), 인터페이스 표시부(140)는 인터페이스 제공 장치(100)를 구성하고, 인터페이스 제공 장치(100)는 착용형 증강현실 장치(10)의 구성요소 중 하나로서, 인터페이스 제공 장치(100)에 의해 제공된 인터페이스를 통해 제어부(400)가 각종 입력 신호를 수신하고 착용형 증강현실 장치(10)의 기능을 수행할 수 있다. 인터페이스 제공 장치(100)는, 착용형 증강현실 장치(10)의 인터페이스를 증강현실 영상으로 제공할 수 있다.

여기서, 착용형 증강현실 장치(10)는 사용자의 머리 또는 두부에 착용 되며, 착용형 증강현실 장치(10)를 착용한 사용자가 광학계를 통해 투과되어 보이는 현실 세계와 디스플레이에서 출력되어 광학계를 통해 착용자의 동공으로 전달되는 영상 정보를 함께 제공받아 증강현실을 경험할 수 있도록 하는 장치일 수 있다. 여기서, 착용형 증강현실 장치(10)는 글라스형, 고글형 등 다양할 수 있으며, 사용자의 신체에 착용 되어 착용자의 시야를 통한 증강현실을 경험할 수 있도록 한다면 그 구체적인 형태나 종류와 관계없이 본 발명의 착용형 증강현실 장치(10)의 역할을 할 수 있다.

도 2는 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10)에서 인터페이스가 제공된 모습을 예를 들어 도시한 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10)는, 제1 손(1)의 손 마디를 인식해 인식된 손 마디에 할당 및 등록된 기능을 증강현실 영상으로 표시해 인터페이스를 제공할 수 있다. 착용자는 양손 중에서 인터페이스가 표시된 제1 손(1)과 다른 손 즉, 제2 손(2)을 사용해 표시된 기능 중 어느 하나를 선택할 수 있고(도 2에서는 카메라 기능 선택), 제어부(400)는 선택된 기능을 실행할 수 있다.

여기서, 제1 손(1)의 손 마디는, 착용자의 제1 손(1)의 손가락 끝과 손가락을 구성하는 복수의 관절, 또는 착용자의 제1 손(1)의 손가락 끝과 손가락을 구성하는 복수의 관절 사이의 공간으로 구성될 수 있다. 즉, 인터페이스 제공 시 제1 손(1)의 손가락 끝과 손가락 관절들에 기능 아이콘을 배치해 제공할 수 있고, 제1 손(1)의 손가락 끝 및 관절과 관절 사이의 공간들에 기능 아이콘을 배치해 제공할 수도 있다. 특히, 손가락 관절과 관절 사이의 공간을 손 마디로 정의하고 기능을 할당하면, 할당 영역이 일정한 범위를 차지하므로 제2 손(2)을 사용한 기능 선택이 더 편리할 수 있다.

또한, 인터페이스는, 도 2에 도시된 바와 같이 손바닥이 보이는 상태에서 손가락 위에 증강현실 영상으로 제공될 수 있으나, 손등이 보이는 상태에서 손가락 위에 제공될 수도 있다. 실시예에 따라서, 손바닥이 보이는 상태에서는 제1 손(1)의 손가락 끝과 손가락 관절 사이의 공간으로 구성되는 손 마디에 인터페이스가 표시되어 제공되고, 손등이 보이는 상태에서는 제1 손(1)의 손가락 끝과 손가락 관절들로 구성되는 손 마디에 인터페이스가 표시되어 제공될 수 있다. 다만, 손 마디의 구성이나 인터페이스의 표시가 전술한 형태로 제한되는 것은 아니고, 손바닥이나 손등이 보이는 상태에서 관절에 표시할지, 관절 사이 공간에 표시할지는 인터페이스 최적화 과정에서 다양하게 설계될 수 있다.

한편, 도 2에는 오른손이 제1 손(1), 왼손이 제2 손(2)의 역할을 하는 것으로 도시되었으나, 제1 손(1)은 인터페이스가 표시되는 손이고 제2 손(2)은 표시된 기능 아이콘 등을 선택해 입력을 수행하는 손으로 상황에 따라 제1 손(1)과 제2 손(2)은 변경될 수 있으며, 왼손에 인터페이스가 표시되고(제1 손(1)) 오른손으로 선택할 수도 있다(제2 손(2)).

이하에서는, 도 1 및 도 2를 참조하여 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10)의 각 구성에 대해 상세히 설명하도록 한다.

손 인식부(110)는, 착용자의 손동작 및 손 마디를 인식할 수 있다. 보다 구체적으로, 손 인식부(110)는, 착용자의 양손 중 제1 손(1)의 손동작 및 손 마디를 인식하며, 제1 손(1)의 손 마디에 증강현실 영상으로 표시된 기능을 선택하는 제2 손(2)의 손동작을 인식할 수 있다.

도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10)는, 손 영상을 촬영하는 카메라부(600)를 포함하며, 손 인식부(110)는 카메라부(600)에서 촬영된 손 영상으로부터 착용자의 손동작 및 손 마디를 인식할 수 있다. 즉, 손 인식부(110)는 영상 처리, 인공지능 등을 기반으로 하는 비전 인식 기술을 사용해 손 관절을 추정할 수 있으며, 추정된 손 관절을 사용해 손동작과 손 마디를 인식할 수 있다.

손 인식부(110)는, UI 등록 모드 또는 UI 사용 모드에서 착용자의 제1 손(1)이 미리 정해진 포즈일 때 제1 손(1)의 손 마디를 인식할 수 있다. 여기서, UI 등록 모드는, 이하에서 상세히 설명할 등록부(120)에서 제1 손(1)의 손 마디에 각종 기능을 등록하는 모드로서, 착용자가 원하는 손 마디에 원하는 기능을 등록할 수 있다. 또한, UI 사용 모드는, UI 등록 모드에서 등록된 바에 따라 손 마디에 인터페이스를 표시하고 표시된 인터페이스를 사용해 입력을 수행하는 모드일 수 있다. 이와 같은 UI 등록 모드 또는 UI 사용 모드에서, 착용자의 제1 손(1)이 도 1에 도시된 바와 같이 손바닥이 보이도록 편 상태이거나 손 등이 보이도록 편 상태 등 미리 정해진 포즈일 때 손 인식부(110)가 손 마디를 인식할 수 있다. 예를 들어, 주먹을 쥔 상태 등에서는 손 마디 인식을 수행하지 않을 수 있다.

등록부(120)는, 손 인식부(110)에서 인식된 제1 손(1)의 손 마디에 착용형 증강현실 장치(10)의 기능을 등록할 수 있다. 등록부(120)는, UI 등록 모드에서 손 인식부(110)가 제1 손(1)의 손 마디를 인식하면, 인식된 손 마디에 착용자가 원하는 바에 따라 기능을 할당해 등록할 수 있다.

도 3은 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10)에서, 등록부(120)의 세부적인 구성을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10)의 등록부(120)는, 라이브러리 표시 모듈(121), 할당 영역 인식 모듈(122) 및 기능 등록 모듈(123)을 포함하여 구성될 수 있다.

도 4는 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10)의 등록부(120)에서, 손 마디에 기능을 등록하는 모습을 예를 들어 도시한 도면이다. 이하에서는, 도 3 및 도 4를 참조하여, 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10)에서, 등록부(120)의 각 구성에 대해 상세히 설명하도록 한다.

라이브러리 표시 모듈(121)은, UI 등록 모드로 전환되면, 기능 등록을 위해 착용형 증강현실 장치(10)의 기능이 나열된 라이브러리를 증강현실 영상으로 표시할 수 있다. 여기서, 라이브러리는 착용형 증강현실 장치(10)가 제공하는 여러 가지 기능과 설치된 각종 애플리케이션 등의 아이콘을 기능 등록을 위해 나열한 것일 수 있다. 도 4에 도시된 바와 같이, 라이브러리는 착용자의 뷰 필드의 측면에 증강현실 영상으로 표시될 수 있으며, 제1 손(1)의 주변에 표시될 수도 있다.

할당 영역 인식 모듈(122)은, 손 인식부(110)에서 인식된 제1 손(1)의 손 마디를 기능이 할당되는 할당 영역으로 설정할 수 있다. 즉, 도 4에 도시된 바와 같이, 손 인식부(110)는, UI 등록 모드에서 착용자의 제1 손(1)이 손바닥이 보이면서 손가락이 서로 닿지 않도록 편 상태와 같은 미리 정해진 포즈일 때 제1 손(1)의 손 마디를 인식할 수 있으며, 할당 영역 인식 모듈(122)은, 착용자의 제1 손(1)의 손가락 끝과 손가락을 구성하는 복수의 관절 사이의 공간으로 구성되는 제1 손(1)의 손 마디들을 할당 영역으로 설정할 수 있다.

기능 등록 모듈(123)은, 제2 손(2)의 손동작에 의해, 라이브러리에서 선택된 기능을 할당 영역 중 어느 하나에 할당해 등록할 수 있다. 보다 구체적으로, 기능 등록 모듈(123)은, 손 인식부(110)에서 인식되는 제2 손(2)의 드래그 앤 드롭 방식의 손동작에 의해, 라이브러리에서 선택되어 드래그된 기능을 드롭된 위치의 할당 영역에 할당해 등록할 수 있다.

또한, 라이브러리는 검색 기능을 제공해 착용자가 원하는 기능이 표시되지 않거나 찾기 어려울 때, 검색을 통해 기능을 찾아서 원하는 할당 영역에 등록할 수 있다. 착용자는 기능 등록 모듈(123)을 통해 인터페이스에 새로운 기능 아이콘을 추가하거나, 등록된 기능 삭제, 할당 영역 변경 등 각종 편집을 수행할 수 있다.

모드 전환부(130)는, 손 인식부(110)에서 제1 손(1)의 미리 설정된 손동작이 인식되면 제1 손(1)에 대한 UI 사용 모드로 전환할 수 있다. 즉, 일상적인 행동에서도 지속해서 제1 손(1)에 기능이 표시되는 것은 착용자에게 불편을 줄 수 있고, 제1 손(10)의 손 마디를 인식하는 것은 리소스를 많이 소모하여 비경제적일 수 있으므로, 제1 손(1)으로 미리 설정된 손동작을 취하면 UI 사용 모드로 전환해 인터페이스를 표시할 수 있다.

여기서, 미리 설정된 손동작은, 주먹을 쥐었다 펴는 동작 등일 수 있으며, 미리 설정된 손동작은 등록부(120)에서 제1 손(1)에 기능을 등록할 때 취했던 미리 정해진 포즈로 끝나도록 설정될 수 있다. 즉, 주먹을 쥐었다가 도 4에 도시된 바와 같은 미리 정해진 포즈를 취하는 동작인 미리 설정된 손동작이 인식되면, UI 사용 모드로 전환할 수 있다.

인터페이스 표시부(140)는, 손 인식부(110)에서 인식된 제1 손(1)의 손 마디에 등록된 기능을 증강현실 영상으로 표시하여 제공할 수 있다. 보다 구체적으로, 인터페이스 표시부(140)는, UI 사용 모드로 전환되면, 손 인식부(110)에서 인식된 제1 손(1)의 손 마디에, 등록부(120)에서 등록된 기능을 증강현실 영상으로 표시하여 제공할 수 있다.

도 5 및 도 6은 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10)에서, 등록된 인터페이스가 제공되는 모습을 예를 들어 도시한 도면이다. 도 5에 도시된 바와 같이, 제1 손(1)으로 주먹을 쥐었다가 펴면서 미리 정해진 포즈를 취하면(미리 설정된 손동작), 손 인식부(110)가 미리 정해진 포즈의 제1 손(1)의 손 마디를 인식하고 인터페이스 표시부(140)가 각각의 손 마디에 등록된 기능 아이콘을 증강현실 영상으로 표시할 수 있다.

본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10)에서는, 왼손, 오른손에 각각 다른 인터페이스가 제공될 수 있고, 손바닥 방향, 손등 방향에 따라서도 서로 다른 인터페이스가 제공될 수 있다. 예를 들어, 도 6에 도시된 바와 같이, 왼손이 제1 손(1)일 때 손 마디를 숫자 키패드로 활용하는 인터페이스를 제공할 수 있다.

제어부(400)는, 손 인식부(110)에 의해 인식되는 착용자의 손동작 인식에 따라, 제1 손(1)의 손 마디에 증강현실 영상으로 표시된 기능이 제2 손(2)에 의해 선택되면, 선택된 기능을 실행할 수 있다. 즉, 도 2에 도시된 바와 같이, 인터페이스 표시부(140)가 증강현실 영상으로 표시한 기능 아이콘이 제2 손(2)으로 선택되면, 제어부(400)는 선택된 기능인 카메라 애플리케이션을 실행할 수 있다. 이를 위해 제어부(400)는, 손 인식부(110)와 연동해 제2 손(2)의 손 모양, 손가락 위치 등을 전달받아 선택된 기능을 특정할 수 있다.

한편, 제어부(400)는, 제2 손(2)에 의한 선택과 제1 손(1) 및/또는 제2 손(2)의 손동작의 조합을 통해 기능을 실행할 수도 있다. 예를 들어, 도 5에 도시된 바와 같은 오른손 인터페이스에서 통화 기능(통화 아이콘)이 선택되면, 도 6에 도시된 바와 같은 왼손의 손 마디를 숫자 키패드로 활용한 인터페이스가 제공될 수 있다. 착용자는 왼손(제1 손(1))의 인터페이스에서 오른손(제2 손(2))으로 숫자를 선택해 전화번호를 입력하고, 입력 완료 후 왼손(제1 손(1))을 주먹 쥐는 손동작이 인식되면 제어부(400)가 입력된 전화번호로 통화 연결하도록 구현할 수 있다.

도 7은 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10)의 전체적인 구성을 도시한 도면이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10)는, 제스처 입력 장치(100) 및 제어부(400)를 포함하여 구성될 수 있으며, HMD 프레임(200), 광학 디스플레이부(300), GPS 모듈(500), 카메라부(600), 센서부(700) 및 통신부(800)를 더 포함하여 구성될 수 있다.

HMD 프레임(200)은, 사용자가 머리나 두부에 착용할 수 있는 착용형 증강현실 장치(10)의 프레임 구성이다. 이러한 HMD 프레임(200)은, 사용자가 머리에 착용한 상태에서 빛이 들어올 수 있는 프레임 구조를 갖는 헬멧(helmet) 형태 또는 고글(goggles) 형태로 구성될 수 있다. 여기서, HMD 프레임(200)이 헬멧 형태로 이루어지는 경우, 사용자의 머리에 착용되는 헬멧(미도시)과 헬멧의 전방에 배치되는 디스플레이 프레임(미도시) 구조로 구성될 수 있다. 또한, HMD 프레임(200)이 고글 형태로 구성되는 경우, 사용자의 머리에 착용될 수 있는 밴드 프레임(미도시)과, 밴드 프레임에 체결 고정되는 고글 프레임(미도시) 구조로 구성될 수 있다.

광학 디스플레이부(300)는, 착용자의 양안의 전방에 배치되어 착용자에게 증강현실 또는 혼합현실을 제공할 수 있다. 즉, 광학 디스플레이부(300)는 착용형 증강현실 장치(10)의 AR, VR 또는 MR 글라스에 해당하는 구성으로서, 영상 정보가 착용자에게 제공될 수 있도록 영상 광을 출력하는 OLED 등의 디스플레이 및 착용형 증강현실 장치(10)를 착용한 착용자의 양안의 전방에 배치되어 실제 세계의 광과 영상 광의 결합에 의한 증강현실을 제공하는 광학계를 포함하여 구성될 수 있다. 또한, 광학계는 복수의 렌즈와 미러 등으로 구성되며 다양한 방식으로 구현될 수 있는데, 예를 들어 광학 회절 방식, 빔 스플리터 방식, 핀 미러 방식 등으로 구현될 수 있다.

GPS 모듈(500)은 착용자의 위치 정보를 제공하고, 카메라부(600)는 착용자가 바라보는 시선 방향의 영상을 촬영할 수 있다. 특히, 카메라부(600)는 손 영상을 촬영해 손 인식부(110)에 전달하여 비전 인식 기반으로 손동작과 손 마디를 인식할 수 있다.

제어부(400)는, GPS 모듈(500), 카메라부(600), 그 외 각종 센서에서 수집한 정보에 기초하여, 착용자에게 제공할 영상 정보를 생성해 디스플레이로 전송되도록 제어함으로써, 착용자가 증강현실을 통해 외부 환경에 대한 추가 정보 등을 최적화된 화면으로 전달받도록 할 수 있다.

센서부(700)는, 적어도 하나 이상의 센서를 포함할 수 있으며, 보다 구체적으로 홍채 인식 센서 등을 포함할 수 있다. 실시예에 따라서, 착용자가 착용형 증강현실 장치(10)를 착용하고 사용자 인증을 하면, 제어부(400)는 각 착용자에 따라 저장된 조도, IPD(Inter-Pupillary Distance), 등록부(120)를 통해 등록된 인터페이스 등 여러 가지 사용자별 설정 내용을 자동으로 적용할 수도 있다. 이때, 사용자 인증은 센서부(700)에 포함된 홍채 인식 센서 등을 사용할 수 있다.

통신부(800)는, 착용형 증강현실 장치(10)의 일측에 설치되며, 다른 착용형 증강현실 장치(10)나 서버 등과 각종 신호 및 데이터를 송수신할 수 있다. 여기서, 통신부(800)가 사용하는 네트워크는, 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network), 위성 통신망, 블루투스(Bluetooth), Wibro(Wireless Broadband Internet), HSDPA(High Speed Downlink Packet Access), LTE(Long Term Evolution), 3/4/5G(3/4/5th Generation Mobile Telecommunication) 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.

도 8은 본 발명의 일실시예에 따른 손 마디 인식을 이용한 착용형 증강현실 장치(10)의 인터페이스 제공 방법의 흐름을 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 손 마디 인식을 이용한 착용형 증강현실 장치(10)의 인터페이스 제공 방법은, 제1 손(1)의 손 마디에 착용형 증강현실 장치(10)의 기능을 등록하는 단계(S110), 제1 손(1)의 미리 설정된 손동작이 인식되면 제1 손(1)에 대한 UI 사용 모드로 전환하는 단계(S120), 인식된 제1 손(1)의 손 마디에 등록된 기능을 증강현실 영상으로 표시하여 제공하는 단계(S130), 및 착용자의 손동작 인식에 따라 제1 손(1)의 손 마디에 증강현실 영상으로 표시된 기능이 제2 손(2)에 의해 선택되면 선택된 기능을 실행하는 단계(S140)를 포함하여 구현될 수 있다.

각각의 단계들과 관련된 상세한 내용들은, 앞서 본 발명의 일실시예에 따른 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10)와 관련하여 충분히 설명되었으므로, 상세한 설명은 생략하기로 한다.

전술한 바와 같이, 본 발명에서 제안하고 있는 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10) 및 손 마디 인식을 이용한 착용형 증강현실 장치(10)의 인터페이스 제공 방법에 따르면, 착용자의 손 마디를 인식해 각각의 손 마디에 등록된 착용형 증강현실 장치(10)의 기능을 증강현실 영상으로 표시하고, 표시된 기능 중에서 선택된 기능을 실행함으로써, 기존의 방식보다 편리하고 직관적인 인터페이스를 제공할 수 있다.

한편, 본 발명은 다양한 통신 단말기로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터에서 판독 가능한 매체를 포함할 수 있다. 예를 들어, 컴퓨터에서 판독 가능한 매체는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD_ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.

이와 같은 컴퓨터에서 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이때, 컴퓨터에서 판독 가능한 매체에 기록되는 프로그램 명령은 본 발명을 구현하기 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예를 들어, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.

1: 제1 손
2: 제2 손
10: 착용형 증강현실 장치
100: 인터페이스 제공 장치
110: 손 인식부
120: 등록부
121: 라이브러리 표시 모듈
122: 할당 영역 인식 모듈
123: 기능 등록 모듈
130: 모드 전환부
140: 인터페이스 표시부
200: HMD 프레임
300: 광학 디스플레이부
400: 제어부
500: GPS 모듈
600: 카메라부
700: 센서부
800: 통신부
S110: 제1 손의 손 마디에 착용형 증강현실 장치의 기능을 등록하는 단계
S120: 제1 손의 미리 설정된 손동작이 인식되면 제1 손에 대한 UI 사용 모드로 전환하는 단계
S130: 인식된 제1 손의 손 마디에 등록된 기능을 증강현실 영상으로 표시하여 제공하는 단계
S140: 착용자의 손동작 인식에 따라 제1 손의 손 마디에 증강현실 영상으로 표시된 기능이 제2 손에 의해 선택되면 선택된 기능을 실행하는 단계

Claims

착용형 증강현실 장치(10)로서,
착용자의 손동작 및 손 마디를 인식하는 손 인식부(110);
상기 손 인식부(110)에서 인식된 제1 손(1)의 손 마디에 상기 착용형 증강현실 장치(10)의 기능을 등록하는 등록부(120);
상기 손 인식부(110)에서 인식된 상기 제1 손(1)의 손 마디에 등록된 기능을 증강현실 영상으로 표시하여 제공하는 인터페이스 표시부(140); 및
상기 손 인식부(110)에 의해 인식되는 착용자의 손동작 인식에 따라, 상기 제1 손(1)의 손 마디에 증강현실 영상으로 표시된 기능이 제2 손(2)에 의해 선택되면, 선택된 기능을 실행하는 제어부(400)를 포함하며,
상기 제1 손(1)의 손 마디는,
상기 착용자의 제1 손(1)의 손가락 끝과 손가락을 구성하는 복수의 관절, 또는 상기 착용자의 제1 손(1)의 손가락 끝과 손가락을 구성하는 복수의 관절 사이의 공간으로 구성되는 것을 특징으로 하는, 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10).
제1항에 있어서,
손 영상을 촬영하는 카메라부(600)를 더 포함하며,
상기 손 인식부(110)는,
상기 카메라부(600)에서 촬영된 손 영상으로부터 상기 착용자의 손동작 및 손 마디를 인식하는 것을 특징으로 하는, 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10).
제1항에 있어서, 상기 손 인식부(110)는,
상기 착용자의 양손 중 제1 손(1)의 손동작 및 손 마디를 인식하며, 상기 제1 손(1)의 손 마디에 증강현실 영상으로 표시된 기능을 선택하는 제2 손(2)의 손동작을 인식하는 것을 특징으로 하는, 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10).
제1항에 있어서,
상기 손 인식부(110)에서 상기 제1 손(1)의 미리 설정된 손동작이 인식되면 상기 제1 손(1)에 대한 UI 사용 모드로 전환하는 모드 전환부(130)를 더 포함하며,
상기 인터페이스 표시부(140)는,
상기 UI 사용 모드로 전환되면, 상기 손 인식부(110)에서 인식된 상기 제1 손(1)의 손 마디에 상기 등록된 기능을 증강현실 영상으로 표시하여 제공하는 것을 특징으로 하는, 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10).
제1항에 있어서, 상기 등록부(120)는,
UI 등록 모드로 전환되면, 기능 등록을 위해 상기 착용형 증강현실 장치(10)의 기능이 나열된 라이브러리를 증강현실 영상으로 표시하는 라이브러리 표시 모듈(121);
상기 손 인식부(110)에서 인식된 상기 제1 손(1)의 손 마디를 상기 기능이 할당되는 할당 영역으로 설정하는 할당 영역 인식 모듈(122); 및
상기 제2 손(2)의 손동작에 의해, 상기 라이브러리에서 선택된 기능을 상기 할당 영역 중 어느 하나에 할당해 등록하는 기능 등록 모듈(123)을 포함하는 것을 특징으로 하는, 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10).
제4항 또는 제5항에 있어서, 상기 손 인식부(110)는,
UI 등록 모드 또는 UI 사용 모드에서 상기 착용자의 제1 손(1)이 미리 정해진 포즈일 때 상기 제1 손(1)의 손 마디를 인식하는 것을 특징으로 하는, 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10).
제5항에 있어서, 상기 기능 등록 모듈(123)은,
상기 손 인식부(110)에서 인식되는 상기 제2 손(2)의 드래그 앤 드롭 방식의 손동작에 의해, 상기 라이브러리에서 선택되어 드래그된 기능을 드롭된 할당 영역에 할당해 등록하는 것을 특징으로 하는, 손 마디 인식을 이용해 인터페이스를 제공하는 착용형 증강현실 장치(10).
착용형 증강현실 장치(10)의 인터페이스 제공 방법으로서,
착용자의 손동작 및 손 마디를 인식하는 손 인식부(110)를 포함하는 상기 착용형 증강현실 장치(10)에 의해 각 단계가 수행되며,
(1) 상기 손 인식부(110)에서 인식된 제1 손(1)의 손 마디에 상기 착용형 증강현실 장치(10)의 기능을 등록하는 단계;
(2) 상기 손 인식부(110)에서 상기 제1 손(1)의 미리 설정된 손동작이 인식되면 상기 제1 손(1)에 대한 UI 사용 모드로 전환하는 단계;
(3) 상기 UI 사용 모드로 전환되면, 상기 손 인식부(110)에서 인식된 상기 제1 손(1)의 손 마디에 등록된 기능을 증강현실 영상으로 표시하여 제공하는 단계; 및
(4) 상기 손 인식부(110)에 의해 인식되는 착용자의 손동작 인식에 따라, 상기 제1 손(1)의 손 마디에 증강현실 영상으로 표시된 기능이 제2 손(2)에 의해 선택되면, 선택된 기능을 실행하는 단계를 포함하며,
상기 제1 손(1)의 손 마디는,
상기 착용자의 제1 손(1)의 손가락 끝과 손가락을 구성하는 복수의 관절, 또는 상기 착용자의 제1 손(1)의 손가락 끝과 손가락을 구성하는 복수의 관절 사이의 공간으로 구성되는 것을 특징으로 하는, 손 마디 인식을 이용한 착용형 증강현실 장치(10)의 인터페이스 제공 방법.