KR102286018B1 - 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치 및 손동작을 이용한 착용형 증강현실 장치의 마우스 이벤트 입력 방법 - Google Patents

손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치 및 손동작을 이용한 착용형 증강현실 장치의 마우스 이벤트 입력 방법 Download PDF

Info

Publication number
KR102286018B1
KR102286018B1 KR1020200115666A KR20200115666A KR102286018B1 KR 102286018 B1 KR102286018 B1 KR 102286018B1 KR 1020200115666 A KR1020200115666 A KR 1020200115666A KR 20200115666 A KR20200115666 A KR 20200115666A KR 102286018 B1 KR102286018 B1 KR 102286018B1
Authority
KR
South Korea
Prior art keywords
hand
augmented reality
reality device
event
wearable augmented
Prior art date
Application number
KR1020200115666A
Other languages
English (en)
Inventor
최치원
김정환
조성동
Original Assignee
주식회사 피앤씨솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피앤씨솔루션 filed Critical 주식회사 피앤씨솔루션
Priority to KR1020200115666A priority Critical patent/KR102286018B1/ko
Application granted granted Critical
Publication of KR102286018B1 publication Critical patent/KR102286018B1/ko
Priority to PCT/KR2021/012170 priority patent/WO2022055232A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06K9/00355—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Optical Elements Other Than Lenses (AREA)

Abstract

본 발명은 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치에 관한 것으로서, 보다 구체적으로는 착용형 증강현실 장치로서, 손동작 이벤트와 마우스 이벤트를 상호 대응하여 설정하는 설정부; 상기 착용형 증강현실 장치에서 촬영되는 영상으로부터 사용자 손의 관절 좌표를 획득하는 관절 획득부; 상기 관절 획득부에서 획득한 관절 좌표를 이용해 손 위치 및 손 모양으로 정의되는 손동작을 검출하는 손동작 검출부; 상기 영상에서 검출된 손동작을 이용해, 손동작의 변화를 손동작 이벤트로 검출하는 이벤트 검출부; 및 상기 설정부의 설정에 따라 상기 검출된 손동작 이벤트에 대응하는 마우스 이벤트를 추출하고, 추출된 마우스 이벤트에 따라 상기 착용형 증강현실 장치를 제어하여, 손동작을 이용해 마우스 기능을 구현하는 제어부를 포함하며, 상기 손동작 이벤트는, 사용자의 손 위치 및 손 모양으로 정의되는 손동작의 미리 정해진 시간 동안의 변화로 정의되는 것을 그 구성상의 특징으로 한다.
또한, 본 발명은 손동작을 이용한 착용형 증강현실 장치의 마우스 이벤트 입력 방법에 관한 것으로서, 보다 구체적으로는 착용형 증강현실 장치의 마우스 이벤트 입력 방법으로서, (1) 손동작 이벤트와 마우스 이벤트를 상호 대응하여 설정하는 단계; (2) 상기 착용형 증강현실 장치에서 촬영되는 영상으로부터 사용자 손의 관절 좌표를 획득하는 단계; (3) 상기 단계 (2)에서 획득한 관절 좌표를 이용해 손 위치 및 손 모양으로 정의되는 손동작을 검출하는 단계; (4) 상기 영상에서 검출된 손동작을 이용해, 손동작의 변화를 손동작 이벤트로 검출하는 단계; 및 (5) 상기 단계 (1)의 설정에 따라 상기 검출된 손동작 이벤트에 대응하는 마우스 이벤트를 추출하고, 추출된 마우스 이벤트에 따라 상기 착용형 증강현실 장치를 제어하여, 손동작을 이용해 마우스 기능을 구현하는 단계를 포함하며, 상기 손동작 이벤트는, 사용자의 손 위치 및 손 모양으로 정의되는 손동작의 미리 정해진 시간 동안의 변화로 정의되는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치 및 손동작을 이용한 착용형 증강현실 장치의 마우스 이벤트 입력 방법에 따르면, 영상으로부터 획득한 손의 관절 좌표로부터 사용자의 손 위치 및 손 모양으로 정의되는 손동작을 검출하고, 손동작의 변화로 정의되는 손동작 이벤트에 대응하는 마우스 이벤트를 추출해 제어함으로써, 손동작을 이용해 착용형 증강현실 장치에서 마우스 기능을 구현하여, 사용자가 별도의 제스처나 입력 방식을 익히거나 기억할 필요 없이, 기존의 마우스 입력 방식과 유사한 손동작으로 착용형 증강현실 장치를 쉽게 제어할 수 있다.

Description

손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치 및 손동작을 이용한 착용형 증강현실 장치의 마우스 이벤트 입력 방법{WEARABLE AUGMENTED REALITY DEVICE THAT INPUTS MOUSE EVENTS USING HAND GESTURE AND METHOD OF MOUSE EVENT INPUT FOR WEARABLE AUGMENTED REALITY DEVICE USING HAND GESTURE}
본 발명은 착용형 증강현실 장치 및 착용형 증강현실 장치의 마우스 이벤트 입력 방법에 관한 것으로서, 보다 구체적으로는 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치 및 손동작을 이용한 착용형 증강현실 장치의 마우스 이벤트 입력 방법에 관한 것이다.
디지털 디바이스의 경량화 및 소형화 추세에 따라 다양한 웨어러블 디바이스(wearable device)들이 개발되고 있다. 이러한 웨어러블 디바이스의 일종인 헤드 마운티드 디스플레이(Head Mounted Display)는 사용자가 머리에 착용하여 멀티미디어 컨텐츠 등을 제공받을 수 있는 각종 디바이스를 의미한다. 여기서 헤드 마운티드 디스플레이(HMD)는 사용자의 신체에 착용 되어 사용자가 이동함에 따라서 다양한 환경에서 사용자에게 영상을 제공하게 된다. 이러한 헤드 마운티드 디스플레이(HMD)는 투과(see-through)형과 밀폐(see-closed)형으로 구분되고 있으며, 투과형은 주로 증강현실(Augmented Reality, AR)용으로 사용되고, 밀폐형은 주로 가상현실(Virtual Reality, VR)용으로 사용되고 있다.
도 1은 일반적인 안경 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면이고, 도 2는 일반적인 밴드 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면이다. 도 1 및 도 2에 각각 도시된 바와 같이, 일반적인 안경 형태 또는 밴드 형태의 헤드 마운티드 디스플레이는 사용자의 안면 또는 두부에 착용 되어 투과되는 렌즈를 통해 실제 세계에 증강현실(AR)의 영상 정보를 투영하여 사용자에게 제공하게 된다.
헤드 마운티드 디스플레이는 기존의 터치스크린과 같은 입력 방식을 사용하기 어려우므로, 사용자 상호작용을 위한 최적화된 입력 방식이 필요하다. 헤드 마운티드 디스플레이의 증강현실에서 사용할 수 있는 입력 방식으로, HMD에 구비된 버튼이나 HMD와 연결된 별도의 입력 장치, 제스처 인식 등이 있을 수 있다. 그중에서 제스처 인식은, 헤드 마운티드 디스플레이의 증강현실에서 사용할 수 있는 적합한 입력 방식이라고 할 수 있다.
그러나 제스처를 이용하는 방식은 기존의 컴퓨터나 휴대 단말기 등의 입력 방식과는 전혀 달라서 사용자가 익히기 불편하고 여러 종류의 제스처를 기억하기 힘든 한계가 있다.
한편, 본 발명과 관련된 선행기술로서, 등록특허 제10-1700569호(발명의 명칭: 제스처 기반의 사용자 인증이 가능한 HMD 장치 및 상기 HMD 장치의 제스처 기반의 사용자 인증 방법, 등록일자: 2017년 01월 23일) 등이 개시된 바 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 영상으로부터 획득한 손의 관절 좌표로부터 사용자의 손 위치 및 손 모양으로 정의되는 손동작을 검출하고, 손동작의 변화로 정의되는 손동작 이벤트에 대응하는 마우스 이벤트를 추출해 제어함으로써, 손동작을 이용해 착용형 증강현실 장치에서 마우스 기능을 구현하여, 사용자가 별도의 제스처나 입력 방식을 익히거나 기억할 필요 없이, 기존의 마우스 입력 방식과 유사한 손동작으로 착용형 증강현실 장치를 쉽게 제어할 수 있는, 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치 및 손동작을 이용한 착용형 증강현실 장치의 마우스 이벤트 입력 방법을 제공하는 것을 그 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치는,
착용형 증강현실 장치로서,
손동작 이벤트와 마우스 이벤트를 상호 대응하여 설정하는 설정부;
상기 착용형 증강현실 장치에서 촬영되는 영상으로부터 사용자 손의 관절 좌표를 획득하는 관절 획득부;
상기 관절 획득부에서 획득한 관절 좌표를 이용해 손 위치 및 손 모양으로 정의되는 손동작을 검출하는 손동작 검출부;
상기 영상에서 검출된 손동작을 이용해, 손동작의 변화를 손동작 이벤트로 검출하는 이벤트 검출부; 및
상기 설정부의 설정에 따라 상기 검출된 손동작 이벤트에 대응하는 마우스 이벤트를 추출하고, 추출된 마우스 이벤트에 따라 상기 착용형 증강현실 장치를 제어하여, 손동작을 이용해 마우스 기능을 구현하는 제어부를 포함하며,
상기 손동작 이벤트는,
사용자의 손 위치 및 손 모양으로 정의되는 손동작의 미리 정해진 시간 동안의 변화로 정의되는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 손 모양은,
주먹(Fist), 주먹에서 검지를 편 하나(One), 모든 손가락을 편 다섯(Five), 엄지와 검지가 맞닿은 집게(Pick), 및 집게에서 엄지와 검지가 떨어져 있는 릴리즈(Release)를 포함하여 구성될 수 있다.
더욱 바람직하게는, 상기 이벤트 검출부는,
상기 영상의 연속되는 프레임에서 검출된 손동작을 이용해, 미리 정해진 개수의 프레임 내에서 제1 손동작과 제2 손동작을 결정하고, 상기 제1 손동작과 제2 손동작의 손 위치 또는 손 모양의 차이로 상기 손동작 이벤트를 결정할 수 있다.
바람직하게는, 상기 관절 획득부는,
상기 착용형 증강현실 장치에서 촬영되는 영상을 획득하는 영상 획득 모듈;
상기 영상으로부터 손 영역을 포함하는 관심 영역(Region of Interest, ROI)을 검출하는 관심 영역 검출 모듈; 및
상기 검출된 관심 영역으로부터 딥러닝 기반의 관절 추론 모델을 이용해 관절의 좌표를 획득하는 좌표 추론 모듈을 포함할 수 있다.
더욱 바람직하게는, 상기 손동작 검출부는,
상기 좌표 추론 모듈에서 획득한 좌표들로부터 손 위치를 검출하는 손 위치 검출 모듈; 및
상기 좌표 추론 모듈에서 획득한 좌표들의 상대적인 위치를 통해 손 모양을 정의하되, 딥러닝 기반으로 미리 학습된 분류 모델에 의해 상기 손 모양을 정의하는 손 모양 검출 모듈을 포함할 수 있다.
바람직하게는, 상기 제어부는,
상기 착용형 증강현실 장치에서 실행되는 애플리케이션 프로그램에 따라, 양손 모드를 실행하며,
상기 양손 모드에서,
상기 손동작은, 양손 사이의 거리 및/또는 양손의 크기 차이를 더 포함하여 정의될 수 있다.
더욱 바람직하게는, 상기 손동작 검출부는,
상기 관절 획득부에서 획득된 왼손 및 오른손의 관절 좌표로 양손 사이의 거리 및/또는 양손의 크기 차이를 검출할 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명의 특징에 따른 손동작을 이용한 착용형 증강현실 장치의 마우스 이벤트 입력 방법은,
착용형 증강현실 장치의 마우스 이벤트 입력 방법으로서,
(1) 손동작 이벤트와 마우스 이벤트를 상호 대응하여 설정하는 단계;
(2) 상기 착용형 증강현실 장치에서 촬영되는 영상으로부터 사용자 손의 관절 좌표를 획득하는 단계;
(3) 상기 단계 (2)에서 획득한 관절 좌표를 이용해 손 위치 및 손 모양으로 정의되는 손동작을 검출하는 단계;
(4) 상기 영상에서 검출된 손동작을 이용해, 손동작의 변화를 손동작 이벤트로 검출하는 단계; 및
(5) 상기 단계 (1)의 설정에 따라 상기 검출된 손동작 이벤트에 대응하는 마우스 이벤트를 추출하고, 추출된 마우스 이벤트에 따라 상기 착용형 증강현실 장치를 제어하여, 손동작을 이용해 마우스 기능을 구현하는 단계를 포함하며,
상기 손동작 이벤트는,
사용자의 손 위치 및 손 모양으로 정의되는 손동작의 미리 정해진 시간 동안의 변화로 정의되는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치 및 손동작을 이용한 착용형 증강현실 장치의 마우스 이벤트 입력 방법에 따르면, 영상으로부터 획득한 손의 관절 좌표로부터 사용자의 손 위치 및 손 모양으로 정의되는 손동작을 검출하고, 손동작의 변화로 정의되는 손동작 이벤트에 대응하는 마우스 이벤트를 추출해 제어함으로써, 손동작을 이용해 착용형 증강현실 장치에서 마우스 기능을 구현하여, 사용자가 별도의 제스처나 입력 방식을 익히거나 기억할 필요 없이, 기존의 마우스 입력 방식과 유사한 손동작으로 착용형 증강현실 장치를 쉽게 제어할 수 있다.
도 1은 일반적인 안경 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면.
도 2는 일반적인 밴드형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치의 구성을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치에서, 손 모양을 예를 들어 도시한 도면.
도 5는 본 발명의 일실시예에 따른 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치에서, 손동작 이벤트와 대응되는 마우스 이벤트를 예를 들어 도시한 도면.
도 6은 본 발명의 일실시예에 따른 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치에서, 관절 획득부의 세부적인 구성을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치에서, 관심 영역의 검출 화면을 예를 들어 도시한 도면.
도 8은 본 발명의 일실시예에 따른 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치에서, 관절 포인트를 예를 들어 도시한 도면.
도 9는 본 발명의 일실시예에 따른 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치에서, 손동작 검출부의 세부적인 구성을 도시한 도면.
도 10은 본 발명의 일실시예에 따른 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치의 전체적인 구성을 도시한 도면.
도 11은 본 발명의 일실시예에 따른 손동작을 이용한 착용형 증강현실 장치의 마우스 이벤트 입력 방법의 흐름을 도시한 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 3은 본 발명의 일실시예에 따른 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치의 구성을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치는, 설정부(110), 관절 획득부(120), 손동작 검출부(130), 이벤트 검출부(140) 및 제어부(300)를 포함하여 구성될 수 있다.
즉, 설정부(110), 관절 획득부(120), 손동작 검출부(130) 및 이벤트 검출부(140)는 손동작 입력 장치(100)를 구성하고, 손동작 입력 장치(100)는 착용형 증강현실 장치의 구성요소 중 하나로서, 제어부(300)에 손동작 이벤트를 전달해 손동작에 따른 착용형 증강현실 장치의 제어가 구현되도록 할 수 있다. 손동작 입력 장치(100)는, 착용형 증강현실 장치상의 임베디드 환경에서 손동작 이벤트를 검출할 수 있다.
여기서, 착용형 증강현실 장치는 사용자의 머리 또는 두부에 착용 되며, 착용형 증강현실 장치를 착용한 사용자가 광학계를 통해 투과되어 보이는 현실 세계와 디스플레이에서 출력되어 광학계를 통해 사용자의 동공으로 전달되는 영상 정보를 함께 제공받아 증강현실을 경험할 수 있도록 하는 장치일 수 있다. 여기서, 착용형 증강현실 장치는 글라스형, 고글형 등 다양할 수 있으며, 사용자의 신체에 착용 되어 사용자의 시야를 통한 증강현실을 경험할 수 있도록 한다면 그 구체적인 형태나 종류와 관계없이 본 발명의 착용형 증강현실 장치의 역할을 할 수 있다.
본 발명의 일실시예에 따른 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치는, 영상의 각 프레임에서 손 위치와 손 모양으로 정의되는 손동작을 검출하고, 연속된 프레임의 손동작 변화를 손동작 이벤트로 정의하여, 손동작 이벤트에 의해 마우스 기능이 수행되도록 제어할 수 있다. 따라서 착용형 증강현실 장치를 착용한 사용자는, 손동작을 통해 마우스를 조작하는 것처럼 입력 신호를 입력할 수 있다.
이하에서는, 도 3을 참조하여 본 발명의 일실시예에 따른 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치의 각 구성에 대해 상세히 설명하도록 한다.
설정부(110)는, 손동작 이벤트와 마우스 이벤트를 상호 대응하여 설정할 수 있다. 여기서, 손동작 이벤트는, 사용자의 손 위치 및 손 모양으로 정의되는 손동작의 미리 정해진 시간 동안의 변화로 정의될 수 있다. 이때, 미리 정해진 시간은, 기본값으로 설정될 수 있으나 사용자에 의해 사용자가 원하는 길이로 설정될 수도 있다. 설정부(110)는, 서로 대응되는 손동작 이벤트와 마우스 이벤트를 테이블로 저장할 수 있다.
도 4는 본 발명의 일실시예에 따른 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치에서, 손 모양을 예를 들어 도시한 도면이다. 도 4에 도시된 바와 같이, 손 모양은, 주먹(Fist), 주먹에서 검지를 편 하나(One), 모든 손가락을 편 다섯(Five), 엄지와 검지가 맞닿은 집게(Pick), 및 집게에서 엄지와 검지가 떨어져 있는 릴리즈(Release)를 포함하여 구성될 수 있다. 즉, 손 모양은 편 손가락의 개수, 손가락 방향, 손가락들의 상대적 위치 등으로 결정될 수 있다.
도 5는 본 발명의 일실시예에 따른 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치에서, 손동작 이벤트와 대응되는 마우스 이벤트를 예를 들어 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치에서는, 도 4에 도시된 바와 같은 손동작들을 조합하여 손동작 이벤트를 정의하고, 설정부(110)가 손동작 이벤트와 대응되는 마우스 이벤트를 설정 및 저장할 수 있다. 예를 들어, 하나(One), 주먹(Fist), 하나(One)를 미리 정해진 시간 내에 연속 동작으로 수행하는 손동작 이벤트는 마우스 (좌)클릭 이벤트로 설정할 수 있고, 주먹(Fist)의 손 모양을 유지하면서 손 위치를 이동하는 손동작 이벤트는, 마우스 드래그 이벤트로 설정할 수 있다.
특히, 도 5에 도시된 바와 같이, 클릭, 마우스 이동, 롤 다운, 드래그, 롤 업 등은 자주 사용하는 마우스 이벤트로서, 실제 데스크탑 등에서 마우스를 조작할 때와 유사한 동작으로 손동작 이벤트를 설정함으로써, 사용자가 손동작 이벤트를 별도로 학습하거나 암기할 필요 없이, 직관적으로 손동작 이벤트와 마우스 이벤트의 관계를 파악하고 쉽게 사용할 수 있다.
또한, 착용형 증강현실 장치의 운영체제(os)에 따라 동일한 손동작 이벤트를 상이한 마우스 이벤트와 대응하여 설정할 수 있다. 예를 들어, 다섯(Five), 주먹(Fist)의 연속 동작을 하는 손동작 이벤트는, 윈도우즈 os에서는 마우스 우클릭 이벤트, 안드로이드 os에서는 초기화(초기 화면으로 전환) 이벤트로 설정할 수 있다. 도 5에 도시된 바와 같은 예 이외에도, 설정부(110)는, 집게(Pick)와 릴리즈(Release) 등을 조합하여 다양한 손동작 이벤트 및 이에 대응하는 마우스 이벤트를 설정할 수 있다.
관절 획득부(120)는, 착용형 증강현실 장치에서 촬영되는 영상으로부터 사용자 손의 관절 좌표를 획득할 수 있다. 관절 획득부(120)의 세부적인 구성에 대해서는 추후 도 6을 참조하여 상세히 설명하도록 한다.
손동작 검출부(130)는, 관절 획득부(120)에서 획득한 관절 좌표를 이용해 손 위치 및 손 모양으로 정의되는 손동작을 검출할 수 있다. 손동작 검출부(130)의 세부적인 구성에 대해서는 추후 도 9를 참조하여 상세히 설명하도록 한다.
이벤트 검출부(140)는, 영상에서 검출된 손동작을 이용해, 손동작의 변화를 손동작 이벤트로 검출할 수 있다. 보다 구체적으로, 이벤트 검출부(140)는, 영상의 연속되는 프레임에서 검출된 손동작을 이용해, 미리 정해진 개수의 프레임 내에서 제1 손동작과 제2 손동작을 결정하고, 제1 손동작과 제2 손동작의 손 위치 또는 손 모양의 차이로 손동작 이벤트를 결정할 수 있다. 다만, 손동작 이벤트는 2개의 손동작으로 구성되는 것은 아니며, 실시예에 따라서 3개 이상 손동작의 손 위치 또는 손 모양의 차이로 손동작 이벤트가 결정될 수도 있다.
제어부(300)는, 설정부(110)의 설정에 따라 검출된 손동작 이벤트에 대응하는 마우스 이벤트를 추출하고, 추출된 마우스 이벤트에 따라 착용형 증강현실 장치를 제어하여, 손동작을 이용해 마우스 기능을 구현할 수 있다. 즉, 제어부(300)는, 도 5에 도시된 바와 같은 설정부(110)의 설정 내용에 따라 이벤트 검출부(140)에서 검출된 손동작 이벤트로부터 마우스 이벤트를 추출하고, 이를 입력 신호로 하여 착용형 증강현실 장치를 제어할 수 있다. 따라서 마우스 이벤트에 따라 착용형 증강현실 장치의 디스플레이로 증강현실 영상이 출력, 제어되거나 애플리케이션이 실행 및 제어될 수 있다.
도 6은 본 발명의 일실시예에 따른 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치에서, 관절 획득부(120)의 세부적인 구성을 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치의 관절 획득부(120)는, 영상 획득 모듈(121), 관심 영역 검출 모듈(122) 및 좌표 추론 모듈(123)을 포함하여 구성될 수 있다.
영상 획득 모듈(121)은, 착용형 증강현실 장치에서 촬영되는 영상을 획득할 수 있다. 즉, 착용형 증강현실 장치는 영상 획득을 위한 카메라를 포함할 수 있으며, 사용자의 시선 방향에서 손 영상을 포함하는 영상을 촬영할 수 있다. 영상 획득 모듈(121)은, 카메라에서 촬영된 영상을 획득해 관심 영역 검출 모듈(122)에 전달할 수 있다.
특히, 본 발명의 일실시예에 따른 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치는, 일반적인 영상 이외에도 단일채널 이미지인 적외선 영상 또는 RGB 3채널로 변환된 깊이 영상(Depth map)을 이용할 수 있다. 따라서 계산 비용을 줄여 착용형 증강현실 장치의 CPU 또는 GPU의 리소스를 절약하고, 착용형 증강현실 장치상의 임베디드 환경에서 수행되어 효율적으로 손동작을 검출할 수 있다.
한편, 영상 획득 모듈(121)은 획득한 영상을 전처리할 수 있으며, 보다 구체적으로는 해상도를 변환할 수 있다. 특히, 적외선 영상을 이용하는 경우, 100×100픽셀 정도의 작은 크기의 영상을 사용해도 손동작을 정확하게 검출할 수 있으므로, 해상도를 변환하여 착용형 증강현실 장치의 리소스 사용을 최소화하고, 빠른 연산이 가능하도록 하여 실시간으로 손동작을 검출할 수 있다.
관심 영역 검출 모듈(122)은, 영상으로부터 손 영역을 포함하는 관심 영역(Region of Interest, ROI)을 검출할 수 있다. 보다 구체적으로, 관심 영역 검출 모듈(122)은, 영상으로부터 손 영역을 포함하는 복수의 후보 영역을 검출하고, 복수의 후보 영역에 NMS(Non-Maximum Suppression)를 적용해 하나의 관심 영역을 획득할 수 있다.
먼저, 관심 영역 검출 모듈(122)은, 영상 획득 모듈(121)에서 획득한 영상으로부터 손 영역을 포함하는 복수의 후보 영역을 검출할 수 있다. 이때, 사물 인식을 위해 딥러닝 기반으로 학습된 손 검출 모델을 사용해 후보 영역을 검출할 수 있으며, 복수의 후보 영역들은 적어도 일부가 중첩될 수 있다. 즉, 사물 인식 기술을 이용해 손 영역을 검출하면, 바운딩 박스(bounding box) 형태로 후보 영역을 검출하게 되는데, 목표로 하는 하나의 손 영역에 대해 다양한 크기와 형태를 가지는 복수 개의 후보 영역이 검출될 수 있다.
보다 구체적으로, 손 검출 모델은, 손 영역 검출을 위해 CNN, YOLOv3 등의 신경망 기반 딥러닝 기술을 적용해 사전 학습된 모델일 수 있으며, 특히 모델 압축 기술을 통해 경량화하거나, ResNet, DenseNet, SqueezeNet, MobileNet, ShuffleNet 등 경량화된 딥러닝 알고리즘을 사용할 수 있다. 이와 같이 경량화된 알고리즘을 이용하면, 착용형 증강현실 장치의 임베디드 환경에서도 빠르게 손 영역을 검출할 수 있다. 실시예에 따라서는, 랜덤 포레스트(Random Forest) 분류기를 손 검출 모델로 학습시켜 사용할 수 있으며, 가중 랜덤 포레스트 분류기(WRFR)나 캐스케이드 회귀 포레스트(Cascade Regression Forest) 등을 사용할 수도 있다. 이때, 학습 데이터로 적외선 영상을 사용해 사전 학습된 손 검출 모델을 사용할 수 있다.
도 7은 본 발명의 일실시예에 따른 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치에서, 관심 영역의 검출 화면을 예를 들어 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치의 관심 영역 검출 모듈(122)은, 실시간 손동작 검출 목적에 맞도록 연산속도가 빠른 손 검출 모델을 사용할 수 있다. 또한, 착용형 증강현실 장치를 착용한 사용자의 입력 신호로서 사용자의 손동작을 검출하는 것이 목적이므로, 다수의 손 영역을 검출할 필요 없이 하나 또는 둘의 손 영역만 검출하면 되므로, 검출 민감도보다 연산속도에 비중을 두어 손 검출 모델을 구성할 수 있다.
한편, 캐스케이드 회귀 포레스트와 고속 반경 대칭 변환(Fast Radial Symmetry Transform, FRST)을 이용하여, 조명의 변화에 따른 영향을 최소화하여 정확하게 후보 영역을 검출할 수도 있다.
다음으로, 관심 영역 검출 모듈(122)은, 검출된 복수의 후보 영역에 NMS(Non-Maximum Suppression)를 적용해 하나의 관심 영역을 획득할 수 있다. 즉, 손 검출 모델을 이용해 검출한 복수의 후보 영역의 적어도 일부가 겹치는 경우, 관심 영역 검출 모듈(122)은 NMS를 적용해 겹치는 영역 중에서 정확도가 가장 높은 것을 남겨 하나의 관심 영역을 획득할 수 있다. 이때, 복수의 후보 영역은 그 크기와 모양이 서로 다를 수 있으며, IoU(Intersection over Union)를 사용해 겹치는 영역을 확인할 수 있다. NMS를 적용하면 영상에 촬영된 노이즈의 효과를 최소화하고, 손동작 검출에 핵심적인 부분인 최적의 관심 영역을 획득할 수 있다.
좌표 추론 모듈(123)은, 검출된 관심 영역으로부터 딥러닝 기반의 관절 추론 모델을 이용해 관절의 좌표를 획득할 수 있다. 이때, 관절 추론 모델은, 사전 훈련된 CNN을 기반으로 할 수 있다. 보다 구체적으로, 좌표 추론 모듈(123)은, 관심 영역을 관절 추론 모델의 입력으로 하여 관절의 좌표 분포 맵을 추정하고, 관절의 좌표 분포 맵에 NMS를 적용해 관절의 좌표를 획득하여, 관절의 개수만큼 좌표를 출력할 수 있다.
먼저, 좌표 추론 모듈(123)은, 관심 영역 검출 모듈(122)에서 검출된 관심 영역을 관절 추론 모델의 입력으로 하여, 관절의 좌표 분포 맵을 추정할 수 있다. 여기서, 관절 추론 모델은, 백본 네트워크(Backbone Network)로 사전 훈련된 CNN 기반의 손동작 분류 모델을 사용해 관심 영역으로부터 특징맵을 추출하고, 추론 모델을 연결하여 적외선 영상 내에서 손 관절의 좌표 분포 맵을 도출할 수 있다.
좌표 추론 모듈(123)은, 추정된 관절의 좌표 분포 맵에 NMS를 적용해 관절의 좌표를 획득할 수 있다. 즉, 하나의 관절에 대해 복수의 예측 결과(복수의 좌표)를 관절의 좌표 분포 맵으로 도출할 수 있는데, 복수의 예측 결과에 NMS를 적용해 관절마다 하나의 좌표를 획득할 수 있다.
그 다음, 좌표 추론 모듈(123)은, 관절의 개수만큼 좌표를 출력할 수 있다. 보다 구체적으로는, 관절의 개수만큼의 행렬값으로 출력할 수 있다.
도 8은 본 발명의 일실시예에 따른 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치에서, 관절 포인트를 예를 들어 도시한 도면이다. 도 8에 도시된 바와 같이, 한 손에 21개의 관절 포인트가 있으므로, 본 발명의 일실시예에 따른 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치의 좌표 추론 모듈(123)은, 하나의 관심 영역에 대해 21개의 좌표를 획득할 수 있다. 이하에서 상세히 설명할 손동작 검출부(130)는, 관절 획들부(120)의 좌표 추론 모듈(123)이 출력하는 행렬값을 이용해, 손 관절의 좌표들의 상대적인 위치를 통해 손동작을 검출할 수 있다.
도 9는 본 발명의 일실시예에 따른 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치에서, 손동작 검출부(130)의 세부적인 구성을 도시한 도면이다. 도 9에 도시된 바와 같이, 본 발명의 일실시예에 따른 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치의 손동작 검출부(130)는, 손 위치 검출 모듈(131) 및 손 모양 검출 모듈(132)을 포함하여 구성될 수 있다.
손 위치 검출 모듈(131)은, 좌표 추론 모듈(123)에서 획득한 좌표들로부터 손 위치를 검출할 수 있다. 이때, 획득한 좌표들을 평균하거나, 획득한 좌표 중 적어도 어느 하나를 손 위치로 검출할 수 있고, 손 위치로부터 마우스 위치를 특정할 수 있다. 실시예에 따라서는, 손 모양에 따라 특정되는 마우스 위치가 서로 상이할 수 있다. 예를 들어, 손 모양이 하나(One)이면 집게손가락 마지막 관절의 좌표, 손 모양이 주먹(Fist)이면 손바닥 내에 위치하는 5개 관절 좌표의 중심을 마우스 위치로 특정할 수 있다.
손 모양 검출 모듈(132)은, 좌표 추론 모듈(123)에서 획득한 좌표들의 상대적인 위치를 통해 손 모양을 정의하되, 딥러닝 기반으로 미리 학습된 분류 모델에 의해 손 모양을 정의할 수 있다. 이때, 분류 모델은 CNN, RNN, LSTM RNN, 랜덤포레스트 분류기 등의 딥러닝 모델을 대량의 학습 데이터로 학습시킨 것일 수 있으며, 손 모양의 개수에 따라 클래스를 나누어 분류할 수 있다. 즉, 도 4에 도시된 바와 같이 손 모양이 5개인 경우, 5종류로 레이블 된 학습 데이터를 이용해 5개의 클래스로 분류하도록 학습시켜 분류 모델을 생성할 수 있다.
한편, 제어부(300)는, 착용형 증강현실 장치에서 실행되는 애플리케이션 프로그램에 따라, 양손 모드를 실행할 수 있다. 실시예에 따라서, 기본 화면에서는 한손 모드, 애플리케이션이 실행되면 양손 모드를 실행할 수 있으며, 애플리케이션 프로그램의 설정에 따라 한손 모드, 양손 모드가 선택적으로 실행될 수 있다. 양손 모드에서, 손동작은, 양손 사이의 거리 및/또는 양손의 크기 차이를 더 포함하여 정의될 수 있다.
양손 모드에서, 관절 획득부(120)는, 하나의 영상에서 두 세트(왼손 및 오른손)의 관절 좌표를 획득하여 손동작 검출부(130)에 전달할 수 있으며, 손동작 검출부(130)는, 관절 획득부(120)에서 획득된 왼손 및 오른손의 관절 좌표로 양손 사이의 거리 및/또는 양손의 크기 차이를 손동작으로 검출할 수 있다. 따라서 이벤트 검출부(140)는, 각각의 손의 손 위치 및 손 모양의 변화뿐만 아니라, 양손 사이의 거리 변화와 양손의 크기 차이 변화 등을 손동작 이벤트로 검출할 수 있다.
예를 들어, 도 5에 도시된 바와 같은 손동작 이벤트 이외에도, 양손 사이의 거리가 짧아지면 짧아진 만큼 줌인(Zoom In), 양손 사이의 거리가 멀어지면 멀어진 만큼 줌아웃(Zoom Out), 왼손의 크기보다 오른손의 크기가 커지는 만큼 객체를 시계방향으로 회전(Rotation), 오른손의 크기보다 왼손의 크기가 커지는 만큼 객체를 반시계방향으로 회전(Rotation) 등, 양손의 손동작 이벤트를 활용해 더 다양한 마우스 이벤트를 설정하고 구현할 수 있다.
도 10은 본 발명의 일실시예에 따른 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치의 전체적인 구성을 도시한 도면이다. 도 10에 도시된 바와 같이, 본 발명의 일실시예에 따른 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치는, 손동작 입력 장치(100)를 포함하여 구성될 수 있으며, HMD 프레임(200), 제어부(300), GPS 모듈(400), 카메라(500), 전원공급부(600), 스위치부(700) 및 통신부(800)를 더 포함하여 구성될 수 있다.
HMD 프레임(200)은, 사용자가 머리나 두부에 착용할 수 있는 착용형 증강현실 장치의 프레임 구성이다. 이러한 HMD 프레임(200)은, 사용자가 머리에 착용한 상태에서 빛이 들어올 수 있는 프레임 구조를 갖는 헬멧(helmet) 형태 또는 고글(goggles) 형태로 구성될 수 있다. 여기서, HMD 프레임(200)이 헬멧 형태로 이루어지는 경우, 사용자의 머리에 착용되는 헬멧(미도시)과 헬멧의 전방에 배치되는 디스플레이 프레임(미도시) 구조로 구성될 수 있다. 또한, HMD 프레임(200)이 고글 형태로 구성되는 경우, 사용자의 머리에 착용될 수 있는 밴드 프레임(미도시)과, 밴드 프레임에 체결 고정되는 고글 프레임(미도시) 구조로 구성될 수 있다.
제어부(300)는, 증강현실 영상 정보를 생성하여 디스플레이로 전송되도록 제어할 수 있다. 특히, 제어부(300)는, 카메라(500)에서 촬영된 영상을 손동작 입력 장치(100)에 제공하고 손동작 이벤트 검출 과정을 제어하며, 손동작 입력 장치(100)에서 검출된 손동작 이벤트를 전달받아 대응하는 마우스 이벤트를 추출하고, 이에 따라 제어 신호를 생성해 착용형 증강현실 장치를 제어할 수 있다.
또한, 본 발명의 일실시예에 따른 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치는, HMD 프레임(200)에 장착되어 위치 정보를 제공하기 위한 GPS 모듈(400), HMD 프레임(200)에 장착되어 손 영상을 포함하는 영상을 촬영하기 위한 카메라(500), 착용형 증강현실 장치의 구동을 위한 전원을 공급하기 위한 전원 공급부(600), 전원 공급부(600)의 온/오프를 위한 스위치부(700), 및 제어부(300)의 제어 하에 데이터 통신을 수행하는 통신부(800)를 더 포함하여 구성될 수 있다.
여기서, GPS 모듈(400)은 사용자의 위치 정보를 제공하고, 카메라(500)는 사용자가 바라보는 시선 방향의 영상 특히, 사용자의 손을 포함하는 영상을 촬영할 수 있다. 제어부(300)는, GPS 모듈(400), 카메라(500), 그 외 각종 센서에서 수집한 정보에 기초하여, 사용자에게 제공할 영상 정보를 생성해 디스플레이로 전송되도록 제어함으로써, 사용자가 증강현실을 통해 외부 환경에 대한 추가 정보 등을 최적화된 화면으로 전달받도록 할 수 있다.
또한, 스위치부(700)는 전원 공급부(600)의 온/오프를 위한 스위치를 HMD 프레임(200)의 일 측에 설치하거나, 또는 HMD 프레임(200)과 유선으로 연결되는 별도의 디바이스에 형성될 수 있다. 한편, 통신부(800)는 인접하는 다른 착용형 증강현실 장치나, 서버 등과 연동하여 연결 접속되고, 위치 정보, 센싱 정보 등 각종 정보가 서로 공유될 수 있도록 데이터 통신을 수행할 수 있다. 여기서, 통신부(800)는 인터넷 접속이 가능한 3G/4G/5G 및 LTE를 포함하는 다양한 무선 통신 방식이 적용되는 것으로 이해될 수 있다.
도 11은 본 발명의 일실시예에 따른 손동작을 이용한 착용형 증강현실 장치의 마우스 이벤트 입력 방법의 흐름을 도시한 도면이다. 도 11에 도시된 바와 같이, 본 발명의 일실시예에 따른 손동작을 이용한 착용형 증강현실 장치의 마우스 이벤트 입력 방법은, 손동작 이벤트와 마우스 이벤트를 상호 대응하여 설정하는 단계(S100), 착용형 증강현실 장치에서 촬영되는 영상으로부터 사용자 손의 관절 좌표를 획득하는 단계(S200), 관절 좌표를 이용해 손 위치 및 손 모양으로 정의되는 손동작을 검출하는 단계(S300), 영상에서 검출된 손동작을 이용해 손동작의 변화를 손동작 이벤트로 검출하는 단계(S400) 및 검출된 손동작 이벤트에 대응하는 마우스 이벤트를 추출하고, 추출된 마우스 이벤트에 따라 착용형 증강현실 장치를 제어하여, 손동작을 이용해 마우스 기능을 구현하는 단계(S500)를 포함하여 구현될 수 있다.
각각의 단계들과 관련된 상세한 내용들은, 앞서 본 발명의 일실시예에 따른 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치와 관련하여 충분히 설명되었으므로, 상세한 설명은 생략하기로 한다.
전술한 바와 같이, 본 발명에서 제안하고 있는 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치 및 손동작을 이용한 착용형 증강현실 장치의 마우스 이벤트 입력 방법에 따르면, 영상으로부터 획득한 손의 관절 좌표로부터 사용자의 손 위치 및 손 모양으로 정의되는 손동작을 검출하고, 손동작의 변화로 정의되는 손동작 이벤트에 대응하는 마우스 이벤트를 추출해 제어함으로써, 손동작을 이용해 착용형 증강현실 장치에서 마우스 기능을 구현하여, 사용자가 별도의 제스처나 입력 방식을 익히거나 기억할 필요 없이, 기존의 마우스 입력 방식과 유사한 손동작으로 착용형 증강현실 장치를 쉽게 제어할 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
100: 손동작 입력 장치
110: 설정부
120: 관절 획득부
121: 영상 획득 모듈
122: 관심 영역 검출 모듈
123: 좌표 추론 모듈
130: 손동작 검출부
131: 손 위치 검출 모듈
132: 손 모양 검출 모듈
140: 이벤트 검출부
200: HMD 프레임
300: 제어부
400: GPS 모듈
500: 카메라
600: 전원 공급부
700: 스위치부
800: 통신부
S100: 손동작 이벤트와 마우스 이벤트를 상호 대응하여 설정하는 단계
S200: 착용형 증강현실 장치에서 촬영되는 영상으로부터 사용자 손의 관절 좌표를 획득하는 단계
S300: 관절 좌표를 이용해 손 위치 및 손 모양으로 정의되는 손동작을 검출하는 단계
S400: 영상에서 검출된 손동작을 이용해 손동작의 변화를 손동작 이벤트로 검출하는 단계
S500: 검출된 손동작 이벤트에 대응하는 마우스 이벤트를 추출하고, 추출된 마우스 이벤트에 따라 착용형 증강현실 장치를 제어하여, 손동작을 이용해 마우스 기능을 구현하는 단계

Claims (8)

  1. 착용형 증강현실 장치로서,
    손동작 이벤트와 마우스 이벤트를 상호 대응하여 설정하는 설정부(110);
    상기 착용형 증강현실 장치에서 촬영되는 영상으로부터 사용자 손의 관절 좌표를 획득하는 관절 획득부(120);
    상기 관절 획득부(120)에서 획득한 관절 좌표를 이용해 손 위치 및 손 모양으로 정의되는 손동작을 검출하는 손동작 검출부(130);
    상기 영상에서 검출된 손동작을 이용해, 손동작의 변화를 손동작 이벤트로 검출하는 이벤트 검출부(140); 및
    상기 설정부(110)의 설정에 따라 상기 검출된 손동작 이벤트에 대응하는 마우스 이벤트를 추출하고, 추출된 마우스 이벤트에 따라 상기 착용형 증강현실 장치를 제어하여, 손동작을 이용해 마우스 기능을 구현하는 제어부(300)를 포함하며,
    상기 손동작 이벤트는,
    사용자의 손 위치 및 손 모양으로 정의되는 손동작의 미리 정해진 시간 동안의 변화로 정의되고,
    상기 제어부(300)는,
    상기 착용형 증강현실 장치에서 실행되는 애플리케이션 프로그램에 따라, 양손 모드를 실행하며,
    상기 양손 모드에서,
    상기 손동작은, 양손 사이의 거리 및/또는 양손의 크기 차이를 더 포함하여 정의되는 것을 특징으로 하는, 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치.
  2. 제1항에 있어서, 상기 손 모양은,
    주먹(Fist), 주먹에서 검지를 편 하나(One), 모든 손가락을 편 다섯(Five), 엄지와 검지가 맞닿은 집게(Pick), 및 집게에서 엄지와 검지가 떨어져 있는 릴리즈(Release)를 포함하여 구성되는 것을 특징으로 하는, 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치.
  3. 제2항에 있어서, 상기 이벤트 검출부(140)는,
    상기 영상의 연속되는 프레임에서 검출된 손동작을 이용해, 미리 정해진 개수의 프레임 내에서 제1 손동작과 제2 손동작을 결정하고, 상기 제1 손동작과 제2 손동작의 손 위치 또는 손 모양의 차이로 상기 손동작 이벤트를 결정하는 것을 특징으로 하는, 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치.
  4. 제1항에 있어서, 상기 관절 획득부(120)는,
    상기 착용형 증강현실 장치에서 촬영되는 영상을 획득하는 영상 획득 모듈(121);
    상기 영상으로부터 손 영역을 포함하는 관심 영역(Region of Interest, ROI)을 검출하는 관심 영역 검출 모듈(122); 및
    상기 검출된 관심 영역으로부터 딥러닝 기반의 관절 추론 모델을 이용해 관절의 좌표를 획득하는 좌표 추론 모듈(123)을 포함하는 것을 특징으로 하는, 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치.
  5. 제4항에 있어서, 상기 손동작 검출부(130)는,
    상기 좌표 추론 모듈(123)에서 획득한 좌표들로부터 손 위치를 검출하는 손 위치 검출 모듈(131); 및
    상기 좌표 추론 모듈(123)에서 획득한 좌표들의 상대적인 위치를 통해 손 모양을 정의하되, 딥러닝 기반으로 미리 학습된 분류 모델에 의해 상기 손 모양을 정의하는 손 모양 검출 모듈(132)을 포함하는 것을 특징으로 하는, 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치.
  6. 삭제
  7. 제1항에 있어서, 상기 손동작 검출부(130)는,
    상기 관절 획득부(120)에서 획득된 왼손 및 오른손의 관절 좌표로 양손 사이의 거리 및/또는 양손의 크기 차이를 검출하는 것을 특징으로 하는, 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치.
  8. 착용형 증강현실 장치의 마우스 이벤트 입력 방법으로서,
    (1) 손동작 이벤트와 마우스 이벤트를 상호 대응하여 설정하는 단계;
    (2) 상기 착용형 증강현실 장치에서 촬영되는 영상으로부터 사용자 손의 관절 좌표를 획득하는 단계;
    (3) 상기 단계 (2)에서 획득한 관절 좌표를 이용해 손 위치 및 손 모양으로 정의되는 손동작을 검출하는 단계;
    (4) 상기 영상에서 검출된 손동작을 이용해, 손동작의 변화를 손동작 이벤트로 검출하는 단계; 및
    (5) 상기 단계 (1)의 설정에 따라 상기 검출된 손동작 이벤트에 대응하는 마우스 이벤트를 추출하고, 추출된 마우스 이벤트에 따라 상기 착용형 증강현실 장치를 제어하여, 손동작을 이용해 마우스 기능을 구현하는 단계를 포함하며,
    상기 손동작 이벤트는,
    사용자의 손 위치 및 손 모양으로 정의되는 손동작의 미리 정해진 시간 동안의 변화로 정의되고,
    상기 단계 (5)에서는,
    상기 착용형 증강현실 장치에서 실행되는 애플리케이션 프로그램에 따라, 양손 모드를 실행하며,
    상기 양손 모드에서,
    상기 손동작은, 양손 사이의 거리 및/또는 양손의 크기 차이를 더 포함하여 정의되는 것을 특징으로 하는, 손동작을 이용한 착용형 증강현실 장치의 마우스 이벤트 입력 방법.
KR1020200115666A 2020-09-09 2020-09-09 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치 및 손동작을 이용한 착용형 증강현실 장치의 마우스 이벤트 입력 방법 KR102286018B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200115666A KR102286018B1 (ko) 2020-09-09 2020-09-09 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치 및 손동작을 이용한 착용형 증강현실 장치의 마우스 이벤트 입력 방법
PCT/KR2021/012170 WO2022055232A1 (ko) 2020-09-09 2021-09-07 곡면반사대를 이용한 공기 가압식 텅스텐 분말 충전 공정기술의 박막 차폐필름 제작 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200115666A KR102286018B1 (ko) 2020-09-09 2020-09-09 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치 및 손동작을 이용한 착용형 증강현실 장치의 마우스 이벤트 입력 방법

Publications (1)

Publication Number Publication Date
KR102286018B1 true KR102286018B1 (ko) 2021-08-05

Family

ID=77316705

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200115666A KR102286018B1 (ko) 2020-09-09 2020-09-09 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치 및 손동작을 이용한 착용형 증강현실 장치의 마우스 이벤트 입력 방법

Country Status (2)

Country Link
KR (1) KR102286018B1 (ko)
WO (1) WO2022055232A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230022065A (ko) * 2021-08-06 2023-02-14 주식회사 피앤씨솔루션 착용형 증강현실 장치를 위한 대시보드 제어 장치 및 대시보드 제어 방법
WO2023085534A1 (ko) * 2021-11-11 2023-05-19 주식회사 피앤씨솔루션 머리 착용형 디스플레이 장치에서 손 인식을 활용한 마우스 포인트의 기준점 설정 방법 및 장치
WO2023219254A1 (ko) * 2022-05-09 2023-11-16 주식회사 피앤씨솔루션 증강현실 글래스 장치의 손 거리 추정 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150110257A (ko) * 2014-03-21 2015-10-02 삼성전자주식회사 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법 및 이를 위한 웨어러블 디바이스
KR20150118377A (ko) * 2014-04-14 2015-10-22 고려대학교 산학협력단 손가락 움직임을 이용한 정보 입력 시스템 및 그 입력 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008205316A (ja) * 2007-02-21 2008-09-04 Matsushita Electric Ind Co Ltd 電磁波遮蔽フィルム及びその製造方法
JP2014202947A (ja) * 2013-04-05 2014-10-27 株式会社クラレ 微細構造を有する成形体の製造方法およびそれにより得られる光学部品
JP6117064B2 (ja) * 2013-09-13 2017-04-19 株式会社日立パワーソリューションズ 放射線遮蔽体の施工装置及びそれによる放射線遮蔽体の施工方法、並びに放射線遮蔽体の施工ロボット

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150110257A (ko) * 2014-03-21 2015-10-02 삼성전자주식회사 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법 및 이를 위한 웨어러블 디바이스
KR20150118377A (ko) * 2014-04-14 2015-10-22 고려대학교 산학협력단 손가락 움직임을 이용한 정보 입력 시스템 및 그 입력 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
김규민 외 1인. 딥러닝 기반 실시간 손 제스처 인식. 멀티미디어학회 논문지 제22권 제4호. 424-431 페이지. 2019년4월. 1부.* *
장석우 외 2인. 관절 기반의 모델을 활용한 강인한 손 영역 추출. 한국산학기술학회 논문지 제20권 제9호. 525-531 페이지. 2019년9월. 1부.* *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230022065A (ko) * 2021-08-06 2023-02-14 주식회사 피앤씨솔루션 착용형 증강현실 장치를 위한 대시보드 제어 장치 및 대시보드 제어 방법
KR102539045B1 (ko) 2021-08-06 2023-06-02 주식회사 피앤씨솔루션 착용형 증강현실 장치를 위한 대시보드 제어 장치 및 대시보드 제어 방법
WO2023085534A1 (ko) * 2021-11-11 2023-05-19 주식회사 피앤씨솔루션 머리 착용형 디스플레이 장치에서 손 인식을 활용한 마우스 포인트의 기준점 설정 방법 및 장치
WO2023219254A1 (ko) * 2022-05-09 2023-11-16 주식회사 피앤씨솔루션 증강현실 글래스 장치의 손 거리 추정 방법 및 장치

Also Published As

Publication number Publication date
WO2022055232A1 (ko) 2022-03-17

Similar Documents

Publication Publication Date Title
KR102286018B1 (ko) 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치 및 손동작을 이용한 착용형 증강현실 장치의 마우스 이벤트 입력 방법
Shriram et al. Deep learning-based real-time AI virtual mouse system using computer vision to avoid COVID-19 spread
EP3090331B1 (en) Systems with techniques for user interface control
US20200356238A1 (en) Virtual Interactions for Machine Control
US9734393B2 (en) Gesture-based control system
US11256336B2 (en) Integration of artificial reality interaction modes
CN112585566B (zh) 用于与具有内置摄像头的设备进行交互的手遮脸输入感测
Rautaray et al. Real time multiple hand gesture recognition system for human computer interaction
US9904372B2 (en) Method by which eyeglass-type display device recognizes and inputs movement
KR20120045667A (ko) 움직임 인식을 이용한 사용자 인터페이스 장치 및 방법
Premaratne et al. Historical development of hand gesture recognition
KR20160079531A (ko) 제스처 입력 처리 방법 및 장치
KR102305403B1 (ko) 깊이 영상을 이용한 착용형 증강현실 장치의 손동작 검출 방법 및 깊이 영상을 이용한 손동작 검출이 가능한 착용형 증강현실 장치
JP2017102598A (ja) 認識装置、認識方法および認識プログラム
KR102305404B1 (ko) 적외선 영상을 이용한 착용형 증강현실 장치의 손동작 검출 방법 및 적외선 영상을 이용한 손동작 검출이 가능한 착용형 증강현실 장치
Titlee et al. A novel design of an intangible hand gesture controlled computer mouse using vision based image processing
KR20190114279A (ko) 미디어 사물 인터넷을 위한 손 제스쳐 명령의 처리 방법 및 장치
KR20220067964A (ko) 카메라 시야(fov) 가장자리에서 움직임을 인식하여 전자 장치를 제어하는 방법 및 그 전자 장치
Waghmare et al. OptiRing: Low-Resolution Optical Sensing for Subtle Thumb-to-Index Micro-Interactions
Lu et al. Realizing multi-touch-like gestures in 3d space
KR102522142B1 (ko) 양손 제스처를 이용해 조작 신호를 입력하는 착용형 증강현실 장치 및 양손 제스처를 이용한 착용형 증강현실 장치의 조작 방법
Khaliq et al. Virtual Mouse Implementation Using Color Pointer Detection
JP7390891B2 (ja) クライアント装置、サーバ、プログラム、及び、情報処理方法
Arai Mobile phone operations just by sight and its applications
KR20160062906A (ko) 고글형 디바이스를 위한 증강현실 키보드

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant