KR20190056833A - 착용형 헤드셋 제어 장치 및 착용형 헤드셋 장치를 위한 제어 신호 생성 방법 - Google Patents

착용형 헤드셋 제어 장치 및 착용형 헤드셋 장치를 위한 제어 신호 생성 방법 Download PDF

Info

Publication number
KR20190056833A
KR20190056833A KR1020170154163A KR20170154163A KR20190056833A KR 20190056833 A KR20190056833 A KR 20190056833A KR 1020170154163 A KR1020170154163 A KR 1020170154163A KR 20170154163 A KR20170154163 A KR 20170154163A KR 20190056833 A KR20190056833 A KR 20190056833A
Authority
KR
South Korea
Prior art keywords
command signal
facial expression
signal
information
user
Prior art date
Application number
KR1020170154163A
Other languages
English (en)
Other versions
KR102069825B1 (ko
Inventor
김시호
김진혁
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020170154163A priority Critical patent/KR102069825B1/ko
Publication of KR20190056833A publication Critical patent/KR20190056833A/ko
Application granted granted Critical
Publication of KR102069825B1 publication Critical patent/KR102069825B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G06K9/00604—
    • G06K9/00308—
    • G06K9/00617—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification

Abstract

착용형 헤드셋 제어 장치를 개시한다. 일 실시예에 따른 착용형 헤드셋 제어 장치는, 사용자의 눈 주변으로부터 IR 신호를 수신하는 표정 인식 센서부와, 상기 수신된 IR 신호에 대응하는 표정 정보를 생성하고, 상기 표정 정보에 대응하는 커맨드 신호를 확인하는 제어부와, 상기 커맨드 신호를 출력하는 인터페이스부를 포함한다.

Description

착용형 헤드셋 제어 장치 및 착용형 헤드셋 장치를 위한 제어 신호 생성 방법{HEAD MOUNTED CONTROL APPARATUS AND METHOD TO GENERATE SIGNAL FOR HEAD MOUNTED DISPLAY}
본 발명은 가상/증강 현실에 사용되는 착용형 헤드셋 제어 장치 및 착용형 헤드셋 장치를 위한 제어 신호 생성 방법에 관한 것이다.
착용형 헤드셋 장치(Head-Mounted Display Apparatus, HMD)란 안경처럼 머리에 착용하여 다양한 정보를 제공받을 수 있도록 하는 착용형 디바이스를 말한다. 디지털 디바이스의 경량화 및 소량화 추세에 따라, 다양한 착용형 디바이스가 개발되고 있으며, HMD 또한, 널리 사용되고 있다. HMD는 단순한 디스플레이 기능을 넘어 증강 현실 기술, 가상 현실 기술, N 스크린 기술 등을 이용한 다양한 콘텐츠를 제공할 수 있다. 이러한 다양한 콘텐츠를 이용하기 위해서는 충분한 인터페이스 활용이 필요하다.
하지만, 종래의 HMD의 경우 얼굴에 안경처럼 쓰는 장비로써 가속도 센서 및 자이로 센서 등에 의해 얼굴의 움직임이나 사용자의 시선 정도만 활용할 수 있어 Input System이 제한된다는 문제점이 있다.
또한 표정 인식을 Input System으로 활용하더라도, 카메라를 통해 얻은 영상을 처리 및 분석하는 방식으로 이루어져, high-cost하여 Input System으로 적합하지 않다.
대한민국 공개특허 제2015-0039179호(2015.04.09), "헤드 마운트 디스플레이 장치"
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 표정을 인식하여 Input System으로 활용할 수 있는 착용형 헤드셋 제어 장치를 제공하고자 한다.
또한, 본 발명은 표정을 Input System에 활용하여 손이 자유로운 착용형 헤드셋 제어 장치를 제공하고자 한다.
또한, 본 발명은 사용자의 표정과 얼굴 움직임을 입력 신호로 활용할 수 있어, 가상현실(Virtual Reality,VR), 증강현실(Augmented Reality, AR) 등의 콘텐츠에서 더욱 현실감 넘치는 경험을 제공하는 착용형 헤드셋 제어 장치를 제공하고자 한다.
또한, 본 발명은 손이 불편한 사용자들이 콘텐츠 등을 이용할 수 있도록 하는 착용형 헤드셋 제어 장치를 제공하고자 한다.
또한, 본 발명은 IR 센서를 사용하여 하드웨어 및 소프트웨어 측면에서 적은 비용으로 Input System으로 활용할 수 있는 착용형 헤드셋 제어 장치를 제공하고자 한다.
상기와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 착용형 헤드셋 제어 장치는, 사용자의 눈 주변으로부터 IR 신호를 수신하는 표정 인식 센서부와, 상기 수신된 IR 신호에 대응하는 표정 정보를 생성하고, 상기 표정 정보에 대응하는 커맨드 신호를 확인하는 제어부와, 상기 커맨드 신호를 출력하는 인터페이스부를 포함한다.
본 발명의 일 실시예에 따른 제어 신호 생성 방법은, 사용자의 눈 주변으로부터 IR 신호를 수신하는 단계와, 상기 수신된 IR 신호에 대응하는 표정 정보를 생성하는 단계와, 상기 표정 정보에 대응하는 커맨드 신호를 확인하는 단계와, 상기 커맨드 신호를 출력하는 단계를 포함한다.
본 발명의 일 실시예에 따른 제어 신호 생성 방법은, 착용형 헤드셋 장치에서 콘텐츠 제공 중 주 제어 신호 입력에 대응하는 주 커맨드 신호를 출력하는 단계와, 사용자의 눈 주변으로부터 IR 신호들을 수신하는 단계와, 상기 수신된 IR 신호들에 대응 하는 표정 정보를 생성하는 단계와, 상기 표정 정보가 서브 제어 신호 입력인지 판단하는 단계와, 서브 제어 신호인 경우 상기 서브 제어 신호에 대응하는 커맨드 신호를 확인하는 단계와, 상기 커맨드 신호를 출력하는 단계를 포함한다.
본 발명에 따른 착용형 헤드셋 제어 장치는 표정을 인식하여 Input System으로 활용할 수 있다.
또한, 본 발명에 따르면 표정을 Input System에 활용할 수 있기 때문에 헤드셋을 사용하는 사용자의 손이 자유로운 효과가 있다.
또한, 본 발명에 따르면 사용자의 표정과 얼굴 움직임을 입력 신호로 활용할 수 있어, VR, AR 등의 콘텐츠에서 더욱 현실감 넘치는 경험을 제공할 수 있다.
또한, 본 발명은 IR 센서를 사용하여 하드웨어 및 소프트웨어 측면에서 적은 비용으로 Input System으로 활용할 수 있다.
도 1은 본 발명의 일 실시예에 따른 착용형 헤드셋 제어 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 착용형 헤드셋 제어 장치의 센서부의 위치를 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 착용형 헤드셋 제어 장치의 센서부의 동작을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 착용형 헤드셋 제어 장치의 사용자의 표정과 움직임에 대응하는 커맨드 신호를 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 착용형 헤드셋 제어 장치가 제어 신호를 생성하는 방법을 나타내는 흐름도이다.
도 6은 본 발명의 다른 일 실시예에 따른 착용형 헤드셋 장치에서 착용형 헤드셋 제어 장치가 제어 신호를 생성하는 방법을 나타내는 흐름도이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
본 명세서에서 사용되는 “실시예”, “예”, “측면”, “예시” 등은 기술된 임의의 양상(aspect) 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되어야 하는 것은 아니다.
또한, '또는' 이라는 용어는 배타적 논리합 'exclusive or' 이기보다는 포함적인 논리합 'inclusive or' 를 의미한다. 즉, 달리 언급되지 않는 한 또는 문맥으로부터 명확하지 않는 한, 'x가 a 또는 b를 이용한다' 라는 표현은 포함적인 자연 순열들(natural inclusive permutations) 중 어느 하나를 의미한다.
또한, 본 명세서 및 청구항들에서 사용되는 단수 표현("a" 또는 "an")은, 달리 언급하지 않는 한 또는 단수 형태에 관한 것이라고 문맥으로부터 명확하지 않는 한, 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.
또한, 본 명세서 및 청구항들에서 사용되는 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
한편, 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 착용형 헤드셋 제어 장치의 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 착용형 헤드셋 제어장치는, 표정 인식 센서부(110)와, 제어부(120)와, 인터페이스부(130)를 포함한다.
표정 인식 센서부(110)는 사용자의 눈 주변의 피부로 IR 신호를 출력하고, 피부로부터 반사되거나 피부를 통해 전파된 IR 신호를 수신하여 표정 변화를 감지할 수 있다.
제어부(120)는 수신된 IR 신호에 기초하여 표정 정보를 생성한다.
제어부(120)는 수신된 IR의 세기들을 기준 값과 비교한다.
제어부(120)는 수신된 IR의 세기가 기준 값보다 큰 경우 이완정보로, 기준 값보다 작은 경우 수축정보를 생성할 수 있다.
이완 또는 수축정보는 사용자의 눈 주변의 특징점들에 대응하는 위치의 피부의 이완 또는 수축 정도를 나타낼 수 있다.
특징점들은 사용자의 표정을 인식하기 위해 눈 주변의 필요한 피부의 움직임 등을 확인할 수 있도록 사전에 설정해 둔 특정 지점일 수 있다.
제어부(120)는 생성된 이완 또는 수축 정보들을 매핑(Mapping)하고, 사전에 설정된 표정 패턴과 비교해 표정 인식을 수행하여, 표정 정보를 생성할 수 있다.
다른 일 실시예에 따라, 표정 인식 센서부(110)는 사용자의 얼굴로부터 반사된 IR의 전달 특성 변화를 수신할 수 있다.
이때, 제어부(120)는 IR의 전달 특성 변화를 매핑하여 사전에 설정된 표정 패턴과 비교해 표정 인식을 수행하여 표정 정보를 생성할 수 있다.
전달 특성 변화는 피부를 향해 Z축 방향의 IR 신호를 출력하고, 출력된 IR 신호를 피부의 아래에 위치하는 지방층에서 X축 및 Y축 방향으로 전달하며 전달된 IR이 나타내는 지수함수적 특성일 수 있다.
제어부(120)는 움직임 센서(미도시)가 감지한 사용자의 얼굴 등의 움직임에 기초하여 움직임 정보를 생성한다.
예를 들면, 고개를 들거나, 숙이는 경우, 상하 움직임, 회전 등 다양한 움직임을 움직임 센서를 통해 감지하여 움직임 정보를 생성할 수 있다.
제어부(120)는 기 설정된 데이터에 기초하여 표정 정보나 움직임 정보에 대응하는 커맨드 신호를 확인할 수 있다.
기 설정된 데이터는, 사용자가 입력 신호(표정과 사용자의 얼굴 움직임)에 따른 커맨드 신호를 미리 설정하여 저장한 데이터일 수 있다.
예를 들어 도 4를 참조하면, 표정과 움직임의 입력 신호에 따라 Selection 커맨드 신호, Drag-Drop 커맨드 신호, Cursor Moving 커맨드 신호, Scroll Lock 커맨드 신호, Zoom In 커맨드 신호, Zoom Out 커맨드 신호, Reset 커맨드 신호가 설정될 수 있다.
표정과 움직임의 입력 신호에 따른 커맨드 신호는 도 4의 커맨드뿐만 아니라 사용자의 설정에 따라 다양화할 수 있다.
예를 들면, 왼쪽 눈의 윙크 표정인 경우, 외부 장치에 따른 게임 콘텐츠에서 캐릭터가 사용하는 무기의 탄창을 교환하는 커맨드를 출력할 수도 있다.
콘텐츠는 가상현실(VR, Virtual Reality), 증강현실(AR, Augmented Reality) 등 다양한 어플리케이션일 수 잇다.
외부 장치는 착용형 헤드셋 장치(HMD), 스마트TV, 컴퓨터, 노트북, 게임 콘솔 등일 수 있다.
외부 장치는 착용형 헤드셋 제어 장치와 유선으로 연결될 수 있다.
표정과 움직임의 입력 신호에 따른 커맨드 신호에 대한 데이터는 착용형 헤드셋 제어 장치 외의 외부 장치에 설정 및 저장되어 있을 수 있다.
예를 들면, 착용형 헤드셋 제어 장치가 게임 콘솔에 연결되어 있는 경우 착용형 헤드셋 제어 장치는 표정과 움직임의 입력 신호에 따른 표정 정보와 움직임 정보를 생성하여 게임 콘솔로 출력할 수 있다.
게임 콘솔은 표정과 움직임에 따른 미리 설정되고, 저장된 커맨드 신호에 따라 커맨드 신호를 출력할 수 있다.
제어부(120)는 확인된 커맨드 신호를 인터페이스부(130)를 통해 출력할 수 있다.
제어부(120)는 표정을 인식하기 위해 표정 패턴을 찾을 수 있는 얼굴 인식 알고리즘을 포함할 수 있다.
다른 일 실시예에 따라, 얼굴 인식 알고리즘은 적외선(IR) 세기 차이 정보에 의해, 눈 영역을 검출하고, 눈 주변의 특징점들을 잇는 선분을 검출하고, 선분을 수직이등분 하는 선분을 검출하고, 수직이등분한 선분이 입 중앙의 위치와 일치 여부를 검출할 수 있도록 구성될 수 있으나, 알고리즘은 이로 제한되지 않는다.
다른 일 실시예에 따라, 착용형 헤드셋 제어 장치(100)는 외부 장치와 무선으로 연결될 수 있다.
착용형 헤드셋 제어 장치(100)는 확인된 커맨드 신호를 외부 장치로 전송하기 위하여 무선 인터넷 모듈을 포함할 수 있다.
예를 들면, 무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈로, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 및 LTE 기술 기반의 모듈일 수 있다.
본 발명의 일 실시예에 따른 착용형 헤드셋 제어 장치(100)는 움직임 센서부(미도시)를 포함할 수 있다.
인터페이스부(130)는 확인된 커맨드 신호를 외부 장치로 출력할 수 있다.
예를 들면, 도 4를 참조하면, 한쪽 눈을 윙크하는 표정으로 Selection 커맨드 신호가 확인된 경우 인터페이스부(130)는 확인된 Selection 커맨드 신호를 착용형 헤드셋 장치(HMD)로 출력할 수 있다. HMD는 커맨드 신호에 따라 해다 커맨드를 구현할 수 있다.
본 발명의 일 실시예에 따른 착용형 헤드셋 제어 장치는 착용형 헤드셋 장치뿐만 아니라 다양한 환경에서 가상현실(Virtual Reality, VR), 증강현실(Augmented Reality, AR)컨트롤러로 사용될 수 있다.
인터페이스부는 확인된 커맨드 신호뿐만 아니라, 수신된 표정과 움직임에 따른 표정 정보 및 움직임 정보를 외부 장치로 출력할 수 있다.
이때, 외부 장치는 출력된 표정 정보 및 움직임 정보에 따라 미리 설정된 커맨드 신호를 확인하고, 구현할 수 있다.
움직임 센서부(미도시)는 사용자의 얼굴의 움직임을 감지할 수 있다.
움직임 센서부는 가속도를 감지하는 가속도 센서 및 각속도를 감지하는 자이로 센서를 포함할 수 있다.
움직임 센서부는 착용형 헤드셋 장치의 사용자의 움직임을 감지하기 용이한 위치에 설치될 수 있다.
가속도 센서와, 자이로 센서를 통해 착용형 헤드셋 장치를 착용한 사용자의 얼굴 움직임을 감지할 수 있다.
본 발명의 일 실시예에 따른 착용형 헤드셋 제어 장치(100)는 시선 추적 센서(미도시)를 포함할 수 있다.
시선 추적 센서는 사용자의 눈의 동공 위치를 추적하여 입력 신호로 활용할 수 있다.
도 2는 본 발명의 일 실시예에 따른 착용형 헤드셋 제어 장치의 센서부의 위치를 나타내는 도면이다.
도 2를 참조하면, 착용형 헤드셋 제어 장치는 사용자가 머리에 착용하여 눈 주변의 특징점들로 IR 신호를 출력하고, 반사된 IR 신호를 수신할 수 있도록 안경, 고글 등의 형태일 수 있다.
착용형 헤드셋 장치가 외부 장치인 경우 착용형 헤드셋 장치 내에 설치될 수도 있다.
센서부는 양 볼과 미간을 특징점들으로 하여 이에 대응하는 3개의 IR센서들(제1 IR센서, 제2 IR센서 및 제3 IR센서)을 포함할 수 있다. IR센서들은 착용형 헤드셋 제어 장치(외부 장치가 착용형 헤드셋 장치인 경우 착용형 헤드셋 장치)의 사용자의 얼굴의 특징점들과 접하는 위치에 설치될 수 있다.
IR센서들 각각은 사용자의 얼굴로 IR 신호를 출력하는 IR출력센서(111)와, 반사된 IR 신호를 수신하는 IR수신센서(112)를 포함할 수 있다.
IR출력센서(111)와, IR수신센서(112)는 근접한 일정 거리로 설치될 수 있다.
IR센서들은 읽어내야 하는 표정과 정밀도 등에 의해 다수 개를 사용할 수 있다. 예를 들면, 다수 개의 IR센서들 및 데이터를 활용하여 정밀하게 사용자가 의도적으로 지은 표정과 그렇지 않은 표정도 구별할 수 있도록 할 수 있다.
IR출력센서(111)는 IR LED(Light Emitting Diode)일 수 있다.
IR LED는 OLED(Organic Light Emitting Diode)이거나 AMOLED(Active Matrix Organic Light Emitting Diode)이거나 FLED(Flexible LED)일 수 있다.
IR출력센서(111)들은 순차적 또는 동시다발적으로 사용자의 안면에 IR을 출력하는 동작을 수행할 수 있다.
IR수신센서(112)는 포토다이오드(Photo Diode)일 수 있다.
IR센서로 표정을 감지하여 저렴한 비용으로 표정을 입력 신호로 활용할 수 있다.
도 3은 본 발명의 일 실시예에 따른 착용형 헤드셋 제어 장치의 센서부의 동작을 나타내는 도면이다.
도 3을 참조하면, IR출력센서(111)는 사용자의 얼굴 눈 주변의 피부를 향해 IR 신호를 출력한다. IR 신호는 피부 내에서 산란과 감쇠하며, 근접한 일정 거리의 IR수신센서(112)를 통해 수신된다.
수신된 IR 신호의 세기를 기 설정된 기준 값과 비교하여 피부의 이완 또는 수축 정도를 확인할 수 있다. 이러한 정도(이완 또는 수축정보)를 매핑하고 기 설정된 표정 패턴과 비교하여 표정 인식을 수행할 수 있다.
예를 들면, 기 설정된 표정 패턴은 사용자 등록 시 사용자로부터 입력 받아 저장된 다양한 표정 패턴일 수 있다.
도 4는 본 발명의 일 실시예에 따른 착용형 헤드셋 제어 장치의 사용자의 표정과 움직임에 대응하는 커맨드 신호를 나타내는 도면이다.
도 4를 참조하면, 제어부는 표정 인식 센서부와 움직임 센서부를 통해 표정 및 움직임을 감지하여 표정 정보와 움직임 정보를 생성하고, 표정 정보와 움직임 정보에 대응하는 커맨드 신호를 확인할 수 있다.
왼쪽 또는 오른쪽의 한쪽 눈 윙크인 표정이 감지된 경우, 외부 장치에서 구현된 콘텐츠에서 해당 커서 등에 위치한 아이템, 버튼, 스크롤 등을 선택하는 커맨드 신호(Selection 커맨드 신호)를 확인할 수 있다.
이때, 커서 등의 위치는 시선 추적 센서가 추적한 시선의 위치일 수 있다.
시선 추적 센서는 착용형 헤드셋 제어장치에 포함되어 시선 추적이 이루어 질 수 있다.
시선 추적 센서는 외부 장치에 포함되어 시선 추적이 이루어 질 수도 있다.
Selection 커맨드 신호 출력 상태, 즉 한쪽 눈을 윙크하는 상태(설정에 따라, 계속 윙크 하지 않고, 한번의 윙크 만으로 아이템 등의 선택이 유지될 수 있고, 이 경우에는 한쪽 눈의 윙크를 유지하지 않은 상태에서 사용자의 얼굴을 움직여 Drag-Drop 커맨드 신호를 확인할 수 있다.)에서 사용자의 얼굴이 좌우, 상하 등으로 움직인다는 움직임이 감지된 경우 선택한 대상을 끌고 사용자의 얼굴이 움직이는 방향으로 대상을 이동시키는 커맨드 신호(Drag-Drop 커맨드 신호)를 확인할 수 있다. 또는, 선택한 대상이 스크롤인 경우 사용자의 얼굴 움직임에 따라 스크롤을 이동시켜 새로운 정보가 나타나게 하는 신호를 확인할 수 있다.
또는, Selection 커맨드로 아이템 등이 선택된 상태에서, 노 윙크인 표정이 감지되고, 사용자의 얼굴의 움직임이 감지된 경우, 콘텐츠 내에서 커서 등을 움직이는 커맨드 신호(Cursor Moving 커맨드 신호)를 확인할 수 있다.
양쪽 눈 윙크인 표정이 감지된 경우 콘텐츠 내의 스크롤을 고정하는 커맨드 신호(Scroll Lock 커맨드 신호)를 확인할 수 있다.
Scroll Lock 커맨드 신호 출력 상태, 즉 양쪽 눈 윙크로 스크롤이 고정되어 화면이 고정된 상태에서, 왼쪽 또는 오른쪽의 한쪽 눈 윙크의 표정과 사용자의 얼굴을 드는 움직임이 입력되는 경우 얼굴을 드는 정도에 따라 화면이 커서의 위치를 중심으로 확대되는 커맨드 신호(Zoom In 커맨드 신호)를 확인할 수 있다.
Scroll Lock 커맨드 신호 출력 상태에서 왼쪽 또는 오른쪽의 한쪽 눈 윙크의 표정과 사용자의 얼굴을 숙이는 움직임이 입력되는 경우 화면이 커서의 위치를 중심으로 축소되는 커맨드 신호(Zoom Out 커맨드 신호)를 확인할 수 있다.
양쪽 윙크 두 번의 표정이 입력된 경우 외부 장치의 콘텐츠 등을 초기화하는 커맨드 신호(Reset 커맨드 신호)를 확인할 수 있다.
제어부는 상기와 같이 확인된 커맨드 신호를 인터페이스부를 통해 외부 장치로 출력할 수 있다.
사용자의 표정과 움직임은 이뿐만 아니라 설정에 따라 다양한 방식으로 활용할 수 있다.
사용자의 표정과 움직임을 입력 신호로 활용하여, VR 등의 기기를 다룰 때, 리모콘 등의 부가적인 장치를 다룰 필요가 없다.
따라서, 손을 사용하지 못하는 사용자는 표정과 얼굴의 움직임만으로 외부 장치의 콘텐츠 등을 제어할 수 있어 편리하다.
또한, VR, AR 등의 콘텐츠 이용 시 사용자의 얼굴 표정과 움직임을 감지하여 Input System으로 활용하기 때문에 더욱 리얼하다.
도 5는 본 발명의 일 실시예에 따른 착용형 헤드셋 제어 장치가 제어 신호를 생성하는 방법을 나타내는 흐름도이다.
도 5를 참조하면, 착용형 헤드셋 제어 장치는 S510 단계에서, 사용자의 눈 주변으로부터 IR 신호를 수신한다.
착용형 헤드셋 제어 장치는 S520 단계에서, 수신된 IR 신호에 대응하는 표정 정보를 생성한다.
착용형 헤드셋 제어 장치는 S530 단계에서, 표정 정보에 대응하는 커맨드 신호를 확인하다.
착용형 헤드셋 제어 장치는 S540 단계에서, 커맨드 신호를 외부 장치로 출력한다.
외부 장치는 확인된 커맨드 신호를 출력에 따라 해당 커맨드를 콘텐츠 내에서 구현할 수 있다.
도 6은 본 발명의 다른 일 실시예에 따른 착용형 헤드셋 장치에서 착용형 헤드셋 제어 장치가 제어 신호를 생성하는 방법을 나타내는 블록도이다.
도 6을 참조하면, 착용형 헤드셋 제어 장치는, S610 단계에서, 착용형 헤드셋 장치(외부 장치)에서 콘텐츠 제공 중 주 제어 신호 입력에 대응하는 주 커맨드 신호를 출력한다.
주 제어 신호는 예를 들면, 콘텐츠의 일정 시점에서 수신한 신호를 서브 제어 신호로 하고 이외에는 주 제어 신호로 설정할 수 있다. 예를 들면, 게임의 캐릭터가 게임 내의 논 플레이어 캐릭터(NPC, Non-player Character)와 대화할 때부터 수신하는 신호는 서브 제어 신호로 설정할 수 있다.
또는, 게임 내 캐릭터의 움직임을 제어하는 신호를 주 제어 신호로, 게임의 시작, 정지, 환경설정 등을 제어하는 신호를 서브 제어 신호로 할 수 있다.
또는, 캐릭터의 움직임에 대한 신호를 주 제어 신호로, 캐릭터가 사용하는 무기의 탄창을 갈거나 하는 등의 신호를 서브 제어 신호로 할 수 있다.
주 제어 신호와, 서브 제어 신호의 판단 방법은 콘텐츠나, 외부 장치(착용형 헤드셋 장치) 등에 의해 달라질 수 있고, 주 제어 신호 인지, 서브 제어 신호인지 여부를 판단하지 않을 수도 있다.
착용형 헤드셋 제어 장치는 S620 단계에서, 사용자의 눈 주변으로부터 IR 신호를 수신한다.
착용형 헤드셋 제어 장치는 S630 단계에서, 수신한 IR신호에 기초하여 표정 정보를 생성할 수 있다.
착용형 헤드셋 제어 장치는 S640 단계어서, 생성된 표정 정보가 서브 제어 신호 입력인지 판단할 수 있다.
착용형 헤드셋 제어 장치는 S650 단계에서, 서브 제어 신호로 판단된 경우 서브 제어 신호에 대응하는 커맨드 신호를 확인한다.
착용형 헤드셋 제어 장치는 S660 단계에서, 확인된 커맨드 신호를 착용형 헤드셋 장치(외부 장치)로 출력할 수 있다.
착용형 헤드셋 장치(외부 장치)는 확인된 커맨드 신호를 출력에 따라 해당 커맨드를 콘텐츠 내에서 구현할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (14)

  1. 사용자의 눈 주변으로부터 IR 신호를 수신하는 표정 인식 센서부;
    상기 수신된 IR 신호에 대응하는 표정 정보를 생성하고, 상기 표정 정보에 대응하는 커맨드 신호를 확인하는 제어부; 및
    상기 커맨드 신호를 출력하는 인터페이스부를 포함하는
    착용형 헤드셋 제어 장치.
  2. 제1항에 있어서,
    움직임을 감지하는 움직임 센서부를 더 포함하고,
    상기 제어부는,
    상기 감지된 움직임에 대응하는 움직임 정보를 생성하고, 상기 움직임 정보 및 상기 표정 정보에 대응하는 커맨드 신호를 확인하는 것을 특징으로 하는 착용형 헤드셋 제어 장치.
  3. 제1항에 있어서,
    상기 표정 인식 센서부는,
    사용자의 양볼에 대응하는 위치에 설치된 제1 IR센서 및 제2 IR센서; 및
    상기 사용자의 미간에 대응하는 위치에 설치된 제3 IR센서를 포함하는 것을 특징으로 하는 착용형 헤드셋 제어 장치.
  4. 제1항에 있어서,
    상기 표정 인식 센서부는,
    복수 개의 IR센서를 포함하고,
    상기 IR센서들은,
    각각 상기 눈 주변의 복수 개의 특징점에 대응하는 위치에 설치되는 것을 특징으로 하는 착용형 헤드셋 제어 장치.
  5. 제1항에 있어서,
    상기 표정 정보는,
    상기 눈 주변의 특징점들에 대응하는 지점들로부터 수신된 IR의 세기들에 기초하여 생성된 이완 또는 수축정보들을 매핑(Mapping)하고, 기 설정된 표정 패턴과 비교하여 생성된 것을 특징으로 하는 착용형 헤드셋 제어 장치.
  6. 제5항에 있어서,
    상기 이완정보는,
    상기 어느 특징점으로부터 반사된 IR세기와 기준 값을 비교하여 상기 기준 값보다 큰 경우,
    상기 수축정보는,
    상기 어느 특징점으로부터 반사된 IR세기와 기준 값을 비교하여 상기 기준 값보다 작은 경우인 것을 특징으로 하는 착용형 헤드셋 제어 장치.
  7. 제2항에 있어서,
    상기 커맨드 신호의 출력은,
    한쪽 윙크인 경우 Selection 커맨드 신호를 출력하고,
    상기 Selection 상태에서 움직임이 있는 경우 Drag-Drop 커맨드 신호를 출력하는 것을 특징으로 하는 착용형 헤드셋 제어 장치.
  8. 제2항에 있어서,
    상기 커맨드 신호의 출력은,
    노 윙크 상태에서 움직임이 있는 경우 Cursor Moving 커맨드 신호를 출력하는 것을 특징으로 하는 착용형 헤드셋 제어 장치.
  9. 제2항에 있어서,
    상기 커맨드 신호의 출력은,
    양쪽 윙크인 경우 Scroll Lock 커맨드 신호를 출력하고,
    Scroll Lock 상태에서 한쪽 윙크로 고개를 드는 경우 Zoom Out 커맨드 신호를 출력하고,
    Scroll Lock 상태에서 한쪽 윙크로 고개를 숙이는 경우 Zoom In 커맨드 신호를 출력하는 것을 특징으로 하는 착용형 헤드셋 제어 장치.
  10. 제2항에 있어서,
    상기 커맨드 신호의 출력은,
    양쪽 윙크 두 번의 경우 Reset 커맨드 신호를 출력하는 것을 특징으로 하는 착용형 헤드셋 제어 장치.
  11. 사용자의 눈 주변으로부터 IR 신호를 수신하는 단계;
    상기 수신된 IR 신호에 대응하는 표정 정보를 생성하는 단계;
    상기 표정 정보에 대응하는 커맨드 신호를 확인하는 단계; 및
    상기 커맨드 신호를 출력하는 단계를 포함하는 제어 신호 생성 방법.
  12. 제11항에 있어서,
    상기 표정 정보는,
    상기 눈 주변의 특징점들에 대응하는 지점들로부터 수신된 IR의 세기들에 기초하여 생성된 이완 또는 수축정보들을 매핑(Mapping)하고, 기 설정된 표정 패턴과 비교하여 생성된 것을 특징으로 하는 제어 신호 생성 방법.
  13. 제12항에 있어서,
    상기 이완정보는,
    상기 어느 특징점으로부터 반사된 IR세기와 기준 값을 비교하여 상기 기준 값보다 큰 경우,
    상기 수축정보는,
    상기 어느 특징점으로부터 반사된 IR세기와 기준 값을 비교하여 상기 기준 값보다 작은 경우인 것을 특징으로 하는 제어 신호 생성 방법.
  14. 착용형 헤드셋 장치에서 콘텐츠 제공 중 주 제어 신호 입력에 대응하는 주 커맨드 신호를 출력하는 단계;
    사용자의 눈 주변으로부터 IR 신호들을 수신하는 단계;
    상기 수신된 IR 신호들에 대응 하는 표정 정보를 생성하는 단계;
    상기 표정 정보가 서브 제어 신호 입력인지 판단하는 단계;
    서브 제어 신호인 경우 상기 서브 제어 신호에 대응하는 커맨드 신호를 확인하는 단계; 및
    상기 커맨드 신호를 출력하는 단계를 포함하는 제어 신호 생성 방법.
KR1020170154163A 2017-11-17 2017-11-17 착용형 헤드셋 제어 장치 및 착용형 헤드셋 장치를 위한 제어 신호 생성 방법 KR102069825B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170154163A KR102069825B1 (ko) 2017-11-17 2017-11-17 착용형 헤드셋 제어 장치 및 착용형 헤드셋 장치를 위한 제어 신호 생성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170154163A KR102069825B1 (ko) 2017-11-17 2017-11-17 착용형 헤드셋 제어 장치 및 착용형 헤드셋 장치를 위한 제어 신호 생성 방법

Publications (2)

Publication Number Publication Date
KR20190056833A true KR20190056833A (ko) 2019-05-27
KR102069825B1 KR102069825B1 (ko) 2020-01-28

Family

ID=66679014

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170154163A KR102069825B1 (ko) 2017-11-17 2017-11-17 착용형 헤드셋 제어 장치 및 착용형 헤드셋 장치를 위한 제어 신호 생성 방법

Country Status (1)

Country Link
KR (1) KR102069825B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102110478B1 (ko) 2019-11-21 2020-06-08 연세대학교 산학협력단 헤드셋 형태의 사용자 인터페이스 시스템 및 이를 위한 사용자 특징정보 분류 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150039179A (ko) 2015-03-05 2015-04-09 주식회사 라온텍 헤드 마운트 디스플레이 장치
KR101759444B1 (ko) * 2016-08-25 2017-07-18 연세대학교 산학협력단 착용형 헤드셋을 이용한 표정 인식 장치 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150039179A (ko) 2015-03-05 2015-04-09 주식회사 라온텍 헤드 마운트 디스플레이 장치
KR101759444B1 (ko) * 2016-08-25 2017-07-18 연세대학교 산학협력단 착용형 헤드셋을 이용한 표정 인식 장치 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102110478B1 (ko) 2019-11-21 2020-06-08 연세대학교 산학협력단 헤드셋 형태의 사용자 인터페이스 시스템 및 이를 위한 사용자 특징정보 분류 방법

Also Published As

Publication number Publication date
KR102069825B1 (ko) 2020-01-28

Similar Documents

Publication Publication Date Title
US10712901B2 (en) Gesture-based content sharing in artificial reality environments
US10776991B2 (en) Method of providing virtual space, method of providing virtual experience, system and medium for implementing the methods
EP3469458B1 (en) Six dof mixed reality input by fusing inertial handheld controller with hand tracking
US11461955B2 (en) Holographic palm raycasting for targeting virtual objects
US10818092B2 (en) Robust optical disambiguation and tracking of two or more hand-held controllers with passive optical and inertial tracking
US10635895B2 (en) Gesture-based casting and manipulation of virtual content in artificial-reality environments
US10438411B2 (en) Display control method for displaying a virtual reality menu and system for executing the display control method
US20190026589A1 (en) Information processing device, information processing method, and program
WO2017090373A1 (ja) 画像表示方法及びプログラム
CN110215685B (zh) 游戏中的虚拟对象控制方法及装置、设备、存储介质
US20180032230A1 (en) Information processing method and system for executing the information processing method
WO2019142560A1 (ja) 視線を誘導する情報処理装置
CN108549487A (zh) 虚拟现实交互方法与装置
US20210018977A1 (en) System for generating cues in an augmented reality environment
CN108292168B (zh) 针对虚拟空间内对象的动作指示方法及介质
KR20190056833A (ko) 착용형 헤드셋 제어 장치 및 착용형 헤드셋 장치를 위한 제어 신호 생성 방법
US11321920B2 (en) Display device, display method, program, and non-temporary computer-readable information storage medium
JP2018010348A (ja) 仮想空間内のキャラクタを動作させる方法、当該方法をコンピュータに実行させるためのプログラム及びコンピュータ装置
EP3695622B1 (en) Adaptation of presentation speed
KR20220100051A (ko) 내슬립성 시선 추적 사용자 인터페이스
EP4345584A1 (en) Control device, control method, and program
US20230324997A1 (en) Virtual Keyboard Selections Using Multiple Input Modalities
US20230324992A1 (en) Cursor Placement and Movement Via Artificial Reality Input
US20230324986A1 (en) Artificial Reality Input Using Multiple Modalities
US20230011453A1 (en) Artificial Reality Teleportation Via Hand Gestures

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
X701 Decision to grant (after re-examination)