KR20170133754A - 동작 인식 기반의 스마트 글래스 장치 - Google Patents

동작 인식 기반의 스마트 글래스 장치 Download PDF

Info

Publication number
KR20170133754A
KR20170133754A KR1020160064946A KR20160064946A KR20170133754A KR 20170133754 A KR20170133754 A KR 20170133754A KR 1020160064946 A KR1020160064946 A KR 1020160064946A KR 20160064946 A KR20160064946 A KR 20160064946A KR 20170133754 A KR20170133754 A KR 20170133754A
Authority
KR
South Korea
Prior art keywords
user
virtual input
hand
input interface
smart glass
Prior art date
Application number
KR1020160064946A
Other languages
English (en)
Other versions
KR101812227B1 (ko
Inventor
천승문
고현철
Original Assignee
(주)인시그널
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)인시그널 filed Critical (주)인시그널
Priority to KR1020160064946A priority Critical patent/KR101812227B1/ko
Publication of KR20170133754A publication Critical patent/KR20170133754A/ko
Application granted granted Critical
Publication of KR101812227B1 publication Critical patent/KR101812227B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B27/0103—Head-up displays characterised by optical features comprising holographic elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명에 따른 동작 인식 기반의 스마트 글래스 장치는 모노(Mono) 카메라 및 스테레오(Stereo) 카메라를 통해 복합 영상 신호를 생성하는 3D 카메라부, 복합 영상 신호에서 사용자의 손 및 손의 동작을 인식하는 동작 검출부, 인식된 사용자의 손 상에 가상 입력 인터페이스를 시스루 디스플레이를 통해 가상 현실로 표시하여 제공하고, 가상 입력 인터페이스에 대한 사용자 손의 동작에 기초하여 스마트 글래스 장치를 제어하는 정보 처리부 및 투명한 렌즈 형태를 가지며, 수신된 가상 입력 인터페이스를 표시하는 시스루 디스플레이를 포함하며, 사용자의 시선을 추적하는 홍채인식 센서부를 더 포함한다.

Description

동작 인식 기반의 스마트 글래스 장치{SMART GLASS BASED ON GESTURE RECOGNITION}
본 발명은 스마트 글래스에 관한 기술로서, 보다 상세하게는 동작 명령을 통해 스마트 글래스를 제어하는 기술에 관한 것이다.
웨어러블 시장의 급속한 확대에 따라 다양한 스마트 디바이스들이 웨어러블 형태로 적용되어 대중화가 이루어지고 있다. 특히, 웨어러블 디바이스 중 하나인 스마트 글래스(Smart Glass)는 다양한 분야에 활용될 것으로 예상되고 있다. 스마트 글래스는 다양한 산업분야에 특화되어 개발되고 있다.
또한, 스마트 글래스는 증강현실 기술과 결합하여 사용자에게 다양한 정보를 더욱 효과적으로 제공할 수 있게 되었다. 증강현실은 현실세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 표현한다. 스마트 글래스는 시스루(See-through) 디스플레이를 활용한 HUD를 통해 사용자에게 현실과 증강현실을 동시에 제공할 수 있다.
스마트 글래스는 얼굴에 안경과 같이 착용하는 형태이기 때문에, 물리적인 입력 장치, 예를 들어, 물리버튼 또는 터치스크린 인터페이스를 구비하는데 어려움이 존재한다. 또한, 스마트 글래스는 사용자가 스마트 글래스 사용 중에 스마트 글래스의 외부 모습을 관찰 할 수 없어, 물리버튼 또는 터치스크린 인터페이스를 구비한다고 하여도 이를 사용하는데 어려움이 존재한다.
대한민국 공개특허 10-2014-0128489호
본 발명이 해결하고자 하는 과제는 물리 버튼 또는 터치스크린 인터페이스를 활용하기 어려운 스마트 글래스에 있어서, 동작 인식을 이용한 동작 명령을 통해 스마트 글래스를 제어할 수 있는 동작 인식 기반의 스마트 글래스 장치를 제공하는 것이다.
본 발명에 따른 동작 인식 기반의 스마트 글래스 장치는 모노(Mono) 카메라 및 스테레오(Stereo) 카메라를 통해 복합 영상 신호를 생성하는 3D 카메라부, 복합 영상 신호에서 사용자의 손 및 손의 동작을 인식하는 동작 검출부, 인식된 사용자의 손 상에 가상 입력 인터페이스를 시스루 디스플레이를 통해 가상 현실로 표시하여 제공하고, 가상 입력 인터페이스에 대한 사용자 손의 동작에 기초하여 스마트 글래스 장치를 제어하는 정보 처리부 및 투명한 렌즈 형태를 가지며, 수신된 가상 입력 인터페이스를 표시하는 시스루 디스플레이를 포함하며, 사용자의 시선을 추적하는 홍채인식 센서부를 더 포함한다.
정보 처리부는 인식된 사용자의 손을 가상 입력 영역으로 설정하고, 설정된 가상 입력 영역에 따라 가상 입력 인터페이스를 결정하며, 결정된 가상 입력 인터페이스를 시스루 디스플레이를 통해 상기 인식된 사용자의 손 상에 가상 현실로 표시한다. 정보 처리부는 가상 입력 인터페이스가 표시된 손의 손가락 움직임에 따라, 움직인 손가락에 대응하는 앱을 실행한다.
정보 처리부는 가상 입력 인터페이스에서 상기 사용자의 시선에 대응하는 메뉴를 선택하여 실행한다. 이 때, 정보 처리부는 사용자의 시선이 기 설정된 소정의 시간 이상 고정된 가상 입력 인터페이스 메뉴를 선택하여 실행할 수 있다. 또한, 정보 처리부는 둘 이상의 손가락 조합을 인식하여 서로 다른 두 앱을 동시에 실행할 수 있다.
본 발명에 따른 동작 인식 기반의 스마트 글래스 장치는 물리 버튼 또는 터치스크린 인터페이스를 생략하고 증강 현실 기반의 가상 입력 인터페이스를 제공함으로써, 안경 형태의 웨어러블 디바이스가 가지는 구조적 한계를 극복할 수 있다.
또한, 본 발명에 따른 동작 인식 기반의 스마트 글래스 장치는 가상 입력 인터페이스 상의 사용자 손의 동작을 인식하여 장치를 제어함으로써, 사용자는 별도의 입력 장치를 사용하지 않고 손의 동작만으로 스마트 글래스 장치를 제어할 수 있다.
도 1은 본 발명의 일 실시예에 따른 동작 인식 기반의 스마트 글래스 장치(100)의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 동작 인식 기반의 스마트 글래스 장치(100)의 동작 인식 과정을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 동작 인식 기반의 스마트 글래스 장치(100)의 동작 명령 처리 과정을 나타내는 흐름도이다.
도 4a 내지 도 4d는 본 발명의 일 실시예에 따른 동작 인식 기반의 스마트 글래스 장치(100)의 가상 입력 인터페이스를 통한 동작 명령 일례를 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 동작 인식 기반의 스마트 글래스 장치(100)의 오른손을 이용한 가상 입력 인터페이스 동작 명령 일례를 나타내는 도면이다.
도 6는 본 발명의 일 실시예에 따른 동작 인식 기반의 스마트 글래스 장치(100)의 시선 인식을 이용한 가상 입력 인터페이스 동작 명령 일례를 나타내는 도면이다.
도 7a 및 도 7b는 본 발명의 일 실시예에 따른 동작 인식 기반의 스마트 글래스 장치(100)의 손가락 조합을 이용한 동작 명령 일례를 나타내는 도면이다.
도 8은 본 발명의 일 실시예에 따른 동작 인식 기반의 스마트 글래스 장치(100)의 양 손을 이용한 가상 입력 인터페이스 동작 명령 일례를 나타내는 도면이다.
이하, 본 발명의 실시예를 첨부된 도면들을 참조하여 상세하게 설명한다. 본 명세서에서 사용되는 용어 및 단어들은 실시예에서의 기능을 고려하여 선택된 용어들로서, 그 용어의 의미는 발명의 의도 또는 관례 등에 따라 달라질 수 있다. 따라서 후술하는 실시예에서 사용된 용어는, 본 명세서에 구체적으로 정의된 경우에는 그 정의에 따르며, 구체적인 정의가 없는 경우는 당업자들이 일반적으로 인식하는 의미로 해석되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 동작 인식 기반의 스마트 글래스 장치(100)의 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 동작 인식 기반의 스마트 글래스 장치(100)는 3D 카메라부(110), 동작 검출부(120), 정보 처리부(130), 시스루 디스플레이(140), 홍채인식 센서부(150) 및 내부 저장부(160)를 포함한다.
3D 카메라부(110)는 모노(Mono) 카메라 및 스테레오(Stereo) 카메라를 포함하며, 깊이(Depth) 카메라를 더 포함할 수 있다. 3D 카메라부(110)는 구비된 두 개의 카메라 모듈을 통해 사용자의 전방 시선 방향을 촬영하여 복합 영상 신호를 생성한다. 3D 카메라부(110)에서 생성된 복합 영상 신호는 모노 영상 및 스테레오 영상을 포함하며, 깊이 맵 영상 더 포함할 수 있다.
모노 카메라에서 생성된 모노 영상은 경계(Edge) 및 물체인식(Objection Detection)을 통해 동작의 종류를 구별하기 위해 사용된다. 스테레오 카메라에서 생성된 스테레오 영상은 좌/우 영상을 이용하여 추가적인 스테레오 매칭(Stereo-Matching) 과정을 거쳐 깊이 맵(Depth Map)을 추출하고, 이를 기반으로 공간적인 동작 인식에 사용된다. 또한, 깊이 카메라를 통해 생성된 깊이 맵 영상은 취득된 영상자체가 공간을 표현하는 깊이 값을 포함하고 있다.
3D 카메라부(110)에서 생성된 복합 영상 신호는 동작 검출부(120)로 전달된다.
동작 검출부(120)는 복합 영상 신호에서 사용자의 손을 객체로 인식한다. 그리고 동작 검출부(120)는 객체로 인식된 사용자의 손의 동작(움직임)을 지속적으로 인식한다.
이 때, 동작 검출부(120)는 복합 영상 신호에 포함된 모노 영상을 통해 사용자 손의 경계 및 객체를 인식한다. 그리고 동작 검출부(120)는 복합 영상 신호에 포함된 스테레오 영상 또는 깊이 맵 영상을 통해 사용자 손의 공간적인 동작 인식을 수행한다. 동작 검출부(120)는 인식된 객체 정보 및 검출된 동작 정보를 정보 처리부(130)로 전달한다.
정보 처리부(130)는 객체 정보에 기초하여 가상 입력 영역을 설정한다. 가상 입력 영역은 증강 현실을 이용한 가상 입력 인터페이스를 구현하기 위한 영역이다. 본 발명에서는 객체 정보로부터 인식된 사용자의 손을 가상 입력 영역으로 설정한다.
가상 입력 영역이 설정되면, 정보 처리부(130)는 설정된 가상 입력 영역의 속성에 기초하여, 가상 입력 영역에 표시할 가상 입력 인터페이스를 결정한다. 정보 처리부(130)는 가상 입력 영역의 크기, 형태, 장치(100)와의 거리 및 가상 입력 영역에 대응하는 실제 객체의 종류 및 기 설정된 동작 명령에 기초하여 가상 입력 인터페이스의 종류를 결정할 수 있다. 일례로서, 가상 입력 영역에 대응하는 실제 객체는 사용자의 손이 바람직할 수 있다.
그리고 정보 처리부(130)는 결정된 가상 입력 인터페이스를 가상 입력 영역에 대응하도록 시스루 디스플레이(140)에 증강 현실 형태로 표시한다. 정보 처리부(130)에서 사용자의 손을 가상 입력 영역으로 설정하고, 시스루 디스플레이(140)를 통해 사용자의 손 상에 가상 입력 인터페이스가 표시되도록 한다. 즉, 정보 처리부(130)는 증강 현실(AR) 기술을 활용하여 사용자의 손 위에 가상 입력 인터페이스가 오버랩 되도록 시스루 디스플레이(140)에 표시한다.
정보 처리부(130)는 동작 정보에 기초하여 사용자 손의 동작을 인식하고, 인식된 사용자 손의 동작과 가상 입력 인터페이스를 대응시켜, 동작 명령을 인식한다. 이 때, 정보 처리부(130)는 내부 저장부(160)에 사전에 설정되어 저장된 명령 신호를 검색하여 현재 표시된 가상 입력 인터페이스와 사용자 동작에 해당하는 동작 명령을 확인한다. 그리고 정보 처리부(130)는 인식된 동작 명령에 따라 동작 인식 기반의 스마트 글래스 장치(100)를 제어한다.
홍채인식 센서부(150)는 동작 인식 기반의 스마트 글래스 장치(100)를 착용한 사용자의 홍채 움직임 감지를 통해 사용자의 시선을 추적하고 사용자의 눈 깜빡임을 확인하여 시선 추적 정보를 생성한다. 홍채인식 센서부(150)는 사용자의 시선 이동에 따른 시선 추적 정보를 정보 처리부(130)로 전달한다.
정보 처리부(130)는 수신된 시선 추적 정보에 기초하여 가상 입력 인터페이스에 포함된 선택 메뉴 중에서 사용자의 시선이 향하는 메뉴를 확인하고, 사용자의 눈 깜빡임에 따라 해당 메뉴가 선택된 것으로 판단하여 동작 인식 기반의 스마트 글래스 장치(100)를 제어할 수 있다.
도 2는 본 발명의 일 실시예에 따른 동작 인식 기반의 스마트 글래스 장치(100)의 동작 인식 과정을 설명하기 위한 도면이다.
도 1 및 도 2를 참조하면, 동작 인식 기반의 스마트 글래스 장치(100)는 안경 형태라는 구조적인 특징 때문에, 종래의 스마트 기기에서 사용되는 물리 버튼 또는 터치스크린 인터페이스를 활용하기 어렵다. 따라서, 본 발명에 따른 동작 인식 기반의 스마트 글래스 장치(100)는 사용자(10)의 손을 가상 입력 영역으로 인식하여 가상 입력 인터페이스를 가상 입력 영역인 사용자(10)의 손에 증강 현실로 구현하여, 별도의 입력 장치 없이도 다양한 입력을 사용자(10)로부터 입력 받을 수 있다.
동작 인식 기반의 스마트 글래스 장치(100)를 착용한 사용자(10)는 손(20)을 시선 방향에 위치시켜, 스마트 글래스 장치(100)의 시스루 디스플레이(140)에 나타나도록 한다. 그리고 동작 인식 기반의 스마트 글래스 장치(100)는 구비된 3D 카메라부(110)를 통해 복합 영상 신호를 생성하고, 복합 영상 신호를 통해 사용자의 손을 객체로 인식하여 가상 입력 영역으로 설정하고 가상 입력 인터페이스를 시스루 디스플레이(140)에 증강 현실로 사용자(10)의 손(20)에 표시한다. 그리고 동작 인식 기반의 스마트 글래스 장치(100)는 가상 입력 인터페이스에 대한 사용자 손(20)의 동작을 통해 대응하는 명령을 수행한다.
도 3은 본 발명의 일 실시예에 따른 동작 인식 기반의 스마트 글래스 장치(100)의 동작 명령 처리 과정을 나타내는 흐름도이다.
도 1 및 도 3을 참조하면, 본 발명에 따른 동작 인식 기반의 스마트 글래스 장치(100)는 구비된 3D 카메라부(110)를 통해 복합 영상 신호를 생성한다(S301). 동작 인식 기반의 스마트 글래스 장치(100)는 사용자의 시선 방향을 3D 카메라부(110)를 통해 촬영하여 복합 영상 신호를 생성한다. 복합 영상 신호는 모노 카메라를 이용해 촬영된 모노 영상과 스테레오 카메라를 통해 촬영된 스테레오 영상을 포함하며, 깊이 카메라를 통해 촬영된 깊이 맵 영상(정보)를 더 포함할 수 있다.
동작 인식 기반의 스마트 글래스 장치(100)는 복합 영상 신호에 객체 인식 기술을 적용하여 사용자의 손과 손의 동작을 인식한다(S302). 동작 인식 기반의 스마트 글래스 장치(100)는 복합 영상 신호에 포함된 모노 영상을 통해 사용자 손의 경계 및 객체를 인식한다. 그리고 동작 인식 기반의 스마트 글래스 장치(100)는 복합 영상 신호에 포함된 스테레오 영상 또는 깊이 맵 영상을 통해 사용자 손의 공간적인 동작 인식을 수행한다.
사용자의 손이 인식되면, 동작 인식 기반의 스마트 글래스 장치(100)는 인식된 사용자 손에 대한 객체 정보에 기초하여 가상 입력 영역을 설정한다(S303). 가상 입력 영역은 증강 현실을 이용한 가상 입력 인터페이스를 구현하기 위한 영역이다. 본 발명에서는 객체 정보로부터 인식된 사용자의 손을 가상 입력 영역으로 설정한다.
가상 입력 영역이 설정되면, 동작 인식 기반의 스마트 글래스 장치(100)는 설정된 가상 입력 영역에 따라 가상 입력 인터페이스를 결정한다(S304). 그리고 동작 인식 기반의 스마트 글래스 장치(100)는 결정된 가상 입력 인터페이스를 가상 입력 영역에 증강 현실로 표시한다(S305). 동작 인식 기반의 스마트 글래스 장치(100)는 시스루 디스플레이(140)를 통해 사용자의 손 상에 가상 입력 인터페이스가 표시될 수 있도록 사용자의 손 위에 가상 입력 인터페이스가 오버랩 되도록 한다.
다음으로 동작 인식 기반의 스마트 글래스 장치(100)는 가상 입력 인터페이스에 대한 사용자 손의 동작을 통해 동작 명령을 수행한다(S306). 이 때, 동작 인식 기반의 스마트 글래스 장치(100)는 내부 저장부(160)에 사전에 설정되어 저장된 명령 신호를 검색하여 현재 표시된 가상 입력 인터페이스와 사용자 동작에 해당하는 동작 명령을 확인한다. 그리고 동작 인식 기반의 스마트 글래스 장치(100)는 인식된 동작 명령에 따라 동작 인식 기반의 스마트 글래스 장치(100)를 제어한다.
도 4a 내지 도 4d는 본 발명의 일 실시예에 따른 동작 인식 기반의 스마트 글래스 장치(100)의 가상 입력 인터페이스를 통한 동작 명령 일례를 나타내는 도면이다.
도 4a는 가상 입력 영역으로 설정된 사용자의 손(20)에 가상 입력 인터페이스를 증강 현실로 표시한 시스루 디스플레이(140)를 나타낸다. 도 4a의 일례에서는 사용자의 손(20)이 가상 입력 영역으로 설정되어 사용자의 손(20)에 가상 입력 인터페이스가 증강 현실로 표시된다. 사용자는 사용자의 손(20)에 표시된 하나 이상의 메뉴(411 내지 415) 중에서 어느 하나를 선택하여 동작 인식 기반의 스마트 글래스 장치(100)를 제어할 수 있다.
도 4a의 일례에서, 사용자의 손(20)에 표시된 메뉴는 전체 앱 목록(411), 자주 사용하는 앱(412), 인터넷 검색(413), 전화(414) 및 메시지(415)를 포함한다. 여기서 앱은 응용프로그램(Application)을 나타낸다. 다만, 표시되는 메뉴는 상술한 메뉴(411 내지 415)로 한정되는 것은 아니며, 스마트 글래스(100)의 종류 및 목적에 따라 달라지거나 사용자가 메뉴의 종류를 직접 설정할 수 있다. 가상 입력 인터페이스의 메뉴는 스마트 글래스 장치(100)에서 직접 설정하거나, PC에 유선 또는 무선으로 연결하여 설정할 수 있다. 또한, 가상 입력 인터페이스 메뉴는 스마트 글래스 장치(100)에 로그인 된 사용자 계정에 따라 개별적으로 설정될 수 있다.
도 4b는 가상 입력 인터페이스의 동작 입력 일례로서, 사용자의 손(20)을 위 또는 아래로 움직여 표시되는 메뉴(411 내지 415)를 다른 메뉴로 변경할 수 있다. 또는 사용자는 메뉴 슬라이드 아이콘(416)을 선택하여 화면에 표시되는 메뉴를 변경할 수 있다.
도 4c는 동작 입력을 통해 가상 입력 인터페이스를 선택하는 일례를 나타낸다. 도 4c의 일례에서는 사용자 손(20)의 손가락 움직임을 통해 자주 사용하는 앱(412)을 선택한다. 사용자는 자주 사용하는 앱(412) 메뉴에 대응하는 검지 손가락을 안쪽으로 굽히는 동작을 통해 자주 사용하는 앱(412)을 선택할 수 있다. 즉, 사용자는 선택하고자 하는 메뉴에 대응하는 손가락을 안쪽으로 굽히는 동작을 통해 해당 메뉴를 선택할 수 있다.
도 4d는 자주 사용하는 앱(412) 선택에 따른 가상 입력 인터페이스를 나타낸다. 자주 사용하는 앱(412)이 선택되는 경우 사용자가 사전에 설정한 앱 또는 사용 횟수가 더 많은 앱을 사용자의 손(20)에 증강현실로 표시할 수 있다. 도 4a 및 도 4c에서 가상 입력 인터페이스는 문자로 식별되는 메뉴 형태를 포함하며, 도 4d의 가상 입력 인터페이스는 아이콘으로 식별되는 형태를 포함한다. 본 발명에 따른 동작 인식 기반의 스마트 글래스 장치(100)의 가상 입력 인터페이스는 문자 메뉴 및 아이콘 형태로 한정되는 것은 아니며, 상호 식별이 가능한 다양한 형태를 포함할 수 있다.
도 5는 본 발명의 일 실시예에 따른 동작 인식 기반의 스마트 글래스 장치(100)의 오른손을 이용한 가상 입력 인터페이스 동작 명령 일례를 나타내는 도면이다.
도 5를 참조하면, 도 4c에서는 메뉴에 대응하는 손가락을 안쪽으로 굽혀 해당 메뉴를 선택하는 가상 입력 인터페이스를 설명하였다. 하지만, 메뉴를 선택하는 방법은 다양한 방법이 적용 가능하다. 도 5의 일례에서는 오른손 손가락을 이용하여 메뉴를 선택하는 가상 입력 인터페이스 동작 명령을 설명한다. 사용자는 왼손을 들어 가상 입력 영역으로 설정한 뒤, 오른손을 통해 필요로 하는 메뉴를 선택할 수 있다. 동작 인식 기반의 스마트 글래스 장치(100)는 사용자의 오른손 동작을 인식하고 가상 입력 인터페이스와 비교하여 사용자의 메뉴 선택을 확인할 수 있다. 도 4a 내지 도 5에서는 사용자의 왼손을 가상 입력 영역으로 설정하였으나, 가상 입력 영역은 사용자의 왼손으로 한정되는 것은 아니며, 사용자의 편의에 따라 양손 모두 가상 입력 영역으로 활용이 가능하다.
도 6는 본 발명의 일 실시예에 따른 동작 인식 기반의 스마트 글래스 장치(100)의 시선 인식을 이용한 가상 입력 인터페이스 동작 명령 일례를 나타내는 도면이다.
도 6을 참조하면, 동작 인식 기반의 스마트 글래스 장치(100)는 시선 인식을 통해 가상 입력 인터페이스를 사용할 수 있다. 동작 인식 기반의 스마트 글래스 장치(100)는 홍채인식 센서부(150)를 이용하여 사용자의 시선을 추적함으로써, 사용자의 시선과 대응하는 가상 입력 인터페이스의 메뉴를 판단할 수 있다. 즉, 사용자는 손가락의 움직임이나 반대쪽 손을 이용하지 않고 시선을 가상 입력 인터페이스의 특정 메뉴에 고정함으로써 해당 메뉴를 선택할 수 있다. 이 때, 사용의 편의성을 높이고 메뉴 선택의 정확성을 높이기 위해 사용자 눈의 깜빡임을 선택 신호로 사용할 수 있으며, 특정 메뉴에 기 설정된 소정의 시간 이상 시선이 고정될 때를 해당 앱의 선택 신호로 사용할 수 있다. 동작 인식 기반의 스마트 글래스 장치(100)는 사용자의 시선이 특정한 메뉴에 고정될 때, 사용자 눈의 깜박임 또는 2회 이상의 연속적인 깜빡임을 인식하여 해당 메뉴를 선택할 수 있다.
도 7a 및 도 7b는 본 발명의 일 실시예에 따른 동작 인식 기반의 스마트 글래스 장치(100)의 손가락 조합을 이용한 동작 명령 일례를 나타내는 도면이다.
도 7a 및 도 7b를 참조하면, 본 발명의 일 실시예에 따른 동작 인식 기반의 스마트 글래스 장치(100)는 두 개 이상의 손가락 조합을 이용하여 가상 입력 인터페이스를 사용할 수 있다. 동작 인식 기반의 스마트 글래스 장치(100)는 두 개의 손가락이 맞닿는 것은 인식하여, 두 손가락에 해당하는 기능을 동시에 실행할 수 있다. 또한, 동작 인식 기반의 스마트 글래스 장치(100)는 손가락 조합을 통해 서로 다른 두 앱을 연동시킬 수 있다.
일례로서, 도 7a에서 동작 인식 기반의 스마트 글래스 장치(100)는 지도 기능이 할당된 엄지 손가락과 사진 기능이 할당된 검지 손가락이 맞닿는 것을 인식하여, 카메라 촬영 앱을 실행시키면서 동시에 촬영되는 사진에 위치 정보가 표시되거나 사진이 촬영된 지도 상의 위치에 매핑되는 기능을 구현할 수 있다.
일례로서, 도 7b에서 동작 인식 기반의 스마트 글래스 장치(100)는 지도 기능이 할당된 엄지 손가락과 음악 재생 기능이 할당된 중지 손가락이 맞닿는 것을 인식하여, 지도 앱을 실행시키면서 동시에 음악을 재생하도록 한다.
도 8은 본 발명의 일 실시예에 따른 동작 인식 기반의 스마트 글래스 장치(100)의 양 손을 이용한 가상 입력 인터페이스 동작 명령 일례를 나타내는 도면이다.
도 1 내지 도 7b에서는 사용자의 어느 한 손을 가상 입력 영역으로 설정하여 가상 입력 인터페이스를 표시한 일례를 명시하였다. 하지만, 가상 입력 영역은 사용자의 어느 한 손으로 한정되는 것은 아니며, 동시에 양 손 모두를 가상 입력 영역으로 사용할 수 있다. 양 손 모두를 가상 입력 영역으로 활용하여 가상 입력 인터페이스를 표시하는 경우, 가상 입력 인터페이스는 한 손일 때 보다 더 많은 메뉴 및 정보를 포함할 수 있다. 단, 동작 인식 기반의 스마트 글래스 장치(100)의 시스루 디스플레이(140)에 양 손이 모두 포함되어야 하기 때문에, 동작 인식 기반의 스마트 글래스 장치(100)와 손 사이의 거리는 한 손일 경우보다 멀게 하는 것이 바람직하다.
상술한 내용을 포함하는 본 발명은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체 또는 정보저장매체에 저장되고, 컴퓨터에 의하여 판독되고 실행함으로써 본 발명의 방법을 구현할 수 있다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.
이상 바람직한 실시예를 들어 본 발명을 상세하게 설명하였으나, 본 발명은 전술한 실시예에 한정되지 않고, 본 발명의 기술적 사상의 범위 내에서 당분야에서 통상의 지식을 가진자에 의하여 여러 가지 변형이 가능하다.
100: 동작 인식 기반의 스마트 글래스 장치
110: 3D 카메라부
120: 동작 검출부
130: 정보 처리부
140: 시스루 디스플레이
150: 홍채인식 센서부
160: 내부 저장부

Claims (7)

  1. 모노(Mono) 카메라 및 스테레오(Stereo) 카메라를 통해 복합 영상 신호를 생성하는 3D 카메라부;
    상기 복합 영상 신호에서 사용자의 손 및 손의 동작을 인식하는 동작 검출부;
    상기 인식된 사용자의 손 상에 가상 입력 인터페이스를 시스루 디스플레이를 통해 가상 현실로 표시하여 제공하고, 상기 가상 입력 인터페이스에 대한 사용자 손의 동작에 기초하여 스마트 글래스 장치를 제어하는 정보 처리부; 및
    투명한 렌즈 형태를 가지며, 수신된 가상 입력 인터페이스를 표시하는 시스루 디스플레이;
    를 포함하는 동작 인식 기반의 스마트 글래스 장치.
  2. 제1항에 있어서,
    상기 정보 처리부는,
    상기 인식된 사용자의 손을 가상 입력 영역으로 설정하고, 설정된 가상 입력 영역에 따라 가상 입력 인터페이스를 결정하며, 결정된 가상 입력 인터페이스를 시스루 디스플레이를 통해 상기 인식된 사용자의 손 상에 가상 현실로 표시하는 동작 인식 기반의 스마트 글래스 장치.
  3. 제1항에 있어서,
    상기 정보 처리부는,
    상기 가상 입력 인터페이스가 표시된 손의 손가락 움직임에 따라, 움직인 손가락에 대응하는 앱을 실행하는 동작 인식 기반의 스마트 글래스 장치.
  4. 제1항에 있어서,
    사용자의 시선을 추적하는 홍채인식 센서부;
    를 더 포함하는 동작 인식 기반의 스마트 글래스 장치.
  5. 제4항에 있어서,
    상기 정보 처리부는,
    가상 입력 인터페이스에서 상기 사용자의 시선에 대응하는 메뉴를 선택하여 실행하는 동작 인식 기반의 스마트 글래스 장치.
  6. 제4항에 있어서,
    상기 정보 처리부는,
    상기 사용자의 시선이 기 설정된 소정의 시간 이상 고정된 가상 입력 인터페이스 메뉴를 선택하여 실행하는 동작 인식 기반의 스마트 글래스 장치.
  7. 제1항에 있어서,
    상기 정보 처리부는,
    둘 이상의 손가락 조합을 인식하여 서로 다른 두 앱을 동시에 실행하는 동작 인식 기반의 스마트 글래스 장치.
KR1020160064946A 2016-05-26 2016-05-26 동작 인식 기반의 스마트 글래스 장치 KR101812227B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160064946A KR101812227B1 (ko) 2016-05-26 2016-05-26 동작 인식 기반의 스마트 글래스 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160064946A KR101812227B1 (ko) 2016-05-26 2016-05-26 동작 인식 기반의 스마트 글래스 장치

Publications (2)

Publication Number Publication Date
KR20170133754A true KR20170133754A (ko) 2017-12-06
KR101812227B1 KR101812227B1 (ko) 2017-12-27

Family

ID=60922574

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160064946A KR101812227B1 (ko) 2016-05-26 2016-05-26 동작 인식 기반의 스마트 글래스 장치

Country Status (1)

Country Link
KR (1) KR101812227B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102069878B1 (ko) * 2019-01-31 2020-02-11 (주)이이알에스소프트 블록형 스마트토이를 활용한 증강현실 기반 교육용 프로그래밍언어 저작 시스템
KR102115566B1 (ko) * 2018-11-28 2020-05-26 주식회사 한컴위드 드론 포렌식 기반의 이동 정보 표시 장치 및 방법
US20210377645A1 (en) * 2019-04-30 2021-12-02 Shenzhen Voxtech Co., Ltd. Acoustic output apparatus and method thereof
US11641551B2 (en) 2011-12-23 2023-05-02 Shenzhen Shokz Co., Ltd. Bone conduction speaker and compound vibration device thereof
US11706574B2 (en) 2014-01-06 2023-07-18 Shenzhen Shokz Co., Ltd. Systems and methods for suppressing sound leakage
US11716575B2 (en) 2011-12-23 2023-08-01 Shenzhen Shokz Co., Ltd. Bone conduction speaker and compound vibration device thereof
US11832060B2 (en) 2014-01-06 2023-11-28 Shenzhen Shokz Co., Ltd. Systems and methods for suppressing sound leakage

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102056793B1 (ko) 2018-04-10 2019-12-18 국민대학교산학협력단 마이크로 히터가 구비된 스마트 글래스, 안경, 자동차 주차 보조 카메라, 실험용 보안경, 스포츠형 고글, 오토바이 보호 헬멧
EP3931676A4 (en) 2019-04-11 2022-04-13 Samsung Electronics Co., Ltd. HEAD MOUNTED DISPLAY DEVICE AND METHOD OF OPERATION THEREOF
KR102539045B1 (ko) * 2021-08-06 2023-06-02 주식회사 피앤씨솔루션 착용형 증강현실 장치를 위한 대시보드 제어 장치 및 대시보드 제어 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6277673B2 (ja) * 2013-10-30 2018-02-14 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11641551B2 (en) 2011-12-23 2023-05-02 Shenzhen Shokz Co., Ltd. Bone conduction speaker and compound vibration device thereof
US11716575B2 (en) 2011-12-23 2023-08-01 Shenzhen Shokz Co., Ltd. Bone conduction speaker and compound vibration device thereof
US11706574B2 (en) 2014-01-06 2023-07-18 Shenzhen Shokz Co., Ltd. Systems and methods for suppressing sound leakage
US11832060B2 (en) 2014-01-06 2023-11-28 Shenzhen Shokz Co., Ltd. Systems and methods for suppressing sound leakage
KR102115566B1 (ko) * 2018-11-28 2020-05-26 주식회사 한컴위드 드론 포렌식 기반의 이동 정보 표시 장치 및 방법
KR102069878B1 (ko) * 2019-01-31 2020-02-11 (주)이이알에스소프트 블록형 스마트토이를 활용한 증강현실 기반 교육용 프로그래밍언어 저작 시스템
US20210377645A1 (en) * 2019-04-30 2021-12-02 Shenzhen Voxtech Co., Ltd. Acoustic output apparatus and method thereof
US11743627B2 (en) * 2019-04-30 2023-08-29 Shenzhen Shokz Co., Ltd. Acoustic output apparatus and method thereof

Also Published As

Publication number Publication date
KR101812227B1 (ko) 2017-12-27

Similar Documents

Publication Publication Date Title
KR101812227B1 (ko) 동작 인식 기반의 스마트 글래스 장치
US11714280B2 (en) Wristwatch based interface for augmented reality eyewear
US20200097093A1 (en) Touch free interface for augmented reality systems
US9939914B2 (en) System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
US10591729B2 (en) Wearable device
EP3311249B1 (en) Three-dimensional user input
US9898865B2 (en) System and method for spawning drawing surfaces
KR101844390B1 (ko) 사용자 인터페이스 제어를 위한 시스템 및 기법
US9746928B2 (en) Display device and control method thereof
US20170293351A1 (en) Head mounted display linked to a touch sensitive input device
JP7092028B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20160098094A1 (en) User interface enabled by 3d reversals
US20220229524A1 (en) Methods for interacting with objects in an environment
KR20150110257A (ko) 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법 및 이를 위한 웨어러블 디바이스
US11714540B2 (en) Remote touch detection enabled by peripheral device
US11720171B2 (en) Methods for navigating user interfaces
KR20190101827A (ko) 디스플레이를 통해 표시된 제 1 콘텐트에 대해 제 2 콘텐트를 외부 객체의 움직임에 따라 제공하기 위한 전자 장치 및 그의 동작 방법
JP6516464B2 (ja) ウェアラブル検索システム
WO2014084634A1 (ko) 안경형 디스플레이 디바이스용 마우스 장치 및 그 구동 방법
JP2016126687A (ja) ヘッドマウントディスプレイ、操作受付方法および操作受付プログラム
Zhang et al. Free-hand gesture control with" touchable" virtual interface for human-3DTV interaction
US20240185516A1 (en) A Method for Integrated Gaze Interaction with a Virtual Environment, a Data Processing System, and Computer Program
WO2023181549A1 (ja) 制御装置、制御方法、プログラム
KR20240028874A (ko) 외부 디바이스에 의해 제어되는 증강 현실 디바이스 및 그 동작 방법
KR20240028897A (ko) HMD(head mounted display) 장치에서 가상키보드를 표시하는 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant