KR101700569B1 - 제스처 기반의 사용자 인증이 가능한 hmd 장치 및 상기 hmd 장치의 제스처 기반의 사용자 인증 방법 - Google Patents

제스처 기반의 사용자 인증이 가능한 hmd 장치 및 상기 hmd 장치의 제스처 기반의 사용자 인증 방법 Download PDF

Info

Publication number
KR101700569B1
KR101700569B1 KR1020160034388A KR20160034388A KR101700569B1 KR 101700569 B1 KR101700569 B1 KR 101700569B1 KR 1020160034388 A KR1020160034388 A KR 1020160034388A KR 20160034388 A KR20160034388 A KR 20160034388A KR 101700569 B1 KR101700569 B1 KR 101700569B1
Authority
KR
South Korea
Prior art keywords
pattern recognition
user
hand
gesture pattern
information
Prior art date
Application number
KR1020160034388A
Other languages
English (en)
Inventor
박지만
예정민
Original Assignee
주식회사 다날
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 다날 filed Critical 주식회사 다날
Priority to KR1020160034388A priority Critical patent/KR101700569B1/ko
Application granted granted Critical
Publication of KR101700569B1 publication Critical patent/KR101700569B1/ko
Priority to PCT/KR2017/002930 priority patent/WO2017164584A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

제스처 기반의 사용자 인증이 가능한 HMD(Head Mounted Display) 장치 및 상기 HMD 장치의 제스처 기반의 사용자 인증 방법이 개시된다. 본 발명에 따른 제스처 기반의 사용자 인증이 가능한 HMD 장치 및 상기 HMD 장치의 제스처 기반의 사용자 인증 방법은 사용자 인증을 위해서 미리 지정된 소정의 제1 도형 정보들을 저장해 둔 후 HMD 장치 전면에 외부 환경의 촬영이 가능한 카메라를 탑재함으로써, 상기 카메라를 통해 상기 외부 환경과 사용자의 손의 움직임을 촬영한 후 상기 카메라를 통해 촬영된 촬영 영상으로부터 상기 사용자의 손의 움직임에 대한 오브젝트 추적을 수행하여 상기 사용자의 손의 이동 궤적에 대응하는 도형 정보를 생성한 후 상기 사용자의 손의 이동 궤적에 대응하는 도형 정보와 상기 미리 지정되어 있는 제1 도형 정보들을 상호 비교하여 양 도형 정보가 모두 일치하는 것으로 판단되면, 사용자 인증을 완료할 수 있어, 별도의 입력 장치가 없는 HMD 장치에서도 사용자가 손쉽게 인증 과정을 진행할 수 있도록 지원할 수 있다.

Description

제스처 기반의 사용자 인증이 가능한 HMD 장치 및 상기 HMD 장치의 제스처 기반의 사용자 인증 방법{HMD APPARATUS FOR GESTURE BASED USER AUTHENTICATION AND METHOD FOR GESTURE BASED USER AUTHENTICATION OF THE HMD APPARATUS}
본 발명은 가상 현실(Virtual Reality: VR) 등을 구현할 수 있는 HMD(Head Mounted Display) 장치에서 사용자가 손쉽게 사용자 인증을 수행할 수 있도록 지원하는 기술에 대한 것이다.
최근, 인터넷이 널리 보급됨에 따라, 온라인을 통한 상품 구입 및 온라인을 통한 뱅킹 등과 같은 서비스의 활용이 급증하고 있다.
이러한 온라인 기반의 상품 구입 및 뱅킹 서비스 등에서는 대금 결제 또는 대금 송금에 있어서, 사용자 인증이 반드시 포함되어야 한다는 점에서, 이러한 온라인 상에서 전자적 방법으로 사용자를 인증하기 위한 보안 기술들이 다수 존재하고 있다.
최근에는 스마트폰이나 태블릿 PC와 같은 모바일 기기의 보급이 증대됨에 따라 이러한 모바일 기기에서 활용할 수 있는 사용자 인증 기술들도 다수 등장하고 있다.
미래 기술의 하나로 급 부상하고 있는 가상 현실(Virtual Reality: VR)에 대한 관심이 증대됨에 따라 게임 등에서 이러한 VR을 활용할 수 있는 VR 관련 기기와 소프트웨어도 다수 등장하고 있다.
VR을 구현할 수 있는 대표적인 기기로는 HMD(Head Mounted Display) 장치가 있는데, HMD 장치는 사용자가 안경처럼 머리에 착용한 후 두 눈 앞에 있는 디스플레이를 통해서 게임 화면 등을 볼 수 있는 장치이다.
이러한 HMD 장치의 보급이 활발하게 이루어짐에 따라, 가까운 미래에는 사용자가 HMD 장치를 착용한 상태로 게임 아이템을 구입하거나 온라인 쇼핑을 수행하는 등 다양한 형태로 발전할 것으로 예상된다.
하지만, 아직까지는 HMD 장치의 보급이 활발하게 이루어지지 않았다는 점에서 사용자가 HMD 장치를 착용한 상태로 온라인 상에서 물품 등을 구입하는 경우, 이에 대한 사용자 인증을 수행하기 위한 적절한 기술이 도입되지 않은 상태이다.
기존의 데스크탑 PC나 모바일 기기를 이용하여 사용자 인증을 수행하는 방법으로는 비밀번호 입력 방식, 터치 제스처 패턴 인식 방식 등 다양한 방법이 존재하였지만, 이러한 사용자 인증 기술들은 소정의 입력 기기를 통해 사용자로부터 비밀번호 등을 입력 받는 방식이라는 점에서, 별도의 입력 기기를 제공하지 않는 HMD 장치에서는 이러한 사용자 인증 기법을 도입하기 어려운 점이 존재한다.
따라서, HMD 장치에서 물품 구매나 대금 송금 등과 같이 사용자 인증이 필요할 때, HMD 장치의 특징을 고려하여 적절하게 사용자 인증을 수행할 수 있도록 지원하는 새로운 형태의 사용자 인증 기술에 대한 연구가 필요하다.
본 발명에 따른 제스처 기반의 사용자 인증이 가능한 HMD(Head Mounted Display) 장치 및 상기 HMD 장치의 제스처 기반의 사용자 인증 방법은 사용자 인증을 위해서 미리 지정된 소정의 제1 도형 정보들을 저장해 둔 후 HMD 장치 전면에 외부 환경의 촬영이 가능한 카메라를 탑재함으로써, 상기 카메라를 통해 상기 외부 환경과 사용자의 손의 움직임을 촬영한 후 상기 카메라를 통해 촬영된 촬영 영상으로부터 상기 사용자의 손의 움직임에 대한 오브젝트 추적을 수행하여 상기 사용자의 손의 이동 궤적에 대응하는 도형 정보를 생성한 후 상기 사용자의 손의 이동 궤적에 대응하는 도형 정보와 상기 미리 지정되어 있는 제1 도형 정보들을 상호 비교하여 양 도형 정보가 모두 일치하는 것으로 판단되면, 사용자 인증을 완료할 수 있어, 별도의 입력 장치가 없는 HMD 장치에서도 사용자가 손쉽게 인증 과정을 진행할 수 있도록 지원하고자 한다.
본 발명의 일실시예에 따른 제스처 기반의 사용자 인증이 가능한 HMD(Head Mounted Display) 장치는 상기 HMD 장치의 전면에 부착되어, 외부 환경의 촬영이 가능한 카메라, 사용자 인증을 위해 미리 지정된 n(n은 자연수)개의 제1 도형 정보가 저장되어 있는 도형 정보 저장부, 상기 HMD 장치에 설치되어 있는 애플리케이션의 제어에 의해 사용자 인증 명령이 인가되면, 상기 카메라를 구동시켜 상기 외부 환경에 대한 촬영 영상을 획득하고, 사용자가 손을 움직임에 따라, 상기 카메라를 통해 상기 외부 환경과 상기 사용자의 손이 함께 촬영되면, 상기 카메라를 통해 촬영된 촬영 영상으로부터 상기 사용자의 손의 움직임에 대한 오브젝트 추적을 수행하여 상기 사용자의 손의 이동 궤적에 대응하는 도형 정보를 생성하는 도형 정보 생성부 및 상기 사용자의 손의 이동 궤적에 대응하는 도형 정보가 n개 생성되면, 상기 사용자의 손의 이동 궤적에 대응하여 생성된 n개의 도형 정보와 상기 n개의 제1 도형 정보를 비교하여 양 도형 정보가 모두 일치하는 것으로 판단되면, 상기 사용자 인증을 완료하는 사용자 인증부를 포함한다.
또한, 본 발명의 일실시예에 따른 전면에 카메라가 부착된 HMD 장치의 제스처 기반의 사용자 인증 방법은 사용자 인증을 위해 미리 지정된 n(n은 자연수)개의 제1 도형 정보가 저장되어 있는 도형 정보 저장부를 유지하는 단계, 상기 HMD 장치에 설치되어 있는 애플리케이션의 제어에 의해 사용자 인증 명령이 인가되면, 상기 카메라를 구동시켜 외부 환경에 대한 촬영 영상을 획득하고, 사용자가 손을 움직임에 따라, 상기 카메라를 통해 상기 외부 환경과 상기 사용자의 손이 함께 촬영되면, 상기 카메라를 통해 촬영된 촬영 영상으로부터 상기 사용자의 손의 움직임에 대한 오브젝트 추적을 수행하여 상기 사용자의 손의 이동 궤적에 대응하는 도형 정보를 생성하는 단계 및 상기 사용자의 손의 이동 궤적에 대응하는 도형 정보가 n개 생성되면, 상기 사용자의 손의 이동 궤적에 대응하여 생성된 n개의 도형 정보와 상기 n개의 제1 도형 정보를 비교하여 양 도형 정보가 모두 일치하는 것으로 판단되면, 상기 사용자 인증을 완료하는 단계를 포함한다.
본 발명에 따른 제스처 기반의 사용자 인증이 가능한 HMD(Head Mounted Display) 장치 및 상기 HMD 장치의 제스처 기반의 사용자 인증 방법은 사용자 인증을 위해서 미리 지정된 소정의 제1 도형 정보들을 저장해 둔 후 HMD 장치 전면에 외부 환경의 촬영이 가능한 카메라를 탑재함으로써, 상기 카메라를 통해 상기 외부 환경과 사용자의 손의 움직임을 촬영한 후 상기 카메라를 통해 촬영된 촬영 영상으로부터 상기 사용자의 손의 움직임에 대한 오브젝트 추적을 수행하여 상기 사용자의 손의 이동 궤적에 대응하는 도형 정보를 생성한 후 상기 사용자의 손의 이동 궤적에 대응하는 도형 정보와 상기 미리 지정되어 있는 제1 도형 정보들을 상호 비교하여 양 도형 정보가 모두 일치하는 것으로 판단되면, 사용자 인증을 완료할 수 있어, 별도의 입력 장치가 없는 HMD 장치에서도 사용자가 손쉽게 인증 과정을 진행할 수 있도록 지원할 수 있다.
도 1은 본 발명의 일실시예에 따른 제스처 기반의 사용자 인증이 가능한 HMD(Head Mounted Display) 장치의 구조를 도시한 도면이다.
도 2와 도 3은 본 발명의 일실시예에 따른 제스처 기반의 사용자 인증이 가능한 HMD 장치의 동작을 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른 HMD 장치의 제스처 기반의 사용자 인증 방법을 도시한 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 제스처 기반의 사용자 인증이 가능한 HMD(Head Mounted Display) 장치의 구조를 도시한 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 제스처 기반의 사용자 인증이 가능한 HMD 장치(110)는 카메라(111), 도형 정보 저장부(112), 도형 정보 생성부(113) 및 사용자 인증부(114)를 포함한다.
카메라(111)는 HMD 장치(110)의 전면에 부착되어, 외부 환경의 촬영이 가능하도록 구성된다.
도형 정보 저장부(112)에는 사용자 인증을 위해 미리 지정된 n(n은 자연수)개의 제1 도형 정보가 저장되어 있다.
도형 정보 생성부(113)는 HMD 장치(110)에 설치되어 있는 애플리케이션의 제어에 의해 사용자 인증 명령이 인가되면, 카메라(111)를 구동시켜 상기 외부 환경에 대한 촬영 영상을 획득하고, 사용자가 손을 움직임에 따라, 카메라(111)를 통해 상기 외부 환경과 상기 사용자의 손이 함께 촬영되면, 카메라(111)를 통해 촬영된 촬영 영상으로부터 상기 사용자의 손의 움직임에 대한 오브젝트 추적을 수행하여 상기 사용자의 손의 이동 궤적에 대응하는 도형 정보를 생성한다.
사용자 인증부(114)는 상기 사용자의 손의 이동 궤적에 대응하는 도형 정보가 n개 생성되면, 상기 사용자의 손의 이동 궤적에 대응하여 생성된 n개의 도형 정보와 상기 n개의 제1 도형 정보를 비교하여 양 도형 정보가 모두 일치하는 것으로 판단되면, 상기 사용자 인증을 완료한다.
이때, 본 발명의 일실시예에 따르면, 제스처 기반의 사용자 인증이 가능한 HMD 장치(110)는 영상 표시 제어부(115) 및 제스처 패턴 인식 영역 표시부(116)를 더 포함할 수 있다.
영상 표시 제어부(115)는 카메라(111)를 통해 촬영되는 상기 외부 환경에 대한 촬영 영상을 디스플레이 상에 실시간으로 표시한다.
제스처 패턴 인식 영역 표시부(116)는 상기 디스플레이 상의 선정된(predetermined) 지점에 복수의 선정된 제스처 패턴 인식 영역들을 표시한다.
이때, 도형 정보 생성부(113)는 도형 정보 테이블 유지부(117), 제스처 패턴 인식 영역 추출부(118) 및 도형 정보 추출부(119)를 포함할 수 있다.
도형 정보 테이블 유지부(117)는 복수의 서로 다른 제스처 패턴 인식 영역의 조합들에 대해 미리 지정된 서로 다른 도형 정보가 대응되어 기록되어 있는 도형 정보 테이블을 저장하여 유지한다.
제스처 패턴 인식 영역 추출부(118)는 카메라(111)를 통해 촬영된 촬영 영상으로부터 상기 사용자의 손의 움직임에 대한 오브젝트 추적을 수행하여 상기 복수의 선정된 제스처 패턴 인식 영역들 중 상기 카메라를 통해 촬영된 촬영 영상 상에서 상기 사용자의 손이 위치한 지점과 겹치는 적어도 하나의 제스처 패턴 인식 영역을 추출한다.
도형 정보 추출부(119)는 상기 적어도 하나의 제스처 패턴 인식 영역이 추출되면, 상기 적어도 하나의 제스처 패턴 인식 영역을 조합한 후 상기 도형 정보 테이블로부터 상기 적어도 하나의 제스처 패턴 인식 영역의 조합에 대응되어 기록되어 있는 도형 정보를 추출하여 상기 추출된 도형 정보를 상기 사용자의 손의 이동 궤적에 대응하는 도형 정보로 생성한다.
이때, 본 발명의 일실시예에 따르면, 상기 복수의 선정된 제스처 패턴 인식 영역들에는 서로 다른 인덱스 값이 미리 할당되어 있을 수 있다.
이때, 상기 도형 정보 테이블에는 복수의 서로 다른 제스처 패턴 인식 영역에 대한 인덱스 값의 조합들에 대해 상기 미리 지정된 서로 다른 도형 정보가 대응되어 기록되어 있을 수 있고, 도형 정보 추출부(119)는 상기 적어도 하나의 제스처 패턴 인식 영역이 추출되면, 상기 적어도 하나의 제스처 패턴 인식 영역에 할당되어 있는 인덱스 값을 확인하고, 상기 확인된 인덱스 값을 조합한 후 상기 도형 정보 테이블로부터 상기 확인된 인덱스 값의 조합에 대응되어 기록되어 있는 도형 정보를 추출하여 상기 추출된 도형 정보를 상기 사용자의 손의 이동 궤적에 대응하는 도형 정보로 생성할 수 있다.
또한, 본 발명의 일실시예에 따르면, 제스처 패턴 인식 영역 추출부(118)는 손 영역 검출부(120) 및 손 영역 위치 추적부(121)를 포함할 수 있다.
손 영역 검출부(120)는 카메라(111)를 통해 촬영된 촬영 영상을 구성하는 복수의 영상 프레임들에 대해서 상기 복수의 영상 프레임들 각각을 구성하는 복수의 화소들의 색상 값을 확인하여 상기 복수의 화소들 중 색상 값이 피부색과 연관된 선정된 제1 색상 값 범위에 해당하는 색상 값을 갖는 적어도 하나의 화소의 집합을 상기 사용자의 손 영역으로 검출한다.
손 영역 위치 추적부(121)는 상기 사용자의 손 영역으로 검출된 적어도 하나의 화소의 집합에 대한 상기 복수의 영상 프레임들 각각에서의 시간 순서에 따른 위치 변화를 추적하여 상기 사용자의 손의 움직임에 대한 오브젝트 추적을 수행한다.
또한, 본 발명의 일실시예에 따르면, 제스처 패턴 인식 영역 추출부(118)는 상기 복수의 선정된 제스처 패턴 인식 영역들 중 상기 카메라를 통해 촬영된 촬영 영상 상에서 상기 사용자의 손이 위치한 지점과 겹치는 부분이 상기 복수의 선정된 제스처 패턴 인식 영역들 각각의 크기와 대비하여 선정된 영역 크기 비율을 초과하는 제스처 패턴 인식 영역에 대해서만 상기 적어도 하나의 제스처 패턴 인식으로 추출할 수 있다.
이하에서는 도 2와 도 3에 도시된 도면을 참조하여 본 발명에 따른 제스처 기반의 사용자 인증이 가능한 HMD 장치(110)의 동작에 대해 예를 들어 상세히 설명하기로 한다.
도 2와 도 3은 본 발명의 일실시예에 따른 제스처 기반의 사용자 인증이 가능한 HMD 장치(110)의 동작을 설명하기 위한 도면이다.
우선, 본 발명에 따른 제스처 기반의 사용자 인증이 가능한 HMD 장치(110)는 도 2에 도시된 그림과 같이, 사용자의 머리에 착용되어, 사용자의 두 눈 전면에 디스플레이가 존재하여 상기 디스플레이를 통해 사용자에게 화면을 표시해 줄 수 있다.
이때, 본 발명에 따른 HMD 장치(110)에는 HMD 장치(110)의 전면에 부착되어, 외부 환경의 촬영이 가능한 카메라(111)를 포함할 수 있다.
그리고, 도형 정보 저장부(112)에는 사용자 인증을 위해서 미리 지정된 n(n은 자연수)개의 제1 도형 정보가 저장되어 있을 수 있다.
관련해서, 상기 n을 5라고 가정하고, 도 3의 도면부호 310에 도시된 바와 같이, 상기 사용자 인증을 위해서 미리 지정된 도형 정보가 "3" 모양에 대한 도형 정보, "4" 모양에 대한 도형 정보, "5" 모양에 대한 도형 정보, "
Figure 112016027761688-pat00001
" 모양에 대한 도형 정보, "
Figure 112016027761688-pat00002
" 모양에 대한 도형 정보라고 하는 경우, 도형 정보 저장부(112)에는 하기의 표 1과 같이 정보가 저장되어 있을 수 있다.
순번 제1 도형 정보
1 "3" 모양에 대한 도형 정보
2 "4" 모양에 대한 도형 정보
3 "5" 모양에 대한 도형 정보
4 "
Figure 112016027761688-pat00003
" 모양에 대한 도형 정보
5 "
Figure 112016027761688-pat00004
" 모양에 대한 도형 정보
만약, 사용자가 HMD 장치(110)를 착용한 상태로 게임을 하다가 게임 아이템을 구매하거나, 온라인 쇼핑몰에서 물품을 구매하는 등 소정의 사용자 인증이 필요한 상황이 발생하면, HMD 장치(110)에 설치되어 있는 결제 관련 애플리케이션 등과 같은 소정의 애플리케이션의 제어에 의해 HMD 장치(110)에 사용자 인증 명령이 인가될 수 있다.
이때, 도형 정보 생성부(113)는 상기 사용자 인증 명령이 인가되면, 카메라(111)를 구동시켜 외부 환경에 대한 촬영 영상을 획득할 수 있다.
이때, 영상 표시 제어부(115)는 카메라(111)를 통해 촬영되는 상기 외부 환경에 대한 촬영 영상을 디스플레이 상에 실시간으로 표시함으로써, 사용자가 상기 디스플레이를 통해 상기 외부 환경을 볼 수 있도록 제어할 수 있다.
그리고, 제스처 패턴 인식 영역 표시부(116)는 상기 디스플레이 상의 선정된 지점에 도 2의 도면부호 210에 도시된 바와 같은 복수의 선정된 제스처 패턴 인식 영역들(211, 212, 213, 214, 215, 216, 217)을 표시할 수 있다.
관련해서, 제스처 패턴 인식 영역 표시부(116)는 카메라(111)를 통해 촬영되는 외부 환경에 대한 촬영 영상이 상기 디스플레이 상에 표시되고 있을 때, 상기 디스플레이의 중심부에 도면부호 210에 도시된 바와 같은 복수의 선정된 제스처 패턴 인식 영역들(211, 212, 213, 214, 215, 216, 217)을 표시할 수 있다.
이때, 사용자는 상기 디스플레이 상에 표시되고 있는 복수의 선정된 제스처 패턴 인식 영역들(211, 212, 213, 214, 215, 216, 217)을 보고, 자신의 손을 이용해서, 복수의 선정된 제스처 패턴 인식 영역들(211, 212, 213, 214, 215, 216, 217) 상에 도형 정보 저장부(112)에 저장되어 있는 5개의 제1 도형 정보들과 동일한 도형 정보를 그리는 형태의 제스처를 취함으로써, 사용자 인증 과정을 진행할 수 있다.
이때, 상기 디스플레이 상에는 카메라(111)를 통해 촬영된 외부 환경에 대한 촬영 영상과 함께 사용자의 손까지 촬영되어 표시되기 때문에 사용자는 상기 디스플레이 상에 표시되는 자신의 손을 보면서, 자신의 손을 복수의 선정된 제스처 패턴 인식 영역들(211, 212, 213, 214, 215, 216, 217) 상에서 움직이도록 제어할 수 있다.
도형 정보 생성부(113)는 사용자가 손을 움직임에 따라, 카메라(111)를 통해 상기 외부 환경과 상기 사용자의 손이 함께 촬영되면, 카메라(111)를 통해 촬영된 촬영 영상으로부터 상기 사용자의 손의 움직임에 대한 오브젝트 추적을 수행하여 상기 사용자의 손의 이동 궤적에 대응하는 도형 정보를 생성할 수 있다.
관련해서, 도형 정보 생성부(113)는 도형 정보 테이블 유지부(117), 제스처 패턴 인식 영역 추출부(118) 및 도형 정보 추출부(119)를 포함할 수 있다.
도형 정보 테이블 유지부(117)는 복수의 서로 다른 제스처 패턴 인식 영역의 조합들에 대해 미리 지정된 서로 다른 도형 정보가 대응되어 기록되어 있는 도형 정보 테이블을 저장하여 유지할 수 있다.
이때, 본 발명의 일실시예에 따르면, 복수의 선정된 제스처 패턴 인식 영역들(211, 212, 213, 214, 215, 216, 217)에는 서로 다른 인덱스 값이 미리 할당되어 있고, 상기 도형 정보 테이블에는 복수의 서로 다른 제스처 패턴 인식 영역에 대한 인덱스 값의 조합들에 대해 상기 미리 지정된 서로 다른 도형 정보가 대응되어 기록되어 있을 수 있다.
관련해서, 복수의 선정된 제스처 패턴 인식 영역들(211, 212, 213, 214, 215, 216, 217) 중 제스처 패턴 인식 영역 1(211)에 대해서는 "1"이라는 인덱스 값이 할당되어 있을 수 있고, 제스처 패턴 인식 영역 2(212)에 대해서는 "2"라는 인덱스 값이 할당되어 있을 수 있으며, 제스처 패턴 인식 영역 3(213)에 대해서는 "3"이라는 인덱스 값이 할당되어 있을 수 있고, 제스처 패턴 인식 영역 4(214)에 대해서는 "4"라는 인덱스 값이 할당되어 있을 수 있고, 제스처 패턴 인식 영역 5(215)에 대해서는 "5"라는 인덱스 값이 할당되어 있을 수 있고, 제스처 패턴 인식 영역 6(216)에 대해서는 "6"이라는 인덱스 값이 할당되어 있을 수 있고, 제스처 패턴 인식 영역 7(217)에 대해서는 "7"이라는 인덱스 값이 할당되어 있을 수 있다.
그리고, 상기 도형 정보 테이블에는 하기의 표 2와 같이 정보가 기록되어 있을 수 있다.
순번 제스처 패턴 인식 영역에 대한 인덱스 값의 조합 미리 지정된 도형 정보
1 7, 6 "1" 모양에 대한 도형 정보
2 1, 2, 3, 6, 5 "2" 모양에 대한 도형 정보
3 1, 2, 3, 4, 5 "3" 모양에 대한 도형 정
4 7, 3, 2, 4 "4" 모양에 대한 도형 정
5 1, 7, 3, 4, 5 "5" 모양에 대한 도형 정
6 1, 2, 3, 7 "
Figure 112016027761688-pat00005
" 모양에 대한 도형 정
7 3, 4, 5, 6 "
Figure 112016027761688-pat00006
" 모양에 대한 도형 정
... ... ...
이때, 제스처 패턴 인식 영역 추출부(118)는 카메라(111)를 통해 촬영된 촬영 영상으로부터 상기 사용자의 손의 움직임에 대한 오브젝트 추적을 수행하여 복수의 선정된 제스처 패턴 인식 영역들(211, 212, 213, 214, 215, 216, 217) 중 카메라(111)를 통해 촬영된 촬영 영상 상에서 상기 사용자의 손이 위치한 지점과 겹치는 적어도 하나의 제스처 패턴 인식 영역을 추출할 수 있다.
이때, 제스처 패턴 인식 영역 추출부(118)는 상기 사용자의 손의 움직임에 대한 오브젝트 추적을 수행하기 위해서, 손 영역 검출부(120) 및 손 영역 위치 추적부(121)를 포함할 수 있다.
손 영역 검출부(120)는 카메라(111)를 통해 촬영된 촬영 영상을 구성하는 복수의 영상 프레임들에 대해서 상기 복수의 영상 프레임들 각각을 구성하는 복수의 화소들의 색상 값을 확인하여 상기 복수의 화소들 중 색상 값이 피부색과 연관된 선정된 제1 색상 값 범위에 해당하는 색상 값을 갖는 적어도 하나의 화소의 집합을 상기 사용자의 손 영역으로 검출할 수 있다.
그리고, 손 영역 위치 추적부(121)는 상기 사용자의 손 영역으로 검출된 적어도 하나의 화소의 집합에 대한 상기 복수의 영상 프레임들 각각에서의 시간 순서에 따른 위치 변화를 추적하여 상기 사용자의 손의 움직임에 대한 오브젝트 추적을 수행할 수 있다.
예컨대, 상기 복수의 영상 프레임들로 시간 순으로 "영상 프레임 1", "영상 프레임 2", "영상 프레임 3"이 존재한다고 가정하자.
이때, 손 영역 검출부(120)는 "영상 프레임 1"을 구성하는 복수의 화소들의 색상 값을 확인한 후 상기 복수의 화소들 중 색상 값이 피부색과 연관된 선정된 제1 색상 값 범위에 해당하는 색상 값을 갖는 적어도 하나의 화소 집합을 "영상 프레임 1"에서의 상기 사용자의 손 영역으로 검출할 수 있다.
그리고, 손 영역 검출부(120)는 "영상 프레임 2"를 구성하는 복수의 화소들의 색상 값을 확인한 후 상기 복수의 화소들 중 색상 값이 피부색과 연관된 상기 선정된 제1 색상 값 범위에 해당하는 색상 값을 갖는 적어도 하나의 화소 집합을 "영상 프레임 2"에서의 상기 사용자의 손 영역으로 검출할 수 있다.
그리고, 손 영역 검출부(120)는 "영상 프레임 3"을 구성하는 복수의 화소들의 색상 값을 확인한 후 상기 복수의 화소들 중 색상 값이 피부색과 연관된 상기 선정된 제1 색상 값 범위에 해당하는 색상 값을 갖는 적어도 하나의 화소 집합을 "영상 프레임 3"에서의 상기 사용자의 손 영역으로 검출할 수 있다.
이때, 손 영역 위치 추적부(121)는 상기 사용자의 손 영역으로 검출된 적어도 하나의 화소의 집합에 대한 "영상 프레임 1", "영상 프레임 2", "영상 프레임 3"에서의 시간 순서에 따른 위치 변화를 추적하여 상기 사용자의 손의 움직임에 대한 오브젝트 추적을 수행할 수 있다.
즉, 손 영역 위치 추적부(121)는 "영상 프레임 1", "영상 프레임 2", "영상 프레임 3"의 순서로 각 영상 프레임에서 추출된 상기 사용자의 손 영역의 위치 변화를 추적함으로써, 상기 사용자의 손의 움직임에 대한 오브젝트 추적을 수행할 수 있다.
이러한 방식으로, 제스처 패턴 인식 영역 추출부(118)는 카메라(111)를 통해 촬영된 촬영 영상으로부터 상기 사용자의 손의 움직임에 대한 오브젝트 추적을 수행하여 복수의 선정된 제스처 패턴 인식 영역들(211, 212, 213, 214, 215, 216, 217) 중 카메라(111)를 통해 촬영된 촬영 영상 상에서 상기 사용자의 손이 위치한 지점과 겹치는 적어도 하나의 제스처 패턴 인식 영역을 추출할 수 있다.
예컨대, 도 3의 도면부호 321에 도시된 바와 같이, 사용자가 자신의 손을 복수의 선정된 제스처 패턴 인식 영역들(211, 212, 213, 214, 215, 216, 217) 중 제스처 패턴 인식 영역 1(211), 제스처 패턴 인식 영역 2(212), 제스처 패턴 인식 영역 3(213), 제스처 패턴 인식 영역 4(214), 제스처 패턴 인식 영역 5(215) 상에서 상하 또는 좌우로 위치시켰다면, 제스처 패턴 인식 영역 추출부(118)는 카메라(111)를 통해 촬영된 촬영 영상으로부터 상기 사용자의 손의 움직임에 대한 오브젝트 추적을 수행하여 복수의 선정된 제스처 패턴 인식 영역들(211, 212, 213, 214, 215, 216, 217) 중 카메라(111)를 통해 촬영된 촬영 영상 상에서 상기 사용자의 손이 위치한 지점과 겹치는 적어도 하나의 제스처 패턴 인식 영역으로, 제스처 패턴 인식 영역 1(211), 제스처 패턴 인식 영역 2(212), 제스처 패턴 인식 영역 3(213), 제스처 패턴 인식 영역 4(214), 제스처 패턴 인식 영역 5(215)를 추출할 수 있다.
이때, 본 발명의 일실시예에 따르면, 제스처 패턴 인식 영역 추출부(118)는 복수의 선정된 제스처 패턴 인식 영역들(211, 212, 213, 214, 215, 216, 217) 중 카메라(111)를 통해 촬영된 촬영 영상 상에서 상기 사용자의 손이 위치한 지점과 겹치는 상기 적어도 하나의 제스처 패턴 인식 영역을 추출할 때, 복수의 선정된 제스처 패턴 인식 영역들(211, 212, 213, 214, 215, 216, 217) 중 카메라(111)를 통해 촬영된 촬영 영상 상에서 상기 사용자의 손이 위치한 지점과 겹치는 부분이 복수의 선정된 제스처 패턴 인식 영역들(211, 212, 213, 214, 215, 216, 217) 각각의 크기와 대비하여 선정된 영역 크기 비율을 초과하는 제스처 패턴 인식 영역에 대해서만 상기 적어도 하나의 제스처 패턴 인식 영역으로 추출할 수 있다.
예컨대, 상기 선정된 영역 크기 비율을 각 제스처 패턴 인식 영역들의 크기 대비 60%라고 하는 경우, 제스처 패턴 인식 영역 추출부(118)는 복수의 선정된 제스처 패턴 인식 영역들(211, 212, 213, 214, 215, 216, 217) 중 사용자의 손이 위치한 지점과 겹치는 부분이 각 제스처 패턴 인식 영역들의 크기와 대비하여 60%를 초과하는 제스처 패턴 인식 영역에 대해서만 상기 적어도 하나의 제스처 패턴 인식 영역으로 추출할 수 있다.
이렇게, 제스처 패턴 인식 영역 추출부(118)에서 상기 적어도 하나의 제스처 패턴 인식 영역이 추출되면, 도형 정보 추출부(119)는 상기 적어도 하나의 제스처 패턴 인식 영역에 할당되어 있는 인덱스 값을 확인하고, 상기 확인된 인덱스 값을 조합한 후 상기 도형 정보 테이블로부터 상기 확인된 인덱스 값의 조합에 대응되어 기록되어 있는 도형 정보를 추출하여 상기 추출된 도형 정보를 상기 사용자의 손의 이동 궤적에 대응하는 도형 정보로 생성할 수 있다.
관련해서, 앞서 설명한 예와 같이, 제스처 패턴 인식 영역 추출부(118)에서 제스처 패턴 인식 영역 1(211), 제스처 패턴 인식 영역 2(212), 제스처 패턴 인식 영역 3(213), 제스처 패턴 인식 영역 4(214), 제스처 패턴 인식 영역 5(215)가 추출되었다면, 도형 정보 추출부(119)는 제스처 패턴 인식 영역 1(211)에 할당되어 있는 인덱스 값인 "1"을 확인하고, 제스처 패턴 인식 영역 2(212)에 할당되어 있는 인덱스 값인 "2"를 확인하며, 제스처 패턴 인식 영역 3(213)에 할당되어 있는 인덱스 값인 "3"을 확인하고, 제스처 패턴 인식 영역 4(214)에 할당되어 있는 인덱스 값인 "4"를 확인하고, 제스처 패턴 인식 영역 5(215)에 할당되어 있는 인덱스 값인 "5"를 확인한 후 각 인덱스 값의 조합인 "1, 2, 3, 4, 5"를 기초로 상기 표 2와 같은 도형 정보 테이블로부터 상기 "1, 2, 3, 4, 5"라는 인덱스 값의 조합에 대응되어 기록되어 있는 도형 정보인 "3" 모양에 대한 도형 정보를 추출할 수 있다.
이러한 방식으로, 도 3에 도시된 바와 같이, 사용자에 의해 도면부호 321과 같은 손의 움직임이 인가되었고, 도면부호 322와 같은 손의 움직임이 인가되었으며, 도면부호 323과 같은 손의 움직임이 인가되었고, 도면부호 324와 같은 손의 움직임이 인가되었고, 도면부호 325와 같은 손의 움직임이 인가되었다면, 도형 정보 생성부(113)는 도면부호 321, 322, 323, 324, 325와 같은 사용자의 손의 이동 궤적에 대응하는 5개의 도형 정보인 "3" 모양에 대한 도형 정보, "4" 모양에 대한 도형 정보, "5" 모양에 대한 도형 정보, "
Figure 112016027761688-pat00007
" 모양에 대한 도형 정보 및 "
Figure 112016027761688-pat00008
" 모양에 대한 도형 정보를 생성할 수 있다.
그러고 나서, 사용자 인증부(114)는 상기 사용자의 손의 이동 궤적에 대응하는 도형 정보가 5개 생성되면, 상기 사용자의 손의 이동 궤적에 대응하여 생성된 5개의 도형 정보와 상기 표 1과 같이 도형 정보 저장부(112)에 저장되어 있는 5개의 상기 제1 도형 정보를 비교하여 양 도형 정보가 모두 일치하는 것으로 판단되면, 상기 사용자 인증을 완료할 수 있다.
결국, 본 발명에 따른 제스처 기반의 사용자 인증이 가능한 HMD 장치(110)는 사용자 인증을 위해서 미리 지정된 소정의 제1 도형 정보들을 저장해 둔 후 HMD 장치(110) 전면에 외부 환경의 촬영이 가능한 카메라(111)를 탑재함으로써, 카메라(111)를 통해 상기 외부 환경과 사용자의 손의 움직임을 촬영한 후 카메라(111)를 통해 촬영된 촬영 영상으로부터 상기 사용자의 손의 움직임에 대한 오브젝트 추적을 수행하여 상기 사용자의 손의 이동 궤적에 대응하는 도형 정보를 생성한 후 상기 사용자의 손의 이동 궤적에 대응하는 도형 정보와 상기 미리 지정되어 있는 제1 도형 정보들을 상호 비교하여 양 도형 정보가 모두 일치하는 것으로 판단되면, 사용자 인증을 완료할 수 있어, 별도의 입력 장치가 없는 HMD 장치(110)에서도 사용자가 손쉽게 인증 과정을 진행할 수 있도록 지원할 수 있다.
도 4는 본 발명의 일실시예에 따른 전면에 카메라가 부착되어 있는 HMD 장치의 제스처 기반의 사용자 인증 방법을 도시한 순서도이다.
단계(S410)에서는 사용자 인증을 위해 미리 지정된 n(n은 자연수)개의 제1 도형 정보가 저장되어 있는 도형 정보 저장부를 유지한다.
단계(S420)에서는 상기 HMD 장치에 설치되어 있는 애플리케이션의 제어에 의해 사용자 인증 명령이 인가되면, 상기 HMD 장치의 전면에 부착되어 있는 상기 카메라를 구동시켜 외부 환경에 대한 촬영 영상을 획득하고, 사용자가 손을 움직임에 따라, 상기 카메라를 통해 상기 외부 환경과 상기 사용자의 손이 함께 촬영되면, 상기 카메라를 통해 촬영된 촬영 영상으로부터 상기 사용자의 손의 움직임에 대한 오브젝트 추적을 수행하여 상기 사용자의 손의 이동 궤적에 대응하는 도형 정보를 생성한다.
단계(S430)에서는 상기 사용자의 손의 이동 궤적에 대응하는 도형 정보가 n개 생성되면, 상기 사용자의 손의 이동 궤적에 대응하여 생성된 n개의 도형 정보와 상기 n개의 제1 도형 정보를 비교하여 양 도형 정보가 모두 일치하는 것으로 판단되면, 상기 사용자 인증을 완료한다.
이때, 본 발명의 일실시예에 따르면, 상기 HMD 장치의 제스처 기반의 사용자 인증 방법은 상기 카메라를 통해 촬영되는 상기 외부 환경에 대한 촬영 영상을 디스플레이 상에 실시간으로 표시하는 단계 및 상기 디스플레이 상의 선정된 지점에 복수의 선정된 제스처 패턴 인식 영역들을 표시하는 단계를 더 포함할 수 있다.
이때, 단계(S420)에서는 복수의 서로 다른 제스처 패턴 인식 영역의 조합들에 대해 미리 지정된 서로 다른 도형 정보가 대응되어 기록되어 있는 도형 정보 테이블을 저장하여 유지하는 단계, 상기 카메라를 통해 촬영된 촬영 영상으로부터 상기 사용자의 손의 움직임에 대한 오브젝트 추적을 수행하여 상기 복수의 선정된 제스처 패턴 인식 영역들 중 상기 카메라를 통해 촬영된 촬영 영상 상에서 상기 사용자의 손이 위치한 지점과 겹치는 적어도 하나의 제스처 패턴 인식 영역을 추출하는 단계 및 상기 적어도 하나의 제스처 패턴 인식 영역이 추출되면, 상기 적어도 하나의 제스처 패턴 인식 영역을 조합한 후 상기 도형 정보 테이블로부터 상기 적어도 하나의 제스처 패턴 인식 영역의 조합에 대응되어 기록되어 있는 도형 정보를 추출하여 상기 추출된 도형 정보를 상기 사용자의 손의 이동 궤적에 대응하는 도형 정보로 생성하는 단계를 포함할 수 있다.
이때, 본 발명의 일실시예에 따르면, 상기 복수의 선정된 제스처 패턴 인식 영역들에는 서로 다른 인덱스 값이 미리 할당되어 있고, 상기 도형 정보 테이블에는 복수의 서로 다른 제스처 패턴 인식 영역에 대한 인덱스 값의 조합들에 대해 상기 미리 지정된 서로 다른 도형 정보가 대응되어 기록되어 있을 수 있다.
이때, 상기 추출된 도형 정보를 상기 사용자의 손의 이동 궤적에 대응하는 도형 정보로 생성하는 단계는 상기 적어도 하나의 제스처 패턴 인식 영역이 추출되면, 상기 적어도 하나의 제스처 패턴 인식 영역에 할당되어 있는 인덱스 값을 확인하고, 상기 확인된 인덱스 값을 조합한 후 상기 도형 정보 테이블로부터 상기 확인된 인덱스 값의 조합에 대응되어 기록되어 있는 도형 정보를 추출하여 상기 추출된 도형 정보를 상기 사용자의 손의 이동 궤적에 대응하는 도형 정보로 생성할 수 있다.
또한, 본 발명의 일실시예에 따르면, 상기 적어도 하나의 제스처 패턴 인식 영역을 추출하는 단계는 상기 카메라를 통해 촬영된 촬영 영상을 구성하는 복수의 영상 프레임들에 대해서 상기 복수의 영상 프레임들 각각을 구성하는 복수의 화소들의 색상 값을 확인하여 상기 복수의 화소들 중 색상 값이 피부색과 연관된 선정된 제1 색상 값 범위에 해당하는 색상 값을 갖는 적어도 하나의 화소의 집합을 상기 사용자의 손 영역으로 검출하는 단계 및 상기 사용자의 손 영역으로 검출된 적어도 하나의 화소의 집합에 대한 상기 복수의 영상 프레임들 각각에서의 시간 순서에 따른 위치 변화를 추적하여 상기 사용자의 손의 움직임에 대한 오브젝트 추적을 수행하는 단계를 포함할 수 있다.
또한, 본 발명의 일실시예에 따르면, 상기 적어도 하나의 제스처 패턴 인식 영역을 추출하는 단계는 상기 복수의 선정된 제스처 패턴 인식 영역들 중 상기 카메라를 통해 촬영된 촬영 영상 상에서 상기 사용자의 손이 위치한 지점과 겹치는 부분이 상기 복수의 선정된 제스처 패턴 인식 영역들 각각의 크기와 대비하여 선정된 영역 크기 비율을 초과하는 제스처 패턴 인식 영역에 대해서만 상기 적어도 하나의 제스처 패턴 인식 영역으로 추출할 수 있다.
이상, 도 4를 참조하여 본 발명의 일실시예에 따른 HMD 장치의 제스처 기반의 사용자 인증 방법에 대해 설명하였다. 여기서, 본 발명의 일실시예에 따른 HMD 장치의 제스처 기반의 사용자 인증 방법은 도 1 내지 도 3을 이용하여 설명한 제스처 기반의 사용자 인증이 가능한 HMD 장치(110)의 동작에 대한 구성과 대응될 수 있으므로, 이에 대한 보다 상세한 설명은 생략하기로 한다.
본 발명의 일실시예에 따른 HMD 장치의 제스처 기반의 사용자 인증 방법은 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.
또한, 본 발명의 일실시예에 따른 HMD 장치의 제스처 기반의 사용자 인증 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
110: 제스처 기반의 사용자 인증이 가능한 HMD(Head Mounted Display) 장치
111: 카메라 112: 도형 정보 저장부
113: 도형 정보 생성부 114: 사용자 인증부
115: 영상 표시 제어부 116: 제스처 패턴 인식 영역 표시부
117: 도형 정보 테이블 유지부 118: 제스처 패턴 인식 영역 추출부
119: 도형 정보 추출부 120: 손 영역 검출부
121: 손 영역 위치 추적부

Claims (12)

  1. 제스처 기반의 사용자 인증이 가능한 HMD(Head Mounted Display) 장치에 있어서,
    상기 HMD 장치의 전면에 부착되어, 외부 환경의 촬영이 가능한 카메라;
    사용자 인증을 위해 미리 지정된 n(n은 자연수)개의 제1 도형 정보가 저장되어 있는 도형 정보 저장부;
    상기 HMD 장치에 설치되어 있는 애플리케이션의 제어에 의해 사용자 인증 명령이 인가되면, 상기 카메라를 구동시켜 상기 외부 환경에 대한 촬영 영상을 획득하고, 사용자가 손을 움직임에 따라, 상기 카메라를 통해 상기 외부 환경과 상기 사용자의 손이 함께 촬영되면, 상기 카메라를 통해 촬영된 촬영 영상으로부터 상기 사용자의 손의 움직임에 대한 오브젝트 추적을 수행하여 상기 사용자의 손의 이동 궤적에 대응하는 도형 정보를 생성하는 도형 정보 생성부; 및
    상기 사용자의 손의 이동 궤적에 대응하는 도형 정보가 n개 생성되면, 상기 사용자의 손의 이동 궤적에 대응하여 생성된 n개의 도형 정보와 상기 n개의 제1 도형 정보를 비교하여 양 도형 정보가 모두 일치하는 것으로 판단되면, 상기 사용자 인증을 완료하는 사용자 인증부
    를 포함하고,
    상기 제스처 기반의 사용자 인증이 가능한 HMD 장치는
    상기 카메라를 통해 촬영되는 상기 외부 환경에 대한 촬영 영상을 디스플레이 상에 실시간으로 표시하는 영상 표시 제어부; 및
    상기 디스플레이 상의 선정된(predetermined) 지점에 복수의 선정된 제스처 패턴 인식 영역들을 표시하는 제스처 패턴 인식 영역 표시부
    를 더 포함하며,
    상기 복수의 선정된 제스처 패턴 인식 영역들에는 서로 다른 인덱스 값이 미리 할당되어 있고,
    상기 도형 정보 생성부는
    복수의 서로 다른 제스처 패턴 인식 영역에 대한 인덱스 값의 조합들에 대해 미리 지정된 서로 다른 도형 정보가 대응되어 기록되어 있는 도형 정보 테이블을 저장하여 유지하는 도형 정보 테이블 유지부;
    상기 카메라를 통해 촬영된 촬영 영상으로부터 상기 사용자의 손의 움직임에 대한 오브젝트 추적을 수행하여 상기 복수의 선정된 제스처 패턴 인식 영역들 중 상기 카메라를 통해 촬영된 촬영 영상 상에서 상기 사용자의 손이 위치한 지점과 겹치는 적어도 하나의 제스처 패턴 인식 영역을 추출하는 제스처 패턴 인식 영역 추출부; 및
    상기 적어도 하나의 제스처 패턴 인식 영역이 추출되면, 상기 적어도 하나의 제스처 패턴 인식 영역에 할당되어 있는 인덱스 값을 확인하고, 상기 확인된 인덱스 값을 조합한 후 상기 도형 정보 테이블로부터 상기 확인된 인덱스 값의 조합에 대응되어 기록되어 있는 도형 정보를 추출하여 상기 추출된 도형 정보를 상기 사용자의 손의 이동 궤적에 대응하는 도형 정보로 생성하는 도형 정보 추출부
    를 포함하고,
    상기 제스처 패턴 인식 영역 추출부는
    상기 카메라를 통해 촬영된 촬영 영상을 구성하는 복수의 영상 프레임들에 대해서 상기 복수의 영상 프레임들 각각을 구성하는 복수의 화소들의 색상 값을 확인하여 상기 복수의 화소들 중 색상 값이 피부색과 연관된 선정된 제1 색상 값 범위에 해당하는 색상 값을 갖는 적어도 하나의 화소의 집합을 상기 사용자의 손 영역으로 검출하는 손 영역 검출부; 및
    상기 사용자의 손 영역으로 검출된 적어도 하나의 화소의 집합에 대한 상기 복수의 영상 프레임들 각각에서의 시간 순서에 따른 위치 변화를 추적하여 상기 사용자의 손의 움직임에 대한 오브젝트 추적을 수행하는 손 영역 위치 추적부
    를 포함하는 제스처 기반의 사용자 인증이 가능한 HMD 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 제스처 패턴 인식 영역 추출부는
    상기 복수의 선정된 제스처 패턴 인식 영역들 중 상기 카메라를 통해 촬영된 촬영 영상 상에서 상기 사용자의 손이 위치한 지점과 겹치는 부분이 상기 복수의 선정된 제스처 패턴 인식 영역들 각각의 크기와 대비하여 선정된 영역 크기 비율을 초과하는 제스처 패턴 인식 영역에 대해서만 상기 적어도 하나의 제스처 패턴 인식 영역으로 추출하는 제스처 기반의 사용자 인증이 가능한 HMD 장치.
  6. 전면에 카메라가 부착된 HMD(Head Mounted Display) 장치의 제스처 기반의 사용자 인증 방법에 있어서,
    사용자 인증을 위해 미리 지정된 n(n은 자연수)개의 제1 도형 정보가 저장되어 있는 도형 정보 저장부를 유지하는 단계;
    상기 HMD 장치에 설치되어 있는 애플리케이션의 제어에 의해 사용자 인증 명령이 인가되면, 상기 카메라를 구동시켜 외부 환경에 대한 촬영 영상을 획득하고, 사용자가 손을 움직임에 따라, 상기 카메라를 통해 상기 외부 환경과 상기 사용자의 손이 함께 촬영되면, 상기 카메라를 통해 촬영된 촬영 영상으로부터 상기 사용자의 손의 움직임에 대한 오브젝트 추적을 수행하여 상기 사용자의 손의 이동 궤적에 대응하는 도형 정보를 생성하는 단계; 및
    상기 사용자의 손의 이동 궤적에 대응하는 도형 정보가 n개 생성되면, 상기 사용자의 손의 이동 궤적에 대응하여 생성된 n개의 도형 정보와 상기 n개의 제1 도형 정보를 비교하여 양 도형 정보가 모두 일치하는 것으로 판단되면, 상기 사용자 인증을 완료하는 단계
    를 포함하고,
    상기 HMD 장치의 제스처 기반의 사용자 인증 방법은
    상기 카메라를 통해 촬영되는 상기 외부 환경에 대한 촬영 영상을 디스플레이 상에 실시간으로 표시하는 단계; 및
    상기 디스플레이 상의 선정된(predetermined) 지점에 복수의 선정된 제스처 패턴 인식 영역들을 표시하는 단계
    를 더 포함하며,
    상기 복수의 선정된 제스처 패턴 인식 영역들에는 서로 다른 인덱스 값이 미리 할당되어 있고,
    상기 도형 정보를 생성하는 단계는
    복수의 서로 다른 제스처 패턴 인식 영역에 대한 인덱스 값의 조합들에 대해 미리 지정된 서로 다른 도형 정보가 대응되어 기록되어 있는 도형 정보 테이블을 저장하여 유지하는 단계;
    상기 카메라를 통해 촬영된 촬영 영상으로부터 상기 사용자의 손의 움직임에 대한 오브젝트 추적을 수행하여 상기 복수의 선정된 제스처 패턴 인식 영역들 중 상기 카메라를 통해 촬영된 촬영 영상 상에서 상기 사용자의 손이 위치한 지점과 겹치는 적어도 하나의 제스처 패턴 인식 영역을 추출하는 단계; 및
    상기 적어도 하나의 제스처 패턴 인식 영역이 추출되면, 상기 적어도 하나의 제스처 패턴 인식 영역에 할당되어 있는 인덱스 값을 확인하고, 상기 확인된 인덱스 값을 조합한 후 상기 도형 정보 테이블로부터 상기 확인된 인덱스 값의 조합에 대응되어 기록되어 있는 도형 정보를 추출하여 상기 추출된 도형 정보를 상기 사용자의 손의 이동 궤적에 대응하는 도형 정보로 생성하는 단계
    를 포함하고,
    상기 적어도 하나의 제스처 패턴 인식 영역을 추출하는 단계는
    상기 카메라를 통해 촬영된 촬영 영상을 구성하는 복수의 영상 프레임들에 대해서 상기 복수의 영상 프레임들 각각을 구성하는 복수의 화소들의 색상 값을 확인하여 상기 복수의 화소들 중 색상 값이 피부색과 연관된 선정된 제1 색상 값 범위에 해당하는 색상 값을 갖는 적어도 하나의 화소의 집합을 상기 사용자의 손 영역으로 검출하는 단계; 및
    상기 사용자의 손 영역으로 검출된 적어도 하나의 화소의 집합에 대한 상기 복수의 영상 프레임들 각각에서의 시간 순서에 따른 위치 변화를 추적하여 상기 사용자의 손의 움직임에 대한 오브젝트 추적을 수행하는 단계
    를 포함하는 HMD 장치의 제스처 기반의 사용자 인증 방법.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 제6항에 있어서,
    상기 적어도 하나의 제스처 패턴 인식 영역을 추출하는 단계는
    상기 복수의 선정된 제스처 패턴 인식 영역들 중 상기 카메라를 통해 촬영된 촬영 영상 상에서 상기 사용자의 손이 위치한 지점과 겹치는 부분이 상기 복수의 선정된 제스처 패턴 인식 영역들 각각의 크기와 대비하여 선정된 영역 크기 비율을 초과하는 제스처 패턴 인식 영역에 대해서만 상기 적어도 하나의 제스처 패턴 인식 영역으로 추출하는 HMD 장치의 제스처 기반의 사용자 인증 방법.
  11. 제6항 또는 제10항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
  12. 제6항 또는 제10항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램.
KR1020160034388A 2016-03-23 2016-03-23 제스처 기반의 사용자 인증이 가능한 hmd 장치 및 상기 hmd 장치의 제스처 기반의 사용자 인증 방법 KR101700569B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160034388A KR101700569B1 (ko) 2016-03-23 2016-03-23 제스처 기반의 사용자 인증이 가능한 hmd 장치 및 상기 hmd 장치의 제스처 기반의 사용자 인증 방법
PCT/KR2017/002930 WO2017164584A1 (ko) 2016-03-23 2017-03-20 제스처 기반의 사용자 인증이 가능한 hmd 장치 및 상기 hmd 장치의 제스처 기반의 사용자 인증 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160034388A KR101700569B1 (ko) 2016-03-23 2016-03-23 제스처 기반의 사용자 인증이 가능한 hmd 장치 및 상기 hmd 장치의 제스처 기반의 사용자 인증 방법

Publications (1)

Publication Number Publication Date
KR101700569B1 true KR101700569B1 (ko) 2017-01-26

Family

ID=57992882

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160034388A KR101700569B1 (ko) 2016-03-23 2016-03-23 제스처 기반의 사용자 인증이 가능한 hmd 장치 및 상기 hmd 장치의 제스처 기반의 사용자 인증 방법

Country Status (2)

Country Link
KR (1) KR101700569B1 (ko)
WO (1) WO2017164584A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190044838A (ko) 2017-10-23 2019-05-02 동서대학교 산학협력단 융합현실, 가상현실 및 증강현실을 이용한 사용자 인증시스템
WO2023146196A1 (ko) * 2022-01-25 2023-08-03 삼성전자 주식회사 비디오에서 사용자의 손을 결정하는 방법 및 전자 장치
WO2024090826A1 (ko) * 2022-10-27 2024-05-02 삼성전자 주식회사 사용자의 제스처를 이용해 인증을 수행하는 전자 장치 및 그 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11050752B2 (en) 2018-06-07 2021-06-29 Ebay Inc. Virtual reality authentication

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014078814A (ja) * 2012-10-10 2014-05-01 Olympus Corp 頭部装着型表示装置、ロック解除処理システム、プログラム及びロック解除処理システムの制御方法
KR20150017893A (ko) * 2013-08-08 2015-02-23 삼성전자주식회사 전자 장치의 잠금 화면 처리 방법 및 장치
KR20160007342A (ko) * 2014-07-11 2016-01-20 넥시스 주식회사 글라스형 웨어러블 디바이스의 잠금해제 방법 및 프로그램

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101627290B1 (ko) * 2013-04-16 2016-06-21 구태언 보안강화 머리착용형 디스플레이 장치 및 그 장치를 통해 암호화된 정보에 액세스 하는 방법
KR20150041453A (ko) * 2013-10-08 2015-04-16 엘지전자 주식회사 안경형 영상표시장치 및 그것의 제어방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014078814A (ja) * 2012-10-10 2014-05-01 Olympus Corp 頭部装着型表示装置、ロック解除処理システム、プログラム及びロック解除処理システムの制御方法
KR20150017893A (ko) * 2013-08-08 2015-02-23 삼성전자주식회사 전자 장치의 잠금 화면 처리 방법 및 장치
KR20160007342A (ko) * 2014-07-11 2016-01-20 넥시스 주식회사 글라스형 웨어러블 디바이스의 잠금해제 방법 및 프로그램

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190044838A (ko) 2017-10-23 2019-05-02 동서대학교 산학협력단 융합현실, 가상현실 및 증강현실을 이용한 사용자 인증시스템
WO2023146196A1 (ko) * 2022-01-25 2023-08-03 삼성전자 주식회사 비디오에서 사용자의 손을 결정하는 방법 및 전자 장치
WO2024090826A1 (ko) * 2022-10-27 2024-05-02 삼성전자 주식회사 사용자의 제스처를 이용해 인증을 수행하는 전자 장치 및 그 방법

Also Published As

Publication number Publication date
WO2017164584A1 (ko) 2017-09-28

Similar Documents

Publication Publication Date Title
US11995774B2 (en) Augmented reality experiences using speech and text captions
US20210405761A1 (en) Augmented reality experiences with object manipulation
US11277597B1 (en) Marker-based guided AR experience
US10055894B2 (en) Markerless superimposition of content in augmented reality systems
KR101784328B1 (ko) 증강 현실 표면 디스플레잉
KR101700569B1 (ko) 제스처 기반의 사용자 인증이 가능한 hmd 장치 및 상기 hmd 장치의 제스처 기반의 사용자 인증 방법
CN102959616B (zh) 自然交互的交互真实性增强
CN116348836A (zh) 增强现实中用于交互式游戏控制的手势跟踪
US20160180594A1 (en) Augmented display and user input device
US11302077B2 (en) Augmented reality guidance that generates guidance markers
US20170153787A1 (en) Injection of 3-d virtual objects of museum artifact in ar space and interaction with the same
US11954268B2 (en) Augmented reality eyewear 3D painting
CN106600855A (zh) 基于面部识别的支付装置和方法
US20150123994A1 (en) Image processing device, image processing method, and program
US20210409628A1 (en) Visual-inertial tracking using rolling shutter cameras
US20230343046A1 (en) Augmented reality environment enhancement
US20230066318A1 (en) Handcrafted augmented reality effort evidence
CN104299143A (zh) 虚拟试戴方法及装置
US11423366B2 (en) Using augmented reality for secure transactions
US20230367118A1 (en) Augmented reality gaming using virtual eyewear beams
US10304120B2 (en) Merchandise sales service device based on dynamic scene change, merchandise sales system based on dynamic scene change, method for selling merchandise based on dynamic scene change and non-transitory computer readable storage medium having computer program recorded thereon
US20230060150A1 (en) Physical action-based augmented reality communication exchanges
US20170083952A1 (en) System and method of markerless injection of 3d ads in ar and user interaction
KR101517892B1 (ko) 동작인식 체감형 증강현실 아이템 생성 및 처리방법
Cao Unveiling the Era of Spatial Computing

Legal Events

Date Code Title Description
AMND Amendment
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191231

Year of fee payment: 4