KR101639161B1 - 골격 정보를 이용한 사용자 인증 방법 - Google Patents

골격 정보를 이용한 사용자 인증 방법 Download PDF

Info

Publication number
KR101639161B1
KR101639161B1 KR1020150089571A KR20150089571A KR101639161B1 KR 101639161 B1 KR101639161 B1 KR 101639161B1 KR 1020150089571 A KR1020150089571 A KR 1020150089571A KR 20150089571 A KR20150089571 A KR 20150089571A KR 101639161 B1 KR101639161 B1 KR 101639161B1
Authority
KR
South Korea
Prior art keywords
skeleton
user
point
computer device
points
Prior art date
Application number
KR1020150089571A
Other languages
English (en)
Inventor
강제원
이지은
류수경
강민주
김나영
Original Assignee
이화여자대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이화여자대학교 산학협력단 filed Critical 이화여자대학교 산학협력단
Priority to KR1020150089571A priority Critical patent/KR101639161B1/ko
Application granted granted Critical
Publication of KR101639161B1 publication Critical patent/KR101639161B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06K9/00362—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

골격 정보를 이용한 사용자 인증 방법은 컴퓨터 장치가 카메라를 통해 깊이 정보를 갖는 영상을 획득하는 단계, 상기 컴퓨터 장치가 상기 영상에서 사용자에 해당하는 객체를 추출하고, 상기 객체의 골격 영역을 추출하는 단계, 상기 컴퓨터 장치가 상기 골격 영역 중 복수의 지점에 대한 좌표를 결정하는 단계, 상기 컴퓨터 장치가 상기 좌표를 이용하여 상기 골격 영역 중 타겟 골격에 대한 골격 길이 및 골격 길이의 비율 중 적어도 하나인 사용자 골격 정보를 결정하는 단계 및 상기 컴퓨터 장치가 상기 사용자 골격 정보와 인증을 위해 사전에 저장한 골격 정보인 기준 골격 정보를 비교하여 상기 사용자에 대한 1차 인증을 수행하는 단계, 상기 컴퓨터 장치가 상기 복수의 지점 중 복수의 관절 지점에 기반하여 상기 동작에 대응하는 특징점을 추출하고, 상기 특징점과 사전에 사용자 동작을 입력받아 저장한 기준 특징점 정보를 비교하여 2차 인증을 수행하는 단계를 포함한다.

Description

골격 정보를 이용한 사용자 인증 방법{PERSONAL AUTHENTICATION METHOD USING SKELETON INFORMATION}
이하 설명하는 기술은 사용자 인증 기법에 관한 것이다.
컴퓨터 장치의 사용, 건물의 출입 등의 분야에서 다양한 사용자 인증 기법이 연구되고 있다. 사용자 인증을 위해 얼굴인식, 지문인식, 홍채 인식 등과 같은 다양한 방법이 등자하고 있다.
미국공개특허 US2010-0045428호 미국공개특허 US2004-0151346호
이하 설명하는 기술은 영상을 통해 획득하는 사용자의 골격 정보를 기반으로 사용자 인증을 수행하는 기법을 제공하고자 한다.
골격 정보를 이용한 사용자 인증 방법은 컴퓨터 장치가 카메라를 통해 깊이 정보를 갖는 영상을 획득하는 단계, 컴퓨터 장치가 영상에서 사용자에 해당하는 객체를 추출하고, 객체의 골격 영역을 추출하는 단계, 컴퓨터 장치가 골격 영역 중 복수의 지점에 대한 좌표를 결정하는 단계, 컴퓨터 장치가 좌표를 이용하여 골격 영역 중 타겟 골격에 대한 골격 길이 및 골격 길이의 비율 중 적어도 하나인 사용자 골격 정보를 결정하는 단계 및 컴퓨터 장치가 사용자 골격 정보와 인증을 위해 사전에 저장한 골격 정보인 기준 골격 정보를 비교하여 사용자에 대한 1차 인증을 수행하는 단계를 포함한다.
골격 정보를 이용한 사용자 인증 방법은 컴퓨터 장치가 복수의 지점 중 복수의 관절 지점에 기반하여 동작에 대응하는 특징점을 추출하는 단계 및 컴퓨터 장치가 특징점과 사전에 사용자 동작을 입력받아 저장한 기준 특징점 정보를 비교하여 2차 인증을 수행하는 단계를 더 포함할 수 있다.
이하 설명하는 기술은 카메라를 통해 획득한 사용자 정보를 바탕으로 사용자의 특징을 나타내는 골격 정보를 추출하여 손쉽게 사용자를 인증한다.
도 1은 사용자 영상을 통해 골격 정보를 추출하는 컴퓨터 장치에 대한 구성을 도시한 예이다.
도 2는 사람을 포함하는 깊이 영상에서 골격 정보를 도시한 예이다.
도 3은 사람의 골격 정보에 대한 예이다.
도 4는 골격 정보를 이용한 사용자 인증 과정에 대한 순서도의 예이다.
도 5는 골격 정보 중 일부를 이용한 특징점에 대한 예이다.
도 6은 골격 정보 중 일부를 이용한 다른 특징점에 대한 예이다.
도 7은 골격 정보를 이용한 사용자 인증 방법에 대한 다른 순서도의 예이다.
이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.
또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
이하 설명하는 기술은 사용자 영상에서 골격 정보를 추출하여 사용자 인증을 수행하는 기법에 관한 것이다. 이하 설명하는 기술은 2가지 인증 방법을 포함한다. 사용자 인증은 2가지 인증 방법 중 어느 하나를 이용할 수도 있고, 2가지 인증 방법을 모두 이용할 수도 있다. 2가지 인증 방법 중 첫 번째는 사람마다 다른 골격 구조 자체를 이용하는 것이고(이하 1차 인증이라고 명명함), 두 번째는 사용자 동작을 인증 기준으로 이용하는 것이다(이하 2차 인증이라고 명명함). 먼저 사용자 영상에서 골격 정보를 추출하는 방법에 대해 살펴보고자 한다.
도 1은 사용자 영상을 통해 골격 정보를 추출하는 컴퓨터 장치(100)에 대한 구성을 도시한 예이다. 도 1에서는 사람이 일정한 동작을 취하고 있고, 컴퓨터 장치(100)가 제1 카메라(111) 및 제2 카메라(112)를 통해 사용자를 포함한 영상을 획득하고 있다. 컴퓨터 장치(100)는 두 개의 카메라로 깊이 정보가 있는 영상을 획득한다. 두 개의 카메라는 RGB 카메라일 수도 있고, 적외선 카메라일 수도 있다. 깊이 정보 영상을 생성하는 과정은 널리 알려진 것이므로 자세한 설명은 생략한다.
도 1에서는 컴퓨터 장치(100)의 구성으로 두 개의 카메라(111 및 112)만을 도시하였다. 컴퓨터 장치(100)는 사람(객체)을 추출하고, 추출한 객체에 대한 골격화 과정을 통해 골격 영영을 생성한다. 이후 컴퓨터 장치는 골격 영역을 기준으로 사용자의 골격 정보 및 동작 정보를 추출한다. 도어 락 장치, 스마트 TV, 게임 콘솔, 카메라가 연결된 PC, 카메라가 연결된 노트북 등은 사용자 인증을 수행하는 시스템 내지 장치에 해당한다. 컴퓨터 장치(100)는 사용자 인증을 수행하는 시스템 내지 장치 중에서 영상에 포함된 골격 정보를 이용하여 사용자 인증을 수행하는 구성을 의미한다. 따라서 컴퓨터 장치(100)는 영상을 획득하는 카메라, 획득한 영상을 저장하는 저장 매체, 영상 처리를 위한 중앙 처리 장치 등과 같은 장치를 포함한다.
컴퓨터 장치(100)는 사람이 포함된 영상을 획득하고, 이미지 처리 기법을 통해 획득한 영상에서 사람을 추출한다. 사람 추출은 영상에서 배경을 제외한 특정 객체를 추출하는 기법을 이용한다.
깊이 정보는 인간의 양안을 모델로 한두 개 이상의 카메라를 활용하여 얻은 두 영상/동영상 사이의 변위정보(disparity information)을 3차원 정보로 변환하여 얻거나 적외선 센서를 이용하여 원거리에서 3차원 깊이를 측정 할 수 있다. 깊이 정보는 [0,255] 사이의 픽셀 값을 갖는 흑백이미지로 표현한다. 피사체가 카메라의 기준점에서 가까울수록 밝은 영역으로 표현되고, 멀수록 어둡게 표현된다. 깊이 영상에서 사람은 배경보다 앞에 위치하여 배경보다 밝게 표현되는 특성이 있다. 이러한 특성을 반영하여 컬러 정보와 깊이 정보의 혼합을 통해 영상으로부터 사람을 구분 할 수 있다.
컴퓨터 장치(100)는 영상에서 사람을 추출하고, 추가적인 이미지 처리 기법(골격화)을 사용하여 사람의 골격(skeleton) 영역을 추출한다. 적외선 카메라로 얻은 깊이 정보 값은 전경 또는 배경 내에서 평탄한 값을 가지며, 가까이 있는 물체 중에서도 사람의 골격을 가진 객체를 사람으로 인식한다.
도 2는 사람을 포함하는 깊이 영상에서 골격 영역을 도시한 예이다. 도 2(a)는 컴퓨터 장치(100)가 사람이 포함된 깊이 영상에서 사람에 해당하는 객체를 구분하고, 객체에 대한 골격화를 수행한 예에 해당한다. 도 2(a)에서 사람 내부에 직선으로 표현된 부분이 골격화의 결과물인 골격 영역에 해당한다.
컴퓨터 장치(100)는 카메라 또는 적외선 센서를 통해 획득한 영상의 깊이 정보에서 배경과 사람의 깊이 차이를 이용해 사람을 배경으로부터 구분한다.
골격화는 이진영상에서 물체의 크기와 모양을 요약하는 선 과 곡선의 집합을 만드는 과정이다. 골격을 정의하는 방법이 다양하므로 주어진 물체에서 서로 다른 모양의 골격이 있을 수 있다. 다만 컴퓨터 장치(100)가 인식하는 영상은 사람에 대한 영상이므로, 사람의 해부학적인 구조는 유사하여 골격화에 따른 결과물로 유사한다. 골격화는 침식연산을 이용해 수행한다. 골격화는 서로 다른 방향성이 여러 개 있는 침식마스크를 이용하여 영상 내의 물체를 서서히 깎아 침식을 반복하여 객체의 하부 구조를 나타낸다. 사람의 구조적인 특징에 대한 정보를 기반으로 골격화 결과물인 직선의 길이, 직선의 위치 및 직선의 휘어짐 등을 기준으로 전술한 골격 정보를 결정할 수 있다. 도 2(a)에서는 골격 영역에서 특정 지점을 작은 점으로 표시하였다. 도 2(a)에서 어깨 지점, 팔꿈치 지점 및 손목 지점은 별도로 표시하였다. 도 2(b)는 깊이 정보 영상에서 골격 영역 중 복수의 지점에 해당하는 지점들을 십자 모양으로 도시한 예이다.
컴퓨터 장치(100)는 골격 영역 중에서 복수의 지점을 결정하고, 복수의 지점을 이용하여 사용자의 기본적인 골격 정보를 결정한다. 기본적인 골격 정보는 특정한 골격의 길이, 특정한 골격들의 길이 비율 등을 포함한다. 나아가 골격 정보는 하나의 골격이 아닌 복수의 골격에 대한 길이 또는/및 복수의 골격 사이의 비율을 포함한다. 컴퓨터 장치는 기본적인 골격 정보를 이용하여 1차 사용자 인증을 수행한다. 또한 컴퓨터 장치(100)는 복수의 지점을 이용하여 영상에서 사용자의 동작을 인식한다. 컴퓨터 장치(100)는 사용자 동작을 인식하기 위한 특징점을 추출하고, 추출한 특징점을 기준으로 사용자 동작을 인식한다. 컴퓨터 장치는 사용자 동작을 이용하여 2차 사용자 인증을 수행한다.
도 3은 사람의 골격 정보에 대한 예이다. 컴퓨터 장치(100)는 영상에서 골격 영역을 추출하고, 골격 영역에서 특정한 지점들을 결정한다. 컴퓨터 장치(100)는 특정한 지점들의 좌표를 결정하고, 특정한 지점들에 대한 좌표값을 기준으로 골격의 길이, 골격 길이의 비율 등을 결정한다.
컴퓨터 장치는 기본적으로 골격 영역에서 신체의 움직임이 생길 때 꺾이는 부분을 관절로 인지하며 머리부터 발끝까지 순서를 정해 골격구조를 인식한다. 따라서 사용자가 카메라 앞의 지정된 장소에 서서 움직이면, 신체 윤곽을 기반으로 머리, 어깨, 팔꿈치, 허리, 다리, 무릎 등과 같은 신체의 주요 신체 부분의 관절 정보를 얻을 수 있다.
골격 정보는 사람의 관절 부위 및 몸의 움직임에 관여하는 주요한 뼈의 위치를 포함한다. 팔에서 골격 정보는 손 지점, 손목 지점, 팔꿈치 지점 및 어깨 지점을 포함하고, 다리에서 골격 정보는 발 지점, 발목 지점, 무릎 지점 및 엉덩이 지점을 포함한다. 나머지 골격 정보는 머리 지점, 어깨 중심 지점, 척추 지점, 엉덩이 중심 지점을 포함한다. 도 3는 모두 20개의 위치를 골격 정보로 예시한다.
이와 같이 컴퓨터 장치(100)는 골격 영역에서 복수의 지점을 결정하고, 해당 영역에 대한 좌표값을 기준으로 1차 인증을 위한 골격 정보 및 2차 인증을 위한 특징점 정보를 결정한다.
1차 인증(기본 골격 구조에 기반한 사용자 인증)
컴퓨터 장치(100)는 도 3과 같이 골격 영역에서 복수의 지점을 결정한다. 물론 도 3은 사람의 전신이 포함된 영상을 예로 도시한 것이지만, 경우에 따라서는 사람의 신체 영역 중 일부가 포함된 영상을 이용할 수도 있다. 예컨대, 컴퓨터 장치(100)는 사용자의 상반신이 포함된 영상에서 상반신에 대한 골격 정보를 추출할 수도 있다.
1차 인증은 기본적인 골격 구조를 이용한 것이다. 사람은 신장, 체격, 체형 등이 사람마다 다르다. 따라서 기본적으로 골격 구조가 사람을 구분하는 기준이 될 수도 있다. 1차 인증에 사용되는 골격 구조는 다양한 부위 및 기준이 사용될 수 있다. 예컨대, 1차 인증에 사용될 수 있는 기준은 특정 뼈의 길이, 관절 사이의 길이, 관절 사이의 길이들, 2개의 관절 사이의 길이 비율, 기본 자세일 때의 2개 관절의 각도 등을 포함한다. 구체적으로 i) 한 쪽 팔의 어깨 지점과 팔꿈치 지점 사이의 길이, ii) 한 쪽 팔의 어깨 지점과 팔꿈치 지점 사이의 길이 및 한 쪽 발의 무릎 지점과 발목 지점의 길이(2개의 관절 길이), iii) 한 쪽 팔의 어깨 지점과 무릎치 지점 사이의 길이에 대한 팔꿈치 지점과 손목 사이의 길이 비율, iv) 한 쪽 팔의 어깨 지점과 팔꿈치 지점 사이의 길이에 대한 한 쪽 발의 무릎 지점과 발목 지점의 길이의 비율, v) 사람이 서 있는 자세에서 한쪽 발의 엉덩이 지점과 무릎 지점을 잇는 직선과 무릎 지점과 발목 지점을 잇는 직선의 각도 등이 사용될 수 있다.
상기 도 3에 도시한 바와 같은 복수의 지점에 대한 x, y, z 좌표 값을 추출하면 관절간의 길이는 두 점 사이의 거리를 구하는 공식을 통해 간단히 구할 수 있다. 예를 들어 어깨의 좌표가 (x1, y1, z1) 이고 팔꿈치의 좌표가 (x2, y2, z2)라고 할 때 관절 간의 길이(d)는 아래의 수학식 1과 같다.
Figure 112015061111291-pat00001
나아가 컴퓨터 장치(100)는 복수의 지점에 대한 3차원 좌표값을 이용하여 관절 사이의 길이뿐만 아니라 관절 길이의 비율, 관절 사이의 각도 등도 결정할 수 있다. 기본적인 골격 구조 중 특정한 관절의 길이는 카메라와 사용자의 위치에 따라 달라질 수 있다. 따라서 컴퓨터 장치(100)는 항상 일정한 위치에서 사용자가 위치하는 것으로 가정하고, 골격 정보를 생성할 수 있다. 예컨대 일정한 위치에 사용자기 위치할 것은 안내하고 해당 위치에서 사용자를 촬영할 수 있다. 또는 영상에 길이를 알고 있는 마커를 배치하여, 마커와 골격의 길이를 비교하여 실제 골격의 길이를 추정할 수도 있다.
컴퓨터 장치(100)는 사용자에 대한 골격 정보를 사전에 추출하여 저장한다. 사전에 마련되어 비교 대상이 되는 골격 정보를 기준 골격 정보라고 명명한다. 컴퓨터 장치(100)는 사용자 1차 인증 과정에서 영상에서 획득한 골격 정보와 사전에 저장한 기준 골격 정보를 비교하여 사용자 인증을 수행한다.
도 4는 골격 정보를 이용한 사용자 인증 과정(200)에 대한 순서도의 예이다. 컴퓨터 장치(100)는 먼저 사전에 골격 정보를 이용하여 인증을 수행하고자 하는 사용자에 대한 기준 골격 정보를 생성하고 저장한다(210). 이후 인증을 수행하는 단계에서 컴퓨터 장치(100)가 사용자가 포함된 영상을 획득한다. 컴퓨터 장치는 카메라 또는 적외선 센서 등을 이용하여 깊이 정보를 갖는 영상을 획득한다(220). 깊이 정보를 갖는 영상을 이용하는 이유는 2차원 영상을 사용하는 경우 사용자의 위치에 따라 관절의 길이 등이 다르게 나올 수 있기 때문이다. 따라서 3차원 영상을 사용하는 것이 바람직하다. 다만 사용자 인증을 위해 반드시 3차원 영상을 사용해야만 하는 것은 아니다.
컴퓨터 장치(100)는 영상에 포함된 객체(사람)을 배경과 분리하여 추출하고, 분리한 객체에 대한 골격화 처리를 통해 객체의 골격 영역을 추출한다(230). 컴퓨터 장치는 골격 영역을 분석하여 골격 정보에 기반이되는 복수의 지점의 위치를 결정하고, 복수의 지점에 대한 3차원 좌표값을 결정한다(240).
컴퓨터 장치(100)는 복수의 지점에 대한 좌표값을 기준으로 인증을 위해 사용하고자 하는 골격 정보를 생성한다. 영상에서 생성하는 골격 정보를 타겟 골격 정보라고 명명한다. 타겟 골격 정보는 전술한 바와 같이 특정 관절 사이의 길이, 특정 관절들 사이의 길이 비율 등을 사용할 수 있다. 타겟 골격 정보는 사전에 마련한 기준 골격 정보에 대응한 정보이다.
컴퓨터 장치(100)는 타겟 골격 정보와 기준 골격 정보가 일치하는지 여부를 판단한다(260). 컴퓨터 장치(100)는 일정한 오차 범위 내에서 생성한 타겟 골격 정보가 사전에 마련한 기준 골격 정보에 부합하는지 판단한다. 컴퓨터 장치(100)는 타겟 골격 정보와 기준 골격 정보가 일치한다면 사용자 인증이 성공했다고 판단하고, 타겟 골격 정보와 기준 골격 정보가 일치하지 않는다면 사용자 인증이 실패했다고 판단한다.
2차 인증(사용자 동작에 기반한 사용자 인증)
2차 인증은 영상에서 획득한 사용자 동작을 기준으로 수행된다. 컴퓨터 장치(100)는 1차 인증 또는 2차 인증만을 이용할 수도 있고, 1차 인증을 통과한 사용자에 대해 동작을 요청하여 해당 동작을 수행한 사용자인지 여부를 판단할 수도 있다(1차 인증과 2차 인증의 조합).
컴퓨터 장치(100)는 2차 인증을 위해 사용자의 동작을 인식해야 한다. 컴퓨터 장치(100)는 2차 인증에서도 기본적으로 1차 인증에서 사용한 골격 영역에 대한 복수의 지점에 대한 좌표값을 이용한다. 이하 복수의 지점에 대한 좌표값을 마련한 상태를 가정하고 설명한다. 사용자의 동작을 인식 내지 정의하기 위해 컴퓨터 장치(100)는 이하 설명하는 특징점을 추출한다.
컴퓨터 장치(100)는 골격 정보의 위치(골격 영역에서 특정한 지점)를 기반으로 특징점을 추출한다. 해당 특징점이 사람의 동작을 인식하는 기준이 된다. 컴퓨터 장치(100)는 도 3에서 설명한 20개의 골격 정보를 조합하여 고차원의 특징점을 생성할 수 있다. 예컨대, R={p1, p2, .. pn} 이라는 골격 정보가 있을 때 z1=p1+p2, z2=p1*p3 과 같은 조합을 통해 특징점 Z={z1, z2, … , zm}를 생성할 수 있다. 결국 복수의 골격 정보를 이용하여 다양한 특징점을 생성할 수 있다.
도 5 및 도 6을 통해 몇 가지 특징점을 추출하는 과정을 설명한다. 도 5는 골격 정보 중 일부를 이용한 특징점에 대한 예이다. 도 5(a)는 일정한 동작을 취한 사람 영상을 도시하고, 도 5(b)는 골격 정보의 위치 중 일부를 이용하여 특징점을 결정하는 예를 도시한다.
먼저 컴퓨터 장치(100)는 골격 정보에 대한 3차원 좌표값을 결정한 상태라고 전제한다. 도 5에서 골격 정보는 왼쪽 어깨 지점(P1), 왼쪽 팔꿈치 지점(P2) 및 왼쪽 손목 지점(P3)을 사용한다. 각 골격 정보에 대한 3차원 좌표는 P1(x1, y1, z1), P2(x2, y2, z2) 및 P3(x3, y3, z3)이다. 아래와 같이 3가지 특징점을 구할 수 있다. 한편 x, y, z 축은 특정한 기준에 따라 설정될 수 있다.
(1) 두 개의 직선 사이의 각도(u)
P1과 P2는 하나의 직선(제1 직선)을 형성하고, P2와 P3도 하나의 직선(제2 직선)을 형성한다. 따라서 제1 직선과 제2 직선 사이의 각도(u)를 특징점으로 삼을 수 있다. 제1 직선과 제2 직선 사이의 각도(u)는 아래의 수학식 2를 통해 연산할 수 있다.
Figure 112015061111291-pat00002
(2) 하나의 직선과 제1 평면 사이의 각도(
Figure 112015061111291-pat00003
)
P1과 P2가 형성하는 제1 직선과 제1 평면 사이의 각도(
Figure 112015061111291-pat00004
)를 특징점으로 삼을 수 있다. 제1 평면은 다양한 기준의 평면을 사용할 수 있다. 예컨대, 도 4에서는 z축에 평행한 축을 제1 평면으로 사용하였다. 제1 직선과 제1 평면 사이의 각도(
Figure 112015061111291-pat00005
)는 아래의 수학식 3을 통해 연산할 수 있다.
Figure 112015061111291-pat00006
또는 P2와 P3가 형성하는 제2 직선과 제1 평면 사이의 각도를 특징점으로 삼을 수도 있을 것이다.
(3) 하나의 직선과 제2 평면 사이의 각도(θ)
P1과 P2가 형성하는 제1 직선과 제2 평면 사이의 각도(θ)를 특징점으로 삼을 수 있다. 제2 평면은 다양한 기준의 평면을 사용할 수 있다. 예컨대, 도 4에서는 y축에 평행한 축을 제2 평면으로 사용하였다. 제1 직선과 제1 평면 사이의 각도(θ)는 아래의 수학식 4를 통해 연산할 수 있다.
Figure 112015061111291-pat00007
도 5는 사람의 왼팔에 대해서 3가지 특징점을 도시한 것이다. 동일한 방법으로 사람의 오른팔에 대해서도 3가지 특징점을 추출할 수 있다.
도 6은 골격 정보 중 일부를 이용한 다른 특징점에 대한 예이다. 도 6은 다리의 골격 정보를 이용한 예를 도시한다. 도 6(a)는 일정한 동작을 취한 사람 영상을 도시하고, 도 5(6)는 골격 정보의 위치 중 일부를 이용하여 특징점을 결정하는 예를 도시한다.
도 6에서 골격 정보는 오른쪽 엉덩이 지점(Q1), 오른쪽 무릎 지점(Q2) 및 오른쪽 발목 지점(Q3)을 사용한다. 각 골격 정보에 대한 3차원 좌표는 Q1(x1, y1, z1), Q2(x2, y2, z2) 및 Q3(x3, y3, z3)이다.
도 5에 대한 설명과 동일한 방법으로 (1) Q1과 Q2가 형성하는 제1 직선과 Q2와 Q3가 형성하는 제2 직선 사이의 각도(u), (2) Q1과 Q2가 형성하는 제1 직선과 제1 평면인 z축에 평행한 평면 사이의 각도(
Figure 112015061111291-pat00008
) 및 (3) Q1과 Q2가 형성하는 제1 직선과 제2 평면인 y축에 평행한 평면 사이의 각도(θ)를 특징점으로 결정할 수 있다.
또한 왼쪽 발에 대해서도 동일한 방법으로 3개의 특징점을 추출할 수 있다.
도 5 및 도 6에서 설명한 바와 같이 왼쪽 팔, 오른쪽 팔, 왼쪽 다리 및 오른쪽 다리의 일부 골격 정보를 이용하여 각각 3개의 특징점을 추출한다면, 모두 12개의 특징점을 마련할 수 있다.
도 7은 골격 정보를 이용한 사용자 인증 방법(300)에 대한 다른 순서도의 예이다.
컴퓨터 장치(100)가 사용자 동작을 인식하기 위해서는 먼저 사용자 동작에 대한 참조 데이터가 필요하다. 다양한 방법을 사용할 수 있지만, 기본적으로 기계학습 중 신경망 학습을 기준으로 설명한다.
기계학습은 적용 어플리케이션과 데이터의 형태에 따라 감독 학습(supervised learning)과 무감독 학습(unsupervised learning)으로 구분 할 수 있다. 무감독 학습의 목적은 학습을 위한 입력과 출력의 관계가 없어 입력 패턴의 유형을 파악하여 입력 간 공통적인 특성을 파악하는 것이다. 반면 감독 학습은 입력과 출력의 쌍이 미리 알려진 사전 정보로부터 입출력을 매핑하는 함수를 학습하는 과정이다. 즉 시스템은 입력 벡터 x와 이에 대한 올바른 응답 y를 학습 데이터로 제공받아 함수 f를 학습하고, 학습하지 않은 새로운 데이터 x'가 들어 왔을 때 출력 y'를 추론하는 학습을 학습한다. 따라서 사용자 동작 인식을 위해서는 감독 학습 기법을 이용한다.
기계학습의 일종인 신경망 학습은 감독학습 중 하나로 입력 데이터에 X에 대해 올바른 정답 Y를 학습하는 방식이다. 컴퓨터 장치(100)는 N개의 동작에 해당하는 Label 1~Label N 모션을 각각 여러 번 입력 받은 후 각 동작에 대한 12개의 특징점(입력X)들을 입력 후 학습하여 Label1 ~ Label N 모션을 판별할 수 있는 신경망 네트워크를 생성한다. 신경망 학습의 결과로 노드의 구조 정보와 노드 간 연결 계수를 얻는다.
컴퓨터 장치(100)는 사람의 훈련 동작을 포함하는 훈련 영상을 이용하여 특징점을 추출한다. 학습을 위한 동작을 훈련 동작이라고 하고, 훈련 동작이 포함된 영상을 훈련 영상이라고 명명한다. 추출한 특징점은 전술한 바와 같이 골격 영역 중 복수의 관절 지점을 이용하여 생성한다. 학습 과정에 사용되는 복수의 관절 지점을 제1 복수의 관절 지점이라고 명명한다. 학습 과정에서 제1 복수의 관절 지점을 사용하여 추출한 특징점을 제1 특징점이라고 명명한다. 제1 특징점은 전술한 바와 같은 12개의 특징점일 수 있다. 컴퓨터 장치(100)는 복수의 훈련 동작을 제1 특징점을 기준으로 신경망 학습을 수행한다(310).
컴퓨터 장치(100)는 훈련 동작들에 대한 신경망 학습이 완료되지 않았다면(320의 No) 반복적으로 신경망 학습을 수행하고(310), 훈련 동작들에 대한 신경망 학습이 완료되었다면(320의 Yes) 동작 인식이 필요한 영상을 대기한다.
컴퓨터 장치(100)가 두 개의 카메라로 동작 인식이 필요한 입력 영상을 획득한다(330). 두 개의 카메라를 사용하는 이유는 깊이 정보를 갖는 영상을 생성하기 위함이다.
컴퓨터 장치(100)는 입력 영상에서 영상에 포함된 객체(사람)을 추출하고, 추출한 사람에서 골격 영역을 추출한다. 컴퓨터 장치(100)는 골격 영역에서 복수의 관절 지점을 결정한다(340). 입력 영상에서 결정한 복수의 관절 지점을 제2 복수의 관절 지점이라고 명명한다. 제2 복수의 관절 지점은 학습 단계에서 사용한 제1 복수의 관절 지점과 동일한(대응되는) 위치여야 한다.
컴퓨터 장치(100)는 제2 복수의 관절 지점 중 복수의 지점을 사용하여 특징점을 결정한다(350). 입력 영상에 대한 특징점을 제2 특징점이라고 명명한다. 제2 특징점은 제1 특징점과 대응되어야 한다.
컴퓨터 장치(100)는 최종적으로 제2 특징점을 신경망 네트워크에 입력하여 최종적으로 결정되는 동작을 입력 동작으로 인식한다(360). 예컨대, 학습 과정에서 N개의 동작에 대한 신경망 네트워크를 생성했다면, 컴퓨터 장치(100)는 입력 동작을 N개의 동작 중 하나로 판단한다.
컴퓨터 장치(100)는 입력 영상에서 학습과정과 동일한 절차로 특징점 12개를 추출하고, 학습을 이용해 취득한 파라미터 세트(신경망 네트워크의 경우 노드의 구조와 노드 간 연결 계수)를 이용하여 학습한 신경망 네트워크에 입력하면 최종 출력 노드에서 Label1 ~ Label N 모션 중 1개로 판별 한다. 신경망 네트워크를 통해 모션을 판별하는 한편 새로운 동작을 인식하면서 얻어진 신경망 정보는 410으로 피드백 되어 신경망을 업데이트 한다(370).
컴퓨터 장치(100)는 최종적으로 결정된 동작(입력 동작)이 사전에 인증을 위해 저장된 동작과 일치하는지 여부를 판단한다(380). 컴퓨터 장치(100)는 최종적으로 결정된 동작이 사용자 인증을 위한 동작이라면 인증이 성공했다고 판단하고, 최종적으로 결정된 동작이 사용자 인증을 위한 동작이 아니라면 인증이 실패했다고 판단한다.
한편 전술한 바와 같이 도 7의 2차 인증은 도 4의 1차 인증이 성공한 경우에만 수행될 수도 있다. 컴퓨터 장치(100)는 1차 인증이 성공한 경우 성공 메시지를 알리고, 사용자에가 2차 인증을 위한 동작을 요청할 수 있다. 또는 사용자가 최초에 특정 동작을 취하고, 컴퓨터 장치(100)가 1차 인증 및 2차 인증을 한번에 수행할 수도 있다.
골격 정보를 이용한 사용자 인증 기법은 다양한 장치 내지 시스템에서 사용될 수 있다. (1) 건물 출입을 위한 도어락 시스템에서 전술한 사용자 인증 기법을 사용할 수 있다. 도어락 시스템은 사용자 인증이 성공한 경우 도어(door)를 열어 사용자의 출입을 허용한다. (2) 노트북과 같은 장치에서 얼굴 인식을 사용하여 인증된 사용자만이 노트북을 사용할 수 있도록 하기도 한다. 노트북과 같은 장치에서 전술한 사용자 인증 기법을 사용할 수도 있다. (3) 나아가 PC에서 실행되는 특정 애플리케이션 또는 웹 기반의 서비스에 로그인하는 단계에서 전술한 사용자 인증 기법을 사용할 수 있다.
본 실시예 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.
100 : 컴퓨터 장치 111 : 제1 카메라
112 : 제2 카메라

Claims (7)

  1. 컴퓨터 장치가 카메라를 통해 깊이 정보를 갖는 영상을 획득하는 단계;
    상기 컴퓨터 장치가 상기 영상에서 사용자에 해당하는 객체를 추출하고, 상기 객체의 골격 영역을 추출하는 단계;
    상기 컴퓨터 장치가 상기 골격 영역 중 복수의 지점에 대한 좌표를 결정하는 단계;
    상기 컴퓨터 장치가 상기 좌표를 이용하여 상기 골격 영역 중 타겟 골격에 대한 골격 길이 및 골격 길이의 비율 중 적어도 하나인 사용자 골격 정보를 결정하는 단계; 및
    상기 컴퓨터 장치가 상기 사용자 골격 정보와 인증을 위해 사전에 저장한 골격 정보인 기준 골격 정보를 비교하여 상기 사용자에 대한 1차 인증을 수행하는 단계를 포함하되,
    상기 영상은 상기 사용자의 동작을 포함하고, 상기 컴퓨터 장치가 상기 복수의 지점 중 복수의 관절 지점에 기반하여 상기 동작에 대응하는 특징점을 추출하는 단계; 및 상기 컴퓨터 장치가 상기 특징점과 사전에 사용자 동작을 입력받아 저장한 기준 특징점 정보를 비교하여 2차 인증을 수행하는 단계를 포함하는 골격 정보를 이용한 사용자 인증 방법.
  2. 제1항에 있어서,
    상기 복수의 지점은 상기 골격 영역 중 머리, 목, 손, 양 어깨의 중심점, 발, 엉덩이의 중심점, 척추 중심점 및 관절 지점 중 적어도 하나를 포함하는 골격 정보를 이용한 사용자 인증 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 특징점은 상기 복수의 관절 지점 중 연속된 3개의 지점이 형성하는 2개의 직선 사이의 각도 및 상기 3개의 지점 중 2개의 지점이 형상하는 직선과 특정 평면과의 각도 중 적어도 하나인 골격 정보를 이용한 사용자 인증 방법.
  5. 제1항에 있어서,
    상기 특징점은 상기 복수의 관절 지점 중 어깨 지점과 팔꿈치 지점이 형성하는 제1 직선과 상기 팔꿈치 지점과 손목 지점이 형성하는 제2 직선 사이의 각도, 상기 제1 직선과 제1 평면이 형성하는 각도 및 상기 제1 직선과 제2 평면이 형성하는 각도 중 적어도 하나인 골격 정보를 이용한 사용자 인증 방법.
  6. 제1항에 있어서,
    상기 특징점은 상기 복수의 관절 지점 중 엉덩이 지점과 무릎 지점이 형성하는 제1 직선과 상기 무릎 지점과 발목 지점이 형성하는 제2 직선 사이의 각도, 상기 제1 직선과 제1 평면이 형성하는 각도 및 상기 제1 직선과 제2 평면이 형성하는 각도 중 적어도 하나인 골격 정보를 이용한 사용자 인증 방법.
  7. 제1항에 있어서,
    상기 컴퓨터 장치가 상기 사용자의 훈련 동작을 포함하는 훈련 영상에서 상기 기준 특징점을 추출하고, 상기 기준 특징점을 기준으로 신경망 학습을 수행하여 신경망 네트워크를 마련하는 단계를 더 포함하고,
    상기 컴퓨터 장치는 상기 특징점을 상기 신경망 네트워크에 적용하여 상기 2차 인증을 수행하는 골격 정보를 이용한 사용자 인증 방법.
KR1020150089571A 2015-06-24 2015-06-24 골격 정보를 이용한 사용자 인증 방법 KR101639161B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150089571A KR101639161B1 (ko) 2015-06-24 2015-06-24 골격 정보를 이용한 사용자 인증 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150089571A KR101639161B1 (ko) 2015-06-24 2015-06-24 골격 정보를 이용한 사용자 인증 방법

Publications (1)

Publication Number Publication Date
KR101639161B1 true KR101639161B1 (ko) 2016-07-12

Family

ID=56505415

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150089571A KR101639161B1 (ko) 2015-06-24 2015-06-24 골격 정보를 이용한 사용자 인증 방법

Country Status (1)

Country Link
KR (1) KR101639161B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107729797A (zh) * 2016-08-10 2018-02-23 塔塔咨询服务有限公司 基于传感器数据分析识别身体关节位置的系统和方法
KR101965972B1 (ko) * 2017-10-12 2019-04-04 동국대학교 산학협력단 나선 신경망을 이용한 신체 움직임 기반 개인 식별 시스템 및 방법
US20190190909A1 (en) * 2017-03-21 2019-06-20 YouaretheID, LLC Biometric authentication of individuals utilizing characteristics of bone and blood vessel structures
KR20190114136A (ko) * 2018-03-29 2019-10-10 한양대학교 산학협력단 사용자 인증을 위한 스마트 깔창 및 스마트 신발, 족압을 이용하는 사용자 인증 장치
CN111461020A (zh) * 2020-04-01 2020-07-28 浙江大华技术股份有限公司 不安全使用手机行为的识别方法、设备及相关存储介质
US10880303B2 (en) 2017-03-21 2020-12-29 Global E-Dentity, Inc. Real-time COVID-19 outbreak identification with non-invasive, internal imaging for dual biometric authentication and biometric health monitoring
CN113221815A (zh) * 2021-05-25 2021-08-06 北京无垠创新科技有限责任公司 一种基于骨骼关键点自动检测技术的步态鉴定方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040151346A1 (en) 2001-02-12 2004-08-05 Golan Weiss System and a method for person's identity authentication
US20100045428A1 (en) 2000-09-06 2010-02-25 Hitachi, Ltd. Personal identification device and method
KR20130057282A (ko) * 2011-11-23 2013-05-31 삼성전자주식회사 컴퓨터 기반 진단 방법 및 그에 따른 컴퓨터 기반 진단 장치
KR20130088507A (ko) * 2012-01-31 2013-08-08 한국전자통신연구원 인체의 관절구조를 추정하기 위한 장치 및 방법
KR101399418B1 (ko) * 2013-06-03 2014-05-27 고려대학교 산학협력단 영상 처리 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100045428A1 (en) 2000-09-06 2010-02-25 Hitachi, Ltd. Personal identification device and method
US20040151346A1 (en) 2001-02-12 2004-08-05 Golan Weiss System and a method for person's identity authentication
KR20130057282A (ko) * 2011-11-23 2013-05-31 삼성전자주식회사 컴퓨터 기반 진단 방법 및 그에 따른 컴퓨터 기반 진단 장치
KR20130088507A (ko) * 2012-01-31 2013-08-08 한국전자통신연구원 인체의 관절구조를 추정하기 위한 장치 및 방법
KR101399418B1 (ko) * 2013-06-03 2014-05-27 고려대학교 산학협력단 영상 처리 장치 및 방법

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107729797A (zh) * 2016-08-10 2018-02-23 塔塔咨询服务有限公司 基于传感器数据分析识别身体关节位置的系统和方法
CN107729797B (zh) * 2016-08-10 2021-04-09 塔塔咨询服务有限公司 基于传感器数据分析识别身体关节位置的系统和方法
US10880303B2 (en) 2017-03-21 2020-12-29 Global E-Dentity, Inc. Real-time COVID-19 outbreak identification with non-invasive, internal imaging for dual biometric authentication and biometric health monitoring
US20190190909A1 (en) * 2017-03-21 2019-06-20 YouaretheID, LLC Biometric authentication of individuals utilizing characteristics of bone and blood vessel structures
US10547611B2 (en) * 2017-03-21 2020-01-28 YouaretheID, LLC Biometric authentication of individuals utilizing characteristics of bone and blood vessel structures
US20200153823A1 (en) * 2017-03-21 2020-05-14 YouaretheID, LLC Biometric authentication of individuals utilizing characteristics of bone and blood vessel structures
US10721228B2 (en) * 2017-03-21 2020-07-21 Global E-Dentity Inc. Biometric authentication of individuals utilizing characteristics of bone and blood vessel structures
KR101965972B1 (ko) * 2017-10-12 2019-04-04 동국대학교 산학협력단 나선 신경망을 이용한 신체 움직임 기반 개인 식별 시스템 및 방법
KR20190114136A (ko) * 2018-03-29 2019-10-10 한양대학교 산학협력단 사용자 인증을 위한 스마트 깔창 및 스마트 신발, 족압을 이용하는 사용자 인증 장치
KR102115079B1 (ko) * 2018-03-29 2020-05-25 한양대학교 산학협력단 사용자 인증을 위한 스마트 깔창 및 스마트 신발, 족압을 이용하는 사용자 인증 장치
CN111461020A (zh) * 2020-04-01 2020-07-28 浙江大华技术股份有限公司 不安全使用手机行为的识别方法、设备及相关存储介质
CN111461020B (zh) * 2020-04-01 2024-01-19 浙江大华技术股份有限公司 不安全使用手机行为的识别方法、设备及相关存储介质
CN113221815A (zh) * 2021-05-25 2021-08-06 北京无垠创新科技有限责任公司 一种基于骨骼关键点自动检测技术的步态鉴定方法

Similar Documents

Publication Publication Date Title
KR101639161B1 (ko) 골격 정보를 이용한 사용자 인증 방법
KR101711736B1 (ko) 영상에서 동작 인식을 위한 특징점 추출 방법 및 골격 정보를 이용한 사용자 동작 인식 방법
US7876931B2 (en) Face recognition system and method
EP1870038B1 (en) Motion capture apparatus and method, and motion capture program
US11887234B2 (en) Avatar display device, avatar generating device, and program
JP7015152B2 (ja) キーポイントデータに関する加工装置、方法及びプログラム
CN106548519A (zh) 基于orb‑slam和深度相机的真实感的增强现实方法
CN109919141A (zh) 一种基于骨架姿态的行人再识别方法
CN112083800B (zh) 基于自适应手指关节规则滤波的手势识别方法及系统
CN111191599A (zh) 姿态识别方法、装置、设备及存储介质
US20120163661A1 (en) Apparatus and method for recognizing multi-user interactions
CN106997618A (zh) 一种虚拟现实与真实场景融合的方法
KR101759188B1 (ko) 2d 얼굴 이미지로부터 3d 모델을 자동 생성하는 방법
CN102567703A (zh) 一种基于分类特征的手部动作识别信息处理方法
EP3506149A1 (en) Method, system and computer program product for eye gaze direction estimation
JP2008065368A (ja) ステレオ画像を利用した物体の位置および姿勢認識システム、物体の位置および姿勢認識方法、およびこの方法を実行するプログラム
Carraro et al. Real-time marker-less multi-person 3d pose estimation in rgb-depth camera networks
CN114092636A (zh) 一种采用神经网络的虚拟人物建模参数估计方法
CN111881807A (zh) 基于人脸建模及表情追踪的vr会议控制系统及方法
US20210012513A1 (en) Method and software system for modeling, tracking and identifying animate beings at rest and in motion and compensating for surface and subdermal changes
KR20230004259A (ko) 얼굴 인증 시스템
KR20220120731A (ko) 거울형 디스플레이를 활용한 어포던스 헬스케어 콘텐츠 제공방법 및 장치
KR20210076559A (ko) 인체 모델의 학습 데이터를 생성하는 장치, 방법 및 컴퓨터 프로그램
Al-Hami et al. Camera localization for a human-pose in 3D space using a single 2D human-pose image with landmarks: a multimedia social network emerging demand
CN116385663B (zh) 动作数据生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190701

Year of fee payment: 4