KR102612430B1 - 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 시스템 - Google Patents

전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 시스템 Download PDF

Info

Publication number
KR102612430B1
KR102612430B1 KR1020200155703A KR20200155703A KR102612430B1 KR 102612430 B1 KR102612430 B1 KR 102612430B1 KR 1020200155703 A KR1020200155703 A KR 1020200155703A KR 20200155703 A KR20200155703 A KR 20200155703A KR 102612430 B1 KR102612430 B1 KR 102612430B1
Authority
KR
South Korea
Prior art keywords
hand
hand motion
user
data
deep learning
Prior art date
Application number
KR1020200155703A
Other languages
English (en)
Other versions
KR20220029279A (ko
Inventor
최영재
권승준
서상우
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US17/327,277 priority Critical patent/US11481039B2/en
Publication of KR20220029279A publication Critical patent/KR20220029279A/ko
Application granted granted Critical
Publication of KR102612430B1 publication Critical patent/KR102612430B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 시스템에 관한 것이다.
본 발명에 따른 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 시스템은 사용자에게 손 동작 기반의 가상 현실 콘텐츠를 디스플레이하는 HMD와, 사용자의 손 데이터를 취득하는 손 동작 센싱부 및 손 데이터를 수신하여 손 동작 데이터로 변환하고, 딥러닝 기반으로 손 동작 인식기를 관리하며, 콘텐츠 실행 관리를 수행하는 컨트롤러 디바이스를 포함한다.

Description

전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 시스템{SYSTEM FOR DEEP LEARNING-BASED USER HAND GESTURE RECOGNITION USING TRANSFER LEARNING AND PROVIDING VIRTUAL REALITY CONTENTS}
본 발명은 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 시스템에 관한 것이다.
종래 기술에 따른 가상현실 콘텐츠 제공 시스템은 실제 환경에서 사용자가 하는 행위와 가상 환경에서 사용자가 하는 행위의 차이에 의해, 사용자의 콘텐츠 몰입도를 저해하는 문제점이 있다.
또한, 전술한 실제 환경과 가상 환경에서의 사용자 행위를 일치시키기 위한 시도는 사용자 손 데이터 취득과 딥 러닝 기반의 사용자 손 동작 인식기의 학습 과정에 있어서 많은 시간과 비용이 발생되는 문제점이 있다.
삭제
KR 10-2017-0081727 A KR 10-2018-0099283 A
KHALIL BOUSBAI 외 1인. "A Comparative Study of Hand Gestures Recognition Based on MobileNetV2 and ConvNet Models" 2019 6th ISPA. IEEE. 2019년11월 25일.
본 발명은 전술한 문제점을 해결하기 위해 제안된 것으로, 사용자 손 동작 기반의 가상현실 서비스 제공을 위해, 전이학습을 이용하여 딥러닝 기반 사용자 손 동작 인식기를 생성 및 관리하고, 딥러닝 기반 사용자 손 동작 인식기를 가상현실 콘텐츠에 적용하는 것이 가능한 가상 현실 콘텐츠 제공 시스템을 제공하는데 그 목적이 있다.
본 발명에 따른 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 시스템은 사용자에게 손 동작 기반의 가상 현실 콘텐츠를 디스플레이하는 HMD와, 사용자의 손 데이터를 취득하는 손 동작 센싱부 및 손 데이터를 수신하여 손 동작 데이터로 변환하고, 딥러닝 기반으로 손 동작 인식기를 관리하며, 콘텐츠 실행 관리를 수행하는 컨트롤러 디바이스를 포함한다.
손 동작 센싱부는 HMD의 전면에 배치되는 카메라, 사용자가 착용한 데이터 글러브, 사용자가 착용한 골무, 별도 배치되는 카메라 중 적어도 어느 하나를 이용하여 획득된 손 데이터를 컨트롤러 디바이스로 전송한다.
컨트롤러 디바이스는 손 동작 센싱부와 손 데이터 및 촉감 데이터를 송수신한다.
컨트롤러 디바이스는 상이한 손 데이터에 대해 누적 및 보간을 이용하여 손 동작 데이터로 변환한다.
컨트롤러 디바이스는 손 동작 데이터를 이용하여 손 동작 인식 결과를 도출하는 손 동작 인식기의 유무에 따라 인식 결과를 출력한다.
컨트롤러 디바이스는 손 동작 데이터에 대해 손 동작 인식기 없음 결과가 출력되면, 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식기 생성 콘텐츠를 실행시킨다.
컨트롤러 디바이스는 손 동작 데이터와 기존 손 동작 데이터셋들과의 유사도를 비교하여, 전이학습에 활용될 후보 데이터셋을 선택하고, 후보 데이터셋의 유사도 비교 분석 결과값을 이용하여 신규 손 동작 데이터셋을 구축하여 딥러닝 기반 손 동작 인식기 학습을 수행하거나, 후보 사용자 손 동작 인식기를 선정하여 전이학습에 사용할 부분 사용자 손 동작 데이터셋을 구축한다.
컨트롤러 디바이스는 손 동작 데이터에 대한 손 동작 인식 결과를 출력하는 경우, 손 동작 인식 기반 사용자 콘텐츠를 실행시킨다.
컨트롤러 디바이스는 손 동작 데이터의 마지막 사용자 손 데이터를 콘텐츠 내 손 표현을 위해 사용한다.
본 발명에 따른 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 방법은 (a) 손 데이터를 수신하여 손 동작 데이터로 변환하는 단계와, (b) 손 동작 데이터를 이용하여 적합한 손 동작 분류기가 존재하는지 확인하는 단계 및 (c) (b) 단계에서 적합한 손 동작 분류기가 존재하지 않는 것으로 확인되면 전이학습을 이용한 딥러닝 기반 손 동작 인식기 생성 콘텐츠를 실행시키고, (b) 단계에서 적합한 손 동작 분류기가 존재하는 것으로 확인되면 손 동작 인식 기반 사용자 콘텐츠를 실행시키는 단계를 포함한다.
본 발명에 따른 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 장치는 손 데이터를 수신하는 입력부와, 손 데이터를 이용하여 가상현실 콘텐츠를 제공하는 프로그램이 저장된 메모리 및 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 손 데이터를 수신하여 손 동작 데이터로 변환하고, 딥러닝 기반으로 손 동작 인식기를 관리하며, 콘텐츠 실행 관리를 수행한다.
손 데이터는 HMD의 전면에 배치되는 카메라, 사용자가 착용한 데이터 글러브, 사용자가 착용한 골무, 별도 배치되는 카메라 중 적어도 어느 하나를 이용하여 획득된다.
프로세서는 상이한 종류의 손 데이터에 대해 누적 및 보간을 이용하여 손 동작 데이터로 변환한다.
프로세서는 손 동작 데이터를 이용하여 손 동작 인식 결과를 도출하는 손 동작 인식기의 유무에 따라 인식 결과를 출력한다.
프로세서는 손 동작 데이터에 대해 손 동작 인식기 없음 결과가 출력되면, 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식기 생성 콘텐츠를 실행시킨다.
프로세서는 손 동작 데이터와 기존 손 동작 데이터셋들과의 유사도를 비교하여, 전이학습에 활용될 후보 데이터셋을 선택하고, 후보 데이터셋의 유사도 비교 분석 결과값을 이용하여 신규 손 동작 데이터셋을 구축하여 딥러닝 기반 손 동작 인식기 학습을 수행하거나, 후보 사용자 손 동작 인식기를 선정하여 전이학습에 사용할 부분 사용자 손 동작 데이터셋을 구축한다.
프로세서는 손 동작 데이터에 대한 손 동작 인식 결과를 출력하는 경우, 손 동작 인식 기반 사용자 콘텐츠를 실행시킨다.
본 발명에 따르면, 사용자 손 동작 기반 가상현실 서비스를 구성함에 있어서, 전이학습(transfer learning)을 이용하여 딥러닝 기반 손 동작 인식기들을 생성/관리함으로써, 다양한 형태의 사용자 손 데이터 취득 장치와 호환되는 사용자 손 동작 기반 가상현실 서비스 제공이 가능한 효과가 있다.
신규 사용자 손 데이터 취득 장치에 대해 전이학습으로 딥러닝 기반 신규 사용자 손 동작 인식기(new recognizer)를 생성할 때, 추가적으로 필요한 신규 손 동작 데이터셋(new dataset)의 크기를 딥러닝 기반 기존 사용자 손 동작 인식기와의 유사도 분석 결과에 따라 부분 손 동작 데이터셋(partial dataset)으로 최적화하므로, 학습 데이터 구축을 위한 비용 및 인식기 학습 및 생성에 소요되는 시간을 최소화하는 효과가 있다.
본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1 및 도 2는 본 발명의 실시예에 따른 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 시스템을 도시한다.
도 3 및 도 4는 본 발명의 실시예에 따른 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 방법을 도시한다.
도 5는 본 발명의 실시예에 따른 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 장치를 도시한다.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.
한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.
이하에서는, 당업자의 이해를 돕기 위하여 본 발명이 제안된 배경에 대하여 먼저 서술하고, 본 발명의 실시예에 대하여 서술하기로 한다.
Oculus와 HTC 같은 가상현실 기기 개발사들은 소비자가 수용 가능한 가격대의 HMD(head-mounted display)와 손에 쥐는 컨트롤러(holdable controller) 기반 가상현실 기기를 개발했고, Beat Saber 게임을 만든 Beat Games와 같은 가상현실 콘텐츠 개발사들은 이를 이용한 가상현실 콘텐츠들을 개발한 결과, 최근 여러 분야에 가상현실 시스템이 사용되고 있다.
사용자가 HMD와 손에 쥐는 컨트롤러 기반의 가상현실 콘텐츠를 체험하는 동안, 사용자-콘텐츠 간/사용자-가상객체 간의 상호작용은 손에 쥐는 컨트롤러를 통해서 이뤄진다.
예를 들어, 가상현실 콘텐츠가 보여주는 사용자 메뉴를 선택하는 행위는 사용자가 손에 쥐는 컨트롤러를 움직여서 손에 쥐는 컨트롤러에 대응되는(즉, 매핑되는) 가상현실 콘텐츠 내 가상의 손이 가상현실 콘텐츠 내 선택하고자 하는 메뉴와 겹치게 하고 사용자가 손에 쥐는 컨트롤러에 있는 실제 물리적 버튼을 누르면 가상현실 콘텐츠 내 가상의 손이 가상현실 콘텐츠 내 메뉴를 눌러서 선택이라는 행위가 달성된다.
또 다른 예로, 가상현실 콘텐츠 내부의 가상객체를 쥐는 행위는 사용자가 손에 쥐는 컨트롤러를 움직여서 손에 쥐는 컨트롤러에 대응되는(즉, 매핑되는) 가상현실 콘텐츠 내 가상의 손이 가상현실 콘텐츠 내 가상객체와 겹치게 하고 사용자가 손에 쥐는 컨트롤러에 있는 실제 물리적 버튼을 누르고 있으면 가상현실 콘텐츠 내 가상의 손이 가상객체를 쥐고 있는 행위가 달성된다.
그런데, 손에 쥐는 컨트롤러 기반의 사용자-콘텐츠 간/사용자-가상객체 간의 상호작용은 사용자의 가상현실 콘텐츠에 대한 몰입도를 떨어뜨리는 문제점이 있다.
왜냐하면, 가상현실 콘텐츠가 보여주는 사용자 메뉴를 선택하는 행위는 사용자가 실제 자신의 손을 움직여서 사용자의 실제 손에 대응되는 가상현실 콘텐츠 내 가상의 손이 가상현실 콘텐츠 내 선택하고자 하는 메뉴와 겹치게 하고 사용자가 실제 손을 앞으로 밀었을 때 가상현실 콘텐츠 내 가상의 손이 가상현실 콘텐츠 내 메뉴를 눌러서 선택이라는 행위가 달성되는 것이 사용자에게는 더 자연스럽게 느껴지고, 더 몰입감이 생기기 때문이다.
즉, 실제 환경(real world)에서 사용자가 하는 행위와 가상 환경(virtual world)에서 사용자가 하는 행위에서 발생하는 차이는 사용자의 콘텐츠 몰입도를 저해하는 문제점이 있다.
이러한 문제점을 해결하기 위해, 가상현실 기기 개발사들은 HMD의 전면에 여러 개의 카메라를 포함(embedding)시키고, 이를 통해 취득한 영상들을 기반으로 사용자의 실제 손 모양을 추적하려는 노력을 취하고 있다.
구체적으로는 영상 분석으로 손을 검출하고, 검출된 손을 손 관절(joint)들의 집합(set)으로 추상화해서, 각 관절들의 3차원 위치/회전 값을 가상현실 콘텐츠에 넘겨준다.
그렇게 사용자 손 관절들의 3차원 위치/회전 값들이 제공되면, 가상현실 콘텐츠 개발사들은 그 값들을 가상현실 콘텐츠 내에 가상의 손으로 변환 및 표현(rendering)한다.
이를 통해 사용자는 가상현실 콘텐츠에서 자신의 현재 손 모양과 일치하는 가상의 손을 볼 수 있게 되며, 그 결과 손에 쥐는 컨트롤러 기반의 상호작용보다 더 높은 몰입감을 가지게 된다.
HMD 전면의 카메라를 통해 취득한 손 관절들의 3차원 위치/회전 값들은 가상현실 콘텐츠 내에서 가상의 손으로 표현(rendering)될 수 있으나, 여전히 가상의 손이 무슨 손 동작(hand gesture)를 취하고 있는지는 인식(recognition)되지 않는다(예: 미는 행위, 당기는 행위, 옆으로 미끄러지는 행위 등).
이를 인식하기 위해서는 정확도 높은 인식기가 필요한데, 최근에는 딥러닝 기반의 사용자 손 동작 인식 방법이 많이 사용된다.
즉, HMD 전면 카메라를 통해 취득된 손 관절들의 3차원 위치/회전 값들이 입력으로 주어지면, 사용자 손 동작을 결과값으로 주는 딥러닝 기반의 사용자 손 동작 인식기의 개발이 요구된다.
하지만, HMD 전면 카메라 기반 손 데이터 취득 방법은 사용자의 손이 카메라의 시야(field of view)에서 벗어났을 때는 손을 찾지 못해 손 데이터를 취득하지 못한다.
그래서, 사용자 손 데이터 취득을 위해 사용자에게 데이터 글러브(data glove) 또는 골무(thimble)를 착용하도록 하거나 사용자 주변에 별도로 RGB/RGBD/IR(Infrared) 카메라 또는 초음파(Ultrasonic) 센서를 설치해서 사용자 손 데이터 취득하는 방법도 많이 사용된다.
이렇게 사용자 손 데이터를 취득하는 방법도 다양하게 존재하는데, 각 방법마다 사용자 손 데이터의 형태가 다르므로 딥러닝 기반의 사용자 손 동작 인식기가 따로 만들어져야 하며, 이를 위한 사용자 손 데이터도 각 사용자 손 데이터 취득 방법에 대해서 충분히 많이 취득 되어야 한다.
그런데, 이러한 사용자 손 데이터 취득과 딥러닝 기반의 사용자 손 동작 인식기 학습 및 생성 과정들은 많은 시간과 큰 경제적 비용을 초래하는 문제점이 있다.
본 발명은 전술한 문제점을 해결하기 위해 제안된 것으로, 특정 손 데이터 취득 방법(예: HMD 전면 카메라 기반 손 데이터 취득 방법)을 기준으로 개발된 기존 딥러닝 기반 사용자 손 동작 인식기(existing recognizer)를 전이학습(transfer learning)을 이용하여 적은 양의 데이터셋 구축 만으로도 다른 손 데이터 취득 방법(예: 데이터 글러브 기반 손 데이터 취득 방법)에 적용 가능한 신규 딥러닝 기반 사용자 손 동작 인식기(new recognizer)를 개발하고, 이를 적용하여 가상 현실 콘텐츠를 제공하는 시스템을 제공하는데 그 목적이 있다.
본 발명에 따르면, 전이학습을 이용하여 생성된 딥러닝 기반 신규 사용자 손 동작 인식기를 생성, 관리, 적용함으로써, 사용자 손 동작 기반 가상현실 콘텐츠 제공 시스템을 제공하는 것이 가능하다.
도 1 및 도 2는 본 발명의 실시예에 따른 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 시스템을 도시한다.
전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 시스템은 사용자에게 손 동작 기반의 가상 현실 콘텐츠를 디스플레이하는 기기(100, HMD), 사용자의 손 데이터를 취득하는 다양한 형태의 손 동작 센싱부(200), 손 동작 데이터 송수신, 손 동작 데이터 변환, 딥러닝 기반의 사용자 손 동작 인식기 관리, 콘텐츠 실행 관리를 수행하는 컨트롤러 디바이스(300)를 포함한다.
HMD(100)는 컨트롤러 디바이스(300)로부터 전이학습을 이용한 딥러닝 기반의 사용자 손 동작 인식기 생성을 통한 콘텐츠 또는 사용자 손 동작 인식 기반 사용자 콘텐츠를 수신하여, 가상 현실 콘텐츠를 사용자의 눈 앞에 재생(rendering)시킨다.
손 동작 센싱부(200)는 콘텐츠 실행 환경, 사용자 편의성을 고려하여 결정되는 사용자 손 데이터 취득 장치로서, 다양한 형태를 포함한다.
예컨대, 손 동작 센싱부(200)는 HMD(100)의 전면에 배치되는 복수의 카메라를 기반으로 손 데이터를 취득하거나, 사용자가 착용한 데이터 글러브(data glove) 또는 골무(thimble)를 기반으로 손 데이터를 취득하거나, 별도의 RGB/RGBD/IR(Infrared) 카메라 또는 초음파(Ultrasonic) 센서를 통해 손 데이터를 취득하는 것이 가능하다.
컨트롤러 디바이스(300)는 손 동작 센싱부(200)와 통신을 수행하여 사용자 손 데이터, 촉감(haptic) 데이터를 송수신하고, 수신된 데이터를 손 동작 데이터(hand gesture data)로 변환하고, 딥러닝 기반 손 동작 인식기를 이용하여 사용자 손 동작 인식을 수행하고, 사용자 손 동작을 기반으로 가상현실 콘텐츠를 실행하고, 실행된 가상현실 콘텐츠를 HMD(100)로 전송한다.
HMD(100)에는 pass-through mode, 공간/물체 인식 또는 사용자 손을 이용한 상호작용 등을 위한 RGB 카메라들이 구조물 외형의 전면에 배치된다.
HMD(100)의 구조물 외형의 사용자 눈을 밀착시키는 부분 안쪽에는 평판디스플레이, 액정디스플레이 등과 같은 디스플레이 패널 장치를 통해 전체 디스플레이 영역이 스크린화되어 있다.
HMD(100)는 컨트롤러 디바이스(300)와 유/무선 통신으로 데이터와 콘텐츠를 주고 받으며, 컴퓨터를 내장한 올인원(all-in-one) 형태 또는 외부의 컴퓨터를 이용하는 테더드(tethered) 형태 모두 가능하여, 통신 형태 및 외장/내장에 관한 컴퓨터 장치 포함 방식에 제한을 두지 않는다.
컨트롤러 디바이스(300)의 콘텐츠 실행 관리부(330)가 '전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식기 생성 콘텐츠'를 실행할 때, HMD(100)의 디스플레이에는 사용자 손 동작 데이터셋 구축을 위한 가상현실 콘텐츠가 사용자의 눈 앞에 재생(rendering)된다.
컨트롤러 디바이스(300)의 콘텐츠 실행 관리부(330)가 '사용자 손 동작 인식 기반 사용자 콘텐츠'를 실행할 때, HMD(100)의 디스플레이에는 사용자 손 동작 인식 기반의 가상현실 콘텐츠가 사용자의 눈 앞에 재생(rendering)된다.
즉, 사용자는 HMD(100)의 디스플레이에 재생되는 콘텐츠를 통해서 사용자 손 동작 기반 가상현실 서비스가 실행되는 동안 발생되는 정보와 콘텐츠를 전달받는다.
손 동작 센싱부(200)로는 전술한 바와 같이, 비 접촉식 장치 및 접촉식 장치 모두 적용 가능하다.
비 접촉식 장치로는 사용자가 착용한 HMD(100) 의 전면에 포함된 RGB 카메라, 외부에 별도로 설치된 RGB/RGBD/IR(Infrared) 카메라 또는 초음파(Ultrasonic) 센서를 예로 들 수 있다.
비 접촉식의 손 동작 센싱부(200)는 카메라가 취득한 영상 데이터 또는 초음파 센서가 취득한 음파 데이터를 분석하여, 사용자 손 관절들의 3차원 위치/회전 값들을 계산한다.
접촉식 장치로는 사용자의 손에 착용하는 데이터 글러브(data glove) 또는 골무(thimble)를 예로 들 수 있으며, 접촉식의 손 동작 센싱부(200)는 데이터 글러브에 포함된 유연 센서(Flexible sensor), 관성 센서(Inertia measurement unit, IMU) 등을 통해서 사용자 손 관절들의 3차원 위치/회전 값들을 계산한다.
손 동작 센싱부(200)는 컨트롤러 디바이스(300)와 유/무선 통신으로 손 데이터를 송수신하며, 콘텐츠 특성 및 손 동작 센싱부(200)의 기능에 따라서 사용자에게 촉감(haptic) 데이터를 전달하는 것이 가능하다.
콘텐츠 실행 관리부(300)는 손 동작 센싱부(200)와 데이터를 주고 받는 손 데이터 송수신부(310), 전달 받은 사용자 손 데이터를 손 동작 데이터로 변환하는 손 동작 데이터 변환부(320), 다양한 형태의 사용자 손 동작 데이터에 대해 학습된 손 동작 인식기를 관리하는 손 동작 인식기 관리부(340), 손 동작 데이터에 해당되는 손 동작 인식기 존재 유무에 따라 실행되는 콘텐츠를 결정하여 HMD(100)와 공유하는 콘텐츠 실행 관리부(330)를 포함한다.
본 발명의 실시예에 따르면, 손 동작 센싱부(200)는 사용자의 손 데이터의 입력 장치 역할을 하고, HMD(100)는 사용자의 시각에 결과를 전달하는 출력 장치 역할을 하며, 컨트롤러 디바이스(300)는 손 데이터 처리, 콘텐츠 실행, 입/출력 장치 관리를 수행하는 중앙처리장치 및 제어 장치 역할을 수행한다.
손 데이터 송수신부(310)는 손 동작 센싱부(200)가 전송하는 손 데이터(손 관절들의 3차원 위치, 회전값 등)를 수신하고, 콘텐츠 실행 관리부로부터 수신된 촉감(haptic) 데이터를 손 동작 센싱부(200)로 전달한다.
손 데이터 송수신부(310)는 손 동작 센싱부(200)와 컨트롤러 디바이스(300) 간의 데이터 송수신을 위한 연결 상태 관리를 수행하며, 데이터 송수신은 유선통신, 무선통신(예: Wi-Fi, Bluetooth, RF 등) 형태에 제한을 두지 않는다.
손 데이터는 어느 한 순간의 손 모양을 나타내지만, 손 동작은 여러 순간의 손 모양과 궤적이 누적된 시공간(spatio-temporal) 데이터이다.
손 동작 데이터 변환부(320)는 일정 시간 동안 수신된 사용자 손 데이터(hand data)를 누적하여 손 동작 데이터(hand gesture data)로 변환한다.
손 동작 인식기는 고정된 길이의 입력이 필요한데, 손 동작은 종류에 따라서 동작의 길이가 다르다(예: 밀기 손 동작은 짧은 순간 이뤄지고, 흔들기 손 동작은 비교적 긴 시간 동안 이뤄짐).
따라서, 손 동작 데이터 변환부(320)는 보간(interpolation)을 통해 서로 다른 사용자 손 동작이 같은 길이(fixed length)가 되도록 변환한다.
즉, 손 동작 데이터 변환부(320)는 누적(accumulation) 및 보간(interpolation)을 이용하여 손 데이터(hand data)를 손 동작 데이터(hand gesture data)로 변환한다.
손 동작 인식기 관리부(340)는 복수의 손 동작 인식기들을 관리한다.
손 동작 인식기 관리부(340)는 손 동작 데이터 변환부(320)로부터 손 동작 데이터를 수신하여 손 동작 인식 결과를 도출하는 손 동작 인식기의 유무에 따라, 손 동작 인식 결과(예: 밀기, 흔들기 등) 또는 손 동작 인식기 없음 결과를 콘텐츠 실행 관리부(330)로 전달한다.
본 발명의 실시예에 따른 가상현실 콘텐츠 제공 시스템이 최초 구축되는 시점에서, 손 동작 인식기 관리부(340)에는 손 동작 인식기가 존재하지 않는다.
손 동작 데이터 변환부(320)로부터 손 동작 데이터를 수신하면, 사용자 손 동작 인식기 없음 결과가 콘텐츠 실행 관리부(330)로 전달되고, 콘텐츠 실행 관리부(330)는 '전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식기 생성 콘텐츠'를 실행한 결과로, 손 동작 인식기를 1개 생성하여 손 동작 인식기 관리부(340)로 전달한다.
즉, 손 동작 인식기 관리부(340)와 콘텐츠 실행 관리부(330)의 각자 역할 수행 및 협력을 통해 손 동작 인식기가 생성되며, 생성된 손 동작 인식기는 손 동작 인식기 관리부(340)에 의해 관리된다.
콘텐츠 실행 관리부(330)는 손 동작 인식기 관리부(340)로부터 사용자 손동작 인식 결과를 수신하는 경우 '손 동작 인식 기반 사용자 콘텐츠'를 실행하고, 사용자 손동작 인식기 없음 결과를 수신하는 경우 '전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식기 생성 콘텐츠'를 실행한다.
가상현실 콘텐츠는 사용자와의 상호 작용을 위해, 현재 사용자의 사용자 손 모양(shape, pose)이 콘텐츠에 표현(rendering)되어야 하는데, 손 동작 데이터 변환부(320)로부터 수신한 손 동작 데이터(hand gesture data)의 마지막(latest) 사용자 손 데이터(hand data)가 콘텐츠 내의 손 표현(rendering)을 위해 사용된다.
가상현실 콘텐츠는 콘텐츠 실행 관리부(330)를 통해 HMD(100)와 공유되고, 사용자는 HMD(100)의 디스플레이에 재생되는 가상현실 콘텐츠를 통해 손 동작 기반의 가상현실 서비스가 실행되는 동안 발생되는 정보와 콘텐츠를 전달받게 된다.
도 3 및 도 4는 본 발명의 실시예에 따른 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 방법을 도시한다.
손 동작 데이터가 수신되면(S301), 손 동작 데이터로부터 손 동작 인식 결과 도출이 가능한 손 동작 인식기의 유무를 확인한다(S302).
S302 단계에서의 확인 결과, 손 동작 데이터 처리가 가능한 손 동작 인식기가 존재하는 경우, 손 동작 인식 작업이 진행되어 밀기, 흔들기 등 손 동작 인식 결과를 생성하고(S303), 이를 콘텐츠 실행 관리부로 전송하여(S305), 사용자 손 동작 인식 기반 사용자 콘텐츠에 사용되도록 한다.
S302 단계에서의 확인 결과, 손 동작 데이터 처리가 가능한 손 동작 인식기가 존재하지 않는 경우, 사용자 손 동작 인식기 없음을 중간 결과물로 생성하고(S304), 이를 콘텐츠 실행 관리부에 전송하여(S305), 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식기 생성 콘텐츠를 실행하도록 한다.
S306 단계는 손 동작 인식 결과가 손 동작 인식기 없음 결과인지 확인하여, 실행 컨텐츠를 판별한다.
S306 단계에서의 실행 컨텐츠 판별 결과, 손 동작 인식 결과가 나오는 경우, 손 동작 데이터의 마지막 손 데이터를 콘텐츠 내의 손 표현으로 결합하여, 손 동작 인식 기반 사용자 콘텐츠를 실행한다(S308).
S306 단계에서의 판별 결과, 손 동작 인식기 없음 결과가 나오면, 손 동작 데이터의 마지막 손 데이터를 콘텐츠 내의 손 표현으로 결합하여, '전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식기 생성 콘텐츠'를 실행한다(S307).
도 4를 참조하면, '전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식기 생성 콘텐츠'가 실행되어 손 동작 데이터가 수신되면(S401), 수신된 손 동작 데이터와 기존 사용자 손 동작 데이터셋들과의 유사도를 비교한다(S402).
이 때, S402 단계에서의 유사도 비교 과정은 수신된 손 동작 데이터 형태(data format)와 기존의 손 동작 데이터셋에 있는 손 동작 데이터 형태(data format)가 얼마나 유사한지 비교하며, 비교 결과에 대한 값은 0.0~1.0의 값으로 나온다.
즉, 유사도 비교 분석 결과값이 가장 높은 기존 사용자 손 동작 데이터셋 1개는 전이학습에 활용될 후보 데이터셋(candidate dataset)으로 선택된다.
선택된 후보 데이터셋(candidate dataset)의 유사도 비교 분석 결과값이 임계값(threshold value)보다 작은 경우, S402 단계는 유사한 손 동작 데이터셋이 존재하지 않는 것으로 확인하고, S406 단계는 딥러닝 손 동작 인식기 학습을 위한 신규 손 동작 데이터셋(new dataset)을 구축한다.
S406 단계에서 사용자에게 입력 받아야 하는 손 동작의 시도 횟수는, 딥러닝 기반 사용자 손 동작 인식기 학습을 위해 필요한 최소 손 동작 데이터셋 크기(N)보다 크거나 같아야 한다.
S406 단계에서 신규 손 동작 데이터셋 구축이 완료되면, S407 단계는 신규 손 동작 데이터셋(new dataset)으로 신규 딥러닝 기반 사용자 손 동작 인식기(new recognizer)를 학습 및 생성한다.
S402 단계에서, 선택된 후보 데이터셋(candidate dataset)의 유사도 비교 분석 결과값이 임계값(threshold value)보다 크다면, S403 단계는 기존 사용자 손 동작 인식기들 중에서 유사도가 높은 후보 사용자 손 동작 인식기(candidate recognizer)를 선정한다.
후보 사용자 손 동작 인식기(candidate recognizer)는 기존 사용자 손 인식기들 중에서 S402 단계에서 선정된 후보 데이터셋(candidate dataset)으로 학습된 사용자 손 인식기로 선정하면 된다.
후보 사용자 손 동작 인식기(candidate recognizer)가 선정되면, S404 단계는 전이학습(transfer learning)에 사용할 부분 사용자 손 동작 데이터셋(partial dataset)을 구축한다.
후보 사용자 손 동작 인식기(candidate recognizer)의 입력 데이터(input data)는 수신한 사용자 손 동작 데이터와 유사도가 있으므로, 전이학습(transfer learning)을 적용하면 적은 양의 데이터셋 만으로도 수신한 사용자 손 동작 데이터를 위한 신규 사용자 손 동작 인식기(new recognizer)를 만들 수 있다.
S402 단계에서 도출된 유사도 비교 분석 결과 값을 고려해서 부분 손 동작 데이터셋(partial dataset)을 구축하는 작업이 진행되며, 부분 사용자 손 동작 데이터셋(partial dataset) 구축 작업 단계에서 사용자에게 입력 받아야 하는 사용자 손 동작의 시도 횟수는, 딥러닝 기반 사용자 손 동작 인식기 학습을 위해 필요한 최소 손 동작 데이터셋 크기(N)에 (1 - 유사도 비교 분석 결과 값)을 곱한 값 이상이다.
즉, 부분 손 동작 데이터셋의 크기는 {N X (1 - 유사도 비교 분석 결과 값)} 보다 크거나 같아야 한다.
그 이유는, 전이학습(transfer learning)을 사용하는 경우에는 후보 사용자 손 동작 인식기(candidate recognizer)의 입력 데이터(input data)와 수신한 손 동작 데이터의 유사도가 높을 때, 전이학습(transfer learning)을 위해 필요한 학습 데이터셋(training dataset) 크기가 작기 때문이다.
이렇게 부분 사용자 손 동작 데이터셋(partial dataset) 구축 작업이 완료되면, S405 단계는 전이학습을 이용해서 신규 딥러닝 기반 사용자 손 동작 인식기(new recognizer)를 학습 및 생성한다.
도 5는 본 발명의 실시예에 따른 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 장치를 도시한다.
본 발명의 실시예에 따른 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 장치는 손 데이터를 수신하는 입력부(510)와, 손 데이터를 이용하여 가상현실 콘텐츠를 제공하는 프로그램이 저장된 메모리(520) 및 프로그램을 실행시키는 프로세서(530)를 포함하고, 프로세서(530)는 손 데이터를 수신하여 손 동작 데이터로 변환하고, 딥러닝 기반으로 손 동작 인식기를 관리하며, 콘텐츠 실행 관리를 수행한다.
손 데이터는 HMD의 전면에 배치되는 카메라, 사용자가 착용한 데이터 글러브, 사용자가 착용한 골무, 별도 배치되는 카메라 중 적어도 어느 하나를 이용하여 획득된다.
프로세서(530)는 상이한 종류의 손 데이터에 대해 누적 및 보간을 이용하여 손 동작 데이터로 변환한다.
프로세서(530)는 손 동작 데이터를 이용하여 손 동작 인식 결과를 도출하는 손 동작 인식기의 유무에 따라 인식 결과를 출력한다.
프로세서(530)는 손 동작 데이터에 대해 손 동작 인식기 없음 결과가 출력되면, 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식기 생성 콘텐츠를 실행시킨다.
프로세서(530)는 손 동작 데이터와 기존 손 동작 데이터셋들과의 유사도를 비교하여, 전이학습에 활용될 후보 데이터셋을 선택하고, 후보 데이터셋의 유사도 비교 분석 결과값을 이용하여 신규 손 동작 데이터셋을 구축하여 딥러닝 기반 손 동작 인식기 학습을 수행하거나, 후보 사용자 손 동작 인식기를 선정하여 전이학습에 사용할 부분 사용자 손 동작 데이터셋을 구축한다.
프로세서(530)는 손 동작 데이터에 대한 손 동작 인식 결과를 출력하는 경우, 손 동작 인식 기반 사용자 콘텐츠를 실행시킨다.
한편, 본 발명의 실시예에 따른 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.
컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다.
메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.
따라서, 본 발명의 실시예에 따른 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 방법을 수행할 수 있다.
한편, 상술한 본 발명에 따른 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

Claims (17)

  1. 사용자에게 손 동작 기반의 가상 현실 콘텐츠를 디스플레이하는 HMD;
    상기 사용자의 손 데이터를 취득하는 손 동작 센싱부; 및
    상기 손 데이터를 수신하여 손 동작 데이터로 변환하고, 딥러닝 기반으로 손 동작 인식기를 관리하며, 콘텐츠 실행 관리를 수행하는 컨트롤러 디바이스를 포함하고,
    상기 컨트롤러 디바이스는 상기 손 동작 데이터를 이용하여 적합한 손 동작 분류기가 존재하는지 확인하고, 적합한 손 동작 분류기가 존재하지 않는 것으로 확인되면 전이학습을 이용한 딥러닝 기반 손 동작 인식기 생성 콘텐츠를 실행시키고, 적합한 손 동작 분류기가 존재하는 것으로 확인되면 손 동작 인식 기반 사용자 콘텐츠를 실행시키고,
    상기 컨트롤러 디바이스는 상기 손 동작 데이터와 기존 손 동작 데이터셋들과의 유사도를 비교하여, 전이학습에 활용될 후보 데이터셋을 선택하고, 상기 후보 데이터셋의 유사도 비교 분석 결과값을 이용하여 신규 손 동작 데이터셋을 구축하여 딥러닝 기반 손 동작 인식기 학습을 수행하거나, 후보 사용자 손 동작 인식기를 선정하여 전이학습에 사용할 부분 사용자 손 동작 데이터셋을 구축하되, 상기 부분 사용자 손 동작 데이터셋을 구축하는 경우, 사용자의 손 동작의 시도 횟수는 딥러닝 기반 사용자 손 동작 인식기 학습을 위해 필요한 최소 손 동작 데이터셋 크기에 (1-유사도 비교 분석 결과값)을 곱한 값 이상인 것
    을 특징으로 하는 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 시스템.
  2. 제1항에 있어서,
    상기 손 동작 센싱부는 상기 HMD의 전면에 배치되는 카메라, 상기 사용자가 착용한 데이터 글러브, 상기 사용자가 착용한 골무, 별도 배치되는 카메라 중 적어도 어느 하나를 이용하여 획득된 상기 손 데이터를 상기 컨트롤러 디바이스로 전송하는 것
    인 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 시스템.
  3. 제1항에 있어서,
    상기 컨트롤러 디바이스는 상기 손 동작 센싱부와 상기 손 데이터 및 촉감 데이터를 송수신하는 것
    인 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 시스템.
  4. 제1항에 있어서,
    상기 컨트롤러 디바이스는 상이한 손 데이터에 대해 누적 및 보간을 이용하여 상기 손 동작 데이터로 변환하는 것
    인 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 시스템.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 제1항에 있어서,
    상기 컨트롤러 디바이스는 상기 손 동작 데이터의 마지막 사용자 손 데이터를 콘텐츠 내 손 표현을 위해 사용하는 것
    인 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 시스템.
  10. 삭제
  11. 손 데이터를 수신하는 입력부;
    상기 손 데이터를 이용하여 가상현실 콘텐츠를 제공하는 프로그램이 저장된 메모리; 및
    상기 프로그램을 실행시키는 프로세서를 포함하고,
    상기 프로세서는 상기 손 데이터를 수신하여 손 동작 데이터로 변환하고, 딥러닝 기반으로 손 동작 인식기를 관리하며, 콘텐츠 실행 관리를 수행하고,
    상기 프로세서는 상기 손 동작 데이터를 이용하여 적합한 손 동작 분류기가 존재하는지 확인하고, 적합한 손 동작 분류기가 존재하지 않는 것으로 확인되면 전이학습을 이용한 딥러닝 기반 손 동작 인식기 생성 콘텐츠를 실행시키고, 적합한 손 동작 분류기가 존재하는 것으로 확인되면 손 동작 인식 기반 사용자 콘텐츠를 실행시키고,
    상기 프로세서는 상기 손 동작 데이터와 기존 손 동작 데이터셋들과의 유사도를 비교하여, 전이학습에 활용될 후보 데이터셋을 선택하고, 후보 데이터셋의 유사도 비교 분석 결과값을 이용하여 신규 손 동작 데이터셋을 구축하여 딥러닝 기반 손 동작 인식기 학습을 수행하거나, 후보 사용자 손 동작 인식기를 선정하여 전이학습에 사용할 부분 사용자 손 동작 데이터셋을 구축하되, 상기 부분 사용자 손 동작 데이터셋을 구축하는 경우, 사용자의 손 동작의 시도 횟수는 딥러닝 기반 사용자 손 동작 인식기 학습을 위해 필요한 최소 손 동작 데이터셋 크기에 (1-유사도 비교 분석 결과값)을 곱한 값 이상인 것
    인 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 장치.
  12. 제11항에 있어서,
    상기 손 데이터는 HMD의 전면에 배치되는 카메라, 사용자가 착용한 데이터 글러브, 사용자가 착용한 골무, 별도 배치되는 카메라 중 적어도 어느 하나를 이용하여 획득되는 것
    인 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 장치.
  13. 제11항에 있어서,
    상기 프로세서는 상이한 종류의 상기 손 데이터에 대해 누적 및 보간을 이용하여 상기 손 동작 데이터로 변환하는 것
    인 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 장치.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
KR1020200155703A 2020-08-28 2020-11-19 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 시스템 KR102612430B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/327,277 US11481039B2 (en) 2020-08-28 2021-05-21 System for recognizing user hand gesture and providing virtual reality content based on deep learning using transfer learning

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20200109069 2020-08-28
KR1020200109069 2020-08-28

Publications (2)

Publication Number Publication Date
KR20220029279A KR20220029279A (ko) 2022-03-08
KR102612430B1 true KR102612430B1 (ko) 2023-12-12

Family

ID=80813287

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200155703A KR102612430B1 (ko) 2020-08-28 2020-11-19 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 시스템

Country Status (1)

Country Link
KR (1) KR102612430B1 (ko)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101389894B1 (ko) * 2012-07-18 2014-04-29 주식회사 도담시스템스 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션 장치 및 방법
US9746921B2 (en) 2014-12-31 2017-08-29 Sony Interactive Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
KR101861096B1 (ko) * 2016-09-12 2018-05-29 한국과학기술연구원 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 방법 및 장치
KR101926074B1 (ko) 2017-02-28 2018-12-06 주식회사 비햅틱스 촉각자극 제공 방법 및 컴퓨터로 읽을 수 있는 기록매체
KR20200057291A (ko) * 2018-11-16 2020-05-26 한국전자통신연구원 전이 학습 모델 생성 방법 및 장치
KR102184278B1 (ko) * 2018-11-21 2020-11-30 한국과학기술원 메타학습에 기반한 임의의 목표 데이터셋과 모델 구조로의 전이학습 방법 및 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KHALIL BOUSBAI 외 1인. "A Comparative Study of Hand Gestures Recognition Based on MobileNetV2 and ConvNet Models" 2019 6th ISPA. IEEE. 2019년11월25일. 1부.*

Also Published As

Publication number Publication date
KR20220029279A (ko) 2022-03-08

Similar Documents

Publication Publication Date Title
JP7411133B2 (ja) 仮想現実ディスプレイシステム、拡張現実ディスプレイシステム、および複合現実ディスプレイシステムのためのキーボード
EP3549109B1 (en) Virtual user input controls in a mixed reality environment
CN108885521A (zh) 跨环境共享
KR102021851B1 (ko) 가상현실 환경에서의 사용자와 객체 간 상호 작용 처리 방법
US20130010071A1 (en) Methods and systems for mapping pointing device on depth map
WO2013139181A1 (zh) 一种用户交互系统和方法
CN111459264B (zh) 3d对象交互系统和方法及非暂时性计算机可读介质
US11481039B2 (en) System for recognizing user hand gesture and providing virtual reality content based on deep learning using transfer learning
KR102612430B1 (ko) 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 시스템
CN111736689A (zh) 虚拟现实装置、数据处理方法与计算机可读存储介质
KR101525011B1 (ko) Nui 기반의 실감형 가상공간 디스플레이 제어장치 및 제어방법
KR20230170485A (ko) 손 동작에 관한 이미지 데이터를 획득하는 전자 장치 및 그 동작 방법
CN112558759B (zh) 基于教育的vr交互方法、交互开发平台和存储介质
CN117492555A (zh) 对象移动控制方法、装置、设备
US20230384928A1 (en) Ar-based virtual keyboard
US20240282058A1 (en) Generating user interfaces displaying augmented reality graphics
Piumsomboon Natural hand interaction for augmented reality.
CN117742479A (zh) 人机交互方法、装置、设备和介质
CN118363462A (zh) 用于扩展现实的位姿控制方法、装置、电子设备和存储介质
CN117742555A (zh) 控件交互方法、装置、设备和介质
CN117666769A (zh) 虚拟场景的交互方法、装置、存储介质及设备
WO2023211702A1 (en) Gesture-based keyboard text entry
CN118543090A (zh) 一种虚拟物体移动方法、装置、设备及存储介质
CN118331416A (zh) 虚拟环境的交互方法、装置、设备、介质和程序产品
CN117826977A (zh) 交互方法、装置、电子设备、存储介质及计算机程序产品

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant