KR20210106885A - 인공지능 기반의 vr 환경에서의 전후진 움직임 탐지 장치 및 방법 - Google Patents

인공지능 기반의 vr 환경에서의 전후진 움직임 탐지 장치 및 방법 Download PDF

Info

Publication number
KR20210106885A
KR20210106885A KR1020210005108A KR20210005108A KR20210106885A KR 20210106885 A KR20210106885 A KR 20210106885A KR 1020210005108 A KR1020210005108 A KR 1020210005108A KR 20210005108 A KR20210005108 A KR 20210005108A KR 20210106885 A KR20210106885 A KR 20210106885A
Authority
KR
South Korea
Prior art keywords
sensor data
environment
movement
user
backward
Prior art date
Application number
KR1020210005108A
Other languages
English (en)
Other versions
KR102321052B1 (ko
Inventor
한경식
백승원
전영승
Original Assignee
아주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교산학협력단 filed Critical 아주대학교산학협력단
Priority to KR1020210005108A priority Critical patent/KR102321052B1/ko
Publication of KR20210106885A publication Critical patent/KR20210106885A/ko
Application granted granted Critical
Publication of KR102321052B1 publication Critical patent/KR102321052B1/ko

Links

Images

Classifications

    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06K9/00711—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

인공지능 기반의 VR 환경에서의 전후진 움직임 탐지 장치 및 방법이 개시되며, 본원의 일 실시예에 따른 인공지능 기반의 VR 환경에서의 전후진 움직임 탐지 방법은, 복수의 사용자의 VR 환경에서의 전진 움직임과 연계된 제1센서 데이터 및 상기 VR 환경에서의 후진 움직임과 연계된 제2센서 데이터를 포함하는 학습 데이터를 준비하는 단계, 상기 학습 데이터에 기초하여, 대상 센서 데이터가 수신되면 상기 대상 센서 데이터에 대응하는 움직임 유형을 판단하는 판별 모델을 구축하는 단계, 타겟 사용자에 대한 상기 대상 센서 데이터를 수신하는 단계 및 상기 판별 모델에 기초하여 상기 대상 센서 데이터에 대응하는 상기 움직임 유형을 판단하는 단계를 포함할 수 있다.

Description

인공지능 기반의 VR 환경에서의 전후진 움직임 탐지 장치 및 방법{APPARATUS AND METHOD FOR DETECTING FORWARD OR BACKWARD MOTION IN VR ENVIRONMENT BASED ON ARTIFICIAL INTELLIGENCE}
본원은 인공지능 기반의 VR 환경에서의 전후진 움직임 탐지 장치 및 방법에 관한 것이다.
가상 현실(Virtual Reality, VR)은 사용자에게 몰입형 경험을 제공하는 것을 목표로 한다. 이러한 가상 현실 환경에 대한 종래의 연구는 보다 사실적인 그래픽 또는 움직임을 구현하거나, 사용자와 VR 환경의 상호 작용 요소를 개선하거나, 다양한 상황에서 더 높은 자유도를 가진 컨트롤러를 설계하거나, 고도화된 센서 디바이스 등을 통해 사용자의 감각 지원을 강화하는데 중점을 두고 이루어져 왔다.
한편, 몰입형 경험에 영향을 미치는 요소 중 '움직임(Movement)'은 사용자가 VR 환경을 탐색하고 상호 작용할 수 있도록 하는 핵심적 요소이다. 사용자는 VR 환경을 통해 현실 세계와 유사한 방식의 움직임을 기대하며, 사용자의 실제 움직임이 VR 환경에 제대로 동기화(매핑)되지 않으면 어지러움을 느끼거나 사이버 멀미를 경험하는 등 사용자 경험이 크게 감소하게 된다.
이러한 VR 환경에서의 움직임에 대한 연구는 크게 실제 보행과 동일하게 이루어지는 Full gait, 물리적 변위가 없는 제자리 걸음 방식의 Partial gait, 트레드밀 등의 별도 디바이스를 활용하는 Gait negation으로 분류될 수 있으며, 이 중 WIP(Walking-in-place)는 사용자가 고정 상태를 유지하면서 다리 동작을 사용하여 가상 공간을 탐색하는 부분 보행(Partial gait) 기술이다. VR 환경은 일반적으로 제한된 물리적 공간 안에서 이루어지며, 해당 물리적 공간만을 이용하여 탐지할 수 있는 영역보다 훨씬 넓은 가상 영역을 포함하는 것이 일반적 이기 때문에 많은 VR 시스템에서는 WIP(Walking-in-place) 기반의 부분 보행 방식을 채택하고 있다.
그러나, VR 환경에서의 움직임에 대한 종래의 연구들은 주로 사용자의 전진 움직임에 대하여만 초점을 맞추고 있으며, 사용자의 후진 움직임과 관련한 종래 연구는 미비한 실정이다. 후진 움직임은 사용자가 VR 환경을 통해 수행할 수 있어야 하는 기본적 이동이며, 사용자가 집으려는 물체가 사용자와 너무 가까이 있는 경우, 사용자가 걷다가 갑자기 장애물을 만난 경우 등 대다수의 VR 콘텐츠(시나리오)는 사용자의 후진 움직임 구현을 필요로 하는 상황을 포함한다.
이렇듯, 사용자의 후진 움직임을 지원하면 VR 환경에서 사용자 제어 및 탐색의 자유와 유연성이 증가하며 이는 궁극적으로 몰입감 있고 사실적인 VR 경험에 필수적인 요소하고 할 수 있다. 이러한 기본 요소가 제대로 지원되지 않으면 VR 콘텐츠에 대한 전반적인 사용자 경험이 저하될 수 있는 문제가 있다.
본원의 배경이 되는 기술은 한국등록특허공보 제10-2078750호에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 사용자가 착용하거나 사용자의 신체에 부착된 센서 데이터에 대한 분석을 통해 사용자의 WIP(Walking-in-Place) 기반의 가상현실 환경에서의 전후진 움직임을 정확히 판별할 수 있는 인공지능 기반의 VR 환경에서의 전후진 움직임 탐지 장치 및 방법을 제공하려는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 인공지능 기반의 VR 환경에서의 전후진 움직임 탐지 방법은, 복수의 사용자의 VR 환경에서의 전진 움직임과 연계된 제1센서 데이터 및 상기 VR 환경에서의 후진 움직임과 연계된 제2센서 데이터를 포함하는 학습 데이터를 준비하는 단계, 상기 학습 데이터에 기초하여, 대상 센서 데이터가 수신되면 상기 대상 센서 데이터에 대응하는 움직임 유형을 판단하는 판별 모델을 구축하는 단계, 타겟 사용자에 대한 상기 대상 센서 데이터를 수신하는 단계 및 상기 판별 모델에 기초하여 상기 대상 센서 데이터에 대응하는 상기 움직임 유형을 판단하는 단계를 포함할 수 있다.
또한, 상기 VR 환경은, 미리 설정된 공간 범위 내에서 이동이 허용되고, 상기 공간 범위 내에서 제자리 걸음을 통해 상기 전진 움직임 또는 상기 후진 움직임을 수행하도록 구현되는 WIP(Walking-in-Place) 기반의 가상현실 환경일 수 있다.
또한, 상기 제1센서 데이터 및 상기 제2센서 데이터는, 상기 복수의 사용자 각각의 머리, 허리 및 양발 중 적어도 하나에 부착 또는 착용되는 추적 장치에 기초하여 획득되는 상기 복수의 사용자 각각의 머리, 허리 및 양발 중 적어도 하나의 위치 정보를 포함할 수 있다.
또한, 상기 대상 센서 데이터는, 상기 타겟 사용자의 머리, 허리 및 양발 중 적어도 하나에 부착 또는 착용되는 추적 장치에 기초하여 획득되는 상기 타겟 사용자의 머리, 허리 및 양발 중 적어도 하나의 위치 정보를 포함할 수 있다.
또한, 상기 학습 데이터를 준비하는 단계는, 상기 VR 환경에 기초하여 전진 움직임 요청을 표시하고, 상기 전진 움직임 요청 이후에 상기 추적 장치로부터 수신된 상기 위치 정보를 상기 제1센서 데이터로 획득하는 단계 및 상기 VR 환경에 기초하여 후진 움직임 요청을 표시하고, 상기 후진 움직임 요청 이후에 상기 추적 장치로부터 수신된 상기 위치 정보를 상기 제2센서 데이터로 획득하는 단계를 포함할 수 있다.
또한, 상기 판별 모델을 구축하는 단계는, 상기 위치 정보를 포함하는 학습 피처에 기초하여 상기 움직임 유형을 전진 또는 후진으로 분류하는 인공 지능 기반의 판별 모델을 구축할 수 있다.
또한, 상기 학습 피처는, 상기 공간 범위의 중심에서 사용자의 왼발까지의 제1벡터, 상기 중심에서 사용자의 오른발까지의 제2벡터 및 상기 중심에서 사용자의 머리까지의 제3벡터와 상기 제1벡터 또는 상기 제2벡터가 이루는 각도 정보를 포함할 수 있다.
또한, 상기 판별 모델은, 양방향 장단기 기억(Bidirectional Long-Short Term Memory, BiLSTM) 네트워크 기반의 분류 모델일 수 있다.
또한, 본원의 일 실시예에 따른 인공지능 기반의 VR 환경에서의 전후진 움직임 탐지 방법은, 상기 판단 결과에 기초하여 상기 타겟 사용자의 움직임을 상기 타겟 사용자에게 제공되는 VR 환경에 반영하는 단계를 포함할 수 있다.
한편, 본원의 일 실시예에 따른 인공지능 기반의 VR 환경에서의 전후진 움직임 탐지 장치는, 복수의 사용자의 VR 환경에서의 전진 움직임과 연계된 제1센서 데이터 및 상기 VR 환경에서의 후진 움직임과 연계된 제2센서 데이터를 포함하는 학습 데이터를 준비하는 수집부, 상기 학습 데이터에 기초하여, 대상 센서 데이터가 수신되면 상기 대상 센서 데이터에 대응하는 움직임 유형을 판단하는 판별 모델을 구축하는 학습부 및 타겟 사용자에 대한 상기 대상 센서 데이터를 수신하고, 상기 판별 모델에 기초하여 상기 대상 센서 데이터에 대응하는 상기 움직임 유형을 판단하는 분석부를 포함할 수 있다.
또한, 상기 수집부는, 상기 VR 환경에 기초하여 전진 움직임 요청을 표시하고, 상기 전진 움직임 요청 이후에 상기 추적 장치로부터 수신된 상기 위치 정보를 상기 제1센서 데이터로 획득할 수 있다.
또한, 상기 수집부는, 상기 VR 환경에 기초하여 후진 움직임 요청을 표시하고, 상기 후진 움직임 요청 이후에 상기 추적 장치로부터 수신된 상기 위치 정보를 상기 제2센서 데이터로 획득할 수 있다.
또한, 상기 학습부는, 상기 위치 정보를 포함하는 학습 피처에 기초하여 상기 움직임 유형을 전진 또는 후진으로 분류하는 양방향 장단기 기억(Bidirectional Long-Short Term Memory, BiLSTM) 네트워크 기반의 판별 모델을 구축할 수 있다.
또한, 본원의 일 실시예에 따른 인공지능 기반의 VR 환경에서의 전후진 움직임 탐지 장치는, 상기 판단 결과에 기초하여 상기 타겟 사용자의 움직임을 상기 타겟 사용자에게 제공되는 VR 환경에 반영하는 구현부를 포함할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 사용자가 착용하거나 사용자의 신체에 부착된 센서 데이터에 대한 분석을 통해 사용자의 WIP(Walking-in-Place) 기반의 가상현실 환경에서의 전후진 움직임을 정확히 판별할 수 있는 인공지능 기반의 VR 환경에서의 전후진 움직임 탐지 장치 및 방법을 제공할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 보다 정확하게 판별된 전후진 움직임이 VR 환경에 반영됨으로써, VR 콘텐츠에 대한 사용자의 몰입감이 획기적으로 향상되며, 어지러움, 멀미감 등의 사용자 경험 저해 요인을 방지할 수 있다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1은 본원의 일 실시예에 따른 인공지능 기반의 VR 환경에서의 전후진 움직임 탐지 장치를 포함하는 VR 콘텐츠 제공 시스템의 개략적인 구성도이다.
도 2는 제1센서 데이터와 제2센서 데이터를 획득하기 위해 VR 환경에 표시되는 전후진 움직임 요청을 예시적으로 나타낸 도면이다.
도 3a는 복수의 사용자의 제자리 걸음을 통한 이동 시 소정의 공간 범위 내에서의 다양한 움직임 양상을 나타낸 도면이다.
도 3b는 제1벡터, 제2벡터와 제3벡터와 제1벡터 또는 제2벡터가 이루는 각도 정보를 설명하기 위한 개념도이다.
도 4는 본원의 일 실시예에 따른 양방향 장단기 기억(Bidirectional Long-Short Term Memory, BiLSTM) 네트워크 기반의 움직임 유형 판별 모델의 구조를 예시적으로 나타낸 도면이다.
도 5는 본원의 일 실시예에 따른 판별 모델의 유형 및 학습 데이터의 유형에 따른 성능 평가 결과를 비교하여 나타낸 도표이다.
도 6은 본원의 일 실시예에 따른 인공지능 기반의 VR 환경에서의 전후진 움직임 탐지 기법과 연계된 일 실험예로서, 컨트롤러 기반 움직임 환경, 트레드밀 기반 움직임 환경 및 WIP 기반의 움직임 환경을 나타낸 도면이다.
도 7은 본원의 일 실시예에 따른 인공지능 기반의 VR 환경에서의 전후진 움직임 탐지 기법과 연계된 일 실험예에 활용된 사용자가 후진 움직임을 수행하도록 요청되는 내용을 포함하도록 설계된 VR 콘텐츠 시나리오를 예시적으로 나타낸 도면이다.
도 8a 및 도 8b는 본원의 일 실시예에 따른 인공지능 기반의 VR 환경에서의 전후진 움직임 탐지 기법과 연계된 일 실험예의 사용자 경험 평가 결과를 컨트롤러 기반 움직임 환경 및 트레드밀 기반 움직임 환경과 비교하여 나타낸 그래프이다.
도 9는 본원의 일 실시예에 따른 인공지능 기반의 VR 환경에서의 전후진 움직임 탐지 장치의 개략적인 구성도이다.
도 10은 본원의 일 실시예에 따른 인공지능 기반의 VR 환경에서의 전후진 움직임 탐지 방법에 대한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본원은 인공지능 기반의 VR 환경에서의 전후진 움직임 탐지 장치 및 방법에 관한 것이다.
도 1은 본원의 일 실시예에 따른 인공지능 기반의 VR 환경에서의 전후진 움직임 탐지 장치를 포함하는 VR 콘텐츠 제공 시스템의 개략적인 구성도이다.
도 1을 참조하면, 본원의 일 실시예에 따른 VR 콘텐츠 제공 시스템(10)은, 본원의 일 실시예에 따른 인공지능 기반의 VR 환경에서의 전후진 움직임 탐지 장치(100)(이하, '전후진 움직임 탐지 장치(100)'라 한다.) 및 사용자 단말(200)을 포함할 수 있다.
또한, 도 1을 참조하면, VR 콘텐츠 제공 시스템(10)은 사용자의 머리, 허리 및 양발 중 적어도 하나에 부착 또는 착용되는 사용자 추적 장치(미도시)를 포함할 수 있다. 이와 관련하여, 도 1은 사용자 추적 장치(미도시)로부터 획득되는 데이터 중 사용자의 머리의 위치 정보를 포함하는 센서 데이터, 사용자의 허리의 위치 정보를 포함하는 센서 데이터, 사용자의 왼발의 위치 정보를 포함하는 센서 데이터 및 사용자의 오른발의 위치 정보를 포함하는 센서 데이터를 각각 S1, S2, S3 및 S4로 구분하여 표시한 것이다.
또한, 본원의 일 실시예에 따르면, 사용자 추적 장치(미도시)는 사용자가 착용하거나 사용자의 신체 부위에 부착되는 트래커(Tracker), 센서 등을 의미하는 것일 수 있다.
전후진 움직임 탐지 장치(100) 및 사용자 단말(200) 상호간은 네트워크(20)를 통해 통신할 수 있다. 네트워크(20)는 단말들 및 서버들과 같은 각각의 노드 상호간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(20)의 일 예에는, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), wifi 네트워크, 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
사용자 단말(200)은 예를 들면, 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC등과 PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말기 같은 모든 종류의 무선 통신 장치일 수 있다.
특히, 본원의 일 실시예에 따르면, 사용자 단말(200)은 본원의 VR 콘텐츠를 재생할 수 있는 VR 기기일 수 있다. 구체적으로, VR 기기는 헤드 마운트 디스플레이(Head Mounted Display) 단말을 의미할 수 있다. 이와 관련하여, 사용자 단말(200)은 전후진 움직임 탐지 장치(100)로부터 수신된 사용자의 움직임에 대한 정보가 VR 환경(도 1의 'A') 상에 반영되는 소정의 VR 콘텐츠를 출력할 수 있다. 한편, 사용자의 머리의 위치 정보를 포함하는 센서 데이터(S1)를 획득하기 위한 사용자 추적 장치(미도시)는 헤드 마운트 디스플레이(Head Mounted Display) 단말 형태의 사용자 단말(200)에 구비되는 것일 수 있다.
한편, 본원에서 개시하는 VR 콘텐츠 제공 시스템(10)에 의해 사용자에게 제공되는 VR 콘텐츠는 미리 설정된 공간 범위 내에서 이동이 허용되고, 이동이 허용된 공간 범위 내에서 사용자가 제자리 걸음을 통해 전진 움직임 또는 후진 움직임을 수행하도록 구현되는 WIP(Walking-in-Place) 기반의 가상현실 환경에 기반하여 제공되는 것일 수 있다. 달리 말해, 본원의 실시예에 관한 설명에서의 'VR 환경'이란 WIP(Walking-in-Place) 기반의 가상현실 환경을 지칭하는 것일 수 있다.
전후진 움직임 탐지 장치(100)는 복수의 사용자의 VR 환경에서의 전진 움직임과 연계된 제1센서 데이터 및 복수의 사용자의 VR 환경에서의 후진 움직임과 연계된 제2센서 데이터를 포함하는 학습 데이터를 준비할 수 있다.
구체적으로, 전후진 움직임 탐지 장치(100)는 복수의 사용자 각각의 머리, 허리 및 양발 중 적어도 하나에 부착 또는 착용되는 추적 장치에 기초하여 획득되는 복수의 사용자 각각의 머리, 허리 및 양발 중 적어도 하나의 위치 정보를 포함하는 제1센서 데이터 및 제2센서 데이터를 획득(수집)할 수 있다.
도 2는 제1센서 데이터와 제2센서 데이터를 획득하기 위해 VR 환경에 표시되는 전후진 움직임 요청을 예시적으로 나타낸 도면이다.
도 2의 (a)를 참조하면, 전후진 움직임 탐지 장치(100)는 VR 환경에 기초하여 전진 움직임 요청(도 2의 'A')을 표시하고, 전진 움직임 요청 이후에 추적 장치로부터 수신된 머리, 허리 및 양발 중 적어도 하나의 위치 정보를 제1센서 데이터로서 획득할 수 있다.
또한, 도 2의 (b)를 참조하면, 전후진 움직임 탐지 장치(100)는 VR 환경에 기초하여 후진 움직임 요청(도 2의 'B')을 표시하고, 후진 움직임 요청 이후에 추적 장치로부터 수신된 머리, 허리 및 양발 중 적어도 하나의 위치 정보를 제2센서 데이터로서 획득할 수 있다.
이와 관련하여, 본원의 일 실시예에 따르면, 전후진 움직임 탐지 장치(100)는 복수의 사용자 각각이 사용자 단말(200) 등을 통해 센서 데이터 수집을 위한 VR 콘텐츠를 제공받는 상황에서, 사용자 각각이 소지한 컨트롤러의 트리거 버튼을 누르면 도 2의 (a)와 같이 앞으로 이동하라는 지시 내용('Forward')을 포함하는 전진 움직임 요청을 표시하고, 컨트롤러의 트리거 버튼에서 손을 떼면, 도 2의 (b)와 같이 뒤로 이동하라는 지시 내용('Backward')을 포함하는 후진 움직임 요청을 표시할 수 있다.
또한, 전후진 움직임 탐지 장치(100)는 전진 움직임 요청 또는 후진 움직임 요청이 표시된 시점 이후의 미리 설정된 수집 시간 동안의 센서 데이터를 미리 설정된 수집 주기(예를 들면, 0.1초 등)마다 획득할 수 있다. 또한, 전후진 움직임 탐지 장치(100)는 사용자가 전진 움직임 또는 후진 움직임만을 과도하게 오랫동안 지속하여 센서 데이터가 편중되는 것을 방지하도록 미리 설정된 수집 시간(예를 들면, 10초 등) 동안 제1센서 데이터를 획득한 후 다음 수집 시간 동안에는 제2센서 데이터를 획득하고, 이후의 수집 시간 동안 제1센서 데이터를 재차 획득하는 방식으로 교번하여 학습 데이터를 준비할 수 있다.
전술한 바와 같이, 전후진 움직임 탐지 장치(100)는 복수의 사용자 각각에 대하여 전진 또는 후진 움직임을 지시하고, 이에 대응하여 획득되는 센서 데이터(머리, 허리 및 양발 중 적어도 하나의 위치 정보를 포함하는 센서 데이터)를 전진 움직임과 연계된 제1센서 데이터와 후진 움직임과 연계된 제2센서 데이터로 분류한 학습 데이터를 준비함으로써, 이하에서 후술하는 움직임 유형 판단을 위한 판별 모델이 사용자의 전진 움직임에 따른 센서 데이터의 패턴과 사용자의 후진 움직임에 따른 센서 데이터의 패턴의 차이를 보다 명확하게 학습하도록 할 수 있다.
또한, 전후진 움직임 탐지 장치(100)는 제1센서 데이터 및 제2센서 데이터를 포함하도록 준비된 학습 데이터에 기초하여, 대상 센서 데이터가 수신되면 수신된 대상 센서 데이터에 대응하는 움직임 유형을 판단하는 판별 모델을 구축할 수 있다.
구체적으로, 전후진 움직임 탐지 장치(100)는 사용자의 머리, 허리 및 양발 중 적어도 하나의 위치 정보를 포함하는 학습 피처에 기초하여 사용자의 대상 센서 데이터에 대응하는 움직임 유형을 전진 움직임 또는 후진 움직임으로 분류하는 인공 지능 기반의 판별 모델을 구축할 수 있다.
본원의 일 실시예에 따르면, 후술하는 도 4에 도시된 바와 같이, 판별 모델의 구축을 위한 학습 피처 중 사용자의 머리, 허리 및 양발의 위치 정보(Head position, Waist position, Left foot position, Right foot position)는 사용자의 이동이 허용되는 공간 범위의 특정 지점(예를 들면, 중심 등)을 기준으로 하여 X축 변위 성분, Y축 변위 성분 및 Z축 변위 성분을 포함하는 3차원의 정보일 수 있다.
한편, 미리 설정된 공간 범위 내에서 제자리 걸음을 통해 전진 움직임 또는 후진 움직임을 수행하도록 구현되는 WIP(Walking-in-Place) 기반의 가상현실 환경의 특성을 고려할 때, 전후진 움직임 탐지 장치(100)는 사용자에게 허용된 공간 범위를 사용자에게 인지시키기 위한 표지(예를 들면, 원 형상의 공간 범위인 경우, 원의 중심 등)를 VR 콘텐츠의 제공시 표시할 수 있다. 또한, 전후진 움직임 탐지 장치(100)는 사용자가 미리 설정된 공간 범위를 이탈하는 상황이 발생하면, 공간 범위 내로 이동할 것을 요청하는 표지(예를 들면, 설정된 공간 범위 내로 진입하라는 경고 메시지 등)를 표시할 수 있다.
그러나, 사용자에 따라서, 공간 범위 내에서 위치를 잘 고정한 상태로 제자리 걸음을 통해 전진 움직임 또는 후진 움직임을 올바르게 수행하는 사용자가 존재할 수 있는 반면, 일부의 사용자는 제자리 걸음 방식으로 움직임을 수행하도록 요청받는 경우에도 공간 범위 내에서의 위치가 변동될 수 있다.
도 3a는 복수의 사용자의 제자리 걸음을 통한 이동 시 소정의 공간 범위 내에서의 다양한 움직임 양상을 나타낸 도면이다.
도 3a를 참조하면, 도 3a의 (a)는 전술한 바와 같이 공간 범위(도 3의 원 형상의 경계) 내에서 위치를 잘 고정한 상태로 제자리 걸음을 수행한 사용자의 움직임 양상을 나타내고, (a)에서 (g)로 갈수록 공간 범위 내에서 위치 변화가 큰 사용자의 움직임 양상을 보인다.
이렇듯, WIP 기반의 VR 환경이라 할지라도 사용자의 위치가 완전히 고정되지 않을 수 있으며, 전후진 움직임 탐지 장치(100)는 이러한 사용자의 불측의 위치 변화에 영향을 받지 않고, 사용자의 움직임 유형을 전진 또는 후진으로 판별할 수 있어야 한다. 달리 말해, 공간 범위가 도 3a와 같이 원 형상으로 결정될 때, 사용자의 위치가 원의 중심을 벗어나는 경우에도, 원의 중심 대비 변동된 사용자의 위치의 영향을 고려할 수 있는 학습 피처를 선정하여 판별 모델을 구축해야 한다.
이와 관련하여, 본원의 일 실시예에 따르면, 전후진 움직임 탐지 장치(100)는 공간 범위의 중심에서 사용자의 왼발까지의 제1벡터, 공간 범위의 중심에서 사용자의 오른발까지의 제2벡터 및 공간 범위의 중심에서 사용자의 머리까지의 제3벡터와 제1벡터 또는 제2벡터가 이루는 각도 정보를 포함하는 학습 피처로 판별 모델을 학습시킬 수 있다.
도 3b는 제1벡터, 제2벡터와 제3벡터와 제1벡터 또는 제2벡터가 이루는 각도 정보를 설명하기 위한 개념도이다.
도 3b를 참조하면, 제1벡터는
Figure pat00001
로 표시되고, 제2벡터는
Figure pat00002
로 표시되고, 제3벡터는
Figure pat00003
로 표시될 수 있다. 또한, 제3벡터와 제1벡터가 이루는 각도 정보는 θL로 표시되고, 제3벡터와 제2벡터가 이루는 각도 정보는 θR로 표시될 수 있다.
구체적으로, 전후진 움직임 탐지 장치(100)는 공간 범위의 중심을 기준으로 사용자의 위치가 변화하더라도 사용자의 전진 움직임 또는 후진 움직임을 구분(식별)할 수 있도록 하는 학습 피처로서, 제1벡터와 제2벡터의 구성 성분 중, 높이 방향(상하 방향, 도 3a 및 도 3b의 법선 방향에 대응하는 방향) 성분인 Y축 좌표 성분을 제외한 X축 좌표 성분 및 Z축 좌표 성분을 학습 피처를 추출할 수 있다. 또한, 본원의 일 실시예에 따르면, 전후진 움직임 탐지 장치(100)는 제3벡터와 제1벡터가 이루는 각도 정보 및 제3벡터와 제2벡터가 이루는 각도 정보를 반영하도록 제1벡터와 제3벡터의 내적값(
Figure pat00004
) 및 제2벡터와 제3벡터의 내적값(
Figure pat00005
)을 학습 피처로서 추출할 수 있다.
도 4는 본원의 일 실시예에 따른 양방향 장단기 기억(Bidirectional Long-Short Term Memory, BiLSTM) 네트워크 기반의 움직임 유형 판별 모델의 구조를 예시적으로 나타낸 도면이다.
도 4를 참조하면, 전후진 움직임 탐지 장치(100)는 양방향 장단기 기억(Bidirectional Long-Short Term Memory, BiLSTM) 네트워크 기반의 딥러닝 분류 모델인 움직임 유형 판별 모델을 구축할 수 있다. 다만, 이에만 한정되는 것은 아니고, 본원에서는 머신 러닝 기반의 의사결정 트리(Decision Tree), 랜덤 포레스트(Random Forest) 등 종래에 이미 공지되었거나 향후 개발되는 다양한 인공지능 기반의 분류 모델 학습 알고리즘이 적용될 수 있다.
이와 관련하여, LSTM(Long-Short Term Memory) 알고리즘은 딥러닝 분야에서 사용되는 인공 재귀 신경 네트워크(RNN) 아키텍처의 하나로, 피드 포워드 신경망과 달리 피드백 연결이 존재한다. 따라서, LSTM 알고리즘에 의하면 단일 데이터 포인트뿐만 아니라 전체 데이터 시퀀스에 대한 학습 및 처리를 수행할 수 있다. 이러한 LSTM 알고리즘은 시계열 데이터를 기반으로 예측을 분류, 처리 및 예측하는 데 적합하며, LSTM은 전통적인 RNN을 통한 훈련에서 발생 가능한 Vanishing Gradient 문제를 해소하는 장점이 있다.
또한, 전후진 움직임에 대응하여 수집되는 데이터의 시계열적인 특성은 소정의 시퀀스의 전후 특성(양방향 특성)이 모두 고려되어야 하므로, 본원의 일 실시예에 따르면, 전후진 움직임 탐지 장치(100)는 시퀀스의 전후 특성을 함께 고려하는 양방향 장단기 기억 네트워크(BiLSTM) 기반의 움직임 유형 판별 모델을 구축할 수 있다.
도 4는 본원의 일 실시예에 따른 양방향 장단기 기억(Bidirectional Long-Short Term Memory, BiLSTM) 네트워크 기반의 움직임 유형 판별 모델의 구조를 예시적으로 나타낸 도면이다.
도 4를 참조하면, 본원의 일 실시예에 따른 전후진 움직임 탐지 장치(100)는 수집된 학습 데이터가 120초 동안에 0.1초마다 수집된 센서 데이터(제1센서 데이터 및 제2센서 데이터)인 경우, 구축되는 양방향 장단기 기억 네트워크(BiLSTM) 기반의 움직임 유형 판별 모델의 입력 텐서는 시퀀스 길이를 1.0초로 하여, 1200 X 18(학습 피처의 수) X 10(창 크기)로 설정될 수 있다. 또한, 은닉 사이즈(Hidden Size)는 256이고, 레이어의 수는 2로 결정될 수 있다. 또한, 배치 사이즈는 100이고, 학습률을 0.001이고, 임베드 차원은 18이고, Epoch 값은 200으로 설정되어 판별 모델이 훈련되는 것일 수 있으나 이에만 한정되는 것은 아니고, 본원의 구현예에 따라 다양한 세부 설정을 기초로 하여 판별 모델의 학습이 이루어질 수 있음은 물론이다.
이와 관련하여, 전후진 움직임 탐지 장치(100)는 타겟 사용자에 대한 대상 센서 데이터(1)를 수신하고, 전술한 프로세스를 통해 구축되는 판별 모델에 기초하여 대상 센서 데이터(1)에 대응하는 움직임 유형(2)을 판단할 수 있다. 구체적으로, 도 4를 참조하면, 전후진 움직임 탐지 장치(100)가 수신된 대상 센서 데이터(1)를 판별 모델에 입력하면, 판별 모델에 의해 대상 센서 데이터(1)에 반영된 특성(예를 들면, 학습 피처 등)이 전진 움직임('F')에 대응되거나 후진 움직임('B')에 대응되는 것으로 판단되며, 이러한 판단 결과가 출력으로서 제공되는 것일 수 있다.
또한, 전후진 움직임 탐지 장치(100)는 타겟 사용자의 전진 움직임 또는 후진 움직임에 대한 판단 결과에 기초하여 타겟 사용자의 움직임을 타겟 사용자에게 제공되는 VR 환경에 반영할 수 있다. 구체적으로, 전후진 움직임 탐지 장치(100)는 대상 센서 데이터에 기초하여 타겟 사용자가 전진 이동한 것으로 판단되면, VR 환경 상에서 제공되는 배경 영역을 사용자가 전진하는 경우에 대응하도록 변화시킬 수 있다. 반대로, 전후진 움직임 탐지 장치(100)는 대상 센서 데이터에 기초하여 타겟 사용자가 후진 이동한 것으로 판단되면, VR 환경 상에서 제공되는 배경 영역을 사용자가 후진하는 경우에 대응하도록 변화시킬 수 있다.
도 5는 본원의 일 실시예에 따른 판별 모델의 유형 및 학습 데이터의 유형에 따른 성능 평가 결과를 비교하여 나타낸 도표이다. 특히, 도 5는 판별 모델의 유형 및 학습 데이터의 유형에 따른 F1 점수를 나타낸 도표이다.
도 5를 참조하면, 의사결정 트리 기반의 판별 모델('Decision Tree'), 랜덤 포레스트 기반의 판별 모델('Random Forest') 및 양방향 장단기 기억 네트워크 기반의 판별 모델('BiLSTM') 중에서 BiLSTM 기반의 판별 모델이 가장 높은 성능을 보이는 것을 확인할 수 있다.
또한, 도 5의 도표의 두 번째 행은 도 3a를 통해 상술한 복수의 사용자의 움직임 양상을 기초로 하여 학습 데이터를 움직임 양상을 기초로 분류하고, 분류된 학습 데이터에 기초하여 움직임 양상 별로 개별적인 판별 모델은 구축하고, 구축된 판별 모델의 F1 점수의 평균치를 나타내고, 도 5의 도표의 세 번째 행은 움직임 양상에 따른 학습 데이터의 분류 및 움직임 양상 별 개별 모델 구축을 수행하지 않고, 전체 학습 데이터를 통합적으로 활용하여 구축한 판별 모델의 F1 점수를 나타낸 것이다.
이와 관련하여, 두 번째 행의 F1 점수가 세 번째 행의 F1 점수 대비 모든 학습 유형에서 높은 것을 통해, 사용자의 구체적인 움직임 양상을 고려하여 세부적으로 클러스터링된 학습 데이터를 활용하여 판별 모델을 개별 구축할 경우, 사용자의 전진 움직임 또는 후진 움직임을 보다 엄밀하게 구분할 수 있다는 것을 확인할 수 있다.
달리 말해, 본원에서 개시하는 전후진 움직임 탐지 장치(100)는 학습 데이터를 사용자의 움직임 양상(예를 들면, X축 좌표 및 Z축 좌표의 변화 정도 등)에 기초하여 분류하고, 움직임 양상에 따른 판별 모델을 개별 구축함으로써, 타겟 사용자의 주된 움직임 양상이 파악되면, 해당 움직임 양상에 대하여 구축된 판별 모델을 기초로 타겟 사용자의 전진 움직임 또는 후진 움직임을 보다 정확하게 탐지하는 맞춤형 판단을 수행할 수 있다.
이하에서는 도 6 내지 도 8b를 참조하여, 본원의 일 실시예에 따른 인공지능 기반의 VR 환경에서의 전후진 움직임 탐지 기법과 연계된 실험예를 설명하도록 한다.
도 6은 본원의 일 실시예에 따른 인공지능 기반의 VR 환경에서의 전후진 움직임 탐지 기법과 연계된 일 실험예로서, 컨트롤러 기반 움직임 환경, 트레드밀 기반 움직임 환경 및 WIP 기반의 움직임 환경을 나타낸 도면이다.
도 6의 (a)를 참조하면, 컨트롤러 기반 움직임 환경에서 사용자는 두 개의 VR 컨트롤러를 파지한 상태로, 하나의 컨트롤러는 사용자의 움직임을 입력하도록 조작되고, 나머지 하나의 컨트롤러는 VR 환경 상의 소정의 오브젝트와 상호 작용(예를 들면, 물건을 집는 동작 등)을 수행하도록 조작됨으로써, 사용자는 이동용 컨트롤러의 트랙 패드를 조작하여 모든 방향으로 이동할 수 있다.
도 6의 (b)를 참조하면, 트레드밀 기반 움직임 환경에서 사용자는 VR 환경에서의 이동을 위해 개발된 트레드밀 형태의 디바이스(예를 들면, Kat Walk mini 7 등)를 통해 한 발을 트레드밀 중앙에 두고 나머지 발을 움직이는 방식으로 이동할 수 있으며, 물체를 집어 들고 잡기 위한 컨트롤러를 사용할 수 있다. 참고로, 도 6의 (b)에 도시된 트레드밀 기반 움직임 환경에 기초한 실험을 'Experiment 1'로 지칭하도록 한다.
도 6의 (c) 참조하면, 본원에서 개시하는 전후진 움직임 탐지 장치(100)와 관련되는 WIP 기반의 움직임 환경에서 사용자는 오브젝트와의 상호 작용을 위한 컨트롤러를 조작하고, 허리와 양 발에 추적 장치(예를 들면, VIVE 트래커 등)를 부착한 상태로 VR 환경을 탐색하며, 사용자의 전후진 움직임은 전술한 BiLSTM 기반의 판별 모델을 통해 분석될 수 있다. 참고로, 도 6의 (c)에 도시된 WIP 기반의 움직임 환경에 기초한 실험을 'Experiment 2'로 지칭하도록 한다.
도 7은 본원의 일 실시예에 따른 인공지능 기반의 VR 환경에서의 전후진 움직임 탐지 기법과 연계된 일 실험예에 활용된 사용자가 후진 움직임을 수행하도록 요청되는 내용을 포함하도록 설계된 VR 콘텐츠 시나리오를 예시적으로 나타낸 도면이다.
도 7을 참조하면, 본원의 일 실시예에 따른 인공지능 기반의 VR 환경에서의 전후진 움직임 탐지 기법과 연계된 일 실험예에서 사용자는 도 7의 (a)와 같이 엘리베이터 공간을 VR로 구현한 제1시나리오, 도 7의 (b)와 같이 버스 공간을 VR로 구현한 제2시나리오 및 도 7의 (c)와 같이 도서관 공간을 VR로 구현한 제3시나리오 기반의 VR 콘텐츠를 제공받았으며, 각 시나리오는 3회의 후진 움직임이 필요한 상황이 존재하도록 설계되었다.
예시적으로, 제1시나리오에서는 엘리베이터 버튼을 누르기 위해 뒤로 물러나는 상황(①), 잘못된 층에서 내리려고 하다가 다시 엘리베이터 안으로 들어오는 상황(②), 여러 사람이 엘리베이터에 탑승하여 뒤로 물러나는 상황이 존재하고(③), 제2시나리오에서는 운전자가 사용자에게 물러날 것을 요청하는 상황(①), 주변 승객이 버스에서 내려 공간을 확보해주도록 물러나야 하는 상황(②), 정차 버튼을 누르기 위해 뒤로 물러나는 상황(③)이 존재하고, 제3시나리오에는 막다른 책장에 도달하는 상황(①), 보행자가 다가와서 비켜주어야 하는 상황(②), 책을 올바르게 집도록 뒤로 물러서야 하는 상황(③)이 존재할 수 있다.
도 8a 및 도 8b는 본원의 일 실시예에 따른 인공지능 기반의 VR 환경에서의 전후진 움직임 탐지 기법과 연계된 일 실험예의 사용자 경험 평가 결과를 컨트롤러 기반 움직임 환경 및 트레드밀 기반 움직임 환경과 비교하여 나타낸 그래프이다.
구체적으로, 도 8a은 후진 움직임을 완료하는데 소요된 시간을 나타낸 것으로, 도 8a를 참조하면 본원에서 개시하는 전후진 움직임 탐지 장치(100)에 의한 WIP 기반의 움직임 환경에서 사용자는 트레드밀 기반 움직임 환경에 의할 때 보다 대부분의 경우 빠르게 후진 움직임을 완결할 수 있음을 확인할 수 있다.
한편, 컨트롤러 기반 환경에서의 후진 움직임 완결 시간이 가장 적지만, 이는 단순히 패드 등을 손으로 조작하는 방식의 경우 조작이 쉽고 간편하기 때문이며, 후술하는 바와 같이 컨트롤러 기반 환경은 움직임과 관련하여 사용자에게 실재감, 몰입감 등을 불러일으킬 수 없다는 한계가 존재한다.
또한, 도 8b는 사용자가 본 실험예의 각각의 움직임 환경에 기반하여 체감할 수 있는 실재감(Presence), 인지 부하(Cognitive load), 만족감(Satisfaction), 효율성(Effectiveness)에 대한 평가 결과를 리커트 척도(Likert scale)에 기반하여 분석하여 나타낸 것으로서, 도 8b를 참조하면, 본원에서 개시하는 전후진 움직임 탐지 장치(100)에 의한 WIP 기반의 움직임 환경에서 사용자의 실재감(Presence), 만족감(Satisfaction) 및 효율성(Effectiveness)이 가장 우수한 것으로 평가되었으며, 인지 부하(Cognitive load)의 경우 세 가지 환경에서 유사한 수준을 보이는 것을 확인할 수 있다.
도 9는 본원의 일 실시예에 따른 인공지능 기반의 VR 환경에서의 전후진 움직임 탐지 장치의 개략적인 구성도이다.
도 9를 참조하면, 전후진 움직임 탐지 장치(100)는 수집부(110), 학습부(120), 분석부(130) 및 구현부(140)를 포함할 수 있다.
수집부(110)는 복수의 사용자의 VR 환경에서의 전진 움직임과 연계된 제1센서 데이터 및 해당 VR 환경에서의 후진 움직임과 연계된 제2센서 데이터를 포함하는 학습 데이터를 준비할 수 있다.
학습부(120)는 수집(준비)된 학습 데이터에 기초하여, 대상 센서 데이터가 수신되면 대상 센서 데이터에 대응하는 움직임 유형을 판단하는 판별 모델을 구축할 수 있다.
분석부(130)는 타겟 사용자에 대한 대상 센서 데이터를 수신하고, 구축된 판별 모델에 기초하여 수신된 대상 센서 데이터에 대응하는 타겟 사용자의 움직임 유형을 판단할 수 있다.
구현부(140)는 타겟 사용자의 움직임 유형에 대한 판단 결과에 기초하여 타겟 사용자의 움직임을 타겟 사용자에게 제공되는 VR 환경에 반영할 수 있다.
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.
도 10은 본원의 일 실시예에 따른 인공지능 기반의 VR 환경에서의 전후진 움직임 탐지 방법에 대한 동작 흐름도이다.
도 10에 도시된 인공지능 기반의 VR 환경에서의 전후진 움직임 탐지 방법은 앞서 설명된 전후진 움직임 탐지 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 전후진 움직임 탐지 장치(100)에 대하여 설명된 내용은 인공지능 기반의 VR 환경에서의 전후진 움직임 탐지 방법에 대한 설명에도 동일하게 적용될 수 있다.
도 10을 참조하면, 단계 S11에서 수집부(110)는 복수의 사용자의 VR 환경에서의 전진 움직임과 연계된 제1센서 데이터 및 해당 VR 환경에서의 후진 움직임과 연계된 제2센서 데이터를 포함하는 학습 데이터를 준비할 수 있다.
구체적으로, 단계 S11에서 수집부(110)는 VR 환경에 기초하여 전진 움직임 요청을 표시하고, 전진 움직임 요청 이후에 추적 장치로부터 수신된 사용자의 머리, 허리 및 양발 중 적어도 하나의 위치 정보를 제1센서 데이터로 획득할 수 있다. 또한, 단계 S11에서 수집부(110)는 VR 환경에 기초하여 후진 움직임 요청을 표시하고, 후진 움직임 요청 이후에 추적 장치로부터 수신된 사용자의 머리, 허리 및 양발 중 적어도 하나의 위치 정보를 제2센서 데이터로 획득할 수 있다.
다음으로, 단계 S12에서 학습부(120)는 수집(준비)된 학습 데이터에 기초하여, 대상 센서 데이터가 수신되면 대상 센서 데이터에 대응하는 움직임 유형을 판단하는 판별 모델을 구축할 수 있다.
구체적으로, 단계 S12에서 학습부(120)는 사용자의 머리, 허리 및 양발 중 적어도 하나의 위치 정보를 포함하는 학습 피처에 기초하여 움직임 유형을 전진 또는 후진으로 분류하는 인공 지능 기반의 판별 모델을 구축할 수 있다.
다음으로, 단계 S13에서 분석부(130)는 타겟 사용자에 대한 대상 센서 데이터를 수신할 수 있다.
다음으로, 단계 S14에서 분석부(130)는 구축된 판별 모델에 기초하여 수신된 대상 센서 데이터에 대응하는 타겟 사용자의 움직임 유형을 판단할 수 있다.
다음으로, 단계 S15에서 구현부(140)는 단계 S14에서의 판단 결과에 기초하여 타겟 사용자의 움직임을 타겟 사용자에게 제공되는 VR 환경에 반영할 수 있다.
상술한 설명에서, 단계 S11 내지 S15는 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본원의 일 실시예에 따른 인공지능 기반의 VR 환경에서의 전후진 움직임 탐지 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 인공지능 기반의 VR 환경에서의 전후진 움직임 탐지 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
10: VR 콘텐츠 제공 시스템
100: 인공지능 기반의 VR 환경에서의 전후진 움직임 탐지 장치
110: 수집부
120: 학습부
130: 분석부
140: 구현부
20: 네트워크
200: 사용자 단말
1: 대상 센서 데이터
2: 움직임 유형

Claims (15)

  1. 인공지능 기반의 VR 환경에서의 전후진 움직임 탐지 방법에 있어서,
    복수의 사용자의 VR 환경에서의 전진 움직임과 연계된 제1센서 데이터 및 상기 VR 환경에서의 후진 움직임과 연계된 제2센서 데이터를 포함하는 학습 데이터를 준비하는 단계;
    상기 학습 데이터에 기초하여, 대상 센서 데이터가 수신되면 상기 대상 센서 데이터에 대응하는 움직임 유형을 판단하는 판별 모델을 구축하는 단계;
    타겟 사용자에 대한 상기 대상 센서 데이터를 수신하는 단계; 및
    상기 판별 모델에 기초하여 상기 대상 센서 데이터에 대응하는 상기 움직임 유형을 판단하는 단계,
    를 포함하는, 탐지 방법.
  2. 제1항에 있어서,
    상기 VR 환경은,
    미리 설정된 공간 범위 내에서 이동이 허용되고, 상기 공간 범위 내에서 제자리 걸음을 통해 상기 전진 움직임 또는 상기 후진 움직임을 수행하도록 구현되는 WIP(Walking-in-Place) 기반의 가상현실 환경인 것을 특징으로 하는, 탐지 방법.
  3. 제2항에 있어서,
    상기 제1센서 데이터 및 상기 제2센서 데이터는,
    상기 복수의 사용자 각각의 머리, 허리 및 양발 중 적어도 하나에 부착 또는 착용되는 추적 장치에 기초하여 획득되는 상기 복수의 사용자 각각의 머리, 허리 및 양발 중 적어도 하나의 위치 정보를 포함하고,
    상기 대상 센서 데이터는,
    상기 타겟 사용자의 머리, 허리 및 양발 중 적어도 하나에 부착 또는 착용되는 추적 장치에 기초하여 획득되는 상기 타겟 사용자의 머리, 허리 및 양발 중 적어도 하나의 위치 정보를 포함하는 것인, 탐지 방법.
  4. 제3항에 있어서,
    상기 학습 데이터를 준비하는 단계는,
    상기 VR 환경에 기초하여 전진 움직임 요청을 표시하고, 상기 전진 움직임 요청 이후에 상기 추적 장치로부터 수신된 상기 위치 정보를 상기 제1센서 데이터로 획득하는 단계; 및
    상기 VR 환경에 기초하여 후진 움직임 요청을 표시하고, 상기 후진 움직임 요청 이후에 상기 추적 장치로부터 수신된 상기 위치 정보를 상기 제2센서 데이터로 획득하는 단계,
    를 포함하는 것인, 탐지 방법.
  5. 제3항에 있어서,
    상기 판별 모델을 구축하는 단계는,
    상기 위치 정보를 포함하는 학습 피처에 기초하여 상기 움직임 유형을 전진 또는 후진으로 분류하는 인공 지능 기반의 판별 모델을 구축하는 것인, 탐지 방법.
  6. 제5항에 있어서,
    상기 학습 피처는,
    상기 공간 범위의 중심에서 사용자의 왼발까지의 제1벡터, 상기 중심에서 사용자의 오른발까지의 제2벡터 및 상기 중심에서 사용자의 머리까지의 제3벡터와 상기 제1벡터 또는 상기 제2벡터가 이루는 각도 정보를 더 포함하는 것인, 탐지 방법.
  7. 제6항에 있어서,
    상기 판별 모델은,
    양방향 장단기 기억(Bidirectional Long-Short Term Memory, BiLSTM) 네트워크 기반의 분류 모델인 것을 특징으로 하는, 탐지 방법.
  8. 제1항에 있어서,
    상기 판단 결과에 기초하여 상기 타겟 사용자의 움직임을 상기 타겟 사용자에게 제공되는 VR 환경에 반영하는 단계,
    를 더 포함하는 것인, 탐지 방법.
  9. 인공지능 기반의 VR 환경에서의 전후진 움직임 탐지 장치에 있어서,
    복수의 사용자의 VR 환경에서의 전진 움직임과 연계된 제1센서 데이터 및 상기 VR 환경에서의 후진 움직임과 연계된 제2센서 데이터를 포함하는 학습 데이터를 준비하는 수집부;
    상기 학습 데이터에 기초하여, 대상 센서 데이터가 수신되면 상기 대상 센서 데이터에 대응하는 움직임 유형을 판단하는 판별 모델을 구축하는 학습부; 및
    타겟 사용자에 대한 상기 대상 센서 데이터를 수신하고, 상기 판별 모델에 기초하여 상기 대상 센서 데이터에 대응하는 상기 움직임 유형을 판단하는 분석부,
    를 포함하는, 탐지 장치.
  10. 제9항에 있어서,
    상기 VR 환경은,
    미리 설정된 공간 범위 내에서 이동이 허용되고, 상기 공간 범위 내에서 제자리 걸음을 통해 상기 전진 움직임 또는 상기 후진 움직임을 수행하도록 구현되는 WIP(Walking-in-Place) 기반의 가상현실 환경인 것을 특징으로 하는, 탐지 장치.
  11. 제10항에 있어서,
    상기 제1센서 데이터 및 상기 제2센서 데이터는,
    상기 복수의 사용자 각각의 머리, 허리 및 양발 중 적어도 하나에 부착 또는 착용되는 추적 장치에 기초하여 획득되는 상기 복수의 사용자 각각의 머리, 허리 및 양발 중 적어도 하나의 위치 정보를 포함하고,
    상기 대상 센서 데이터는,
    상기 타겟 사용자의 머리, 허리 및 양발 중 적어도 하나에 부착 또는 착용되는 추적 장치에 기초하여 획득되는 상기 타겟 사용자의 머리, 허리 및 양발 중 적어도 하나의 위치 정보를 포함하는 것인, 탐지 장치.
  12. 제11항에 있어서,
    상기 수집부는,
    상기 VR 환경에 기초하여 전진 움직임 요청을 표시하고, 상기 전진 움직임 요청 이후에 상기 추적 장치로부터 수신된 상기 위치 정보를 상기 제1센서 데이터로 획득하고, 상기 VR 환경에 기초하여 후진 움직임 요청을 표시하고, 상기 후진 움직임 요청 이후에 상기 추적 장치로부터 수신된 상기 위치 정보를 상기 제2센서 데이터로 획득하는 것인, 탐지 장치.
  13. 제11항에 있어서,
    상기 학습부는,
    상기 위치 정보를 포함하는 학습 피처에 기초하여 상기 움직임 유형을 전진 또는 후진으로 분류하는 양방향 장단기 기억(Bidirectional Long-Short Term Memory, BiLSTM) 네트워크 기반의 판별 모델을 구축하는 것인, 탐지 장치.
  14. 제13항에 있어서,
    상기 학습 피처는,
    상기 공간 범위의 중심에서 사용자의 왼발까지의 제1벡터, 상기 중심에서 사용자의 오른발까지의 제2벡터 및 상기 중심에서 사용자의 머리까지의 제3벡터와 상기 제1벡터 또는 상기 제2벡터가 이루는 각도 정보를 더 포함하는 것인, 탐지 장치.
  15. 제9항에 있어서,
    상기 판단 결과에 기초하여 상기 타겟 사용자의 움직임을 상기 타겟 사용자에게 제공되는 VR 환경에 반영하는 구현부,
    를 더 포함하는 것인, 탐지 장치.
KR1020210005108A 2021-01-14 2021-01-14 인공지능 기반의 vr 환경에서의 전후진 움직임 탐지 장치 및 방법 KR102321052B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210005108A KR102321052B1 (ko) 2021-01-14 2021-01-14 인공지능 기반의 vr 환경에서의 전후진 움직임 탐지 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210005108A KR102321052B1 (ko) 2021-01-14 2021-01-14 인공지능 기반의 vr 환경에서의 전후진 움직임 탐지 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210106885A true KR20210106885A (ko) 2021-08-31
KR102321052B1 KR102321052B1 (ko) 2021-11-02

Family

ID=77489559

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210005108A KR102321052B1 (ko) 2021-01-14 2021-01-14 인공지능 기반의 vr 환경에서의 전후진 움직임 탐지 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102321052B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101821592B1 (ko) * 2016-11-16 2018-01-25 그리드스페이스(주) 가상 현실을 이용한 보행 시뮬레이터 시스템 및 그 보행자 위치 산출 방법
KR20180108010A (ko) * 2017-03-23 2018-10-04 한림대학교 산학협력단 가상현실기반 보행기능 측정 시스템
KR20190085974A (ko) * 2017-01-13 2019-07-19 프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우. 하나 이상의 관성 센서들로부터 방위 정보를 정정하기 위한 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101821592B1 (ko) * 2016-11-16 2018-01-25 그리드스페이스(주) 가상 현실을 이용한 보행 시뮬레이터 시스템 및 그 보행자 위치 산출 방법
KR20190085974A (ko) * 2017-01-13 2019-07-19 프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우. 하나 이상의 관성 센서들로부터 방위 정보를 정정하기 위한 장치 및 방법
KR20180108010A (ko) * 2017-03-23 2018-10-04 한림대학교 산학협력단 가상현실기반 보행기능 측정 시스템

Also Published As

Publication number Publication date
KR102321052B1 (ko) 2021-11-02

Similar Documents

Publication Publication Date Title
Ding et al. Task and motion planning with large language models for object rearrangement
Naeem et al. A gentle introduction to reinforcement learning and its application in different fields
Robinson et al. Robotic vision for human-robot interaction and collaboration: A survey and systematic review
Tammvee et al. Human activity recognition-based path planning for autonomous vehicles
US20210081754A1 (en) Error correction in convolutional neural networks
Vasquez et al. Human aware navigation for assistive robotics
Bishop et al. Survey of locomotion systems in virtual reality
CN113515131A (zh) 基于条件变分自动编码器的移动机器人避障方法及系统
KR102321052B1 (ko) 인공지능 기반의 vr 환경에서의 전후진 움직임 탐지 장치 및 방법
KR20210054349A (ko) 환자의 상지 동작에 의해 도출되는 특징값을 이용한 임상평가척도 예측 방법
KR101724115B1 (ko) 피드백을 제공하기 위한 방법, 디바이스, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
JP5418938B2 (ja) グループ行動推定装置およびサービス提供システム
JP2009300227A (ja) 位置追跡システム、位置追跡装置、位置追跡方法およびプログラム
CN116235208A (zh) 用于制作动画的方法、系统及非暂时性计算机可读记录介质
JPWO2020003392A1 (ja) 運転支援装置および運転モード判断モデル生成装置
Ren et al. Inserting virtual pedestrians into pedestrian groups video with behavior consistency
KR102490431B1 (ko) 사용자의 움직임을 획득할 수 있는 환경을 판단하는 전자 장치의 제어 방법
Yamaguchi et al. Towards intelligent environments: Human sensing through 3d point cloud
US20220358790A1 (en) System and method for eye-tracking
JP5567725B2 (ja) グループ行動推定装置
Dimiccoli Computer vision for egocentric (first-person) vision
Gokl et al. Towards urban environment familiarity prediction
Guney et al. A deep neural network based toddler tracking system
Haller et al. Human activity recognition based on multiple kinects
Paik et al. I feel more engaged when i move!: Deep learning-based backward movement detection and its application

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20210114

PA0201 Request for examination
PA0302 Request for accelerated examination

Patent event date: 20210406

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20210114

Patent event code: PA03021R01I

Comment text: Patent Application

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210608

Patent event code: PE09021S01D

G15R Request for early publication
PG1501 Laying open of application

Comment text: Request for Early Opening

Patent event code: PG15011R01I

Patent event date: 20210811

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20211025

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20211028

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20211028

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee