KR102139050B1

KR102139050B1 - Jump Recognition Method of Interaction Device for Virtual Reality Navigation

Info

Publication number: KR102139050B1
Application number: KR1020180070716A
Authority: KR
Inventors: 황재인; 이주영; 안상철
Original assignee: 한국과학기술연구원
Priority date: 2018-06-20
Filing date: 2018-06-20
Publication date: 2020-07-29
Also published as: KR20190143139A

Abstract

사용자의 동작 데이터를 센싱하는 센서, 상기 센싱된 동작 데이터를 반영하여 가상 공간을 구성하는 제어부 및 상기 구성된 가상 공간을 상기 사용자에게 제공하는 표시 장치를 포함하는 가상현실 네비게이션을 위한 인터랙션 장치의 점프 인식 방법이 제공된다. 가상현실 네비게이션을 위한 인터랙션 장치의 점프 인식 방법은 상기 제어부가, 상기 센서에서 측정된 사용자의 x축, y축, z축의 가속도 값에 기초하여 가속도 데이터를 생성하고, 상기 가속도 데이터를 필터에 저장하는 단계; 상기 제어부가, 상기 가속도 데이터를 생성하고, 필터에 저장하는 단계가 반복 수행하여 상기 필터에 필터 크기만큼 상기 가속도 데이터를 누적한 경우, 상기 필터에 누적된 가속도 데이터에 기초하여 동적 기준점을 생성하는 단계; 및 상기 제어부가, 현재 사이클에서 생성된 가속도 데이터와 상기 동적 기준점을 비교하여 상기 사용자의 점프 여부를 결정하는 단계를 포함한다. A jump recognition method of an interaction device for virtual reality navigation, including a sensor sensing a user's motion data, a control unit configuring a virtual space by reflecting the sensed motion data, and a display device providing the configured virtual space to the user Is provided. In the jump recognition method of the interaction device for virtual reality navigation, the control unit generates acceleration data based on the acceleration values of the user's x-axis, y-axis, and z-axis measured by the sensor, and stores the acceleration data in a filter. step; If the control unit repeatedly generates the acceleration data and stores it in a filter to accumulate the acceleration data by the filter size in the filter, generating a dynamic reference point based on the acceleration data accumulated in the filter. ; And comparing the acceleration data generated in the current cycle with the dynamic reference point to determine whether the user is jumping.

Description

Jump Recognition Method of Interaction Device for Virtual Reality Navigation

가상현실 네비게이션을 위한 인터랙션 장치의 점프 인식 방법에 관한 것으로, 구체적으로 HMD의 가속도 센서를 이용하여 가상 현실에서 점프의 유무 및 점프의 속성을 인식하는 방법에 관한 것이다.The present invention relates to a jump recognition method of an interaction device for virtual reality navigation, and specifically to a method of recognizing a presence or absence of a jump and a property of a jump in a virtual reality using an HMD acceleration sensor.

[국가지원 연구개발에 대한 설명][Explanation on national support R&D]

본 연구는 한국콘텐츠진흥원의 관리 하에 문화체육관광부의 문화기술연구개발 사업의 "지능형 증강 인터랙션 기반의 식물원, 동물원의 디지털 체험관화 기술 개발에 관한 연구"(과제 고유번호: 1375026637, 세부과제번호: R2017030028-0001)의 지원에 의하여 이루어진 것이다.This study was conducted under the supervision of the Korea Creative Content Agency, and under the supervision of the Ministry of Culture, Sports and Tourism's cultural technology research and development project, "A Study on the Development of Digital Experienced Mandarin Technology of Botanical Gardens and Zoos Based on Intelligent Augmentation Interactions" -0001).

4차 산업 혁명과 함께, 가상 현실(VR: Virtual Reality)은 특정한 환경이나 상황을 컴퓨터로 만들어서, 그것을 사용하는 사람이 마치 실제 주변 상황 또는 환경과 상호 작용을 하는 것처럼 만들어주는 인간과 컴퓨터 사이의 인터페이스를 말한다. 헤드마운트 디스플레이(HMD: Head Mounted Display), 3D 평면 디스플레이 등을 통해 가상 현실이 사용자에게 제공될 수 있다.Along with the 4th Industrial Revolution, Virtual Reality (VR) is an interface between a human and a computer that turns a specific environment or situation into a computer, making it as if the person using it were interacting with the actual surroundings or environment. Says Virtual reality may be provided to a user through a head mounted display (HMD), a 3D flat panel display, or the like.

이러한, 가상 현실에 참여하는 사용자의 동작을 인터페이스 방식, 특히 사용자의 보행 동작을 인식하여 가상 현실을 네비게이션하는 방법도 다양하게 방식으로 개발되고 있다. 다만, 사용자의 보행, 방향 전환 등의 사용자의 보행 동작은 종래의 트레드밀 방식, 영상 방식, 패드 방식 등을 통해 가상 현실 네비게이션으로 구현 가능하였으나, 사용자의 점프 동작은 가상 현실 네비게이션에 정확하게 구현되지는 못하였다.In this way, a method of navigating the virtual reality by recognizing the user's gait motion in an interface manner is developed in various ways. However, the user's gait motions, such as the user's gait and direction change, can be implemented by virtual reality navigation through a conventional treadmill method, image method, pad method, etc. Did.

사용자에 따라 점프 동작의 크기, 점프 능력이 상이한 바 사용자에 대한 고려 없이 일정 시간을 기준으로 점프 동작을 가상 현실에 구현한 경우, 사용자는 실제 점프 동작을 마쳤으나, 가상 현실에 모델링된 사용자 모델은 여전히 점프된 상태로 구현될 수 있다. 즉, 점프 동작과 관련하여 실제 현실과 가상 현실 상의 괴리감을 최소화하고 사용자의 실제 점프 동작을 정확하게 가상 현실 상에 구현할 수 있는 방법이 요구되고 있는 실정이다.Since the size and jump ability of the jump motion differ depending on the user, when the jump motion is implemented in the virtual reality based on a certain time without considering the user, the user has finished the actual jump motion, but the user model modeled in the virtual reality is It can still be implemented in a jumped state. That is, there is a need for a method capable of minimizing the separation between the real and virtual reality in relation to the jump operation and accurately implementing the user's real jump operation on the virtual reality.

특허출원공개 제2002-0077617호Patent Application Publication No. 2002-0077617

본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 구체적으로, 사용자의 점프를 인식하여 가상 현실 상에 정확하게 구현할 수 있는 방법을 제공한다.The present invention has been devised to solve the above-mentioned problems, and specifically, provides a method capable of accurately realizing on a virtual reality by recognizing a user's jump.

본 명세서의 일 실시예에 따른 가상현실 네비게이션을 위한 인터랙션 장치의 점프 인식 방법은 사용자의 동작 데이터를 센싱하는 센서, 상기 센싱된 동작 데이터를 반영하여 가상 공간을 구성하는 제어부 및 상기 구성된 가상 공간을 상기 사용자에게 제공하는 표시 장치를 포함하는 가상현실 네비게이션을 위한 인터랙션 장치의 점프 인식 방법으로, 상기 제어부가, 상기 센서에서 측정된 사용자의 x축, y축, z축의 가속도 값에 기초하여 가속도 데이터를 생성하고, 상기 가속도 데이터를 필터에 저장하는 단계; 상기 제어부가, 상기 가속도 데이터를 생성하고, 필터에 저장하는 단계가 반복 수행하여 상기 필터에 필터 크기만큼 상기 가속도 데이터를 누적한 경우, 상기 필터에 누적된 가속도 데이터에 기초하여 동적 기준점을 생성하는 단계; 및 상기 제어부가, 현재 사이클에서 생성된 가속도 데이터와 상기 동적 기준점을 비교하여 상기 사용자의 점프 여부를 결정하는 단계를 포함한다.The jump recognition method of the interaction device for virtual reality navigation according to an embodiment of the present specification includes a sensor for sensing user's motion data, a control unit for configuring the virtual space by reflecting the sensed motion data, and the configured virtual space. As a jump recognition method of an interaction device for virtual reality navigation including a display device provided to a user, the control unit generates acceleration data based on acceleration values of the user's x-axis, y-axis, and z-axis measured by the sensor. And storing the acceleration data in a filter; If the control unit repeatedly generates the acceleration data and stores it in a filter to accumulate the acceleration data by the filter size in the filter, generating a dynamic reference point based on the acceleration data accumulated in the filter. ; And comparing the acceleration data generated in the current cycle with the dynamic reference point to determine whether the user is jumping.

일 실시예에서, 상기 가속도 데이터는 하기 수학식 1과 같이 산출될 수 있다. In one embodiment, the acceleration data may be calculated as in Equation 1 below.

[수학식 1][Equation 1]

여기서, S_acc는 가속도 데이터, x는 x축의 가속도 값, y는 y축의 가속도 값, z는 z축의 가속도 값을 나타낸다.Here, S _acc is acceleration data, x is an acceleration value on the x-axis, y is an acceleration value on the y-axis, and z is an acceleration value on the z-axis.

일 실시예에서, 상기 동적 기준점은 필터의 평균 값 및 필터의 표준 편차를 포함하고, 상기 사용자의 점프 여부를 결정하는 단계는, 상기 현재 사이클에서 생성된 가속도 데이터에서 상기 필터의 평균 값을 차감한 값이 특정 상수 값으로 미리 설정되는 임계 값과 상기 필터의 표준 편차를 곱한 값을 초과하는 경우, 상기 사용자가 점프 동작의 이륙 단계에 해당하는 것으로 판단할 수 있다.In one embodiment, the dynamic reference point includes the average value of the filter and the standard deviation of the filter, and the step of determining whether or not the user jumps is obtained by subtracting the average value of the filter from acceleration data generated in the current cycle. When the value exceeds a value multiplied by a standard constant of the filter and a threshold preset in advance as a specific constant value, the user may determine that it corresponds to a takeoff phase of the jump operation.

일 실시예에서, 상기 사용자의 점프 여부를 결정하는 단계는, 상기 사용자가 점프 동작의 이륙 단계에 해당하는 것으로 판단된 이후, 상기 임계 값과 상기 필터의 표준 편차를 임시 기준점으로 설정하는 단계를 포함할 수 있다.In one embodiment, the step of determining whether or not the user jumps includes setting the threshold and the standard deviation of the filter as a temporary reference point after the user is determined to correspond to the takeoff step of the jump operation. can do.

일 실시예에서, 상기 사용자의 점프 여부를 결정하는 단계는, 상기 현재 사이클에서 생성된 가속도 데이터에서 상기 필터의 평균 값을 차감한 값이 특정 상수 값으로 미리 설정되는 임계 값과 상기 필터의 표준 편차를 곱한 값 이하로 판단되는 경우, 상기 현재 사이클에서 생성된 가속도 데이터에서 상기 필터의 평균 값을 차감한 값과 미리 설정된 임시 기준점을 비교하는 단계를 더 수행하고, In one embodiment, the step of determining whether or not the user is jumping includes: a threshold value in which a value obtained by subtracting the average value of the filter from acceleration data generated in the current cycle is set as a specific constant value, and a standard deviation of the filter If it is determined to be less than or equal to the multiplied value, comparing the value obtained by subtracting the average value of the filter from the acceleration data generated in the current cycle, and comparing the preset temporary reference point,

상기 현재 사이클에서 생성된 가속도 데이터에서 상기 필터의 평균 값을 차감한 값과 미리 설정된 임시 기준점을 초과하는 경우, 상기 사용자가 점프 동작의 이륙 단계에 해당하는 것으로 판단할 수 있다. When the average value of the filter is subtracted from the acceleration data generated in the current cycle and a preset temporary reference point is exceeded, it may be determined that the user corresponds to the takeoff phase of the jump operation.

일 실시예에서, 상기 사용자의 점프 여부를 결정하는 단계는, 상기 사용자의 보행 여부를 판단하는 단계; 상기 사용자가 제자리에 있는 상태인 경우, 미리 설정된 고정된 기준점과 상기 현재 사이클에서 생성된 가속도 데이터를 비교하여 제자리 점프 여부를 결정하는 단계; 및 상기 사용자가 보행 상태인 경우, 상기 현재 사이클에서 생성된 가속도 데이터와 상기 동적 기준점을 비교하고, 상기 미리 설정된 고정된 기준점과 상기 현재 사이클에서 생성된 가속도 데이터를 비교하여 러닝 점프 여부를 결정하는 단계를 포함할 수 있다.In one embodiment, determining whether the user is jumping includes: determining whether the user is walking; Determining whether to jump in place by comparing the preset fixed reference point with acceleration data generated in the current cycle when the user is in a place; And when the user is in a walking state, comparing acceleration data generated in the current cycle with the dynamic reference point, and comparing the preset fixed reference point with acceleration data generated in the current cycle to determine whether or not a running jump occurs. It may include.

일 실시예에서, 상기 사용자의 점프 여부를 결정하는 단계는, 상기 사용자가 점프 동작의 이륙 단계에 해당하는 것으로 판단된 이후, 상기 현재 사이클의 가속도 데이터에서 상기 필터의 평균 값을 차감한 값이 음수인지 여부를 판단하는 단계 및 차감한 값이 음수인 경우, 상기 현재 사이클의 가속도 데이터에서 필터의 평균 값을 차감한 값의 미분 값이 양수인 지 여부를 판단하는 단계를 포함하며, 상기 현재 사이클의 가속도 데이터에서 필터의 평균 값을 차감한 값의 미분 값이 양수인 경우, 상기 사용자가 점프 동작의 하강 단계에 해당하는 것으로 판단할 수 있다.In one embodiment, the step of determining whether or not the user jumps is a value obtained by subtracting the average value of the filter from the acceleration data of the current cycle after the user is determined to correspond to the takeoff step of the jump operation. And determining whether or not the differential value of the value obtained by subtracting the average value of the filter from the acceleration data of the current cycle is a positive step if the subtracted value is negative. When the differential value of the value obtained by subtracting the average value of the filter from the data is a positive number, it may be determined that the user corresponds to a falling step of the jump operation.

본 발명의 일 실시예에 따른 가상현실 네비게이션을 위한 인터랙션 장치는 사용자의 동작 데이터를 센싱하는 센서, 상기 센싱된 동작 데이터를 반영하여 가상 공간을 구성하는 제어부 및 상기 구성된 가상 공간을 상기 사용자에게 제공하는 표시 장치를 포함하는 가상현실 네비게이션을 위한 인터랙션 장치로서, 상기 제어부는, 상기 센서에서 측정된 사용자의 x축, y축, z축의 가속도 값에 기초하여 가속도 데이터를 생성하고, 상기 가속도 데이터를 필터에 저장하고, 상기 필터에 필터 크기만큼 상기 가속도 데이터를 누적한 경우, 상기 필터에 누적된 가속도 데이터에 기초하여 동적 기준점을 생성하며, 현재 사이클에서 생성된 가속도 데이터와 상기 동적 기준점을 비교하여 상기 사용자의 점프 여부를 결정할 수 있다.The interaction device for virtual reality navigation according to an embodiment of the present invention provides a sensor for sensing a user's motion data, a control unit for configuring a virtual space by reflecting the sensed motion data, and the configured virtual space for the user An interaction device for virtual reality navigation including a display device, wherein the control unit generates acceleration data based on the acceleration values of the user's x-axis, y-axis, and z-axis measured by the sensor, and the acceleration data is generated in a filter. When storing and accumulating the acceleration data by the filter size in the filter, a dynamic reference point is generated based on the acceleration data accumulated in the filter, and the dynamic reference point is compared with the acceleration data generated in the current cycle to generate the dynamic reference point. You can decide whether to jump.

[수학식 1][Equation 1]

일 실시예에서, 상기 동적 기준점은 필터의 평균 값 및 필터의 표준 편차를 포함하고, 상기 제어부는, 상기 현재 사이클에서 생성된 가속도 데이터에서 상기 필터의 평균 값을 차감한 값이 특정 상수 값으로 미리 설정되는 임계 값과 상기 필터의 표준 편차를 곱한 값을 초과하는 경우, 상기 사용자가 점프 동작의 이륙 단계에 해당하는 것으로 판단할 수 있다.In one embodiment, the dynamic reference point includes the average value of the filter and the standard deviation of the filter, and the control unit predetermines a specific constant value by subtracting the average value of the filter from acceleration data generated in the current cycle. When the set threshold value and the value multiplied by the standard deviation of the filter are exceeded, it may be determined that the user corresponds to the take-off phase of the jump operation.

일 실시예에서, 상기 제어부는, 상기 사용자가 점프 동작의 이륙 단계에 해당하는 것으로 판단된 이후, 상기 임계 값과 상기 필터의 표준 편차를 임시 기준점으로 설정하는 것을 더 포함할 수 있다.In one embodiment, the control unit may further include setting the threshold and the standard deviation of the filter as a temporary reference point after the user is determined to correspond to the takeoff phase of the jump operation.

일 실시예에서, 상기 제어부는, 상기 현재 사이클에서 생성된 가속도 데이터에서 상기 필터의 평균 값을 차감한 값이 특정 상수 값으로 미리 설정되는 임계 값과 상기 필터의 표준 편차를 곱한 값 이하로 판단되는 경우, 상기 현재 사이클에서 생성된 가속도 데이터에서 상기 필터의 평균 값을 차감한 값과 미리 설정된 임시 기준점을 더 비교하고, 상기 현재 사이클에서 생성된 가속도 데이터에서 상기 필터의 평균 값을 차감한 값과 미리 설정된 임시 기준점을 초과하는 경우, 상기 사용자가 점프 동작의 이륙 단계에 해당하는 것으로 판단할 수 있다.In one embodiment, the control unit determines that a value obtained by subtracting the average value of the filter from the acceleration data generated in the current cycle is equal to or less than a threshold value preset as a specific constant value and a standard deviation of the filter. In case, the acceleration data generated in the current cycle further compares the value obtained by subtracting the average value of the filter from a preset temporary reference point, and the value obtained by subtracting the average value of the filter from the acceleration data generated in the current cycle When the set temporary reference point is exceeded, it may be determined that the user corresponds to the take-off phase of the jump operation.

일 실시예에서, 상기 제어부는, 상기 사용자의 보행 여부를 먼저 판단하고, 상기 사용자가 제자리에 있는 상태인 경우, 미리 설정된 고정된 기준점과 상기 현재 사이클에서 생성된 가속도 데이터를 비교하여 제자리 점프 여부를 결정하고, 상기 사용자가 보행 상태인 경우, 상기 현재 사이클에서 생성된 가속도 데이터와 상기 동적 기준점을 비교하고, 상기 미리 설정된 고정된 기준점과 상기 현재 사이클에서 생성된 가속도 데이터를 비교하여 러닝 점프 여부를 결정할 수 있다.In one embodiment, the control unit determines whether the user is walking first, and when the user is in a position, compares the preset fixed reference point with acceleration data generated in the current cycle to determine whether to jump in place. When the user is in the walking state, the acceleration data generated in the current cycle is compared with the dynamic reference point, and the preset fixed reference point is compared with the acceleration data generated in the current cycle to determine whether a running jump is made. Can.

일 실시예에서, 상기 제어부는, 상기 사용자가 점프 동작의 이륙 단계에 해당하는 것으로 판단된 이후, 상기 현재 사이클의 가속도 데이터에서 상기 필터의 평균 값을 차감한 값이 음수인지 여부를 더 판단하고, 상기 차감한 값이 음수인 경우, 상기 현재 사이클의 가속도 데이터에서 필터의 평균 값을 차감한 값의 미분 값이 양수인 지 여부를 더 판단하며, 상기 현재 사이클의 가속도 데이터에서 필터의 평균 값을 차감한 값의 미분 값이 양수인 경우, 상기 사용자가 점프 동작의 하강 단계에 해당하는 것으로 판단할 수 있다.In one embodiment, the control unit further determines whether the value obtained by subtracting the average value of the filter from the acceleration data of the current cycle is negative after the user is determined to correspond to the takeoff phase of the jump operation, When the subtracted value is negative, it is further determined whether the differential value of the value obtained by subtracting the average value of the filter from the acceleration data of the current cycle is positive, and the average value of the filter is subtracted from the acceleration data of the current cycle. When the differential value of the value is positive, it may be determined that the user corresponds to the falling step of the jump operation.

점프 동작과 관련하여 실제 현실과 가상 현실 상의 괴리감을 최소화하고 사용자의 실제 점프 동작을 정확하게 가상 현실 상에 구현할 수 있다.With regard to the jump motion, it is possible to minimize the separation between the real and virtual reality and accurately implement the user's real jump motion on the virtual reality.

도 1은 본 발명의 일 실시예에 따른 가상현실 네비게이션을 위한 인터랙션 장치의 블록도이다.
도 2은 시간에 따라 산출된 가속도 데이터를 나타낸 그래프이다.
도 3은 가상현실 네비게이션 및 인터랙션을 위한 점프 인식 방법의 순서도이다.
도 4는 점프 여부 결정하는 단계에서 이륙 단계를 인식하는 순서도이다.
도 5는 점프 여부 결정하는 단계에서 하강 단계를 인식하는 순서도이다.1 is a block diagram of an interaction device for virtual reality navigation according to an embodiment of the present invention.
2 is a graph showing acceleration data calculated over time.
3 is a flowchart of a jump recognition method for virtual reality navigation and interaction.
4 is a flowchart for recognizing a takeoff step in the step of determining whether to jump.
5 is a flowchart of recognizing a descending step in a step of determining whether to jump.

이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. DETAILED DESCRIPTION The following detailed description, together with the accompanying drawings, is intended to describe exemplary embodiments of the present invention, and is not intended to represent the only embodiments in which the present invention may be practiced.

이하의 상세한 설명은 본 발명의 완전한 이해를 제공하기 위해서 구체적 세부사항을 포함한다. 그러나, 당업자는 본 발명이 이러한 구체적 세부사항 없이도 실시될 수 있음을 인지할 수 있다. 이하의 설명에서 사용되는 특정 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.The following detailed description includes specific details to provide a thorough understanding of the present invention. However, one skilled in the art will appreciate that the present invention may be practiced without these specific details. Certain terms used in the following description are provided to help the understanding of the present invention, and the use of these specific terms may be changed to other forms without departing from the technical spirit of the present invention.

도 1은 본 발명의 일 실시예에 따른 가상현실 네비게이션을 위한 인터랙션 장치의 블록도이다. 가상현실 네비게이션을 위한 인터랙션 장치(10)는 표시 장치(100), 센서(200), 제어부(300)를 포함할 수 있다.1 is a block diagram of an interaction device for virtual reality navigation according to an embodiment of the present invention. The interaction device 10 for virtual reality navigation may include a display device 100, a sensor 200, and a control unit 300.

실시예들에 따른 가상현실 네비게이션을 위한 인터랙션 장치는, 전적으로 하드웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 본 명세서의 가상현실 네비게이션을 위한 인터랙션 장치 및 이에 포함된 각 부(unit)는, 특정 형식 및 내용의 데이터를 전자통신 방식으로 주고받기 위한 장치 및 이에 관련된 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부", "모듈(module)", "서버(server)", "시스템", "장치" 또는 "단말" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 여기서 하드웨어는 CPU 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.The interaction device for virtual reality navigation according to the embodiments may have aspects that are entirely hardware or partially hardware and partially software. For example, the interaction device for virtual reality navigation of the present specification and each unit included therein may collectively refer to a device for transmitting and receiving data of a specific format and content in an electronic communication method and software related thereto. In this specification, terms such as “part”, “module”, “server”, “system”, “device”, or “terminal” refer to a combination of hardware and software driven by the hardware. Is intended. For example, the hardware here may be a data processing device comprising a CPU or other processor. In addition, software driven by hardware may refer to a running process, an object, an executable, a thread of execution, a program, or the like.

표시 장치(100)는 가상 공간 영상을 표시할 수 있다. 표시 장치(100)는 헤드마운트 디스플레이 장치(HMD), 휴대용 디스플레이 장치 이거나 평면 또는 곡면 스크린일 수 있다. 본 명세서에서는 설명의 명료화를 위해서 표시 장치(100)가 HMD인 경우를 예로 들어 설명하나 다른 형태의 표시장치에도 동일하게 적용될 수 있음이 이해되어야 한다.The display device 100 may display a virtual space image. The display device 100 may be a head mounted display device (HMD), a portable display device, or a flat or curved screen. In this specification, for clarity of description, it is understood that the display device 100 is an HMD as an example, but it should be understood that the same can be applied to other types of display devices.

센서(200)는 사용자의 움직임을 인식할 수 있으며, 위치 변화를 인식할 수 있다. 센서(200)는 사용자의 다리 움직임을 관측할 수 있으며, 사용자의 수평 위치 변화뿐만 아니라 수직 위치 변화를 인식할 수 있다. 센서(200)는 다리 움직임 센서(210) 및 머리 방향 센서(220)를 포함할 수 있다. The sensor 200 may recognize a user's movement and may recognize a position change. The sensor 200 may observe the user's leg movement, and recognize a vertical position change as well as a user's horizontal position change. The sensor 200 may include a leg motion sensor 210 and a head direction sensor 220.

다리 움직임 센서(210)는 가상공간영상을 바라보는 사용자의 다리 움직임을 감지할 수 있다. 예컨대 다리 움직임 센서(210)는 사용자의 다리가 움직이는지 여부, 다리가 움직이는 동작의 형태 및 속도 등을 감지할 수 있다. 또한 다리 움직임 센서(210)는 사용자가 보행 여부, 점프 여부, 제자리 보행 여부, 제자리 점프 여부 등을 감지할 수 있다.The leg motion sensor 210 may detect a user's leg motion looking at a virtual space image. For example, the leg motion sensor 210 may detect whether the user's leg is moving, the type and speed of the leg's moving motion, and the like. In addition, the leg motion sensor 210 may detect whether the user is walking, jumping, walking in place, jumping in place, or the like.

머리 방향 센서(220)는 사용자의 머리가 향하는 방향을 인지하여 사용자가 바라보는 방향의 변화를 감지할 수 있다.The head direction sensor 220 may detect a change in the direction the user is looking at by recognizing the direction in which the user's head is facing.

센서(200)는 가속도 센서, 지자기 센서, 적외선 센서, IMU(Inertia Measurement Unit, 관성측정유닛) 센서 중 적어도 하나를 포함할 수 있다. 다리 움직임 센서(210) 또는 머리 방향 센서(220)는 상술한 센서의 종류 중 어느 하나 이상으로 구성될 수 있다. 또한 일 실시예에서 다리 움직임 센서(210)와 머리 방향 센서(220)는 하나의 센서로 구현되거나 서로 다른 센서로 구현될 수도 있다. The sensor 200 may include at least one of an acceleration sensor, a geomagnetic sensor, an infrared sensor, and an IMU (Inertia Measurement Unit) sensor. The leg motion sensor 210 or the head direction sensor 220 may be configured with any one or more of the above-described types of sensors. Also, in one embodiment, the leg motion sensor 210 and the head direction sensor 220 may be implemented as one sensor or may be implemented as different sensors.

센서(200)는 사용자의 신체에 부착되는 방식, 사용자가 타는 방식, 파지하는 방식 등이 이용될 수 있다. 예시적으로, 표시 장치(100)가 HMD로 구현되는 경우, 센서(200)는 표시 장치(100)와 함께 하나의 제품 내에 구성될 수도 있다. The sensor 200 may be a method attached to the user's body, a user riding method, a gripping method, or the like. For example, when the display device 100 is implemented as an HMD, the sensor 200 may be configured in one product together with the display device 100.

제어부(300)는 사용자의 시점을 기준으로 구현된 가상 공간을 생성할 수 있다. 다만, 이에 한정되는 것은 아니며, 제어부(300)는 사용자의 신체가 가상으로 모델링된 가상 객체를 구현할 수 있고, 가상 객체와 가상 공간 영상을 함께 생성할 수도 있다. 생성된 가상 공간 영상은 표시 장치(100)에 제공되어 사용자에게 표시될 수 있다.The control unit 300 may generate a virtual space implemented based on the user's viewpoint. However, the present invention is not limited thereto, and the controller 300 may implement a virtual object in which the user's body is virtually modeled, and may generate a virtual object and a virtual space image together. The generated virtual space image may be provided to the display device 100 and displayed to the user.

제어부(300)는 적어도 센서(200)에서 인식되는 사용자의 움직임에 따른 시점 변화, 시선 변화 또는 위치 변화를 반영하여 가상 공간 영상을 사용자에게 제공할 수 있다. 사용자의 머리 방향 변화에 따른 시점 또는 시선 변화, 보행에 따른 위치 변화 등을 반영하여 가상 공간 영상을 생성할 수 있다. 사용자의 실제 움직임에 따른 변화된 가상 공간 영상이 표시 장치(100)를 통해 제공되기에 사용자는 가상 공간에서도 현실감을 체험할 수 있다.The controller 300 may provide a virtual space image to the user by reflecting a change in viewpoint, a gaze change, or a position change according to at least a user's movement recognized by the sensor 200. A virtual space image may be generated by reflecting a viewpoint or a gaze change according to a change in a user's head direction, and a position change according to walking. Since the changed virtual space image according to the actual movement of the user is provided through the display device 100, the user can experience the reality in the virtual space.

본 실시예에 따른 제어부(300)는 센서(200)에서 측정된 사용자의 동작에서, 점프 동작을 유, 무를 인식하고, 점프 동작의 속성을 인식할 수 있으며, 이에 따른 가상 공간 영상을 생성할 수 있다. 이하, 제어부(300)에서 점프 동작을 인식하는 방법에 대해 보다 상세히 설명하도록 한다.The control unit 300 according to the present exemplary embodiment may recognize whether or not a jump operation is present or not, and recognize a property of the jump operation in the user's motion measured by the sensor 200, and thereby generate a virtual space image. have. Hereinafter, a method of recognizing the jump operation by the control unit 300 will be described in more detail.

도 2은 시간에 따라 산출된 가속도 데이터를 나타낸 그래프이다.2 is a graph showing acceleration data calculated over time.

사용자의 신체적 특성에 따라 점프 정도, 체공 시간이 다를 수 있다. 특히 제자리 점프(stand jump)가 아닌 보행 중 발생하는 러닝 점프(running jump)의 경우 이러한 사용자 신체적 특성이 보다 반영될 수 있고, 러닝 점프의 정도, 체공 시간의 차이는 사용자에 따라 보다 크게 나타난다. 따라서, 사용자의 신체적 특성에 따라 이륙 상태 또는 착지 상태를 결정하는 임계치도 상이할 수 있다. 제어부(300)는 보다 정확한 점프 상태의 인식을 위해 사용자에 따라 동적 기준점(Dynamic threshold)를 산출하며, 산출된 동적 기준점을 기준으로 점프 동작 단계의 변화를 판단할 수 있다. 제어부(300)는 사용자에 따라 결정된 동적 기준점을 기준으로 사용자의 점프 동작 변화, 적어도 이륙 상태로의 상태 변화 또는 착지 상태로의 상태 변화를 결정할 수 있으며, 이를 반영하여 가상 공간 영상을 생성, 사용자에게 제공할 수 있다.Depending on the user's physical characteristics, the degree of jump and flight time may be different. In particular, in the case of a running jump that occurs during walking rather than a stand jump, the user's physical characteristics may be more reflected, and a difference in the degree of running jump and flight time may be greater depending on the user. Therefore, the threshold value for determining the take-off state or the landing state according to the physical characteristics of the user may be different. The controller 300 may calculate a dynamic threshold according to the user for more accurate recognition of the jump state, and may determine a change in the jump operation step based on the calculated dynamic reference point. The controller 300 may determine a change in a user's jump motion, a change in a state to a take-off state, or a state change to a landing state based on the dynamic reference point determined according to the user, and generate a virtual space image by reflecting this, to the user Can provide.

본 실시예에서, 센서(200)는 실시간으로 사용자의 동작 데이터를 센싱하여 제어부(300)에 제공할 수 있고, 제어부(300)는 센서(200)에서 제공되는 정보에 기초하여 동적 기준점을 결정할 수 있다. 구체적으로, 센서(200)는 사용자의 평면 방향의 이동에 대한 가속도 값과 수직 방향의 이동에 대한 가속도 값을 측정할 수 있다. 예시적으로, 사용자는 x축, y축으로 구성된 평면을 기준으로 수평 이동 및 상기 평면에 수직인 z축을 기준으로 수직 이동이 가능하며, 센서(200)는 사용자를 기준으로 좌우 방향의 이동을 나타내는 x축, 사용자를 기준으로 앞뒤 방향의 이동을 나타내는 y축, 사용자를 기준으로 위아래 방향의 이동을 나타내는 z축에 따른 가속도 값을 각각 획득할 수 있다.In this embodiment, the sensor 200 may sense the user's motion data in real time and provide it to the control unit 300, and the control unit 300 may determine a dynamic reference point based on information provided by the sensor 200 have. Specifically, the sensor 200 may measure the acceleration value for the movement of the user in the plane direction and the acceleration value for the movement in the vertical direction. For example, the user can horizontally move based on a plane composed of x-axis and y-axis and vertically move based on a z-axis perpendicular to the plane, and the sensor 200 indicates movement in the left and right directions based on the user The acceleration values along the x-axis, the y-axis representing the movement in the front-rear direction based on the user, and the z-axis representing the movement in the up-down direction based on the user may be respectively obtained.

센서(200)는 각 축의 가속도 값을 실시간으로 측정할 수 있으며, 측정된 각 축의 가속도 값을 제어부(300)로 제공한다.The sensor 200 can measure the acceleration value of each axis in real time, and provides the measured acceleration value of each axis to the controller 300.

제어부(300)는 센서(200)에서 획득된 각 축의 가속도 값의 제곱을 합산한 가속도 데이터(S_acc)를 하기 수학식 1과 같이 산출한다.The controller 300 calculates acceleration data S _acc obtained by summing squares of acceleration values of each axis acquired by the sensor 200 as shown in Equation 1 below.

[수학식 1][Equation 1]

여기서, S_acc는 가속도 데이터, x는 x축의 가속도 값, y는 y축의 가속도 값, z는 z축의 가속도 값을 나타낸다. Here, S _acc is acceleration data, x is an acceleration value on the x-axis, y is an acceleration value on the y-axis, and z is an acceleration value on the z-axis.

실시간으로 측정되어 제공되는 가속도 값에 대응하여 제어부(300)는 가속도 데이터(S_acc)는 산출할 수 있고, 제어부(300)는 가속도 데이터(S_acc)를 활용하여 이륙 상태로의 변화, 하강 상태로의 변화를 판단할 수 있다. In response to the acceleration value measured and provided in real time, the control unit 300 may calculate the acceleration data S _acc , and the control unit 300 utilizes the acceleration data S _acc to change or descend to the take-off state. You can judge the change of furnace.

제어부(300)는 가속도 데이터(S_acc)가 누적되는 필터를 포함할 수 있다. 여기서, 필터는 선입선출 방식이 적용되는 임시 메모리일 수 있다. 제어부(300)는 사용자의 신체 특성을 감안하여 동적 기준점을 결정하기 위해, 필터 크기를 미리 설정할 수 있다. 필터 크기는 가속도 데이터(S_acc)를 수집하기 위한 기초 데이터의 개수를 의미한다. 센서(200)에서 각 축의 가속도 값을 측정하고, 제어부(300)가 이를 토대로 가속도 데이터(S_acc)를 생성하는 것을 하나의 사이클(cycle)로 정의할 때, 필터 크기는 동적 기준점을 결정하기 위한 사이클(cycle)의 횟수를 의미한다.The control unit 300 may include a filter in which acceleration data S _acc is accumulated. Here, the filter may be a temporary memory to which the first-in-first-out method is applied. The controller 300 may set the filter size in advance to determine the dynamic reference point in consideration of the user's body characteristics. The filter size means the number of basic data for collecting acceleration data (S _acc ). When the acceleration value of each axis is measured by the sensor 200 and the control unit 300 defines acceleration cycle (S _acc ) based on this as one cycle, the filter size is used to determine the dynamic reference point. It means the number of cycles.

필터에 설정된 필터 크기에 해당되는 가속도 데이터(S_acc)가 누적되는 경우, 제어부(300)는 누적된 가속도 데이터(S_acc)를 기초로 동적 기준점을 생성할 수 있다. 여기서, 가속도 데이터(S_acc)는 사용자 각각의 신체적 특성이 반영된 값으로 개개인에 적합한 동적 기준점은 이러한 사용자의 신체적 특성을 고려하여 설정될 수 있으며, 보다 정확한 점프 동작의 구현이 가능할 수 있다. 구체적으로, 제어부(300)는 누적된 가속도 데이터(S_acc)를 기초로 필터의 평균 값과 필터의 표준 편차를 산출할 수 있다. 누적된 가속도 데이터(S_acc)를 기초로 산출된 필터의 평균 값과 필터의 표준 편차는 다음 사이클에서 산출된 가속도 데이터(S_acc)를 판단하기 위한 동적 기준점으로써 활용된다. 제어부(300)의 필터는 선입선출 방식일 수 있다. 따라서, 필터에 삽입된 오래된 데이터는 삭제되고, 현재 사이클에서 생성된 가속도 데이터(S_acc)가 삽입되어 다음 사이클에서 제공된 가속도 데이터(S_acc)를 판단하기 위한 새로운 값의 필터의 평균 값과 필터의 표준 편차가 산출될 수 있다. When the acceleration data S _acc corresponding to the filter size set in the filter is accumulated, the control unit 300 may generate a dynamic reference point based on the accumulated acceleration data S _acc . Here, the acceleration data S _acc is a value reflecting the physical characteristics of each user, and a dynamic reference point suitable for each individual may be set in consideration of the physical characteristics of the user, and more accurate jump motion may be implemented. Specifically, the controller 300 may calculate the average value of the filter and the standard deviation of the filter based on the accumulated acceleration data S _acc . The average value of the filter calculated based on the accumulated acceleration data (S _acc ) and the standard deviation of the filter are used as a dynamic reference point for determining the acceleration data (S _acc ) calculated in the next cycle. The filter of the controller 300 may be a first-in, first-out method. Therefore, the old data inserted in the filter is deleted, and the acceleration data (S _acc ) generated in the current cycle is inserted, so that the average value of the filter and the filter of the new value to determine the acceleration data (S _acc ) provided in the next cycle. Standard deviations can be calculated.

제어부(300)는 필터에 필터 크기만큼 누적된 가속도 데이터(S_acc)를 기초로 산출된 필터의 평균 값과 필터의 표준 편차를 매 사이클마다 생성할 수 있다. 즉, 본 실시예에 따른 가상현실 네비게이션을 위한 인터랙션 장치(10)는 사용자의 신체적 특성을 반영한 동적 기준점을 매 사이클마다 생성할 수 있고, 이를 기초로 사용자의 점프 동작을 결정할 수 있다.The control unit 300 may generate the average value of the filter and the standard deviation of the filter every cycle based on the acceleration data S _acc accumulated by the filter size. That is, the interaction device 10 for virtual reality navigation according to the present embodiment may generate a dynamic reference point that reflects a user's physical characteristics every cycle, and based on this, determine a user's jump motion.

제어부(300)는 임계 값을 미리 설정할 수 있다. 임계 값은 동적 기준점을 적용하는 알고리즘의 제트 스코어(Z-score)일 수 있으며, 민감도를 고려한 특정 상수 값으로 미리 설정될 수 있다. 제어부(300)는 현재 사이클에서 생성된 가속도 데이터(S_acc)에서 필터의 평균 값을 차감한 값과 임계 값과 필터의 표준 편차를 곱한 값을 비교하여 현재 사이클에서 사용자의 점프 여부를 결정할 수 있다. 제어부(300)는 현재 사이클에서 생성된 가속도 데이터(S_acc)에서 필터의 평균 값을 차감한 값이 임계 값과 필터의 표준 편차를 곱한 값을 초과하는 경우, 현재 사용자가 점프 동작의 이륙 단계에 해당하는 것으로 판단할 수 있다.The control unit 300 may set a threshold value in advance. The threshold value may be a jet score (Z-score) of an algorithm applying a dynamic reference point, and may be set in advance to a specific constant value considering sensitivity. The controller 300 may determine whether the user jumps in the current cycle by comparing the value obtained by subtracting the average value of the filter from the acceleration data S _acc generated in the current cycle and the threshold multiplied by the standard deviation of the filter. . When the value obtained by subtracting the average value of the filter from the acceleration data S _acc generated in the current cycle exceeds the value obtained by multiplying the threshold and the standard deviation of the filter, the controller 300 performs the current user in the takeoff phase of the jump operation. It can be judged as applicable.

도 2는 측정된 가속도 데이터(S_acc)에서 필터의 평균 값을 차감한 값과 임계 값과 필터의 표준 편차를 곱한 값을 그래프에 도시한 것이다. 그래프에서 X축은 시간을 나타내며, Y축은 가속도 값을 나타낸다. 또한, (a) 구간은 점프 동작으로 인식되지 않은 복수의 사이클을 나타내며, (b) 구간은 점프 동작으로 인식된 사이클을 나타낸다. 점프 동작으로 인식되지 않은 (a) 구간에서 가속도 데이터(S_acc)에서 필터의 평균 값을 차감한 값은 임계 값과 필터의 표준 편차를 곱한 값보다 낮은 수치를 나타낸다. (b) 구간에서 가속도 데이터(S_acc)에서 필터의 평균 값을 차감한 값은 임계 값과 필터의 표준 편차를 곱한 값을 초과할 수 있으며, 이에 기초하여 제어부(300)는 사용자의 동작을 점프 동작으로 인식할 수 있다.FIG. 2 is a graph showing a value obtained by subtracting the average value of the filter from the measured acceleration data S _acc , and multiplying the threshold by the standard deviation of the filter. In the graph, the X-axis represents time, and the Y-axis represents acceleration values. In addition, the section (a) represents a plurality of cycles not recognized as a jump operation, and the section (b) represents a cycle recognized as a jump operation. The value obtained by subtracting the average value of the filter from the acceleration data (S _acc ) in the section (a) not recognized as a jump operation represents a value lower than the value obtained by multiplying the threshold and the standard deviation of the filter. The value obtained by subtracting the average value of the filter from the acceleration data S _acc in the period (b) may exceed a value multiplied by a threshold value and a standard deviation of the filter, and based on this, the controller 300 jumps the user's motion It can be recognized as an action.

제어부(300)는 고정된 기준점을 미리 설정할 수 있다. 고정된 기준점은 점프 동작을 인식하게 되는 최소 임계치로서, 미리 설정된 상수 값일 수 있다. 제어부(300)는 현재 사용자의 점프 여부를 결정하는 임계치로 동적 기준점과 고정된 기준점을 모두 고려할 수 있다. The control unit 300 may set a fixed reference point in advance. The fixed reference point is a minimum threshold value for recognizing a jump operation, and may be a preset constant value. The controller 300 may consider both a dynamic reference point and a fixed reference point as thresholds for determining whether or not the current user is jumping.

제어부(300)는 센서(200)에서 측정된 사용자의 동작 데이터로써 사용자의 보행(Walking) 여부를 판단할 수 있다. 제어부(300)는 현재 사용자가 보행 상태가 아닌 경우, 제자리에 있는 상태인 경우 고정된 기준점만을 사용하여 점프 여부를 결정할 수도 있다. 제자리 점프는 사용자의 동작 반경이 크지 않은 바, 가속도 값이 작을 수 있으며 미리 설정된 고정된 기준점만으로 점프 동작을 인식하는 것이 유리할 수 있다. 제어부(300)는 사용자가 제자리에 있는 경우, 현재 사이클에서 생성된 가속도 데이터(S_acc)와 고정된 기준점을 비교하여 제자리 점프를 수행하는 지 여부를 결정할 수 있다. 제어부(300)는 현재 사이클에서 생성된 가속도 데이터(S_acc)가 고정된 기준점을 초과하는 경우, 현재 사용자가 제자리 점프 동작 단계의 이륙 단계에 해당하는 것으로 판단할 수 있다.The controller 300 may determine whether the user is walking by using the user's motion data measured by the sensor 200. If the current user is not walking, the controller 300 may determine whether to jump using only a fixed reference point. In place of the jump, since the user's motion radius is not large, the acceleration value may be small, and it may be advantageous to recognize the jump motion only with a preset fixed reference point. When the user is in place, the controller 300 may determine whether to perform an in-place jump by comparing acceleration data S _acc generated in the current cycle with a fixed reference point. When the acceleration data S _acc generated in the current cycle exceeds a fixed reference point, the controller 300 may determine that the current user corresponds to the take-off phase of the in-place jump operation phase.

사용자가 보행 상태인 경우, 제어부(300)는 상술한 동적 기준점과 고정된 기준점을 모두 고려할 수 있다. 제어부(300)는 현재 사이클에서 생성된 가속도 데이터(S_acc)와 고정된 기준점을 비교하여, 생성된 가속도 데이터(S_acc)가 고정된 기준점을 초과하고, 현재 사이클에서 생성된 가속도 데이터(S_acc)와 평균 값을 차감한 값이 임계 값과 표준 편차를 곱한 값을 초과하는 경우, 현재 사용자가 러닝 점프 동작 단계의 이륙 단계에 해당하는 것으로 판단할 수 있다.When the user is in the walking state, the controller 300 may consider both the dynamic reference point and the fixed reference point described above. The controller 300 compares the acceleration data S _acc generated in the current cycle with a fixed reference point, and the generated acceleration data S _acc exceeds the fixed reference point, and the acceleration data S _acc generated in the current cycle. ) And the average value minus the threshold multiplied by the standard deviation, the current user may determine that it corresponds to the take-off phase of the running jump operation phase.

여기서, 상술한 바와 같이 제어부(300)의 필터는 선입선출 방식이므로, 필터에 삽입된 오래된 데이터는 삭제되고, 현재 사이클에서 생성된 가속도 데이터(S_acc)가 삽입되어 새로운 값의 평균 값과 표준 편차가 산출된다. 즉, 도 2의 (b) 구간과 같이, 점프 동작으로 인식되는 현재 사이클에서, 현재 사이클의 가속도 데이터(S_acc) 또한 필터에 신규 데이터로 제공될 수 있다. 이러한 점프로 인식된 높은 수치를 나타내는 사이클의 가속도 데이터(S_acc)가 필터로 제공되는 경우, 다음 사이클의 동적 기준점으로 사용될 필터의 평균 값 및 필터의 표준 편차는 상향되어 산출될 수 있다. 사용자가 현재 사이클과 동일한 정도로 점프 동작을 수행하더라도 상향된 동적 기준점에 따라 다음 사이클에서 제어부(300)는 이를 점프 동작으로 인식하지 못할 수 있다. 즉, 사용자가 연속 점프를 수행하는 경우, 첫 번째 점프는 인식될 수 있으나, 상향된 동적 기준점에 따라 두 번째 점프는 인식되지 않을 수 있다.Here, as described above, since the filter of the controller 300 is a first-in, first-out method, old data inserted in the filter is deleted, and acceleration data S _acc generated in the current cycle is inserted to average the new value and standard deviation. Is calculated. That is, as in the section (b) of FIG. 2, in the current cycle recognized as the jump operation, the acceleration data S _acc of the current cycle may also be provided as new data to the filter. When the acceleration data S _acc of a cycle indicating a high value recognized as such a jump is provided as a filter, the average value of the filter to be used as the dynamic reference point of the next cycle and the standard deviation of the filter can be calculated upward. Even if the user performs a jump operation to the same degree as the current cycle, the controller 300 may not recognize it as a jump operation in the next cycle according to the raised dynamic reference point. That is, when the user performs a continuous jump, the first jump may be recognized, but the second jump may not be recognized according to an upward dynamic reference point.

여기서, 본 실시예에 따른 제어부(300)는 임시 기준점을 더 설정할 수 있다.Here, the control unit 300 according to the present embodiment may further set a temporary reference point.

제어부(300)는 현재 사이클이 점프 동작으로 인식되는 경우, 임계 값과 필터의 표준 편차를 곱한 값을 임시 기준점으로 설정할 수 있다. 설정된 임시 기준점은 일정 시간 동안 유지될 수 있다. 따라서, 사용자가 연속 점프를 하는 경우, 첫 번째 점프에 따라 동적 기준점이 상향되더라도 두 번째 점프는 첫 번째 점프에 따라 설정된 임시 기준점을 통해 점프로 인식될 수 있다. 제어부(300)는 현재 사이클의 가속도 데이터(S_acc)에서 필터의 평균 값을 차감한 값이 임계 값과 필터의 표준 편차를 곱한 값보다 낮더라도, 가속도 데이터(S_acc)에서 필터의 평균 값이 임시 기준점을 초과하는 경우, 사용자의 현재 동작을 점프 동작으로 인식할 수 있다. 구체적으로, 제어부(300)는 현재 사용자가 점프 동작 단계의 이륙 단계에 해당하는 것으로 판단할 수 있다.When the current cycle is recognized as a jump operation, the controller 300 may set a value obtained by multiplying a threshold and a standard deviation of the filter as a temporary reference point. The set temporary reference point can be maintained for a certain period of time. Accordingly, when the user continuously jumps, the second jump may be recognized as a jump through the temporary reference point set according to the first jump even though the dynamic reference point is raised according to the first jump. Even if the value obtained by subtracting the average value of the filter from the acceleration data S _acc of the current cycle is lower than the value obtained by multiplying the threshold and the standard deviation of the filter, the controller 300 has an average value of the filter from the acceleration data S _acc . When the temporary reference point is exceeded, the current motion of the user may be recognized as a jump motion. Specifically, the controller 300 may determine that the current user corresponds to the take-off phase of the jump operation phase.

상술한 바와 같이, 본 실시예에 따른 제어부(300)는 선입선출 방식에 따라 현재 사이클의 가속도 데이터(S_acc)를 필터에 저장할 수 있다. 여기서, 현재 사이클이 점프 동작으로 인식되지 않은 경우, 현재 사이클의 가속도 데이터(S_acc)는 산출된 값 그대로 저장될 수 있다. 다만, 현재 사이클이 점프 동작으로 인식된 경우, 현재 사이클의 가속도 데이터(S_acc)는 높은 수치일 수 있으며, 산출된 값이 그대로 저장되는 경우, 다음 사이클에 적용될 동적 기준점(필터의 평균 값, 필터의 표준 편차)가 상향될 수 있으며, 다음 사이클에서의 사용자의 점프 동작에 대한 정확한 판단이 어려워질 수 있다.As described above, the controller 300 according to the present embodiment may store the acceleration data S _acc of the current cycle in the filter according to the first-in first-out method. Here, when the current cycle is not recognized as a jump operation, the acceleration data S _acc of the current cycle may be stored as it is. However, if the current cycle is recognized as a jump operation, the acceleration data (S _acc ) of the current cycle may be a high value, and when the calculated value is stored as it is, a dynamic reference point (average value of the filter, filter applied to the next cycle) The standard deviation of may be increased, and it may be difficult to accurately determine the user's jump operation in the next cycle.

따라서, 본 실시예에 따른 제어부(300)는 영향 값을 미리 설정할 수 있다. 영향 값은 동적 기준점을 크게 변동시킬 여지가 있는 현재 데이터를 어느 정도까지 반영할 지를 결정하는 수치일 수 있다. 제어부(300)는 영향 값에 기반하여 점프로 인식된 가속도 데이터(S_acc)를 조정할 수 있고, 조정된 가속도 데이터(S_acc)를 필터에 저장할 수 있다. 점프로 인식된 가속도 데이터(S_acc)가 하향 조정되어 필터에 저장됨에 따라 새로 산출될 동적 기준점(필터의 평균 값, 필터의 표준 편차)가 상향되는 정도는 최소화될 수 있다. 따라서, 조정된 가속도 데이터(S_acc)가 반영되어 산출된 동적 기준점에 따라, 다음 사이클에서의 사용자의 점프 동작에 대한 정확한 판단이 수행될 수 있다.Therefore, the control unit 300 according to the present embodiment may set an influence value in advance. The influence value may be a number that determines how much to reflect the current data, which is likely to significantly change the dynamic reference point. The controller 300 may adjust the acceleration data S _acc recognized as a jump based on the influence value, and may store the adjusted acceleration data S _acc in the filter. As the acceleration data S _acc recognized as a jump is adjusted downward and stored in the filter, the degree to which the newly calculated dynamic reference point (average value of the filter, standard deviation of the filter) is raised may be minimized. Accordingly, according to the dynamic reference point calculated by reflecting the adjusted acceleration data S _acc , an accurate determination of the user's jump operation in the next cycle may be performed.

또한, 제어부(300)는 사용자가 이륙된 상태로 판단된 이후, 산출되는 가속도 데이터(S_acc)에 따라 사용자의 하강 여부를 결정할 수 있다. 먼저, 제어부(300)는 현재 사이클의 가속도 데이터(S_acc)에서 필터의 평균 값을 차감한 값이 음수인지 여부를 판단한다. 제어부(300)는 차감한 값이 양수인 경우, 점프가 진행되고 있는 상태, 이륙 상태로 판단할 수 있다. 제어부(300)는 차감한 값이 음수인 경우, 현재 사이클의 가속도 데이터(S_acc)에서 필터의 평균 값을 차감한 값의 미분 값이 양수인 지 여부를 판단한다. 제어부(300)는 현재 사이클의 가속도 데이터(S_acc)에서 필터의 평균 값을 차감한 값의 기울기가 양수인 지를 판단하며, 양수로 판단되는 경우, 사용자가 하강하는 것으로 판단할 수 있다. 제어부(300)는 가속도 데이터(S_acc)에서 필터의 평균 값을 차감한 값의 기울기가 음수에서 양수가 되는 시점을 점프의 정점으로 판단할 수 있으며, 이후 하강 단계가 시작하는 것으로 결정할 수 있다.In addition, the control unit 300 may determine whether the user descends according to the calculated acceleration data S _acc after the user is determined to be in a lifted-off state. First, the controller 300 determines whether the value obtained by subtracting the average value of the filter from the acceleration data S _acc of the current cycle is negative. When the subtracted value is a positive number, the controller 300 may determine that the jump is in progress and takeoff. When the subtracted value is negative, the controller 300 determines whether the differential value of the value obtained by subtracting the average value of the filter from the acceleration data S _acc of the current cycle is positive. The controller 300 determines whether the slope of the value obtained by subtracting the average value of the filter from the acceleration data S _acc of the current cycle is positive, and if it is determined to be positive, the user may determine that the user descends. The controller 300 may determine a point at which the slope of the value obtained by subtracting the average value of the filter from the acceleration data S _acc becomes a positive number from a negative number, and then determine that the descending step starts.

이러한, 하강 단계는 미리 설정된 시간 동안 유지될 수 있다. 점프 동작은 이륙, 하강, 착륙으로 구성될 수 있다. 그리고 사용자가 착륙하는 경우 반동이 발생할 수 있으며, 반동에 따라 가속도 데이터(S_acc)에서 필터의 평균 값을 차감한 값이 임계 값과 표준 편차를 곱한 값을 초과할 수 있어 점프 동작으로 인식되는 오류가 발생할 수도 있다. 따라서, 제어부(300)는 하강 단계로 미리 설정된 시간 동안 가속도 데이터(S_acc)에 따른 점프 동작 인식을 무시할 수 있다. 이에 따라, 점프 동작이 잘못 인식되는 것을 방지할 수 있다.This, descending step may be maintained for a predetermined time. The jump action may consist of takeoff, descent, and landing. In addition, when the user lands, recoil may occur.According to the recoil, the value obtained by subtracting the average value of the filter from the acceleration data (S _acc ) may exceed the value multiplied by the threshold and the standard deviation. May occur. Therefore, the controller 300 may ignore the recognition of the jump operation according to the acceleration data S _acc for a predetermined time as a descending step. Accordingly, it is possible to prevent the jump operation from being recognized incorrectly.

이하, 본 발명의 일 실시예에 따른 가상현실 네비게이션 및 인터랙션을 위한 점프 인식 방법에 대해 보다 상세히 설명하도록 한다. Hereinafter, a jump recognition method for virtual reality navigation and interaction according to an embodiment of the present invention will be described in more detail.

도 3은 가상현실 네비게이션 및 인터랙션을 위한 점프 인식 방법의 순서도이다. 도 4는 점프 여부 결정하는 단계에서 이륙 단계를 인식하는 순서도이다. 도 5는 점프 여부 결정하는 단계에서 하강 단계를 인식하는 순서도이다.3 is a flowchart of a jump recognition method for virtual reality navigation and interaction. 4 is a flowchart for recognizing a takeoff step in the step of determining whether to jump. 5 is a flowchart of recognizing a descending step in a step of determining whether to jump.

가상현실 네비게이션을 위한 인터랙션 장치의 점프 인식 방법은 측정된 사용자의 가속도 값에 기초하여 가속도 데이터를 생성하고, 가속도 데이터를 필터에 저장하는 단계(S100); 필터에 필터 크기만큼 상기 가속도 데이터를 누적한 경우, 상기 필터에 누적된 가속도 데이터에 기초하여 동적 기준점을 생성하는 단계(S110); 현재 사이클에서 생성된 가속도 데이터와 상기 동적 기준점을 비교하여 상기 사용자의 점프 여부를 결정하는 단계(S120)를 포함한다.A jump recognition method of an interaction device for virtual reality navigation includes generating acceleration data based on a measured acceleration value of a user and storing the acceleration data in a filter (S100); Generating the dynamic reference point based on the acceleration data accumulated in the filter when the acceleration data is accumulated in a filter by a filter size (S110); And comparing the acceleration data generated in the current cycle with the dynamic reference point to determine whether the user is jumping (S120).

가상현실 네비게이션을 위한 인터랙션 장치는 상술한 도 1 및 도 2의 인터랙션 장치일 수 있다. 가상현실 네비게이션을 위한 인터랙션 장치는 사용자의 동작 데이터를 센싱하는 센서(200), 상기 센싱된 동작 데이터를 반영하여 가상 공간을 구성하는 제어부(300) 및 상기 구성된 가상 공간을 상기 사용자에게 제공하는 표시 장치(100)를 포함할 수 있다.The interaction device for virtual reality navigation may be the interaction devices of FIGS. 1 and 2 described above. The interaction device for virtual reality navigation includes a sensor 200 for sensing a user's motion data, a control unit 300 for constructing a virtual space by reflecting the sensed motion data, and a display device for providing the configured virtual space to the user It may include (100).

제어부(300)에서, 센서에서 측정된 사용자의 x축, y축, z축의 가속도 값에 기초하여 가속도 데이터를 생성하고, 상기 가속도 데이터를 필터에 저장한다(S100). 센서(200)는 사용자를 기준으로 좌우 방향의 이동을 나타내는 x축, 사용자를 기준으로 앞뒤 방향의 이동을 나타내는 y축, 사용자를 기준으로 위아래 방향의 이동을 나타내는 z축에 따른 가속도 값을 각각 획득할 수 있다. 센서(200)는 각 축의 가속도 값을 실시간으로 측정할 수 있으며, 측정된 각 축의 가속도 값을 제어부(300)로 제공한다. 제어부(300)는 센서(200)에서 획득된 각 축의 가속도 값의 제곱을 합산한 가속도 데이터(S_acc)를 하기 수학식 1과 같이 산출한다.The controller 300 generates acceleration data based on the acceleration values of the user's x-axis, y-axis, and z-axis measured by the sensor, and stores the acceleration data in a filter (S100). The sensor 200 acquires acceleration values along the x-axis indicating the movement in the left and right directions based on the user, the y-axis indicating the movement in the front-to-back direction based on the user, and the z-axis indicating movement in the up-down direction based on the user, respectively. can do. The sensor 200 can measure the acceleration value of each axis in real time, and provides the measured acceleration value of each axis to the controller 300. The controller 300 calculates acceleration data S _acc obtained by summing squares of acceleration values of each axis acquired by the sensor 200 as shown in Equation 1 below.

[수학식 1][Equation 1]

제어부(300)는 가속도 데이터(S_acc)가 누적되는 필터를 포함할 수 있으며, 산출된 가속도 데이터는 필터에 저장될 수 있다. 제어부(300)는 사용자의 신체 특성을 감안하여 동적 기준점을 결정하기 위해, 필터 크기를 미리 설정할 수 있다. 필터 크기는 가속도 데이터(S_acc)를 수집하기 위한 기초 데이터의 개수를 의미한다. 센서(200)에서 각 축의 가속도 값을 측정하고, 제어부(300)가 이를 토대로 가속도 데이터(S_acc)를 생성하는 것을 하나의 사이클(cycle)로 정의할 때, 필터 크기는 동적 기준점을 결정하기 위한 사이클(cycle)의 횟수를 의미한다. 제어부(300)는 필터에 가속도 데이터(S_acc)가 가득 찾는 지 여부를 확인할 수 있다.The control unit 300 may include a filter in which the acceleration data S _acc is accumulated, and the calculated acceleration data may be stored in the filter. The controller 300 may set the filter size in advance to determine the dynamic reference point in consideration of the user's body characteristics. The filter size means the number of basic data for collecting acceleration data (S _acc ). When the acceleration value of each axis is measured by the sensor 200 and the control unit 300 defines acceleration cycle (S _acc ) based on this as one cycle, the filter size is used to determine the dynamic reference point. It means the number of cycles. The control unit 300 may check whether the acceleration data S _acc is full in the filter.

필터에 필터 크기만큼 상기 가속도 데이터를 누적한 경우, 상기 필터에 누적된 가속도 데이터에 기초하여 동적 기준점을 생성한다(S110).When the acceleration data is accumulated by the filter size in a filter, a dynamic reference point is generated based on the acceleration data accumulated in the filter (S110).

상기 가속도 데이터를 생성하고, 필터에 저장하는 단계가 반복 수행하여 상기 필터에 필터 크기만큼 상기 가속도 데이터를 누적한 경우, 상기 필터에 누적된 가속도 데이터에 기초하여 동적 기준점이 생성될 수 있다. 구체적으로, 제어부(300)는 누적된 가속도 데이터(S_acc)를 기초로 필터의 평균 값과 필터의 표준 편차를 산출할 수 있다. 누적된 가속도 데이터(S_acc)를 기초로 산출된 필터의 평균 값과 필터의 표준 편차는 다음 사이클에서 산출된 가속도 데이터(S_acc)를 판단하기 위한 동적 기준점으로써 활용된다.When the step of generating and storing the acceleration data is repeatedly performed to accumulate the acceleration data by the filter size in the filter, a dynamic reference point may be generated based on the acceleration data accumulated in the filter. Specifically, the controller 300 may calculate the average value of the filter and the standard deviation of the filter based on the accumulated acceleration data S _acc . The average value of the filter calculated based on the accumulated acceleration data (S _acc ) and the standard deviation of the filter are used as a dynamic reference point for determining the acceleration data (S _acc ) calculated in the next cycle.

현재 사이클에서 생성된 가속도 데이터와 상기 동적 기준점을 비교하여 상기 사용자의 점프 여부를 결정한다(S120).It is determined whether the user jumps by comparing the acceleration data generated in the current cycle with the dynamic reference point (S120).

제어부(300)는 임계 값을 미리 설정할 수 있다. 임계 값은 동적 기준점을 적용하는 알고리즘의 제트 스코어(Z-score)일 수 있으며, 민감도를 고려한 특정 상수 값으로 미리 설정될 수 있다. 제어부(300)는 현재 사이클에서 생성된 가속도 데이터(S_acc)에서 필터의 평균 값을 차감한 값과 임계 값과 필터의 표준 편차를 곱한 값을 비교하여 현재 사이클에서 사용자의 점프 여부를 결정할 수 있다. 제어부(300)는 현재 사이클에서 생성된 가속도 데이터(S_acc)에서 필터의 평균 값을 차감한 값이 임계 값과 필터의 표준 편차를 곱한 값을 초과하는 경우, 현재 사용자가 점프 동작의 이륙 단계에 해당하는 것으로 판단할 수 있다. The control unit 300 may set a threshold value in advance. The threshold value may be a jet score (Z-score) of an algorithm applying a dynamic reference point, and may be set in advance to a specific constant value considering sensitivity. The controller 300 may determine whether the user jumps in the current cycle by comparing the value obtained by subtracting the average value of the filter from the acceleration data S _acc generated in the current cycle and the threshold multiplied by the standard deviation of the filter. . When the value obtained by subtracting the average value of the filter from the acceleration data S _acc generated in the current cycle exceeds the value obtained by multiplying the threshold and the standard deviation of the filter, the controller 300 performs the current user in the takeoff phase of the jump operation. It can be judged as applicable.

본 실시예에서, 사용자의 점프 여부를 결정하는 단계(S120)는 이륙 단계를 인식하는 단계(S120A)와 하강 단계를 인식하는 단계(S120B)를 포함한다.In this embodiment, the step of determining whether the user jumps (S120) includes a step of recognizing a take-off step (S120A) and a step of recognizing a descending step (S120B).

점프 동작의 이륙 단계를 인식하는 단계(S120A)는 하기와 같은 도 4에 도시된 흐름도와 같이 구성된다.Recognizing the takeoff step of the jump operation (S120A) is configured as a flow chart shown in Figure 4 as follows.

점프 동작의 이륙 단계를 결정하는 단계(S120A)에서, 먼저 사용자의 동작 데이터로써 사용자의 보행 여부를 판단한다(S121). 현재 사용자가 보행 상태가 아닌 경우, 제자리에 있는 상태로 판단되는 경우 현재 사이클에서 생성된 가속도 데이터(S_acc)와 고정된 기준점을 비교하는 단계(S122)로 진행될 수 있다. 단계(S122)는 제자리 점프 여부를 판단하는 단계일 수 있다. 여기서, 제어부(300)는 고정된 기준점을 미리 설정할 수 있다. 고정된 기준점은 점프 동작을 인식하게 되는 최소 임계치로서, 미리 설정된 상수 값일 수 있다. 제어부(300)는 현재 사이클에서 생성된 가속도 데이터(S_acc)와 고정된 기준점을 초과하는 경우 사용자가 제자리 수직 점프를 수행하는 것으로 판단할 수 있다. 제어부(300)는 현재 사이클에서 생성된 가속도 데이터(S_acc)와 고정된 기준점 이하인 경우에는 제자리 점프로 판단하지 않을 수 있다.In the step of determining the takeoff step of the jump operation (S120A), first, it is determined whether the user is walking by using the user's motion data (S121). If the current user is not in the walking state, if it is determined to be in place, the process may proceed to step S122 of comparing the acceleration data S _acc generated in the current cycle with a fixed reference point. Step S122 may be a step of determining whether to jump in place. Here, the control unit 300 may set a fixed reference point in advance. The fixed reference point is a minimum threshold value for recognizing a jump operation, and may be a preset constant value. The control unit 300 may determine that the user performs a vertical jump in place when the acceleration data S _acc generated in the current cycle and a fixed reference point are exceeded. The controller 300 may not determine that the jump is in place when the acceleration data S _acc generated in the current cycle is below a fixed reference point.

이와 달리, 사용자의 보행 여부를 판단하는 단계(S121)에서, 사용자가 보행 상태로 판단되는 경우, 러닝 점프 여부를 판단하는 단계(S123)로 진행될 수 있다. Alternatively, in step S121 of determining whether the user is walking, if it is determined that the user is in a walking state, the user may proceed to step S123 of determining whether or not a running jump is made.

러닝 점프 여부를 판단하는 단계(S123)에서, 제어부(300)는 상술한 동적 기준점과 고정된 기준점을 모두 고려할 수 있다. 제어부(300)는 현재 사이클에서 생성된 가속도 데이터(S_acc)와 고정된 기준점을 비교하여, 생성된 가속도 데이터(S_acc)가 고정된 기준점을 초과하고, 현재 사이클에서 생성된 가속도 데이터(S_acc)와 평균 값을 차감한 값이 임계 값과 표준 편차를 곱한 값을 초과하는 경우, 현재 사용자가 러닝 점프 동작 단계의 이륙 단계에 해당하는 것으로 판단할 수 있다. 단계(S123)에서, 러닝 점프로 인식되는 경우, 단계(S124)로 진행된다. In step S123 of determining whether a running jump is performed, the controller 300 may consider both the dynamic reference point and the fixed reference point described above. The controller 300 compares the acceleration data S _acc generated in the current cycle with a fixed reference point, and the generated acceleration data S _acc exceeds the fixed reference point, and the acceleration data S _acc generated in the current cycle. ) And the average value minus the threshold multiplied by the standard deviation, the current user may determine that it corresponds to the take-off phase of the running jump operation phase. In step S123, if it is recognized as a running jump, the process proceeds to step S124.

단계(S124)는 연속적인 점프를 인식하기 위해 임시 기준점을 설정하고, 가속도 데이터를 조정하는 단계일 수 있다. 상술한 바와 같이 제어부(300)의 필터는 선입선출 방식이므로, 필터에 삽입된 오래된 데이터는 삭제되고, 현재 사이클에서 생성된 가속도 데이터(S_acc)가 삽입되어 새로운 값의 평균 값과 표준 편차가 산출된다. 점프로 인식된 높은 수치를 나타내는 사이클의 가속도 데이터(S_acc)가 필터로 제공되는 경우, 다음 사이클의 동적 기준점으로 사용될 필터의 평균 값 및 필터의 표준 편차는 상향되어 산출될 수 있다. 사용자가 현재 사이클과 동일한 정도로 점프 동작을 수행하더라도 상향된 동적 기준점에 따라 다음 사이클에서 제어부(300)는 이를 점프 동작으로 인식하지 못할 수 있다. 즉, 사용자가 연속 점프를 수행하는 경우, 첫 번째 점프는 인식될 수 있으나, 상향된 동적 기준점에 따라 두 번째 점프는 인식되지 않을 수 있다. 단계(S124)에서, 제어부(300)는 현재 사이클이 점프 동작으로 인식되는 경우, 임계 값과 필터의 표준 편차를 곱한 값을 임시 기준점으로 설정할 수 있다. 설정된 임시 기준점은 일정 시간 동안 유지될 수 있다. 즉, 현재 사이클에서 설정된 임시 기준점은 다음 사이클의 러닝 점프 여부 판단에 활용될 수 있다.Step S124 may be a step of setting a temporary reference point and adjusting acceleration data to recognize a continuous jump. As described above, since the filter of the controller 300 is a first-in, first-out method, the old data inserted in the filter is deleted, and the acceleration data S _acc generated in the current cycle is inserted to calculate the average value and standard deviation of the new value. do. When the acceleration data S _acc of a cycle indicating a high value recognized as a jump is provided as a filter, the average value of the filter to be used as the dynamic reference point of the next cycle and the standard deviation of the filter may be calculated upward. Even if the user performs a jump operation to the same degree as the current cycle, the controller 300 may not recognize it as a jump operation in the next cycle according to the raised dynamic reference point. That is, when the user performs a continuous jump, the first jump may be recognized, but the second jump may not be recognized according to an upward dynamic reference point. In step S124, when the current cycle is recognized as a jump operation, the controller 300 may set a value obtained by multiplying a threshold value and a standard deviation of the filter as a temporary reference point. The set temporary reference point can be maintained for a certain period of time. That is, the temporary reference point set in the current cycle can be used to determine whether the next cycle is a running jump.

또한, 단계(S124)에서, 영향 값에 기반하여 점프로 인식된 가속도 데이터(S_acc)를 조정할 수 있다. 제어부(300)는 영향 값을 미리 설정할 수 있다. 영향 값은 동적 기준점을 크게 변동시킬 여지가 있는 현재 데이터를 어느 정도까지 반영할 지를 결정하는 수치일 수 있다. 점프로 인식된 가속도 데이터(S_acc)가 하향 조정되어 필터에 저장됨에 따라 새로 산출될 동적 기준점(필터의 평균 값, 필터의 표준 편차)가 상향되는 정도는 최소화될 수 있다. 조정된 가속도 데이터(S_acc)는 필터에 저장될 수 있으며, 이를 기초로 새로운 동적 기준점이 산출될 수 있다. In addition, in step S124, acceleration data S _acc recognized as a jump may be adjusted based on the influence value. The control unit 300 may set an influence value in advance. The influence value may be a number that determines how much to reflect the current data, which is likely to significantly change the dynamic reference point. As the acceleration data S _acc recognized as a jump is adjusted downward and stored in the filter, the degree to which the newly calculated dynamic reference point (average value of the filter, standard deviation of the filter) is raised may be minimized. The adjusted acceleration data S _acc may be stored in a filter, and based on this, a new dynamic reference point may be calculated.

단계(S123)에서, 러닝 점프로 인식되지 않는 경우, 단계(S125)로 진행된다.In step S123, if it is not recognized as a running jump, the process proceeds to step S125.

단계(S125)에서, 제어부(300)는 생성된 가속도 데이터(S_acc)가 고정된 기준점을 초과하고, 현재 사이클에서 생성된 가속도 데이터(S_acc)와 평균 값을 차감한 값이 임시 기준점을 초과하는 경우, 현재 사용자가 러닝 점프 동작 단계의 이륙 단계에 해당하는 것으로 판단할 수 있다. 단계(S125)에서, 설정된 임시 기준점은 러닝 점프로 결정된 이전 사이클의 필터의 표준 편차와 임계 값을 곱한 값일 수 있다. 본 실시예에 따른 점프 인식 방법은 상향된 동적 기준점에 의해 단계(S123)에서, 러닝 점프로 인식되지 않더라도 임시 기준점을 통해 재 판단함으로써 연속적인 점프의 인식도 가능할 수 있다. 단계(S125)에서 러닝 점프로 인식되는 경우, 단계(S124)로 진행될 수 있다. 또한, 단계(S125)에서 러닝 점프로 인식되지 않는 경우, 현재 사이클에서 생성된 가속도 데이터(S_acc)는 필터에 저장될 수 있으며, 이를 기초로 새로운 동적 기준점이 산출될 수 있다(S126).In step S125, the controller 300 generates the acceleration data S _acc that exceeds a fixed reference point, and the value obtained by subtracting the acceleration data S _acc and the average value generated in the current cycle exceeds the temporary reference point. In this case, it may be determined that the current user corresponds to the take-off phase of the running jump operation phase. In step S125, the set temporary reference point may be a value obtained by multiplying a standard deviation of a filter of a previous cycle determined by a running jump and a threshold value. The jump recognition method according to the present embodiment may recognize the continuous jump by re-determining through the temporary reference point even if it is not recognized as a running jump in step S123 by the upward dynamic reference point. When it is recognized as a running jump in step S125, the process may proceed to step S124. In addition, if it is not recognized as a running jump in step S125, the acceleration data S _acc generated in the current cycle may be stored in a filter, and a new dynamic reference point may be calculated based on this (S126).

제어부(300)는 사용자가 이륙된 상태로 판단된 이후, 산출되는 가속도 데이터(S_acc)에 따라 사용자의 하강 여부를 결정할 수 있다. 점프 동작의 하강 단계를 인식하는 단계(S120B)에서, 하강 상태로 판단되지 않은 상태는 점프가 진행되고 있는 이륙 상태일 수 있다. 점프 동작의 하강 단계를 인식하는 단계(S120B)는 현재 사이클의 가속도 데이터(S_acc)에서 필터의 평균 값을 차감한 값이 음수인지 여부를 판단하는 단계(S127) 및 차감한 값이 음수인 경우, 현재 사이클의 가속도 데이터(S_acc)에서 필터의 평균 값을 차감한 값의 미분 값이 양수인 지 여부를 판단하는 단계(S128)을 포함한다. 제어부(300)는 현재 사이클의 가속도 데이터(S_acc)에서 필터의 평균 값을 차감한 값이 음수인지 여부를 판단한다. 제어부(300)는 차감한 값이 양수인 경우, 점프가 진행되고 있는 상태, 이륙 상태로 판단할 수 있다. 제어부(300)는 차감한 값이 음수인 경우, 현재 사이클의 가속도 데이터(S_acc)에서 필터의 평균 값을 차감한 값의 미분 값이 양수인 지 여부를 판단한다. 제어부(300)는 현재 사이클의 가속도 데이터(S_acc)에서 필터의 평균 값을 차감한 값의 기울기가 양수인 지를 판단하며, 양수로 판단되는 경우, 사용자가 하강하는 것으로 판단할 수 있다. 제어부(300)는 가속도 데이터(S_acc)에서 필터의 평균 값을 차감한 값의 기울기가 음수에서 양수가 되는 시점을 점프의 정점으로 판단할 수 있으며, 이후 하강 단계가 시작하는 것으로 결정할 수 있다. After determining that the user has taken off, the control unit 300 may determine whether the user descends according to the calculated acceleration data S _acc . In step S120B of recognizing the descending step of the jump operation, the state not determined as the descending state may be a takeoff state in which the jump is in progress. The step (S120B) of recognizing the falling step of the jump operation is a step (S127) of determining whether the value obtained by subtracting the average value of the filter from the acceleration data S _acc of the current cycle is negative (S127). And determining whether the differential value of the value obtained by subtracting the average value of the filter from the acceleration data S _acc of the current cycle is positive (S128 ). The controller 300 determines whether the value obtained by subtracting the average value of the filter from the acceleration data S _acc of the current cycle is negative. When the subtracted value is a positive number, the controller 300 may determine that the jump is in progress and takeoff. When the subtracted value is negative, the controller 300 determines whether the differential value of the value obtained by subtracting the average value of the filter from the acceleration data S _acc of the current cycle is positive. The controller 300 determines whether the slope of the value obtained by subtracting the average value of the filter from the acceleration data S _acc of the current cycle is positive, and if it is determined to be positive, the user may determine that the user descends. The controller 300 may determine a point at which the slope of the value obtained by subtracting the average value of the filter from the acceleration data S _acc becomes a positive number from a negative number, and then determine that the descending step starts.

이상에서는 실시예들을 참조하여 설명하였지만 본 발명은 이러한 실시예들 또는 도면에 의해 한정되는 것으로 해석되어서는 안 되며, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although described above with reference to embodiments, the present invention should not be construed as being limited by these embodiments or the drawings, and those skilled in the art will appreciate the spirit and scope of the present invention as set forth in the claims below. It will be understood that various modifications and changes can be made to the present invention without departing from the scope.

10: 가상현실 네비게이션을 위한 인터랙션 장치
100: 표시 장치
200: 센서
210: 다리 움직임 센서
220: 머리 방향 센서
300: 제어부10: interaction device for virtual reality navigation
100: display device
200: sensor
210: leg motion sensor
220: head orientation sensor
300: control unit

Claims

A jump recognition method of an interaction device for virtual reality navigation, including a sensor sensing a user's motion data, a control unit configuring a virtual space by reflecting the sensed motion data, and a display device providing the configured virtual space to the user to,
Generating, by the control unit, acceleration data based on acceleration values of the user's x-axis, y-axis, and z-axis measured by the sensor, and storing the acceleration data in a filter;
If the control unit repeatedly generates the acceleration data and stores it in a filter to accumulate the acceleration data by the filter size in the filter, generating a dynamic reference point based on the acceleration data accumulated in the filter. ; And
The control unit includes the step of determining whether the user jumps by comparing the acceleration reference data generated in the current cycle with the dynamic reference point,
The dynamic reference point includes the average value of the filter and the standard deviation of the filter,
The step of determining whether the user jumps,
When the value obtained by subtracting the average value of the filter from the acceleration data generated in the current cycle exceeds a threshold value preset by a specific constant value and the standard deviation of the filter, the user takes off the jump operation. Jump recognition method of the interaction device for virtual reality navigation determined to correspond to.

According to claim 1,
The acceleration data is a jump recognition method of an interaction device for virtual reality navigation calculated as in Equation 1 below.

[Equation 1]

Here, S _acc is acceleration data, x is an acceleration value on the x-axis, y is an acceleration value on the y-axis, and z is an acceleration value on the z-axis.

delete

According to claim 1,
The step of determining whether the user jumps,
After the user is determined to correspond to the take-off phase of the jump operation, comprising the step of setting the threshold and the standard deviation of the filter as a temporary reference point Jump recognition method of the interaction device for virtual reality navigation.

According to claim 4,
The step of determining whether the user jumps,
When it is determined that the value obtained by subtracting the average value of the filter from the acceleration data generated in the current cycle is equal to or less than a product of a threshold set in advance as a specific constant value and the standard deviation of the filter, the acceleration generated in the current cycle Comparing the average value of the filter in the data and the preset temporary reference point further performs the step,
When the average value of the filter is subtracted from the acceleration data generated in the current cycle and a preset temporary reference point is exceeded, the user may determine that the user corresponds to the takeoff phase of the jump operation. Jump recognition method.

According to claim 1,
The step of determining whether the user jumps,
Determining whether the user is walking;
Determining whether to jump in place by comparing the preset fixed reference point with acceleration data generated in the current cycle when the user is in a place; And
When the user is in a walking state, comparing the acceleration data generated in the current cycle with the dynamic reference point, and comparing the preset fixed reference point with the acceleration data generated in the current cycle to determine whether or not a running jump is performed; Jump recognition method of the interaction device for the virtual reality navigation, including.

According to claim 1,
The step of determining whether the user jumps,
After the user is determined to correspond to the take-off phase of the jump operation,
Determining whether the value obtained by subtracting the average value of the filter from the acceleration data of the current cycle is negative, and when the subtracted value is negative, the derivative of the value obtained by subtracting the average value of the filter from the acceleration data of the current cycle. And determining whether the value is positive,
When the differential value of the value obtained by subtracting the average value of the filter from the acceleration data of the current cycle is a positive number, the user may determine that the user corresponds to the falling step of the jump operation.

An interaction device for virtual reality navigation including a sensor for sensing a user's motion data, a control unit for configuring a virtual space by reflecting the sensed motion data, and a display device for providing the configured virtual space to the user,
The control unit,
Acceleration data is generated based on the acceleration values of the user's x-axis, y-axis, and z-axis measured by the sensor, and the acceleration data is stored in a filter,
When the acceleration data is accumulated by the filter size in the filter, a dynamic reference point is generated based on the acceleration data accumulated in the filter,
Comparing the acceleration data generated in the current cycle and the dynamic reference point to determine whether the user jumps,
The dynamic reference point includes the average value of the filter and the standard deviation of the filter,
The control unit,
When the value obtained by subtracting the average value of the filter from the acceleration data generated in the current cycle exceeds a threshold value preset by a specific constant value and the standard deviation of the filter, the user takes off the jump operation. Interaction device for virtual reality navigation that is determined to correspond to.

The method of claim 8,
The acceleration data is an interaction device for virtual reality navigation calculated as in Equation 1 below.

[Equation 1]

delete

The method of claim 8,
The control unit,
After the user is determined to correspond to the take-off phase of the jump operation, the interaction device for virtual reality navigation further comprising setting the threshold and the standard deviation of the filter as a temporary reference point.

The method of claim 11,
The control unit,
When it is determined that the value obtained by subtracting the average value of the filter from the acceleration data generated in the current cycle is equal to or less than a product of a threshold set in advance as a specific constant value and the standard deviation of the filter, the acceleration generated in the current cycle In the data, the average value of the filter is subtracted from the preset temporary reference point, and
When the average value of the filter is subtracted from the acceleration data generated in the current cycle and a preset temporary reference point is exceeded, the user interacts with the virtual reality navigation device for determining that it corresponds to the takeoff phase of the jump operation.

The method of claim 8,
The control unit,
First, determine whether the user is walking,
When the user is in place, a predetermined fixed reference point is compared with acceleration data generated in the current cycle to determine whether to jump in place,
When the user is in the walking state, the virtual reality comparing the acceleration data generated in the current cycle with the dynamic reference point, and comparing the preset fixed reference point with the acceleration data generated in the current cycle to determine whether a running jump is performed or not Interaction device for navigation.

The method of claim 8,
The control unit,
After the user is determined to correspond to the takeoff phase of the jump operation, it is further determined whether the value obtained by subtracting the average value of the filter from the acceleration data of the current cycle is negative,
If the subtracted value is negative, it is further determined whether the differential value of the value obtained by subtracting the average value of the filter from the acceleration data of the current cycle is positive,
When the differential value of the value obtained by subtracting the average value of the filter from the acceleration data of the current cycle is a positive number, the interaction device for virtual reality navigation that the user determines to correspond to the falling step of the jump operation.