KR20190016264A - Interraction device and method for navigating in virtual reality using walking in place - Google Patents

Interraction device and method for navigating in virtual reality using walking in place Download PDF

Info

Publication number
KR20190016264A
KR20190016264A KR1020170100263A KR20170100263A KR20190016264A KR 20190016264 A KR20190016264 A KR 20190016264A KR 1020170100263 A KR1020170100263 A KR 1020170100263A KR 20170100263 A KR20170100263 A KR 20170100263A KR 20190016264 A KR20190016264 A KR 20190016264A
Authority
KR
South Korea
Prior art keywords
direction information
head
virtual space
sensor
user
Prior art date
Application number
KR1020170100263A
Other languages
Korean (ko)
Other versions
KR102108962B1 (en
Inventor
황재인
안상철
임화섭
김익재
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020170100263A priority Critical patent/KR102108962B1/en
Publication of KR20190016264A publication Critical patent/KR20190016264A/en
Application granted granted Critical
Publication of KR102108962B1 publication Critical patent/KR102108962B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3617—Destination input or retrieval using user history, behaviour, conditions or preferences, e.g. predicted or inferred from previous use or current movement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Embodiments of the present invention relates to an interaction device using walking in place for omnidirectional virtual reality navigation and an interaction method using the same. The interaction device comprises: a display device displaying a virtual space image; a leg motion sensor sensing motion of legs of a user watching the virtual space image; a head direction sensor sensing a head direction of the user; a direction information generating unit generating direction information based on the head direction while the legs are moving; and a control unit controlling a time for the virtual space image or movement of an object in the virtual space image based on the generated direction information.

Description

전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 장치 및 방법{INTERRACTION DEVICE AND METHOD FOR NAVIGATING IN VIRTUAL REALITY USING WALKING IN PLACE}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an interaction apparatus and method using an in-situ stepping motion for an omnidirectional virtual reality navigation,

본 발명은 가상현실 공간에 대한 인터랙션 장치 및 방법에 관한 것으로서, 더욱 구체적으로는 제자리 걸음을 이용한 인터랙션 장치 및 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an apparatus and method for interacting with a virtual reality space, and more particularly, to an apparatus and method for interacting using a virtual walk.

종래 기술에 따르면 가상현실에서 네비게이션을 하는 방법은 다음과 같은 방법이 이용되고 있다. 1)실제 공간(real space)에서 이동하는 만큼 가상 공간(virtual space)에서 이동하는 방법이 있으나, 이 방법은 넓은 가상 공간을 이동하려면 넓은 실제 공간이 필요하다는 단점이 있다. 2) 트레드밀을 사용하는 방법은 VR 전용 트레드밀을 사용하여 방향 전환 및 걷기를 하는 것이나 트레드밀의 규모와 비용이 매우 높은 문제가 있고, 3) 콘트롤러 사용하는 방법은 손에 쥐는 콘트롤러를 사용하여 버튼 누름 등을 이용해서 VR 네비게이션을 진행하는 것이나, 사용자가 이용하기 어려운 문제가 있다.According to the related art, the following method is used for the navigation in the virtual reality. 1) There is a method of moving in virtual space as much as moving in real space. However, this method has a disadvantage in that a wide real space is required to move a wide virtual space. 2) The method of using the treadmill is that the treadmill is used for turning and walking by using the VR exclusive treadmill, and the treadmill is very expensive in size and cost. 3) The controller is used by using the controller in the hand, To perform VR navigation, but there is a problem that is difficult for the user to use.

특허출원공개 제2002-0077617호Patent Application Publication No. 2002-0077617

위와 같은 문제를 해결하기 위해서, 본 발명은 제자리 걸음과 사용자의 머리방향을 이용하여 가상현실 공간상에서 객체 또는 사용자 시점을 이동시키는 방법을 제안한다.In order to solve the above problems, the present invention proposes a method of moving an object or a user's viewpoint in a virtual reality space by using a footstep and a user's head direction.

본 발명의 기술적 과제는 이상에서 언급한 것들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제는 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The technical problem of the present invention is not limited to those mentioned above, and another technical problem which is not mentioned can be clearly understood by those skilled in the art from the following description.

본 발명의 일 실시예에 따른 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 장치는 가상공간영상을 표시하는 표시장치, 상기 가상공간영상을 바라보는 사용자의 다리 움직임을 감지하는 다리 움직임 센서, 상기 사용자의 머리 방향을 감지하는 머리방향 센서, 다리가 움직이는 동안의 머리방향을 기초로 방향정보를 생성하는 방향정보 생성부, 생성된 방향정보를 기초로 상기 가상공간영상에 대한 시점 또는 상기 가상공간영상 내 객체의 이동을 제어하는 제어부를 포함할 수 있다.The apparatus for interactively using an in-situ for virtual reality navigation according to an embodiment of the present invention includes a display device for displaying a virtual space image, a leg motion sensor for sensing a leg motion of a user looking at the virtual space image, A head direction sensor for sensing the head direction of the user, a direction information generating unit for generating direction information based on the head direction while the leg is moving, a viewpoint for the virtual space image, And a control unit for controlling movement of the object.

바람직한 일 실시예에서, 표시장치는, 헤드마운티드디스플레이(HMD), 휴대용 디스플레이장치, 평면 또는 곡면 스크린 중 적어도 하나일 수 있다.In a preferred embodiment, the display device may be at least one of a head-mounted display (HMD), a portable display device, a flat or curved screen.

바람직한 일 실시예에서, 상기 다리 움직임 센서는, 가속도 센서, 지자기센서, 적외선 센서, IMU(Inertia Measurement Unit)센서, 비전센서 중 적어도 하나를 포함할 수 있다.In a preferred embodiment, the leg motion sensor may include at least one of an acceleration sensor, a geomagnetic sensor, an infrared sensor, an Inertia Measurement Unit (IMU) sensor, and a vision sensor.

바람직한 일 실시예에서, 상기 머리방향 센서는, 가속도 센서, 지자기센서, 적외선 센서, IMU(Inertia Measurement Unit)센서, 비전센서 중 적어도 하나를 포함할 수 있다.In a preferred embodiment, the head direction sensor may include at least one of an acceleration sensor, a geomagnetic sensor, an infrared sensor, an Inertia Measurement Unit (IMU) sensor, and a vision sensor.

바람직한 일 실시예에서, 상기 사용자의 머리 방향은, 피치(pitch), 요(yaw), 롤(roll) 중 적어도 하나를 포함할 수 있다.In a preferred embodiment, the head direction of the user may include at least one of pitch, yaw, and roll.

바람직한 일 실시예에서, 상기 방향정보 생성부는, 사용자가 제자리에서 걷거나 뛰는 동작 동안의 머리방향 정보를 기초로 상기 방향정보를 생성할 수 있다.In a preferred embodiment, the direction information generating unit may generate the direction information based on head direction information during a user's walking or jumping operation.

바람직한 일 실시예에서, 상기 방향정보 생성부는, 상기 머리방향이 정면을 향하면 앞을 향하는 방향정보를 생성하고, 상기 머리방향이 소정 각도 백-피치(back-pitch)이면 뒤를 향하는 방향정보를 생성할 수 있다.In a preferred embodiment, the direction information generating unit generates direction information that is directed to the front when the head direction is front, and generates direction information that is directed backward when the head direction is a predetermined angle back-pitch .

바람직한 일 실시예에서, 상기 방향정보 생성부는, 상기 머리방향이 좌측-롤(left-roll)이면 정면을 바라보고 좌측으로 이동하는 방향정보를 생성하고, 상기 머리방향이 우측-롤(right-roll)이면 정면을 바라보고 우측으로 이동하는 방향정보를 생성할 수 있다.In a preferred embodiment, the direction information generating unit generates direction information on the left side when the head direction is left-roll, and when the head direction is right-roll ), It is possible to generate direction information for looking to the front side and moving to the right side.

바람직한 일 실시예에서, 상기 제어부는, 상기 방향정보가 앞을 향하는 것이면, 가상공간 내 시점을 앞으로 이동시키거나 상기 객체를 앞으로 이동시키고,In a preferred embodiment, the control unit moves the viewpoint in the virtual space forward or moves the object forward if the direction information is forward,

상기 방향정보가 뒤를 향하는 것이면, 가상공간 내 시점을 뒤로 이동시키거나, 상기 객체를 뒤로 이동시킬 수 있다.If the direction information is backward, the viewpoint in the virtual space may be moved backward or the object may be moved backward.

바람직한 일 실시예에서, 상기 제어부는, 상기 방향정보가 좌측 또는 우측을 향하는 것이면, 가상공간 내 시점을 좌측 또는 우측으로 이동시키거나, 상기 객체를 좌측 또는 우측으로 이동시킬 수 있다.In a preferred embodiment, the control unit may move the viewpoint in the virtual space to the left or right or move the object to the left or right if the direction information is directed to the left or right.

바람직한 일 실시예에서, 상기 제어부는, 상기 객체가 게걸음 걸음걸이로 이동하도록 객체를 제어할 수 있다.In a preferred embodiment, the control unit can control the object so that the object moves to a slow walking pace.

본 발명의 일 실시예에 따른 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 방법은 표시장치 상에 가상공간영상을 표시하는 단계, 상기 가상공간영상을 바라보는 사용자의 다리 움직임을 감지하는 단계, 상기 사용자의 머리 방향을 감지하는 단계, 사용자가 제자리에서 걷거나 뛰는 동작 동안의 머리방향을 기초로 방향정보를 생성하는 단계, 생성된 방향정보를 기초로 상기 가상공간영상에 대한 시점 또는 상기 가상공간영상 내 객체의 이동을 제어하는 단계를 포함하되, 상기 사용자의 머리 방향은, 피치(pitch), 요(yaw), 롤(roll) 중 적어도 하나를 포함할 수 있다.According to an embodiment of the present invention, there is provided a method of interacting with an on-foot step for virtual reality navigation, comprising the steps of: displaying a virtual space image on a display device; sensing a leg motion of a user viewing the virtual space image; The method comprising the steps of: sensing the head direction of the user; generating direction information based on a head direction during a user's walking or jumping operation; generating a viewpoint on the virtual space image, And controlling the movement of the object, wherein the head direction of the user may include at least one of a pitch, a yaw, and a roll.

바람직한 일 실시예에서, 상기 머리방향이 정면을 향하면 앞을 향하는 방향정보를 생성하는 단계 및 상기 머리방향이 소정 각도 백-피치(back-pitch)이면 뒤를 향하는 방향정보를 생성하는 단계를 더 포함할 수 있다.In a preferred embodiment, the method further comprises generating direction information that is directed when the heading direction is toward the front and generating backward direction information when the heading direction is a predetermined angle back-pitch .

바람직한 일 실시예에서, 상기 머리방향이 좌측-롤(left-roll)이면 정면을 바라보고 좌측으로 이동하는 방향정보를 생성하는 단계 및 상기 머리방향이 우측-롤(right-roll)이면 정면을 바라보고 우측으로 이동하는 방향정보를 생성하는 단계를 더 포함할 수 있다.In a preferred embodiment, if the heading direction is left-roll, generating direction information that looks to the front and moves to the left, and if the heading direction is right-roll, And generating direction information that moves toward the right side of the report.

본 발명의 일 실시예에 따른 컴퓨터로 판독 가능한 기록매체는 상술한 방법을 실행하기 위한 명령을 저장할 수 있다.A computer-readable recording medium according to an embodiment of the present invention may store instructions for executing the above-described method.

본 발명의 일 실시예에 따르면 제자리에서 걷거나 뛰는 동작과 사용자의 머리방향을 기초로 가상현실 공간상에서 게걸음으로 좌우 이동할 수 있고, 또는 사용자 시점을 방향을 정면을 유지한 채 뒷걸음 또는 좌우로 이동할 수 있는 이점이 있다. 즉 사람이 게 걸음하는 경우 이에 대응되도록 가상현실에서도 게걸음 효과를 구현하거나 뒷걸음질 치는 효과를 구현할 수 있다. According to an embodiment of the present invention, the user can move left and right in a virtual reality space on the basis of a walking or beating operation in a place and a head direction of a user, or can move backward or leftward and rightward There is an advantage. In other words, it is possible to implement a footfall effect or a backward stance effect in a virtual reality so that a person can respond to a footfall.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the description of the claims.

도 1은 본 발명의 일 실시예에 따른 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 표시장치(100)의 다양한 예시이다. 표시장치(100)는 가상공간영상을 표시할 수 있다.
도 3은 사용자의 머리 방향을 설명하기 위한 도이다.
도 4a 및 도 4b는 HMD를 착용한 사용자가 정면을 보거나 뒤로 머리를 젖히는 상태를 각각 나타낸다.
도 5a 및 도 5b는 HMD를 착용한 사용자가 오른쪽과 왼쪽으로 머리를 기울이는 상태를 각각 나타낸다.
도 6a 및 도 6b는 본 발명의 일 실시예에 따라서 사용자가 우측 및 좌측을 바라보고 제자리 걸음하는 경우 표시장치 상에 표시되는 내용을 각각 나타낸다.
도 7은 본 발명의 일 실시예에 따른 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 방법의 순서도이다.
도 8은 본 발명의 개념을 설명하기 위한 상태-변화 다이어그램이다.FIG. 1 is a block diagram of an interaction apparatus using an in-situ pace for omnidirectional virtual reality navigation according to an embodiment of the present invention.
2 shows various examples of the display device 100 according to an embodiment of the present invention. The display device 100 can display a virtual space image.
3 is a view for explaining the head direction of the user;
4A and 4B show a state in which the user wearing the HMD faces the front or backs the head.
5A and 5B show a state in which the user wearing the HMD tilts his head to the right and left.
6A and 6B show contents displayed on the display device when the user looks at the right and left sides and stays in a standing position, according to an embodiment of the present invention.
FIG. 7 is a flowchart of an interaction method using an in-situ pace for omni-directional virtual reality navigation according to an embodiment of the present invention.
8 is a state-change diagram for explaining the concept of the present invention.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시 된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, the terms "comprises ", or" having ", or the like, specify that there is a stated feature, number, step, operation, , Steps, operations, components, parts, or combinations thereof, as a matter of principle.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 다만, 실시형태를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 또한, 도면에서의 각 구성요소들의 크기는 설명을 위하여 과장될 수 있으며, 실제로 적용되는 크기를 의미하는 것은 아니다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries should be construed as meaning consistent with meaning in the context of the relevant art and are not to be construed as ideal or overly formal in meaning unless expressly defined herein . Like reference numerals in the drawings denote like elements. In the following description, well-known functions or constructions are not described in detail to avoid unnecessarily obscuring the subject matter of the present invention. In addition, the size of each component in the drawings may be exaggerated for the sake of explanation and does not mean a size actually applied.

본 명세서에 기술된 실시예는 전적으로 하드웨어이거나, 부분적으로 하드웨어이고 부분적으로 소프트웨어이거나, 또는 전적으로 소프트웨어인 측면을 가질 수 있다. 본 명세서에서 "부(unit)", "모듈(module)", "장치" 또는 "시스템" 등은 하드웨어, 하드웨어와 소프트웨어의 조합, 또는 소프트웨어 등 컴퓨터 관련 엔티티(entity)를 지칭한다. 예를 들어, 본 명세서에서 부, 모듈, 장치 또는 시스템 등은 실행중인 프로세스, 프로세서, 객체(object), 실행 파일(executable), 실행 스레드(thread of execution), 프로그램(program), 및/또는 컴퓨터(computer)일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 컴퓨터에서 실행중인 애플리케이션(application) 및 컴퓨터의 양쪽이 모두 본 명세서의 부, 모듈, 장치 또는 시스템 등에 해당할 수 있다. Embodiments described herein may be wholly hardware, partially hardware, partially software, or entirely software. A "unit," "module," "device," or "system" or the like in this specification refers to a computer-related entity such as a hardware, a combination of hardware and software, or software. A processor, an object, an executable, a thread of execution, a program, and / or a computer, for example, a computer, but is not limited to, a computer. For example, both an application running on a computer and a computer may correspond to a part, module, device or system of the present specification.

실시예들이 도면에 제시된 순서도를 참조로 하여 설명되었다. 간단히 설명하기 위하여 상기 방법은 일련의 블록들로 도시되고 설명되었으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 다른 블록들과 본 명세서에서 도시되고 기술된 것과 상이한 순서로 또는 동시에 일어날 수도 있으며, 동일한 또는 유사한 결과를 달성하는 다양한 다른 분기, 흐름 경로, 및 블록의 순서들이 구현될 수 있다. 또한, 본 명세서에서 기술되는 방법의 구현을 위하여 도시된 모든 블록들이 요구되지 않을 수도 있다. 나아가, 본 발명의 일 실시예에 따른 방법은 일련의 과정들을 수행하기 위한 컴퓨터 프로그램의 형태로 구현될 수도 있으며, 상기 컴퓨터 프로그램은 컴퓨터로 판독 가능한 기록 매체에 기록될 수도 있다.Embodiments have been described with reference to the flowcharts shown in the drawings. While the above method has been shown and described as a series of blocks for purposes of simplicity, it is to be understood that the invention is not limited to the order of the blocks, and that some blocks may be present in different orders and in different orders from that shown and described herein And various other branches, flow paths, and sequences of blocks that achieve the same or similar results may be implemented. Also, not all illustrated blocks may be required for implementation of the methods described herein. Furthermore, the method according to an embodiment of the present invention may be implemented in the form of a computer program for performing a series of processes, and the computer program may be recorded on a computer-readable recording medium.

이하, 본 발명의 구성 및 특성을 실시예를 이용하여 설명하나, 이들 실시예는 본 발명을 예시하는 것일 뿐 한정하는 것은 아니다. Hereinafter, the structure and characteristics of the present invention will be described with reference to examples, but the present invention is not limited to these examples.

도 1은 본 발명의 일 실시예에 따른 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 장치의 블록도이다. 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 장치(1000)는 표시장치(100), 센서(200), 방향정보 생성부(300) 및 제어부(400)를 포함할 수 있다. 센서(200)는 다리움직임 센서(210) 및 머리방향 센서(220)를 포함할 수 있다.FIG. 1 is a block diagram of an interaction apparatus using an in-situ pace for omnidirectional virtual reality navigation according to an embodiment of the present invention. The interaction apparatus 1000 using the walkstep for omnidirectional virtual reality navigation may include a display device 100, a sensor 200, a direction information generation unit 300, and a control unit 400. The sensor 200 may include a leg motion sensor 210 and a head direction sensor 220.

도 2는 본 발명의 일 실시예에 따른 표시장치(100)의 다양한 예시이다. 표시장치(100)는 가상공간영상을 표시할 수 있다. 예컨대 표시장치(100)는 헤드마운티드디스플레이 장치(HMD)(도 2의 (a) 참조), 휴대용 디스플레이 장치(도 2의 (b)참조) 이거나 평면 또는 곡면 스크린(도 2의 (c)참조)일 수 있다. 도 2의 (c)는 곡면 스크린으로 가정용 TV만하거나 더 크도록 대형 스크린일 수 있다. 본 명세서에서는 설명의 명료화를 위해서 표시장치(100)가 HMD인 경우를 예로 들어 설명하나 다른 형태의 표시장치에도 동일하게 적용될 수 있음이 이해되어야 한다.2 shows various examples of the display device 100 according to an embodiment of the present invention. The display device 100 can display a virtual space image. For example, the display device 100 may be a head-mounted display device HMD (see FIG. 2A), a portable display device (see FIG. 2B), a flat or curved screen (see FIG. Lt; / RTI > Fig. 2 (c) shows a curved screen, which may be a large screen to make it larger or larger than a home TV. In this specification, it is to be understood that the display device 100 is an HMD for the sake of clarity of description, but the same applies to other types of display devices.

센서(200)는 가속도 센서, 지자기센서, 적외선 센서, IMU(Inertia Measurement Unit) 센서, 비전센서 중 적어도 하나를 포함할 수 있다. 센서(200)는 사용자의 신체에 부착되는 방식, 사용자가 타는 방식, 파지하는 방식 또는 신체에 부착되지 않는 방식(예컨대 비전센서) 등이 이용될 수 있다.The sensor 200 may include at least one of an acceleration sensor, a geomagnetic sensor, an infrared sensor, an Inertia Measurement Unit (IMU) sensor, and a vision sensor. The sensor 200 may be attached to a user's body, a user's manner of riding, a method of holding it, or a method not attached to the body (e.g., a vision sensor).

다리 움직임 센서(210) 또는 머리방향 센서(220)는 상술한 센서의 종류 중 어느 하나 이상으로 구성될 수 있다. 또한 일 실시예에서 다리 움직임 센서와 머리방향 센서는 하나의 센서로 구현되거나 서로 다른 센서로 구현될 수도 있다.The leg motion sensor 210 or the head direction sensor 220 may be composed of any one of the above-described types of sensors. Also, in one embodiment, the leg motion sensor and the head direction sensor may be implemented by one sensor or by different sensors.

일 실시예에서 머리방향 센서(220)는 헤드마운티드디스플레이 장치와 함께 하나의 제품 내 구성될 수도 있다. 즉 머리방향 센서(220)도 사용자의 머리에 부착되어 사용자의 머리 방향을 감지할 수 있다.In one embodiment, the head direction sensor 220 may be configured in a single product with a head-mounted display device. That is, the head direction sensor 220 may also be attached to the user's head to sense the head direction of the user.

다리 움직임 센서(210)는 가상공간영상을 바라보는 사용자의 다리 움직임을 감지할 수 있다. 예컨대 다리움직임 센서(210)는 사용자의 다리가 움직이는지 여부, 다리가 움직이는 동작의 형태 및 속도 등을 감지할 수 있다. 또한 다리움직임 센서(210)는 사용자가 걷는지, 뛰는지 제자리에서 뛰는지, 제자리에서 걷는지 등을 감지할 수 있다. 이를 위해서 다리 움직임 정보와 동작의 형태에 대한 정보를 저장하는 데이터베이스(미도시)가 장치(1000)에 더 포함될 수도 있다.The leg motion sensor 210 can sense a user's leg motion looking at a virtual space image. For example, the leg motion sensor 210 may sense whether the user's leg is moving, the type and speed of the leg motion, and the like. Also, the leg motion sensor 210 may sense whether the user is walking, leaning, jumping, or walking in place. To this end, a database (not shown) may be further included in the apparatus 1000 for storing information on leg motion information and the type of motion.

머리방향 센서(220)는 사용자의 머리가 향하는 방향과 사용자의 머리가 향하는 방향의 변화를 감지할 수 있다. The head direction sensor 220 can detect a change in the direction of the head of the user and the direction of the head of the user.

도 3은 사용자의 머리 방향을 설명하기 위한 도이다. 도 3을 참조하면, 사용자의 머리방향은 안면이 향하는 방향을 정면으로 보았을 때, 피치(pitch), 요(yaw), 롤(roll) 중 적어도 하나를 포함할 수 있다. 보다 구체적으로 롤의 방향에 따라서 우측-롤, 좌측-롤로 머리방향 회전이 정의될 수 있고, 이와 같은 방식으로 앞면-피치, 후면-피치, 우측-요, 좌측-요 등으로 머리방향 회전이 정의될 수 있다. 3 is a view for explaining the head direction of the user; Referring to FIG. 3, the head direction of the user may include at least one of pitch, yaw, and roll when looking frontally to the face. More specifically, a head-turn can be defined as a right-roll, left-roll according to the direction of the roll, and the head-rotation can be defined in such a way as front-pitch, rear-pitch, right-yaw, left- .

방향정보 생성부(300)는 다리가 움직이는 동안의 머리방향을 기초로 방향정보를 생성할 수 있다. 예컨대 방향정보 생성부(300)는 사용자가 제자리에서 걷거나 뛰는 동작 동안의 머리방향에 대한 머리방향 정보를 생성할 수 있다.The direction information generation unit 300 may generate direction information based on the head direction while the leg is moving. For example, the direction information generation unit 300 may generate head direction information on the head direction during a user's walking or jumping operation.

도 4a 및 도 4b는 HMD를 착용한 사용자가 정면을 보거나 뒤로 머리를 젖히는 상태를 각각 나타낸다. 도 4a 및 도 4b를 참조하면, 상기 방향정보 생성부(300)는, 도 4a에서와 같이 사용자의 머리방향이 정면을 향하면 앞을 향하는 방향정보를 생성하고, 머리방향이 소정 각도 백-피치(back-pitch)이면 뒤를 향하는 방향정보를 생성할 수 있다. 또한 도 4b에서와 같이 사용자의 머리방향이 소정 각도 백-피치이면, 뒤를 향하는 방향정보가 생성될 수 있다. 4A and 4B show a state in which the user wearing the HMD faces the front or backs the head. Referring to FIGS. 4A and 4B, the direction information generator 300 generates direction information that is directed to the front when the head direction of the user is front, as shown in FIG. 4A, and when the head direction is a predetermined angle back- back-pitch, it is possible to generate backward direction information. Also, as shown in FIG. 4B, if the head direction of the user is a predetermined angle back-pitch, backward direction information can be generated.

도 5a 및 도 5b는 HMD를 착용한 사용자가 오른쪽과 왼쪽으로 머리를 기울이는 상태를 각각 나타낸다. 도 5a 및 도 5b를 참조하면, 방향정보 생성부(300)는 도 5a에서와 같이 사용자의 머리방향이 좌측-롤(left-roll)되면 정면을 바라보고 좌측으로 이동하는 방향정보(좌측으로 이동하는 게걸음)를 생성하고, 사용자의 머리방향이 좌측-요이면 좌측을 바라보는 방향정보를 생성하고, 도 5b에서와 같이 사용자의 머리방향이 우측-롤(right-roll)되면 정면을 바라보고 우측으로 이동하는 방향정보(우측으로 이동하는 게걸음)를 생성하고 우측-요 이면 우측을 바라보는 방향정보를 생성할 수 있다. 즉 좌측 및 우측 롤과 좌측-요(left-yaw) 및 우측-요(right-yaw)는 서로 다른 방향정보를 생성할 수 있다.5A and 5B show a state in which the user wearing the HMD tilts his head to the right and left. 5A and 5B, when the head direction of the user is left-rolled as shown in FIG. 5A, the direction information generation unit 300 generates direction information (left direction) If the direction of the user's head is right-rolled as shown in FIG. 5B, the direction information is generated. When the user's head direction is right-rolled as shown in FIG. 5B, Direction information (a footstep moving to the right side) and generates direction information for looking to the right side if it is right-side. That is, the left and right rolls, left-yaw and right-yaw can generate different direction information.

제어부(400)는 생성된 방향정보를 기초로 상기 가상공간영상에 대한 시점 또는 상기 가상공간영상 내 객체의 시선 또는 이동을 제어할 수 있다.The control unit 400 may control the viewpoint of the virtual space image or the gaze or movement of the object in the virtual space image based on the generated direction information.

통상적으로 뒤로 걷는 경우 머리가 뒤로 젖혀지므로 사용자가 뒤로 걷는 경우 제어부(400)는 가상공간 상에서도 "뒤로 이동"이라는 명령을 생성할 수 있고, 다시 머리가 정면을 향하면 "정지"라는 명령을 생성할 수 있다. 따라서 뒤로 이동하던 가상객체 또는 시점이 멈출 수 있다.Normally, when walking backward, the head is bent back so that when the user walks back, the control unit 400 can generate a command "move backward" also in the virtual space and again generate a command "stop" have. Therefore, the virtual object or viewpoint that is moving backward can be stopped.

또한 제자리 걸음 하면서 머리가 좌 또는 우 방향으로 기울어지면(롤), 가상공간에 대하여 제어부(400)는 "정면을 바라보고 옆으로 이동"이라는 게걸음 과 같은 걸음걸이 이동 명령을 생성할 수 있다.If the head is tilted to the left or right direction while still standing, the control unit 400 can generate a gait movement command such as a step of "gazing at the front and moving to the side" with respect to the virtual space.

또한 제자리 걸음 하면서 머리가 좌 또는 우 방향으로 고개가 돌아가면(요), 가상공간에 대하여 제어부(400)는 "해당 방향으로 시선을 변경"이라는 명령을 생성할 수도 있다.In addition, when the head of the head rotates in the left or right direction while standing still, the control unit 400 may generate a command to change the line of sight in the corresponding direction with respect to the virtual space.

예컨대 사용자의 머리 방향이 소정각도 좌측-롤 또는 우측-롤 인 경우 제어부(400)는 좌측 또는 우측으로 각각 게걸음 이동 명령을 생성할 수 있다. 이와 달리 사용자의 머리 방향이 소정각도 좌측-요 또는 우측-요 인 경우, 제어부(400)는 좌측 또는 우측으로 사용자의 시선 또는 가상객체의 방향이 회전하도록 방향전환 명령을 생성할 수 있다. For example, when the head direction of the user is a left-side or right-side roll of a predetermined angle, the control unit 400 may generate a stepping motion command to the left or right, respectively. Alternatively, when the user's head direction is a predetermined angle left-yaw or right-yaw, the controller 400 may generate a direction change command so that the direction of the user's gaze or virtual object is rotated to the left or right.

또한 제어부(400)는 사용자가 제자리 걸음을 멈추면 가상공간에 대한 이동명령도 멈출 수 있고, 사용자가 제자리 걸음을 하면서 머리방향을 동적으로 변화시키는 경우 변화되는 머리방향에 대응되도록 가상공간 내 가상객체 또는 시선을 변경할 수 있다. In addition, the controller 400 can stop the movement command to the virtual space when the user stops the walking, and when the user dynamically changes the head direction while walking, Or you can change your gaze.

본 명세서에서 X방향으로 향하는 방향정보는 X방향으로 '가상객체를 이동'시키거나 디스플레이 상에 '표시되는 영상의 시점을 변화'시키는 명령일 수 있다. 예컨대 사용자가 정면을 향하는 경우 가상공간 내 가상객체가 앞으로 이동하거나, 표시화면이 줌인 될 수 있다. 또한 사용자가 머리를 뒤로 젖히고(백-피치) 걷는 경우 가상공간 내 가상객체가 뒤로 이동하거나, 표시화면이 줌 아웃 되어 표시될 수 있다.In the present specification, the direction information in the X direction may be a command to 'move a virtual object' in the X direction or to change the viewpoint of the displayed image on the display. For example, if the user is facing the front, the virtual object in the virtual space can move forward or the display screen can be zoomed in. Also, when the user tilts his head back (back-pitch), the virtual object in the virtual space can move backward or the display screen can be zoomed out.

도 6a 및 도 6b는 본 발명의 일 실시예에 따라서 사용자가 머리를 우측-롤 및 좌측-롤 하고 제자리 걸음하는 경우 표시장치 상에 표시되는 내용을 각각 나타낸다. FIGS. 6A and 6B show contents displayed on a display device when a user right-rolls and left-rolls a head in accordance with an embodiment of the present invention, respectively.

도 6a는 도 5b에서와 같이 사용자가 우측으로 고개를 기울이고 제자리 걸음하는 경우의 표시장치 상에 나타난 영상을 나타낸다. 이 경우 제어부(400)는 사용자의 시점을 우측으로 이동시키므로, 객체(OB1)는 표시장치(100)상에서 우측 가장자리에서 좌측 가장자리로 이동되어 표시된다.FIG. 6A shows an image displayed on the display device when the user tilts his head to the right and stays in the same position as in FIG. 5B. In this case, since the control unit 400 moves the viewpoint of the user to the right, the object OB1 is moved from the right edge to the left edge on the display device 100 and displayed.

도 6b는 도 5a에서와 같이 사용자가 좌측으로 고개를 기울이고 제자리 걸음하는 경우 표시장치 상에 나타난 가상객체(OB2)의 이동을 나타낸다. 이 경우 제어부(400)는 사용자가 좌측으로 고개를 기울이고 제자리 걸음 하고 있으므로, 이에 대응되도록 가상객체(OB2)가 좌측으로 이동하도록 가상객체(OB2)를 제어할 수 있다. 일 실시예에서 제어부(400)는 가상객체를 좌로 이동시키는 경우, 가상객체가 다리를 가진 사람, 동물 또는 이와 유사한 것이라면 도 6b에서와 같이 게걸음 걸음걸이로 이동하도록 제어할 수도 있다.FIG. 6B shows the movement of the virtual object OB2 displayed on the display device when the user tilts his head to the left side and treads as shown in FIG. 5A. In this case, the controller 400 may control the virtual object OB2 so that the virtual object OB2 moves to the left so that the user tilts his head to the left and stays in the same position. In one embodiment, when the virtual object is moved to the left, the control unit 400 may control the virtual object to move to the walker, as shown in FIG. 6B, if the person, the animal, or the like is a person with a leg.

여기서 설명된 '이동'은 걷는 것, 달리는 것, 기는 것 및 점프 중 적어도 하나를 포함할 수 있다.The 'move' described herein may include at least one of walking, running, riding, and jumping.

도 7은 본 발명의 일 실시예에 따른 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 방법의 순서도이다. 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 방법은 상술한 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 장치의 적어도 하나의 구성요소들에 의해 구현될 수 있다. 예컨대 장치(1000) 중 센서를 제외한 나머지 구성요소들에 의해 구현될 수도 있다. 이 경우 센서는 타 장치로서 센서로부터 각 머리방향 및 다리이동에 관한 센싱정보를 제어부가 획득하여 본 방법에 이용할 수 있다. FIG. 7 is a flowchart of an interaction method using an in-situ pace for omni-directional virtual reality navigation according to an embodiment of the present invention. The in-situ-based interaction method for omnidirectional virtual reality navigation can be implemented by at least one of the components of the interaction apparatus using the in-situ step for virtual reality navigation. But may be implemented by other components of the apparatus 1000 except for the sensor. In this case, the sensor can acquire sensing information about each head direction and leg movement from the sensor as another device, and the control unit can use it for the present method.

도 7을 참조하면 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 방법은 표시장치 상에 가상공간영상을 표시하는 단계(S100), 센서가, 상기 가상공간영상을 바라보는 사용자의 다리 움직임을 감지하는 단계(S200), 센서가, 상기 사용자의 머리 방향을 감지하는 단계(S300), 제어부가, 사용자가 제자리에서 걷거나 뛰는 동작 동안의 머리방향을 기초로 방향정보를 생성하는 단계(S400) 및 제어부가, 생성된 방향정보를 기초로 상기 가상공간영상에 대한 시점 또는 상기 가상공간영상 내 객체의 이동을 제어하는 단계(S500)를 포함할 수 있다. 여기서 사용자의 머리 방향은, 피치(pitch), 요(yaw), 롤(roll) 중 적어도 하나를 포함할 수 있다.Referring to FIG. 7, a method of interacting with a virtual walker for forward virtual reality navigation includes displaying a virtual space image on a display device (S100), detecting a movement of a user's leg viewing the virtual space image A step S300 of sensing the head direction of the user by the sensor, a step S400 of generating direction information based on the head direction of the user during the walking or jumping operation in place, (S500) of controlling the movement of the object in the virtual space image or the viewpoint of the virtual space image based on the generated direction information. Here, the head direction of the user may include at least one of pitch, yaw, and roll.

일 실시예에서 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 방법은 상기 머리방향이 정면을 향하면 앞을 향하는 방향정보를 생성하는 단계; 및 상기 머리방향이 소정 각도 백-피치(back-pitch)이면 뒤를 향하는 방향정보를 생성하는 단계를 더 포함할 수 있다. 또한 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 방법은 상기 머리방향이 좌측-롤(left-roll)이면 정면을 바라보고 좌측으로 이동하는 방향정보를 생성하는 단계 및 상기 머리방향이 우측-롤(right-roll)이면 정면을 바라보고 우측으로 이동하는 방향정보를 생성하는 단계를 더 포함할 수도 있다. In one embodiment, an interaction method using an in-situ step for virtual reality navigation in an omni-directional system includes generating direction information that is directed forward when the head direction is front; And generating backward direction information when the head direction is a predetermined angle back-pitch. In addition, the method for interacting with the virtual walker for forward virtual reality navigation includes the steps of: generating direction information that the user looks at the front side and moves to the left side if the head direction is left-roll; (right-roll) direction, and generating direction information that moves toward the right side.

본 발명의 일 실시예에 따른 컴퓨터로 판독 가능한 기록매체는, 상술한 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 방법을 실행하기 위한 명령을 저장하고 있을 수 있다. The computer-readable recording medium according to an exemplary embodiment of the present invention may store instructions for executing an interaction method using an in-situ step for virtual reality navigation.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, Those skilled in the art will appreciate that various modifications, additions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims.

도 8은 본 발명의 개념을 설명하기 위한 상태-변화 다이어그램이다. 도 8을 참조하면 본 발명은 머리의 각도로 걷는 방향을 정하므로 앞으로 걸으며 위를 쳐다보는 동작과 뒤로 걷는 동작과 구별이 되지 않을 수 있다. 따라서 멈춤 상태에서 사용자가 머리를 위로 향하고 걸으면 가상 공간에서 뒤로 걷는 상태가 된다. 다시 앞으로 가기 위해서는 잠시 멈추었다가 고개를 앞으로 향하고 걷기 시작하면 가상 공간에서 앞으로 걷게 된다. 또한 앞으로 걷다가 좌우로 고개를 기울이면(롤) 그 방향으로 게걸음을 하게 된다. 한편 앞으로 걷다가 좌우로 고개를 돌리면(요) 그 방향으로 몸과 시선을 틀어 이동하게 된다.8 is a state-change diagram for explaining the concept of the present invention. Referring to FIG. 8, since the present invention defines a walking direction at an angle of the head, it may not be distinguishable from a forward walking and backward walking motion. Therefore, when the user is walking with his head up in the stopped state, he or she is walking backward in the virtual space. If you want to go forward again, stop for a while, then start to walk forward with your head forward. Also, if you walk forward and tilt your head to the left and right (roll), you will walk in that direction. On the other hand, if you walk forward and turn your head to the left and right (yo), you will move your body and gaze in that direction.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be construed as being limited to the above-described embodiments, and all of the equivalents or equivalents of the claims, as well as the following claims, I will say.

Claims (15)

가상공간영상을 표시하는 표시장치;
상기 가상공간영상을 바라보는 사용자의 다리 움직임을 감지하는 다리 움직임 센서;
상기 사용자의 머리 방향을 감지하는 머리방향 센서;
다리가 움직이는 동안의 머리방향을 기초로 방향정보를 생성하는 방향정보 생성부;
생성된 방향정보를 기초로 상기 가상공간영상에 대한 시점 또는 상기 가상공간영상 내 객체의 이동을 제어하는 제어부를 포함하는, 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 장치.
A display device for displaying a virtual space image;
A leg motion sensor for sensing a leg motion of a user looking at the virtual space image;
A head direction sensor for sensing a head direction of the user;
A direction information generating unit for generating direction information based on a head direction while the leg is moving;
And a control unit for controlling movement of an object in the virtual space image based on the generated direction information or the viewpoint of the virtual space image.
제1항에 있어서,
상기 표시장치는,
헤드마운티드디스플레이(HMD), 휴대용 디스플레이장치, 평면 또는 곡면 스크린 중 적어도 하나인 것을 특징으로 하는 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 장치.
The method according to claim 1,
The display device includes:
A head mounted display (HMD), a portable display device, and a flat or curved screen.
제1항에 있어서,
상기 다리 움직임 센서는,
가속도 센서, 지자기센서, 적외선 센서, IMU(Inertia Measurement Unit)센서, 비전센서 중 적어도 하나를 포함하는 것을 특징으로 하는 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 장치.
The method according to claim 1,
Wherein the leg motion sensor comprises:
An acceleration sensor, a geomagnetism sensor, an infrared sensor, an IMU (Inertia Measurement Unit) sensor, and a vision sensor.
제1항에 있어서,
상기 머리방향 센서는,
가속도 센서, 지자기센서, 적외선 센서, IMU(Inertia Measurement Unit)센서, 비전센서 중 적어도 하나를 포함하는 것을 특징으로 하는 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 장치.
The method according to claim 1,
The head direction sensor includes:
An acceleration sensor, a geomagnetism sensor, an infrared sensor, an IMU (Inertia Measurement Unit) sensor, and a vision sensor.
제1항에 있어서,
상기 사용자의 머리 방향은,
피치(pitch), 요(yaw), 롤(roll) 중 적어도 하나를 포함하는 것을 특징으로 하는 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 장치.
The method according to claim 1,
The head direction of the user may be,
Wherein the virtual space includes at least one of a pitch, a yaw, and a roll.
제5항에 있어서,
상기 방향정보 생성부는,
사용자가 제자리에서 걷거나 뛰는 동작 동안의 머리방향 정보를 기초로 상기 방향정보를 생성하는 것을 특징으로 하는 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 장치.
6. The method of claim 5,
Wherein the direction information generating unit comprises:
Wherein the direction information is generated on the basis of head direction information during a user's walking or jumping operation in an in-situ virtual-reality navigation system.
제6항에 있어서,
상기 방향정보 생성부는,
상기 머리방향이 정면을 향하면 앞을 향하는 방향정보를 생성하고,
상기 머리방향이 소정 각도 백-피치(back-pitch)이면 뒤를 향하는 방향정보를 생성하는 것을 특징으로 하는 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 장치.
The method according to claim 6,
Wherein the direction information generating unit comprises:
Directional information is generated when the head direction is toward the front,
And generates backward direction information when the head direction is a predetermined angle back-pitch. 13. The interaction apparatus according to claim 1,
제6항에 있어서,
상기 방향정보 생성부는,
상기 머리방향이 좌측-롤(left-roll)이면 정면을 바라보고 좌측으로 이동하는 방향정보를 생성하고,
상기 머리방향이 우측-롤(right-roll)이면 정면을 바라보고 우측으로 이동하는 방향정보를 생성하는 것을 특징으로 하는 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 장치.
The method according to claim 6,
Wherein the direction information generating unit comprises:
If the head direction is left-roll, direction information is generated that looks toward the front and moves to the left,
And if the head direction is right-roll, direction information on the front side is moved to the right side, and the direction information is generated when the head direction is right-roll.
제7항에 있어서,
상기 제어부는,
상기 방향정보가 앞을 향하는 것이면, 가상공간 내 시점을 앞으로 이동시키거나 상기 객체를 앞으로 이동시키고,
상기 방향정보가 뒤를 향하는 것이면, 가상공간 내 시점을 뒤로 이동시키거나, 상기 객체를 뒤로 이동시키는 것을 특징으로 하는 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 장치.
8. The method of claim 7,
Wherein,
If the direction information is forward, moving the viewpoint in the virtual space forward or moving the object forward,
And moving the viewpoint in the virtual space backward or moving the object backward if the direction information is directed backward.
제8항에 있어서,
상기 제어부는,
상기 방향정보가 좌측 또는 우측을 향하는 것이면, 가상공간 내 시점을 좌측 또는 우측으로 이동시키거나, 상기 객체를 좌측 또는 우측으로 이동시키는 것을 특징으로 하는 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 장치.
9. The method of claim 8,
Wherein,
Wherein when the direction information is directed to the left or right, the viewpoint in the virtual space is moved to the left or right or the object is moved to the left or right. .
제10항에 있어서,
상기 제어부는,
상기 객체가 게걸음 걸음걸이로 이동하도록 객체를 제어하는 것을 특징으로 하는 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 장치.
11. The method of claim 10,
Wherein,
Wherein the object is controlled so that the object moves to a stepping foot stepping motion.
표시장치 상에 가상공간영상을 표시하는 단계;
상기 가상공간영상을 바라보는 사용자의 다리 움직임을 감지하는 단계;
상기 사용자의 머리 방향을 감지하는 단계;
사용자가 제자리에서 걷거나 뛰는 동작 동안의 머리방향을 기초로 방향정보를 생성하는 단계;
생성된 방향정보를 기초로 상기 가상공간영상에 대한 시점 또는 상기 가상공간영상 내 객체의 이동을 제어하는 단계를 포함하되,
상기 사용자의 머리 방향은, 피치(pitch), 요(yaw), 롤(roll) 중 적어도 하나를 포함하는, 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 방법.
Displaying a virtual space image on a display device;
Sensing a leg motion of a user looking at the virtual space image;
Sensing a head direction of the user;
Generating direction information based on a head direction during a user's walking or jumping operation;
And controlling movement of an object in the virtual space image or a viewpoint of the virtual space image based on the generated direction information,
Wherein the head direction of the user includes at least one of a pitch, a yaw, and a roll.
제12항에 있어서,
상기 머리방향이 정면을 향하면 앞을 향하는 방향정보를 생성하는 단계; 및
상기 머리방향이 소정 각도 백-피치(back-pitch)이면 뒤를 향하는 방향정보를 생성하는 단계를 더 포함하는 것을 특징으로 하는 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 방법.
13. The method of claim 12,
Generating direction information when the head direction is toward the front direction; And
And generating backward direction information when the head direction is a predetermined angle back-pitch. 13. The method according to claim 1, further comprising: generating backward direction information when the head direction is a predetermined angle back-pitch.
제12항에 있어서,
상기 머리방향이 좌측-롤(left-roll)이면 정면을 바라보고 좌측으로 이동하는 방향정보를 생성하는 단계; 및
상기 머리방향이 우측-롤(right-roll)이면 정면을 바라보고 우측으로 이동하는 방향정보를 생성하는 단계를 더 포함하는 것을 특징으로 하는 전방향 가상현실 네비게이션을 위한 제자리 걸음을 이용한 인터랙션 방법.
13. The method of claim 12,
If the head direction is left-roll, generating direction information that is directed toward the front and moves to the left; And
If the head direction is right-roll, generating direction information that moves toward the right side when the head direction is a right-roll direction.
제12항에 따른 방법을 실행하기 위한 명령이 저장된, 컴퓨터로 판독 가능한 기록매체.
13. A computer-readable medium having stored thereon instructions for executing the method of claim 12.
KR1020170100263A 2017-08-08 2017-08-08 Interraction device and method for navigating in virtual reality using walking in place KR102108962B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170100263A KR102108962B1 (en) 2017-08-08 2017-08-08 Interraction device and method for navigating in virtual reality using walking in place

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170100263A KR102108962B1 (en) 2017-08-08 2017-08-08 Interraction device and method for navigating in virtual reality using walking in place

Publications (2)

Publication Number Publication Date
KR20190016264A true KR20190016264A (en) 2019-02-18
KR102108962B1 KR102108962B1 (en) 2020-05-12

Family

ID=65561375

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170100263A KR102108962B1 (en) 2017-08-08 2017-08-08 Interraction device and method for navigating in virtual reality using walking in place

Country Status (1)

Country Link
KR (1) KR102108962B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210064534A (en) * 2019-11-26 2021-06-03 서울과학기술대학교 산학협력단 Apparatus for correcting multi-video viewpoint
CN117234340A (en) * 2023-11-14 2023-12-15 荣耀终端有限公司 Method and device for displaying user interface of head-mounted XR device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020077617A (en) 2001-04-02 2002-10-12 조종학 Training machine based on virtual reality
JP2014054303A (en) * 2012-09-11 2014-03-27 Casio Comput Co Ltd Exercise support device, exercise support method, and exercise support program
KR101650820B1 (en) * 2015-06-10 2016-08-24 (주)굿게이트 Display apparatus and method for controlling display using gyro sensor
KR20170033340A (en) * 2014-08-08 2017-03-24 그렉 반 쿠렌 Virtual reality system enabling compatibility of sense of immersion in virtual space and movement in real space, and battle training system using same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020077617A (en) 2001-04-02 2002-10-12 조종학 Training machine based on virtual reality
JP2014054303A (en) * 2012-09-11 2014-03-27 Casio Comput Co Ltd Exercise support device, exercise support method, and exercise support program
KR20170033340A (en) * 2014-08-08 2017-03-24 그렉 반 쿠렌 Virtual reality system enabling compatibility of sense of immersion in virtual space and movement in real space, and battle training system using same
KR101650820B1 (en) * 2015-06-10 2016-08-24 (주)굿게이트 Display apparatus and method for controlling display using gyro sensor

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210064534A (en) * 2019-11-26 2021-06-03 서울과학기술대학교 산학협력단 Apparatus for correcting multi-video viewpoint
US11055815B2 (en) 2019-11-26 2021-07-06 Fdn. for Res.&Bus., Seoul Nat. Univ. of Sci.&Tech. Apparatus for correcting multi-video viewpoint
CN117234340A (en) * 2023-11-14 2023-12-15 荣耀终端有限公司 Method and device for displaying user interface of head-mounted XR device

Also Published As

Publication number Publication date
KR102108962B1 (en) 2020-05-12

Similar Documents

Publication Publication Date Title
KR101777820B1 (en) Perception based predictive tracking for head mounted displays
US9918663B2 (en) Feedback wearable
WO2017135129A1 (en) Virtual space image providing method and program therefor
KR20210071083A (en) Systems and methods for modifying safety boundaries of virtual reality systems
JP2019083033A (en) Method, system and device for navigating in virtual reality environment
JP5655674B2 (en) Head mounted display and program used therefor
JP7454818B2 (en) Animation production method
CN111831104A (en) Head-mounted display system, related method and related computer readable recording medium
US10559064B2 (en) Storage medium, information-processing device, information-processing system, and information-processing method
KR20190016264A (en) Interraction device and method for navigating in virtual reality using walking in place
Aldaba et al. Virtual reality body motion induced navigational controllers and their effects on simulator sickness and pathfinding
US20200234496A1 (en) Navigating in a virtual environment
US11801010B2 (en) Walking sense presentation device and presentation method
JP6964302B2 (en) Animation production method
JP6964142B2 (en) Information processing equipment, information processing methods, and programs
TWI620100B (en) Method, virtual reality apparatus and recording medium for displaying fast moving frames of virtual reality
Ciger et al. Evaluation of gaze tracking technology for social interaction in virtual environments
JP2746251B2 (en) Experience input device
JP6872391B2 (en) Walking support system, walking support method, and program
KR20150142991A (en) Sensing device and screen shooting simulation system having thesame
US20140062997A1 (en) Proportional visual response to a relative motion of a cephalic member of a human subject
JP6533946B1 (en) Program, information processing apparatus, information processing system, information processing method and head mounted display
WO2024009795A1 (en) Avatar control device, avatar control method, and avatar control program
WO2021011208A1 (en) User input system for mitigation of rotational disparity in translation through virtual environments
WO2021059356A1 (en) Animation production system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant