KR20170137650A - Apparatus and method for providing haptic feedback through shoes - Google Patents

Apparatus and method for providing haptic feedback through shoes Download PDF

Info

Publication number
KR20170137650A
KR20170137650A KR1020170068685A KR20170068685A KR20170137650A KR 20170137650 A KR20170137650 A KR 20170137650A KR 1020170068685 A KR1020170068685 A KR 1020170068685A KR 20170068685 A KR20170068685 A KR 20170068685A KR 20170137650 A KR20170137650 A KR 20170137650A
Authority
KR
South Korea
Prior art keywords
haptic
user
shoe
haptic feedback
pressure
Prior art date
Application number
KR1020170068685A
Other languages
Korean (ko)
Inventor
김진용
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20170137650A publication Critical patent/KR20170137650A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Abstract

The present invention provides an apparatus and a method for providing haptic feedback through shoes which reproduce a feeling of a virtual reality environment and delivers the same to a user. The apparatus for providing haptic feedback realized in haptic shoes receives scene information updated in accordance with a position of a user and a head-mounted display (HMD), measures a pressure applied to feet when a user wears the haptic shoes and walks, then generates a haptic signal matching the scene information based on the pressure, and operates at least one haptic actuator positioned on an uppermost layer in a bottom portion of the haptic shoes in accordance with the haptic signal to supply haptic feedback to the feet.

Description

신발을 통한 햅틱 피드백 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING HAPTIC FEEDBACK THROUGH SHOES}[0001] APPARATUS AND METHOD FOR PROVIDING HAPTIC FEEDBACK THROUGH SHOES [0002]

본 발명은 신발을 통한 햅틱 피드백 제공 장치 및 방법에 관한 것으로, 보다 자세하게는 가상현실 환경에서 사용자가 걸어다닐 때 다양한 밟는 느낌을 신발을 통해서 재현해 주는 신발을 통한 햅틱 피드백 제공 장치 및 방법에 관한 것이다. The present invention relates to an apparatus and method for providing haptic feedback through a shoe, and more particularly, to an apparatus and method for providing haptic feedback through a shoe, which reproduces a variety of feeling of stepping through a shoe when the user is walking in a virtual reality environment .

기존 가상환경 시스템에 사용되는 수트, 갑옷 등의 착용형 디바이스 장치는 가상환경의 시나리오 및 상호작용에 맞게 신체에 다양한 느낌을 전달해 주거나, 러닝머신 형태의 가상현실 기기(Virtuix Omni, Cyberith Virtualizer 등) 형태로 제작되어 신체 동작과 움직임을 감지하고 이를 가상현실 시스템에 반영하는 방법이 대부분이다. Wearable device devices, such as suits and armor, used in existing virtual environment systems are used to transmit various sensations to the body in accordance with scenarios and interactions of a virtual environment, or to form virtual machines such as Virtuix Omni and Cyberith Virtualizer And it is mostly used to detect body movements and movements and to reflect them in a virtual reality system.

하지만 좀 더 사실적이고 실감적인 가상현실 체험을 위해서는 가상현실 서비스의 환경에 맞춰 다양한 신체부위에 촉감을 전달해야 더욱 실감적인 가상현실 서비스를 제공할 수 있다. However, in order to experience a more realistic and realistic virtual reality, it is necessary to deliver touch to various parts of the body according to the environment of the virtual reality service, thereby providing a more realistic virtual reality service.

인간이 신발을 통해 느껴지는 다양한 시나리오를 기반으로 신발이 가상현실의 바닥에 접촉할 때 족압을 측정하고, 시나리오에 따르는 다양한 햅틱 피드백을 측정된 족압의 압력에 따라서 발바닥에 직접 전달해 줌으로써 한층 더 실감된 가상현실 서비스를 제공하는 기술이 아직까지는 구체적으로 다루어지고 있지 않다. Based on various scenarios felt by humans through shoes, footwear is measured when the shoe touches the floor of the virtual reality, and various haptic feedbacks according to the scenarios are transmitted directly to the sole according to the pressure of the measured foot pressure, The technology that provides real services is not yet addressed in detail.

본 발명이 해결하려는 과제는 가상현실의 실감을 증대시킬 수 있는 신발을 통한 햅틱 피드백 제공 장치 및 방법을 제공하는 것이다. SUMMARY OF THE INVENTION An object of the present invention is to provide an apparatus and method for providing haptic feedback through a shoe, which can increase the realism of a virtual reality.

본 발명의 한 실시 예에 따르면, 햅틱 신발에 구현된 햅틱 피드백 제공 장치에서 사용자의 발바닥에 햅틱 피드백을 제공하는 방법이 제공된다. 신발을 통한 햅틱 피드백 제공 방법은 헤드 마운티드 디스플레이(Head Mounted Display, HMD) 및 사용자의 위치에 따라서 업데이트된 씬(Scene) 정보를 수신하는 단계, 사용자가 상기 햅틱 신발을 신고 걸었을 때 상기 발바닥에 가해지는 압력을 측정하는 단계, 상기 압력을 토대로 상기 씬 정보에 맞는 햅틱 신호를 생성하는 단계, 그리고 상기 햅틱 신호에 따라서 햅틱 신발의 바닥 부분에서 제일 위층에 위치하는 적어도 하나의 햅틱 액츄에이터를 가동시켜 상기 발바닥에 햅틱 피드백을 제공하는 단계를 포함한다. According to an embodiment of the present invention, there is provided a method of providing haptic feedback to a soles of a user in a haptic feedback providing apparatus implemented in a haptic shoe. A method of providing haptic feedback through a shoe includes receiving a scene information updated according to a head mounted display (HMD) and a position of a user, applying the haptic footwear to a user when the user calls the haptic shoe Generating a haptic signal corresponding to the scene information on the basis of the pressure; and actuating at least one haptic actuator located on the uppermost layer in a bottom portion of the haptic shoe according to the haptic signal, To provide haptic feedback.

본 발명의 실시 예에 의하면, 사용자가 가상환경에서 시각적인 현실감뿐만 아니라 가상현실 환경에서의 바닥의 느낌을 재현하여 사용자에게 전달함으로써 사용자에게 가상현실 환경에 있는 듯한 극사실감을 제공해 줄 수 있는 효과가 있다.According to the embodiment of the present invention, the user can reproduce the feeling of the floor in the virtual reality environment as well as the visual reality in the virtual environment and deliver it to the user, thereby providing the user with the extreme realism that seems to be in the virtual reality environment have.

도 1은 본 발명의 실시 예에 따른 가상현실 환경 시스템을 나타낸 도면이다.
도 2는 도 1에 도시된 햅틱 신발에 구현된 햅틱 피드백 제공 장치를 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 햅틱 신발의 바닥 부분의 구조를 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 햅틱 피드백 제공 방법을 설명하는 흐름도이다. 1 is a diagram illustrating a virtual reality environment system according to an embodiment of the present invention.
FIG. 2 is a view showing a haptic feedback providing apparatus embodied in the haptic shoe shown in FIG. 1. FIG.
3 is a view illustrating a structure of a bottom portion of a haptic shoe according to an embodiment of the present invention.
4 is a flowchart illustrating a method of providing haptic feedback according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification and claims, when a section is referred to as "including " an element, it is understood that it does not exclude other elements, but may include other elements, unless specifically stated otherwise.

이제 본 발명의 실시 예에 따른 신발을 통한 햅틱 피드백 제공 장치 및 방법에 대하여 도면을 참고로 하여 상세하게 설명한다. Now, an apparatus and method for providing haptic feedback through a shoe according to an embodiment of the present invention will be described in detail with reference to the drawings.

도 1은 본 발명의 실시 예에 따른 가상현실 환경 시스템을 나타낸 도면이다. 1 is a diagram illustrating a virtual reality environment system according to an embodiment of the present invention.

도 1을 참고하면, 가상현실 환경 시스템은 헤드 마운티드 디스플레이(Head Mounted Display, HMD)(110), 깊이(depth) 카메라(120), 햅틱 신발(130), 액세스 포인트(Access Point, AP)(140) 및 서버(150)를 포함한다. 1, the virtual reality environment system includes a head mounted display (HMD) 110, a depth camera 120, a haptic shoe 130, an access point (AP) 140 And a server 150. [0034]

사용자는 HMD(110)와 햅틱 신발(130)을 착용하고 공간을 걷는다. The user wears the HMD 110 and the haptic shoe 130 and walks the space.

HMD(110)는 서버(150)의 그래픽 카드에 연결되어 있고, 적어도 하나의 헤드 트래킹용 센서를 장착하고 있다. HMD(110)는 장착된 적어도 하나의 헤드 트래킹용 센서를 통해 획득된 감지 데이터를 토대로 사용자의 헤드 트래킹을 수행하며, 헤드 트래킹에 따른 씬(Scene) 정보를 디스플레이한다. The HMD 110 is connected to the graphics card of the server 150 and has at least one head tracking sensor mounted thereon. The HMD 110 performs head tracking of the user on the basis of the sensed data acquired through the mounted at least one head tracking sensor, and displays scene information according to the head tracking.

깊이 카메라(120)는 서버(150)에 연결되어 있고, 사용자의 움직임을 트래킹한다. 즉 깊이 카메라(120)는 사용자의 이동을 추적하여 서버(150)로 전달한다. 깊이 카메라(120)는 다리 및 발의 움직임을 트래킹하여 서버(150)에 전달하여, HMD(110)를 통하여 가상의 다리 및 발이 보이게 한다. The depth camera 120 is connected to the server 150 and tracks the movement of the user. That is, the depth camera 120 tracks the movement of the user and transfers the movement to the server 150. The depth camera 120 tracks movements of the legs and feet and transmits them to the server 150, so that the virtual legs and feet are visible through the HMD 110.

햅틱 신발(130)은 오른발 및 왼발용 신발 한 쌍으로 구성되어 있으며, WiFi 또는 블루투스 등의 무선 통신을 통해 서버(150)와 통신한다. 상황에 따라서는 유선 이더넷 통신도 가능하다. 햅틱 신발(130)은 족압을 측정할 수 있는 적어도 하나의 압력 센서를 포함하며, 압력 센서에 의해 발이 땅에 닿는 정보를 감지할 수 있다. 햅틱 신발(130)은 사용자가 바닥을 밟을 때 일정 압력 이상이 발바닥 전체 혹은 일정 부분에서 감지되면, 해당 부분의 압력 정보를 서버(150)에 전송한다. 또한 햅틱 신발(130)은 압력 정보를 토대로 업데이트한 씬 정보에 맞는 핵팁 신호를 생성하고, 햅틱 신호를 따라 해당 영역의 적어도 하나의 햅틱 액츄에이터를 가동시켜 햅틱 피드백을 발생시킨다. 해당 영역의 적어도 하나의 햅틱 액츄에이터는 햅틱 신호의 값에 따라 세기를 조절하여 사용자가 가상현실에서 이동할 때 가상현실 환경의 바닥의 느낌을 사용자의 발바닥에 재현할 수 있도록 한다. The haptic shoe 130 is composed of a pair of shoes for a right foot and a left foot, and communicates with the server 150 through wireless communication such as WiFi or Bluetooth. Depending on the situation, wired Ethernet communication is also possible. The haptic footwear 130 includes at least one pressure sensor capable of measuring the foot pressure, and can sense information that the foot touches the ground by the pressure sensor. The haptic footwear 130 transmits pressure information of a corresponding portion to the server 150 when a user presses the floor or more than a predetermined pressure is sensed in the entire foot or a certain portion of the foot. In addition, the haptic shoe 130 generates a haptic signal corresponding to the updated scene information based on the pressure information, and actuates at least one haptic actuator of the corresponding region along with the haptic signal to generate haptic feedback. At least one haptic actuator of the region adjusts intensity according to the value of the haptic signal so that the bottom of the virtual reality environment can be reproduced on the user's sole when the user moves in the virtual reality.

또한 햅틱 신발(130)은 자이로 센서, 가속도 센서 및 지자기 센서 등 사용자의 정확한 트래킹을 위해 사용되는 다양한 센서를 더 포함할 수 있다. The haptic footwear 130 may further include various sensors used for precise tracking of the user such as a gyro sensor, an acceleration sensor, and a geomagnetic sensor.

AP(140)는 햅틱 신발(130)과 서버(150) 사이에서 무선 통신을 제공한다. The AP 140 provides wireless communication between the haptic footwear 130 and the server 150.

서버(150)는 사용자의 위치 및 HMD(110)의 헤드 트래킹에 따른 씬 정보를 업데이트하고, 업데이트한 씬 정보를 HMD(110)로 제공한다. 즉 서버(150)는 HMD(110)의 트래킹 및 사용자의 위치에 따른 영상 화면을 HMD(110)로 제공한다. 서버(150)는 사용자의 위치 및 HMD(110)의 헤드 트래킹에 따라 업데이트된 씬 정보를 햅틱 신발(130)로 전달한다. 또한 서버(150)는 햅틱 신발(130)로부터 수신된 압력 정보를 햅틱 신발(130)의 시각적 표현을 위한 보정 및 음향 효과에 사용한다. 예를 들어, 압력 정보에 따라 음향의 세기를 결정할 수 있다. The server 150 updates the scene information according to the user's position and the head tracking of the HMD 110, and provides the updated scene information to the HMD 110. That is, the server 150 provides the HMD 110 with an image screen according to the tracking of the HMD 110 and the location of the user. The server 150 delivers the updated scene information to the haptic footwear 130 according to the user's position and the head tracking of the HMD 110. [ The server 150 also uses the pressure information received from the haptic shoe 130 for correction and sound effects for the visual representation of the haptic shoe 130. For example, the intensity of the sound can be determined according to the pressure information.

도 2는 도 1에 도시된 햅틱 신발에 구현된 햅틱 피드백 제공 장치를 나타낸 도면이다.FIG. 2 is a view showing a haptic feedback providing apparatus embodied in the haptic shoe shown in FIG. 1. FIG.

도 2를 참고하면, 햅틱 피드백 제공 장치(200)는 임베디드 시스템으로 햅틱 신발(130)에 구현된다. 즉 햅틱 피드백 제공 장치(200)는 오른발 및 왼발용 신발 한 쌍에 각각 구현될 수 있다. 도 2에서는 오른발용 신발에 구현된 햅틱 피드백 제공 장치(200)를 도시하였으며, 왼발용 신발에 구현된 햅틱 피드백 제공 장치도 오른발용 신발에 구현된 햅틱 피드백 제공 장치(200)와 동일하게 구성될 수 있다. Referring to FIG. 2, the haptic feedback providing apparatus 200 is implemented in the haptic shoe 130 as an embedded system. That is, the haptic feedback providing apparatus 200 may be implemented in a pair of shoes for the right foot and the left foot, respectively. 2 shows a haptic feedback providing apparatus 200 embodied in a foot for a right foot, and a haptic feedback providing apparatus implemented in a foot for a left foot may be constructed in the same manner as the haptic feedback providing apparatus 200 embodied in a foot for a right foot have.

햅틱 피드백 제공 장치(200)는 햅틱 액츄에이터 어레이(210), 압력 센서 어레이(220), 메인 프로세서(230) 및 통신 처리부(240)를 포함한다. The haptic feedback providing apparatus 200 includes a haptic actuator array 210, a pressure sensor array 220, a main processor 230, and a communication processing unit 240.

햅틱 액츄에이터 어레이(210)는 복수의 햅틱 액츄에이터를 포함하고, 복수의 햅틱 액츄에이터는 신발의 바닥 모양에 맞도록 어레이 형태로 구성된다. 햅틱 액츄에이터로는 유체 기반 액츄에이터를 포함하여 다양한 액츄에이터가 사용될 수 있다. 햅틱 액츄에이터는 서버(150)로부터의 핸틱 신호에 따라 햅틱 액츄에이터의 세기를 조절한다. 햅틱 액츄에이터의 세기는 압력 센서에서 측정된 압력에 비례할 수 있다. 즉 사용자가 강한 힘을 가하여 바닥을 밟을 경우 강한 압력 값을 얻게 되고 이에 따르는 햅틱 신호 또한 강하게 가해지며, 햅틱 액츄에이터의 세기 또한 햅틱 신호 에 따라 강해진다. 반대로 사용자가 약한 힘을 가하여 바닥을 밟을 경우 약한 압력 값을 얻게 되고 이에 따르는 햅틱 신호 또한 약하게 가해지며, 햅틱 액츄에이터의 세기 또한 햅틱 신호에 따라 약해진다. The haptic actuator array 210 includes a plurality of haptic actuators, and the plurality of haptic actuators are configured in an array shape to fit the bottom shape of the shoe. As the haptic actuator, various actuators including a fluid-based actuator may be used. The haptic actuator adjusts the intensity of the haptic actuator according to the haptic signal from the server 150. The intensity of the haptic actuator may be proportional to the pressure measured by the pressure sensor. That is, when the user presses the floor with a strong force, a strong pressure value is obtained, and accordingly the haptic signal is strongly applied, and the intensity of the haptic actuator also becomes stronger according to the haptic signal. On the contrary, when the user applies a weak force to the floor, a weak pressure value is obtained, and accordingly, the haptic signal is weakly applied, and the intensity of the haptic actuator also weakens according to the haptic signal.

압력 센서 어레이(220)는 복수의 압력 센서를 포함하고, 복수의 압력 센서는 신발의 바닥 모양에 맞도록 어레이 형태로 구성된다. 압력 센서는 사용자가 햅틱 신발을 신고 걸었을 때 가해지는 압력을 측정하고, 측정된 압력 정보를 메인 프로세서(230)로 전달한다. The pressure sensor array 220 includes a plurality of pressure sensors, and the plurality of pressure sensors are configured in an array shape to fit the bottom shape of the shoe. The pressure sensor measures the pressure applied when the user walks the haptic shoe and transmits the measured pressure information to the main processor 230.

메인 프로세서(230)는 압력 센서 어레이(220)의 압력 정보를 토대로, 일정 이상의 압력이 감지되면, 사용자의 신발이 땅을 밟은 것으로 간주하고, 일정 압력 이상이 감지된 영역에 해당하는 적어도 하나의 햅틱 액츄에이터를 동작시키기 위한 햅틱 신호를 생성하고, 생성된 햅틱 신호를 햅틱 액츄에이터 어레이(210)로 전달한다. 이때 메인 프로세서(230)는 주기적인 서버(150)와의 통신을 통해 현재 가상현실 환경의 씬이 어떤 환경(예를 들어, 바닷가, 숲속 등)인지 미리 인지하고, 해당 씬에 맞는 바닥 느낌의 햅틱 신호를 생성할 수 있다. 통상적으로 느낌을 주기 위한 햅틱 신호의 값은 미리 정의하여 햅틱 피드백 내의 제공 장치의 저장 장치(도시하지 않음)에 저장될 수 있다. The main processor 230 regards that the user's shoe has stepped on the ground when a pressure equal to or higher than a certain level is detected based on the pressure information of the pressure sensor array 220 and detects at least one haptic Generates a haptic signal for operating the actuator, and transmits the generated haptic signal to the haptic actuator array 210. At this time, the main processor 230 periodically communicates with the server 150 to recognize in advance which environment (for example, the beach, the forest, etc.) the scene of the current virtual reality environment is, and obtains a haptic signal Lt; / RTI > Typically, the value of the haptic signal for giving a feeling may be predefined and stored in a storage device (not shown) of the providing device in the haptic feedback.

사용자가 가상현실 속 바닷가의 모래를 걷는다고 가정한다. 모래의 경우 일반 평평한 바닥에 비해 부드러운 느낌을 준다. 따라서 메인 프로세서(230)는 현재 가상현실 환경의 씬이 바닷가의 모래 환경인 것을 인지하고, 햅틱 액츄에이터를 통해 유사한 느낌을 사용자의 발바닥에 전달할 수 있도록 하는 햅틱 신호를 생성한다. Suppose that a user walks the sand of a beach in virtual reality. Sand gives a soft feel compared to plain flat floor. Accordingly, the main processor 230 recognizes that the scene of the current virtual reality environment is a sandy beach environment, and generates a haptic signal that allows a similar feeling to be transmitted to the user's soles through the haptic actuator.

사용자가 가상현실 속 숲속을 걷는다고 가정한다. 이 경우, 사용자가 HMD(110)를 통해 보는 바닥에는 낙엽들이 깔려 있고 사용자가 낙엽바닥을 걸을 때 "바스락" 거리는 느낌을 준다. 따라서 메인 프로세서(230)는 현재 가상현실 환경의 씬이 숲속 환경인 것을 인지하고, 사용자가 낙엽바닥을 걸을 때 "바스락" 거리는 느낌을 주도록 하는 햅틱 신호를 생성한다. Suppose that the user walks through the forest in virtual reality. In this case, the user views the HMD 110 on the floor, and the user feels "rustling" Thus, the main processor 230 recognizes that the scene of the current virtual reality environment is a forest environment, and generates a haptic signal that causes the user to feel "rustling" when walking on the litter floor.

또한 사용자가 가상현실 속 눈밭을 걷는다고 가정한다. 이 경우, 가상현실의 바닥에는 눈이 깔려 있다. 사용자가 눈밭을 걷게 되면 "뽀드득" 거리는 느낌을 준다. 따라서 메인 프로세서(230)는 현재 가상현실 환경의 씬이 눈밭 환경인 것을 인지하고, "뽀드득" 거리는 느낌을 주도록 하는 햅틱 신호를 생성한다. It also assumes that the user walks the snowfield in virtual reality. In this case, the bottom of the virtual reality is covered with snow. When a user walks in a snow field, it gives a feeling of "puffiness". Accordingly, the main processor 230 recognizes that the scene of the current virtual reality environment is a snowy field environment, and generates a haptic signal to give a feeling of "puffy" distance.

메인 프로세서(230)는 이 외에도 다양한 시나리오를 통해 여러 가지 밟는 느낌(딱딱함, 부드러움, 거침 등)들을 표현하는 햅틱 신호를 생성할 수 있다.The main processor 230 may generate a haptic signal representing various treads (hardness, softness, roughness, etc.) through various scenarios.

한편, 가상현실 환경의 씬이 변경될 경우, 변경된 씬 정보는 서버(150)를 통해 통신 처리부(240)를 거쳐 메인 프로세서(230)로 전달되며, 마찬가지로 변경된 바닥 느낌의 햅틱 신호는 압력 값에 따라 그 값이 정해져 햅틱 액츄에이터에 전송된다. When the scene of the virtual reality environment is changed, the changed scene information is transmitted to the main processor 230 via the communication processing unit 240 through the server 150, and similarly, the changed floor feeling haptic signal is changed according to the pressure value The value is determined and transmitted to the haptic actuator.

일반적으로 압력 센서가 신발이 바닥에 닫지 않았는데도 불구하고 미세한 압력 값을 측정할 경우를 대비하여, 햅틱 피드백 제공 장치(200)는 별도의 압력 센서를 신발 바닥면 주위에 장착하여 신발이 바닥에 닿았다는 신호를 감지할 수도 있다. Generally, in order to measure a fine pressure value despite the fact that the pressure sensor does not close the floor, the haptic feedback providing apparatus 200 mounts a separate pressure sensor around the bottom of the shoe so that the shoe touches the floor It is also possible to detect the signal.

도 3은 본 발명의 실시 예에 따른 햅틱 신발의 바닥 부분의 구조를 나타낸 도면이다.3 is a view illustrating a structure of a bottom portion of a haptic shoe according to an embodiment of the present invention.

도 3을 참고하면, 햅틱 신발의 바닥 부분에서 제일 위층에는 햅틱 액츄에이터 어레이를 포함하는 햅틱 액츄에이터 어레이층(310)이 위치한다. 발바닥에 직접 햅틱 피드백을 전달해야 하기 때문에 햅틱 액츄에이터 어레이층(310)은 사용자의 발바닥이 닿는 제일 상단에 위치하게 된다. Referring to FIG. 3, a haptic actuator array layer 310 including a haptic actuator array is located on the uppermost layer in the bottom portion of the haptic shoe. The haptic actuator array layer 310 is positioned at the top of the foot of the user because the haptic feedback must be directly transmitted to the soles of the feet.

다음으로, 햅틱 액츄에이터 어레이층(310)과 압력 센서 어레이층(330) 사이에 실리콘 시트를 포함하는 실리콘 시트층(320)이 위치한다. 이 실리콘 시트는 햅틱 액츄에이터 어레이와 압력 센서 어레이 사이의 완충 작용 및 정확한 족압의 분포 값을 얻기 위한 역할을 한다. Next, a silicon sheet layer 320 comprising a silicon sheet is positioned between the haptic actuator array layer 310 and the pressure sensor array layer 330. This silicon sheet serves to obtain the cushioning action between the haptic actuator array and the pressure sensor array and the distribution of the correct foot pressure.

실리콘 시트층(320) 아래로 압력 센서 어레이를 포함하는 압력 센서 어레이층(330)이 위치하게 되고, 압력 센서 어레이층(330)의 아래로는 한 개 이상의 실리콘 시트층(340, 350, 360)이 위치한다. 여러 개의 실리콘 시트층(340, 350, 360)이 장착됨으로써, 햅틱 액츄에이터 어레이가 사용자의 발에 실린 무게를 완충할 수 있게 한다. Below the silicon sheet layer 320 is a pressure sensor array layer 330 comprising a pressure sensor array and below the pressure sensor array layer 330 is one or more silicon sheet layers 340, . Mounting a plurality of silicone sheet layers 340, 350, 360 allows the haptic actuator array to buffer the weight on the user's feet.

최종적으로 도 3에 도시된 모든 층(310~360)이 결합되어 햅틱 신발 내부에 장착된다. Finally, all layers 310-360 shown in FIG. 3 are combined and mounted within the haptic shoe.

그리고 도 2에 도시된 햅틱 피드백 제공 장치(100)는 신발 내부의 제일 하부에 장착되거나 신발 외부에 장착될 수도 있다. The haptic feedback providing apparatus 100 shown in FIG. 2 may be mounted at the bottom of the shoe or mounted outside the shoe.

도 4는 본 발명의 실시 예에 따른 햅틱 피드백 제공 방법을 설명하는 흐름도이다. 4 is a flowchart illustrating a method of providing haptic feedback according to an embodiment of the present invention.

도 4를 참고하면, 햅틱 피드백 제공 장치(200)는 서버(150)로부터 HMD(110) 및 사용자의 위치에 따라서 업데이트된 씬 정보를 수신한다(S410). Referring to FIG. 4, the haptic feedback providing apparatus 200 receives updated scene information from the server 150 according to the position of the HMD 110 and the user (S410).

햅틱 피드백 제공 장치(200)는 사용자가 상기 햅틱 신발을 신고 걸었을 때 압력 센서 어레이(220)를 통해 발바닥에 가해지는 압력을 측정한다(S420).The haptic feedback providing apparatus 200 measures the pressure applied to the sole through the pressure sensor array 220 when the user wears the haptic footwear (S420).

햅틱 피드백 제공 장치(200)는 측정된 압력을 미리 설정된 임계값과 비교하고(S430), 임계값 이상의 압력이 감지되면(S440), 해당 압력과 씬 정보를 토대로 햅틱 신호를 생성한다(S450).The haptic feedback providing apparatus 200 compares the measured pressure with a predetermined threshold value at step S430 and generates a haptic signal based on the pressure and the scene information at step S450 when a pressure equal to or greater than the threshold value is sensed at step S440.

햅틱 피드백 제공 장치(200)는 햅틱 신호에 따라서 임계값 이상의 압력이 가해진 영역의 적어도 하나의 햅틱 액츄에이터를 가동시켜 발바닥에 햅틱 피드백을 제공한다(S460).The haptic feedback providing apparatus 200 activates at least one haptic actuator in a region where a pressure equal to or higher than a threshold value is applied according to the haptic signal to provide haptic feedback to the sole at S460.

이상에서 본 발명의 실시 예는 가상현실 환경 시스템에 적합한 구성으로 설명하였으나, 햅틱 신발은 가상현실 환경 외에도 다양한 가상환경 및 실제환경에 적용될 수 있다. Although the embodiment of the present invention has been described in terms of the configuration suitable for the virtual reality environment system, the haptic shoe can be applied to various virtual environments and real environments in addition to the virtual reality environment.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속하는 것이다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.

Claims (1)

햅틱 신발에 구현된 햅틱 피드백 제공 장치에서 사용자의 발바닥에 햅틱 피드백을 제공하는 방법으로서,
헤드 마운티드 디스플레이(Head Mounted Display, HMD) 및 사용자의 위치에 따라서 업데이트된 씬(Scene) 정보를 수신하는 단계,
사용자가 상기 햅틱 신발을 신고 걸었을 때 상기 발바닥에 가해지는 압력을 측정하는 단계,
상기 압력을 토대로 상기 씬 정보에 맞는 햅틱 신호를 생성하는 단계, 그리고
상기 햅틱 신호에 따라서 햅틱 신발의 바닥 부분에서 제일 위층에 위치하는 적어도 하나의 햅틱 액츄에이터를 가동시켜 상기 발바닥에 햅틱 피드백을 제공하는 단계
를 포함하는 햅틱 피드백 제공 방법. A method for providing haptic feedback to a soles of a user in a haptic feedback providing apparatus implemented in a haptic shoe,
Receiving an updated scene information according to a head mounted display (HMD) and a user's position,
Measuring a pressure applied to the sole when the user is wearing the haptic shoe,
Generating a haptic signal corresponding to the scene information based on the pressure, and
Providing at least one haptic actuator located on the uppermost layer in a bottom portion of the haptic shoe in response to the haptic signal to provide haptic feedback to the sole
/ RTI >
KR1020170068685A 2016-06-03 2017-06-01 Apparatus and method for providing haptic feedback through shoes KR20170137650A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160069522 2016-06-03
KR20160069522 2016-06-03

Publications (1)

Publication Number Publication Date
KR20170137650A true KR20170137650A (en) 2017-12-13

Family

ID=60944357

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170068685A KR20170137650A (en) 2016-06-03 2017-06-01 Apparatus and method for providing haptic feedback through shoes

Country Status (1)

Country Link
KR (1) KR20170137650A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102154337B1 (en) * 2020-05-08 2020-09-09 플레이스비 주식회사 Method for providing customized haptic effects and system using the same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102154337B1 (en) * 2020-05-08 2020-09-09 플레이스비 주식회사 Method for providing customized haptic effects and system using the same
WO2021225241A1 (en) * 2020-05-08 2021-11-11 플레이스비 주식회사 Method for providing customized haptic effect, and system using same

Similar Documents

Publication Publication Date Title
TWI584155B (en) Game suit, ground pad and the interactive system applied thereof
Nilsson et al. Tapping-in-place: Increasing the naturalness of immersive walking-in-place locomotion through novel gestural input
EP3333672B1 (en) Haptic surround functionality
US11836284B2 (en) Sensor fusion for electromagnetic tracking
US9918663B2 (en) Feedback wearable
US20170164899A1 (en) Devices embedded smart shoes
US10133343B2 (en) Foot operated navigation and interaction for virtual reality experiences
WO2013050473A1 (en) Portable device, virtual reality system and method
US20200126280A1 (en) Information processing system, information processing device, server device, image providing method and image generation method
Son et al. Realwalk: Feeling ground surfaces while walking in virtual reality
US11531389B1 (en) Systems and methods for electric discharge-based sensing via wearables donned by users of artificial reality systems
Takeuchi Gilded gait: reshaping the urban experience with augmented footsteps
US11156830B2 (en) Co-located pose estimation in a shared artificial reality environment
JP2013192721A (en) Foot pressure distribution measurement system and information processor
CN110476140B (en) Information processing system, information processing method, and information processing program
WO2018053055A1 (en) Methods and devices for information acquisition, detection, and application of foot gestures
US20190361527A1 (en) Wearable device, control method for wearable device and control system
JP3847634B2 (en) Virtual space simulation device
CN111867414A (en) Method, device and system for measuring, evaluating and for simulating shoes
US20210275098A1 (en) Methods and devices for information acquisition, detection, and application of foot gestures
KR20170137650A (en) Apparatus and method for providing haptic feedback through shoes
US10915165B2 (en) Methods and systems for controlling a displacement of a virtual point of view in a virtual reality environment
KR102244860B1 (en) System for analyzing walking motion
JP2022149250A (en) Foot sole tactile device and vr system
KR20180094773A (en) Chair type virtual reality controller