KR102375137B1 - Touch-haptic response-based sensory-linked game system - Google Patents

Touch-haptic response-based sensory-linked game system Download PDF

Info

Publication number
KR102375137B1
KR102375137B1 KR1020210147811A KR20210147811A KR102375137B1 KR 102375137 B1 KR102375137 B1 KR 102375137B1 KR 1020210147811 A KR1020210147811 A KR 1020210147811A KR 20210147811 A KR20210147811 A KR 20210147811A KR 102375137 B1 KR102375137 B1 KR 102375137B1
Authority
KR
South Korea
Prior art keywords
module
haptic
content
touch
pad
Prior art date
Application number
KR1020210147811A
Other languages
Korean (ko)
Other versions
KR102375137B9 (en
Inventor
김봉수
Original Assignee
주식회사 글림시스템즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 글림시스템즈 filed Critical 주식회사 글림시스템즈
Priority to KR1020210147811A priority Critical patent/KR102375137B1/en
Application granted granted Critical
Publication of KR102375137B1 publication Critical patent/KR102375137B1/en
Publication of KR102375137B9 publication Critical patent/KR102375137B9/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A63F13/245—Constructional details thereof, e.g. game controllers with detachable joystick handles specially adapted to a particular type of game, e.g. steering wheels
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention relates to a touch-haptic response-based sensory-linked game system. Here, the touch-haptic response-based sensory-linked game system has a main configuration comprising a display module (10), a speaker module (20), and a haptic pad module (30). The touch-haptic response-based sensory-linked game system is structurally improved to deliver content location information output on the screen by a complex combination of the display module, the speaker module, and the haptic pad module configuration, in order to induce the exercise effect of children with visual and hearing impairments as well as general children, while performing the experience of finding and clicking content output on the screen using one or more of the senses of sight, hearing, and touch.

Description

터치햅틱반응 기반 감각연동형 게임시스템{Touch-haptic response-based sensory-linked game system}Touch-haptic response-based sensory-linked game system

본 발명은 터치햅틱반응 기반 감각연동형 게임시스템에 관련되며, 보다 상세하게는 디스플레이모듈, 스피커모듈, 햅틱패드모듈 구성의 복합적인 조합에 의해 화면상에 출력되는 콘텐츠 위치정보를 전달하도록 구조 개선되어, 시각, 청각, 촉각 중 어느 하나 이상의 감각을 이용하여 화면상에 출력되는 콘텐츠를 찾아서 클릭하는 체험을 수행하면서 일반아동은 물론 시각, 청각장애 아동들의 운동효과를 유도할 수 있는 터치햅틱반응 기반 감각연동형 게임시스템에 관한 것이다.The present invention relates to a touch haptic response-based sensory interlocking game system, and more specifically, the structure is improved to deliver content location information output on the screen by a complex combination of a display module, a speaker module, and a haptic pad module configuration. A touch-haptic reaction-based sense that can induce motor effects for children with visual and hearing impairments as well as general children while performing an experience of finding and clicking content output on the screen using one or more of the senses of sight, hearing, and touch It relates to an interlocking game system.

일반적으로 손 등을 이용하여 좌표인식 영역인 터치보드에 힘을 가하면 진동파가 발생하며, 이때 발생한 진동파에 의해 사용자의 손이 터치보드에 접촉되었음을 감지하는 원리를 이용하여 전자기기를 편리하고 정확하게 사용하도록 발전하고 있다.In general, when a force is applied to the touch board, which is the coordinate recognition area, using a hand, a vibration wave is generated, and the electronic device conveniently and accurately using the principle of detecting that the user's hand is in contact with the touch board by the generated vibration wave evolving to use.

즉, 기존의 마우스나 조이스틱 없이 터치만으로 디스플레이를 통하여 출력되는 콘텐츠를 제어하거나 클릭하면서 게임, 체험학습을 수행할 수 있는 지능형 인터페이스 기술이 개발되고 있지만, 단순 터치 동작에 의존하는 시스템으로 인해 흥미가 떨어지는 실정이다.In other words, an intelligent interface technology that allows users to control content output through the display with only touch without a conventional mouse or joystick or to perform games and experiential learning while clicking or clicking is being developed. the current situation.

이에 종래에 개시된 등록특허 10-1650099호에서, 햅틱 패턴에 기반한 텍스트 화면을 제공하는 디스플레이 장치에 있어서, 본체부와; 상기 본체부의 전면에 구비되며, 사용자의 터치 위치를 감지하는 터치패널과, 접촉된 신체요소에 전기자극을 전달하는 전기감응패널이 일체로 결합되어 형성되어, 서로 다른 전기자극을 통해 서로 다른 햅틱 질감을 제공하여 햅틱 질감의 조합으로 이루어지는 문자를 표현할 수 있도록 구성되는 터치스크린과; 상기 터치스크린을 통해 햅틱 패턴으로 구성된 텍스트 화면을 제공하여, 상기 터치스크린에 접촉되는 사용자의 신체 요소에 사용자의 터치 위치에 해당하는 햅틱 질감을 전달하도록 제어하는 제어부; 및 상기 본체부의 후면에 구비되어 사용자의 손가락에 착용될 수 있도록 링 형태로 형성되는 착용부재; 를 포함하여 구성되어, 사용자가 신체 요소를 이용하여 상기 터치스크린에 햅틱 패턴으로 표시된 텍스트 화면을 스캔하는 과정에서, 자신의 신체 요소로 전달되는 특정 햅틱 질감의 전기자극 패턴을 통해 터치스크린에 표현된 문자를 인식하도록 구성되는 기술이 선 제시된 바 있다.Accordingly, in Patent Registration No. 10-1650099 disclosed in the prior art, a display device for providing a text screen based on a haptic pattern, comprising: a main body; It is provided on the front surface of the main body and is formed by integrally combining a touch panel that detects a user's touch position and an electrical sensitive panel that transmits electrical stimulation to the touched body element, and provides different haptic textures through different electrical stimulations. a touch screen configured to express characters made of a combination of haptic textures by providing; a control unit configured to provide a text screen composed of a haptic pattern through the touch screen, and control to transmit a haptic texture corresponding to the user's touch position to the user's body element in contact with the touch screen; and a wearing member provided on a rear surface of the main body and formed in a ring shape to be worn on a user's finger. In the process of the user scanning the text screen displayed as a haptic pattern on the touch screen by using the body element, it is expressed on the touch screen through the electrical stimulation pattern of a specific haptic texture transmitted to the user's own body element. A technology configured to recognize a character has been previously presented.

그러나, 상기 종래기술은 본체 전면에 다양한 햅틱 질감의 조합으로 이루어진 텍스트 화면을 제공할 수 있는 터치스크린을 제공하려는 것이나, 시각, 청각 장애아동들이 직감적으로 쉽게 이용할 수 없는 문제점이 따랐다.However, the prior art is to provide a touch screen capable of providing a text screen made of a combination of various haptic textures on the front of the main body, but there is a problem that visually and hearing impaired children cannot intuitively use it easily.

이에 따라 본 발명은 상기한 문제점을 해결하기 위해 착안 된 것으로서, 디스플레이모듈, 스피커모듈, 햅틱패드모듈 구성의 복합적인 조합에 의해 화면상에 출력되는 콘텐츠 위치정보를 전달하도록 구조 개선되어, 시각, 청각, 촉각 중 어느 하나 이상의 감각을 이용하여 화면상에 출력되는 콘텐츠를 찾아서 클릭하는 체험을 수행하면서 일반아동은 물론 시각, 청각장애 아동들의 운동효과를 유도할 수 있는 터치햅틱반응 기반 감각연동형 게임시스템을 제공하는 것에 그 목적이 있다.Accordingly, the present invention has been conceived to solve the above problems, and the structure is improved to deliver the content location information output on the screen by a complex combination of a display module, a speaker module, and a haptic pad module configuration. A touch-haptic response-based sensory interlocking game system that can induce movement effects for children with visual and hearing impairments as well as general children while performing an experience of finding and clicking content output on the screen using one or more of the senses of touch and touch Its purpose is to provide

이러한 목적을 달성하기 위해 본 발명의 특징은, 서버에 연결되어 콘텐츠(C)가 포함된 영상을 출력하도록 구비되는 디스플레이모듈(10); 상기 디스플레이모듈(10)을 통하여 출력되는 콘텐츠(C)의 이동방향, 원근감을 포함하는 위치정보를 입체음향으로 출력하도록 구비되는 스피커모듈(20); 및 상기 디스플레이모듈(10)의 화면영역을 셀 단위로 분할하고, 각 화면 셀 영역에 동기화되도록 편성되어 터치 신호를 입력받도록 구비되는 햅틱패드모듈(30);을 포함하고, 상기 디스플레이모듈(10)의 화면 영역에 콘텐츠(C)가 출력되면, 스피커모듈(20)에서 콘텐츠 위치정보에 대응하는 입체음향이 출력되고, 디스플레이모듈(10)을 통하여 출력되는 시각적인 콘텐츠 위치정보 및 스피커모듈을 통하여 출력되는 청각적인 콘텐츠 위치정보 중 어느 하나 이상을 이용하여, 콘텐츠 위치정보와 매칭되는 햅틱패드모듈(30)을 터치하면 콘텐츠(C)가 선택되도록 구비되는 것을 특징으로 한다.In order to achieve this object, a feature of the present invention includes: a display module 10 connected to a server and provided to output an image including content (C); a speaker module 20 provided to output location information including a moving direction and perspective of the content C output through the display module 10 in a stereoscopic sound; and a haptic pad module 30 that divides the screen area of the display module 10 into cell units, is organized to be synchronized with each screen cell area, and is provided to receive a touch signal; including, the display module 10 When the content (C) is output to the screen area of , a stereophonic sound corresponding to the content location information is output from the speaker module 20, and the visual content location information output through the display module 10 and output through the speaker module It is characterized in that the content C is selected when the haptic pad module 30 matching the content location information is touched using any one or more of the audible content location information.

이때, 상기 햅틱패드모듈(30)을 터치하는 사용자의 위치 정보를 추출하여 서버로 전송하는 카메라모듈(40)이 구비되고, 상기 카메라모듈(40)은 AI 모듈에 연계되어 사용자 활동영역을 실시간으로 감지하면서 사용자의 활동 빈도가 낮은 비활동영역에 대한 위치정보를 추출하고, 비활동영역의 위치정보에 대응하는 햅틱패드모듈(30)과 매칭되는 디스플레이모듈(10) 화면영역에 콘텐츠가 출력되도록 콘텐츠출력정보를 실시간으로 보정하는 것을 특징으로 한다.At this time, a camera module 40 that extracts the location information of the user who touches the haptic pad module 30 and transmits it to the server is provided, and the camera module 40 is linked to the AI module to view the user activity area in real time The content is output to the screen area of the display module 10 that matches the haptic pad module 30 corresponding to the location information of the inactive area and extracts location information on the inactive area where the user's activity frequency is low while sensing. It is characterized in that the output information is corrected in real time.

또한, 상기 햅틱패드모듈(30)은, 육각형으로 구획을 형성하는 터치 영역(31)과, 터치 영역(31)에 방사형으로 배치되어 사용자 터치 신호를 감지하는 복수의 패드(32)와, 패드(32)에 설치되어 광원을 출력하는 LED모듈(33)과, 패드(32)에 설치되어 진동을 발생하는 진동모듈(34)을 포함하고, 상기 LED모듈(33) 및 진동모듈(34)은 서버에 연결되어 출력이 조절되도록 구비되고, 상기 터치 영역(31)을 터치하면, 디스플레이모듈(10)의 화면 영역에 출력되는 콘텐츠 위치정보와 매칭되는 햅틱패드모듈(30)과 최단거리에 위치되는 어느 하나 이상의 패드(32)에 진동모듈(34)이 활성화되어, 사용자에게 촉각으로 콘텐츠 위치정보를 전달하도록 구비되는 것을 특징으로 한다.In addition, the haptic pad module 30 includes a touch area 31 forming a hexagonal partition, a plurality of pads 32 radially disposed in the touch area 31 to sense a user touch signal, and a pad ( 32) is installed on the LED module 33 for outputting a light source, and a vibration module 34 installed on the pad 32 to generate vibration, wherein the LED module 33 and the vibration module 34 are connected to the server. It is connected to the haptic pad module 30 and is provided so that the output is adjusted, and when the touch area 31 is touched, the haptic pad module 30 that matches the content location information output to the screen area of the display module 10 and which is located at the shortest distance The vibration module 34 is activated on one or more pads 32, and it is characterized in that it is provided to transmit content location information to the user by tactile sense.

또한, 상기 진동모듈(34)은 사용자가 터치한 패드(32)와 콘텐츠(C)와 매칭되는 햅틱패드모듈(30) 사이 거리가 근접할수록 진동 강도가 증가되도록 구비되는 것을 특징으로 한다.In addition, the vibration module 34 is characterized in that the vibration intensity is increased as the distance between the pad 32 touched by the user and the haptic pad module 30 matching the content C is closer.

또한, 상기 햅틱패드모듈(30)은 6개의 패드(32) 조합으로 구성되고, 가장자리부에서 중심으로 갈수록 경사각으로 돌출되는 돔 구조로 형성되며, 상기 햅틱패드모듈(30)의 중심에 터치하여 6개의 패드(32)에서 동시에 터치신호가 감지되면, 콘텐츠(C) 위치정보와 매칭되는 햅틱패드모듈(30)과 최단거리에 위치되는 어느 하나의 패드(32)에 진동모듈(34)이 활성화되도록 구비되는 것을 특징으로 한다.In addition, the haptic pad module 30 is composed of a combination of six pads 32 and has a dome structure that protrudes at an inclination angle from the edge to the center, and touches the center of the haptic pad module 30 to 6 When a touch signal is sensed from the pads 32 at the same time, the vibration module 34 is activated on any one pad 32 positioned at the shortest distance from the haptic pad module 30 matching the content (C) location information. characterized in that it is provided.

이상의 구성 및 작용에 의하면, 본 발명은 디스플레이모듈, 스피커모듈, 햅틱패드모듈 구성의 복합적인 조합에 의해 화면상에 출력되는 콘텐츠 위치정보를 전달하도록 구조 개선되어, 시각, 청각, 촉각 중 어느 하나 이상의 감각을 이용하여 화면상에 출력되는 콘텐츠를 찾아서 클릭하는 체험을 수행하면서 일반아동은 물론 시각, 청각장애 아동들의 운동효과를 유도할 수 있는 효과가 있다.According to the above configuration and action, the present invention is structurally improved so as to deliver the content location information output on the screen by a complex combination of the display module, speaker module, and haptic pad module configuration, so that any one or more of sight, hearing, and tactile sense is improved. It has the effect of inducing the movement effect of children with visual and hearing impairments as well as general children while performing the experience of finding and clicking on the content displayed on the screen using the senses.

도 1은 본 발명의 일실시예에 따른 터치햅틱반응 기반 감각연동형 게임시스템을 전체적으로 나타내는 구성도.
도 2는 본 발명의 일실시예에 따른 터치햅틱반응 기반 감각연동형 게임시스템의 햅틱패드모듈을 나타내는 구성도.
도 3은 본 발명의 일실시예에 따른 터치햅틱반응 기반 감각연동형 게임시스템의 햅틱패드모듈 작동상태를 나타내는 구성도.
도 4는 본 발명의 일실시예에 따른 터치햅틱반응 기반 감각연동형 게임시스템의 햅틱패드모듈 변형예를 나타내는 구성도.1 is a block diagram showing an overall sense-linked game system based on a touch haptic response according to an embodiment of the present invention.
2 is a block diagram showing a haptic pad module of a touch haptic response-based sensory interlocking game system according to an embodiment of the present invention.
3 is a block diagram illustrating an operating state of a haptic pad module of a sensory interlocking game system based on a touch haptic response according to an embodiment of the present invention;
4 is a block diagram illustrating a modified example of a haptic pad module of a sensory interlocking game system based on a touch haptic response according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 터치햅틱반응 기반 감각연동형 게임시스템을 전체적으로 나타내는 구성도이고, 도 2는 본 발명의 일실시예에 따른 터치햅틱반응 기반 감각연동형 게임시스템의 햅틱패드모듈을 나타내는 구성도이며, 도 3은 본 발명의 일실시예에 따른 터치햅틱반응 기반 감각연동형 게임시스템의 햅틱패드모듈 작동상태를 나타내는 구성도이고, 도 4는 본 발명의 일실시예에 따른 터치햅틱반응 기반 감각연동형 게임시스템의 햅틱패드모듈 변형예를 나타내는 구성도이다.1 is a block diagram showing the overall touch-haptic response-based sensory-linked game system according to an embodiment of the present invention, and FIG. 2 is a haptic pad of the touch-haptic response-based sensory-linked game system according to an embodiment of the present invention. It is a block diagram showing a module, and FIG. 3 is a block diagram showing an operating state of a haptic pad module of a sensory interlocking game system based on a touch haptic response according to an embodiment of the present invention, and FIG. 4 is an exemplary embodiment of the present invention. It is a configuration diagram showing a modified example of the haptic pad module of the touch haptic response-based sensory-linked game system.

본 발명은 터치햅틱반응 기반 감각연동형 게임시스템에 관련되며, 이때 터치햅틱반응 기반 감각연동형 게임시스템는 디스플레이모듈, 스피커모듈, 햅틱패드모듈 구성의 복합적인 조합에 의해 화면상에 출력되는 콘텐츠 위치정보를 전달하도록 구조 개선되어, 시각, 청각, 촉각 중 어느 하나 이상의 감각을 이용하여 화면상에 출력되는 콘텐츠를 찾아서 클릭하는 체험을 수행하면서 일반아동은 물론 시각, 청각장애 아동들의 운동효과를 유도할 수 있도록 디스플레이모듈(10), 스피커모듈(20), 햅틱패드모듈(30)을 포함하여 주요구성으로 한다.The present invention relates to a touch haptic response-based sensory-linked game system, wherein the touch-haptic response-based sensory-linked game system includes content location information output on a screen by a complex combination of a display module, a speaker module, and a haptic pad module configuration. The structure has been improved to deliver the visual, auditory, and tactile senses, and while performing the experience of finding and clicking the content displayed on the screen using one or more of the senses of sight, hearing, and touch, it is possible to induce exercise effects for children with visual and hearing impairments as well as general children. It has a main configuration including a display module 10, a speaker module 20, and a haptic pad module 30 so that the

본 발명에 따른 디스플레이모듈(10)은 서버에 연결되어 콘텐츠(C)가 포함된 영상을 출력하도록 구비된다.The display module 10 according to the present invention is connected to a server and is provided to output an image including the content (C).

상기 디스플레이모듈(10)은 사용자가 이동하면서 체험할 수 있도록 폭이 최소 1m인 대형 화면으로 형성되고, 서버에 연결되어 배경 영상 및 배경 영상에 부합되는 콘텐츠(C) 영상이 출력된다.The display module 10 is formed as a large screen with a width of at least 1 m so that a user can experience while moving, and is connected to a server to output a background image and a content (C) image matching the background image.

여기서, 상기 콘텐츠(C)는 이동 가능하게 편성되고, 이동 중 사이즈를 조절하는 형태로 원근감이 표현되며, 디스플레이모듈(10)을 통하여 출력되는 화면에 콘텐츠(C)가 고루게 분포되도록 서버에서 프로그래밍된다.Here, the content (C) is movably organized, the perspective is expressed in the form of adjusting the size during movement, and the content (C) is programmed in the server to be evenly distributed on the screen output through the display module 10 . do.

또한, 본 발명에 따른 스피커모듈(20)은 상기 디스플레이모듈(10)을 통하여 출력되는 콘텐츠(C)의 이동방향, 원근감을 포함하는 위치정보를 입체음향으로 출력하도록 구비된다.In addition, the speaker module 20 according to the present invention is provided to output position information including the moving direction and perspective of the content C output through the display module 10 in a stereoscopic sound.

상기 스피커모듈(20)은 사용자가 위치되는 영역을 기준으로 전방 좌, 우측, 양쪽 측방, 후방 좌, 우측 중 적어도 2개소 이상에 배치된다.The speaker module 20 is disposed at least two or more of the front left, right, both sides, and rear left and right based on the area where the user is located.

이에 사용자가 디스플레이모듈(10)의 출력화면을 보지 않고도 청각으로 콘텐츠(C) 위치를 인식하도록 구비됨에 따라 일반인은 물론 시각장애인도 청각에 의존하여 콘텐츠(C)를 찾아서 클릭하는 체험(게임)을 수행할 수 있도록 구비된다.Accordingly, as the user is provided to recognize the location of the content (C) by hearing without looking at the output screen of the display module 10, not only the general public but also the visually impaired can experience (game) of finding and clicking the content (C) depending on their hearing. provided so that it can be performed.

또한, 본 발명에 따른 햅틱패드모듈(30)은 상기 디스플레이모듈(10)의 화면영역을 셀 단위로 분할하고, 각 화면 셀 영역에 동기화되도록 편성되어 터치 신호를 입력받도록 구비된다.In addition, the haptic pad module 30 according to the present invention divides the screen area of the display module 10 into cell units, is organized so as to be synchronized with each screen cell area, and is provided to receive a touch signal.

상기 햅틱패드모듈(30)은, 육각형으로 구획을 형성하는 터치 영역(31)과, 터치 영역(31)에 방사형으로 배치되어 사용자 터치 신호를 감지하는 복수의 패드(32)와, 패드(32)에 설치되어 광원을 출력하는 LED모듈(33)과, 패드(32)에 설치되어 진동을 발생하는 진동모듈(34)을 포함한다.The haptic pad module 30 includes a touch area 31 forming a hexagonal partition, a plurality of pads 32 radially disposed in the touch area 31 to sense a user touch signal, and a pad 32 . It is installed on the LED module 33 for outputting a light source, and includes a vibration module 34 installed on the pad 32 to generate vibration.

그리고, 상기 LED모듈(33) 및 진동모듈(34)은 서버에 연결되어 출력이 조절되도록 구비도니다.And, the LED module 33 and the vibration module 34 are connected to the server so that the output is adjusted.

이에 상기 터치 영역(31)을 손으로 터치하면, 디스플레이모듈(10)의 화면 영역에 출력되는 콘텐츠 위치정보와 매칭되는 햅틱패드모듈(30)과 최단거리에 위치되는 어느 하나 이상의 패드(32)에 진동모듈(34)이 활성화되어, 사용자에게 촉각으로 콘텐츠 위치정보를 전달하도록 구비됨에 따라 사용자가 디스플레이모듈(10)의 출력화면을 보지 않고도 촉각으로 콘텐츠(C) 위치를 인식할 수 있고, 이로 인해 일반인은 물론 시각장애인도 촉각을 이용하여 콘텐츠(C)를 찾아서 클릭하는 체험(게임)을 수행할 수 있도록 구비된다.Accordingly, when the touch area 31 is touched with a hand, the haptic pad module 30 matching the content location information output to the screen area of the display module 10 and any one or more pads 32 positioned at the shortest distance As the vibration module 34 is activated and provided to transmit the content location information to the user by tactile sense, the user can recognize the location of the content C by tactile sense without looking at the output screen of the display module 10, thereby It is provided so that not only the general public but also the visually impaired can use the tactile sense to find and click the content (C) to perform an experience (game).

일예로서, 도 3과 같이, 상기 디스플레이모듈(10)을 출력되는 화면에 콘텐츠(C)가 벌 형태로 출력되고, 사용자(체험자)가 손으로 햅틱패드모듈(30)을 터치하는 순간, 콘텐츠 위치정보와 매칭되는 햅틱패드모듈(30)과 최단거리에 위치되는 어느 하나 이상의 패드(32)에 진동모듈(34)이 활성화되어 벌 위치에 대한 방향 정보를 제공하고, 패드(32) 진동에 의한 방향 정보를 추적하여 목표물인 벌을 최종 클릭하면 게임을 클리어할 수 있게 된다.As an example, as shown in FIG. 3 , the content C is output in the form of a bee on the screen on which the display module 10 is output, and the moment the user (experienced) touches the haptic pad module 30 with his hand, the content location The vibration module 34 is activated to the haptic pad module 30 that matches the information and one or more pads 32 positioned at the shortest distance to provide direction information about the bee position, and the direction by vibration of the pad 32 You can clear the game by tracking the information and finally clicking the target bee.

또한, 상기 진동모듈(34)은 사용자가 터치한 패드(32)와 콘텐츠(C)와 매칭되는 햅틱패드모듈(30) 사이 거리가 근접할수록 진동 강도가 증가되도록 구비된다. 이에 사용자가 감각적으로 목표물인 콘텐츠(C)에 가깝게 접근하였음을 직감하면서 적극적으로 체험에 몰입하고 흥미를 유발하게 된다.In addition, the vibration module 34 is provided so that the intensity of vibration increases as the distance between the pad 32 touched by the user and the haptic pad module 30 matching the content C approaches. As a result, the user senses that he or she has intuitively approached the target content (C), actively immersing himself in the experience and arousing interest.

일예로서, 상기 진동모듈(34)이 6방향으로 배치되어, 콘텐츠(C)가 접근하는 방향과 거리에 따라 진동의 방향과 강도가 가변됨에 따라 손끝으로 콘텐츠(C)의 접근방향을 인식할 수 있고, 또한 콘텐츠(C)가 사용자에게 근접하여 공격할 시 강한 진동과 음향으로 적의 공격을 시각 외 효과로 표현하도록 구비된다.As an example, the vibration module 34 is arranged in six directions, and as the direction and intensity of vibration vary according to the direction and distance to which the content C approaches, the approach direction of the content C can be recognized with a fingertip. In addition, when the content (C) approaches the user and attacks, it is provided to express the enemy's attack as an extra-visual effect with strong vibration and sound.

도 4에서, 상기 햅틱패드모듈(30)은 6개의 패드(32) 조합으로 구성되고, 가장자리부에서 중심으로 갈수록 경사각으로 돌출되는 돔 구조로 형성된다.In FIG. 4 , the haptic pad module 30 is composed of a combination of six pads 32 , and has a dome structure that protrudes at an inclination angle from the edge to the center.

그리고 상기 햅틱패드모듈(30)의 중심에 터치하여 6개의 패드(32)에서 동시에 터치신호가 감지되면, 콘텐츠(C) 위치정보와 매칭되는 햅틱패드모듈(30)과 최단거리에 위치되는 어느 하나의 패드(32)에 진동모듈(34)이 활성화되도록 구비된다.And when a touch signal is simultaneously sensed from the six pads 32 by touching the center of the haptic pad module 30, any one positioned at the shortest distance from the haptic pad module 30 matching the content (C) location information The vibration module 34 is provided on the pad 32 of the to be activated.

이처럼 상기 햅틱패드모듈(30)이 돔형 구조로 인해 터치 영역(31) 별로 명확하게 구분되어, 사용자가 촉각만으로도 터치 영역(31) 중앙부를 인식하여 패드(32) 진동을 정확하게 감지할 수 있는 이점이 있다.As such, the haptic pad module 30 is clearly separated for each touch area 31 due to the dome-shaped structure, so that the user can recognize the center of the touch area 31 only by tactile sense and accurately sense the pad 32 vibration. there is.

작동상에 있어서, 상기 디스플레이모듈(10)의 화면 영역에 콘텐츠(C)가 출력되면, 스피커모듈(20)에서 콘텐츠 위치정보에 대응하는 입체음향이 출력되고, 디스플레이모듈(10)을 통하여 출력되는 시각적인 콘텐츠 위치정보 및 스피커모듈을 통하여 출력되는 청각적인 콘텐츠 위치정보 중 어느 하나 이상을 이용하여, 콘텐츠 위치정보와 매칭되는 햅틱패드모듈(30)을 터치하면 콘텐츠(C)가 선택되도록 구비된다.In operation, when the content C is output to the screen area of the display module 10 , a stereophonic sound corresponding to the content location information is output from the speaker module 20 , and is output through the display module 10 . When the haptic pad module 30 matching the content location information is touched using any one or more of the visual content location information and the auditory content location information output through the speaker module, the content C is selected.

이때, 상기 햅틱패드모듈(30)을 터치하는 사용자의 위치 정보를 추출하여 서버로 전송하는 카메라모듈(40)이 구비된다.At this time, the camera module 40 is provided for extracting the location information of the user who touches the haptic pad module 30 and transmitting it to the server.

상기 카메라모듈(40)은 AI 모듈에 연계되어 사용자 활동영역을 실시간으로 감지하면서 사용자의 활동 빈도가 낮은 비활동영역에 대한 위치정보를 추출하도록 구비된다.The camera module 40 is connected to the AI module and detects the user's active area in real time, and is provided to extract location information on the inactive area with a low frequency of user activity.

그리고, 사용자 비활동영역의 위치정보에 대응하는 햅틱패드모듈(30)과 매칭되는 디스플레이모듈(10) 화면영역에 콘텐츠가 출력되도록 콘텐츠출력정보를 실시간으로 보정하게 된다.Then, the content output information is corrected in real time so that the content is output to the screen area of the display module 10 that matches the haptic pad module 30 corresponding to the location information of the user inactive area.

일예로서, 상기 서버에서 콘텐츠(C)를 무작위로 발생하지만, 게임진행 중 한쪽으로 치우쳐서 발생하거나 사용자의 활동(운동)이 소극적인 경우, 콘텐츠(C)의 생성방향과 빈도, 속도를 조절하여 운동효과를 극대화할 수 있도록 하는바, 즉, 콘텐츠(C)가 왼쪽에만 편향 발생되어 플레이어(사용자)의 활동성이 왼쪽에 국한되어 약해지면 카메라모듈(40)이 이를 감지하여 일정량의 운동이 확보될 때까지 상하좌우 방향으로 콘텐츠(C)의 생성을 의도적으로 배분 출력하도록 구비된다.As an example, if the content (C) is randomly generated in the server, but occurs biased to one side during game progress or the user's activity (exercise) is passive, the movement effect by adjusting the generation direction, frequency, and speed of the content (C) That is, if the content C is biased only on the left side and the player (user)'s activity is limited to the left side and weakens, the camera module 40 detects this and a certain amount of movement is secured until a certain amount of movement is secured. It is provided to intentionally distribute and output the generation of the content C in the vertical, horizontal, and horizontal directions.

이처럼 상기 디스플레이모듈(10), 스피커모듈(20), 햅틱패드모듈(30) 구성과 카메라모듈(40)에 의한 활도성 분석 통제기술을 통하여 일반아동을 포함한 시각장애아동들의 운동효과를 유도할 수 있는 이점이 있다.As such, through the configuration of the display module 10, the speaker module 20, the haptic pad module 30, and the activity analysis and control technology by the camera module 40, it is possible to induce the exercise effect of visually impaired children including general children. there is an advantage

10: 디스프레이모듈 20: 스피커모듈
30: 햅틱패드모듈 40: 카메라모듈10: display module 20: speaker module
30: haptic pad module 40: camera module

Claims (5)

서버에 연결되어 콘텐츠(C)가 포함된 영상을 출력하도록 구비되는 디스플레이모듈(10); 상기 디스플레이모듈(10)을 통하여 출력되는 콘텐츠(C)의 이동방향, 원근감을 포함하는 위치정보를 입체음향으로 출력하도록 구비되는 스피커모듈(20); 및 상기 디스플레이모듈(10)의 화면영역을 셀 단위로 분할하고, 각 화면 셀 영역에 동기화되도록 편성되어 터치 신호를 입력받도록 구비되는 햅틱패드모듈(30);을 포함하고,
상기 디스플레이모듈(10)의 화면 영역에 콘텐츠(C)가 출력되면, 스피커모듈(20)에서 콘텐츠 위치정보에 대응하는 입체음향이 출력되고, 디스플레이모듈(10)을 통하여 출력되는 시각적인 콘텐츠 위치정보 및 스피커모듈을 통하여 출력되는 청각적인 콘텐츠 위치정보 중 어느 하나 이상을 이용하여, 콘텐츠 위치정보와 매칭되는 햅틱패드모듈(30)을 터치하면 콘텐츠(C)가 선택되도록 구비되며,
상기 햅틱패드모듈(30)은, 육각형으로 구획을 형성하는 터치 영역(31)과, 터치 영역(31)에 방사형으로 배치되어 사용자 터치 신호를 감지하는 복수의 패드(32)와, 패드(32)에 설치되어 광원을 출력하는 LED모듈(33)과, 패드(32)에 설치되어 진동을 발생하는 진동모듈(34)을 포함하고, 상기 LED모듈(33) 및 진동모듈(34)은 서버에 연결되어 출력이 조절되도록 구비되고, 상기 터치 영역(31)을 터치하면, 디스플레이모듈(10)의 화면 영역에 출력되는 콘텐츠 위치정보와 매칭되는 햅틱패드모듈(30)과 최단거리에 위치되는 어느 하나 이상의 패드(32)에 진동모듈(34)이 활성화되어, 사용자에게 촉각으로 콘텐츠 위치정보를 전달하도록 구비되는 것을 특징으로 하는 터치햅틱반응 기반 감각연동형 게임시스템.a display module 10 connected to a server and provided to output an image including content (C); a speaker module 20 provided to output position information including a moving direction and perspective of the content C output through the display module 10 in a stereoscopic sound; and a haptic pad module 30 that divides the screen area of the display module 10 into cells, is organized to be synchronized with each screen cell area, and is provided to receive a touch signal;
When the content C is output to the screen area of the display module 10 , a stereoscopic sound corresponding to the content location information is output from the speaker module 20 , and visual content location information output through the display module 10 . and by touching the haptic pad module 30 matching the content location information using any one or more of the audible content location information output through the speaker module, the content (C) is selected,
The haptic pad module 30 includes a touch area 31 forming a hexagonal partition, a plurality of pads 32 radially disposed in the touch area 31 to sense a user touch signal, and a pad 32 . It is installed on the LED module 33 for outputting a light source and includes a vibration module 34 installed on the pad 32 to generate vibration, and the LED module 33 and the vibration module 34 are connected to the server. is provided so that the output is adjusted, and when the touch area 31 is touched, any one or more located at the shortest distance from the haptic pad module 30 matching the content location information output to the screen area of the display module 10 A touch-haptic response-based sensory interlocking game system, characterized in that the vibration module (34) is activated on the pad (32), and is provided to transmit content location information to the user by tactile sense. 제 1항에 있어서,
상기 햅틱패드모듈(30)을 터치하는 사용자의 위치 정보를 추출하여 서버로 전송하는 카메라모듈(40)이 구비되고, 상기 카메라모듈(40)은 AI 모듈에 연계되어 사용자 활동영역을 실시간으로 감지하면서 사용자의 활동 빈도가 낮은 비활동영역에 대한 위치정보를 추출하고, 비활동영역의 위치정보에 대응하는 햅틱패드모듈(30)과 매칭되는 디스플레이모듈(10) 화면영역에 콘텐츠가 출력되도록 콘텐츠출력정보를 실시간으로 보정하는 것을 특징으로 하는 터치햅틱반응 기반 감각연동형 게임시스템.The method of claim 1,
A camera module 40 is provided that extracts the location information of the user who touches the haptic pad module 30 and transmits it to the server, and the camera module 40 is connected to the AI module to detect the user's activity area in real time. Content output information to extract location information for an inactive area with a low frequency of user activity, and to output content to the screen area of the display module 10 matching the haptic pad module 30 corresponding to the location information of the inactive area A touch-haptic response-based sensory-linked game system, characterized in that it corrects in real time. 삭제delete 제 1항에 있어서,
상기 진동모듈(34)은 사용자가 터치한 패드(32)와 콘텐츠(C)와 매칭되는 햅틱패드모듈(30) 사이 거리가 근접할수록 진동 강도가 증가되도록 구비되는 것을 특징으로 하는 터치햅틱반응 기반 감각연동형 게임시스템.The method of claim 1,
The vibration module 34 is a touch haptic response-based sense, characterized in that the vibration intensity is increased as the distance between the pad 32 touched by the user and the haptic pad module 30 matching the content C is closer. Linked game system. 제 1항에 있어서,
상기 햅틱패드모듈(30)은 6개의 패드(32) 조합으로 구성되고, 가장자리부에서 중심으로 갈수록 경사각으로 돌출되는 돔 구조로 형성되며, 상기 햅틱패드모듈(30)의 중심에 터치하여 6개의 패드(32)에서 동시에 터치신호가 감지되면, 콘텐츠(C) 위치정보와 매칭되는 햅틱패드모듈(30)과 최단거리에 위치되는 어느 하나의 패드(32)에 진동모듈(34)이 활성화되도록 구비되는 것을 특징으로 하는 터치햅틱반응 기반 감각연동형 게임시스템.The method of claim 1,
The haptic pad module 30 is composed of a combination of six pads 32 , has a dome structure that protrudes at an inclination angle from an edge to the center, and touches the center of the haptic pad module 30 to include six pads When a touch signal is sensed at the same time in (32), the vibration module 34 is activated on any one pad 32 positioned at the shortest distance from the haptic pad module 30 matching the location information of the content (C) A touch-haptic response-based sensory-linked game system, characterized in that.
KR1020210147811A 2021-11-01 2021-11-01 Touch-haptic response-based sensory-linked game system KR102375137B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210147811A KR102375137B1 (en) 2021-11-01 2021-11-01 Touch-haptic response-based sensory-linked game system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210147811A KR102375137B1 (en) 2021-11-01 2021-11-01 Touch-haptic response-based sensory-linked game system

Publications (2)

Publication Number Publication Date
KR102375137B1 true KR102375137B1 (en) 2022-03-16
KR102375137B9 KR102375137B9 (en) 2023-03-23

Family

ID=80937583

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210147811A KR102375137B1 (en) 2021-11-01 2021-11-01 Touch-haptic response-based sensory-linked game system

Country Status (1)

Country Link
KR (1) KR102375137B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100347837B1 (en) * 1999-08-20 2002-08-09 최광현 Apparatus of rythm and dance game machine and foot key
JP2003023699A (en) * 2001-07-05 2003-01-24 Saibuaasu:Kk Spatial information auralizing system and spatial information auralizing method
KR20150041862A (en) * 2013-10-10 2015-04-20 김용태 Game terminal for visually impaired person and operation method thereof
JP2021023636A (en) * 2019-08-07 2021-02-22 株式会社三共 Game machine

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100347837B1 (en) * 1999-08-20 2002-08-09 최광현 Apparatus of rythm and dance game machine and foot key
JP2003023699A (en) * 2001-07-05 2003-01-24 Saibuaasu:Kk Spatial information auralizing system and spatial information auralizing method
KR20150041862A (en) * 2013-10-10 2015-04-20 김용태 Game terminal for visually impaired person and operation method thereof
JP2021023636A (en) * 2019-08-07 2021-02-22 株式会社三共 Game machine

Also Published As

Publication number Publication date
KR102375137B9 (en) 2023-03-23

Similar Documents

Publication Publication Date Title
KR100812624B1 (en) Stereovision-Based Virtual Reality Device
Peng et al. Walkingvibe: Reducing virtual reality sickness and improving realism while walking in vr using unobtrusive head-mounted vibrotactile feedback
JP6669069B2 (en) Detection device, detection method, control device, and control method
US20220065580A1 (en) Accelerated Learning, Entertainment and Cognitive Therapy Using Augmented Reality Comprising Combined Haptic, Auditory, and Visual Stimulation
US9390630B2 (en) Accelerated learning, entertainment and cognitive therapy using augmented reality comprising combined haptic, auditory, and visual stimulation
EP3425481B1 (en) Control device
US20140184384A1 (en) Wearable navigation assistance for the vision-impaired
IL308490A (en) Virtual user input controls in a mixed reality environment
EP2240250B1 (en) Object, method and system for transmitting information to a user
KR101695365B1 (en) Treadmill motion tracking device possible omnidirectional awarenessand move
KR20160128233A (en) Systems and methods for tactile guidance
US20160321955A1 (en) Wearable navigation assistance for the vision-impaired
CN108572728B (en) Information processing apparatus, information processing method, and program
JP2014041441A (en) Device and method of back face tactile information presentation type information input
KR102375137B1 (en) Touch-haptic response-based sensory-linked game system
Rodriguez et al. An Arduino-based device for visually impaired people to play videogames
US10664103B2 (en) Curved display apparatus providing air touch input function
JP3278150B2 (en) Virtual input device
KR102268265B1 (en) Sensor for Collecting Tactile and Apparatus for Providing Virtual Tactile
KR101128628B1 (en) Interface Apparatus and Method that produce sense feedback about user input
KR20200088715A (en) Module type exercise assistance apparatus and system for providing experiential contents using the same
CN109782950B (en) Touch electrode control method and device, storage medium and electronic equipment
Foulds et al. Sensory-motor enhancement in a virtual therapeutic environment
Chowdhury et al. Foveated Haptic Gaze
KR20230121953A (en) Stereovision-Based Virtual Reality Device

Legal Events

Date Code Title Description
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]