WO2006037292A1 - Method for controlling an auditory game and associated device - Google Patents

Method for controlling an auditory game and associated device Download PDF

Info

Publication number
WO2006037292A1
WO2006037292A1 PCT/DE2005/001736 DE2005001736W WO2006037292A1 WO 2006037292 A1 WO2006037292 A1 WO 2006037292A1 DE 2005001736 W DE2005001736 W DE 2005001736W WO 2006037292 A1 WO2006037292 A1 WO 2006037292A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion
state
user
game
module
Prior art date
Application number
PCT/DE2005/001736
Other languages
German (de)
French (fr)
Inventor
Thomas Hermann
Oliver Hoener
Helge Ritter
Original Assignee
Universität Bielefeld
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universität Bielefeld filed Critical Universität Bielefeld
Priority to EP05796210A priority Critical patent/EP1819408A1/en
Publication of WO2006037292A1 publication Critical patent/WO2006037292A1/en

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/332—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using wireless networks, e.g. cellular phone networks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1012—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1037—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted for converting control signals received from the game device into a haptic signal, e.g. using force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/406—Transmission via wireless network, e.g. pager or GSM
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6081—Methods for processing data by generating or executing the game program for sound processing generating an output signal, e.g. under timing constraints, for spatialization
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8011—Ball

Definitions

  • the invention relates to a method for controlling an auditory game, wherein the movements of a game object are given in real time and reproduced in sound.
  • the invention relates to a device for carrying out the above method and a computer program product.
  • SUBSTITUTE SHEET It is a visual computer game, as the movement of the table tennis racket by the user is essentially by visual stimuli.
  • virtual movement games such as, for example, the "virtual table tennis", in which a player holds a table tennis racket provided with a marking point in his hand.
  • the current position of the table tennis racket and transmitted visually in a monitor so that a table tennis game displayed on the monitor is made possible with a computer or a further user, see http://www.vtt.fi/multimedia/camball.html
  • Game contains a classic movement component because the user must move around the room with the table tennis racket, but this game is not suitable for visually impaired or blind people.
  • auditory computer games have become known which are suitable for visually impaired and blind persons.
  • the game "Super Tennis” http://www.2hku.nl/ ⁇ audiogam/ag/index.php) allows a user to operate a bat by means of a joystick or a keyboard of a computer
  • the user hears a different sound than positioning it in the center or the right end of the field
  • the ball generated by the computer along a given path of movement as a game object is made clear to the user by a separate sound, but this computer game is limited to the fact that the user is in a fixed location and operates the keys or the joystick. ne sporty movement component does not contain this game.
  • the object of the present invention is to provide a method for controlling an auditory game as well as a device for carrying out the method and a computer program product that ensure a game based on sonification, which enables a sports-related movement of the user and through acoustic feedback about the game own action promotes social interaction.
  • the method according to the invention in connection with the preamble of claim 1 is characterized in that after the beginning of a movement event always a movement state of the play object in a three-dimensional space on the one hand and always a Be ⁇ wegungsSchs a human user object in dre ⁇ dimensional space on the other hand, it is determined that always the state of motion of the game object and theorientszu- state of the user object is compared and depending on the result of comparison, an acoustic state of motion signal is output to the user, wherein the Nut ⁇ zer by the sound pattern of the acoustic movement - Status signal the current position of the game object is mediated.
  • the invention makes possible an acoustic motion control via an interactive sonification, which can be used in the field of disability sports, sports games, exercise therapy, data navigation and the like.
  • the invention provides for the virtual movement of a game object in three-dimensional space.
  • it provides for the determination of the state of motion of a human user object, whereby, depending on the relative position of the user object to the user Game object, if necessary, a new motion event is initiated.
  • the initiation of the furtherenser ⁇ event preferably by fulfilling a predetermined condition by the user object is signaled by the delivery of an acoustic motion state signal, so that an acoustic feedback is given to the user.
  • the invention takes place in real-time operation, so that, for example, auditory sports games with a movement component of the user, such as, for example, badminton with a virtual ball and a virtual club, are made possible.
  • a movement component of the user such as, for example, badminton with a virtual ball and a virtual club
  • the invention makes possible a movement-therapeutic training, in which the user is instructed to reproduce given movement events, which are communicated to him by sonification. For example, given body movements supporting the mobility of the spine can be actively trained.
  • the invention makes possible in the data analysis the use for interaction and navigation. For example, search task Optima ei ⁇ ner cost function can be supported by audible cues.
  • Vorrich ⁇ inventive device is characterized by a sensor module for detecting the three-dimensional state of motion of the human user object, a control module for creating a Re ⁇ chenmodells in which the three-dimensional state of motion of the game object with the three-dimensionalthszu ⁇ stand of the user object and / or calculated in real time and the movement states of the user object and the Spielob ⁇ jects is compared with each other, a Sontechnischesmodul for sound representation of the generated in the control module th movement state signal in dependence on the aktu ⁇ ellen position of the game object.
  • the device according to the invention enables a motivating sports game, in particular for the visually impaired.
  • the game experience can be increased by clear feedback, whereby a fluent action sequence and a Auf ⁇ merksamkeitszentritation is guaranteed.
  • essential modules of the device according to the invention are integrated in a mobile telephone, so that, on the one hand, the hardware resources required for the invention can be accessed and, on the other hand, the device can be used at any desired location.
  • This also provides an auditive movement game for non-sighted persons, which can be used, for example, during breaks at the office workstation.
  • a communication module is provided, so that a distance bridging motion coordination is made possible by several users.
  • the movement status data can be transmitted via a data network, such as a UMTS network.
  • FIG. 1 shows a block diagram of a device according to the invention
  • FIG. 2 shows a schematic flow chart of a sports game applied to the device according to the invention
  • FIG. 3 shows a block diagram of a device integrated in mobile telephones.
  • the device according to the invention can be used as an auditive sports game / movement game in connection with personal computers, mobile telephones or other devices which have a microprocessor as well as interfaces for the input-output or display of data. Furthermore, the device according to the invention can be used for movement-therapeutic training as well as for navigation / exploration of data.
  • the device according to the invention consists essentially of a control module 1, a sensor module 2 and a so-called n embarksmodul 3, as can be seen from Figure 1.
  • the control module 1 is used to create a world model (calculation model) in which the three-dimensional state of motion of a game object and the three-dimensional motion state of a user object are calculated in real time and compared with each other. Further, the control module 1 models a predetermined motion event of the game object.
  • the game object is a virtual ball whose trajectory is modeled by the control module and calculated in real time.
  • the user object corresponds to a virtual bat, for example by a mobile phone as will be described later.
  • the world model which is represented by a multi-dimensional computing model, describes the current state of the virtual ball (game object) and the virtual bat (user object).
  • the three-dimensional movement status data 4 of the user object is generated by the sensor module 2 and made available to the control module 1.
  • a movement status signal 5 is transmitted from the control module 1 to the sonification module 3, by converting it into an acoustic movement status signal 6, which is output to a user 7.
  • the acoustic motion state signal 6 allows a continuous acoustic feedback on the current position of the virtual ball. Furthermore, the zoning of the playing field can be acoustically reproduced via acoustic playing field markings, with discreet acoustic feedback informing the user 7 that he should orientate himself again within the playing field with his bat with regard to the achievement of a playing field boundary in the room.
  • the acoustic motion state signal 6 mediates by means of a contact sound to the user 7 the information that the virtual ball has been hit by the virtual bat and thus a setback has taken place.
  • the acoustic movement status signal 6 can contain sound patterns which give the user 7 information about the distance of the ball from the virtual bat, the direction of flight of the virtual ball and the actual distance of the virtual bat to the virtual ball.
  • the distance of the virtual bat for example, to the ball by acoustic Signals occur whose pulse rates are dependent on the distance of the virtual ball from the virtual Schlä ⁇ ger.
  • an acoustic state of motion signal 6 can be generated, which includes real inaudible attributes, such as the curvature of the ball track or relative location information of the virtual ball.
  • the acoustic motion state signal 6 may also include a vowel of the velocity of the virtual ball.
  • the user 7 may move his virtual bat to approach the predetermined trajectory of the virtual ball and hit it virtually at the right time. So that the user 7 always also has an acoustic information about the relative position of the virtual ball to the virtual club, the current position of the virtual club or the location data 8 is determined by suitable sensors (force and acceleration sensors).
  • the control module 1 generates at the beginning of the game a predetermined trajectory of the virtual Bal ⁇ les, step (10).
  • the current movement state of the virtual bat (11) and the current state of movement of the virtual ball (12) are determined in real time.
  • the current state of motion of the virtual club can be carried out in the sensor module 2 or in the control module 1.
  • the determination of the current state of motion of the virtual ball (12) takes place in the control module 1.
  • the sonification module 3 produces a continuous acoustic signal.
  • a sound mark representing a setback is generated in the sonification module 3 after activation by the control module 1 and as a new movement event
  • the virtual ball is acted on by a new predetermined flight path (14), which may be dependent on the state data of the virtual stick.
  • the trajectory initiated by virtual kickback results depending on parameters such as the speed of the racquet, the size of the virtual racquet and the impact technique, such as, for example, the mediation of an angular momentum of the virtual ball.
  • the new motion event the current movement state data of the virtual ball (12) and the virtual club of another user are now calculated, and - as described above - a comparison (13) is carried out.
  • the device can be integrated in a mobile telephone 20.
  • the control module 1 can be designed, for example, as a software product which can be detected by means of a data carrier card or directly via a data interface within the mobile telephone 20 by means of a microprocessor 21 contained therein. can run.
  • the software program can also be fed directly into a memory of the mobile telephone 20 via a data network.
  • the sensor module 2 essentially has a sensor control unit 22, a force sensor 23 and an acceleration sensor 24.
  • the movement status signals of the virtual club are determined so that an estimate of the relative position of the virtual club in the control module 1 can be made.
  • a sonification module 3 is integrated in the mobile telephone 20.
  • the mobile telephone 20 has a vibration unit 25 which can be used to generate a haptic signal to the user 7 in addition to the sound mark for the purpose of conveying a completed setback.
  • the telephony integrated vibration unit 25 of the mobile phone 20 were ⁇ the used.
  • the mobile telephone 20 forms a virtual racket whose location can be determined, for example, by a webcam or other means.
  • the mobile telephone 20 is in the hands of a first user who carries out the virtual badminton game with a racket of another user representing a second mobile telephone 30.
  • the second mobile telephone 30 has the same structure as the mobile telephone 20, contains in particular the control module 1, the sensor module 2 and the sonification module 3 for outputting the acoustic sound marks.
  • the sonification module 3 is designed as a headset (headset) which is connected to the mobile telephone 20, 30 by a line or wirelessly.
  • the mobile phones 20, 30 are coupled together via a communication module 31.
  • the communication module 31 may, for example, a Bluetooth interface represent when the users face each other in sight.
  • the communication module 31 can also represent a data network, for example a GSM network or a UMTS network, so that a sports game is made possible by users remote from one another.
  • more than two players can perform the movement play with each other. It is not limited to badminton, but may also relate, according to a therapy, to the synchronization of a movement of a first person with the movement of a second person.
  • the sensor module 2 can also be fastened to a user's back in addition to a hand sensor, so that a therapeutic application with a predetermined movement pattern for the user is made possible.
  • the sensor module can also be integrated in a clothing, so that predetermined movements, in particular during choreography training in the theater or the like, are made possible.

Abstract

The invention relates to a method for controlling an auditory game, wherein the displacement of a game element is given in a real time and is soundly reproducible. The inventive method consists in determining once the beginning event of movement in the state of motion of the game object in a three-dimensional space and of a human user object in the three-dimensional space always in the state of motion in such a way that the state of motion of the game object is compared with the state of motion of the user object and an acoustic state of motion signal is transmitted according to the comparison result.

Description

Verfahren zur Steuerung eines auditiven Spiels und Vorrichtung hierzu A method for controlling an auditory game and apparatus therefor
Die Erfindung betrifft ein Verfahren zur Steuerung eines auditiven Spiels, wobei die Bewegungen eines Spielobjekts in Echtzeit vorgegeben und klanglich wiedergegeben werden.The invention relates to a method for controlling an auditory game, wherein the movements of a game object are given in real time and reproduced in sound.
Ferner betrifft die Erfindung eine Vorrichtung zur Durch¬ führung des obigen Verfahrens sowie ein Computerprogramm- produkt.Furthermore, the invention relates to a device for carrying out the above method and a computer program product.
Mit der Verbreitung des Personalcomputers (Rechners) hat sich eine Spielindustrie etabliert, die ein breites Reper¬ toire von Computerspielen anbietet. Beispielsweise ist von der Firma ATARI das Spiel „Ping-PongΛλ bekannt geworden, dass das Tischtennisspiel auf dem Computer nachbildet. Hierzu wird der auf dem Monitor angezeigte Tischtennis¬ schläger mittels Joystick oder Tastatur so bewegt, dass ein visuell angezeigter bewegbarer Ball zurückgeschlagen werden kann, wobei während des Rückschlags ein Ton erzeugt wird. Bei diesem bekannten Tischtennisspiel handelt esWith the proliferation of the personal computer (computer), a gaming industry has become established which offers a broad spectrum of computer games. For example, is known by the company ATARI the game "ping-pong Λλ that the table tennis game simulates on the computer. For this purpose, the table tennis racket displayed on the monitor is moved by means of a joystick or keyboard in such a way that a visually displayed movable ball can be repelled, whereby a sound is generated during the kickback. This known table tennis game is about
ERSATZBLATT sich um ein visuelles Computerspiel, da die Bewegung des Tischtennisschlägers durch den Nutzer im Wesentlichen durch visuelle Reize erfolgt.SUBSTITUTE SHEET It is a visual computer game, as the movement of the table tennis racket by the user is essentially by visual stimuli.
Weiterhin sind virtuelle Bewegungsspiele bekannt, wie bei¬ spielsweise das „Virtual Table Tennis", bei dem ein Spie¬ ler einen mit einem Markierungspunkt versehenen Tischten¬ nisschläger in der Hand hält.In Verbindung mit einer Web¬ kamera und einer Steuereinheit wird die aktuelle Position des Tischtennisschlägers ermittelt und in einem Monitor visuell übertragen, so dass ein auf dem Monitor angezeig¬ tes Tischtennisspiel mit einem Computer oder einem weite¬ ren Nutzer ermöglicht wird, siehe http://www.vtt.fi/multimedia/camball.html. Dieses Spiel enthält eine sportliche Bewegungskomponente, da der Nutzer sich mit dem Tischtennisschläger im Raum bewegen muss. Dieses Spiel ist jedoch nicht für sehgeschädigte oder blinde Personen geeignet.Furthermore, virtual movement games are known, such as, for example, the "virtual table tennis", in which a player holds a table tennis racket provided with a marking point in his hand. In conjunction with a web camera and a control unit, the current position of the table tennis racket and transmitted visually in a monitor so that a table tennis game displayed on the monitor is made possible with a computer or a further user, see http://www.vtt.fi/multimedia/camball.html Game contains a sportive movement component because the user must move around the room with the table tennis racket, but this game is not suitable for visually impaired or blind people.
Ferner sind auditive Computerspiele bekannt geworden, die für sehgeschädigte und blinde Personen geeignet sind. Bei¬ spielsweise ermöglicht das Spiel „Super Tennis" (http://www.2hku.nl/~audiogam/ag/index.php), dass ein Nut¬ zer mittels eines Joysticks oder einer Tastatur eines Com- puters einen Schläger betätigen kann, dessen Lage auf dem im Monitor angezeigten Feld klanglich angezeigt wird. Bei¬ spielsweise hört der Nutzer bei Positionierung des Schlä¬ gers an einer linken Seite des Feldes einen anderen Ton als bei Positionierung desselben in der Mitte oder am rechten Ende des Spielfeldes. Ein Treffen des vom Computer entlang einer vorgegebenen Bewegungsbahn erzeugten Balls als Spielobjekt wird durch einen gesonderten Klang dem Nutzer deutlich gemacht. Dieses Computerspiel ist jedoch darauf beschränkt, dass sich der Nutzer an einem festen Ort befindet und die Tasten bzw. den Joystick bedient. Ei- ne sportliche Bewegungskomponente enthält dieses Spiel nicht.Furthermore, auditory computer games have become known which are suitable for visually impaired and blind persons. For example, the game "Super Tennis" (http://www.2hku.nl/~audiogam/ag/index.php) allows a user to operate a bat by means of a joystick or a keyboard of a computer For example, when positioning the bat on a left side of the field, the user hears a different sound than positioning it in the center or the right end of the field The ball generated by the computer along a given path of movement as a game object is made clear to the user by a separate sound, but this computer game is limited to the fact that the user is in a fixed location and operates the keys or the joystick. ne sporty movement component does not contain this game.
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zur Steuerung eines auditiven Spiels sowie eine Vorrich¬ tung zur Durchführung des Verfahrens sowie ein Computer¬ programmprodukt anzugeben, dass ein sonifikationsbasiertes Spiel gewährleistet ist, das eine sportbezogene Bewegung des Nutzers ermöglicht und durch akustische Rückmeldung über das eigene Handeln die soziale Interaktion fördert.The object of the present invention is to provide a method for controlling an auditory game as well as a device for carrying out the method and a computer program product that ensure a game based on sonification, which enables a sports-related movement of the user and through acoustic feedback about the game own action promotes social interaction.
Zur Lösung dieser Aufgabe ist das erfindungsgemäße Verfah¬ ren in Verbindung mit dem Oberbegriff des Patenanspruchs 1 dadurch gekennzeichnet, dass nach Beginn eines Bewegungs- ereignisses stets ein Bewegungszustand des Spielobjekts in einem dreidimensionalen Raum einerseits und stets ein Be¬ wegungszustands eines menschlichen Nutzerobjektes im drei¬ dimensionalen Raum andererseits ermittelt wird, dass stets der Bewegungszustand des Spielobjekts und der Bewegungszu- Stands des Nutzerobjekts verglichen wird und in Abhängig¬ keit vom Vergleichsergebnis ein akustisches Bewegungszu- standssignal an den Nutzer ausgegeben wird, wobei dem Nut¬ zer durch das Klangmuster des akustischen Bewegungszu- standssignals die aktuelle Position des Spielobjektes ver- mittelt wird.In order to achieve this object, the method according to the invention in connection with the preamble of claim 1 is characterized in that after the beginning of a movement event always a movement state of the play object in a three-dimensional space on the one hand and always a Be¬ wegungszustands a human user object in dre¬ dimensional space on the other hand, it is determined that always the state of motion of the game object and the Bewegungszu- state of the user object is compared and depending on the result of comparison, an acoustic state of motion signal is output to the user, wherein the Nut¬ zer by the sound pattern of the acoustic movement - Status signal the current position of the game object is mediated.
Die Erfindung ermöglicht eine akustische Bewegungssteue¬ rung über eine interaktive Sonifikation, die im Bereich des Behindertensports, des Sportspiels, der Bewegungsthe- rapie, der Datennavigation und dergleichen eingesetzt wer¬ den kann. Die Erfindung sieht zum einen die virtuelle Be¬ wegung eines Spielobjektes im dreidimensionalen Raum vor. Zum anderen sieht sie die Ermittlung des Bewegungszustan- des eines menschlichen Nutzerobjektes vor, wobei in Abhän- gigkeit von der Relativlage des Nutzerobjektes zu dem Spielobjekt gegebenenfalls ein neues Bewegungsereignis eingeleitet wird. Die Einleitung des weiteren Bewegungser¬ eignisses, vorzugsweise durch Erfüllen einer vorgegebenen Bedingung durch das Nutzerobjekt, wird durch Abgabe eines akustischen Bewegungszustandssignals signalisiert, so dass eine akustische Rückmeldung an den Nutzer gegeben wird. Die Erfindung erfolgt im Echtzeitbetrieb, so dass bei¬ spielsweise auditive Sportspiele mit einer Bewegungskompo¬ nente des Nutzers, wie beispielsweise Badminton mit einem virtuellen Ball und einem virtuellen Schläger, ermöglicht wird. Durch die Ausgabe vorgegebener Klangmarken werden dem Nutzer Hinweise auf den virtuellen Ballort in Bezug auf den Schlägerort gegeben. Ferner ermöglicht die Erfin¬ dung ein bewegungstherapeutisches Training, bei dem der Nutzer angeleitet wird, vorgegebene Bewegungsereignisse, die durch Sonifikation ihm mitgeteilt werden, nachzubil¬ den. Beispielsweise können vorgegebene die Beweglichkeit der Wirbelsäule unterstützende Körperbewegungen aktiv trainiert werden. Die Erfindung ermöglicht darüber hinaus in der Datenanalyse die Nutzung zur Interaktion und Navi¬ gation. Beispielsweise können Suchaufgabe nach Optima ei¬ ner Kostenfunktion durch akustische Hinweise unterstützt werden.The invention makes possible an acoustic motion control via an interactive sonification, which can be used in the field of disability sports, sports games, exercise therapy, data navigation and the like. On the one hand, the invention provides for the virtual movement of a game object in three-dimensional space. On the other hand, it provides for the determination of the state of motion of a human user object, whereby, depending on the relative position of the user object to the user Game object, if necessary, a new motion event is initiated. The initiation of the further Bewegungser¬ event, preferably by fulfilling a predetermined condition by the user object is signaled by the delivery of an acoustic motion state signal, so that an acoustic feedback is given to the user. The invention takes place in real-time operation, so that, for example, auditory sports games with a movement component of the user, such as, for example, badminton with a virtual ball and a virtual club, are made possible. By issuing predetermined sound marks, the user is given clues to the virtual ball location with respect to the club location. Furthermore, the invention makes possible a movement-therapeutic training, in which the user is instructed to reproduce given movement events, which are communicated to him by sonification. For example, given body movements supporting the mobility of the spine can be actively trained. Moreover, the invention makes possible in the data analysis the use for interaction and navigation. For example, search task Optima ei¬ ner cost function can be supported by audible cues.
Zur Lösung der Aufgabe ist die erfindungsgemäße Vorrich¬ tung gekennzeichnet durch ein Sensormodul zur Erfassung des dreidimensionalen Bewegungszustandes des menschlichen Nutzerobjektes, ein Steuermodul zur Erstellung eines Re¬ chenmodells, in dem der dreidimensionale Bewegungszustand des Spielobjektes mit dem dreidimensionalen Bewegungszu¬ stand des Nutzerobjekts und/oder in Echtzeit berechnet und die Bewegungszustände des Nutzerobjekts und des Spielob¬ jekts miteinander verglichen wird, ein Sonifikationsmodul zur klanglichen Darstellung des in dem Steuermodul erzeug- ten Bewegungszustandssignals in Abhängigkeit von der aktu¬ ellen Position des Spielobjekts.To achieve the object Vorrich¬ inventive device is characterized by a sensor module for detecting the three-dimensional state of motion of the human user object, a control module for creating a Re¬ chenmodells in which the three-dimensional state of motion of the game object with the three-dimensional Bewegungszu¬ stand of the user object and / or calculated in real time and the movement states of the user object and the Spielob¬ jects is compared with each other, a Sonifikationsmodul for sound representation of the generated in the control module th movement state signal in dependence on the aktu¬ ellen position of the game object.
Die erfindungsgemäße Vorrichtung ermöglicht insbesondere für sehgeschädigte ein motivierendes Sportspiel. Das Spielerlebnis kann durch eindeutige Rückmeldungen erhöht werden, wobei ein flüssiger Handlungsablauf und eine Auf¬ merksamkeitszentrierung gewährleistet ist.The device according to the invention enables a motivating sports game, in particular for the visually impaired. The game experience can be increased by clear feedback, whereby a fluent action sequence and a Auf¬ merksamkeitszentrierung is guaranteed.
Nach einer bevorzugten Ausführungsform der Erfindung sind wesentliche Module der erfindungsgemäßen Vorrichtung in einem Mobiltelefon integriert, so dass zum einen auf für das für die Erfindung erforderliche Hardwareressourcen zu¬ rückgegriffen werden kann und zum anderen die Vorrichtung an einem beliebigen Ort Einsatz finden kann. Auch für Nichtsehgeschädigte wird hierdurch ein auditives Bewe¬ gungsspiel bereitgestellt, das beispielsweise in Pausen am Büroarbeitsplatz eingesetzt werden kann.According to a preferred embodiment of the invention, essential modules of the device according to the invention are integrated in a mobile telephone, so that, on the one hand, the hardware resources required for the invention can be accessed and, on the other hand, the device can be used at any desired location. This also provides an auditive movement game for non-sighted persons, which can be used, for example, during breaks at the office workstation.
Nach einer Weiterbildung der Erfindung ist ein Kommunika¬ tionsmodul vorgesehen, so dass eine Distanz überbrückende Bewegungskoordination von mehreren Nutzern ermöglicht wird. Bei Einsatz eines Mobiltelefons können die Bewe- gungszustandsdaten über ein Datennetz, wie beispielsweise ein UMTS-Netz, übertragen werden.According to a development of the invention, a communication module is provided, so that a distance bridging motion coordination is made possible by several users. When using a mobile phone, the movement status data can be transmitted via a data network, such as a UMTS network.
Weitere Vorteile der Erfindung ergeben sich aus den weite¬ ren Ansprüchen.Further advantages of the invention will become apparent from the wider claims.
Ein Ausführungsbeispiel der Erfindung wird nachfolgend an¬ hand der Zeichnungen näher erläutert.An embodiment of the invention will be explained in more detail below with reference to the drawings.
Es zeigen: Figur 1 ein Blockschaltbild einer erfindungsgemäßen Vor¬ richtung,Show it: FIG. 1 shows a block diagram of a device according to the invention,
Figur 2 ein schematischer Ablaufplan eines auf die er- findungsgeraäße Vorrichtung angewandten Sport¬ spiels undFIG. 2 shows a schematic flow chart of a sports game applied to the device according to the invention and FIG
Figur 3 ein Blockschaltbild eines in Mobiltelefonen in¬ tegrierten Vorrichtung.FIG. 3 shows a block diagram of a device integrated in mobile telephones.
Die erfindungsgemäße Vorrichtung kann eingesetzt werden als auditives Sportspiel/Bewegungsspiel im Zusammenhang mit Personalcomputern, Mobiltelefonen oder anderen Gerä¬ ten, die einen Mikroprozessor sowie Schnittstellen für die Eingabe-Ausgabe bzw. Anzeige von Daten aufweisen. Ferner kann die erfindungsgemäße Vorrichtung zum bewegungsthera¬ peutischen Training sowie zur Navigation/Exploration von Daten eingesetzt werden.The device according to the invention can be used as an auditive sports game / movement game in connection with personal computers, mobile telephones or other devices which have a microprocessor as well as interfaces for the input-output or display of data. Furthermore, the device according to the invention can be used for movement-therapeutic training as well as for navigation / exploration of data.
Die erfindungsgemäße Vorrichtung besteht im Wesentlichen aus einem Steuermodul 1, einem Sensσrmodul 2 und einem So- nifikationsmodul 3, wie aus Figur 1 zu ersehen ist.The device according to the invention consists essentially of a control module 1, a sensor module 2 and a so-called nifikationsmodul 3, as can be seen from Figure 1.
Das Steuermodul 1 dient zur Erstellung eines Weltmodells (Rechenmodell) , in dem der dreidimensionale Bewegungszu¬ stand eines Spielobjektes und der dreidimensionale Bewe¬ gungszustand eines Nutzerobjektes in Echtzeit berechnet und miteinander verglichen werden. Ferner modelliert das Steuermodul 1 ein vorgegebenes Bewegungsereignis des Spielobjektes. Bei Einsatz der Vorrichtung für ein auditi¬ ves Badmintonspiel ist das Spielobjekt ein virtueller Ball, dessen Flugbahn durch das Steuermodul modelliert und in Echtzeit berechnet wird. Das Nutzerobjekt korrespon¬ diert zu einem virtuellen Schläger, der beispielsweise durch ein Mobiltelefon - wie später beschrieben wird - repräsentiert werden kann.The control module 1 is used to create a world model (calculation model) in which the three-dimensional state of motion of a game object and the three-dimensional motion state of a user object are calculated in real time and compared with each other. Further, the control module 1 models a predetermined motion event of the game object. When using the device for an auditi¬ ves badminton game the game object is a virtual ball whose trajectory is modeled by the control module and calculated in real time. The user object corresponds to a virtual bat, for example by a mobile phone as will be described later.
Das Weltmodell, das durch ein mehrdimensionales Rechenmo- dell repräsentiert wird, beschreibt den aktuellen Zustand des virtuellen Balles (Spielobjekt) und des virtuellen Schlägers (Nutzerobjekt) . Vorzugsweise werden die dreidi¬ mensionalen Bewegungszustandsdaten 4 des Nutzerobjektes durch das Sensormodul 2 generiert und dem Steuermodul 1 zur Verfügung gestellt. Nach Berechnung bzw. Bewertung der Bewegungszustandsdaten 4 des Nutzerobjektes und des Spiel¬ objektes wird ein Bewegungszustandssignal 5 von dem Steu¬ ermodul 1 an das Sonifikationsmodul 3 übertragen, indem diese in ein akustisches Bewegungszustandssignal 6 umge- wandelt wird, das einen Nutzer 7 ausgegeben wird.The world model, which is represented by a multi-dimensional computing model, describes the current state of the virtual ball (game object) and the virtual bat (user object). Preferably, the three-dimensional movement status data 4 of the user object is generated by the sensor module 2 and made available to the control module 1. After calculation or evaluation of the movement status data 4 of the user object and the game object, a movement status signal 5 is transmitted from the control module 1 to the sonification module 3, by converting it into an acoustic movement status signal 6, which is output to a user 7.
Das akustische Bewegungszustandssignal 6 ermöglicht eine stetige akustische Rückmeldung über die aktuelle Position des virtuellen Balls. Weiterhin kann die Zonierung des Spielfeldes über akustische Spielfeldmarkierungen akus¬ tisch wiedergegeben werden, wobei hinsichtlich des Errei- chens einer Spielfeldgrenze im Raum diskrete akustische Rückmeldungen dem Nutzer 7 mitteilen, dass er sich mit seinem Schläger wieder innerhalb des Spielfeldes orientie- ren soll. Das akustische Bewegungszustandssignal 6 vermit¬ telt mittels eines Kontaktklanges dem Nutzer 7 die Infor¬ mation, dass der virtuelle Ball durch den virtuellen Schläger getroffen worden ist und somit ein Rückschlag vollzogen wurde. Ferner kann das akustische Bewegungszu- Standssignal 6 Klangmuster enthalten, die dem Nutzer 7 Aufschluss geben über die Entfernung des Balls von dem virtuellen Schlägers, die Flugrichtung des virtuellen Balls sowie die aktuelle Entfernung des virtuellen Schlä¬ gers zum virtuellen Ball. Die Distanz des virtuellen Schlägers zum Ball kann beispielsweise durch akustische Signale erfolgen, deren Pulsraten abhängig sind von der Entfernung des virtuellen Balls von dem virtuellen Schlä¬ ger. Darüber hinaus kann auch ein akustisches Bewegungszu- standssignal 6 erzeugt werden, das real unhörbare Attribu- te, wie die Krümmung der Ballbahn oder relative Ortsinfor¬ mationen des virtuellen Balls umfasst. Ferner kann das a- kustische BewegungszustandsSignal 6 auch eine Verklangli- chung der Geschwindigkeit des virtuellen Balls enthalten.The acoustic motion state signal 6 allows a continuous acoustic feedback on the current position of the virtual ball. Furthermore, the zoning of the playing field can be acoustically reproduced via acoustic playing field markings, with discreet acoustic feedback informing the user 7 that he should orientate himself again within the playing field with his bat with regard to the achievement of a playing field boundary in the room. The acoustic motion state signal 6 mediates by means of a contact sound to the user 7 the information that the virtual ball has been hit by the virtual bat and thus a setback has taken place. Furthermore, the acoustic movement status signal 6 can contain sound patterns which give the user 7 information about the distance of the ball from the virtual bat, the direction of flight of the virtual ball and the actual distance of the virtual bat to the virtual ball. The distance of the virtual bat for example, to the ball by acoustic Signals occur whose pulse rates are dependent on the distance of the virtual ball from the virtual Schlä¬ ger. In addition, an acoustic state of motion signal 6 can be generated, which includes real inaudible attributes, such as the curvature of the ball track or relative location information of the virtual ball. Further, the acoustic motion state signal 6 may also include a vowel of the velocity of the virtual ball.
Als Reaktion auf die akustischen BewegungszustandsSignale 6 kann der Nutzer 7 seinen virtuellen Schläger so bewegen, dass dieser sich der vorgegebenen Flugbahn des virtuellen Balls nähert und diesen zum richtigen Zeitpunkt virtuell trifft. Damit der Nutzer 7 stets auch eine akustische In- formation über die Relativlage des virtuellen Balls zu dem virtuellen Schläger hat, wird die aktuelle Position des virtuellen Schlägers bzw. der Ortsdaten 8 durch geeignete Sensoren (Kraft- und Beschleunigungssensoren) ermittelt.In response to the acoustic motion state signals 6, the user 7 may move his virtual bat to approach the predetermined trajectory of the virtual ball and hit it virtually at the right time. So that the user 7 always also has an acoustic information about the relative position of the virtual ball to the virtual club, the current position of the virtual club or the location data 8 is determined by suitable sensors (force and acceleration sensors).
In Figur 2 ist ein Ablaufplan für ein virtuelles Badmin¬ tonspiel dargestellt. Das Steuermodul 1 erzeugt mit Beginn des Spiels eine vorgegebene Flugbahn des virtuellen Bal¬ les, Schritt (10) . Gleichzeitig werden in Echtzeit der ak¬ tuelle Bewegungszustand des virtuellen Schlägers (11) so- wie der aktuelle Bewegungszustand des virtuellen Balls (12) ermittelt. Der aktuelle Bewegungszustand des virtuel¬ len Schlägers kann in dem Sensormodul 2 oder in dem Steu¬ ermodul 1 erfolgen. Die Ermittlung des aktuellen Bewe- gungszustands des virtuellen Balls (12) erfolgt im Steuer- modul 1. Im vorliegenden Ausführungsbeispiel wird davon ausgegangen, dass der aktuelle Bewegungszustand des virtu¬ ellen Schlägers (11) in der Steuereinheit 1 erfolgt, wobei die Ortsdaten des virtuellen Schlägers durch das Sensormo¬ dul 2 ermittelt werden. Wie bereits oben beschrieben, er- folgt durch das Sonifikationsmodul 3 eine stetige akusti- sehe Ausgabe für den Nutzer 7 über die Relativposition des virtuellen Schlägers im Bezug zu dem virtuellen Ball gemäß dem vorgegebenen Bewegungsereignis (vorgegebene Flugbahn des virtuellen Balls) . Durch Bewegung des Nutzers 7 kann dieser auf die Lage des virtuellen Schlägers einwirken und gibt somit eine Rückmeldung an die Steuereinheit 1 in der dann der Bewegungszustand des Schlägers aktualisiert wird. In vorgegebenen Zeitintervallen erfolgt in dem Steuermodul 1 ein Vergleich 13 zwischen dem aktuellen Bewegungszustand des virtuellen Schlägers (11) und dem aktuellen Bewegungs¬ zustand des virtuellen Balls (12) . Wird eine Übereinstim¬ mung festgestellt, dass heißt die Ortspositionen des vir¬ tuellen Schlägers und des virtuellen Balls stimmen über¬ ein, wird eine einen Rückschlag repräsentierende Klangmar- ke in dem Sonifikationsmodul 3 nach Ansteuerung durch das Steuermodul 1 erzeugt sowie als ein neues Bewegungsereig¬ nis der virtuelle Ball mit einer neuen vorgegebenen Flug¬ bahn (14) beaufschlagt, die abhängig sein kann von den Zu- standsdaten des virtuellen Schlägers. Beispielsweise re- sultiert die durch virtuellen Rückschlag eingeleitete Flugbahn in Abhängigkeit von Parametern, wie die Geschwin¬ digkeit des Schlägers, die Größe des virtuellen Schlägers und der Schlagtechnik, wie beispielsweise das Vermitteln eines Drehimpulses des virtuellen Balls. Mit dem neuen Be- wegungsereignis werden nun die aktuellen Bewegungszustand¬ daten des virtuellen Balls (12) und die virtuellen Schlä¬ gers eines anderen Nutzers berechnet, und - wie oben be¬ schrieben - ein Vergleich (13) ausgeführt.2 shows a flow chart for a virtual Badmin¬ clay game is shown. The control module 1 generates at the beginning of the game a predetermined trajectory of the virtual Bal¬ les, step (10). At the same time, the current movement state of the virtual bat (11) and the current state of movement of the virtual ball (12) are determined in real time. The current state of motion of the virtual club can be carried out in the sensor module 2 or in the control module 1. The determination of the current state of motion of the virtual ball (12) takes place in the control module 1. In the present exemplary embodiment, it is assumed that the current movement state of the virtual club (11) takes place in the control unit 1, the location data of the virtual Racket be determined by the Sensormo¬ module 2. As already described above, the sonification module 3 produces a continuous acoustic signal. see output for the user 7 about the relative position of the virtual bat in relation to the virtual ball according to the predetermined motion event (predetermined trajectory of the virtual ball). By movement of the user 7, this can act on the position of the virtual club and thus gives a response to the control unit 1 in which then the movement state of the racket is updated. At predetermined time intervals, a comparison 13 takes place in the control module 1 between the current movement state of the virtual bat (11) and the current movement state of the virtual ball (12). If a match is found, ie the spatial positions of the virtual club and the virtual ball are in agreement, a sound mark representing a setback is generated in the sonification module 3 after activation by the control module 1 and as a new movement event The virtual ball is acted on by a new predetermined flight path (14), which may be dependent on the state data of the virtual stick. For example, the trajectory initiated by virtual kickback results depending on parameters such as the speed of the racquet, the size of the virtual racquet and the impact technique, such as, for example, the mediation of an angular momentum of the virtual ball. With the new motion event, the current movement state data of the virtual ball (12) and the virtual club of another user are now calculated, and - as described above - a comparison (13) is carried out.
Nach einer Ausführungsform der Erfindung kann die Vorrich¬ tung in einem Mobiltelefon 20 integriert sein. Das Steuer¬ modul 1 kann beispielsweise als Softwareprodukt ausgebil¬ det sein, das mittels einer Datenträgerkarte oder direkt über eine Datenschnittstelle innerhalb des Mobiltelefons 20 mittels eines dort enthaltenen Mikroprozessors 21 ab- laufen kann. Alternativ kann das Softwareprogramm auch di¬ rekt über ein Datennetz in einen Speicher des Mobiltele¬ fons 20 eingespeist werden.According to one embodiment of the invention, the device can be integrated in a mobile telephone 20. The control module 1 can be designed, for example, as a software product which can be detected by means of a data carrier card or directly via a data interface within the mobile telephone 20 by means of a microprocessor 21 contained therein. can run. Alternatively, the software program can also be fed directly into a memory of the mobile telephone 20 via a data network.
Das Sensormodul 2 weist im Wesentlichen eine Sensorsteuer¬ einheit 22, einen Kraftsensor 23 und einen Beschleuni¬ gungssensor 24 auf. Hierdurch werden die Bewegungszu- standssignale des virtuellen Schlägers ermittelt, so dass eine Schätzung der relativen Position des virtuellen Schlägers im Steuermodul 1 erfolgen kann. Ein Sonifikati- onsmodul 3 ist in dem Mobiltelefon 20 integriert. Vorzugs¬ weise weist das Mobiltelefon 20 eine Vibrationseinheit 25 auf, die dazu genutzt werden kann, dem Nutzer 7 zusätzlich zu der Klangmarke ein haptisches Signal zur Vermittlung eines vollzogenen Rückschlags zu erzeugen. Hierzu kann vorzugsweise die von die Telefonie vorgesehene integrierte Vibrationseinheit 25 des Mobiltelefons 20 eingesetzt wer¬ den.The sensor module 2 essentially has a sensor control unit 22, a force sensor 23 and an acceleration sensor 24. As a result, the movement status signals of the virtual club are determined so that an estimate of the relative position of the virtual club in the control module 1 can be made. A sonification module 3 is integrated in the mobile telephone 20. Preferably, the mobile telephone 20 has a vibration unit 25 which can be used to generate a haptic signal to the user 7 in addition to the sound mark for the purpose of conveying a completed setback. For this purpose, preferably provided by the telephony integrated vibration unit 25 of the mobile phone 20 wer¬ the used.
Das Mobiltelefon 20 bildet im vorliegenden Ausführungsbei¬ spiel einen virtuellen Schläger, dessen Ort beispielsweise durch eine Webkamera oder andere Mittel bestimmt werden kann. Das Mobiltelefon 20 befindet sich als erster Schlä¬ ger in der Hand eines ersten Nutzers, der mit einem durch ein zweites Mobiltelefon 30 repräsentierenden Schläger ei¬ nes anderen Nutzers das virtuelle Badmintonspiel ausführt. Das zweite Mobiltelefon 30 hat den gleichen Aufbau wie das Mobiltelefon 20, enthält insbesondere das Steuermodul 1, das Sensormodul 2 sowie das Sonifikationsmodul 3 zur Aus- gäbe der akustischen Klangmarken. Das Sonifikationsmodul 3 ist als ein Kopfhörer (Headset) ausgebildet, der mit einer Leitung oder drahtlos mit dem Mobiltelefon 20, 30 verbun¬ den ist. Die Mobiltelefone 20, 30 sind über ein Kommunika¬ tionsmodul 31 miteinander gekoppelt. Das Kommunikationsmo- dul 31 kann beispielsweise eine Bluetooth-Schnittstelle darstellen, wenn sich die Nutzer in Sichtweite gegenüber¬ stehen. Alternativ kann das Kommunikationsmodul 31 auch ein Datennetz darstellen, beispielsweise ein GSM-Netz oder ein UMTS-Netz, so dass ein Sportspiel von ortsfern zuein- ander angeordneten Nutzern ermöglicht wird.In the present embodiment, the mobile telephone 20 forms a virtual racket whose location can be determined, for example, by a webcam or other means. The mobile telephone 20 is in the hands of a first user who carries out the virtual badminton game with a racket of another user representing a second mobile telephone 30. The second mobile telephone 30 has the same structure as the mobile telephone 20, contains in particular the control module 1, the sensor module 2 and the sonification module 3 for outputting the acoustic sound marks. The sonification module 3 is designed as a headset (headset) which is connected to the mobile telephone 20, 30 by a line or wirelessly. The mobile phones 20, 30 are coupled together via a communication module 31. The communication module 31 may, for example, a Bluetooth interface represent when the users face each other in sight. Alternatively, the communication module 31 can also represent a data network, for example a GSM network or a UMTS network, so that a sports game is made possible by users remote from one another.
Nach einer Ausführungsform der Erfindung können auch mehr als zwei Spieler miteinander das Bewegungsspiel ausführen. Es ist nicht auf Badminton beschränkt, sondern kann auch entsprechend einer Therapie die Synchronisation einer Be¬ wegung eines ersten Menschen mit der Bewegung eines zwei¬ ten Menschen betreffen. Beispielsweise kann das Sensormo¬ dul 2 auch an einem Rücken eines Nutzers befestigt sein zusätzlich zu einem Handsensor, so dass eine therapeuti- sehe Anwendung mit einem vorgegebenen Bewegungsmuster für den Nutzer ermöglicht wird. Alternativ kann das Sensormo¬ dul auch in einer Kleidung integriert sein, so dass vorge- gebene Bewegungen insbesondere beim Choreographietraining im Theater oder dergleichen ermöglicht wird. According to one embodiment of the invention, more than two players can perform the movement play with each other. It is not limited to badminton, but may also relate, according to a therapy, to the synchronization of a movement of a first person with the movement of a second person. For example, the sensor module 2 can also be fastened to a user's back in addition to a hand sensor, so that a therapeutic application with a predetermined movement pattern for the user is made possible. Alternatively, the sensor module can also be integrated in a clothing, so that predetermined movements, in particular during choreography training in the theater or the like, are made possible.

Claims

Patentansprüche: claims:
1. Verfahren zur Steuerung eines auditiven Spiels, wobei die Bewegungen eines Spielobjekts in Echtzeit vorgege- ben und klanglich wiedergegeben werden, dadurch ge¬ kennzeichnet, dass nach Beginn eines Bewegungsereig¬ nisses stets ein Bewegungszustand (12) des Spielob¬ jekts in einem dreidimensionalen Raum einerseits und stets ein Bewegungszustand (11) eines menschlichen Nutzerobjektes im dreidimensionalen Raum andererseits ermittelt wird, dass stets der Bewegungszustand (12) des Spielobjekts und der Bewegungszustand (11) des Nutzerobjekts verglichen wird und in Abhängigkeit vom Vergleichsergebnis (13) ein akustisches Bewegungszu- Standssignal (6) an den Nutzer (7) ausgegeben wird, wobei dem Nutzer (7) durch das Klangmuster des akusti¬ schen Bewegungszustandssignals (6) die aktuelle Posi¬ tion des Spielobjektes vermittelt wird.1. A method for controlling an auditory game, wherein the movements of a play object are given in real time and reproduced in sound, characterized ge indicates that after the beginning of a Bewegungsereig¬ nisses always a state of motion (12) of the Spielob¬ jects in a three-dimensional space on the one hand and always a movement state (11) of a human user object in three-dimensional space on the other hand is determined that always the movement state (12) of the game object and the movement state (11) of the user object is compared and depending on the comparison result (13) an acoustic Bewegungszu- state signal (6) is output to the user (7), the user (7) being given the current position of the game object by the sound pattern of the acoustic motion state signal (6).
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Beginn und/oder das Ende des Bewegungsereig¬ nisses durch eine Klangmarke akustisch signalisiert wird.2. The method according to claim 1, characterized in that the beginning and / or the end of Bewegungsereig¬ nisses is acoustically signaled by a sound mark.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeich¬ net, dass das Spielobjekt während des Bewegungsereig¬ nisses eine vorgegebene Bewegungsbahn durchläuft, wo¬ bei ein anschließendes weiteres Bewegungsereignis durch eine vorgegebene Bedingung in Abhängigkeit von dem Bewegungszustand des Nutzerobjektes eingeleitet wird.3. The method of claim 1 or 2, characterized gekennzeich¬ net, that the game object during the Bewegungsereig¬ nisses a predetermined trajectory passes through, wo¬ in a subsequent further motion event by a predetermined condition in dependence on the state of motion of the user object is initiated.
4. Vorrichtung zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 3, gekennzeichnet durch - ein Sensormodul (2) zur Erfassung des dreidimensio¬ nalen Bewegungszustandes (11) des menschlichen Nut¬ zerobjektes,4. Apparatus for carrying out the method according to one of claims 1 to 3, characterized by a sensor module (2) for detecting the dreidimensio¬ nal state of motion (11) of the human Nut¬ zerobjektes,
- ein Steuermodul (1) zur Erstellung eines Rechenmo- dells, in dem der dreidimensionale Bewegungszustand des Spielobjektes mit dem dreidimensionalen Bewe¬ gungszustand des Nutzerobjekts und/oder in Echtzeit berechnet und die Bewegungszustände des Nutzerob¬ jekts und des Spielobjekts miteinander verglichen wird,a control module (1) for creating a mathematical model in which the three-dimensional state of motion of the game object is calculated with the three-dimensional motion state of the user object and / or in real time and the motion states of the user object and the game object are compared with one another,
- ein Sonifikationsmodul (3) zur klanglichen Darstel¬ lung des in dem Steuermodul (1) erzeugten Bewe- gungszustandssignals (6) in Abhängigkeit von der aktuellen Position des Spielobjekts.a sonification module (3) for audibly displaying the motion state signal (6) generated in the control module (1) as a function of the current position of the play object.
5. Vorrichtung nach Anspruch 4, dadurch gekennzeichnet, dass das Sensormodul (2) ein Kraftsensor (23) und/oder einen Beschleunigungssensor (24) und/oder einen Orts- sensor aufweist zur Bereitstellung von Sensordaten für die Bestimmung des Bewegungszustandes des Nutzerobjek¬ tes und dass das Sensormodul (2) fest mit dem Nutzer¬ objekt verbunden ist.5. Device according to claim 4, characterized in that the sensor module (2) has a force sensor (23) and / or an acceleration sensor (24) and / or a position sensor for providing sensor data for determining the state of motion of the user object and that the sensor module (2) is firmly connected to the user object.
6. Vorrichtung nach Anspruch 4 oder 5, dadurch gekenn- zeichnet, dass das Sensormodul (2) einen Mikrocontrol- ler aufweist, in dem unter Berücksichtigung der ermit¬ telten Sensordaten die absolute und/oder relative Lage des Nutzerobjekts zu dem Spielobjekt ermittelt wird.6. Apparatus according to claim 4 or 5, characterized in that the sensor module (2) has a microcontroller in which, taking into account the determined sensor data, the absolute and / or relative position of the user object to the game object is determined.
7. Vorrichtung nach einem der Ansprüche 4 bis 6, dadurch gekennzeichnet, dass das Sensormodul (2) und/oder das Sonifikationsmodul (3) und/oder das Steuermodul (1) in einem Mobiltelefon (20, 30) integriert angeordnet ist. 7. Device according to one of claims 4 to 6, characterized in that the sensor module (2) and / or the sonification module (3) and / or the control module (1) in a mobile phone (20, 30) is integrated.
8. Vorrichtung nach einem der Ansprüche 4 bis 7, dadurch gekennzeichnet, dass ein Kommunikationsmodul (31) vor¬ gesehen ist zur Übertragung der Bewegungszustandsdaten (11, 12) von einem Mobiltelefon (20) zu einem weiteren Mobiltelefon (30) und vice versa.8. Device according to one of claims 4 to 7, characterized in that a communication module (31) vor¬ is seen for transmitting the movement state data (11, 12) from a mobile phone (20) to another mobile phone (30) and vice versa.
9. Vorrichtung nach einem der Ansprüche 4 bis 8, dadurch gekennzeichnet, dass das Kommunikationsmodul (31) in dem Mobiltelefon (20, 30) integriert ist und eine . Ü- bertragung der Bewegungszustandsdaten über ein Daten¬ netz, insbesondere über ein GSM-Netz oder UMTS-Netz, ermöglicht.9. Device according to one of claims 4 to 8, characterized in that the communication module (31) in the mobile phone (20, 30) is integrated and a. Transmission of the movement status data over a Daten¬ network, in particular via a GSM network or UMTS network allows.
10. Verwendung eines Verfahrens oder einer Vorrichtung nach einem oder mehreren der vorstehenden Ansprüche zur akustischen Bewegungskontrolle für einen menschli¬ chen Nutzer.10. Use of a method or a device according to one or more of the preceding claims for acoustic motion control for a human user.
11. Computerprogrammprodukt, das direkt in den internen Speicher eines digitalen Computers oder Mobiltelefons11. Computer program product directly into the internal memory of a digital computer or mobile phone
(20, 30) geladen werden kann, dadurch gekennzeichnet, dass das Computerprogrammprodukt Softwareabschnitte aufweist, mit denen das Verfahren nach einem der vor¬ stehenden Verfahrensansprüche ausgeführt wird, wenn das Computerprogrammprodukt auf dem Computer bzw. dem Mobiltelefon (20, 30) abläuft.(20, 30) can be loaded, characterized in that the computer program product comprises software sections, with which the method is carried out according to one of the vor¬ standing method claims when the computer program product on the computer or the mobile phone (20, 30) expires.
12. Computerprogrammprodukt, das; auf einem tragbaren Da¬ tenträger gespeichert ist, dadurch gekennzeichnet, dass das Computerprogrammprodukt Softwareabschnitte aufweist, mit denen das Verfahren nach einem der vor¬ stehenden Verfahrensansprüche ausgeführt wird, wenn das Computerprodukt in den internen Speicher eines di¬ gitalen Computers oder eines Mobiltelefons (20, 30) geladen wird und auf demselben abläuft. 12. Computer program product that; is stored on a portable data carrier, characterized in that the computer program product comprises software sections with which the method according to one of the preceding method claims is executed if the computer product is stored in the internal memory of a digital computer or a mobile telephone (20, FIG. 30) is loaded and runs on the same.
PCT/DE2005/001736 2004-10-04 2005-09-29 Method for controlling an auditory game and associated device WO2006037292A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP05796210A EP1819408A1 (en) 2004-10-04 2005-09-29 Method for controlling an auditory game and associated device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102004048583A DE102004048583A1 (en) 2004-10-04 2004-10-04 A method for controlling an auditory game and apparatus therefor
DE102004048583.6 2004-10-04

Publications (1)

Publication Number Publication Date
WO2006037292A1 true WO2006037292A1 (en) 2006-04-13

Family

ID=35519784

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2005/001736 WO2006037292A1 (en) 2004-10-04 2005-09-29 Method for controlling an auditory game and associated device

Country Status (3)

Country Link
EP (1) EP1819408A1 (en)
DE (1) DE102004048583A1 (en)
WO (1) WO2006037292A1 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5864333A (en) * 1996-02-26 1999-01-26 O'heir; Brian S. Foot force actuated computer input apparatus and method
US5913727A (en) * 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
US6183365B1 (en) * 1996-06-05 2001-02-06 Casio Computer Co., Ltd. Movement measuring device, electronic game machine including movement measuring device, and method of playing game machine
EP1082981A2 (en) * 1999-09-07 2001-03-14 Konami Corporation Game system
EP1110587A1 (en) * 1999-12-15 2001-06-27 Nokia Mobile Phones Ltd. Relative positioning and virtual objects for mobile devices
EP1184060A1 (en) * 2000-08-11 2002-03-06 Konami Corporation Fighting video game machine
US20030036417A1 (en) * 2001-08-20 2003-02-20 Ssd Company Limited Soccer game apparatus

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5031909A (en) * 1990-05-07 1991-07-16 Pecker Edwin A Electronic athletic equipment
AU7933294A (en) * 1993-10-27 1995-05-22 Gerhard Roth Process and device for sensory motion control
DE10256140B3 (en) * 2002-11-29 2004-03-11 Deutsches Zentrum für Luft- und Raumfahrt e.V. Interactive system for mass event participation, e.g. in stadium, has computer controlling large-screen display device, partially influenced by inputs provided by mobile telephones or personal digital assistants of participants

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5913727A (en) * 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
US5864333A (en) * 1996-02-26 1999-01-26 O'heir; Brian S. Foot force actuated computer input apparatus and method
US6183365B1 (en) * 1996-06-05 2001-02-06 Casio Computer Co., Ltd. Movement measuring device, electronic game machine including movement measuring device, and method of playing game machine
EP1082981A2 (en) * 1999-09-07 2001-03-14 Konami Corporation Game system
EP1110587A1 (en) * 1999-12-15 2001-06-27 Nokia Mobile Phones Ltd. Relative positioning and virtual objects for mobile devices
EP1184060A1 (en) * 2000-08-11 2002-03-06 Konami Corporation Fighting video game machine
US20030036417A1 (en) * 2001-08-20 2003-02-20 Ssd Company Limited Soccer game apparatus

Also Published As

Publication number Publication date
EP1819408A1 (en) 2007-08-22
DE102004048583A1 (en) 2006-04-20

Similar Documents

Publication Publication Date Title
US11638853B2 (en) Augmented cognition methods and apparatus for contemporaneous feedback in psychomotor learning
Hughes et al. Notational analysis of sport: Systems for better coaching and performance in sport
US6722888B1 (en) Method and apparatus for tutorial, self and assisted instruction directed to simulated preparation, training and competitive play and entertainment
EP1030727B1 (en) Training device
Liebermann et al. Advances in the application of information technology to sport performance
US6164973A (en) Processing system method to provide users with user controllable image for use in interactive simulated physical movements
US6183259B1 (en) Simulated training method using processing system images, idiosyncratically controlled in a simulated environment
CN108853946A (en) A kind of exercise guide training system and method based on Kinect
Anderson Learning strategies in physical education: Self-talk, imagery, and goal-setting
Spelmezan et al. Tactile motion instructions for physical activities
EP2747853A1 (en) Apparatus for capturing tennis play data
CN107485826B (en) Hand rehabilitation training system based on virtual reality technology
EP2758804A1 (en) System and method for detecting a user-dependent state of a sports object
WO2016178640A1 (en) Virtual reality device for tactical soccer training
JP2003180896A5 (en)
JP2003180896A (en) Virtual sport system
US20080003554A1 (en) Interactive system and method whereby users direct idio-syncratically controllable images to reverse simulated movements of actual physical movements, thereby learning usual sequences of actual physical movements
JPH08509643A (en) Robot golf games
WO2006037292A1 (en) Method for controlling an auditory game and associated device
KR20190042544A (en) Method and apparatus for simulating gaming events
WO2010034308A2 (en) Capturing biometric data of a group of persons
US20220008782A1 (en) Exercise Device
DE102006019385A1 (en) Physical training and mental stimulation method for maintaining or improving physical and mental fitness, involves carrying out recognition and response system according to predetermination of right parameters by system
DE69726469T2 (en) Method for compensating positive or negative emotions, device for generating an optical and / or acoustic response and use of such a device
CN113178241A (en) VR rehabilitation training system

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV LY MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2005796210

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2005796210

Country of ref document: EP