WO2018139906A1 - 증강현실 기반 스포츠 게임 시뮬레이션 시스템 및 그 방법 - Google Patents

증강현실 기반 스포츠 게임 시뮬레이션 시스템 및 그 방법 Download PDF

Info

Publication number
WO2018139906A1
WO2018139906A1 PCT/KR2018/001199 KR2018001199W WO2018139906A1 WO 2018139906 A1 WO2018139906 A1 WO 2018139906A1 KR 2018001199 W KR2018001199 W KR 2018001199W WO 2018139906 A1 WO2018139906 A1 WO 2018139906A1
Authority
WO
WIPO (PCT)
Prior art keywords
space
user
game
entire game
physical
Prior art date
Application number
PCT/KR2018/001199
Other languages
English (en)
French (fr)
Inventor
심재용
강호석
Original Assignee
주식회사 로터스에코
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 로터스에코 filed Critical 주식회사 로터스에코
Priority to US16/480,866 priority Critical patent/US20200086219A1/en
Publication of WO2018139906A1 publication Critical patent/WO2018139906A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/816—Athletics, e.g. track-and-field sports
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B21/00—Exercising apparatus for developing or strengthening the muscles or joints of the body by working against a counterforce, with or without measuring devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B21/00—Exercising apparatus for developing or strengthening the muscles or joints of the body by working against a counterforce, with or without measuring devices
    • A63B21/40—Interfaces with the user related to strength training; Details thereof
    • A63B21/4001—Arrangements for attaching the exercising apparatus to the user's body, e.g. belts, shoes or gloves specially adapted therefor
    • A63B21/4003—Arrangements for attaching the exercising apparatus to the user's body, e.g. belts, shoes or gloves specially adapted therefor to the head; to the neck
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0087—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/10—Positions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/50—Force related parameters
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A63F13/5372—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for tagging characters, objects or locations in the game scene, e.g. displaying a circle under the character controlled by the player
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S482/00—Exercise devices
    • Y10S482/901—Exercise devices having computer circuitry
    • Y10S482/902—Employing specific graphic or video display

Definitions

  • the present invention relates to a system and method for playing sports games based on Augmented Reality (AR) technology.
  • AR Augmented Reality
  • VR Virtual Reality
  • VR Virtual Reality
  • AR Augmented Reality
  • An object of the present invention is to provide a user who participates in a virtual sports game with a level of physical experience similar to that of participating in an actual sports event.
  • an object of the present invention is to provide an adaptively optimized exercise experience to users participating in virtual sports even when physical space is limited.
  • Sports game simulation system through augmented reality is a wearable glass having a display for displaying a virtual object in the physical physical space and a battery for power supply and wearable on the user's head; A camera sensor for scanning a physical space where the sporting event is performed; And real objects used in the sporting event.
  • the wearable glass may display a virtual object based on information about a game progress on the physical space received from the camera sensor.
  • the real object may be at least one of a ball, a stone, a racket, a bat, a stick, a bloom, and a glove.
  • the real object is characterized by having an inertial measurement sensor (IMU).
  • the wearable glass may generate the entire game space such that the space in which the physical movement of the user is expected to be limited within the actual physical space among the entire game spaces in which the sport is played.
  • the wearable glass may be configured to operate the entire game space such that the space where the physical movement of the user is expected to change discontinuously among the entire game space where the sport is played.
  • the dynamic is as follows. For example, the calculation required to operate the entire game space is performed in the wearable glass, but according to the implementation, the calculation may be performed by a separate computing device (eg, a server) to reduce the burden on the wearable glass.
  • Sports game simulation method through the wearable glass supporting the augmented reality mode comprises the steps of receiving information about the actual physical space; Generating an entire game space based on the information about the actual physical space; Displaying virtual objects on the entire game space so that they appear superimposed; Receiving information about a user's movement; Receiving information about a movement of a real object; And updating location information of the virtual object in the entire game space based on the information about the motion of the user and the motion of the real object.
  • the entire game space is characterized in that it is created equal to or larger than the actual physical space.
  • the entire game space is generated to be composed of a real physical space and a pure virtual space.
  • the entire game space is generated to be included in the actual physical space by external input.
  • the entire game space is generated to be configured to include a space where the physical movement of the user is expected to occur and a space where the physical movement of the user is not expected to occur.
  • the generating of the entire game space may be configured to adaptively configure the game space according to at least one of the role of the user in the game, the physical state of the user, and the user's selection.
  • the present invention can provide a user with an experience similar to participating in a real sports game through a sports game simulation system and method based on augmented reality.
  • FIG. 1 is a view showing an embodiment of a system for performing augmented reality-based sports game simulation according to the present invention.
  • FIG. 2 is a diagram illustrating a scenario in which curling, which is a winter sports event, is performed using an augmented reality-based sports game simulation system according to the present invention.
  • FIG 3 is a view showing some embodiments of the configuration of the game space used in the augmented reality-based sports game simulation system according to the present invention.
  • FIG. 4 is a diagram illustrating an example in which the game space shown in FIG. 3B is applied to a curling match.
  • FIG. 5 is a flowchart illustrating a game space setting procedure according to an embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a procedure performed when a change in physical space occurs in an augmented reality-based sports game simulation system according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating a procedure of processing an execution request for a game from a user in an augmented reality-based sports game simulation system according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating a procedure of performing a scene change during a game simulation in accordance with an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a game space setting procedure according to an embodiment of the present invention.
  • FIGS. 10A and 10B illustrate an embodiment of a system for performing augmented reality based sports game simulation according to the present invention.
  • the system may include a wearable glass 100, an external camera and / or scanner 110, a light emitter and / or inertial sensor 120, and the like.
  • the wearable glass according to the present invention can be worn on the user's head including Microsoft's Hololens (Hololens) and can be any kind of smart glass that supports augmented reality.
  • the wearable glass includes a processor 101 for performing all operations required to execute a game in augmented reality mode, a memory 102 for temporarily storing data, and a store for storing various data.
  • a power management unit 106 for controlling the power consumption of the wearable glass, a speaker 105 for audio output, a microphone 106 for audio input, and a display for displaying augmented reality mode ( 107 and a camera 108 for acquiring an image from the physical space.
  • Other types of scanners may also be included instead of or in addition to the camera 108.
  • the external camera or the external scanner 110 is for obtaining information about the space where the game is played and about a person or an actual object, and may be omitted depending on the implementation. However, one or more external cameras or external scanners 110 may be provided for more precise game simulation.
  • the light emitter or inertial sensor 120 may be manufactured in a form detachable to a tool (eg, a ball, a stone, a racket, a bat, a stick, a bloom, a glove, etc.) used in a corresponding sport, or may be manufactured integrally with the tool. have.
  • a tool eg, a ball, a stone, a racket, a bat, a stick, a bloom, a glove, etc.
  • the 2A shows a scene of a curling race utilizing the above-described simulation system.
  • the user 201 serves as a sweeper, and the thrower 202, the fellow sweeper 203, and the stone 204 are all virtual objects.
  • the brom 210 held by the user 201 is a real object to which a light emitter and / or an inertial sensor 120 are attached or embedded.
  • the light emitter provides information on the exact position of the broome to the plurality of external cameras 110 and the camera 108 embedded in the wearable glass 100
  • the inertial sensor 120 is a conventional IMU (Inertial Measurement Unit).
  • the sensor provides detailed information about the movement of the broome.
  • either light emitters or IMU sensors can be used, or both.
  • the external camera 110 acquires image information of the user as well as the location of the broome and transmits the image information to the wearable glass.
  • Areas 301 indicated by solid lines in FIGS. 3A to 3D are areas in which movement of the user 201 is expected, and areas 302 indicated by dashed lines are safe areas including additional areas secured for the safety of the user. These two realms actually exist in physical space.
  • the region 303 indicated by a mixture of dotted and dashed lines represents the entire game space.
  • users, real objects, and virtual objects can all be located, and the additional space obtained in the area 302 as compared to the area 301 is a buffer area for the user's safety.
  • the virtual space can be represented only in the region 303 except for the region 302 (and the region 301). As shown in FIGS.
  • region 301 is included in region 302, and region 302 is again included in region 303.
  • Such a configuration of the game space corresponds to the geometric space to be considered for rendering in the wearable glass, and manages the entire space in a three-dimensional coordinate system for game progression.
  • the geometric three-dimensional game spaces considered for rendering may include virtual spaces where only some of them match the actual physical space (ie, region 301), and which do not exist in practice.
  • the three-dimensional game space may coincide completely with the physical space.
  • the 2B shows a scene of a curling competition utilizing the above-described simulation system.
  • the user 201 serves as a thrower 202
  • the stone 204 is an object existing in the real form in the areas 301 and 302.
  • the sweeper 203 and the bloom in the area 303 , And skip are all virtual objects.
  • the stone 204 held by the user 201 is a real object to which the light and / or inertial sensor 120 are attached or embedded.
  • the light emitter provides information on the exact position of the stone to the plurality of external cameras 110 and the camera 108 embedded in the wearable glass 100
  • the inertial sensor 120 is a conventional IMU (Inertial Measurement Unit) It provides detailed information about the movement of the stone as a sensor.
  • either light emitters or IMU sensors can be used, or both.
  • the external camera 110 acquires image information of the user as well as the location of the stone and transmits the image information to the wearable glass.
  • the stone pushed by the user 201 by force is not seen by the diminished reality technique while entering the region 302, and at the same time, a stone, which is a virtual object, appears in the region 303.
  • a stone which is a virtual object, appears in the region 303.
  • virtual objects existing from the beginning of the game are shown, and as soon as the stone passes through the boundary area and enters the region 302, the virtualized stone is displayed on the wearable glass in association with other virtual objects. .
  • the virtual stone may be configured to be pre-rendered so that the real stone is accurately overlaid on the real stone even in a section in which the real stone is effectively present.
  • the control device can be configured in a similar manner to a mechanical device that throws a ball at an indoor baseball field.
  • Areas 301, 302, and 303 show virtual objects that exist from the beginning of the game, and the virtual stone passes through the boundary area to the area 302.
  • the instantiated stone is displayed on the wearable glass as soon as it enters the virtual object.
  • the stone 204 is attached or embedded with a light emitting body and / or an inertial sensor 120 as a real object.
  • the light emitter provides information on the exact position of the stone to the plurality of external cameras 110 and the camera 108 embedded in the wearable glass 100
  • the inertial sensor 120 is a conventional IMU (Inertial Measurement Unit) It provides detailed information about the movement of the stone as a sensor.
  • IMU Inertial Measurement Unit
  • the virtual stone is actualized, but the game mode in which the user 201 acts as a sweeper does not necessarily include a step of realizing the virtual stone, and the game is represented by representing the stone only as a virtual object state. It may be configured to proceed.
  • the brom 210 held by the user 201 is a real object to which a light emitter and / or an inertial sensor 120-1 are attached or embedded.
  • the light emitter provides information on the exact position of the bloom to the plurality of external cameras 110 and the camera 108 embedded in the wearable glass 100, and the inertial sensor 120-1 mounted to the bloom is conventional.
  • An Inertial Measurement Unit (IMU) sensor that provides detailed information about the movement of the broome. Depending on the application, only one of the light emitters or the IMU sensor may be used, or both may be used.
  • the external camera 110 acquires image information of the user as well as the location of the stone and bloom and transmits the image information to the wearable glass.
  • area 301 is an indoor space where a user's movement is allowed, and an area except the 301 area of the 302 area serves as a buffer secured for the user's safety.
  • an area except the 302 area among the 303 areas may be physically present spaces, but may not be.
  • the user may use the augmented reality to augment the space of the 303 area with the 302 area even though the actual physical space is blocked by the wall. It feels as if it exists.
  • the entire game space 303 includes an area 301 in which a user's movement is allowed and a buffer area 302 for ensuring safety.
  • the buffer area 302 may be unnecessary. have.
  • each region can generally be considered in three dimensions.
  • one or more of a rectangular coordinate system, a cylindrical coordinate system, or a spherical coordinate system may be selected and used.
  • each area may be set considering only two dimensions according to the physical space scanning result. For example, in a large space open without obstacles, even if the game space is managed only in two dimensions without considering the height dimension, the game progression can be performed without difficulty, and unnecessary computation can be reduced.
  • the region 301, the region 302 (except for the region overlapping with the region 301), and the region 303 (except for the region overlapping with the region 302) may be visually distinguishable.
  • the rendering may be performed while changing the hue, brightness, saturation, resolution, texture, etc. of various objects and backgrounds represented in each area when performing rendering.
  • the game space as shown in FIG. 3B may be a game space suitable for a case in which a user plays a thrower role in a curling game as shown in FIG. 4.
  • the game space as shown in FIG. 3D may be suitable when playing the role of a batter at the plate of a baseball game.
  • the composition of the game space can be made variously according to the characteristics of the game and the role of the user.
  • the user's body size refers to values such as height, arm length, leg length, torso circumference, and the like.
  • An algorithm for inputting a user's height or height and weight and estimating the user's body size from the information may be provided.
  • the body size of the user may be scanned through an external camera or the like.
  • it may be configured to calculate the area 301 in which the user's movement is expected in consideration of the size of the actual object used in the game, in addition to the user's body size.
  • an area 301 in which a user's movement is expected may be estimated based on statistical data of an area in which a player moves in an actual game.
  • FIG. 9 is a flowchart illustrating a game space setting procedure according to an embodiment of the present invention.
  • Physical space scanning and user body size determination are performed. These two steps are not necessarily followed in order, and may be performed in parallel (S901 and S902).
  • a statistical prediction model is executed, which may be performed using a probability prediction modeling technique using statistical data about actual sports athletes' movements and / or statistical data obtained from the general public. If we use AI to learn, we can refine the initial statistical model by learning the data collected from the user during game play.
  • a determination is made on the area 301 where the user's motion is expected, and the buffer area and the entire game space are determined (S906).
  • Physical space scanning can be performed by various methods. Physical space scanning may be performed alone by a camera or scanner embedded in the wearable glass. Alternatively, the results of the external camera or the external scanner may be transmitted to the wearable glass, and the information obtained from the camera and / or scanner of the wearable glass and the external camera / scanner may be integrated to perform scanning of the physical space. It may be.
  • the user can adjust the intensity of the simulation. For example, when a user becomes a thrower in curling, the weight of a stone, which is a real object, may be changed, and the entire simulation is configured to adaptively change according to the weight of the stone.
  • the players (AR objects) running together on the surrounding track while the user is running may exhibit the same movement as the actual players such as Usain Bolt.
  • they may be fictitious athletes who perform at the user's level.
  • the movements of the AR object players can be programmed at various levels using statistical data obtained from actual players.
  • the game simulation system according to the present invention can be applied to sports of various sports indoors and outdoors. You can have an AR object player who plays the role of a face maker in the marathon, and you can play various sports such as tennis, baseball, soccer, and golf. In particular, in a game such as soccer, the role of the user can be extended to more than one player. For example, it is possible to change the role immediately after the user takes a corner and receive the soccer ball and connect to the shooting. In this case, the scene change must be performed, and the procedure as shown in FIG. 8 may be performed.
  • FIG. 5 shows a procedure of changing the game space already set according to the user's movement.
  • the game space is set up and the user's movement is monitored while the game is executed, which is performed for the purpose of checking whether the user's movement is localized in the expected area 301. If the user's movement is out of a specific area or biased in a specific direction, it is determined whether the game spaces (ie, areas 301, 302, 303) need to be reset, and if a game space reset is necessary, a reset is performed (S506). do.
  • a step of warning the user may be provided.
  • FIG. 6 illustrates a procedure for stopping a game or resetting a game space when a change occurs in the physical space during game play, for example, when a third party or an obstacle enters the game space.
  • an additional step of warning the user may be provided.
  • the warning to the user may be implemented by outputting a predetermined audio signal or mechanical signal output such as output or vibration of a visual signal, or various combinations thereof.
  • FIG. 7 illustrates a procedure for selecting and presenting a sport game item that a user can perform in the current physical space based on the information about the physical space and the information about the user's body size.
  • FIG. 10A illustrates an embodiment of a system for performing augmented reality-based sports game simulation according to the present invention.
  • a camera and a server 1001 are connected to a gateway 1002 in a UART manner, and the gateway 1002,
  • the stone 1004 and broome are connected to the holo lens 1003 in a Bluetooth (BLE) manner to perform related operations.
  • Receives information about the acquired movement through the Bluetooth channel, and location information of the stone (1004) or Broome (1005) obtained from the camera is received in the UART channel through the camera and the server.
  • the gateway 1002 independently uses UART, Bluetooth, and RF channels for the camera. It communicates with / server 1001, holo lens 1003, stone 1004, bloom 1005, etc.
  • the RF channel is a wireless communication channel dedicated to games. It is not limited to this.
  • the UART scheme may be replaced by a general wire / wireless communication or an inter-board communication scheme such as I2C or SPI, and may be implemented by various communication schemes.
  • the communication method between the Hololens 1003, the stone 1004, the bloom 1005, and the gateway 1002 is not limited to Bluetooth, and various wireless communication methods such as WiFi may be applied.
  • the present invention is not necessarily limited to these embodiments. In other words, within the scope of the present invention, all of the components may be selectively operated in combination with one or more.
  • all of the components may be implemented in one independent hardware, each or some of the components of the components are selectively combined to perform some or all of the functions combined in one or a plurality of hardware It may be implemented as a computer program having a.
  • such a computer program is stored in a computer readable medium such as a USB memory, a CD disk, a flash memory, and the like, and is read and executed by a computer, thereby implementing embodiments of the present invention.
  • the recording medium of the computer program may include a magnetic recording medium, an optical recording medium and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Physical Education & Sports Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Cardiology (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명에 따른 증강현실 모드를 지원하는 웨어러블 글라스를 통한 스포츠 게임 시뮬레이션 방법은 실제 물리 공간의 사이즈에 관한 정보를 수신하는 단계; 상기 실제 물리 공간의 사이즈에 관한 정보에 기초하여 전체 게임 공간을 생성하는 단계; 상기 전체 게임 공간 상에 가상 오브젝트가 겹쳐서 보이도록 디스플레이 하는 단계; 사용자의 움직임에 관한 정보를 수신하는 단계; 및 상기 사용자의 움직임에 관한 정보에 기초하여 상기 전체 게임 공간 내에서 상기 가상 오브젝트의 위치 정보를 업데이트하는 단계를 포함한다.

Description

증강현실 기반 스포츠 게임 시뮬레이션 시스템 및 그 방법
본 발명은 증강현실(Augmented Reality; AR) 기술을 기반으로 스포츠 게임을 진행하기 위한 시스템 및 방법에 관한 것이다.
가상현실(Virtual Reality; VR) 기반의 스포츠 게임 시뮬레이션은 사용자에게 실제 경기에 참가 중인 선수의 시점에서 다시점 영상을 제공하여 높은 수준의 몰입감을 줄 수 있는 반면, VR의 특성상 사용자의 시야가 완전히 차단되어 사용자의 물리적인 위치 이동을 제한한다. 사용자는 가상으로 스포츠 게임에 참여하지만, 사용자에게 물리적으로 요구되는 운동량은 극히 미미하여, 특히 물리적인 위치의 이동에 많은 제약이 발생한다.
만약 게임이 증강현실(Augmented Reality; AR)에 기초하여 제작된다면 가상의 오브젝트가 실제 물리 공간 상에 겹쳐서 표현하기 때문에, 사용자는 걷기, 달리기, 점프 등과 같은 동작을 실제 물리 공간 상에서 수행할 수 있어, 실제 운동과 더욱 유사한 효과를 가져올 수 있다.
본 발명은 가상의 스포츠 게임에 참여하는 사용자에게 실제 스포츠 경기에 참여하는 것과 유사한 수준의 물리적경험을 제공하는 것을 목적으로 한다. 또한, 본 발명은 물리적 공간이 제한된 경우에도 가상 스포츠에 참여하는 사용자에게 적응적으로 최적화된 운동 경험을 제공하는 것을 목적으로 한다.
본 발명에 따른 증강현실을 통한 스포츠 경기 시뮬레이션 시스템은 실제 물리 공간에 가상 오브젝트를 겹쳐서 보이도록 하기 위한 디스플레이와 전원 공급을 위한 배터리를 구비하고 사용자의 머리 부위에 착용 가능한 웨어러블 글라스; 상기 스포츠 경기가 진행되는 물리공간을 스캐닝하기 위한 카메라 센서; 및 상기 스포츠 경기에 사용되는 실제 오브젝트를 포함한다.
상기 웨어러블 글라스는 상기 카메라 센서로부터 수신된 상기 물리공간 상의 경기 진행에 관한 정보에 기초하여 가상 오브젝트를 디스플레이하는 것을 특징으로 한다. 상기 실제 오브젝트는 공, 스톤, 라켓, 배트, 스틱, 브룸, 장갑 중 적어도 어느 하나인 것을 특징으로 한다. 상기 실제 오브젝트는 관성 측정 센서(IMU)를 구비하는 것을 특징으로 한다.
상기 웨어러블 글라스는 상기 스포츠가 진행되는 전체 게임 공간 중 상기 사용자의 물리적 이동이 예상되는 공간이 상기 실제 물리공간 이내로 제한되도록 상기 전체 게임 공간을 생성하는 것을 특징으로 한다. 상기 웨어러블 글라스는 상기 스포츠가 진행되는 전체 게임 공간 중 상기 사용자의 물리적 이동이 예상되는 공간이 불연속적으로 변화하도록 상기 전체 게임 공간을 운영하는 것을 특징으로 한다.본 발명에 따른 일 실시예에서 이처럼 다이나믹하게 전체 게임 공간을 운영하기 위해 필요한 계산은 상기 웨어러블 글라스에서 이루어지고 있으나, 구현에 따라 웨어러블 글라스의 부담을 덜어주기 위해 이러한 계산을 별도의 컴퓨팅 장치(예, 서버)가 처리하도록 구성해도 무방하다.
본 발명에 따른 증강현실 모드를 지원하는 웨어러블 글라스를 통한 스포츠 게임 시뮬레이션 방법은 실제 물리 공간에 관한 정보를 수신하는 단계; 상기 실제 물리 공간에 관한 정보에 기초하여 전체 게임 공간을 생성하는 단계; 상기 전체 게임 공간 상에 가상 오브젝트가 겹쳐서 보이도록 디스플레이하는 단계; 사용자의 움직임에 관한 정보를 수신하는 단계; 실제 오브젝트의 움직임에 관한 정보를 수신하는 단계; 및 상기 사용자의 움직임 및 실제 오브젝트의 움직임에 관한 정보에 기초하여 상기 전체 게임 공간 내에서 상기 가상 오브젝트의 위치 정보를 업데이트하는 단계를 포함한다.
상기 전체 게임 공간은 상기 실제 물리 공간과 같거나 더 크게 생성되는 것을 특징으로 한다. 상기 전체 게임 공간은 실제 물리 공간과 순수 가상 공간으로 구성되도록 생성되는 것을 특징으로 한다. 상기 전체 게임 공간은 외부 입력에 의해 실제 물리 공간 내에 포함되도록 생성되는 것을 특징으로 한다.
상기 전체 게임 공간은 상기 사용자의 물리적 이동이 발생할 것으로 예상되는 공간과 상기 사용자의 물리적 이동이 발생하지 않을 것으로 예상되는 공간으로 구성되도록 생성되는 것을 특징으로 한다. 상기 전체 게임 공간 생성 단계는 게임 내에서의 사용자의 역할, 사용자의 신체 상태, 또는 사용자의 선택 중 적어도 어느 하나에 따라 적응적으로 상기 게임 공간을 구성하는 것을 특징으로 한다.
본 발명은 증강현실 기반의 스포츠 게임 시뮬레이션 시스템과 방법을 통해 사용자에게 실제 스포츠 경기에 참여하는 것과 유사한 경험을 제공할 수 있다.
도 1은 본 발명에 따른 증강현실 기반 스포츠 게임 시뮬레이션을 수행하기 위한 시스템의 일 실시예를 나타낸 도면이다.
도 2는 본 발명에 따른 증강현실 기반 스포츠 게임 시뮬레이션 시스템을 이용하여 동계 스포츠 종목인 컬링(Curling)을 진행하는 시나리오를 나타낸 도면이다.
도 3은 본 발명에 따른 증강현실 기반 스포츠 게임 시뮬레이션 시스템에서 이용되는 게임 공간의 구성에 관한 몇 가지 실시예를 도시한 도면이다.
도 4는 도 3B에 도시한 게임 공간이 컬링 경기에 적용된 예를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 게임 공간 설정 절차를 나타낸 순서도이다.
도 6은 본 발명의 일 실시예에 따른 증강현실 기반 스포츠 게임 시뮬레이션 시스템에서 물리공간에 변화가 발생한 경우에 수행되는 절차를 나타낸 순서도이다.
도 7은 본 발명의 일 실시예에 따른 증강현실 기반 스포츠 게임 시뮬레이션 시스템에서 사용자로부터 게임에 대한 실행 요청을 처리하는 절차를 나타낸 순서도이다.
도 8은 본 발명의 일 실시예에 따른 게임 시뮬레이션 진행 중에 장면 전환을 수행하는 절차를 나타낸 순서도이다.
도 9는 본 발명의 일 실시예에 따른 게임 공간 설정 절차를 도시한 순서도이다.
도 10a 및 도 10b는 본 발명에 따른 증강현실 기반 스포츠 게임 시뮬레이션을 수행하기 위한 시스템의 일 실시예를 나타낸 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명의 범위가 여기서 설명하는 실시예들로만 한정되는 것은 아니며, 본 발명과 실질적인 동일성을 유지하면서도 다양한 변형 예가 가능하다는 점은 당업자에게 자명할 것이다.
도 1은 본 발명에 따른 증강현실 기반 스포츠 게임 시뮬레이션을 수행하기 위한 시스템의 일 실시예를 나타낸 도면이다. 시스템은 웨어러블 글라스(100), 외부 카메라 및/또는 스캐너(110), 발광체 및/또는 관성 센서(120) 등을 포함할 수 있다. 본 발명에 따른 웨어러블 글라스는 마이크로소프트(Microsoft)사의 홀로렌즈(Hololens)를 포함하여 사용자의 머리 부위에 착용 가능하며 증강현실 기능을 지원하는 모든 종류의 스마트 글라스가 될 수 있다. 도 1에 도시된 바와 같이, 웨어러블 글라스는 증강현실 모드에서 게임을 실행하기 위해 필요한 모든 연산을 수행하기 위한 프로세서(101), 데이터의 임시 저장을 위한 메모리(102), 각종 데이터를 저장하기 위한 저장장치(103), 웨어러블 글라스의 전력 소모를 제어하기 위한 전력 관리부(106)를 포함하며, 오디오 출력을 위한 스피커(105)와 오디오 입력을 위한 마이크로폰(106), 그리고 증강현실 모드를 표시하는 디스플레이(107)와 물리 공간으로부터 영상을 획득하기 위한 카메라(108) 등을 포함한다. 상기 카메라(108) 대신에 또는 부가적으로 다른 종류의 스캐너가 더 포함될 수도 있다. 상기 외부 카메라 또는 외부 스캐너(110)는 게임이 진행되는 공간 및 사람 혹은 실제 오브젝트에 대한 정보를 얻기 위한 것으로, 구현에 따라서는 생략될 수도 있지만, 보다 정밀한 게임 시뮬레이션을 위해서는 하나 이상 설치되는 것이 좋다. 상기 발광체 또는 관성 센서(120)는 해당 스포츠 종목에서 사용되는 도구(예: 공, 스톤, 라켓, 배트, 스틱, 브룸, 장갑 등)에 탈부착 가능한 형태로 제작되거나, 상기 도구와 일체형으로 제작될 수 있다.
도 2a는 상술한 시뮬레이션 시스템을 활용한 컬링 경기의 한 장면을 나타내고 있다. 사용자(201)는 스위퍼(Sweeper) 역할을 수행하고 있으며, 스로어(Thrower; 202)와 동료 스위퍼(203), 스톤(204)는 모두 가상 오브젝트이다. 사용자(201)가 손에 쥐고 있는 브룸(210)은 실제 오브젝트로서 발광체 및/또는 관성센서(120)가 부착 또는 내장되어 있다. 여기서, 발광체는 복수의 외부 카메라(110)와 웨어러블 글라스(100)에 내장된 카메라(108)에 브룸의 정확한 위치에 대한 정보를 제공하며, 관성센서(120)는 통상의 IMU(Inertial Measurement Unit) 센서로서 브룸의 움직임에 관한 상세한 정보를 제공한다. 응용에 따라서 발광체 또는 IMU 센서 중 어느 하나만을 사용하거나, 두 가지 모두를 사용할 수 있다. 외부 카메라(110)은 브룸의 위치는 물론 사용자에 대한 영상 정보를 획득해서 웨어러블 글라스로 전송한다.
본 발명에 따른 게임공간에 대해 간단히 설명한다. 도 3a 내지 도 3d에서 실선으로 표시된 영역(301)은 사용자(201)의 움직임이 발생할 것으로 예상되는 영역이며, 점선으로 표시된 영역(302)은 사용자의 안전을 위해 확보된 추가 영역을 포함하는 안전 영역인데, 이 두 영역은 모두 물리 공간 내에 실제로 존재한다. 또한, 점선과 파선이 혼합되어 표시된 영역(303)은 전체 게임 공간을 나타낸다. 영역 301에는 사용자, 실제 오브젝트 및 가상 오브젝트가 모두 위치할 수 있으며, 영역 301에 비해 영역 302에서 추가로 확보된 공간은 사용자의 안전을 위한 완충 영역으로 게임 진행 중에는 사용자 또는 실제 오브젝트가 위치하지 않도록 의도된 공간이며, 영역 303 중 영역 302 (및 영역 301)를 제외한 영역에는 가상 오브젝트만이 표현될 수 있는 공간이다. 도 3a 내지 도 3d에 도시된 바와 같이, 영역 301은 영역 302에 포함되고, 영역 302는 다시 영역 303에 포함된다. 이와 같은 게임공간의 구성은 웨어러블 글라스에서 렌더링을 하기 위해 고려하는 기하학적 공간에 대응하며, 게임 진행을 위해 해당 공간 전체를 3차원 좌표계로 관리한다. 이와 같이 렌더링을 위해 고려하는 기하학적 3차원 게임 공간은 그 일부만이 실제 물리공간과 일치하고(즉, 영역 301), 실제로는 존재하지 않는 가상공간을 포함할 수 있으나, 구현에 따라서는 렌더링을 위한 기하학적 3차원 게임 공간이 실제 물리 공간과 완전히 일치할 수도 있다.
실물 스톤의 가상화:
도 2b는 상술한 시뮬레이션 시스템을 활용한 컬링 경기의 한 장면을 나타내고 있다. 사용자(201)는 스로어(Thrower 202) 역할을 수행하고 있으며, 스톤(204)은 영역(301, 302)에서 실물형태로 존재하는 오브젝트이다.영역 (303)에 존재하는 스위퍼(203), 브룸, 스킵 모두 가상 오브젝트이다. 사용자(201)가 손에 쥐고 있는 스톤(204)은 실제 오브젝트로서 발광체 및/또는 관성센서(120)가 부착 또는 내장되어 있다. 여기서, 발광체는 복수의 외부 카메라(110)와 웨어러블 글라스(100)에 내장된 카메라(108)에 스톤의 정확한 위치에 대한 정보를 제공하며, 관성센서(120)는 통상의 IMU(Inertial Measurement Unit) 센서로서 스톤의 움직임에 관한 상세한 정보를 제공한다. 응용에 따라서 발광체 또는 IMU 센서 중 어느 하나만을 사용하거나, 두 가지 모두를 사용할 수 있다.
외부 카메라(110)은 스톤의 위치는 물론 사용자에 대한 영상 정보를 획득해서 웨어러블 글라스로 전송한다. 사용자(201)가 힘을 가하여 밀어낸 스톤은영역(302)를 들어가면서 감소 현실(Diminished Reality) 기법으로 보이지 않게 되며 동시에 영역(303)에 가상의 오브젝트인 스톤이 나타난다. 영역(301, 302, 303)에는 게임 시작부터 존재하는 가상의 오브젝트들이 보이고 스톤이 경계구역을 통과하여 영역(302)로 들어가는 순간 가상화된 스톤은 가상의 다른 오브젝트들과 연동하며 웨어러블 글라스에 표시된다.
실물 스톤이 가상 스톤으로 대체되는 동작을 자연스럽게 표현하기 위해서, 실물 스톤이 유효하게 존재하는 구간에서도 실물 스톤 상에 정확하게 겹치도록(overlay) 가상 스톤을미리 렌더링하도록 구성하여도 좋다.
가상 스톤의 실물화:
도 2c는 상술한 시뮬레이션 시스템을 활용한 컬링 경기의 다른 장면을 나타내고 있다. 사용자(201)는 스위퍼(Sweeper) 역할을 수행하고 있으며, 브룸(210)은 영역(301, 302)에서 실물형태로 존재하는 오브젝트이다.영역 (301, 303)에 존재하는 스로어(202), 다른 스위퍼(203), 스킵모두 가상 오브젝트이다. 스로어(202)가 밀어낸 스톤은 가상 공간(즉, 영역303 중 영역 302에 속하지 않는 영역)과 완충 영역(302)의 경계지점으로 들어오면서 가상의 진행 방향, 속도 회전에 맞추어 제어 장치(미도시)가 실제 스톤을 던져 영역(301, 302)으로 밀어낸다. 제어 장치는 실내야구장에서 공을 던지는 기계 장치와 유사한 방법으로 구성할 수 있다.영역(301, 302, 303)에는 게임 시작부터 존재하는 가상의 오브젝트들이 보이고 가상 스톤이 경계구역을 통과하여 영역(302)로 들어오는 순간 실물화된 스톤은 가상의 다른 오브젝트들과 연동하며 웨어러블 글라스에 표시된다.스톤(204)은 실제 오브젝트로서 발광체 및/또는 관성센서(120)가 부착 또는 내장되어 있다. 여기서, 발광체는 복수의 외부 카메라(110)와 웨어러블 글라스(100)에 내장된 카메라(108)에 스톤의 정확한 위치에 대한 정보를 제공하며, 관성센서(120)는 통상의 IMU(Inertial Measurement Unit) 센서로서 스톤의 움직임에 관한 상세한 정보를 제공한다. 응용에 따라서 발광체 또는 IMU 센서 중 어느 하나만을 사용하거나, 두 가지 모두를 사용할 수 있다.
이상 가상 스톤이 실물화되는 경우에 대해서 설명했으나, 사용자(201)가 스위퍼 역할을 하는 게임 모드라고 해서 반드시 가상 스톤을 실물화하는 단계를 포함해야 하는 것은 아니며, 스톤을가상 오브젝트 상태로만 표현해서 게임을 진행하도록 구성해도 무방하다.
사용자(201)가 손에 쥐고 있는 브룸(210)은 실제 오브젝트로서 발광체 및/또는 관성센서(120-1)가 부착 또는 내장되어 있다. 여기서, 발광체는 복수의 외부 카메라(110)와 웨어러블 글라스(100)에 내장된 카메라(108)에 브룸의 정확한 위치에 대한 정보를 제공하며, 브룸에 장착된 관성센서(120-1)는 통상의 IMU(Inertial Measurement Unit) 센서로서 브룸의 움직임에 관한 상세한 정보를 제공한다. 응용에 따라서 발광체 또는 IMU 센서 중 어느 하나만을 사용하거나, 두 가지 모두를 사용할 수 있다.외부 카메라(110)은 스톤과브룸의 위치는 물론 사용자에 대한 영상 정보를 획득해서 웨어러블 글라스로 전송한다.
도 3은 본 발명에 따른 스포츠 게임 시뮬레이션을 수행하기 위한 게임 공간을 설명하기 위한 예시도이다. 예를 들어, 실내에서 게임을 진행하는 경우, 301 영역은 사용자의 움직임이 허락된 실내 공간이며, 302 영역 중 301 영역을 제외한 영역은 사용자의 안전을 위해 확보된 버퍼 역할을 하는 영역이다. 이에 반해, 303 영역 중 302 영역을 제외한 영역은 물리적으로 존재하는 공간일 수도 있지만, 그렇지 않을 수도 있다. 예를 들어, 302 영역이 끝나는 지점에 벽이 존재할 수도 있는데, 이 경우 사용자는 실제 물리 공간이 벽으로 막혀있음에도 불구하고 증강현실의 도움으로 (302 영역을 제외한) 303 영역의 공간이 302 영역과 연속하여 존재하는 것처럼 느끼게 된다. 이 경우, 물리적으로 안전이 확보되어 최적화된 공간 내로 사용자 움직임 예상 영역을 제한하면서도, 적절한 원근감 왜곡 효과를 이용하면 전체 게임 공간의 몰입감을 높일 수 있다.
살펴본 바와 같이, 전체 게임 공간(303)은 사용자의 움직임이 허락되는 영역(301)과 안전 확보를 위한 완충영역(302)를 포함하여 구성된다. 그러나, 도 5에 기재된 바와 같은 물리 공간 스캐닝(S501)을 통해 확인한 결과, 물리 공간 내에 위험 요소가 없고, 실제 물리 공간이 전체 게임 공간보다 더 큰 경우 등에서는 상기 완충영역(302)이 불필요할 수도 있다.
도 3a에서는 사용자의 움직임 허용 영역 (301), 완충 영역 (302), 전체 게임 영역 (303)을 2차원 평면에 표현했지만, 각 영역은 일반적으로 3차원에서 고려될 수 있음에 주목해야 한다. 3차원을 고려하기 위해, 직교좌표계, 원통좌표계, 또는 구좌표계 중 어느 하나 이상이 선택되어 사용될 수 있다. 다만, 실외의 경우, 물리 공간 스캐닝 결과에 따라 2차원만 고려하여 각 영역이 설정될 수도 있다. 예컨대, 장애물이 없이 개방된 넓은 공간에서는 높이(height) 차원을 고려하지 않고, 2차원으로만 게임공간을 관리하더라도 게임 진행에 무리가 없으며, 불필요한 연산을 줄일 수 있는 장점을 제공할 수도 있다.
실시예에 따라, 렌더링 수행하는 단계에서 영역 301, 영역 302 (단, 영역 301과 겹치는 영역 제외), 영역 303 (단, 영역 302와 겹치는 영역 제외)를 시각적으로 구분이 가능하도록 표현할 수도 있다. 예컨대, 렌더링 수행 시에 각각의 영역에서 표현되는 각종 오브젝트 및 배경에 대해서 색상, 명도, 채도, 해상도, 질감 등에 변화를 주면서 렌더링을 할 수 있다. 이렇게 영역 간에 시각적으로 구분이 가능한 방식으로 렌더링을 함으로써, 사용자가 게임 수행 중에 안전 사고에 노출될 수 있는 확률을 현저히 낮출 수 있다.
도 3b와 같은 게임 공간은 도 4에 도시된 바와 같은 컬링 게임에서 사용자가 스로어(thrower) 역할을 수행하는 경우에 적합한 게임 공간일 수 있다. 또한, 도 3d와 같은 게임 공간은 야구 경기의 타석에서 타자 역할을 수행하는 경우에 적합할 수 있다. 이러한 게임 공간의 구성은 게임의 특성과 사용자의 역할에 따라 다양하게 만들어질 수 있다.
게임 공간의 구성을 위해서, 사용자의 신체 사이즈가 고려되는 것이 바람직할 수도 있다. 사용자의 신체 사이즈는 키, 팔 길이, 다리 길이, 몸통 둘레 등과 같은 수치를 말한다. 사용자의 키 또는 키와 체중을 입력받고 그 정보로부터 사용자의 신체 사이즈를 추정하는 알고리즘을 구비해도 좋다. 또한 외부 카메라 등을 통해 사용자의 신체 사이즈를 스캐닝해도 좋다.
또한, 사용자의 신체 사이즈 외에도 야구 배트, 스틱, 브룸 등 게임에 사용되는 실제 오브젝트의 사이즈도 고려하여 사용자의 움직임이 예상되는 영역(301)을 계산하도록 구성될 수 있다.
또한, 게임 공간을 구성하기 위해서는 실제 경기에서 선수가 움직이는 영역에 대한 통계 데이터에 기초해 사용자의 움직임이 예상되는 영역(301)을 추정하도록 하여도 좋다.
도 9는 본 발명의 일 실시예에 따른 게임 공간 설정 절차를 도시한 순서도이다. 물리공간 스캐닝과 사용자 신체 사이즈 결정을 수행하는데, 이 두 단계는 순서가 반드시 선후 관계가 지켜져야 하는 것은 아니며, 병렬적으로 수행되어도 무방하다(S901, S902). 다음으로 통계 예측 모델이 실행되는데, 이는 실제 스포츠 선수들의 움직임에 관한 통계 데이터 및/또는 일반인으로부터 획득된 통계 데이터를 활용한 확률 예측 모델링 기법을 사용하여 수행될 수 있다. 만약 인공지능을 이용하여 학습을 수행한다면, 최초에 존재하던 통계 모델을 게임 수행 중에 사용자로부터 수집한 데이터를 학습하여 더욱 정교화할 수 있을 것이다. S903 단계 수행을 통해, 사용자 움직임이 예상되는 영역(301)에 대한 결정을 하고, 완충영역과 전체 게임 공간을 결정하게 된다 (S906).
물리공간 스캐닝은 다양한 방법에 의해 수행될 수 있다. 웨어러블 글라스에 내장된 카메라 또는 스캐너 등에 의해 단독으로 물리공간 스캐닝이 수행될 수 있다. 다른 방법으로, 외부 카메라 또는 외부의 스캐너가 수행한 결과를 웨어러블 글라스로 전송할 수도 있으며, 웨어러블 글라스의 카메라 및/또는 스캐너와 외부 카메라/스캐너로부터 획득된 정보를 통합하여 물리공간에 대한 스캐닝을 수행할 수도 있다.
본 발명에 따른 스포츠 게임 시뮬레이션 시스템에서는 시뮬레이션의 강도를 사용자가 조절할 수 있다. 예를 들어, 컬링에서 사용자가 스로어가 되는 경우 실제 오브젝트인 스톤의 무게를 달리할 수 있는데, 스톤의 무게에 따라 전체 시뮬레이션이 적응적으로 변화되도록 구성된다. 또 다른 예로, IMU 센서를 내장한 웨어러블 글라스만으로도 구현이 가능한 트랙 경기의 경우, 사용자가 달리는 동안 주변 트랙에서 함께 달리는 선수(AR 오브젝트)들은 우사인 볼트와 같은 실제 선수들과 동일한 움직임을 보일 수도 있고, 사용자의 수준에 맞는 능력을 발휘하는 가상의 선수들일 수도 있다. 이 경우, AR 오브젝트 선수들의 움직임은 실제 선수로부터 얻은 통계 데이터를 이용하여 다양한 수준으로 프로그래밍될 수 있다.
본 발명에 따른 게임 시뮬레이션 시스템은 실내 및 실외에서 다양한 종목의 스포츠에 적용될 수 있다. 마라톤에서 페이스 메이커 역할을 수행하는 AR 오브젝트 선수를 둘 수도 있고, 테니스, 야구, 축구, 골프 등 다양한 종목의 수행이 가능하다. 특히, 축구와 같은 경기에서는 사용자의 역할을 1명의 선수 이상으로 확장할 수가 있는데, 예컨대, 사용자가 코너킥을 한 직후에 역할을 변경하여 그 축구공을 받아서 슈팅으로 연결하는 것이 가능하다. 이 경우, 장면 전환이 반드시 이루어져야 하는데, 도 8과 같은 절차가 수행될 수 있다.
도 5에서는 사용자의 움직임에 따라 이미 설정된 게임 공간을 변경하는 절차를 나타낸다. 물리 공간 스캐닝 후, 게임 공간을 설정하고, 게임을 실행하면서 사용자의 움직임을 모니터링 하는데, 이는 사용자의 움직임이 예상 영역(301) 내에 국한되는지를 점검할 목적으로 수행된다. 만약, 사용자의 움직임이 특정 영역에서 벗어나거나 특정 방향으로 치우치는 경우, 게임 공간 (즉, 영역 301, 302, 303)을 재설정 할 필요가 있는지 판단하고, 게임 공간 재설정이 필요한 경우 재설정(S506)을 수행한다. 도 5에 도시된 단계 외에도 부가적으로 사용자의 안전에 문제가 될 수 있는 경우에는 사용자에게 경고를 하는 단계를 둘 수도 있다.
도 6에서는 게임 수행 중에 물리 공간에 변화가 생기는 경우, 예를 들어, 제3자 또는 장애물이 게임 공간 내로 진입하는 경우에 게임을 중단하거나 게임공간을 재설정하기 위한 절차를 도시한다. 도 6에 도시된 단계 외에도 부가적으로 사용자에게 경고를 하는 단계를 둘 수도 있다.
도 5 및 도 6에 도시된 절차를 수행함에 있어서, 상기 사용자에 대한 경고는 소정의 오디오 신호의 출력이나 비주얼 신호의 출력 혹은 바이브레이션과 같은 기계적 신호 출력, 또는 그들의 다양한 조합으로 구현될 수 있다.
도 7에서는 물리 공간에 관한 정보와 사용자 신체 사이즈에 관한 정보에 기초하여 현재 물리 공간 내에서 사용자가 수행할 수 있는 스포츠 게임 종목을 선택하여 사용자에게 제시하기 위한 절차를 도시하고 있다. 도 7과 같은 절차를 수행함으로써, 사용자는 현재 물리공간에서 자신이 수행 가능한 스포츠 종목을 한 눈에 확인할 수 있는 장점이 있다.
도 10a에서는 본 발명에 따른 증강현실 기반 스포츠 게임 시뮬레이션을 수행하기 위한 시스템의 일 실시예를 나타내고 있다.카메라와 서버(1001)는 UART방식으로 게이트웨이(1002)로 연결되고, 상기 게이트웨이(1002), 스톤(1004), 브룸은블루투스(BLE) 방식으로 홀로렌즈(1003)와 연결되어 관련 동작을 수행한다.즉, 홀로렌즈(1003)는 스톤(1004)과 브룸(1005)에 내장된 IMU 센서에서 획득된 움직임에 관한 정보를 블루투스 채널을 통해서 수신하고,카메라로부터 획득된 스톤(1004) 또는 브룸(1005)의 위치정보는 상기 카메라 및 서버를 통해 UART 채널로 수신한다.
이러한 구성은 도 10b에 도시된 바와 같이 일부 변형된 방식으로 구현될 수도 있다.여기서는 렌더링 처리에서 발생할 수 있는 지연을 최소화하기 위해, 게이트웨이(1002)가 UART, 블루투스, RF 채널을 독립적으로 사용하여 카메라/서버(1001), 홀로렌즈(1003), 스톤(1004)/브룸(1005) 등과 통신을 수행한다.여기서 RF체널은 게임 전용 무선통신 채널로서 ISM 대역인 RF424, 433, 868 MHz가 사용될수도 있으나, 이에 한정되는 것은 아니다.
또한, 도 10a 및 도 10b와 같은 구성에서 UART 방식은 일반적인 유/무선 통신 혹은 I2C, SPI 등의 보드간 통신 방식 등으로 대체될 수 있으며, 이외에도 다양한 통신 방식에 의해 구현될 수 있다. 도 10a와 도 10b에서 Hololens(1003)와스톤(1004), 브룸(1005), 게이트웨이(1002) 간의 통신 방식도 블루투스로 국한되지 않으며, WiFi 등 다양한 무선통신방식이 적용될 수 있다.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체 등이 포함될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (13)

  1. 증강현실을 통한 스포츠 경기 시뮬레이션 시스템에 있어서, 상기 시스템은
    실제 물리 공간에 가상 오브젝트를 겹쳐서 보이도록 하기 위한 디스플레이와 전원 공급을 위한 배터리를 구비하고 사용자의 머리 부위에 착용 가능한 웨어러블 글라스;
    상기 스포츠 경기가 진행되는 물리공간을 스캐닝하기 위한 카메라 센서; 및
    상기 스포츠 경기에 사용되는 실제 오브젝트를 포함하는 스포츠 경기 시뮬레이션 시스템.
  2. 제1항에 있어서,
    상기 웨어러블 글라스는 상기 카메라 센서로부터 수신된 상기 물리공간 상의 경기 진행에 관한 정보에 기초하여 가상 오브젝트를 디스플레이 하는 것을 특징으로 하는 스포츠 경기 시뮬레이션 시스템.
  3. 제1항에 있어서,
    상기 실제 오브젝트는 공, 스톤, 라켓, 배트, 스틱, 브룸, 장갑 중 적어도 어느 하나인 것을 특징으로 하는 스포츠 경기 시뮬레이션 시스템.
  4. 제1항에 있어서,
    상기 실제 오브젝트는 관성 측정 센서를 구비하는 것을 특징으로 하는 스포츠 경기 시뮬레이션 시스템.
  5. 제1항에 있어서,
    상기 웨어러블 글라스는 상기 스포츠가 진행되는 전체 게임 공간 중 상기 사용자의 물리적 이동이 예상되는 공간이 상기 실제 물리공간 이내로 제한되도록 상기 전체 게임 공간을 생성하는 것을 특징으로 하는 스포츠 경기 시뮬레이션 시스템.
  6. 제1항에 있어서,
    상기 웨어러블 글라스는 상기 스포츠가 진행되는 전체 게임 공간 중 상기 사용자의 물리적 이동이 예상되는 공간이 불연속적으로 변화하도록 상기 전체 게임 공간을 운영하는 것을 특징으로 하는 스포츠 경기 시뮬레이션 시스템.
  7. 증강현실 모드를 지원하는 웨어러블 글라스를 통한 스포츠 게임 시뮬레이션 방법에 있어서, 상기 방법은
    실제 물리 공간에 관한 정보를 수신하는 단계;
    상기 실제 물리 공간에 관한 정보에 기초하여 전체 게임 공간을 생성하는 단계;
    상기 전체 게임 공간 상에 가상 오브젝트가 겹쳐서 보이도록 디스플레이 하는 단계;
    사용자의 움직임에 관한 정보를 수신하는 단계; 및
    상기 사용자의 움직임에 관한 정보에 기초하여 상기 전체 게임 공간 내에서 상기 가상 오브젝트의 위치 정보를 업데이트하는 단계를 포함하는 스포츠 게임 시뮬레이션 방법.
  8. 제7항에 있어서,
    상기 전체 게임 공간은 상기 실제 물리 공간과 같거나 더 크게 생성되는 것을 특징으로 하는 게임 스포츠 게임 시뮬레이션 방법.
  9. 제7항에 있어서,
    상기 전체 게임 공간은 실제 물리 공간과 순수 가상 공간으로 구성되도록 생성되는 것을 특징으로 하는 스포츠 게임 시뮬레이션 방법.
  10. 제7항에 있어서,
    상기 전체 게임 공간은 외부 입력에 의해 실제 물리 공간 내에 포함되도록 생성되는 것을 특징으로 하는 스포츠 게임 시뮬레이션 방법.
  11. 제7항에 있어서,
    상기 전체 게임 공간은 상기 사용자의 물리적 이동이 발생할 것으로 예상되는 공간과 상기 사용자의 물리적 이동이 발생하지 않을 것으로 예상되는 공간으로 구성되도록 생성되는 것을 특징으로 하는 스포츠 게임 시뮬레이션 방법.
  12. 제7항에 있어서,
    상기 전체 게임 공간 생성 단계는 게임 내에서의 사용자의 역할, 사용자의 신체 상태, 또는 사용자의 선택 중 적어도 어느 하나에 따라 적응적으로 상기 게임 공간을 구성하는 것을 특징으로 하는 스포츠 경기 시뮬레이션 방법.
  13. 제7항에 있어서,
    상기 스포츠가 진행되는 전체 게임 공간 중 상기 사용자의 물리적 이동이 예상되는 공간이 불연속적으로 변화하도록 상기 전체 게임 공간을 운영하는 것을 특징으로 하는 스포츠 경기 시뮬레이션 방법.
PCT/KR2018/001199 2017-01-26 2018-01-26 증강현실 기반 스포츠 게임 시뮬레이션 시스템 및 그 방법 WO2018139906A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/480,866 US20200086219A1 (en) 2017-01-26 2018-01-26 Augmented reality-based sports game simulation system and method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0013004 2017-01-26
KR20170013004 2017-01-26

Publications (1)

Publication Number Publication Date
WO2018139906A1 true WO2018139906A1 (ko) 2018-08-02

Family

ID=62979573

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/001199 WO2018139906A1 (ko) 2017-01-26 2018-01-26 증강현실 기반 스포츠 게임 시뮬레이션 시스템 및 그 방법

Country Status (3)

Country Link
US (1) US20200086219A1 (ko)
KR (1) KR20180088319A (ko)
WO (1) WO2018139906A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021102566A1 (en) * 2019-11-25 2021-06-03 Eidos Interactive Corp. Systems and methods for improved player interaction using augmented reality

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109260673A (zh) * 2018-11-27 2019-01-25 北京羽扇智信息科技有限公司 一种运动计数方法、装置、设备及存储介质
KR102132388B1 (ko) 2018-12-24 2020-07-09 서강대학교 산학협력단 혼합 현실 서비스를 위한 가상 물체에 대한 이미지 처리방법 및 그에 따른 시스템
KR102312015B1 (ko) 2020-03-03 2021-10-14 주식회사 코아소프트 증강현실을 이용한 원격지원 장치
KR102495213B1 (ko) 2020-11-05 2023-02-07 한국전자통신연구원 증강 현실 기반의 스크린 스포츠 체험 장치 및 방법
IT202100008852A1 (it) * 2021-04-09 2021-07-09 Daniele Baldacci Procedimento per la realizzazione di un'interfaccia interattiva naturale progettata per creare una relazione fra un utente e un personaggio virtuale
CN113992974B (zh) * 2021-10-14 2023-12-08 咪咕视讯科技有限公司 模拟参赛的方法、装置、计算设备及计算机可读存储介质
EP4371081A1 (en) * 2022-10-04 2024-05-22 Samsung Electronics Co., Ltd. Methods and electronic device for generating xr environment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130098770A (ko) * 2012-02-28 2013-09-05 한국전자통신연구원 입체감 확장형 가상 스포츠 체험 시스템
US20150070388A1 (en) * 2013-09-09 2015-03-12 Empire Technology Development, Llc Augmented reality alteration detector
KR20150071611A (ko) * 2013-12-18 2015-06-26 마이크로소프트 코포레이션 합성 현실 경기장
KR101599303B1 (ko) * 2015-03-16 2016-03-03 (주)코아텍 가상 현실 기반의 야구 게임 시스템 및 그것을 이용한 게임 진행 방법
KR20160026310A (ko) * 2014-08-29 2016-03-09 넥시스 주식회사 글라스형 웨어러블 디바이스를 이용한 컬링코칭 시스템 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101691577B1 (ko) 2015-11-18 2017-01-05 김정우 골프 시뮬레이션 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130098770A (ko) * 2012-02-28 2013-09-05 한국전자통신연구원 입체감 확장형 가상 스포츠 체험 시스템
US20150070388A1 (en) * 2013-09-09 2015-03-12 Empire Technology Development, Llc Augmented reality alteration detector
KR20150071611A (ko) * 2013-12-18 2015-06-26 마이크로소프트 코포레이션 합성 현실 경기장
KR20160026310A (ko) * 2014-08-29 2016-03-09 넥시스 주식회사 글라스형 웨어러블 디바이스를 이용한 컬링코칭 시스템 및 방법
KR101599303B1 (ko) * 2015-03-16 2016-03-03 (주)코아텍 가상 현실 기반의 야구 게임 시스템 및 그것을 이용한 게임 진행 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021102566A1 (en) * 2019-11-25 2021-06-03 Eidos Interactive Corp. Systems and methods for improved player interaction using augmented reality

Also Published As

Publication number Publication date
KR20180088319A (ko) 2018-08-03
US20200086219A1 (en) 2020-03-19

Similar Documents

Publication Publication Date Title
WO2018139906A1 (ko) 증강현실 기반 스포츠 게임 시뮬레이션 시스템 및 그 방법
US20230302359A1 (en) Reconfiguring reality using a reality overlay device
US20240091633A1 (en) Location-based games and augmented reality systems
WO2016021997A1 (ko) 가상 공간에의 몰입감과 실제 공간에서의 이동을 양립할 수 있는 가상 현실 시스템 및 이를 이용한 전투 훈련 시스템
JP5738569B2 (ja) 画像処理プログラム、装置、システムおよび方法
US20120075501A1 (en) Storage medium having stored information processing program therein, information processing apparatus, information processing method, and information processing system
JP6761340B2 (ja) シミュレーションシステム及びプログラム
US20120094773A1 (en) Storage medium having stored thereon game program, image processing apparatus, image processing system, and image processing method
CN106664401A (zh) 用于在与内容交互时向用户提供反馈的系统和方法
GB2376397A (en) Virtual or augmented reality
KR20130121923A (ko) 실제 상황으로부터의 시뮬레이션의 시작
JP2000033184A (ja) 全身動作入力型のゲ―ム及びイベント装置
JP2019139424A (ja) シミュレーションシステム及びプログラム
JP6541077B2 (ja) ゲーム機
CN105771221A (zh) 足球模拟系统
US9383814B1 (en) Plug and play wireless video game
JP6561339B2 (ja) ゲームシステム、及びそれに用いられるコンピュータプログラム
Dabnichki Computers in sport
WO2019130652A1 (ja) ゲーム機、ゲームシステム及びコンピュータプログラム
KR101692267B1 (ko) Hmd 유저와 복수의 일반인들 간에 상호작용이 가능한 가상현실 컨텐츠 시스템 및 그 제어방법
JP5816435B2 (ja) 表示制御プログラム、表示制御装置、表示制御システム、表示制御方法
Katz et al. Virtual reality
KR102043559B1 (ko) 모바일 기기를 이용한 가상 골프 플레이 시스템
CN112245910B (zh) 一种基于Quest头显的建模、极限运动方法和系统
JP3912658B2 (ja) 画像処理装置、画像処理方法及びこれを用いたゲーム装置並びに記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18744376

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC, EPO FORM 1205A DATED 04.11.19

122 Ep: pct application non-entry in european phase

Ref document number: 18744376

Country of ref document: EP

Kind code of ref document: A1