WO2017141300A1 - 運動支援システム、および、運動支援方法 - Google Patents

運動支援システム、および、運動支援方法 Download PDF

Info

Publication number
WO2017141300A1
WO2017141300A1 PCT/JP2016/054212 JP2016054212W WO2017141300A1 WO 2017141300 A1 WO2017141300 A1 WO 2017141300A1 JP 2016054212 W JP2016054212 W JP 2016054212W WO 2017141300 A1 WO2017141300 A1 WO 2017141300A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
user
exercise
exercise support
tool
Prior art date
Application number
PCT/JP2016/054212
Other languages
English (en)
French (fr)
Inventor
清柱 段
孝志 松原
塩川　淳司
甲　展明
Original Assignee
日立マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立マクセル株式会社 filed Critical 日立マクセル株式会社
Priority to KR1020187023098A priority Critical patent/KR102066806B1/ko
Priority to JP2017567570A priority patent/JP6484731B2/ja
Priority to PCT/JP2016/054212 priority patent/WO2017141300A1/ja
Publication of WO2017141300A1 publication Critical patent/WO2017141300A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/36—Training appliances or apparatus for special sports for golf
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0075—Means for generating exercise programs or schemes, e.g. computerized virtual trainer, e.g. using expert databases
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0087—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B2071/0694—Visual indication, e.g. Indicia
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2102/00—Application of clubs, bats, rackets or the like to the sporting activity ; particular sports involving the use of balls and clubs, bats, rackets, or the like
    • A63B2102/32—Golf
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras

Definitions

  • the present invention relates to an exercise support system and an exercise support method, and more particularly to an exercise support system and an exercise support method for efficiently supporting the improvement of play using equipment such as golf.
  • Patent Document 1 For example, regarding a golf swing, there is a “golf practice device” of Patent Document 1 as an apparatus that provides information on a user's swing.
  • a “golf practice device” of Patent Document 1 “when the practitioner 92 swings while looking at the image of the practitioner 92 displayed on the liquid crystal display panel, the face of the practitioner 92 is directed obliquely. The swing is substantially the same as the swing that actually hits the golf ball 88, so that the quality of the swing can be determined from the image of the trainee 92 performing the swing "(pages 19 and 20).
  • the golf practice apparatus described in Patent Document 1 has a liquid crystal display panel 56 placed in front of the user as shown in FIG. 7 or in front of the tee as shown in FIG.
  • the swing posture is displayed.
  • the liquid crystal display panel 56 is displayed in a predetermined narrow area, if the user is watching while playing, the line of sight becomes worse and there is a possibility that the user cannot concentrate on the play. Furthermore, when the display device is close, there is a problem that it becomes an obstacle to play.
  • the present invention has been made to solve the above-described problems, and an object of the present invention is to provide an exercise support information to the user in an efficient and unobtrusive manner so as to improve the user's skill. To provide a support system.
  • the configuration of the exercise support system of the present invention is an exercise support system that supports an exercise performed by a user using a tool, and an imaging unit that captures an image of a situation related to the user's exercise;
  • An image projecting unit that projects an image on the tool or the user, or an image generating unit that generates an image including an exercise support display that supports the user's exercise, and a control unit. It is intended to provide.
  • a control part detects the position of the tool in the image
  • control unit detects the position of the user in the image captured by the imaging unit, and the position of the exercise support display in the image generated by the image generation unit according to the detection result of the user position. To change.
  • the image projection unit displays the user's video captured by the imaging unit at a position that does not overlap with the tool or the user.
  • the exercise performed by the user using the tool is an exercise related to golf competition
  • the control unit is configured to display the position, height, and golf of the user in the image captured by the imaging unit.
  • the position of the exercise support display in the image generated by the image generation unit is changed according to the ball of the equipment, the type and position of the golf club.
  • the exercise support display generated by the control unit is a mark projected onto the ball.
  • the exercise support display generated by the control unit is a display related to the place or orientation where the user should stand.
  • the lower limit and the upper limit data of the height difference when impacting are held for each type of ball and golf club, and the control unit captures an image captured by the imaging unit.
  • the control unit captures an image captured by the imaging unit.
  • the projection unit projects an image including information on the signal of the swing when the height difference between the ball and the golf club is between the lower limit and the upper limit of the height difference when impacting. is there.
  • an exercise support system that presents exercise support information to the user in an efficient and unobtrusive manner and improves the skill of the user.
  • the exercise support system described below may be applied to an indoor golf simulator system, but may also be applied to a golf driving range, or may be applied to an actual golf course tee.
  • Embodiment 1 A first embodiment according to the present invention will be described below with reference to FIGS.
  • the exercise support system is a system that supports the user's exercise using information processing technology, and has a function of presenting a mark on the ball in order to improve the exercise technology for golf players.
  • the exercise support system of this embodiment places a mark on the ball, places the ball so that the mark can be displayed in an appropriate place, and consciously watches the mark when swinging, thereby It is designed to prevent detachment.
  • FIG. 1 is a diagram showing a use scene of an exercise support system for golf practice support according to the first embodiment of the present invention.
  • FIG. 2 is a block diagram showing a system configuration according to the first embodiment of the present invention.
  • FIG. 1A is a plan view
  • FIG. 1B is a top view.
  • the exercise support system 1 includes an imaging device 5 and a projection device 7 and is installed on a golf ground 8.
  • the imaging device 5 is installed at a place where images of the golf player 2, the ball 9, and the golf club 10 can be captured.
  • the projection device (projector) 7 can project an image including support information for exercise support in the image projection area 12 of the ground 8. Details of support information for exercise support will be described later.
  • the exercise support system 1 acquires the coordinates of a specific target from the image acquired by the imaging device 5.
  • the origin 3 of the coordinate system is set at the center of the lower side of the projection device 7 and a point above the golf ground 8.
  • the exercise support system 1 includes an imaging unit 20, a control unit 24, an image generation unit 21, an image projection unit 22, a memory 25, and a storage 27, as shown in FIG. Each block of the exercise support system 1 is connected via a bus 23.
  • the imaging unit 20 images the golf player 2, the ball 9, and the golf club 10 and acquires them as digital video information in real time.
  • the image generation unit 21 generates a projection image for displaying the instructed content in the image projection area 12. Note that what kind of image is generated will be described in detail later.
  • the image projection unit 22 is a device corresponding to a device such as an ultra-short focus projector, and can project an image within a predetermined range at a very short distance. As will be described later, the image projection unit 22 according to the present embodiment projects an image on a part of the golf player 2 or the equipment (the golf club 10 or the ball 9) or the golf ground 8 around them, and presents support information to the user. Is possible.
  • the control unit 24 controls each unit of the exercise support system and executes various functions by referring to and executing programs and data loaded from the storage 27 to the memory 25.
  • the control unit 24 reads the image of the imaging unit 20 into the memory 25 via the bus 23, detects each attribute of the golf player 2, the ball 9, and the golf club 10, determines information to be presented, and generates an image.
  • a function of presenting support information to the golf player 2 is realized by generating an image using the unit 21 and projecting a predetermined image by the image projection unit 22.
  • the memory 25 is a main memory composed of a semiconductor storage device, and an application program stored in the storage 27 is loaded, and the control unit 24 executes it as an instruction word. Further, work data such as intermediate data during operation is temporarily stored in the memory 25, and the control unit 24 refers to it.
  • the storage 27 is a relatively large-capacity storage device such as an HDD (Hard Disk Drive) or an SSD (Solid State Drive), and stores an application program 29 and setting data 28.
  • the control unit 24 loads the application program 29 from the storage 27 to the memory 25, and the control unit 24 can implement various functions by executing the loaded application program. Setting information when this application program is executed is stored as setting data 28 and can be read and referred to by the control unit 24.
  • the setting data 28 includes image feature amount data 42 and support display setting data 43.
  • the image feature amount data 42 is data representing the feature amount of each target (golf player, ball, golf club, etc.) to be recognized.
  • the support display setting data 43 is data that stores a correspondence relationship of support contents to be presented according to the attributes of the golf player 2, the ball 9, and the golf club 10. Some items of the support display setting data 43 are items set in advance. The other part is an item to be calculated based on each detection result calculated from the image feature data 42.
  • the control unit 24 presents the exercise support information to the golf player 2 while referring to the support display setting data 43.
  • the support display setting data 43 may be changeable while the exercise support system is in operation.
  • Application programs 29 include an image recognition program 44 and an exercise state recognition program 45.
  • the image recognition program 44 calculates the feature amount of the image using a technique such as pattern extraction, and uses the learned image feature amount data 42 to indicate the golf player 2, the ball 9, and the golf club 10 in the image.
  • This is a program for recognizing attributes such as presence / absence, type, type, coordinates, etc., and the controller 24 executes this to perform image recognition.
  • the motion state recognition program 45 is a program for recognizing the state of an ongoing motion of the golf player 2 using the attributes of the golf player 2, the ball 9, and the golf club 10 recognized by the image recognition program 44. By executing this, the golf player 2 recognizes the state of the ongoing operation.
  • control unit 24 executes the image recognition program 44 and performs image recognition
  • the “image recognition unit” of the exercise support system executes
  • the control unit 24 When executing the exercise state recognition program 45 and recognizing the state of the motion that the golf player 2 is in progress, the “exercise state recognition unit” is described to be executed.
  • the part that performs the image recognition function and the exercise state recognition function may be realized by dedicated hardware.
  • FIG. 3 is a diagram illustrating an example of human detection result data.
  • FIG. 4 is a diagram illustrating an example of tool detection result data.
  • FIG. 5A is a diagram showing an example of support display setting data according to the first embodiment of the present invention.
  • FIG. 5B is a diagram showing another example of support display setting data according to the first embodiment of the present invention.
  • FIG. 6 is a diagram for explaining measurement for a person (user).
  • FIG. 7 is a diagram for explaining measurement for a tool (ball, golf club).
  • the human detection result data 50 is data obtained as a result of image recognition sent from the image recognition unit to the control unit 24 with respect to imaging data acquired for a person (user). As shown in FIG. It consists of each data of presence flag 50a, coordinates 50b, and height 50c.
  • the presence / absence flag 50a is a flag indicating whether or not there is a person in the captured range as a result of image recognition.
  • the coordinate 50b is a human coordinate on the coordinate system. As for the coordinates of the person, a point on the golf ground 8 at the midpoint of the person's foot is set with reference to the person coordinate point 500 (FIG. 6A).
  • the height 50c is the height 1 (FIG. 6B) of the user who has been imaged.
  • the height l of the imaged user is the maximum height l max (FIG. 6B) when the user attempts to measure with the height meter
  • l ⁇ l max is established. That is, the user's height l is the height measured from the actually captured image.
  • the tool detection result data 60 is data of the result of image recognition that the image recognition unit sends to the control unit 24 with respect to the imaging data acquired for the ball 9 and the golf club 10 that are the tools used by the golf player 2. Yes, as shown in FIG. 4, it is composed of data of tool contents 60a and tool coordinates 60b.
  • the tool content 60a stores the type of the tool (ball or golf club) and its type.
  • the tool type is a ball classification form for identifying and distinguishing by shape, size, dimple information (small depression on the surface), product name, etc.
  • the golf clubs are classified according to the number of drivers, irons, wedges, etc., the number (identified by loft angle or lie angle), and the product name.
  • the image recognition of the tool type may be made by determining the type by analyzing the shape, or by attaching a special mark to the ball 9 or the golf club 10 and recognizing the image to recognize the product name. You may make it determine.
  • the tool coordinates 60b stores the coordinates of the tool.
  • the coordinates of the ball 9 are determined, for example, as the ball coordinate point 600 (FIG. 7A) where the x coordinate in FIG.
  • the center point of the face 610 of the head of the golf club 10 is defined as a golf club coordinate point 601 (FIG. 7B).
  • the support display setting data 70 is data used by the control unit 24 to determine support information to be projected on the play place based on the person detection result data 50 and the tool detection result data 60.
  • the height 70a, the ball type 70b, golf A club type 70c, a support information type 70d, and a support information attribute 70e are stored.
  • the height 70a is the height of the recognized user (golf player 2).
  • the ball type 70b is a type of the ball 2 stored in the tool content 60a.
  • the golf club type 70c is a type of the golf club 10 stored in the tool content 60a.
  • the support information type 70d is a type of support information to be projected.
  • the support information attribute 70e is an attribute according to the type of support information. In the example shown in FIG. 5A, when the height of the golf player 2 is 165 cm, the type of the ball 2 is A, and the type of the golf club 10 is I, the type of support information to be presented is a marker presentation (mark on the ball surface). And the coordinates of the place where the mark is presented are (80, 2, 4). As shown in FIG.
  • the display coordinates of the mark display are calculated based on the tool coordinate 60b of the ball in the tool detection result data 60 of FIG.
  • the tool coordinates 60b of the ball itself may be displayed as a mark, or coordinates corrected based on other items of the support display setting data 70 may be used.
  • the mark display can be correctly displayed on the ball even when the position of the ball is changed.
  • an arrow display displayed on the golf ground around the ball may be used as the type of support information.
  • the direction (angle, etc.) of the arrow is also required as the support information attribute 70e.
  • the direction of the arrow is an angle of 0 degrees.
  • the angle information stored in the support information attribute 70e may be changed.
  • the presentation coordinates of the arrow display are calculated based on the tool coordinate 60b of the ball in the tool detection result data 60 of FIG.
  • the arrow display can be displayed at a predetermined relative position with respect to the ball even when the position of the ball changes. Can do.
  • a predetermined value offset for example, x + 0, y-5, etc.
  • FIG. 8 is an operation sequence diagram of the exercise support system for golf practice support according to the first embodiment of the present invention.
  • FIG. 9 is a flowchart showing details of the support information determination process according to the first embodiment of the present invention.
  • FIG. 10A is an image diagram when the user plays in the exercise support system for golf practice support according to the first embodiment of the present invention.
  • FIG. 10B is another example of an image diagram when the user plays in the exercise support system for golf practice support according to the first embodiment of the present invention.
  • the imaging unit 20 captures an image of a range including the golf player 2, the ball 9, and the golf club 10 (S 001), and the image data is input to the image recognition unit 40. Transmit (S002).
  • the image recognition unit 40 performs human detection (S003), checks the presence or absence of the golf player 2, and when the golf player 2 participates, attributes such as height and current coordinates are used as the human detection result data shown in FIG. It transmits to the control part 24 (S004).
  • the control unit 24 performs support information presentation processing (S100).
  • the control unit 24 requests the image recognition unit 40 to detect a tool (S005).
  • the image recognition unit 40 refers to the image feature amount data 42 stored in the storage 27, recognizes the image, detects information on the tool, and transmits it to the control unit 24 shown in FIG. 4 (S007).
  • the control unit 24 uses the person detection result data 50 and the tool detection result data 60 to calculate some items of the support information attribute such as the coordinates of the support display setting data 70 illustrated in FIG. Is determined as support information for projecting (S008).
  • the support information determination process will be described in detail later using the flowchart of FIG.
  • the control unit 24 requests the image generation unit 21 to generate an image of the support information to be projected (S009).
  • the image generation unit 21 generates an image of support information and returns it to the control unit 24 (S010).
  • the control unit 24 requests the image projection unit 22 to display an image of support information (S011).
  • the image projection unit 22 projects an image of support information onto the image projection area 12 so that the golf player 2 can play by watching the support information.
  • the human detection result data 50 and the tool detection result data 60 are read as input data (S200). Then, it is checked whether or not there is a ball 9 (S201), and whether or not there is a golf club 10 is checked (S202).
  • FIGS. 10A (a) and 10B (a) are plan views
  • FIGS. 10A (b) and 10B (b) are top views.
  • the projection device 7 projects the mark 81 at a specific position of the ball 9.
  • the projection device 7 projects an arrow 82 at a specific position around the ball 9.
  • the golf player 2 can use the support information display displayed at a position suitable for the height, the position of the ball 9, or the golf club 10 without specific operation.
  • FIG. 11 is a diagram showing an example of support display setting data according to the second embodiment of the present invention.
  • FIG. 12 is an image diagram when the user plays in the exercise support system for golf practice support according to the second embodiment of the present invention.
  • FIG. 13 is a diagram illustrating the angle of the user's direction.
  • This embodiment is almost the same as the first embodiment in terms of system configuration and operation sequence, but the type of support information is different.
  • the support information determination data 70 used for determining the support information for projection in S008 of FIG. 8 stores “standing position” as the support information type 70d. As 70e, “coordinates: (119, 2, 0), direction: 10 degrees” is stored.
  • the support information type 70d being “standing position” indicates that the standing position during the play of the user (golf player 2) is projected as an image of the support information.
  • the support information attribute 70e indicates the optimum coordinates and the optimum direction of the user during the play, and this is projected as an image of the support information.
  • the coordinates of the place where the golf player 2 should stand are (119, 2, 0) and the direction
  • the image of the attribute of the standing position support information of 10 degrees is projected.
  • FIG. 12A shows a plan view
  • FIG. 12B shows a top view
  • the projection device 7 is a place where the golf player 2 should stand in the image projection region 12.
  • the foot mold 102 is displayed on the screen, and a reference line 101 connecting the toes of the foot mold 102 in the parallel direction of the body in the optimal orientation is presented.
  • the foot shape may be output in a predetermined size, or the size may be calculated from the height of the user.
  • the direction of the golf player may be, for example, that the direction formed by the perpendicular line 102 of the reference line 101 and the x axis is ⁇ .
  • FIG. 14 is a diagram showing an example of support display setting data according to the third embodiment of the present invention.
  • FIG. 15 is a flowchart showing details of the support information determination process according to the third embodiment of the present invention.
  • FIG. 16 is a diagram illustrating the positional relationship between the ball and the golf club.
  • FIG. 17 is an image diagram when the user plays in the exercise support system for golf practice support according to the third embodiment of the present invention.
  • the golf club 10 is prompted to swing.
  • the support display setting data 110 of the present embodiment is data indicating the relationship between the ball type, the golf club type, and the height at impact.
  • the ball type 110a and the club type. 110b, the height difference upper limit diff max 110c, and the height difference lower limit diff min 110d are stored.
  • the upper limit diff max -1 cm for the height difference
  • the lower diff min -for the height difference. It shows that it is 5 cm.
  • the height difference ⁇ h is expressed by the following (formula 1) when the height of the ball 6 is z ball and the height of the golf club 10 is z head .
  • ⁇ h z head ⁇ z ball (Formula 1)
  • the support information determination process according to this embodiment replaces the support information determination process in S008 of FIG. 8 of the first embodiment.
  • the tool detection result data 60 shown in FIG. 4 is read as input information (S300), and the support display setting data 110 shown in FIG. Therefore, when impacting, an appropriate upper limit diff max for the height difference in the z direction and a lower limit diff min for the height difference are determined (S301).
  • the distance ⁇ h between the current head 121 of the golf club 10 and the ball 6 in the z direction is calculated from the tool coordinates 60b of the tool detection result data 60 shown in FIG.
  • the value of ⁇ h is larger than the lower limit diff min of the height difference (S303: Yes)
  • the value of ⁇ h is compared with the lower limit diff min of the height difference (S304), and the value of ⁇ h is the difference in height.
  • FIG. 17A shows a plan view
  • FIG. 17B shows a top view
  • the exercise support system 6 captures the image with the imaging device 5. Then, the image data is recognized and the height difference 122 between the ball 9 and the head of the golf club 10 is automatically calculated. When the height difference is within an appropriate range, the projection device 7 A swingable cue projection 120 (eg, a green ray) is made around
  • the golf player 2 teaches whether or not the current relationship between the ball 6 and the golf club 10 is swingable from the exercise support system before the swing, so that the user can naturally It is possible to acquire a sense of the height of the head when making an impact.
  • the image generation unit 21 cuts out the area where the golf player 2 is imaged from the image acquired from the imaging device 3, generates a projection image, and provides support information A projection image is formed by superimposing the support information image generated in the generation step (S010 in FIG. 8). Then, the image projection unit 22 projects the projection image onto the image projection area 12.
  • the controller 24 generates an image of the golf player 2 in the image generator 21, based on the position of the ball 9, the position of the golf player 2, and the position of the golf club 10, The area where the user can visually recognize the image without being obstructed by the golf player 2 or the tool is calculated.
  • the control unit 24 makes the golf player 2's own video projection area an area in the empty area of the image projection area 12 that has the same direction as the direction of the golf player 2 and little deviation from the estimated line of sight of the golf player 2. To calculate.
  • FIG. 18 is an image diagram when the user plays in the exercise support system for golf practice support according to the fourth embodiment of the present invention.
  • the mark 81 is presented on the ball 9 and at the same time, as shown in FIG. Or the golf player's 2 image 130 is projected onto the golf ground 8 in a region that does not overlap with the golf club 10.
  • the golf player 2 can confirm various support information, and at the same time, can easily confirm his / her posture. Moreover, compared with the display method in the known exercise support, the golf player 2 has an effect that the posture of the golf player 2 can be avoided from collapsing in order to confirm the posture of the golf player 2. Furthermore, there is an effect that the presentation location can be automatically adjusted according to the orientation of the own video that cannot be achieved by the conventional fixed display.
  • FIG. 19 is a block diagram showing a system configuration according to the fifth embodiment of the present invention.
  • the imaging device used by the exercise support system 6 as in the first embodiment is not incorporated in the system but exists as an independent imaging system 140.
  • the imaging system 140 includes an imaging unit 20, a control unit 141, a communication / F 143, a memory 144, and a storage 145, and these are coupled by a bus 142.
  • the exercise support system 1 ′ and the imaging system 140 have a communication I / F 146 and a communication I / F 143.
  • the communication I / F 146 and the communication I / F 143 can transmit and receive data via a communication path 147 configured by a network or a line.
  • the exercise support system 1 ′ uses the communication I / F 146 to receive an image of the imaging system 140 and present information to the golf player 2. Further, the exercise support system 1 may be able to control the resolution, orientation, and the like of the imaging system using the communication I / F 146 as necessary. Under such a system configuration, it is possible to reduce the manufacturing cost of the exercise support system 1 ′ by directly using a product distributed in the market as the imaging system 140.
  • the exercise support system of the present invention has been described with a focus on the embodiment for the purpose of improving exercise skills for golf players.
  • the present invention is not limited to the exercise support system golf, but can also be applied to athletic skills related to athletics performed by other people using equipment, such as baseball, soccer, table tennis, and the like.

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

運動支援システムは、撮像部と、画像投射部と、画像生成部と、制御部とを備える。そして、制御部は、撮像部が撮像した映像中の用具の位置、ユーザの位置を検出し、その位置の検出結果に応じて、生成する画像内での運動支援表示の位置を変更する。そして、画像投射部が、用具もしくはユーザに重畳した状態、または、それらの近傍に画像を投射する。より詳しくは、ゴルフ競技に関する運動であり、制御部は、撮像部が撮像した映像の中のユーザの位置、身長、ゴルフの用具のボール、ゴルフクラブのタイプ、位置に応じて、画像生成部が生成する画像内での運動支援表示の位置を変更する。これにより、効率かつユーザのプレーにじゃまにならない方法で、ユーザに運動支援の情報を提示し、ユーザのスキルアップを図ることができる。

Description

運動支援システム、および、運動支援方法
　本発明は、運動支援システム、および、運動支援方法に係り、ゴルフなどの用具を用いるプレーの上達を効率的に支援する運動支援システム、および、運動支援方法に関する。
　近年、情報処理技術を用いて、ユーザの動きと連動し、また、ユーザのプレーしている画像を撮像し、ユーザのプレーを支援するシステムが開発されている。
　例えば、ゴルフのスイングに関して、ユーザのスイングに対しての情報を提供する装置としては、特許文献１の「ゴルフ練習装置」がある。この特許文献１では、「練習者９２が液晶表示パネルに表示されている練習者９２の画像を見ながらスイングするとき、練習者９２の顔は斜め方向に向けられていることにより、練習者９２のスイングは実際にゴルフボール８８を打つスイングにほぼ同じになるから、スイングをする練習者９２の画像からスイングの良否を判定することができる」（１９頁、２０頁）と記載されている。
特開平４－２０８１７３号公報
　上記特許文献１に記載のゴルフ練習装置は、第７図に示されるようにユーザの斜め手前か、第１１図に示されるようにティーの手前側に液晶表示パネル５６を置き、それにユーザ自身のスイング姿勢を表示するものである。しかしながら、液晶表示パネル５６は、決められた狭いエリアに表示されるため、ユーザがプレー中に見ていると、目線が悪くなり、プレーに集中できないとおそれがある。さらに、表示装置の場所が近いと、プレーのじゃまになる問題点がある。
　本発明は、上記問題点を解決するためになされたもので、その目的は、効率かつユーザのプレーにじゃまにならない方法で、ユーザに運動支援の情報を提示し、ユーザのスキルアップを図る運動支援システムを提供することにある。
　上記問題点を解決するために、本発明の運動支援システムの構成は、ユーザが用具を用いておこなう運動を支援する運動支援システムであって、ユーザの運動に関する状況の映像を撮像する撮像部と、用具もしくはユーザに重畳した状態、または、用具もしくはユーザの近傍に画像を投射する画像投射部と、ユーザの運動を支援する運動支援表示を含む画像を生成する画像生成部と、制御部とを備えるようにしたものである。そして、制御部は、撮像部が撮像した映像中の用具の位置を検出し、用具の位置の検出結果に応じて、画像生成部が、生成する画像内での運動支援表示の位置を変更する。
　また、好ましくは、制御部は、撮像部が撮像した映像中のユーザの位置を検出し、ユーザの位置の検出結果に応じて、画像生成部が、生成する画像内での運動支援表示の位置を変更する。
　また、好ましくは、画像投射部は、撮像部で撮像したユーザの映像を、用具またはユーザと重畳しない位置に表示するようにしたものである。
　さらに、詳細な構成は、上記運動支援システムにおいて、ユーザが用具を用いておこなう運動は、ゴルフ競技に関する運動であり、制御部は、撮像部が撮像した映像の中のユーザの位置、身長、ゴルフの用具のボール、ゴルフクラブのタイプ、位置に応じて、画像生成部が生成する画像内での運動支援表示の位置を変更するようにしたものである。
　また、詳しくは、制御部が生成する運動支援表示は、ボールに投射する目印であるようにしたものである。
　また、詳しくは、制御部が生成する運動支援表示は、ユーザが立つべき場所または向きに関する表示であるようにしたものである。
　また、別の構成は、上記運動支援システムにおいて、ボール、ゴルフクラブのタイプごとに、インパクトする際の高さの差の下限、上限のデータを保持し、制御部は、撮像部が撮像した映像により、ボール、ゴルフクラブの高さの差を算出し、ボール、ゴルフクラブの高さの差が、インパクトする際の高さの差の下限から上限の間にあるか否かを判定し、画像投射部は、ボール、ゴルフクラブの高さの差が、インパクトする際の高さの差の下限から上限の間にあるときに、スイングの合図の情報を含む画像を投射するようにしたものである。
　本発明によれば、効率かつユーザのプレーにじゃまにならない方法で、ユーザに運動支援の情報を提示し、ユーザのスキルアップを図る運動支援システムを提供することができる。
本発明の第一の実施形態に係るゴルフ練習支援向けの運動支援システムの利用シーンを示す図である。 本発明の第一の実施形態に係るシステム構成を示すブロック図である。 人検知結果データの一例を示す図である。 用具検知結果データの一例を示す図である。 本発明の第一の実施形態に係る支援表示設定データの一例を示す図である。 本発明の第一の実施形態に係る支援表示設定データの別の例を示す図である。 人（ユーザ）に対する計測を説明する図である。 用具（ボール、ゴルフクラブ）に対する計測を説明する図である。 本発明の第一の実施形態に係るゴルフ練習支援向けの運動支援システムの動作シーケンス図である。 本発明の第一の実施形態に係る支援情報決定処理の詳細を示すフローチャートである。 本発明の第一の実施形態に係るゴルフ練習支援向けの運動支援システムでユーザがプレーするときのイメージ図である。 本発明の第一の実施形態に係るゴルフ練習支援向けの運動支援システムでユーザがプレーするときのイメージ図の別の例である。 本発明の第二の実施形態に係る支援表示設定データの一例を示す図である。 本発明の第二の実施形態に係るゴルフ練習支援向けの運動支援システムでユーザがプレーするときのイメージ図である。 ユーザの向きの角度について説明する図である。 本発明の第三の実施形態に係る支援表示設定データの一例を示す図である。 本発明の第三の実施形態に係る支援情報決定処理の詳細を示すフローチャートである。 ボールとゴルフクラブの位置関係を説明する図である。 本発明の第三の実施形態に係るゴルフ練習支援向けの運動支援システムでユーザがプレーするときのイメージ図である。 本発明の第四の実施形態に係るゴルフ練習支援向けの運動支援システムでユーザがプレーするときのイメージ図である。 本発明の第五の実施形態に係るシステム構成を示すブロック図である。
　以下、本発明に係る各実施形態を、図１ないし図１９を用いて説明する。また、以下に説明する運動支援システムは、室内のゴルフシミュレータシステムに適用してもよいが、ゴルフ練習場に適用してもよく、また実際のゴルフコースのティーグラウンドに適用してもよい。
　　〔実施形態１〕
　以下、本発明に係る第一の実施形態を、図１ないし図１０を用いて説明する。
　本実施形態の運動支援システムは、情報処理技術によりユーザの運動を支援するシステムであり、ゴルフプレーヤー向けの運動技術を上達させるために、ボールに目印を提示する機能を有するものである。
　ゴルフの初心者では、スイングするときに目線がボールから外れて、成績が悪くなる問題がよく発生する。そのため、本実施形態の運動支援システムは、ボールの目印をつけ、目印を適切な場所に表示できるようにボールを設置し、スイングの際に、目印を意識的に注視することによって、プレーヤーの目線外れを防止できるようにしたものである。
　先ず、図１および図２を用いて本発明の第一の実施形態に係る運動支援システムの概要と構成について説明する。
  図１は、本発明の第一の実施形態に係るゴルフ練習支援向けの運動支援システムの利用シーンを示す図である。
  図２は、本発明の第一の実施形態に係るシステム構成を示すブロック図である。
  図１の図で、図１（ａ）は、平面図であり、図１（ｂ）は、上面図である。図１に示される状態は、ゴルフプレーヤー２は、ゴルフクラブ１０を持ち、ボール９の前に立っている所である。運動支援システム１は、撮像装置５、投射装置７から構成され、ゴルフグランド８に設置される。撮像装置５は、ゴルフプレーヤー２、ボール９、ゴルフクラブ１０の画像を取り込める場所に設置される。投射装置（プロジェクタ）７は、グランド８の画像投射領域１２に運動支援のための支援情報が含まれる映像を投射することが可能である。なお、運動支援のための支援情報の詳細については後に説明する。
　運動支援システム１は、撮像装置５が取得した画像から特定の対象の座標を取得する。なお、本実施形態では、図１に示されるように、座標系の原点３を、投射装置７の下辺中央、ゴルフグランド８の上の点にとり、三次元座標系として、（ｘ，ｙ，ｚ）として定めることとする。
　運動支援システム１は、図２に示されるように、撮像部２０、制御部２４、画像生成部２１、画像投射部２２、メモリ２５、ストレージ２７から構成される。この運動支援システム１の各ブロックは、バス２３を介して接続されている。
　撮像部２０は、ゴルフプレーヤー２、ボール９、ゴルフクラブ１０を撮像して、デジタル映像情報としてリアルタイムに取得する。
　画像生成部２１は、画像投射領域１２に指示された内容を表示するための投射用画像を生成する。なお、どのような画像を生成するかは、後に詳述する。
　画像投射部２２は、超短焦点プロジェクタなどの装置に相当する装置であり、非常に短い距離で所定の範囲内に画像を投射することができる。本実施形態の画像投射部２２は、後述するように、ゴルフプレーヤー２や用具（ゴルフクラブ１０やボール９）の一部分またはこれらの周辺のゴルフグラウンド８上に画像投射し、ユーザに支援情報を提示することが可能である。
　制御部２４は、運動支援システムの各部を制御し、ストレージ２７からメモリ２５にロードされたプログラム、データを参照して、実行することにより各種機能を実行する。制御部２４は、バス２３を介して、撮像部２０の画像をメモリ２５に読込み、ゴルフプレーヤー２、ボール９、ゴルフクラブ１０の各属性を検知して、提示すべき情報を決定し、画像生成部２１を用いて画像を生成し、画像投射部２２により所定の画像を投射することによって、ゴルフプレーヤー２に支援情報を提示する機能を実現する。
　メモリ２５は、半導体記憶装置から構成されるメインメモリであり、ストレージ２７に格納しているアプリケーションプログラムがロードされて、制御部２４は、それを命令語として実行する。また、動作中の中間データなどのワークデータがメモリ２５に一時保存され、制御部２４は、それを参照する。
　ストレージ２７は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの比較的大容量の記憶装置であり、アプリケーションプログラム２９と設定データ２８を格納する。制御部２４は、ストレージ２７からアプリケーションプログラム２９をメモリ２５にロードして、制御部２４が、ロードされたアプリケーションプログラムを実行することにより様々な機能を実現することができる。このアプリケーションプログラムが実行する際の設定情報は、設定データ２８として格納されており、制御部２４が読込んで参照することが可能である。
　設定データ２８には、画像特徴量データ４２、支援表示設定データ４３がある。
　画像特徴量データ４２は、認識する予定の各対象（ゴルフプレーヤー、ボール、ゴルフクラブなど）の特徴量を表すデータである。支援表示設定データ４３は、ゴルフプレーヤー２、ボール９、ゴルフクラブ１０の属性に応じて提示すべき支援の支援内容の対応関係を格納するデータである。支援表示設定データ４３の一部の項目は予め設定しておく項目である。他の一部は、画像特徴量データ４２から算出した各検知結果に基づいて算出する項目である。制御部２４は支援表示設定データ４３を参照しながら、ゴルフプレーヤー２に運動支援情報の提示をおこなう。なお、支援表示設定データ４３は、運動支援システムが稼働中に変更可能としてもよい。
　アプリケーションプログラム２９には、画像認識プログラム４４、運動状態認識プログラム４５がある。
　画像認識プログラム４４は、パターン抽出などの技術を用い、画像の特徴量を算出し、学習済みの画像特徴量データ４２を用いて、画像の中で、ゴルフプレーヤー２、ボール９、ゴルフクラブ１０の有無、種類、タイプ、座標などの属性を認識するプログラムであり、制御部２４がこれを実行することにより、画像認識をおこなう。
　運動状態認識プログラム４５は、画像認識プログラム４４により認識されたゴルフプレーヤー２、ボール９、ゴルフクラブ１０の属性を用い、ゴルフプレーヤー２が進行中の動作の状態を認識するプログラムであり、制御部２４がこれを実行することにより、ゴルフプレーヤー２が進行中の動作の状態を認識する。
　以後の説明では説明を簡単にするため、制御部２４が画像認識プログラム４４を実行して、画像認識をするときには、運動支援システムの「画像認識部」が実行するように記述し、制御部２４が運動状態認識プログラム４５を実行して、ゴルフプレーヤー２が進行中の動作の状態を認識するときには、「運動状態認識部」が実行するように記述することとする。ただし、画像認識の機能、運動状態認識の機能をおこなう部分は、専用のハードウェアで実現されるようにしてもよい。
　次に、図３ないし図６を用いて運動支援システムに用いられデータ構造について説明する。
  図３は、人検知結果データの一例を示す図である。
  図４は、用具検知結果データの一例を示す図である。
  図５Ａは、本発明の第一の実施形態に係る支援表示設定データの一例を示す図である。
  図５Ｂは、本発明の第一の実施形態に係る支援表示設定データの別の例を示す図である。
  図６は、人（ユーザ）に対する計測を説明する図である。
  図７は、用具（ボール、ゴルフクラブ）に対する計測を説明する図である。
　人検知結果データ５０は、人（ユーザ）に対して取得した撮像データに対して、画像認識部が、制御部２４に送る画像認識した結果のデータであり、図３に示されるように、人有無フラグ５０ａ、座標５０ｂ、身長５０ｃの各データから構成される。人有無フラグ５０ａは、画像認識の結果、撮像された範囲内に人がいるかいないかを示すフラグである。座標５０ｂは、座標系上の人の座標である。人の座標は、その人の足の中点のゴルフグランド８の上の点を、人座標点５００（図６（ａ））を基準とすることにする。身長５０ｃは、撮像されたユーザの身長ｌ（図６（ｂ））である。ここで、撮像されたユーザの身長ｌは、ユーザが身長計で図るときの最大の身長ｌｍａｘ（図６（ｂ））とするとｌ≦ｌｍａｘが成立する。すなわち、ユーザの身長ｌは、実際に撮像された画像により計測された身長である。
　用具検知結果データ６０は、ゴルフプレーヤー２の使用する用具であるボール９、ゴルフクラブ１０に対して取得した撮像データに対して、画像認識部が、制御部２４に送る画像認識した結果のデータであり、図４に示されるように、用具内容６０ａ、用具座標６０ｂの各データから構成される。
　用具内容６０ａには、その用具の種類（ボール、ゴルフクラブの別）とそのタイプが格納される。用具のタイプとは、ボール９の場合は、形状や大きさ、ディンプルの情報（表面の小さな窪み）、また、商品名などにより識別して区別する際のボールの分類形態であり、ゴルフクラブ１０の場合は、ドライバ、アイアン、ウェッジなどの別、番手（ロフト角、ライ角により区別される）、また、商品名などにより識別して区別する際のゴルフクラブの分類の形態である。用具のタイプの画像認識は、形状を分析してそのタイプを判定することにしてもよいし、ボール９、ゴルフクラブ１０に特殊なマークを付けておき、それを画像認識して商品名などを判定するようにしてもよい。
　用具座標６０ｂには、その用具の座標が格納される。ボール９の座標は、例えば、ボール表面の中心で、図１のｘ座標が一番大きくなる所を、ボール座標点６００（図７（ａ））と定める。ゴルフクラブ１０の座標は、例えば、ゴルフクラブ１０のヘッドのフェース６１０の中心点を、ゴルフクラブ座標点６０１（図７（ｂ））と定める。
　支援表示設定データ７０は、制御部２４が人検知結果データ５０と用具検知結果データ６０に基づいて、プレー場所に投射する支援情報を決定するためのデータであり、身長７０ａ、ボールタイプ７０ｂ、ゴルフクラブタイプ７０ｃ、支援情報タイプ７０ｄ、支援情報属性７０ｅが格納される。
　身長７０ａは、認識されたユーザ（ゴルフプレーヤー２）の身長である。ボールタイプ７０ｂは、用具内容６０ａに格納されたボール２のタイプである。ゴルフクラブタイプ７０ｃは、用具内容６０ａに格納されたゴルフクラブ１０のタイプである。支援情報タイプ７０ｄは、投射する支援情報のタイプである。支援情報属性７０ｅは、支援情報のタイプにしたがった属性である。
  図５Ａに示される例では、ゴルフプレーヤー２の身長が１６５ｃｍ、ボール２のタイプ種類がＡ、ゴルフクラブ１０のタイプがＩの場合に、提示する支援情報の種類は、目印提示（ボール表面に目印を表示）であり、その目印の提示する場所の座標は、（８０，２，４）であることを示している。図５Ａに示されるように、ボール上に目印表示を表示する場合は、その目印表示の提示座標は、図４の用具検知結果データ６０におけるボールの用具座標６０ｂに基づいて算出する。このときボールの用具座標６０ｂそのものを目印表示にしてもよいし、支援表示設定データ７０の他の項目に基づいて修正した座標を用いてもよい。このように、目印表示の提示座標を、検出したボールの用具座標６０ｂに基づいて算出することにより、ボールの位置が変わった場合でも、正しく目印表示をボール上に表示することができる。
　なお、図５Ｂに示される例のように、支援情報の種類として、ボールの周辺のゴルフグラウンドに表示する矢印表示を用いてもよい。その場合には、座標のほかに、支援情報属性７０ｅとして、その矢印の向き（角度など）も必要になる。図５Ｂの例では、矢印の向きを角度0度の例のみ挙げているが、必要に応じて矢印の表示角度を変更するために、支援情報属性７０ｅに格納する角度情報を変更すればよい。図５Ｂに示されるように、ボールの周辺に矢印表示を表示する場合は、その矢印表示の提示座標は、図４の用具検知結果データ６０におけるボールの用具座標６０ｂに基づいて算出する。このときボールの用具座標６０ｂのｘｙ座標に所定値のオフセット（例えば、ｘ＋０、ｙ－５など）を加えて算出してもよい。また、これを支援表示設定データ７０の他の項目に基づいてさらに修正した座標をもちいてもよい。このように、矢印表示の提示座標を、検出したボールの用具座標６０ｂに基づいて算出することにより、ボールの位置が変わった場合でも、矢印表示をボールに対して所定の相対位置に表示することができる。
　次に、図８ないし図１０を用いて本発明の第一の実施形態に係る運動支援システムの処理について説明する。
  図８は、本発明の第一の実施形態に係るゴルフ練習支援向けの運動支援システムの動作シーケンス図である。
  図９は、本発明の第一の実施形態に係る支援情報決定処理の詳細を示すフローチャートである。
  図１０Ａは、本発明の第一の実施形態に係るゴルフ練習支援向けの運動支援システムでユーザがプレーするときのイメージ図である。
  図１０Ｂは、本発明の第一の実施形態に係るゴルフ練習支援向けの運動支援システムでユーザがプレーするときのイメージ図の別の例である。
　先ず、図８の処理において、運動支援システム１が立ち上がると、撮像部２０は、ゴルフプレーヤー２、ボール９、ゴルフクラブ１０を含める範囲の画像を取り込み（Ｓ００１）、画像データを画像認識部４０に送信する（Ｓ００２）。
　画像認識部４０は、人検知を行い（Ｓ００３）、ゴルフプレーヤー２の有無をチェックし、ゴルフプレーヤー２が出場する場合、身長、現在座標などの属性を、図３に示した人検知結果データとして制御部２４に送信する（Ｓ００４）。
　次に、制御部２４は、ゴルフプレーヤー２が検知される場合（人有無フラグ５０ａ＝“いる”）、支援情報提示の処理をおこなう（Ｓ１００）。支援情報提示の処理では、先ず、制御部２４は、画像認識部４０に用具の検知を要求する（Ｓ００５）。画像認識部４０は、ストレージ２７に格納されている画像特徴量データ４２を参照して、画像認識をして、用具の情報検知し、図４に示した制御部２４に送信する（Ｓ００７）。
　制御部２４は、人検知結果データ５０と用具検知結果データ６０を用いて、図５に示した支援表示設定データ７０の座標など支援情報属性の一部の項目を算出して支援表示設定データ７０を投射するための支援情報として決定する（Ｓ００８）。支援情報決定の処理は、後に、図９のフローチャートを用いて詳説する。
　そして、Ｓ００８で投射するための支援情報が決定されると、制御部２４は、画像生成部２１に対して、投射する支援情報の画像の生成を要求する（Ｓ００９）。画像生成部２１は、要求に応じて、支援情報の画像を生成し、制御部２４に返信する（Ｓ０１０）。次に、制御部２４は、画像投射部２２に対して、支援情報の画像を表示することを要求する（Ｓ０１１）。画像投射部２２は、支援情報の画像を画像投射領域１２に投射し、ゴルフプレーヤー２が支援情報を見て、プレーをできるようにする。
　次に、図９を用いて支援情報決定の処理の詳細を説明する。
　先ず、人検知結果データ５０および用具検知結果データ６０を入力データとして読込む（Ｓ２００）。そして、ボール９があるか否かのチェックをし（Ｓ２０１）、ゴルフクラブ１０があるか否かのチェックをおこなう（Ｓ２０２）。
　ボール９やゴルフクラブ１０のいずれかが無い場合には、プレーに移れる状態ではないとして、処理を終了する。
　ボール９とゴルフクラブ１０のいずれもある場合には、人検知結果データ５０および用具検知結果データ６０とを用いて座標などの支援情報属性７０ｅの一部を算出して、支援表示設定データ７０を確定する（Ｓ２０３）。そして、Ｓ２０３で確定した支援情報データの支援情報タイプ７０ｄ、支援情報属性７０ｅを出力する（Ｓ２０４）。
　次に、図１０Ａおよび図１０Ｂを用いてゴルフ練習支援向けの運動支援システムでユーザがプレーするときのイメージについて説明する。ここで、図１０Ａ（ａ）および図１０Ｂ（ａ）は、平面図、図１０Ａ（ｂ）および図１０Ｂ（ｂ）は、上面図を表している。
  図１０Ａの例では、ゴルフプレーヤー２がゴルフクラブ１０を持って、撮像装置５の撮像領域に入った場合には、投射装置７は、ボール９の特定の位置に目印８１を投射することになる。
  図１０Ｂの例では、ゴルフプレーヤー２がゴルフクラブ１０を持って、撮像装置５の撮像領域に入った場合には、投射装置７は、ボール９周辺の特定の位置に矢印８２を投射することになる。
　このように、ゴルフプレーヤー２は、特定の操作なしで、身長、ボール９の位置、またはゴルフクラブ１０に応じた自分にとって好適な位置に表示される支援情報表示を利用できるようになる。
　　〔実施形態２〕
　以下、本発明に係る第二の実施形態を、図１１ないし図１３を用いて説明する。また、第一の実施形態と比較し、異なるところを強調して説明する。
  図１１は、本発明の第二の実施形態に係る支援表示設定データの一例を示す図である。
  図１２は、本発明の第二の実施形態に係るゴルフ練習支援向けの運動支援システムでユーザがプレーするときのイメージ図である。
  図１３は、ユーザの向きの角度について説明する図である。
　本実施形態は、システム構成、動作シーケンスについては、第一の実施形態とほぼ同様であるが、支援情報のタイプが異なったものである。
　ゴルフの初心者では、ボール９の前に立つ場合、どこは自分にとって最適であるかが不明確であり、また、成績を向上させるために、適切な向きについても不明である。インストラクターの指示に従って立ち位置を練習することが一般的ではあるが、インストラクターは毎回指摘するのが面倒であるし、人間の身長や用具の種類によって立ち位置が若干異なることを想定すると、インストラクターの指示でも最適とは言えないケースがある。この問題に対して、本実施形態では、ゴルフプレーヤー２に自動的に最適な立ち位置を提案できるシステムが可能となる。
  図８のＳ００８の投射するための支援情報を決定するために利用される支援情報決定データ７０は、本実施形態では、支援情報タイプ７０ｄとして、「立ち位置」が格納されており、支援情報属性７０ｅとして、「座標：（１１９，２，０）、向き：１０度」が格納されている。
　支援情報タイプ７０ｄが「立ち位置」であることは、ユーザ（ゴルフプレーヤー２）のプレー中における立ち位置が支援情報の画像として、投射されることを示している。このときの支援情報属性は、支援情報属性７０ｅは、そのプレー中におけるユーザの最適な座標と、最適な向きを示しており、それが支援情報の画像として投射される。図１１の例において、身長が１６５ｃｍ、ボールのタイプがＡであり、ゴルフクラブのタイプがＩである場合には、ゴルフプレーヤー２の立つべき場所の座標は（１１９，２，０）となり、向きは１０度の立ち位置支援情報の属性の画像が投射されることになる。
　次に、図１２を用いてゴルフ練習支援向けの運動支援システムでユーザがプレーするときのイメージについて説明する。ここで、図１２（ａ）は、平面図、図１２（ｂ）は、上面図を表している。
  図１１に示されるように、ゴルフプレーヤー２がゴルフクラブ１０を持って、撮像装置５の撮像領域に入った場合には、投射装置７は、画像投射領域１２にゴルフプレーヤー２が立つ立つべき場所に足型１０２を表示し、最適の向きの場合の体の平行方向で足型１０２のつま先を結んだ目安線１０１を提示する。なお、足型は、所定の大きさのものを出力するようにしてもよいし、ユーザの身長からその大きさを計算するようにしてもよい。
　ゴルフプレーヤーの向きは、図１３に示されるように、例えば、目安線１０１の垂線１０２とｘ軸のなす方向をθにすればよい。
　このように、本実施形態の運動支援システムによれば、ゴルフプレーヤー２は、ボール９の前に立つと、自分にとって最適の立ち位置および向きを把握することが可能になり、外部の指示がなくても常に最適の場所をたつことが可能になる。
　　〔実施形態３〕
　以下、本発明に係る第三の実施形態を、図１４ないし図１７を用いて説明する。本実施形態は、システム構成、動作シーケンスについては、第一の実施形態とほぼ同様であるが、支援情報のタイプと支援情報決定の処理が異なったものである。
  図１４は、本発明の第三の実施形態に係る支援表示設定データの一例を示す図である。
  図１５は、本発明の第三の実施形態に係る支援情報決定処理の詳細を示すフローチャートである。
  図１６は、ボールとゴルフクラブの位置関係を説明する図である。
  図１７は、本発明の第三の実施形態に係るゴルフ練習支援向けの運動支援システムでユーザがプレーするときのイメージ図である。
　本実施形態は、ボール６とゴルフクラブ１０の位置関係に着目し、適切な関係にあることを、ユーザ（ゴルフプレーヤー２）に知らせることにより、ゴルフクラブ１０のスイングを促すものである。
　本実施形態の支援表示設定データ１１０は、ボールのタイプ、ゴルフクラブのタイプと、インパクト時の高さの関係を示すデータであり、図１４に示されるように、ボールのタイプ１１０ａ、クラブのタイプ１１０ｂ、高さの差の上限ｄｉｆｆｍａｘ１１０ｃ、高さの差の下限ｄｉｆｆｍｉｎ１１０ｄが格納されている。図１４に示される例では、Ｂタイプボール、Ｉタイプのゴルフクラブの場合でユーザがプレーする場合には、高さの差の上限ｄｉｆｆｍａｘ＝－１ｃｍ、高さの差の下限ｄｉｆｆｍｉｎ＝－５ｃｍであることを示している。
　高さの差Δｈは、図１６に示されるように、ボール６の高さをｚｂａｌｌ、ゴルフクラブ１０の高さをｚｈｅａｄとしたときに、以下の（式１）で表される。
　　　Δｈ＝ｚｈｅａｄ－ｚｂａｌｌ　　　…（式１）
　次に、図１５を用いて本実施形態の支援情報決定の処理について説明する。これは、第一の実施形態の図８のＳ００８の支援情報決定処理に置き換わるものである。図１５が示すように、入力情報として、図４に示される用具検知結果データ６０を読込んで（Ｓ３００）、図１４に示した支援表示設定データ１１０を参照し、ボールのタイプ、ゴルフクラブのタイプから、インパクトする際に、適切となるｚ方向の高さの差の上限ｄｉｆｆｍａｘと高さの差の下限ｄｉｆｆｍｉｎを確定する（Ｓ３０１）。
　次に、図４に示した用具検知結果データ６０の用具座標６０ｂから現在のゴルフクラブ１０のヘッド１２１とボール６のｚ方向の距離Δｈを、上記の（式１）により計算する。
　そして、Δｈの値と高さの差の下限ｄｉｆｆｍｉｎを比較し（Ｓ３０３）、Δｈの値が高さの差の下限ｄｉｆｆｍｉｎより大きくない場合（Ｓ３０３：Ｎｏ）、ヘッドが低すぎると判断し、インパクト不可となるので、合図表示＝Ｆａｌｓｅとして、運動支援システムの方からスイングの合図（後述）を出さないことにする（Ｓ３０６）。Δｈの値が高さの差の下限ｄｉｆｆｍｉｎより大きい場合には（Ｓ３０３：Ｙｅｓ）、Δｈの値と高さの差の下限ｄｉｆｆｍｉｎを比較し（Ｓ３０４）、Δｈの値が高さの差の上限ｄｉｆｆｍａｘより小さくない場合には（Ｓ３０４：Ｎｏ）、ヘッドが高すぎると判断し、インパクト不可となるので、合図表示＝Ｆａｌｓｅとして、スイングの合図を出さないことにする（Ｓ３０６）。Δｈの値が高さの差の上限ｄｉｆｆｍａｘより小さい場合には（Ｓ３０４：Ｙｅｓ）、現在のヘッドの高さは最適であると判断して、運動支援システムは、ユーザに対してスイング可能の合図を出すことにする（Ｓ３０５）。
　次に、図１７を用いてゴルフ練習支援向けの運動支援システムでユーザがプレーするときのイメージについて説明する。ここで、図１７（ａ）は、平面図、図１７（ｂ）は、上面図を表している。
　ゴルフプレーヤー２は、図１７に示されるように、ボール９の近くで、ゴルフクラブ１０を持ってゴルフクラブ１０を上下方向で移動させると、運動支援システム６は、撮像装置５によりそれを撮像して、撮像データを画像認識して、ボール９とゴルフクラブ１０のヘッドの間の高さ差１２２を自動的に計算し、高さ差が適切な範囲である場合には、投射装置７はヘッドの周辺に、スイング可能の合図の投射１２０（例えば、緑色の光線）をする。
　このように、ゴルフプレーヤー２はスイングする前に、運動支援システムの方から、現在のボール６とゴルフクラブ１０の関係がスイング可能であるか否かを教示してくれるので、ユーザは、自然にインパクトする際のヘッドの高さの感覚を習得することが可能になる。
　　〔実施形態４〕
　以下、本発明に係る第四の実施形態を、図１８を用いて説明する。本実施形態は、システム構成、動作シーケンスについては、第一の実施形態とほぼ同様であるが、第一の実施形態のように、ボールに目印の画像を投射すると同時に、ゴルフプレーヤー２自身のプレーの映像を、適切な投射領域に投射するものである。
　本実施形態では、ボール９に目印を提示すると同時に、画像生成部２１は、撮像装置３から取得した画像からゴルフプレーヤー２が撮像されている領域を切り出して、投射画像を生成し、支援情報提示生成ステップ（図８のＳ０１０）で生成された支援情報画像と重ね合わせて投射画像とする。そして、画像投射部２２は、その投射画像を画像投射領域１２に投射する。制御部２４は、画像生成部２１にゴルフプレーヤー２の映像を生成する際に、ボール９の位置およびゴルフプレーヤー２の位置、ゴルフクラブ１０の位置に基づいて、画像投射領域１２の空き領域、すなわち、ゴルフプレーヤー２や用具などにじゃまをされずに、ユーザがその画像を視認できる領域を計算する。制御部２４は、画像投射領域１２の空き領域の中で、ゴルフプレーヤー２の向きと同じ方向、かつゴルフプレーヤー２の推定目線とのずれが少ない領域をゴルフプレーヤー２自身の映像投射領域となるように計算する。
　次に、図１８を用いてゴルフ練習支援向けの運動支援システムでユーザがプレーするときのイメージについて説明する。
  図１８は、本発明の第四の実施形態に係るゴルフ練習支援向けの運動支援システムでユーザがプレーするときのイメージ図である。
　本実施形態では、ゴルフプレーヤー２がスイングする前に、第一の実施形態と同じように、ボール９に目印８１を提示すると同時に、図１８に示されるように、ゴルフプレーヤー２の前方かつボール９やゴルフクラブ１０と重畳しない領域のゴルフグランド８上にゴルフプレーヤー２自身の映像１３０が投射される。
　このように、ゴルフプレーヤー２は各種支援情報を確認できることと同時に、自身の姿勢を無理なく確認できるようになる。また、公知の運動支援におけるディスプレイ表示方法と比べると、ゴルフプレーヤー２は、自身の姿勢を確認するため姿勢が崩れることが避けられる効果がある。さらに、従来の固定ディスプレイではできない自身の映像が自身の向きに従い、提示場所が自動調整できる効果が考えられる。
　　〔実施形態５〕
　以下、本発明に係る第五の実施形態を、図１９を用いて説明する。
  図１９は、本発明の第五の実施形態に係るシステム構成を示すブロック図である。
　本実施形態では、図１９が示すように、第一の実施形態のように運動支援システム６が利用する撮像装置は、システムの中に組み込むのではなく、独立の撮像システム１４０として存在している。撮像システム１４０は、撮像部２０、制御部１４１、通信／Ｆ１４３、メモリ１４４、ストレージ１４５を有し、それらがバス１４２により結合された形態である。
　運動支援システム１′と撮像システム１４０は、通信Ｉ／Ｆ１４６および通信Ｉ／Ｆ１４３を有する。通信Ｉ／Ｆ１４６および通信Ｉ／Ｆ１４３は、ネットワークや回線により構成される通信経路１４７を経由し、データの送受信が可能になる。運動支援システム１′は、通信Ｉ／Ｆ１４６を用い、撮像システム１４０の映像を受信し、ゴルフプレーヤー２に情報提示をおこなう。また、必要に応じて、運動支援システム１は、通信Ｉ／Ｆ１４６を用いて撮像システムの解像度、向きなどを制御することが可能にしてもよい。このようシステム構成のもとにおいて、撮像システム１４０として、市場に流通している製品を直接利用することにより、運動支援システム１′の製造コストを下げることが可能になる。
　　〔運動支援システムの適用範囲〕
　以上、本発明の運動支援システムについて、ゴルフプレーヤー向けの運動スキルを上達させることを目的とし、実施形態を中心に説明した。ただし、運動支援システムゴルフに限定せずとも、ほかの人間が用具を用いておこなう運動競技に関する運動スキル、例えば、野球、サッカー、卓球などにも適用することができる。
１，１′…運動支援システム
２…ゴルフプレーヤー
３…撮像装置
６…情報提示装置
７…投射装置
８…ゴルフグランド
９…ボール
１２…画像投射領域
２０…撮像部
２１…画像生成部
２２…画像投射部
２３…バス
２４…制御部
２５…メモリ
２６…ストレージ
４０…画像認識部
４１…運動状態認識部
４２…画像認識プログラム
４３…運動状態認識プログラム
４４…画像特徴量データ
４５…支援表示設定データ

Claims (9)

  1. 　ユーザが用具を用いておこなう運動を支援する運動支援システムにおいて、
    　前記ユーザの運動に関する状況の映像を撮像する撮像部と、
    　前記用具もしくは前記ユーザに重畳した状態、または、前記用具もしくは前記ユーザの近傍に画像を投射する画像投射部と、
    　前記ユーザの運動を支援する運動支援表示を含む画像を生成する画像生成部と、
    　制御部とを備え、
    　前記制御部は、前記撮像部が撮像した映像中の前記用具の位置を検出し、前記用具の位置の検出結果に応じて、前記画像生成部が、生成する画像内での前記運動支援表示の位置を変更することを特徴とする運動支援システム。
  2. 　前記制御部は、前記撮像部が撮像した映像中の前記ユーザの位置を検出し、前記ユーザの位置の検出結果に応じて、前記画像生成部が、生成する画像内での前記運動支援表示の位置を変更することを特徴とする請求項１記載の運動支援システム。
  3. 　前記画像投射部は、前記撮像部で撮像したユーザの映像を、前記用具または前記ユーザと重畳しない位置に表示することを特徴とする請求項２記載の運動支援システム。
  4. 　ユーザが用具を用いておこなう運動は、ゴルフ競技に関する運動であり、
    　前記制御部は、前記撮像部が撮像した映像の中のユーザの位置、身長、ゴルフの用具のボール、ゴルフクラブのタイプ、位置に応じて、前記画像生成部が生成する画像内での前記運動支援表示の位置を変更することを特徴とする請求項２記載の運動支援システム。
  5. 　前記制御部が生成する前記運動支援表示は、ボール上に投射する表示であることを特徴とする請求項４記載の運動支援システム。
  6. 　前記制御部が生成する前記運動支援表示は、ボールの周辺に投射する表示であることを特徴とする請求項４記載の運動支援システム。
  7. 　前記制御部が生成する前記運動支援表示は、ユーザが立つべき場所または向きに関する表示であることを特徴とする請求項４記載の運動支援システム。
  8. 　ボール、ゴルフクラブのタイプごとに、インパクトする際の高さの差の下限、上限のデータを保持し、
    　前記制御部は、前記前記撮像部が撮像した映像により、前記ボール、ゴルフクラブの高さの差を算出し、前記ボール、ゴルフクラブの高さの差が、前記インパクトする際の高さの差の下限から上限の間にあるか否かを判定し、
    　前記画像投射部は、前記ボール、ゴルフクラブの高さの差が、前記インパクトする際の高さの差の下限から上限の間にあるときに、スイングの合図の情報を含む画像を投射することを特徴とする請求項４記載の運動支援システム。
  9. 　ユーザが用具を用いておこなう運動を支援する運動支援システムの運動支援方法において、
    　前記運動支援システムは、
    　前記ユーザの運動に関する状況の映像を撮像する撮像部と、
    　前記用具もしくは前記ユーザに重畳した状態、または、前記用具もしくは前記ユーザの近傍に画像を投射する画像投射部と、
    　前記ユーザの運動を支援する運動支援表示を含む画像を生成する画像生成部と、
    　制御部とを備え、
    　前記制御部が、前記撮像部が撮像した映像中の前記用具の位置を検出するステップと、
    　前記画像生成部が、前記用具の位置の検出結果に応じて、生成する画像内での前記運動支援表示の位置を変更するステップと、
    　前記画像投射部が、前記用具もしくは前記ユーザに重畳した状態、または、前記用具もしくは前記ユーザの近傍に画像を投射するステップとを有することを特徴とする運動支援方法。
PCT/JP2016/054212 2016-02-15 2016-02-15 運動支援システム、および、運動支援方法 WO2017141300A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020187023098A KR102066806B1 (ko) 2016-02-15 2016-02-15 운동 지원 시스템 및 운동 지원 방법
JP2017567570A JP6484731B2 (ja) 2016-02-15 2016-02-15 運動支援システム、および、運動支援方法
PCT/JP2016/054212 WO2017141300A1 (ja) 2016-02-15 2016-02-15 運動支援システム、および、運動支援方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/054212 WO2017141300A1 (ja) 2016-02-15 2016-02-15 運動支援システム、および、運動支援方法

Publications (1)

Publication Number Publication Date
WO2017141300A1 true WO2017141300A1 (ja) 2017-08-24

Family

ID=59625648

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/054212 WO2017141300A1 (ja) 2016-02-15 2016-02-15 運動支援システム、および、運動支援方法

Country Status (3)

Country Link
JP (1) JP6484731B2 (ja)
KR (1) KR102066806B1 (ja)
WO (1) WO2017141300A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020205671A1 (en) * 2019-03-29 2020-10-08 The Regents Of The University Of Michigan Peripersonal boundary-based augmented reality game environment
WO2023177274A1 (ko) * 2022-03-18 2023-09-21 주식회사 마인스소프트 경기장 통합 운영 관리 시스템 및 통합 운영 관리 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04208173A (ja) * 1990-11-30 1992-07-29 Keizo Eguchi ゴルフ練習装置
JPH0751421A (ja) * 1993-08-18 1995-02-28 Sugino Mach Ltd アドレス指示器
JP2008512165A (ja) * 2004-09-10 2008-04-24 テイラー・イノベイション・リミテッド ゴルフトレーニング装置
JP2009273552A (ja) * 2008-05-13 2009-11-26 Sanyo Electric Co Ltd 投写型映像表示装置
JP2012095904A (ja) * 2010-11-04 2012-05-24 Nippon Signal Co Ltd:The 自動ティーアップ装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070224583A1 (en) * 2006-03-23 2007-09-27 Humphrey Robert J Compact Comprehensive Golf Swing Practice Aid and Method of Use
US8986128B2 (en) * 2010-06-15 2015-03-24 David E. Brantingham Golf swing practice apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04208173A (ja) * 1990-11-30 1992-07-29 Keizo Eguchi ゴルフ練習装置
JPH0751421A (ja) * 1993-08-18 1995-02-28 Sugino Mach Ltd アドレス指示器
JP2008512165A (ja) * 2004-09-10 2008-04-24 テイラー・イノベイション・リミテッド ゴルフトレーニング装置
JP2009273552A (ja) * 2008-05-13 2009-11-26 Sanyo Electric Co Ltd 投写型映像表示装置
JP2012095904A (ja) * 2010-11-04 2012-05-24 Nippon Signal Co Ltd:The 自動ティーアップ装置

Also Published As

Publication number Publication date
JP6484731B2 (ja) 2019-03-13
KR20180100426A (ko) 2018-09-10
JPWO2017141300A1 (ja) 2018-10-04
KR102066806B1 (ko) 2020-01-15

Similar Documents

Publication Publication Date Title
WO2018035821A1 (zh) 台球击球辅助方法、台球击球辅助系统及便携式电子设备
US10716991B2 (en) Virtual golf simulation apparatus, method of realizing image for virtual golf, and computing-device-readable recording medium having the same recorded therein
US6514081B1 (en) Method and apparatus for automating motion analysis
US8550819B2 (en) Motion training schematic and method of instruction
WO2019130527A1 (ja) 抽出プログラム、抽出方法および情報処理装置
WO2019049216A1 (ja) 採点方法、採点プログラムおよび採点装置
US20020187846A1 (en) Interactive method and apparatus for tracking and analyzing a golf swing
US20130281223A1 (en) Virtual golf simulation apparatus and method capable of compensation ball flight distance decreasing rate
US20120295677A1 (en) Apparatus and method for virtual golf simulation
US9914037B2 (en) Method and device for providing guiding for executing a golf swing
KR20180095588A (ko) 스포츠 기구의 운동분석을 위한 방법 및 장치
JP6583055B2 (ja) バーチャルスポーツシミュレーション装置
US11007424B2 (en) Virtual golf simulation apparatus, method of realizing image for virtual golf, and computing-device-readable recording medium having the same recorded therein
JP6484731B2 (ja) 運動支援システム、および、運動支援方法
CN113209597A (zh) 一种线下台球击球辅助方法、装置、终端及存储介质
JPH04322672A (ja) 屋内用ゴルフ練習装置
JPH0360680A (ja) ゴルフ練習機
JP7319540B2 (ja) ショット管理システム、ショット管理方法及びプログラム
JP2013128764A (ja) ゴルフクラブヘッドの挙動計測装置および挙動計測方法、打撃具の挙動計測装置および挙動計測方法
TWI775243B (zh) 高爾夫運動揮桿動作分析方法
JP5909208B2 (ja) プログラム、重心測定方法及び重心測定装置
KR20170032513A (ko) 증강현실을 이용한 골프용 데이터 시현 디바이스
US20160325169A1 (en) Swing analyzing device, swing analyzing method, swing analyzing system, and storage medium
JP7248353B1 (ja) ヒッティング解析システム及びヒッティング解析方法
US20230347209A1 (en) Device for sensing golf swing and method for sensing impact position on club head using the same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16890443

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017567570

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20187023098

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 1020187023098

Country of ref document: KR

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16890443

Country of ref document: EP

Kind code of ref document: A1