WO2022091507A1 - 判定装置、及び判定方法 - Google Patents

判定装置、及び判定方法 Download PDF

Info

Publication number
WO2022091507A1
WO2022091507A1 PCT/JP2021/028069 JP2021028069W WO2022091507A1 WO 2022091507 A1 WO2022091507 A1 WO 2022091507A1 JP 2021028069 W JP2021028069 W JP 2021028069W WO 2022091507 A1 WO2022091507 A1 WO 2022091507A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
runner
runners
running
user
Prior art date
Application number
PCT/JP2021/028069
Other languages
English (en)
French (fr)
Inventor
英一 細野
裕介 清水
晃輝 前野
正晃 山口
大介 小嶋
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Publication of WO2022091507A1 publication Critical patent/WO2022091507A1/ja
Priority to US18/056,740 priority Critical patent/US20230079694A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0686—Timers, rhythm indicators or pacing apparatus using electric or electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/0028—Training appliances or apparatus for special sports for running, jogging or speed-walking
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0625—Emitting sound, noise or music
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/0658—Position or arrangement of display
    • A63B2071/0661—Position or arrangement of display arranged on the user
    • A63B2071/0666—Position or arrangement of display arranged on the user worn on the head or face, e.g. combined with goggles or glasses
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/05—Image processing for measuring physical parameters
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/50—Wireless data transmission, e.g. by radio transmitters or telemetry

Definitions

  • the present invention relates to a determination device for determining a runner to be a pacemaker, and a determination method.
  • This embodiment was made in view of such a situation, and the purpose is to provide a technique for searching a runner suitable for a pacemaker from the surroundings.
  • the determination device of a certain aspect of the present embodiment has a storage unit for storing setting information of a user related to running and an acquisition unit for acquiring information of a plurality of runners existing around the user.
  • a determination unit that identifies one runner from the plurality of runners based on the setting information stored in the storage unit and the information acquired by the acquisition unit, and one runner specified by the determination unit. It includes an output unit that outputs presentation information for presenting to the user.
  • Another aspect of this embodiment is a determination method.
  • This method is one from the plurality of runners based on the step of acquiring the information of the plurality of runners existing around the user, the setting information of the user related to the running stored in advance, and the acquired information. It has a step of specifying a runner and a step of outputting presentation information for presenting the specified one runner to the user.
  • FIG. 1 shows the functional block of the wearable terminal apparatus which concerns on Embodiment 1 of this invention. It is a figure which shows the configuration example of the wearable terminal apparatus which concerns on Embodiment 1.
  • FIG. It is a figure which shows an example of the state which the image recognition part of the wearable terminal apparatus which concerns on Embodiment 1 recognizes a plurality of runners in a frame. It is a figure which shows the display example for making a user recognize a runner which should be a pacemaker in the wearable terminal apparatus which concerns on Embodiment 1.
  • FIG. It is a figure which shows the functional block of the wearable terminal apparatus which concerns on Embodiment 2 of this invention.
  • FIG. 1 It is a figure which shows an example of the state which the determination part of the wearable terminal apparatus which concerns on Embodiment 2 grasps the relative positional relationship between a user and a plurality of runners existing around a user based on short-range wireless communication. .. It is a figure which shows the display example for making a user recognize a runner which should be a pacemaker in the wearable terminal apparatus which concerns on Embodiment 2.
  • FIG. 1 is a diagram showing a functional block of the wearable terminal device 1 according to the first embodiment of the present invention.
  • the wearable terminal device 1 according to the first embodiment is a glasses-type terminal device worn on a runner, and has a function of searching for a runner to be a pacemaker from other runners located around the runner. There is.
  • the wearable terminal device 1 includes an image pickup unit 10, a GPS sensor 11, an acceleration sensor 12, an operation unit 13, a processing unit 20, and a presentation unit 30.
  • the image pickup unit 10 is a camera for photographing the surroundings of a runner (hereinafter referred to as a user) equipped with the wearable terminal device 1.
  • the image pickup unit 10 is fixed to the frame of the glasses-type wearable terminal device 1 and mainly photographs the front in the traveling direction of the user.
  • a camera having an ultra-wide-angle lens such as a fisheye lens
  • not only the front but also a wider range can be captured in the angle of view.
  • an external camera is installed on a hat, the entire circumference of 360 ° can be accommodated in the angle of view.
  • the image pickup unit 10 includes a solid-state image sensor and a signal processing circuit.
  • a CMOS (Complementary Metal Oxide Semiconductor) image sensor or a CCD (Charge Coupled Devices) image sensor can be used as the solid-state image sensor.
  • the solid-state image sensor converts the incident light into an electrical video signal and outputs it to a signal processing circuit.
  • the signal processing circuit performs signal processing such as A / D conversion and noise reduction on the video signal input from the solid-state image sensor, and outputs the signal to the processing unit 20.
  • the GPS sensor 11 detects the current position of the wearable terminal device 1 and outputs it to the processing unit 20. Specifically, the transmission time is received from each of a plurality of GPS satellites, and the latitude and longitude of the reception point is calculated based on the received plurality of transmission times.
  • the acceleration sensor 12 detects the acceleration components of the three axes applied to the wearable terminal device 1 and outputs them to the processing unit 20.
  • the operation unit 13 has buttons, a touch panel, and the like, and accepts user input.
  • the operation unit 13 receives setting information such as a running target speed (for example, a kilometer 4 minutes) and a running target pitch from the user.
  • the setting information needs to be input before a running competition (for example, a marathon event) in which a plurality of runners participate.
  • the processing unit 20 includes a video acquisition unit 21, a position information acquisition unit 22, an acceleration information acquisition unit 23, an input information acquisition unit 24, a storage unit 25, a measurement unit 26, an image recognition unit 27, a determination unit 28, and a presentation information generation unit 29. , And the output unit 210.
  • These functions of the processing unit 20 can be realized by the cooperation of the hardware resource and the software resource, or only by the hardware resource.
  • CPU, ROM, RAM, GPU GraphicsProcessingUnit
  • DSP DigitalSignalProcessor
  • ISP ImageSignalProcessor
  • ASIC ApplicationSpecific IntegratedCircuit
  • FPGA Field-ProgrammableGateArray
  • SoC System on a Chip
  • Programs such as firmware can be used as software resources.
  • the input information acquisition unit 24 acquires the setting information related to running such as the target speed of running input from the operation unit 13.
  • the storage unit 25 stores the setting information related to running acquired by the input information acquisition unit 24.
  • the position information acquisition unit 22 acquires the current position information of the user wearing the wearable terminal device 1 from the GPS sensor 11.
  • the acceleration information acquisition unit 23 acquires the acceleration component information of the three axes applied to the wearable terminal device 1 from the acceleration sensor 12.
  • the measurement unit 26 measures the speed of the user based on the user's current position information acquired by the position information acquisition unit 22. As the simplest processing, the measuring unit 26 specifies the distance between the two points and the time between the two times when the position information of the two points is acquired, based on the position information of the two points, and the distance is used. The speed is measured based on the time.
  • the measuring unit 26 measures the user's pitch (number of steps per unit time) based on the three-axis acceleration component acquired by the acceleration information acquisition unit 23.
  • the acceleration component of one axis is the acceleration component of the other two axes among the acceleration components in the X-axis, Y-axis, and Z-axis directions regardless of the orientation of the acceleration sensor 12.
  • the relative periodic change becomes large.
  • the measuring unit 26 measures the user's pitch by continuously detecting the peak value of the acceleration component of one axis having the largest periodic change.
  • the image acquisition unit 21 acquires the image captured by the image pickup unit 10.
  • the image recognition unit 27 searches for an object (runner in the present specification) in each frame of the acquired video.
  • the image recognition unit 27 has a runner classifier generated by learning a large number of images of the runner as dictionary data.
  • the image recognition unit 27 searches within the frame of the image using the classifier of the runner. For example, a HOG (Histograms of Oriented Gradients) feature quantity can be used for recognizing a runner (object). In addition, Haar-like feature amount, LBP (Local Binary Patterns) feature amount, and the like may be used.
  • the image recognition unit 27 captures the runner with a rectangular detection frame. When there are a plurality of runners in the frame, the image recognition unit 27 recognizes each runner individually.
  • the image recognition unit 27 tracks each runner recognized in the frame in the subsequent frame.
  • a particle filter or a mean shift method can be used for tracking the runner (object).
  • the image recognition unit 27 estimates the relative speed of each runner based on the position of each runner in a plurality of frames continuously imaged. Specifically, the image recognition unit 27 starts from the image pickup unit 10 at the image pickup time of the first frame based on the y-coordinate of the runner's position in the first frame and the table or function prepared in advance. Estimate the distance to the runner. Similarly, the image recognition unit 27 starts from the image pickup unit 10 at the image pickup time of the second frame based on the y-coordinate of the runner's position in the second frame and the table or function prepared in advance. Estimate the distance to the runner.
  • the table or function describes the relationship between the y-coordinate of the runner's position in the frame and the distance from the image pickup unit 10 to the runner, and describes the assumed mounting position of the image pickup unit 10 (from the road surface). Height) and the angle of view of the imaging unit 10 are determined.
  • the distance estimation unit (not shown) estimates the distance from the image pickup unit 10 to the runner based on the parallax of the image taken by the two eyes. be able to. Further, when the image pickup unit 10 is equipped with a TOF (Time Of Flight) sensor such as LiDAR (Light Detection and Ringing), the distance estimation unit uses the detection value of the TOF sensor to detect the runner from the image pickup unit 10. The distance to can be estimated.
  • TOF Time Of Flight
  • LiDAR Light Detection and Ringing
  • the image recognition unit 27 subtracts the distance from the imaging unit 10 to the runner at the imaging time of the first frame from the distance from the imaging unit 10 to the runner at the imaging time of the second frame, and first.
  • the distance traveled by the runner is estimated between the image pickup time of the frame and the image pickup time of the second frame.
  • the image recognition unit 27 estimates the relative speed of the runner based on the distance and the time between the imaging time of the first frame and the imaging time of the second frame.
  • the image recognition unit 27 acquires the user's own running speed from the measurement unit 26.
  • the image recognition unit 27 estimates the absolute speed of the runner by adding the user's own speed to the relative speed of the runner estimated as described above. If there are multiple runners around the user, estimate the absolute speed for each runner.
  • the determination unit 28 is a pacemaker from the plurality of runners based on the setting information related to running stored in the storage unit 25 and the information of a plurality of runners existing around the user recognized by the image recognition unit 27. Identify one runner to be.
  • the determination unit 28 determines that the runner having the speed closest to the user's target speed stored in the storage unit 25 among the speeds of the plurality of runners recognized by the image recognition unit 27 is the runner to be the pacemaker. do.
  • the determination unit 28 may set absolute conditions for determining a runner to be a pacemaker.
  • the runner selected as a pacemaker may be subject to a speed condition that the difference from the user's target speed is limited to the runner running at a speed within a predetermined value. In this case, even if there is at least one runner around the user, the pacemaker is not selected if there is no runner satisfying the speed condition. Runners with large deviations from the target speed are not suitable for pacemakers.
  • the runner selected as the pacemaker may be subject to the distance condition that the distance to the user is limited to the runner within a predetermined distance. In this case, even if there is at least one runner around the user, the pacemaker is not selected if there is no runner satisfying the distance condition.
  • the determination unit 28 may select a runner to be a pacemaker in consideration of another additional condition.
  • the image recognition unit 27 recognizes the vertical movement of the foot of each runner tracking in the frame, and measures the pitch of each runner.
  • the determination unit 28 selects the runner having the pitch closest to the user's target pitch stored in the storage unit 25 as the runner to be the pacemaker. do. The closer the pitch is, the easier it is to run behind.
  • the image recognition unit 27 scores the quality of the running form of each runner tracking in the frame by using a discriminator for scoring the form.
  • the determination unit 28 selects the runner having the highest running form score as the runner to be the pacemaker. A runner with a good running form is easier to run with the back.
  • the image recognition unit 27 recognizes the body size of each runner recognized in the frame.
  • the determination unit 28 selects the runner having the highest body as the runner to be the pacemaker. Air resistance is reduced when a larger runner runs behind him.
  • the determination unit 28 determines the running speed, running pitch, running form, and body size of each runner, respectively. Scores may be made based on the criteria, and the runner with the highest total score may be selected as the runner to be the pacemaker.
  • the presentation information generation unit 29 generates presentation information for notifying the user of one runner specified by the determination unit 28. Specific examples of the presented information will be described later.
  • the output unit 210 outputs the generated presentation information to the presentation unit 30.
  • the presentation unit 30 is a user interface for notifying the user of a runner who should be a pacemaker.
  • the presentation unit 30 includes a display unit 31 and an audio output unit 32.
  • the display unit 31 includes a display such as a liquid crystal display, an organic EL display, and a micro LED display.
  • the display unit 31 receives the presentation information from the output unit 210, the display unit 31 displays an image indicating a runner to be a pacemaker on the lens of the glasses as an AR (Augmented Reality) image.
  • the audio output unit 32 includes a speaker. Upon receiving the presentation information from the output unit 210, the voice output unit 32 outputs voice guidance indicating a runner to be a pacemaker. For example, it outputs a voice guidance such as "It is a runner 3m in front of the left.” The presentation of the pacemaker to the user is performed using at least one of the display unit 31 and the audio output unit 32.
  • FIG. 2 is a diagram showing a configuration example of the wearable terminal device 1 according to the first embodiment.
  • FIG. 2 shows an example in which the wearable terminal device 1 according to the first embodiment is configured with transparent smart glasses.
  • the lens may be prescription or non-prescription. It may be sunglasses.
  • a small display unit 31 is attached to the upper left outside the left lens.
  • the imaging unit 10 is attached at a position adjacent to the display unit 31.
  • a HUD Head-Up Display
  • a HUD Head-Up Display
  • FIG. 3 is a diagram showing an example of a state in which the image recognition unit 27 of the wearable terminal device 1 according to the first embodiment recognizes a plurality of runners Ra, Rb, and Rc in the frame F1.
  • the determination unit 28 determines that the runner Ra on the left front side is a runner to be a pacemaker.
  • FIG. 4 is a diagram showing a display example for allowing the user to recognize the runner Ra, which should be a pacemaker, in the wearable terminal device 1 according to the first embodiment.
  • an arrow indicating the runner Ra, which should be a pacemaker, and the character "pacemaker" are displayed.
  • the first embodiment it is possible to search for a pacemaker suitable for the user from around the user. For example, even in a marathon event, you can easily find a suitable runner to be a pacemaker from a large number of other runners running near you. In the first embodiment, since wireless communication is not required, it is possible to accurately find a runner who should be a pacemaker even in an environment with poor radio wave conditions.
  • FIG. 5 is a diagram showing a functional block of the wearable terminal device 1 according to the second embodiment of the present invention.
  • the wearable terminal device 1 according to the second embodiment is a watch-type terminal device mounted on a runner, and like the first embodiment, a runner that should be a pacemaker from other runners located around the runner. It has a function to search for.
  • the image pickup unit 10 is not essential in the wearable terminal device 1 according to the second embodiment. Hereinafter, the wearable terminal device 1 not equipped with the image pickup unit 10 will be described.
  • the wearable terminal device 1 includes a GPS sensor 11, an acceleration sensor 12, an operation unit 13, a biological sensor 14, a wireless communication unit 15, a processing unit 20, and a presentation unit 30.
  • a GPS sensor 11 an acceleration sensor 12
  • an operation unit 13 a biological sensor 14
  • a wireless communication unit 15 a processing unit 20, and a presentation unit 30.
  • the biosensor 14 is attached to the user, measures the user's biometric information, and outputs the measured biometric information to the processing unit 20.
  • an optical heart rate sensor can be used as the biological sensor 14, for example.
  • the optical heart rate sensor is attached to the user's wrist, irradiates the wrist with LED light, and measures the heart rate by measuring the amount of light scattered by the blood flow in the blood vessel. It is also possible to measure the blood oxygen concentration by using a plurality of LED lights (for example, green, red, infrared rays) of the optical heart rate sensor. Further, a pulse sensor that directly measures an electrocardiogram by sending a weak electric signal to the human body may be used.
  • the wireless communication unit 15 executes short-range wireless communication.
  • short-range wireless communication Bluetooth (registered trademark), Wi-Fi (registered trademark), infrared communication and the like can be used.
  • the wireless communication unit 15 can wirelessly communicate with another wearable terminal device 1 worn by a plurality of runners existing around the user. For example, by using P2P (Peer to Peer) or a mesh network, it is possible to directly perform wireless communication between two or more wearable terminal devices 1 located within a predetermined distance without going through an access point.
  • P2P Peer to Peer
  • mesh network it is possible to directly perform wireless communication between two or more wearable terminal devices 1 located within a predetermined distance without going through an access point.
  • the processing unit 20 includes a position information acquisition unit 22, an acceleration information acquisition unit 23, an input information acquisition unit 24, a biological information acquisition unit 211, a data provision / acquisition unit 212, a storage unit 25, and a measurement unit 26. It includes a determination unit 28, a presentation information generation unit 29, and an output unit 210.
  • the user inputs setting information such as the target speed of the running, the target pitch of the running, the target time of the marathon event, and the actual time of the past marathon event from the operation unit 13.
  • the input information acquisition unit 24 acquires the setting information related to running such as the target speed of running input from the operation unit 13, and stores it in the storage unit 25.
  • the biometric information acquisition unit 211 acquires the user's biometric information from the biosensor 14. For example, the heart rate and the blood oxygen concentration are acquired as biological information.
  • the data providing / acquiring unit 212 informs the other wearable terminal device 1 via the wireless communication unit 15 of the user's position information, the user's running speed, running pitch, biometric data, target time, and actual time. At least one can be sent. Further, the data providing / acquiring unit 212 receives the position information of the other runner, the running speed of the other runner, the running pitch, the biological data, and the target from the other wearable terminal device 1 via the wireless communication unit 15. At least one of the time and the actual time can be received.
  • the determination unit 28 is from the plurality of runners based on the setting information related to running stored in the storage unit 25 and the information of a plurality of runners existing around the user acquired by the data provision / acquisition unit 212. , Identify one runner to be a pacemaker.
  • the determination unit 28 should use the runner having the speed closest to the user's target speed stored in the storage unit 25 as the pacemaker among the speeds of the plurality of runners acquired by the data provision / acquisition unit 212. Is determined. As in the first embodiment, the determination unit 28 may set absolute conditions for determining a runner to be a pacemaker.
  • the determination unit 28 may narrow down the runners to be pacemakers based on the different data of the plurality of runners acquired by the data provision / acquisition unit 212.
  • the determination unit 28 may exclude runners whose heart rate is higher than the reference value in the acquired biometric data from the selection candidates of the pacemaker. A runner with an excessively high heart rate can be presumed to have a high probability of slowing down in the future, and is judged to be unsuitable for a pacemaker.
  • the determination unit 28 may exclude runners whose deviation between the acquired target time or actual time of the marathon and the predicted time based on the current pace is equal to or more than a predetermined value from the selection candidates of the pacemaker. If the target time or the actual time is significantly different from the predicted time based on the current pace, it is highly probable that the pace will slow down or rise in the future, and it is judged that the pacemaker is not suitable.
  • the presentation information generation unit 29 generates presentation information for notifying the user of one runner specified by the determination unit 28.
  • the presentation information generation unit 29 is present on the user and at least one around the user based on the position information acquired from the plurality of wearable terminal devices 1 worn by the plurality of runners. Generates a schematic bird's-eye view image showing the relative positional relationship of the runners.
  • the output unit 210 outputs the generated presentation information to the presentation unit 30.
  • the display unit 31 When the display unit 31 receives the presentation information from the output unit 210, the display unit 31 displays the received bird's-eye view image. Upon receiving the presentation information from the output unit 210, the voice output unit 32 outputs voice guidance indicating a runner to be a pacemaker. The presentation of the pacemaker to the user is performed using at least one of the display unit 31 and the audio output unit 32.
  • the determination unit 28 of the wearable terminal device 1 shows the relative of the user Ru and a plurality of runners Ra, Rb, Rc, and Rd existing around the user Ru based on the short-range wireless communication. It is a figure which shows an example of the state which grasped the positional relationship. Here, it is assumed that the determination unit 28 determines that the runner Ra on the left front side is a runner to be a pacemaker.
  • FIG. 7 is a diagram showing a display example for causing the user to recognize the runner Ra, which should be a pacemaker, in the wearable terminal device 1 according to the second embodiment.
  • the runner Ra which should be a pacemaker, is marked in the display unit 31 of the watch-type wearable terminal device 1.
  • the first embodiment it is possible to search for a pacemaker suitable for the user from around the user. For example, even in a marathon event, you can easily find a suitable runner to be a pacemaker from a large number of other runners running near you.
  • the second embodiment since wireless communication is used, information on the runner running behind him / her can be easily obtained.
  • the wireless communication unit 15 may be added to the glasses-type wearable terminal device 1 according to the first embodiment. Further, an external biosensor 14 may be added. In that case, wireless communication can be used to obtain at least one of the speed, pitch, biometric data, target time, and actual time of other runners, making a more comprehensive judgment from multiple runners around. Based on this, a pacemaker can be selected.
  • the image pickup unit 10 may be added to the watch-type wearable terminal device 1 according to the second embodiment.
  • image recognition can recognize at least one of the speed, pitch, running form, and body size of other runners, and multiple runners around can use a pacemaker based on a more comprehensive judgment. Can be selected.
  • the user selects a pacemaker from a plurality of runners around the user while the user is running has been described.
  • it can also be used to select a pacemaker from a plurality of athletes around the user while the user is competing.
  • the present invention can be used by marathon runners when searching for a pacemaker.
  • 1 wearable terminal device 10 imaging unit, 11 GPS sensor, 12 acceleration sensor, 13 operation unit, 14 biosensor, 15 wireless communication unit, 20 processing unit, 21 video acquisition unit, 22 position information acquisition unit, 23 acceleration information acquisition unit , 24 input information acquisition unit, 25 storage unit, 26 measurement unit, 27 image recognition unit, 28 judgment unit, 29 presentation information generation unit, 210 output unit, 211 biometric information acquisition unit, 212 data provision / acquisition unit, 30 presentation unit. , 31 display unit, 32 audio output unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

記憶部２５は、ランニングに係るユーザの設定情報を記憶する。取得部は、ユーザの周囲に存在する複数のランナーの情報を取得する。判定部２８は、記憶部２５に記憶されている設定情報と、取得部で取得した情報に基づいて、複数のランナーから一のランナーを特定する。出力部２１０は、判定部２８で特定した一のランナーをユーザに提示するための提示情報を出力する。

Description

判定装置、及び判定方法
　本発明は、ペースメーカとすべきランナーを判定する判定装置、及び判定方法に関する。
　マラソン大会には大勢のランナーが参加する。マラソン大会で好記録を出すには、自分の実力に合ったペースメーカを見つけ、その後ろに付いて走ることが有効である。ペースメーカに関して、走行中のユーザが装着しているディスプレイグラスに、ユーザが設定したペースで走行するバーチャルランナーを表示させることが考えられる（例えば、特許文献１参照）。特に、一人でランニングしているときに有効な方法である。
特開２０１４－５４３０３号公報
　バーチャルランナーは風除けにならないため、実際のレースでは、周囲に実在する複数のランナーから、自分に適したペースメーカを見つけることが望ましい。
　本実施形態はこうした状況に鑑みてなされたものであり、その目的は、周囲から、ペースメーカに適したランナーを探索する技術を提供することにある。
　上記課題を解決するために、本実施形態のある態様の判定装置は、ランニングに係るユーザの設定情報を記憶する記憶部と、前記ユーザの周囲に存在する複数のランナーの情報を取得する取得部と、前記記憶部に記憶されている設定情報と、前記取得部で取得した情報に基づいて、前記複数のランナーから一のランナーを特定する判定部と、前記判定部で特定した一のランナーを前記ユーザに提示するための提示情報を出力する出力部と、を備える。
　本実施形態の別の態様は、判定方法である。この方法は、ユーザの周囲に存在する複数のランナーの情報を取得するステップと、予め記憶されているランニングに係る前記ユーザの設定情報と、取得した情報に基づいて、前記複数のランナーから一のランナーを特定するステップと、特定した一のランナーを前記ユーザに提示するための提示情報を出力するステップと、を有する。
　なお、以上の構成要素の任意の組合せ、本実施形態の表現を装置、システム、方法、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本実施形態の態様として有効である。
　本実施形態によれば、周囲から、ペースメーカに適したランナーを探索することができる。
本発明の実施の形態１に係るウェアラブル端末装置の機能ブロックを示す図である。 実施の形態１に係るウェアラブル端末装置の構成例を示す図である。 実施の形態１に係るウェアラブル端末装置の画像認識部が、フレームにおいて、複数のランナーを認識した状態の一例を示す図である。 実施の形態１に係るウェアラブル端末装置において、ペースメーカとすべきランナーをユーザに認識させるための表示例を示す図である。 本発明の実施の形態２に係るウェアラブル端末装置の機能ブロックを示す図である。 実施の形態２に係るウェアラブル端末装置の判定部が、近距離無線通信に基づき、ユーザと、ユーザの周囲に存在する複数のランナーの相対的な位置関係を把握した状態の一例を示す図である。 実施の形態２に係るウェアラブル端末装置において、ペースメーカとすべきランナーをユーザに認識させるための表示例を示す図である。
（実施の形態１）
　図１は、本発明の実施の形態１に係るウェアラブル端末装置１の機能ブロックを示す図である。実施の形態１に係るウェアラブル端末装置１は、ランナーに装着されるメガネ型の端末装置であり、当該ランナーの周囲に位置する他のランナーから、ペースメーカとすべきランナーを探索する機能を有している。
　実施の形態１に係るウェアラブル端末装置１は、撮像部１０、ＧＰＳセンサ１１、加速度センサ１２、操作部１３、処理部２０、及び提示部３０を備える。撮像部１０は、ウェアラブル端末装置１を装着しているランナー（以下、ユーザという）の周囲を撮影するためのカメラである。例えば、撮像部１０はメガネ型のウェアラブル端末装置１のフレームに固定され、主に、ユーザの進行方向前方を撮影する。なお、魚眼レンズ等の超広角レンズを有するカメラを使用する場合、前方だけでなく、より広範囲を画角に収めることができる。例えば、帽子の上に外付けのカメラを設置した場合、３６０°全周囲を画角に収めることができる。
　撮像部１０は、固体撮像素子及び信号処理回路を含む。固体撮像素子には例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Devices）イメージセンサを使用することができる。固体撮像素子は、入射される光を電気的な映像信号に変換し、信号処理回路に出力する。信号処理回路は、固体撮像素子から入力される映像信号に対して、Ａ／Ｄ変換、ノイズ除去などの信号処理を施し、処理部２０に出力する。
　ＧＰＳセンサ１１は、ウェアラブル端末装置１の現在位置を検出して処理部２０に出力する。具体的には複数のＧＰＳ衛星からそれぞれ発信時刻を受信し、受信した複数の発信時刻をもとに受信地点の緯度経度を算出する。加速度センサ１２は、ウェアラブル端末装置１に加わる三軸の加速度成分を検出して処理部２０に出力する。
　操作部１３は、ボタンやタッチパネル等を有し、ユーザの入力を受け付ける。例えば、操作部１３は、ユーザからランニングの目標速度（例えば、キロ４分）、ランニングの目標ピッチ等の設定情報を受け付ける。当該設定情報は、複数のランナーが参加するランニング競技（例えば、マラソン大会）の前に入力される必要がある。
　処理部２０は、映像取得部２１、位置情報取得部２２、加速度情報取得部２３、入力情報取得部２４、記憶部２５、測定部２６、画像認識部２７、判定部２８、提示情報生成部２９、及び出力部２１０を含む。処理部２０のこれらの機能は、ハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源として、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＩＳＰ(Image Signal Processor)、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＳｏＣ（System on a Chip）、その他のＬＳＩを利用できる。ソフトウェア資源としてファームウェアなどのプログラムを利用できる。
　入力情報取得部２４は、操作部１３から入力された、ランニングの目標速度等のランニングに係る設定情報を取得する。記憶部２５は、入力情報取得部２４により取得された、ランニングに係る設定情報を記憶する。
　位置情報取得部２２は、ＧＰＳセンサ１１から、ウェアラブル端末装置１を装着しているユーザの現在位置情報を取得する。加速度情報取得部２３は、加速度センサ１２から、ウェアラブル端末装置１に加わる三軸の加速度成分情報を取得する。
　測定部２６は、位置情報取得部２２により取得されたユーザの現在位置情報をもとに、ユーザの速度を測定する。最も単純な処理として、測定部２６は、二地点の位置情報をもとに、二地点間の距離と、二地点の位置情報をそれぞれ取得した二の時刻間の時間を特定し、当該距離と当該時間をもとに速度を測定する。
　測定部２６は、加速度情報取得部２３により取得された三軸の加速度成分をもとに、ユーザのピッチ（単位時間あたりの歩数）を測定する。ユーザのランニング又はウォーキング中は、加速度センサ１２がどのような向きであっても、Ｘ軸、Ｙ軸、Ｚ軸方向の加速度成分の内、一の軸の加速度成分が他の二軸の加速度成分に対して、相対的な周期的変化が大きくなる。測定部２６は、周期的変化が最も大きな一の軸の加速度成分のピーク値を継続的に検出することにより、ユーザのピッチを測定する。
　映像取得部２１は、撮像部１０により撮像された映像を取得する。画像認識部２７は、取得された映像の各フレーム内において、オブジェクト（本明細書では、ランナー）を探索する。画像認識部２７は、辞書データとして、ランナーが写った多数の画像を学習して生成されたランナーの識別器を有する。
　画像認識部２７は、映像のフレーム内をランナーの識別器を用いて探索する。ランナー（オブジェクト）の認識には例えば、ＨＯＧ(Histograms of Oriented Gradients)特徴量を用いることができる。なお、Haar-like特徴量やＬＢＰ(Local Binary Patterns)特徴量などを用いてもよい。フレーム内にランナーが存在する場合、画像認識部２７は、矩形の検出枠でランナーを補足する。フレーム内に複数のランナーが存在する場合、画像認識部２７は、個々のランナーを個別に認識する。
　画像認識部２７は、フレーム内で認識した個々のランナーを、後続するフレーム内において追尾する。ランナー（オブジェクト）の追尾には、例えば、パーティクルフィルタやミーンシフト法を使用することができる。
　画像認識部２７は、連続的に撮像される複数のフレーム内における、個々のランナーの位置をもとに、個々のランナーの相対的な速度を推定する。具体的には、画像認識部２７は、第１のフレーム内のランナーの位置のｙ座標と、予め用意されたテーブル又は関数をもとに、第１のフレームの撮像時刻における、撮像部１０から当該ランナーまでの距離を推定する。同様に、画像認識部２７は、第２のフレーム内の当該ランナーの位置のｙ座標と、予め用意されたテーブル又は関数をもとに、第２のフレームの撮像時刻における、撮像部１０から当該ランナーまでの距離を推定する。
　当該テーブル又は関数は、フレーム内のランナーの位置のｙ座標と、撮像部１０から当該ランナーまでの距離との関係性を記述したものであり、撮像部１０の想定される装着位置（路面からの高さ）及び撮像部１０の画角に応じて決定される。
　なお、撮像部１０が２眼ステレオカメラで構成されている場合、図示しない距離推定部は、２眼で撮影された画像の視差をもとに、撮像部１０から当該ランナーまでの距離を推定することができる。また、撮像部１０にＬｉＤＡＲ（Light Detection and Ranging）等のＴＯＦ（Time Of Flight)センサが搭載されている場合、距離推定部は、ＴＯＦセンサの検出値をもとに、撮像部１０から当該ランナーまでの距離を推定することができる。
　画像認識部２７は、第２のフレームの撮像時刻における撮像部１０から当該ランナーまでの距離から、第１のフレームの撮像時刻における撮像部１０から当該ランナーまでの距離を減算して、第１のフレームの撮像時刻から第２のフレームの撮像時刻の間に、当該ランナーが進んだ距離を推定する。画像認識部２７は、当該距離と、第１のフレームの撮像時刻と第２のフレームの撮像時刻間の時間をもとに、当該ランナーの相対的な速度を推定する。
　画像認識部２７は、測定部２６からユーザ自身のランニングの速度を取得する。画像認識部２７は、上述のように推定した上記ランナーの相対的な速度に、ユーザ自身の速度を加算することにより、上記ランナーの絶対的な速度を推定する。ユーザの周囲に複数のランナーが存在する場合、個々のランナーごとに絶対的な速度を推定する。
　判定部２８は、記憶部２５に記憶されているランニングに係る設定情報と、画像認識部２７により認識されたユーザの周囲に存在する複数のランナーの情報に基づいて、当該複数のランナーから、ペースメーカとすべき一のランナーを特定する。
　例えば、判定部２８は、画像認識部２７により認識された複数のランナーの速度の内、記憶部２５に記憶されているユーザの目標速度に最も近い速度のランナーを、ペースメーカとすべきランナーと判定する。なお、判定部２８は、ペースメーカとすべきランナーと判定するための絶対的な条件を設定していてもよい。
　例えば、ペースメーカとして選定されるランナーは、ユーザの目標速度との差異が所定値以内の速度で走っているランナーに限るという速度条件が課されてもよい。この場合、ユーザの周囲に少なくとも一のランナーが存在する場合でも、当該速度条件を満たすランナーがいない場合、ペースメーカが選定されない。目標速度との乖離が大きいランナーは、ペースメーカに適さない。
　また、ペースメーカとして選定されるランナーは、ユーザとの距離が所定の距離内であるランナーに限るという距離条件が課されてもよい。この場合、ユーザの周囲に少なくとも一のランナーが存在する場合でも、当該距離条件を満たすランナーがいない場合、ペースメーカが選定されない。
　また、ユーザの周囲に速度条件と距離条件を満たすランナーが複数存在する場合、判定部２８は、別の追加条件を加味して、ペースメーカとすべきランナーを選定してもよい。
　例えば、画像認識部２７は、フレーム内において追尾している個々のランナーの足の上下運動を認識して、個々のランナーのピッチを測定する。判定部２８は、ユーザの周囲に距離条件と速度条件を満たすランナーが複数存在する場合、記憶部２５に記憶されているユーザの目標ピッチに最も近いピッチのランナーを、ペースメーカとすべきランナーに選定する。ピッチが近い方が、後ろに付いて走りやすい。
　また、画像認識部２７は、フレーム内において追尾している個々のランナーのランニングフォームの良し悪しを、フォーム採点用の識別器を用いてスコア化する。判定部２８は、ユーザの周囲に距離条件と速度条件を満たすランナーが複数存在する場合、ランニングフォームのスコアが最も高いランナーを、ペースメーカとすべきランナーに選定する。ランニングフォームが良いランナーの方が後ろに付いて走りやすい。
　また、画像認識部２７は、フレーム内において認識した個々のランナーの体の大きさを認識する。判定部２８は、ユーザの周囲に距離条件と速度条件を満たすランナーが複数存在する場合、体が最も高いランナーを、ペースメーカとすべきランナーに選定する。体の大きいランナーの方が後ろに付いて走った際、空気抵抗が軽減される。
　また、判定部２８は、ユーザの周囲に距離条件と速度条件を満たすランナーが複数存在する場合、個々のランナーのランニングの速度、ランニングのピッチ、ランニングフォーム、及び体の大きさをそれぞれ、所定の基準をもとにスコア化し、スコアの合計値が最も高いランナーを、ペースメーカとすべきランナーに選定してもよい。
　提示情報生成部２９は、判定部２８により特定された一のランナーをユーザに知らせるための提示情報を生成する。提示情報の具体例は後述する。出力部２１０は、生成された提示情報を提示部３０に出力する。
　提示部３０は、ペースメーカとすべきランナーをユーザに知らせるためのユーザインタフェースである。提示部３０は、表示部３１及び音声出力部３２を備える。表示部３１は、液晶ディスプレイ、有機ＥＬディスプレイ、マイクロＬＥＤディスプレイ等のディスプレイを備える。表示部３１は、出力部２１０から提示情報を受信すると、メガネのレンズにペースメーカとすべきランナーを指し示す画像を、ＡＲ（Augmented Reality）画像で表示する。
　音声出力部３２はスピーカを備える。音声出力部３２は、出力部２１０から提示情報を受信すると、ペースメーカとすべきランナーを指し示す音声案内を出力する。例えば、「左前方３ｍのランナーです。」といった音声案内を出力する。なお、ユーザへのペースメーカの提示は、表示部３１及び音声出力部３２の少なくとも一方を使用して行われる。
　図２は、実施の形態１に係るウェアラブル端末装置１の構成例を示す図である。図２は、実施の形態１に係るウェアラブル端末装置１を、透過式のスマートグラスで構成する例を示している。レンズは度付きであってもよいし、度なしであってもよい。サングラスであってもよい。図２に示す例では、左側のレンズの外側の左上に小型の表示部３１が取り付けられている。表示部３１に隣接する位置に撮像部１０が取り付けられている。なお、表示部３１として、レンズに映像を投影するＨＵＤ（Head-Up Display）を使用してもよい。
　図３は、実施の形態１に係るウェアラブル端末装置１の画像認識部２７が、フレームＦ１において、複数のランナーＲａ、Ｒｂ、Ｒｃを認識した状態の一例を示す図である。ここでは、判定部２８により、左前方のランナーＲａがペースメーカとすべきランナーと判定されたとする。
　図４は、実施の形態１に係るウェアラブル端末装置１において、ペースメーカとすべきランナーＲａをユーザに認識させるための表示例を示す図である。図４に示す例では、ペースメーカとすべきランナーＲａを指し示す矢印と、ペースメーカという文字が表示されている。
　以上説明したように実施の形態１によれば、ユーザの周囲から、ユーザに適したペースメーカを探索することができる。例えば、マラソン大会においても、自分の近くを走る大勢の他のランナーから、ペースメーカとすべき適切なランナーを容易に探索することができる。実施の形態１では、無線通信を必要としないため、電波状況の悪い環境下でも、ペースメーカとすべきランナーを的確に見つけることができる。
（実施の形態２）
　図５は、本発明の実施の形態２に係るウェアラブル端末装置１の機能ブロックを示す図である。実施の形態２に係るウェアラブル端末装置１は、ランナーに装着される時計型の端末装置であり、実施の形態１と同様に、当該ランナーの周囲に位置する他のランナーから、ペースメーカとすべきランナーを探索する機能を有している。なお、実施の形態２に係るウェアラブル端末装置１では撮像部１０が必須ではない。以下、撮像部１０を搭載しないウェアラブル端末装置１を説明する。
　実施の形態２に係るウェアラブル端末装置１は、ＧＰＳセンサ１１、加速度センサ１２、操作部１３、生体センサ１４、無線通信部１５、処理部２０、及び提示部３０を備える。以下、実施の形態１に係るウェアラブル端末装置１との相違点を説明する。
　生体センサ１４はユーザに装着され、ユーザの生体情報を測定し、測定した生体情報を処理部２０に出力する。生体センサ１４として例えば、光学式の心拍センサを使用することができる。光学式の心拍センサはユーザの手首に装着され、手首にＬＥＤ光を照射し、血管内の血流によって散乱された光量を測定することにより心拍を測定する。また、光学式の心拍センサのＬＥＤ光を複数（例えば、緑、赤、赤外線）にすることにより、血中酸素濃度を測定することもできる。また、微弱な電気信号を人体に流して直接、心電図を測定する脈拍センサを使用してもよい。
　無線通信部１５は、近距離無線通信を実行する。近距離無線通信として、Bluetooth（登録商標）、Wi-Fi（登録商標）、赤外線通信等を使用することができる。無線通信部１５は、ユーザの周囲に存在する複数のランナーがそれぞれ装着している他のウェアラブル端末装置１と無線通信することができる。例えば、Ｐ２Ｐ（Peer to Peer）やメッシュネットワークにより、所定の距離圏内に位置する二以上のウェアラブル端末装置１間で、アクセスポイントを介さずに直接、無線通信することもできる。
　実施の形態２では、処理部２０は、位置情報取得部２２、加速度情報取得部２３、入力情報取得部２４、生体情報取得部２１１、データ提供・取得部２１２、記憶部２５、測定部２６、判定部２８、提示情報生成部２９、及び出力部２１０を含む。
　実施の形態２では、ユーザは、操作部１３からランニングの目標速度、ランニングの目標ピッチに加え、マラソン大会の目標タイム、過去のマラソン大会の実績タイム等の設定情報を入力する。入力情報取得部２４は、操作部１３から入力された、ランニングの目標速度等のランニングに係る設定情報を取得し、記憶部２５に記憶する。
　生体情報取得部２１１は、生体センサ１４からユーザの生体情報を取得する。生体情報として例えば、心拍数や血中酸素濃度を取得する。
　データ提供・取得部２１２は、無線通信部１５を介して、他のウェアラブル端末装置１に、ユーザの位置情報、並びにユーザのランニングの速度、ランニングのピッチ、生体データ、目標タイム、及び実績タイムの少なくとも一を送信することができる。また、データ提供・取得部２１２は、無線通信部１５を介して、他のウェアラブル端末装置１から、他のランナーの位置情報、並びに他のランナーのランニングの速度、ランニングのピッチ、生体データ、目標タイム、及び実績タイムの少なくとも一を受信することができる。
　判定部２８は、記憶部２５に記憶されているランニングに係る設定情報と、データ提供・取得部２１２により取得されたユーザの周囲に存在する複数のランナーの情報に基づいて、当該複数のランナーから、ペースメーカとすべき一のランナーを特定する。
　例えば、判定部２８は、データ提供・取得部２１２により取得された複数のランナーの速度の内、記憶部２５に記憶されているユーザの目標速度に最も近い速度のランナーを、ペースメーカとすべきランナーと判定する。なお実施の形態１と同様に、判定部２８は、ペースメーカとすべきランナーと判定するための絶対的な条件を設定していてもよい。
　また、判定部２８は、データ提供・取得部２１２により取得された複数のランナーの別のデータをもとに、ペースメーカとすべきランナーを絞り込んでもよい。
　例えば、判定部２８は、取得された生体データに含まれる心拍数が基準値より高いランナーを、ペースメーカの選定候補から除外してもよい。心拍数が高すぎるランナーは、今後ペースが落ちてくる蓋然性が高いと推測でき、ペースメーカに適さないと判定する。
　また、判定部２８は、取得されたマラソンの目標タイム又は実績タイムと、現在のペースに基づく予測タイムとの乖離が所定値以上のランナーを、ペースメーカの選定候補から除外してもよい。目標タイム又は実績タイムが現在のペースに基づく予測タイムと大きく異なる場合、今後ペースが落ちる又は上がる蓋然性が高いと推測でき、ペースメーカに適さないと判定する。
　提示情報生成部２９は、判定部２８により特定された一のランナーをユーザに知らせるための提示情報を生成する。実施の形態２では例えば、提示情報生成部２９は、複数のランナーがそれぞれ装着している複数のウェアラブル端末装置１から取得した位置情報をもとに、ユーザと、ユーザの周囲に存在する少なくとも一のランナーの相対的な位置関係を示す模式的な俯瞰画像を生成する。出力部２１０は、生成された提示情報を提示部３０に出力する。
　表示部３１は、出力部２１０から提示情報を受信すると、受信した俯瞰画像を表示する。音声出力部３２は、出力部２１０から提示情報を受信すると、ペースメーカとすべきランナーを指し示す音声案内を出力する。なお、ユーザへのペースメーカの提示は、表示部３１及び音声出力部３２の少なくとも一方を使用して行われる。
　図６は、実施の形態２に係るウェアラブル端末装置１の判定部２８が、近距離無線通信に基づき、ユーザＲｕと、ユーザＲｕの周囲に存在する複数のランナーＲａ、Ｒｂ、Ｒｃ、Ｒｄの相対的な位置関係を把握した状態の一例を示す図である。ここでは、判定部２８により、左前方のランナーＲａがペースメーカとすべきランナーと判定されたとする。
　図７は、実施の形態２に係るウェアラブル端末装置１において、ペースメーカとすべきランナーＲａをユーザに認識させるための表示例を示す図である。図７に示す例では、時計型のウェアラブル端末装置１の表示部３１内において、ペースメーカとすべきランナーＲａがマーキングされている。
　以上説明したように実施の形態１によれば、ユーザの周囲から、ユーザに適したペースメーカを探索することができる。例えば、マラソン大会においても、自分の近くを走る大勢の他のランナーから、ペースメーカとすべき適切なランナーを容易に探索することができる。実施の形態２では、無線通信を使用するため、自分より後ろを走っているランナーの情報も容易に取得することができる。
　以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
　例えば、実施の形態１に係るメガネ型のウェアラブル端末装置１に、無線通信部１５が追加されてもよい。さらに外付けの生体センサ１４が追加されてもよい。その場合、無線通信を使用して、他のランナーの速度、ピッチ、生体データ、目標タイム、及び実績タイムの少なくとも一を取得することができ、周囲の複数のランナーから、より総合的な判断に基づき、ペースメーカを選定することができる。
　また、実施の形態２に係る時計型のウェアラブル端末装置１に、撮像部１０が追加されてもよい。その場合、画像認識により、他のランナーの速度、ピッチ、ランニングフォーム、及び体の大きさの少なくとも一を認識することができ、周囲の複数のランナーから、より総合的な判断に基づき、ペースメーカを選定することができる。
　実施の形態１、２では、ユーザがランニング中に、ユーザの周囲の複数のランナーからペースメーカを選定する例を説明した。この点、ユーザが競歩中に、ユーザの周囲の複数の選手からペースメーカを選定することにも使用可能である。
　本発明は、マラソンランナーがペースメーカを探索する際に利用可能である。
　１　ウェアラブル端末装置、　１０　撮像部、　１１　ＧＰＳセンサ、　１２　加速度センサ、　１３　操作部、　１４　生体センサ、　１５　無線通信部、　２０　処理部、　２１　映像取得部、　２２　位置情報取得部、　２３　加速度情報取得部、　２４　入力情報取得部、　２５　記憶部、　２６　測定部、　２７　画像認識部、　２８　判定部、　２９　提示情報生成部、　２１０　出力部、　２１１　生体情報取得部、　２１２　データ提供・取得部、　３０　提示部、　３１　表示部、　３２　音声出力部。

Claims (5)

  1. 　ランニングに係るユーザの設定情報を記憶する記憶部と、
    　前記ユーザの周囲に存在する複数のランナーの情報を取得する取得部と、
    　前記記憶部に記憶されている設定情報と、前記取得部で取得した情報に基づいて、前記複数のランナーから一のランナーを特定する判定部と、
    　前記判定部で特定した一のランナーを前記ユーザに提示するための提示情報を出力する出力部と、
    　を備えることを特徴とする判定装置。
  2. 　前記判定部は、前記記憶部に設定情報として記憶されたランニングの速度と、前記取得部で取得した情報に基づく前記複数のランナーのランニングの速度を比較して、前記複数のランナーから一のランナーを特定する、
    　ことを特徴とする請求項１に記載の判定装置。
  3. 　前記取得部は、前記ユーザの周囲を撮影している撮像部から映像を取得し、
    　前記判定装置は、
    　前記取得部で取得した映像内から、前記複数のランナーを画像認識する画像認識部をさらに備え、
    　前記画像認識部は、前記複数のランナーのランニングの速度、ランニングのピッチ、ランニングフォーム、及び体の大きさの少なくとも一を認識し、
    　前記判定部は、前記記憶部に設定情報として記憶されたランニングの速度、及びランニングのピッチの少なくとも一と、前記画像認識部で画像認識した前記複数のランナーのランニングの速度、ランニングのピッチ、ランニングフォーム、及び体の大きさの少なくとも一に基づいて、前記複数のランナーから一のランナーを特定する、
    　ことを特徴とする請求項１または２に記載の判定装置。
  4. 　前記取得部は、前記複数のランナーの判定装置から無線通信を介して、前記複数のランナーのランニングの速度、ランニングのピッチ、生体データ、目標タイム、及び実績タイムの少なくとも一を取得し、
    　前記判定部は、前記記憶部に設定情報として記憶されたランニングの速度、ランニングのピッチ、目標タイム、及び実績タイムの少なくとも一と、前記取得部で取得した前記複数のランナーのランニングの速度、ランニングのピッチ、生体データ、目標タイム、及び実績タイムラの少なくとも一に基づいて、前記複数のランナーから一のランナーを特定する、
    　ことを特徴とする請求項１または２に記載の判定装置。
  5. 　ユーザの周囲に存在する複数のランナーの情報を取得するステップと、
    　予め記憶されているランニングに係る前記ユーザの設定情報と、取得した情報に基づいて、前記複数のランナーから一のランナーを特定するステップと、
    　特定した一のランナーを前記ユーザに提示するための提示情報を出力するステップと、
    　を有することを特徴とする判定方法。
PCT/JP2021/028069 2020-10-28 2021-07-29 判定装置、及び判定方法 WO2022091507A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/056,740 US20230079694A1 (en) 2020-10-28 2022-11-18 Determination device and determination method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020180326A JP7439727B2 (ja) 2020-10-28 2020-10-28 判定装置、及び判定方法
JP2020-180326 2020-10-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/056,740 Continuation US20230079694A1 (en) 2020-10-28 2022-11-18 Determination device and determination method

Publications (1)

Publication Number Publication Date
WO2022091507A1 true WO2022091507A1 (ja) 2022-05-05

Family

ID=81382284

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/028069 WO2022091507A1 (ja) 2020-10-28 2021-07-29 判定装置、及び判定方法

Country Status (3)

Country Link
US (1) US20230079694A1 (ja)
JP (1) JP7439727B2 (ja)
WO (1) WO2022091507A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003242584A (ja) * 2002-02-13 2003-08-29 Seiko Instruments Inc 身体装着型電子機器システム及び身体装着型電子機器
US20100222179A1 (en) * 2009-02-27 2010-09-02 Sinclair Temple Presenting information to users during an activity, such as information from a previous or concurrent outdoor, physical activity
JP2015166816A (ja) * 2014-03-04 2015-09-24 富士通株式会社 表示装置，表示制御プログラム及び表示制御方法
US20180172835A1 (en) * 2015-06-22 2018-06-21 Elite Positioning Technologies Pty Limited System and method for providing a user with an indication of position
US20180185704A1 (en) * 2017-01-04 2018-07-05 International Business Machines Corporation Normalizing scores of one or more predefined segments to establish pace comparisons of actors that participate in physical activities on the predefined segments
KR101933310B1 (ko) * 2017-07-05 2018-12-27 김용숙 위치 기반 스포츠 코칭 서비스 제공 방법, 이를 수행하는 위치 기반 스포츠 코칭 서비스 제공 시스템
US20190311539A1 (en) * 2018-04-05 2019-10-10 5 Stone Patents System for simulating a virtual fitness partner

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9607443B2 (en) * 2013-02-25 2017-03-28 Peter Randall Harvey Portable race device for displaying real-time race information
US10463909B2 (en) * 2015-12-27 2019-11-05 Seismic Holdings, Inc. System and method for using performance signatures

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003242584A (ja) * 2002-02-13 2003-08-29 Seiko Instruments Inc 身体装着型電子機器システム及び身体装着型電子機器
US20100222179A1 (en) * 2009-02-27 2010-09-02 Sinclair Temple Presenting information to users during an activity, such as information from a previous or concurrent outdoor, physical activity
JP2015166816A (ja) * 2014-03-04 2015-09-24 富士通株式会社 表示装置，表示制御プログラム及び表示制御方法
US20180172835A1 (en) * 2015-06-22 2018-06-21 Elite Positioning Technologies Pty Limited System and method for providing a user with an indication of position
US20180185704A1 (en) * 2017-01-04 2018-07-05 International Business Machines Corporation Normalizing scores of one or more predefined segments to establish pace comparisons of actors that participate in physical activities on the predefined segments
KR101933310B1 (ko) * 2017-07-05 2018-12-27 김용숙 위치 기반 스포츠 코칭 서비스 제공 방법, 이를 수행하는 위치 기반 스포츠 코칭 서비스 제공 시스템
US20190311539A1 (en) * 2018-04-05 2019-10-10 5 Stone Patents System for simulating a virtual fitness partner

Also Published As

Publication number Publication date
JP7439727B2 (ja) 2024-02-28
JP2022071392A (ja) 2022-05-16
US20230079694A1 (en) 2023-03-16

Similar Documents

Publication Publication Date Title
CN108431667B (zh) 信息处理装置、信息处理方法和程序
US11755102B2 (en) User interface interaction paradigms for eyewear device with limited field of view
EP2596746B1 (en) Pupil detection device and pupil detection method
US20180081434A1 (en) Eye and Head Tracking
US20130342457A1 (en) Data manipulation on electronic device and remote terminal
WO2016031105A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN105607259A (zh) 一种可穿戴装置和运动管理方法
US9683859B2 (en) Method for providing navigation using wearable device and vehicle for carrying out the same
US10248852B2 (en) Method for recognizing facial expression of headset wearing user and apparatus enabling the same
US20220165073A1 (en) State detection device and state detection method
US20180140923A1 (en) Image processing apparatus, analysis system, and method for processing images
US10948988B1 (en) Contextual awareness based on eye motion tracking by an eye-mounted system
US11610607B1 (en) Video highlights with user viewing, posting, sending and exporting
Chen et al. Vision-based elderly fall detection algorithm for mobile robot
CN111684394A (zh) 视线检测装置、所述视线检测装置的控制方法、角膜反射像位置的检测方法、计算机程序以及存储介质
WO2022091507A1 (ja) 判定装置、及び判定方法
CN110998673A (zh) 信息处理装置、信息处理方法和计算机程序
CN115335754A (zh) 地理空间图像表面处理和选择
CN111344776B (zh) 信息处理装置、信息处理方法和程序
US11538499B1 (en) Video highlights with auto trimming
US11798282B1 (en) Video highlights with user trimming
WO2024087456A1 (zh) 确定朝向信息以及自动驾驶车辆
NL2031747B1 (en) Latency reduction in an eye tracker of an autostereoscopic display device
WO2024162276A1 (ja) 装着型表示装置、情報処理装置、及び画像提示方法
US20210294102A1 (en) Context-based image state selection

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21885629

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21885629

Country of ref document: EP

Kind code of ref document: A1