WO2018069985A1 - 採点支援プログラム、採点支援装置および採点支援方法 - Google Patents

採点支援プログラム、採点支援装置および採点支援方法 Download PDF

Info

Publication number
WO2018069985A1
WO2018069985A1 PCT/JP2016/080154 JP2016080154W WO2018069985A1 WO 2018069985 A1 WO2018069985 A1 WO 2018069985A1 JP 2016080154 W JP2016080154 W JP 2016080154W WO 2018069985 A1 WO2018069985 A1 WO 2018069985A1
Authority
WO
WIPO (PCT)
Prior art keywords
technique
scoring
identification information
referee
input
Prior art date
Application number
PCT/JP2016/080154
Other languages
English (en)
French (fr)
Inventor
和也 川島
和己 久保田
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to CN201680089879.9A priority Critical patent/CN109789329B/zh
Priority to PCT/JP2016/080154 priority patent/WO2018069985A1/ja
Priority to JP2018544614A priority patent/JP6683938B2/ja
Priority to EP16918513.9A priority patent/EP3527268A4/en
Publication of WO2018069985A1 publication Critical patent/WO2018069985A1/ja
Priority to US16/365,185 priority patent/US10936860B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/22—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people in connection with sports or games
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0638—Displaying moving images of recorded environment, e.g. virtual environment
    • A63B2071/0641—Displaying moving images of recorded environment, e.g. virtual environment with a marker advancing in function of the exercise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Definitions

  • the present invention relates to a scoring support program, a scoring support device, and a scoring support method.
  • referees will score the performances of the competitors, and the ranking of each competitor will be determined according to the scored points.
  • a gymnastics competition includes one technique in which a plurality of techniques are included. In such a competition, the referee visually identifies the athlete's performance and identifies the technique. The referee identifies the degree of difficulty of the identified technique or the group of the identified technique, and performs scoring according to the identified difficulty or group.
  • it is considered to use information processing technology for scoring. For example, it receives athlete data for each athlete transmitted from a communication terminal held by the athlete, and generates referee result data indicating scoring results based on the athlete data and pre-stored referee data. There is a proposal for a competition referee support device.
  • the referee will judge the skill that was performed while watching the performance, write the technique by hand on a paper scoring sheet, check the content of the scoring sheet after the performance, and calculate the score. is there. In this method, there may be a mistake in accreditation or counting of skills by the referee.
  • scoring with an information processing device using sensing technology is also conceivable.
  • the information processing device scores performances based on the sensor data acquired by the sensors for the player who is performing.
  • the scoring results by sensing technology are not always appropriate.
  • an object of the present invention is to enable prompt presentation of information used for comparison of scoring results.
  • a scoring support program inputs the first scoring result obtained by scoring each of a plurality of skills based on the sensor data on the athlete who is performing for a competition in which the athlete performs a plurality of skills in time series, and input by the referee
  • the second scoring result is obtained, and the first identification information of the technique included in the first scoring result and the second identification information of the technique included in the second scoring result are displayed in association with each other.
  • a video corresponding to the selected identification information is specified from images recorded with a plurality of techniques, and the specified video is displayed. , Cause the computer to execute the process.
  • FIG. 1 is a diagram showing a scoring support system according to the first embodiment.
  • the scoring support system of the first embodiment supports scoring by the referee R1 in the competition.
  • the competition is a competition (for example, gymnastics) in which the player P1 performs a plurality of techniques in time series.
  • the scoring support system of the first embodiment includes a scoring support device 1, an information processing device 2, a moving image photographing camera 3, and laser sensors 4 and 4a.
  • the information processing apparatus 2 is connected to the network 5.
  • the network 5 is, for example, a LAN (Local Area Network).
  • the moving image shooting camera 3 and the laser sensors 4 and 4a are connected to the information processing apparatus 2.
  • An access point 6 is connected to the network 5.
  • the access point 6 is a relay device that relays communication between the scoring support device 1 and the information processing device 2.
  • the video camera 3 shoots a performance by the player P 1 to generate video data and outputs it to the information processing device 2.
  • the information processing apparatus 2 stores the moving image data received from the moving image shooting camera 3.
  • the laser sensors 4 and 4a are distance measuring sensors.
  • the laser sensors 4 and 4a irradiate the player P1 who is acting with laser light, and detects the phase shift of the reflected light with respect to the reference light to measure the distance.
  • a frequency that does not interfere with the performance of the player P1 is selected.
  • the laser sensors 4 and 4a measure the distance by targeting a plurality of points on a plane perpendicular to the direction from the laser sensor 4 to the player P1.
  • the laser beam for a certain point hits the player P1
  • the laser beam is reflected by the player P1.
  • the laser beam for another point does not hit the player P1, the laser beam is reflected by an object other than the player P1 (for example, a wall behind the player P1).
  • the laser sensors 4 and 4a acquire point cloud information (referred to as sensor data) reflecting the distances from the laser sensors 4 and 4a to the athlete P1 and objects around the athlete P1, and the sensor data is obtained as information.
  • the information processing device 2 generates the skeleton data D1 of the player P1 based on the sensor data.
  • the skeleton data D1 is information representing the skeleton of the player P1, and includes information such as a joint position and a bending angle of the joint, for example.
  • the information processing apparatus 2 obtains three-dimensional skeleton data D1 by using sensor data output from two or more laser sensors. Further, the information processing device 2 obtains a time series change of the skeleton data D1 based on the sensor data output by each laser sensor in time series.
  • the information processing device 2 identifies the technique by the player P1 by comparing the time-series change of the skeleton data D1 with the exercise pattern information for each technique stored in the information processing apparatus 2.
  • the exercise pattern information is information indicating a correspondence relationship between a technique exercise pattern (dictionary information obtained by patterning changes in skeleton data for each technique) and technique identification information.
  • the exercise pattern information may include (1) information indicating a basic exercise pattern and (2) information indicating a correspondence relationship between a basic exercise set and technique identification information. This is because, for example, there are competitions such as gymnastics in which skills are determined by a combination of basic exercises.
  • the information processing apparatus 2 scores the specified technique. For example, the information processing apparatus 2 scores the identified technique by identifying the difficulty level of the identified technique, the group to which the technique belongs, based on information registered in the information processing apparatus 2 in advance.
  • the scoring support device 1 is used by the referee R1 to input scoring results and compare scoring results.
  • the scoring support apparatus 1 includes a storage unit 1a, a processing unit 1b, a communication unit 1c, an input unit 1d, and a display unit 1e.
  • the storage unit 1a may be a volatile storage device such as a RAM (Random Access Memory) or a non-volatile storage device such as a flash memory.
  • the processing unit 1b may include a CPU (Central Processing Unit), a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array), and the like.
  • the processing unit 1b may be a processor that executes a program.
  • the processor may be a set of multiple processors (multiprocessor).
  • the communication unit 1 c is a wireless communication interface used for communication with the information processing apparatus 2 via the access point 6. However, the communication unit 1c may be a wired communication interface for connecting to the network 5 by wire.
  • the input unit 1d receives an input from the referee R1.
  • the input unit 1d may be a pointing device such as a touch panel or a touch pad.
  • the display unit 1e displays a GUI (Graphical User Interface). As the display unit 1e, a liquid crystal display or an organic EL (Electro Luminescence) display can be used.
  • the storage unit 1a stores an image recording the competition.
  • storage part 1a contains the image of the performance by player A1.
  • the image may be video data (or a part of the video data) of the video camera 3 distributed by the information processing apparatus 2.
  • the processing unit 1b acquires a first scoring result obtained by scoring each of a plurality of techniques from the information processing device 2 based on the sensor data related to the player P1 who is performing.
  • the processing unit 1b acquires the second scoring result input by the referee R1.
  • the second scoring result is a scoring result of each of a plurality of techniques by the referee R1.
  • the processing unit 1b recognizes a character representing a technique input to the input unit 1d by the referee R1, thereby receiving an input of the second scoring result by the referee R1.
  • the referee R1 inputs characters while watching the performance of the player P1.
  • the processing unit 1b recognizes a break for each technique (that is, one set of basic movement) based on the input time interval or space interval. You can also The processing unit 1b can also detect an input start time and an input completion time for each character or character set for the input unit 1d.
  • a character or a set of characters is referred to as a character string.
  • the first scoring result may include information on the technique recognized by the information processing apparatus 2 and the start time and end time of the technique.
  • the second scoring result may include information on the technique input by the referee R1 and the input start time and input end time of the technique.
  • the processing unit 1b displays the first identification information of the technique included in the first scoring result and the second identification information of the technique included in the second scoring result in association with each other.
  • the processing unit 1b displays the first scoring result and the second scoring result using the display unit 1e (“the processing unit 1b displays the first scoring result and the second scoring result on the display unit 1e. It can also be displayed.)
  • the processing unit 1b sequentially converts the first identification information of each technique included in the first scoring result and the second identification information of each technique included in the second scoring result in time series of the technique. Display in association. Specifically, in the processing unit 1b, an input corresponding to the second identification information is performed by the first time when the player P1 performed the operation of the determination source of the first identification information and the referee R1. Based on the second time, the first identification information is associated with the second identification information. That is, the processing unit 1b specifies the time series of a plurality of techniques included in the first scoring result by the start time (or end time) for each technique, and the times of the plurality of techniques included in the second scoring result. The series is specified by the input start time (or input end time) for each technique.
  • the processing unit 1b includes identification information of a plurality of techniques included in the first scoring result and identification information of a plurality of techniques included in the second scoring result, in the order of the two specified time series. Are associated one-to-one.
  • the scoring result comparison screen 7 is a display example by the display unit 1e of the screen generated by the processing unit 1b.
  • the scoring result comparison screen 7 includes items of time zone, sensing technology, and referee.
  • a time zone from the start to the end of the technique recognized by the technique recognition using the sensing technique (the time may be represented by an elapsed time from the start of the action) is displayed.
  • three time zones “t1 to t2”, “t2 to t3”, and “t3 to t4” are displayed as times when each technique is recognized by the sensing technique. Times t1, t2, t3, and t4 are in this order (time t1 is the oldest and time t4 is the newest).
  • the identification information of the technique recognized by the information processing apparatus 2 and the score of the technique are displayed.
  • identification information “Technique X1” and a score of “0.1” are displayed in the time period “t1 to t2”. This is because the action by the player P1 who became the determination source of “Technique X1” by the sensing technique is performed in the time zone “t1 to t2”, and the score of “Technology X1” is “0.1”. It shows that.
  • identification information “Technique X2” and a score of “0.2” are displayed.
  • identification information “Technique X3” and a score of “0.3” are displayed.
  • the technique identification information corresponding to the character string input by the referee R1 and the score of the technique are displayed.
  • identification information “Technique X1” and a score of “0.1” are displayed in the time period “t1 to t2”.
  • identification information “Technique X4” and a score of “0.4” are displayed.
  • identification information “Technique X3” and a score of “0.3” are displayed.
  • the first technique is the same as the technique “Technique X1" and the score "0.1" in both the first scoring result and the second scoring result.
  • the first scoring result is the technique “Technique X2” and the point “0.2”
  • the second scoring result is the technique “Technique X4” and the point “0.4”. That is, the second technique is different for both scoring results.
  • the third technique is the same for both the first scoring result and the second scoring result with the technique “skill X3” and the point “0.3”. In this case, the referee R1 reviews the technique performed during the time period “t2 to t3”.
  • the processing unit 1 b corresponds to a location corresponding to the time zone “t2 to t3” where the scoring results are different (for example, a display location of scoring results “Technique X4” and “0.4” by the referee R1). ) May be highlighted.
  • the processing unit 1b identifies the video corresponding to the selected identification information from the images in which a plurality of techniques by the player P1 are recorded. And the specified video is displayed.
  • the referee R1 operates the input unit 1d to identify identification information of the technique to be reviewed displayed on the scoring result comparison screen 7 (for example, the display location corresponding to the scoring result "Technique X4" by the referee R1, Alternatively, the display location corresponding to the scoring result “skill X2” by the sensing technique can be selected.
  • the referee R1 can select the time period “t2 to t3” as the identification information of the technique to be reviewed. This is because identification information such as “Technique X2” and “Technique X4” is associated with the time zone “t2 to t3”. Therefore, the time zone “t2 to t3” may be considered as one piece of identification information of the technique to be reviewed.
  • the referee R1 can make the selection by touching the corresponding part.
  • the referee R1 aligns the pointer displayed in the scoring result comparison screen 7 with the corresponding location, and performs a predetermined selection operation (for example, a touch pad tap or a selection button). The selection may be performed by pressing the button.
  • the process part 1b specifies the image
  • the technique video playback screen 8 includes a video playback area 8a, a technique selection form 8b, and a decision button 8c.
  • the moving image reproduction area 8a is an area for reproducing a technical moving image in a corresponding time zone.
  • the processing unit 1b reproduces the technical video in the time zone “t2 to t3” and displays it in the video playback area 8a.
  • the processing unit 1b may set the start point of the reproduction target time zone to a time that is a predetermined time before the time “t2”.
  • the processing unit 1b may set the end point of the time zone to be reproduced as a time after a predetermined time from the time “t3”.
  • the technique selection form 8b is a form for accepting an input of a technique by the referee R1.
  • the decision button 8c is a button for reflecting the technique input to the technique selection form 8b on the scoring result comparison screen 7.
  • the referee R1 can confirm the technique video reproduced in the video reproduction area 8a, and can input technique identification information (for example, technique name) through the technique selection form 8b. For example, if the judge R1 determines that his / her judgment is wrong, he can input identification information of a technique different from the original technique “technique X4”. For example, the processing unit 1b updates the display of the referee's technique item in the time zone “t2 to t3” on the scoring result comparison screen 7 by the technique input by the referee R1 (the newly input technique Display identification information). In addition, the processing unit 1b displays a point corresponding to the difficulty level of the updated technique in the item of the referee's point in the time zone “t2 to t3”.
  • technique identification information for example, technique name
  • the processing unit 1b updates the display of the referee's technique item in the time zone “t2 to t3” on the scoring result comparison screen 7 by the technique input by the referee R1 (the newly input technique Display identification
  • the processing unit 1b may calculate the score for the performance of the player P1 by counting the points displayed in the scoring result of the referee R1 on the updated scoring result comparison screen 7.
  • the processing unit 1b may display the score for the performance of the player P1 using the display unit 1e.
  • the referee R1 compares the scoring result by the sensing technology with the scoring result of the referee R1, it is also possible to check all the recorded performance videos from the beginning. However, it is unnecessary for the referee R1 to check the same spot in both scoring results, and it is troublesome to search for a spot with a different technique judgment from the moving picture. For this reason, there is a possibility that it takes time until the scoring result is confirmed.
  • the scoring support device 1 displays the technique identification information included in both scoring results in association with each other, The technical video corresponding to the selected identification information is specified and displayed. Thereby, the scoring support device 1 can promptly present information (information included in the scoring result comparison screen 7 and the technique video reproduction screen 8) used for comparison of scoring results.
  • the referee R1 can easily identify a technique having a difference in determination in both scoring results on the scoring result comparison screen 7. Further, the referee R1 can immediately check the moving images of the portions where the determination results of the techniques are different on the technique moving image reproduction screen 8, and correct the determination. In this way, scoring by the referee R1 can be made more efficient. Moreover, the reliability of scoring can be improved efficiently.
  • FIG. 2 is a diagram illustrating an example of the scoring support system according to the second embodiment.
  • the scoring support system according to the second embodiment includes terminal devices 100 and 100a, a server 200, a moving picture camera 21, and laser sensors 22 and 22a.
  • the server 200 is connected to the network 10.
  • the network 10 is, for example, a LAN.
  • the video camera 21 and the laser sensors 22 and 22a are connected to the server 200.
  • An access point 11 is connected to the network 10.
  • the access point 11 is a relay device that relays communication between the terminal devices 100 and 100a and the server 200.
  • the moving image shooting camera 21 shoots the performance by the athlete P10 of gymnastics, generates moving image data, and outputs it to the server 200.
  • the laser sensors 22 and 22a irradiate the player P10 who is acting with laser light, and detects a phase shift of the reflected light with respect to the reference light to measure the distance. A frequency that does not hinder the performance of the player P10 is selected as the frequency of the laser beam.
  • the laser sensors 22 and 22a acquire point cloud information (sensor data) reflecting the distance from the laser sensors 22 and 22a to the athlete P10 and objects around the athlete P10, and output the sensor data to the server 200. .
  • the terminal device 100 is a client computer used by the referee R10.
  • the terminal device 100a is a client computer used by the referee R20.
  • the terminal devices 100 and 100a may be tablet type terminal devices or laptop type PCs (Personal Computers).
  • the terminal devices 100 and 100a communicate with the server 200 via the access point 11.
  • the terminal devices 100 and 100a are an example of the scoring support device 1 according to the first embodiment.
  • the server 200 is a server computer that stores moving image data generated by the moving image capturing camera 21. Moreover, the server 200 recognizes the technique included in the performance of the player P10 based on the sensor data generated by the laser sensors 22 and 22a.
  • each competitor's ranking is determined by scoring the D score (Difficultycultscore) and E score (Execution score) by the referee.
  • the D score is a score obtained by evaluating the difficulty of the content of the performance.
  • the E score is a score obtained by evaluating the beauty of the performance (acting composition, technique, posture, etc.).
  • the D score is scored by the referee who scores the D score (D Referee).
  • the E score is scored by judges (E and R referees) who score the E score.
  • the scoring support system of the second embodiment mainly assumes scoring support for D scores. For this reason, referees R10 and R20 are referees who score D scores (D referees).
  • the referee who scores the D score is a multi-person system (specifically, a two-person system).
  • a technique is a combination of a plurality of basic movements.
  • the server 200 first recognizes the basic motion based on the sensor data. Then, the server 200 recognizes a technique corresponding to the combination of basic exercises by recognizing the combination of basic exercises.
  • Techniques are associated with difficulty levels and groups.
  • the value of the skill is determined by the difficulty level.
  • a score is also given to the group to which the technique performed during the performance belongs (required group score).
  • points are also given to combinations of techniques (combination points). For example, the combination score is applied in a floor or horizontal bar competition. The sum of these points is the D score.
  • the server 200 is an example of the information processing apparatus 2 according to the first embodiment. Note that a server computer that stores moving image data generated by the moving image shooting camera and a server computer that performs technique recognition using a sensing technique may be provided separately and connected to the network 10.
  • the scoring support system of the second embodiment can also be applied to different scoring rules according to the event, gender, and age.
  • FIG. 3 is a diagram illustrating a hardware example of the terminal device.
  • the terminal device 100 includes a processor 101, a RAM 102, a flash memory 103, an image signal processing unit 104, a display 105, an input signal processing unit 106, a touch panel 107, a medium reader 108, and a communication interface 109. Each unit is connected to the bus of the terminal device 100.
  • the terminal device 100a is also realized by the same hardware as the terminal device 100.
  • the processor 101 controls information processing of the terminal device 100.
  • the processor 101 may be a multiprocessor.
  • the processor 101 is, for example, a CPU, DSP, ASIC, or FPGA.
  • the processor 101 may be a combination of two or more elements of CPU, DSP, ASIC, FPGA, and the like.
  • the RAM 102 is a main storage device of the terminal device 100.
  • the RAM 102 temporarily stores at least part of an OS (Operating System) program and application programs to be executed by the processor 101.
  • the RAM 102 stores various data used for processing by the processor 101.
  • the flash memory 103 is an auxiliary storage device of the terminal device 100.
  • the flash memory 103 stores an OS program, application programs, and various data.
  • the image signal processing unit 104 outputs an image to the display 105 according to a command from the processor 101.
  • the display 105 for example, a liquid crystal display or an organic EL display can be used.
  • the input signal processing unit 106 acquires an input signal from the touch panel 107 connected to the terminal device 100 and outputs it to the processor 101.
  • the touch panel 107 is a pointing device that outputs a position touched by the user to the processor 101.
  • the touch panel 107 is provided so as to overlap the display area of the display 105. The user can perform a touch operation on the touch panel 107 while visually recognizing the display on the display 105.
  • the medium reader 108 is a device that reads a program and data recorded on the recording medium 12.
  • the recording medium 12 for example, a flash memory card can be used.
  • the medium reader 108 stores a program or data read from the recording medium 12 in the RAM 102 or the flash memory 103 in accordance with an instruction from the processor 101.
  • the communication interface 109 is a wireless communication interface that establishes a wireless link with the access point 11 and communicates with the server 200 via the access point 11 and the network 10.
  • the communication interface 109 may be a wired communication interface connected to the network 10 by wire.
  • FIG. 4 is a diagram illustrating an example of server hardware.
  • the server 200 includes a processor 201, a RAM 202, an HDD (Hard Disk Drive) 203, a connection interface 204, an image signal processing unit 205, an input signal processing unit 206, a medium reader 207, and a communication interface 208. Each unit is connected to the bus of the server 200.
  • the processor 201 controls information processing of the server 200.
  • the processor 201 may be a multiprocessor.
  • the processor 201 is, for example, a CPU, DSP, ASIC, or FPGA.
  • the processor 201 may be a combination of two or more elements of CPU, DSP, ASIC, FPGA, and the like.
  • the RAM 202 is a main storage device of the server 200.
  • the RAM 202 temporarily stores at least part of an OS program and application programs to be executed by the processor 201.
  • the RAM 202 stores various data used for processing by the processor 201.
  • the HDD 203 is an auxiliary storage device of the server 200.
  • the HDD 203 magnetically writes data to and reads data from a built-in magnetic disk.
  • the HDD 203 stores an OS program, application programs, and various data.
  • the server 200 may include other types of auxiliary storage devices such as a flash memory and an SSD (Solid State Drive), or may include a plurality of auxiliary storage devices.
  • connection interface 204 is an interface used for connection with the video camera 21 and the laser sensors 22 and 22a.
  • the video camera 21 and the laser sensors 22 and 22a may be connected to the network 10.
  • the server 200 communicates with the video camera 21 and the laser sensors 22 and 22a via a communication interface 208 described later.
  • the image signal processing unit 205 outputs an image to the display 23 connected to the server 200 in accordance with an instruction from the processor 201.
  • a CRT (Cathode Ray Tube) display As the display 23, a CRT (Cathode Ray Tube) display, a liquid crystal display, or the like can be used.
  • the input signal processing unit 206 acquires an input signal from the input device 24 connected to the server 200 and outputs it to the processor 201.
  • the input device 24 for example, a pointing device such as a mouse or a touch panel, a keyboard, or the like can be used.
  • the media reader 207 is a device that reads programs and data recorded on the recording medium 25.
  • a magnetic disk such as a flexible disk (FD) or an HDD
  • an optical disk such as a CD (Compact Disk) or a DVD (Digital Versatile Disk), or a magneto-optical disk (MO: Magneto-Optical disk) is used.
  • a nonvolatile semiconductor memory such as a flash memory card can be used.
  • the medium reader 207 stores the program and data read from the recording medium 25 in the RAM 202 or the HDD 203 in accordance with an instruction from the processor 201.
  • the communication interface 208 communicates with the terminal devices 100 and 100a via the network 10.
  • the communication interface 208 may be a wired communication interface or a wireless communication interface.
  • FIG. 5 is a diagram illustrating an example of functions of the terminal device.
  • the terminal device 100 includes a storage unit 110, a technique name recognition unit 120, a GUI processing unit 130, a technique moving image reproduction unit 140, and a scoring processing unit 150.
  • the storage unit 110 is realized using a storage area secured in the RAM 102 or the flash memory 103.
  • the technique name recognition unit 120, the GUI processing unit 130, the technique moving image reproduction unit 140, and the scoring processing unit 150 are realized by the processor 101 executing a program stored in the RAM 102.
  • the storage unit 110 stores information for recognizing a character input by the referee R10 and converting it into a technical name, and information on a group and difficulty corresponding to the technical name.
  • the storage unit 110 also stores information such as the number of points and request group points corresponding to the difficulty level. Furthermore, information on the contents of the combination points (for example, the correspondence between the combination of techniques and the number of points to be added) may be stored according to the event of the competition.
  • the technical name recognition unit 120 recognizes the technical name determined by the referee R10 by converting the character string input by the referee R10 into the technical name.
  • the technique name recognition unit 120 refers to the information for character recognition stored in the storage unit 110 and converts the input character string into a technique name.
  • the GUI processing unit 130 displays the GUI on the display 105.
  • the GUI processing unit 130 causes the display 105 to display a screen that supports the handwriting input of the technique by the referee R10.
  • the GUI processing unit 130 causes the display 105 to display a screen for comparing the skill scoring result by the referee R10 and the skill scoring result by the server 200.
  • the GUI processing unit 130 causes the display 105 to display a screen for reproducing the moving image of the technique selected by the referee R10.
  • the technical video playback unit 140 plays the technical video.
  • the technique moving image reproducing unit 140 acquires the identification information of the technique selected by the referee R10 from the GUI processing unit 130, and acquires the technique moving image corresponding to the identification information from the server 200.
  • the technique video reproduction unit 140 reproduces the technique animation and displays the reproduced technique animation on the GUI.
  • the scoring unit 150 performs performance scoring.
  • the scoring processing unit 150 refers to information (including scoring rule information) stored in advance in the storage unit 110, identifies the difficulty level of the recognized technical name, a group corresponding to the technical name, etc. Scoring according to.
  • the scoring processing unit 150 causes the GUI processing unit 130 to display the scoring result on the GUI.
  • FIG. 6 is a diagram illustrating a function example of the server.
  • the server 200 includes a moving image storage unit 210, a moving image storage unit 220, a moving image distribution unit 230, a dictionary information storage unit 240, a sensor data storage unit 250, a sensor data reception unit 260, a skeleton recognition unit 270, and a technique recognition unit 280.
  • the moving image storage unit 210, dictionary information storage unit 240, and sensor data storage unit 250 are realized using storage areas secured in the RAM 202 and the HDD 203.
  • the moving image storage unit 220, the moving image distribution unit 230, the sensor data receiving unit 260, the skeleton recognition unit 270, and the technique recognition unit 280 are realized by the processor 201 executing a program stored in the RAM 202.
  • the moving image storage unit 210 stores a moving image shot by the moving image shooting camera 21.
  • the moving image storage unit 220 receives the moving image shot by the moving image shooting camera 21 and stores it in the moving image storage unit 210.
  • the moving image includes information on the shooting start time and information on the shooting end time.
  • the moving image includes information on the performance start time at which the athlete P10 started performing.
  • the moving image distribution unit 230 distributes a moving image in a designated time zone to the terminal devices 100 and 100a in response to a request from the terminal devices 100 and 100a.
  • the moving image distribution unit 230 may distribute the moving image being played to a client terminal other than the terminal devices 100 and 100a in real time for viewing by the viewers of the competition.
  • the dictionary information storage unit 240 stores basic motion dictionary information used for basic motion recognition.
  • the basic exercise dictionary information is information in which basic exercise identification information is associated with an exercise pattern of skeleton data corresponding to the basic exercise. The motion pattern of the skeleton data is generated in advance using, for example, a machine learning technique.
  • the dictionary information storage unit 240 stores technique-related dictionary information used for technique recognition.
  • the technique-related dictionary information is information in which a combination of basic exercises and technique identification information (technical name) are associated with each other.
  • the sensor data storage unit 250 stores sensor data generated by the laser sensors 22 and 22a.
  • the sensor data is data that is the basis of the skeleton data.
  • the sensor data receiving unit 260 receives the sensor data generated by the laser sensors 22 and 22 a and stores it in the sensor data storage unit 250.
  • the sensor data includes information on the performance start time and information on the performance end time.
  • the acting start time is synchronized with the acting start time in the moving image shot by the moving image shooting camera 21 (in this case, both acting start times indicate the same time for a certain performance).
  • the skeleton recognition unit 270 generates skeleton data by a predetermined calculation based on the sensor data stored in the sensor data storage unit 250.
  • the skeleton data is information representing the skeleton of the player P10 and includes information such as the joint position and the bending angle of the joint.
  • the skeleton recognition unit 270 obtains three-dimensional skeleton data by using sensor data output from the two laser sensors 22 and 22a.
  • the skeleton recognition unit 270 may generate three-dimensional skeleton data using sensor data output from three or more laser sensors.
  • the skeleton recognition unit 270 obtains time-series changes of the skeleton data based on the sensor data output from the laser sensors 22 and 22a in time series.
  • the technique recognition unit 280 specifies the basic exercise by the player P10 by collating the time-series change of the skeleton data with the information of the exercise pattern for each basic exercise in the basic exercise dictionary information stored in the storage unit 110. Then, the technique recognizing unit 280 refers to the technique-related dictionary information stored in the storage unit 110 and identifies a technique name corresponding to the combination of basic exercises. The technique recognition unit 280 transmits the technique name of the specified technique, the start time of the technique, and the end time of the technique to the terminal devices 100 and 100a.
  • FIG. 7 is a diagram showing an example of skill recognition using 3D sensing technology.
  • the laser sensor 22 targets a plurality of points on a plane perpendicular to the direction from the laser sensor 22 toward the player P10 (assuming that there is a virtual surface behind the player P10 (or in front of the player P10)). Measure the distance. For example, the laser sensor 22 irradiates the laser with 320 * 200 points, and measures the distance from the laser sensor 22 to each point. When the laser beam for a certain point hits the player P10, the laser beam is reflected by the player P10. If the laser beam for another point does not hit the player P10, the laser beam is reflected by an object other than the player P10 (for example, a wall behind the player P10).
  • the laser sensor 22 obtains sensor data at a frequency of 30 times per second (ie, 30 fps (frames per second)) with 320 ⁇ 200 point distance information as one set (one unit of sensor data). .
  • the sensor data rate is (320 * 200) [points] * (2 + 2) [bytes] * 30 [fps] to It is about 58.5 Mbps (Megabits per second). Note that 1k (kilo) is 1024 and 1M (Mega) is 1024k.
  • the sensor data receiving unit 260 receives sensor data from the laser sensors 22 and 22 a and stores the sensor data in the sensor data storage unit 250. Based on the sensor data stored in the sensor data storage unit 250, the skeleton recognition unit 270 generates a point cloud image reflecting the distance from a predetermined observation point to each point where the laser beam is reflected. For example, since sensor data is acquired at 30 fps, the skeleton recognition unit 270 acquires a point cloud image of 30 frames per second.
  • the image of the point group includes a point group D10 that forms a three-dimensional outline of the player P10.
  • the skeleton recognition unit 270 generates skeleton data D11 by a predetermined calculation based on the point group D10.
  • the skeleton recognition unit 270 generates skeleton data D11 for a maximum of 30 frames per second.
  • the skeleton recognition unit 270 detects a time-series change in the skeleton data D11 for 30 frames at the maximum per second. In this way, the skeleton recognition unit 270 recognizes the movement of the skeleton of the player P10.
  • the technique recognizing unit 280 collates the recognized movement of the skeleton with the movement pattern of the basic movement registered in advance in the basic movement dictionary information 241 to identify the basic movement.
  • the exercise pattern registered in the basic exercise dictionary information 241 is created in advance by machine learning using sensor data for training, for example. For example, as an example of the basic motion in the horse, there are “upward forward movement”, “downward forward movement”, “upward reverse movement”, “downward backward movement”, and the like.
  • the technique recognizing unit 280 refers to the technique-related dictionary information 242 and specifies the technique corresponding to the specified basic motion.
  • the technique-related dictionary information 242 indicates that “basic exercise 1” is “technique 1”.
  • the combination of “basic exercise 2 + basic exercise 1” (indicating that “basic exercise 2” and “basic exercise 1” are performed in this order) is “technique 2”.
  • the technique-related dictionary information 242 indicates that the combination of “basic exercise 1 + basic exercise 1 + basic exercise 3” is “technique 3”.
  • FIG. 8 is a diagram showing an example of a scoring handwriting input screen.
  • the scoring handwriting input screen 300 is generated by the GUI processing unit 130 and displayed on the display 105.
  • the scoring handwriting input screen 300 includes a handwriting input area 310, a color selection form 320, a size selection form 330, an erase button 340, an initialization button 350, and a scoring button 360.
  • the handwriting input area 310 is an area for accepting handwritten character input by the referee R10.
  • the direction from the left side to the right side of the handwriting input area 310 corresponds to the positive direction of the performance time series.
  • the referee R10 can input characters on the touch panel 107 using a finger or a stylus pen.
  • input handwritten characters are displayed.
  • the color selection form 320 is a selection form that accepts selection of the character color displayed in the handwriting input area 310.
  • the size selection form 330 is a selection form that accepts selection of the size of the handwriting input area 310 (for example, several selection candidates are prepared in advance and can be selected by pull-down).
  • the delete button 340 is a button for deleting the input of one character input immediately before.
  • the initialization button 350 is a button for erasing all characters input in the handwriting input area 310.
  • the scoring button 360 is a button for instructing the terminal device 100 to score a performance based on the input content of the handwriting input area 310.
  • the technique name recognition unit 120 determines the character string according to the interval on the handwritten input area 310 between the characters input in the handwritten input area 310 and the time interval from the end of the previous input to the start of the current input. Separation can be specified.
  • the break of the character string corresponds to the break of the two techniques determined by the judge R10.
  • the technique name recognition unit 120 determines that there is a character string break between the two characters. Further, if the interval between two characters on the handwriting input area 310 is equal to or smaller than a predetermined value, the technique name recognition unit 120 determines that there is no character string delimiter between the two characters.
  • the technique name recognition unit 120 may determine that there is a character string delimiter between the two characters if the input time interval between the two characters is greater than a predetermined value. In this case, if the time interval at which two characters are input is equal to or smaller than a predetermined value, the technique name recognition unit 120 determines that there is no character string separation between the two characters.
  • FIG. 9 is a diagram showing an example of the technique name table.
  • the technique name table 111 is stored in the storage unit 110 in advance.
  • the technical name table 111 includes items of technical names and shorthand characters.
  • a technical name is registered in the technical name item.
  • the technique name is an example of technique identification information.
  • handwriting information of shorthand characters (including symbols) input by handwriting by the referee R10 is registered.
  • a shorthand character is a character string (a sequence of one or more characters) representing a technique.
  • the handwriting information is, for example, information obtained by sampling the handwriting of the corresponding character by the judge R10 in advance.
  • One character input by the referee R10 corresponds to one basic movement.
  • a shorthand character is a character string combining one or more characters representing basic movement.
  • handwriting information of the shorthand character “SLL” is registered for the technique name “technique W1”.
  • handwriting information of shorthand characters is registered for other techniques as well.
  • the technique name recognition unit 120 can customize the technique name table 111 so that the technique name is appropriately recognized with respect to the handwriting of the referee R10.
  • FIG. 10 is a diagram illustrating an example of the technique management table.
  • the technique management table 112 is stored in the storage unit 110 in advance.
  • the technique management table 112 includes items of a technique name, a group, and a difficulty level.
  • a technical name is registered in the technical name item.
  • the group item a group corresponding to the technique name is registered.
  • the difficulty level item the difficulty level of the technique corresponding to the technique name is registered.
  • the technique management table 112 information that the technique name is “Technique W1”, the group is “I”, and the difficulty level is “A” is registered. This indicates that the group to which the technique with the technique name “technique W1” belongs is “I”, and the difficulty level of the technique with the technique name “technique W1” is “A”.
  • the group “V” is a group of terminal techniques.
  • the difficulty level is represented by “A” to “G”. “A” is the least difficult. The difficulty increases in alphabetical order. “G” is the most difficult. However, depending on the event, there may be techniques with a difficulty level higher than the G difficulty level.
  • FIG. 11 is a diagram illustrating an example of the difficulty level management table.
  • the difficulty level management table 113 is stored in the storage unit 110 in advance.
  • the difficulty level management table 113 includes items of difficulty level and value point.
  • the difficulty level is registered in the difficulty level item.
  • Value points are registered in the item of value points.
  • the difficulty level management table 113 For example, information that the difficulty level is “A” and the value point is “0.1” is registered in the difficulty level management table 113. This indicates that the value of the skill of difficulty A is “0.1”. In the difficulty level management table 113, value points are similarly registered for other difficulty levels.
  • FIG. 12 is a diagram illustrating an example of a sensing result table.
  • the sensing result table 114 is acquired from the server 200 by the GUI processing unit 130 and stored in the storage unit 110.
  • the sensing result table 114 includes items of a technical name and a time. A technical name is registered in the technical name item. In the time item, the time at which the technique indicated by the technique name is started is registered.
  • the sensing result table 114 information that the technique name is “Technology W1” and the time is “11:30:30, 3” is registered. This is because the technique of the technique “technique W1” is recognized by the sensing technique of the server 200 for the performance of the player P10, and the recognized start time of the technique is 11:30:30. Show. In the sensing result table 114, the technique name and the start time are also registered in association with each other technique recognized by the server 200.
  • the GUI processing unit 130 acquires a time (technical end time) at which the server 200 recognizes that the corresponding technique has ended from the server 200 and records it in the storage unit 110 in association with the technique name of the technique. Also good.
  • FIG. 13 is a diagram illustrating an example of a handwriting recognition result table.
  • the handwriting recognition result table 115 is generated by the technique name recognition unit 120 and stored in the storage unit 110.
  • the handwriting recognition result table 115 includes items of a technique name and a time. A technical name is registered in the technical name item. In the time item, the time when the input of the character string corresponding to the technique name is started (input start time) is registered.
  • the handwriting recognition result table 115 information that the technique name is “Technique W1” and the time is “11:30:30, 5” is registered. This is because the skill of the technique “Technique W1” is judged by the judge R10 for the performance of the player P10, and the input of the decided technique name is started at 11:30:30 It shows that there was.
  • the technique name and the input start time are also registered in association with each other technique determined by the referee R10.
  • the technique name recognition unit 120 identifies the time when the input of the character string input immediately before the delimiter is completed (input completion time), and determines the input completion time. It may be recorded in association with the corresponding technical name.
  • FIG. 14 is a diagram showing an example of the technique determination result screen.
  • the technique determination result screen 400 is generated by the GUI processing unit 130 and displayed on the display 105.
  • the technique determination result screen 400 includes an automatic scoring result area 410, a handwriting input result area 420, a cursor 430, and a totaling button 440.
  • the automatic scoring result area 410 is an area for displaying a technique recognition result by the server 200 and a scoring result.
  • the automatic scoring result area 410 includes columns of a timeline, a technical name, a difficulty level, a group, and a difficulty value point.
  • the time zone in which each technique was recognized (acted) in the performance is displayed.
  • the time zone is represented by the combination of the time from the performance start time to the technique start time (upper part of the timeline column), and the time from the performance start time to the technique end time (lower part of the timeline column).
  • the time displayed in the timeline column may be the technique start time and technique end time detected by the server 200.
  • the technique name of the technique recognized by the server 200 is displayed in the technique name column.
  • the difficulty level of the technique is displayed in the difficulty level column.
  • the group of the technique is displayed in the group column.
  • a value point corresponding to the difficulty level is displayed.
  • the handwriting input result area 420 is an area for displaying a technique determination result and a scoring result by the referee R10. Similar to the automatic scoring result area 410, the handwritten input result area 420 includes columns for timeline, technique name, difficulty, group, and difficulty value points. However, in each field of the handwriting input result area 420, a technique name, a difficulty level, a group, and a difficulty value point according to the determination result of the technique by the referee R10 are displayed.
  • the handwriting input result area 420 includes a technique column. In the technique column, a shorthand character inputted by handwriting by the referee R10 is displayed. In the timeline column, the same time zone as the automatic scoring result area 410 is displayed. However, the GUI processing unit 130 may display the input start time and input end time of handwriting input by the referee R10 in the timeline column of the handwriting input result area 420.
  • the GUI processing unit 130 displays each technique registered in the sensing result table 114 and each technique registered in the handwriting recognition result table 115 in association with each other in time series.
  • the GUI processing unit 130 displays a column of a certain time zone in the automatic scoring result region 410 and a column of the same time zone in the handwriting input result region 420 arranged in the vertical direction. In this way, the GUI processing unit 130 can support the comparison by the referee R10 to be easy.
  • the cursor 430 is a frame that highlights a part of the automatic scoring result area 410 and the handwriting input result area 420 where the technique determination results (that is, scoring results) are different.
  • the scoring result by the server 200 and the scoring result by the referee R10 in the time zone “9:26 to 10:16” the time zone from 9 seconds 26 to 10 seconds 16 from the performance start time) Is different.
  • the GUI processing unit 130 highlights this difference with the cursor 430 and presents it to the judge R10.
  • the highlighting method is not limited to the cursor 430, and the background color is changed from that of other places, a symbol that attracts the attention of the referee R10 (for example, an arrow symbol, etc.) is displayed so as to point to the relevant place, etc. Other methods may be used.
  • the aggregation button 440 is a button for instructing the terminal device 100 to score the D score with the content displayed in the handwritten input result area 420.
  • the referee R10 touches the position indicated by the cursor 430 with a finger, a stylus pen, or the like, and inputs the technique name (technique identification information) to be reviewed to the terminal device 100 by the function of the touch panel 107. Can do.
  • the GUI processing unit 130 receives an input of a technical name to be reviewed, the GUI processing unit 130 displays a technical video reproduction screen on the display 105.
  • FIG. 15 is a diagram showing an example of the technique video playback screen.
  • the technique moving image reproduction screen 500 is generated by the GUI processing unit 130 and displayed on the display 105.
  • the technique moving image reproduction screen 500 includes a moving image reproduction area 510, a technique selection form 520, a difficulty selection form 530, a group selection form 540, and a determination button 550.
  • the moving image reproduction area 510 is an area for displaying a moving image (technical moving image) in a time zone corresponding to the technical name selected as the review target.
  • a playback / stop button for accepting playback / stop of the video, a playback time of the video, an indicator for selecting a playback location, a sound on / off switching button, an indicator for selecting a volume, and the like are displayed. May be.
  • buttons for instructing slow playback or frame advance playback may be displayed.
  • the technique selection form 520 is a form for receiving selection input of a technique name.
  • the difficulty level selection form 530 is a form for accepting a difficulty level selection input.
  • the group selection form 540 is a form for accepting group selection input.
  • the difficulty level and the group can be specified by the technique management table 112 for the technique name, so the GUI processing unit 130 uses the difficulty selection form 530 for the technique name input to the technique selection form 520.
  • the difficulty and the group of the group selection form 540 are automatically input.
  • the GUI processing unit 130 maintains the display of the technique determination result screen 400 on the display 105 and displays the technique moving image reproduction screen 500 on the display 105. Then, the referee R10 can review the technique while confirming the display contents of the automatic scoring result area 410 and the handwriting input result area 420.
  • the decision button 550 is a button for confirming the contents input in each form of the technique moving image reproduction screen 500 and reflecting the changed contents in the corresponding part of the handwriting input result area 420.
  • the GUI processing unit 130 closes the technique moving image reproduction screen 500 when the determination button 550 is pressed. Then, the change content input on the technique moving image reproduction screen 500 is reflected in the corresponding portion (the portion highlighted by the cursor 430) of the handwriting input result area 420.
  • the GUI processing unit 130 receives an operation of pressing the total button 440 by the referee R10, the GUI processing unit 130 requests the scoring processing unit 150 to perform scoring processing, and causes the display 105 to display a scoring result display screen including the result of the scoring processing.
  • FIG. 16 is a diagram showing an example of a scoring result display screen.
  • the scoring result display screen 600 is generated by the GUI processing unit 130 and displayed on the display 105.
  • the scoring result display screen 600 is a screen for displaying the result of scoring processing by the scoring processing unit 150 based on the contents of the handwriting input result area 420 in the technique determination result screen 400.
  • the scoring result display screen 600 includes a field for displaying a stenographic character input by handwriting by the referee R10, a field for displaying the difficulty level of the technique determined for each stenographic character, and a field for displaying a group of the same technique. Including.
  • the scoring result display screen 600 displays the total result of the value points according to the determined skill level.
  • the nine difficult ones are counted.
  • a total of 12 techniques are performed, but the value points of the two techniques of the A difficulty level are not evaluated.
  • the scoring result display screen 600 shows the name (name) of the competitor P10, deductions (P: Penalty) such as line deductions and time deductions according to the event, E score scoring results (E Score), and decision points ( A display field such as Final Score may be included.
  • FIG. 17 is a flowchart illustrating a processing example of the terminal device. In the following, the process illustrated in FIG. 17 will be described in order of step number.
  • the GUI processing unit 130 displays the scoring handwriting input screen 300 on the display 105, and when the performance by the player P10 is started, the handwriting input of the character string representing the technique by the referee R10 is accepted.
  • the referee R10 writes a character string representing the technique name determined by himself / herself in the handwriting input area 310 of the scoring handwriting input screen 300 side by side from the left side to the right side of the handwriting input area 310.
  • the referee R10 provides a space of a predetermined length or more at the break of the technique.
  • the GUI processing unit 130 records the input start time of the character string representing each technique and the input end time of the character string representing each technique in the storage unit 110.
  • the GUI processing unit 130 acquires a technique determination result by a handwritten character recognition function.
  • the handwritten character recognition function is provided by the technique name recognition unit 120.
  • the technique name recognizing unit 120 identifies a technique delimiter based on a space between characters and an input time interval.
  • the technique name recognition unit 120 identifies the technique name by comparing the handwriting information of the character string input in the handwriting input area 310 with the handwriting information of the shorthand characters stored in the technique name table 111 stored in the storage unit 110. .
  • the technique name recognition unit 120 records the specified technique name in the handwriting recognition result table 115 stored in the storage unit 110 in association with the input start time of the character string representing the technique name.
  • the technique name recognition unit 120 may record the input end time of the corresponding character string in addition to the input start time in the handwriting recognition result table 115 in association with the specified technique.
  • the GUI processing unit 130 acquires a technique determination result by the server 200.
  • the GUI processing unit 130 registers the technique determination result by the server 200 in the sensing result table 114 stored in the storage unit 110.
  • the technique determination result of the server 200 includes information on the start time and the end time detected by the server 200 for the technique corresponding to the technique name, in addition to the determination result of the technique name.
  • the GUI processing unit 130 may register the technique end time in the sensing result table 114 in association with the determined technique name in addition to the technique start time. Further, the GUI processing unit 130 also acquires information on the performance start time of the corresponding performance from the server 200.
  • the GUI processing unit 130 displays the technique determination result screen 400 on the display 105 based on the technique management table 112, the difficulty management table 113, the sensing result table 114, and the handwriting recognition result table 115 stored in the storage unit 110. Let At this time, the GUI processing unit 130 associates the technique names registered in the sensing result table 114 with the technique names registered in the handwriting recognition result table 115 in time series. The GUI processing unit 130 displays the time zone in which each technique detected by the server 200 is performed in the timeline field of the automatic scoring result area 410 and the timeline field of the handwriting input result area 420 in the technique determination result screen 400. (Elapsed time from the performance start time) is displayed.
  • the GUI processing unit 130 uses the same timeline for both determination results (the display contents of the automatic scoring result area 410 and the display contents of the handwriting input result area 420). It is determined whether or not there is a different part. If there is a different part, the GUI processing unit 130 proceeds with the process to step S16. If there is no different portion, the GUI processing unit 130 proceeds with the process to step S21.
  • the GUI processing unit 130 highlights (highlights) a portion (corresponding portion in the handwriting input result area 420) having a different technical name determined in step S15. Specifically, it is conceivable to display a cursor 430 indicating the corresponding part, or to display the background or characters of the corresponding part in a color different from other parts.
  • the GUI processing unit 130 determines whether or not a selection input of the highlighted corresponding part has been received. When the selection input of the corresponding part is received, the GUI processing unit 130 proceeds with the process to step S18. When the selection input of the corresponding part is not received, the GUI processing unit 130 proceeds with the process to step S20.
  • the GUI processing unit 130 displays the technical video playback screen 500 on the display 105, and displays the video corresponding to the selected location in the video playback area 510. Specifically, the GUI processing unit 130 acquires the time zone of the timeline corresponding to the technique name (that is, the technique name to be reviewed) displayed at the selected portion of the technique determination result screen 400, and the technique video reproduction unit 140 is notified. The technique video reproduction unit 140 downloads and reproduces a part of the corresponding time zone (technical animation) among the videos of the corresponding performance recorded by the server 200. The GUI processing unit 130 displays the technical video played by the technical video playback unit 140 in the video playback area 510.
  • the GUI processing unit 130 determines the technique determination result of the selected place on the technique determination result screen 400. Specifically, the GUI processing unit 130 accepts a technique name selection input by the referee R10 using the technique selection form 520 on the technique video reproduction screen 500. The GUI processing unit 130 displays the difficulty level for the selected technique name on the difficulty level selection form 530. In addition, the GUI processing unit 130 causes the group selection form 540 to display a group for the selected technique name. When the GUI processing unit 130 receives an input of the pressing operation of the referee R10 with respect to the decision button 550, the GUI processing unit 130 closes the technique moving image reproduction screen 500 and sets the technique determination result of the selected portion on the technique determination result screen 400 to the selected technique name. Determine. The GUI processing unit 130 displays the technique name, the difficulty level for the technique name, the group, and the value point determined at the selected position (corresponding position in the handwriting input result area 420) of the technique determination result screen 400.
  • the GUI processing unit 130 determines whether or not the aggregation button 440 on the technique determination result screen 400 has been pressed. When the aggregation button 440 is pressed, the GUI processing unit 130 proceeds with the process to step S21. If the aggregation button 440 has not been pressed, the GUI processing unit 130 proceeds with the process to step S17.
  • the GUI processing unit 130 requests the scoring processing unit 150 to score based on the skill determination result displayed in the handwriting input result area 420 of the skill determination result screen 400, and the scoring result including the scoring result by the scoring processing unit 150.
  • a display screen 600 is displayed on the display 105.
  • the scoring processing unit 150 calculates the D score by counting the value of the technique, the requested group point, and the end technique according to a predetermined scoring rule, and performs the GUI processing on the calculation result of the D score.
  • the GUI processing unit 130 causes the display 105 to display a scoring result display screen 600 based on the calculation result acquired from the scoring processing unit 150.
  • FIG. 18 is a flowchart illustrating a processing example of the server. In the following, the process illustrated in FIG. 18 will be described in order of step number.
  • the moving image storage unit 220 starts shooting a moving movie of the acting by the moving image shooting camera 21 with the start of the performance by the player P10, and stores the shot moving image in the moving image storage unit 210.
  • the sensor data receiving unit 260 starts sensing by the laser of the laser sensors 22 and 22a with the start of performance by the player P10, and stores the acquired sensor data in the sensor data storage unit 250.
  • the moving image and sensor data include information on the performance start time. Note that the time recorded for the moving image and the time recorded for the sensor data are synchronized between the moving image storage unit 220 and the sensor data receiving unit 260.
  • the moving image storage unit 220 ends the shooting of the moving movie by the moving image shooting camera 21 with the end of the performance by the player P10.
  • the sensor data receiving unit 260 ends the laser sensing of the laser sensors 22 and 22a with the start of the performance by the player P10.
  • the skeleton recognition unit 270 and the technique recognition unit 280 determine the technique based on the sensor data. Specifically, the skeleton recognition unit 270 detects a time-series change in the three-dimensional skeleton data D11 based on the sensor data stored in the sensor data storage unit 250. The technique recognition unit 280 collates the time series change of the skeleton data D11 with the exercise pattern of the basic exercise in the basic exercise dictionary information 241 stored in the dictionary information storage unit 240, and specifies the combination of the basic exercise and the basic exercise. The technique recognition unit 280 refers to the technique-related dictionary information 242 stored in the dictionary information storage unit 240 and identifies the technique name of the technique according to the combination of basic exercises. The technique recognition unit 280 also detects the start time and end time of the specified technique.
  • the technique recognition unit 280 transmits the technique determination result to the terminal device 100.
  • the technique recognition unit 280 transmits the technique determination result to the terminal apparatus 100 in response to the technique determination result acquisition request transmitted by the terminal apparatus 100.
  • the technique determination result includes the technique name of the specified technique, the start time and the end time of the technique.
  • step S34 if the moving image delivery part 230 requests
  • the band portion is distributed to the terminal devices 100 and 100a.
  • the technical video playback unit 140 downloads the video of the performance stored in the server 200 after the performance is completed, and extracts the technical video in the time period designated by the referee R10 from the downloaded video. Then, it may be displayed on the display 105.
  • the D score is determined by a two-member system consisting of judges R10 and R20.
  • the referee R20 also scores the performance in the same manner as the referee R10. If there is a difference in the D scores determined by the referees R10 and R20, the referees R10 and R20 determine the final D score by consultation. In addition, an E score and the like are taken into account, and a decision point for the performance is determined.
  • the terminal device 100 associates the technique identification information included in both scoring results with each other. Display and identify and display the technical video corresponding to the selected identification information. Thereby, the terminal device 100 can promptly present information (information included in the technique determination result screen 400 and the technique moving image reproduction screen 500) used for comparison of the scoring results to the referee R10.
  • the referee R10 can easily identify a technique having a difference in determination in both scoring results on the technique determination result screen 400. Further, the referee R10 can immediately check the moving image of the portion where the determination result of the technique is different on the technique moving image reproduction screen 500 and correct the determination. In this way, scoring by the referee R10 can be made more efficient. Moreover, the reliability of scoring can be improved efficiently.
  • step S ⁇ b> 11 of FIG. 17 the GUI processing unit 130 supports handwriting input by the scoring handwriting input screen 300, but handwriting input may be supported by a GUI different from the scoring handwriting input screen 300. .
  • FIG. 19 is a diagram showing another example of the scoring handwriting input screen.
  • the scoring handwriting input screen 300 a is generated by the GUI processing unit 130 and displayed on the display 105.
  • the scoring handwriting input screen 300a includes a color selection form 320, a size selection form 330, an erase button 340, an initialization button 350, a scoring button 360, a handwriting input area 370, and an Enter button 380.
  • the roles of the color selection form 320, the size selection form 330, the delete button 340, the initialization button 350, and the scoring button 360 are the same as those of the screen elements of the same name in the scoring handwriting input screen 300.
  • the handwriting input area 370 is an area for accepting handwritten character input by the referee R10.
  • the direction from the left side to the right side of the handwriting input area 370 corresponds to the positive direction of the technique time series.
  • the referee R10 can input characters on the touch panel 107 using a finger or a stylus pen. In the handwriting input area 370, the input shorthand character is displayed.
  • the Enter button 380 is a button that is pressed down by the referee R10 when the handwriting input of the technical unit is completed.
  • the GUI processing unit 130 receives a pressing operation on the Enter button 380, the GUI processing unit 130 acquires handwritten information of shorthand written characters described in the handwriting input area 370 and specifies a technique name from the technique name table 111.
  • the GUI processing unit 130 registers the specified technique name in the handwriting recognition result table 115.
  • the GUI processing unit 130 clears the display of the handwriting input area 370 and waits for handwriting input for the next technique.
  • the GUI processing unit 130 accepts a pressing operation of the scoring button 360 by the referee R10.
  • the GUI processing unit 130 proceeds to display the technique determination result screen 400.
  • the GUI processing unit 130 may be able to determine the shorthand character input by handwriting for each technique. Further, the GUI processing unit 130 causes both the scoring handwriting input screen 300a and the technique determination result screen 400 to be simultaneously displayed on the display 105, analyzes the technique name immediately from the shorthand characters determined for each technique, and determines the technique determination result. It may be reflected on the screen 400.
  • FIG. 20 is a diagram illustrating another example of the technique determination result screen.
  • the GUI processing unit 130 displays the technique determination result screen 400 after the performance is completed. However, the technique determination result screen 400 is displayed during the performance, and the performance is being performed. The display content of the technique determination result screen 400 may be updated immediately in response to the input.
  • the third technique “E-flop” determined by the server 200 and the third technique “E-flop” determined by the referee R10 are reflected on the technique determination result screen 400. The state is illustrated.
  • the function of the terminal device 100 can be used to compare, for example, a technique determination result by the referee R10 and a technique determination result by the referee R20.
  • FIG. 21 is a flowchart showing another processing example of the terminal device.
  • the process illustrated in FIG. 21 will be described in order of step number.
  • the procedure in FIG. 21 is different from the procedure in FIG. 17 in that the GUI processing unit 130 executes step S13a instead of step S13 in FIG. Therefore, step S13a will be described below, and description of other steps will be omitted.
  • the GUI processing unit 130 acquires a technique determination result by handwritten character recognition of another terminal device (terminal device 100a).
  • the technique determination result of the terminal device 100a may be a technique determination result after correction by the referee R20 using the procedure illustrated in FIG.
  • the GUI processing unit 130 stores the technique determination result acquired from the terminal device 100a in the storage unit 110.
  • the technique determination result acquired from the terminal device 100a also includes the determined technique name, technique start time, and technique end time.
  • the GUI processing unit 130 performs the processing after step S14 on the technique determination result by the terminal apparatus 100 and the technique determination result by the terminal apparatus 100a. Thereby, the terminal device 100 can support efficient comparison of the skill determination results by the judges R10 and R20.
  • the technique determination result after the referee R10 corrects based on the technique determination result by the server 200
  • the technique determination result after the referee R20 corrects based on the technique determination result by the server 200 after step S13a. It is also conceivable to make further comparisons using procedures.
  • the terminal device 100 can assist the referees R10 and R20 to quickly determine the D score.
  • the information processing according to the first embodiment can be realized by causing the processing unit 1b to execute a program.
  • the information processing according to the second embodiment can be realized by causing the processor 101 to execute a program.
  • the program can be recorded on a computer-readable recording medium 12.
  • the program can be distributed by distributing the recording medium 12 on which the program is recorded.
  • the program may be stored in another computer and distributed via a network.
  • the computer stores (installs) a program recorded in the recording medium 12 or a program received from another computer in a storage device such as the RAM 102 or the HDD 103, and reads and executes the program from the storage device. Good.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

採点結果の比較に用いられる情報を速やかに提示可能にすること。　記憶部（１ａ）は、競技者（Ｐ１）が複数の技を時系列に演技する競技を記録した画像を記憶する。処理部（１ｂ）は、演技中の競技者（Ｐ１）に関するセンサデータに基づいて複数の技それぞれを採点した第一の採点結果と、審判員（Ｒ１）により入力された第二の採点結果とを取得する。処理部（１ｂ）は、第一の採点結果に含まれる技の第一の識別情報と、第二の採点結果に含まれる技の第二の識別情報とを対応付けて表示する。処理部（１ｂ）は、表示された識別情報のうち、何れかの識別情報が選択されると、選択された識別情報に対応する映像を記憶部（１ａ）に記憶された画像の中から特定し、特定した映像を表示する。

Description

採点支援プログラム、採点支援装置および採点支援方法
　本発明は採点支援プログラム、採点支援装置および採点支援方法に関する。
　競技には、競技者の演技を審判員が採点し、採点された点数に応じて複数の競技者それぞれの順位が決定されるものがある。また、競技には、例えば体操競技のように、一つの演技に複数の技が含まれるものがある。このような競技では、審判員は、競技者の演技を目視し、技を特定する。審判員は、特定した技の難度や特定した技のグループなどを特定し、特定した難度やグループなどに応じた採点を行う。
　ここで、情報処理技術を採点に利用することが考えられている。例えば、競技者により保持されている通信端末から送信された競技者別の競技者データを受信し、競技者データと予め記憶されている審判データとに基づき、採点結果を示す審判結果データを生成する競技用審判支援装置の提案がある。
　なお、採点者による試験答案の採点作業を支援する提案もある。この提案では、コンピュータにより答案用紙のレイアウトと同様の採点画面を表示させ、採点画面上で答案用紙の解答欄の位置、大きさ、見た目などを活かして直感的な作業を行えるようにすることで、採点の作業効率を上げる。また、マイクから入力された歌唱信号電圧を、採点ポイント毎に一定電圧以上であるか否かを判定して、歌唱力を採点する歌唱力評価装置の提案もある。
特開２００４－２０８９９５号公報 特開２００２－２５１１２７号公報 特開平１－２０５９０号公報
　競技の採点では、審判員が演技を見ながら、演技された技を判断し、紙の採点用紙に手書きで技を速記し、演技後に採点用紙の記載内容を確認して点数計算を行うことがある。この方法では、審判員による技の認定ミスや集計ミスが生じることがある。
　一方、センシング技術を用いて情報処理装置により採点を行うことも考えられる。情報処理装置は、演技中の競技者に対してセンサにより取得されたセンサデータに基づき演技の採点を行う。ところが、センシング技術による採点結果も必ずしも適正とは限らない。
　そこで、センシング技術による採点結果および審判員による採点結果の両方を用いて採点結果の信頼性を向上させることが考えられる。例えば、両方の採点結果が相違する技は見直し候補となり得る。このとき、両方の採点結果の審判員などによる比較を支援する方法が問題となる。例えば、審判員が、両採点結果の比較をするときに、記録された演技の動画を最初から全て見て確認を行うことも考えられる。しかし、見直し対象の技を動画から探す手間を審判員に強いることになり、採点結果の確定までに時間がかかる。
　一つの側面では、本発明は、採点結果の比較に用いられる情報を速やかに提示可能にすることを目的とする。
　一つの態様では、採点支援プログラムが提供される。この採点支援プログラムは、競技者が複数の技を時系列に演技する競技について、演技中の競技者に関するセンサデータに基づいて複数の技それぞれを採点した第一の採点結果と、審判員により入力された第二の採点結果とを取得し、第一の採点結果に含まれる技の第一の識別情報と、第二の採点結果に含まれる技の第二の識別情報とを対応付けて表示し、表示された識別情報のうち、何れかの識別情報が選択されると、選択された識別情報に対応する映像を複数の技を記録した画像の中から特定し、特定した映像を表示する、処理をコンピュータに実行させる。
　一つの側面では、採点結果の比較に用いられる情報を速やかに提示することが可能となる。
　本発明の上記および他の目的、特徴および利点は本発明の例として好ましい実施の形態を表す添付の図面と関連した以下の説明により明らかになるであろう。
第一の実施の形態の採点支援システムを示す図である。 第二の実施の形態の採点支援システムの例を示す図である。 端末装置のハードウェア例を示す図である。 サーバのハードウェア例を示す図である。 端末装置の機能例を示す図である。 サーバの機能例を示す図である。 ３Ｄセンシング技術による技認識の例を示す図である。 採点手書き入力画面の例を示す図である。 技名テーブルの例を示す図である。 技管理テーブルの例を示す図である。 難度管理テーブルの例を示す図である。 センシング結果テーブルの例を示す図である。 手書き認識結果テーブルの例を示す図である。 技判定結果画面の例を示す図である。 技動画再生画面の例を示す図である。 採点結果表示画面の例を示す図である。 端末装置の処理例を示すフローチャートである。 サーバの処理例を示すフローチャートである。 採点手書き入力画面の他の例を示す図である。 技判定結果画面の他の例を示す図である。 端末装置の他の処理例を示すフローチャートである。
　以下、本実施の形態について図面を参照して説明する。
　［第一の実施の形態］
　図１は、第一の実施の形態の採点支援システムを示す図である。第一の実施の形態の採点支援システムは、競技における審判員Ｒ１による採点を支援する。競技は、競技者Ｐ１が複数の技を時系列に演技する競技（例えば、体操競技）である。
　第一の実施の形態の採点支援システムは、採点支援装置１、情報処理装置２、動画撮影カメラ３およびレーザーセンサ４，４ａを含む。情報処理装置２は、ネットワーク５に接続されている。ネットワーク５は、例えばＬＡＮ（Local Area Network）である。動画撮影カメラ３およびレーザーセンサ４，４ａは、情報処理装置２に接続されている。ネットワーク５にはアクセスポイント６が接続されている。アクセスポイント６は、採点支援装置１および情報処理装置２の通信を中継する中継装置である。
　ここで、動画撮影カメラ３は、競技者Ｐ１による演技を撮影して動画データを生成し、情報処理装置２に出力する。情報処理装置２は、動画撮影カメラ３から受信した動画データを記憶する。
　また、レーザーセンサ４，４ａは、測距用のセンサである。例えば、レーザーセンサ４，４ａは、演技中の競技者Ｐ１にレーザー光を照射し、参照光に対する反射光の位相のずれを検出して距離を測定する。レーザー光の周波数として、競技者Ｐ１の演技の妨げにならない周波数が選択される。レーザーセンサ４，４ａは、自身から競技者Ｐ１へ向かう方向と垂直な面の複数のポイントをターゲットとして距離を測定する。あるポイントに対するレーザー光が競技者Ｐ１に当たれば、競技者Ｐ１によりレーザー光は反射される。別のポイントに対するレーザー光が競技者Ｐ１に当たらなければ、競技者Ｐ１以外の物体（例えば、競技者Ｐ１の背後の壁など）によりレーザー光は反射される。こうして、レーザーセンサ４，４ａは、レーザーセンサ４，４ａから競技者Ｐ１や競技者Ｐ１の周囲の物体までの距離を反映した点群の情報（センサデータと称する）を取得し、センサデータを情報処理装置２に出力する。
　情報処理装置２は、センサデータに基づいて、競技者Ｐ１の骨格データＤ１を生成する。骨格データＤ１は、競技者Ｐ１の骨格を表す情報であり、例えば、関節位置や関節の曲がり角度などの情報を含む。情報処理装置２は、２以上のレーザーセンサが出力するセンサデータを用いることで、３次元の骨格データＤ１を得る。また、情報処理装置２は、各レーザーセンサが時系列に出力するセンサデータに基づいて、骨格データＤ１の時系列変化を得る。情報処理装置２は、骨格データＤ１の時系列変化を、情報処理装置２に記憶された技毎の運動パターン情報と照合することで、競技者Ｐ１による技を特定する。
　例えば、運動パターン情報は、技の運動パターン（技毎の骨格データの変化をパターン化した辞書情報）と技の識別情報との対応関係を示す情報である。運動パターン情報は、（１）基本運動の運動パターンを示す情報、および、（２）基本運動の組と技の識別情報との対応関係を示す情報を含んでもよい。例えば、体操競技のように、基本運動の組み合わせによって技が決定される競技もあるからである。
　情報処理装置２は、特定した技に対する採点を行う。例えば、情報処理装置２は、特定した技の難度や、当該技が属するグループなどを、情報処理装置２に予め登録された情報を基に特定することで、特定した技の採点を行う。
　採点支援装置１は、審判員Ｒ１により、採点結果の入力や採点結果の比較などに用いられる。採点支援装置１は、記憶部１ａ、処理部１ｂ、通信部１ｃ、入力部１ｄおよび表示部１ｅを有する。
　記憶部１ａは、ＲＡＭ（Random Access Memory）などの揮発性記憶装置でもよいし、フラッシュメモリなどの不揮発性記憶装置でもよい。処理部１ｂは、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などを含み得る。処理部１ｂはプログラムを実行するプロセッサでもよい。プロセッサは、複数のプロセッサの集合（マルチプロセッサ）でもよい。
　通信部１ｃは、アクセスポイント６を介した情報処理装置２との通信に用いられる無線通信インタフェースである。ただし、通信部１ｃは、ネットワーク５に有線で接続するための有線通信インタフェースでもよい。入力部１ｄは、審判員Ｒ１による入力を受け付ける。入力部１ｄは、タッチパネルやタッチパッドなどのポインティングデバイスでもよい。表示部１ｅは、ＧＵＩ（Graphical User Interface）を表示する。表示部１ｅとして、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイを用いることができる。
　記憶部１ａは、競技を記録した画像を記憶する。記憶部１ａが記憶する画像は、競技者Ｐ１による演技の画像を含む。当該画像は、情報処理装置２により配信された動画撮影カメラ３の動画データ（あるいは動画データの一部分）でもよい。
　処理部１ｂは、演技中の競技者Ｐ１に関するセンサデータに基づいて複数の技それぞれを採点した第一の採点結果を情報処理装置２から取得する。処理部１ｂは、審判員Ｒ１により入力された第二の採点結果を取得する。第二の採点結果は、審判員Ｒ１による複数の技それぞれの採点結果である。
　例えば、処理部１ｂは、審判員Ｒ１により入力部１ｄに入力された技を表す文字を認識することで、審判員Ｒ１による第二の採点結果の入力を受け付ける。審判員Ｒ１は、競技者Ｐ１の演技を見ながら文字を入力する。処理部１ｂは、基本運動を示す文字の組により技を特定する場合、入力された文字間の時間間隔やスペースの間隔により、技毎の区切り（すなわち、基本運動の１つの組）を認識することもできる。処理部１ｂは、入力部１ｄに対する文字または文字の組毎の入力開始時刻や入力完了時刻を検出することもできる。ここで、文字または文字の組を文字列と称する。
　ここで、第一の採点結果は、情報処理装置２により認識された技および当該技の開始時刻や終了時刻の情報を含んでもよい。第二の採点結果は、審判員Ｒ１により入力された技および当該技の入力開始時刻や入力終了時刻の情報を含んでもよい。
　処理部１ｂは、第一の採点結果に含まれる技の第一の識別情報と、第二の採点結果に含まれる技の第二の識別情報とを対応付けて表示する。処理部１ｂは、表示部１ｅを用いて、第一の採点結果および第二の採点結果の表示を行う（「処理部１ｂは、第一の採点結果および第二の採点結果を表示部１ｅにより表示させる」ということもできる）。
　例えば、処理部１ｂは、第一の採点結果に含まれる各技の第一の識別情報と、第二の採点結果に含まれる各技の第二の識別情報とを技の時系列に順番に対応付けて表示する。具体的には、処理部１ｂは、第一の識別情報の判定元の動作を競技者Ｐ１が行った第一の時刻と、審判員Ｒ１により第二の識別情報に対応する入力が行われた第二の時刻とに基づいて、第一の識別情報と第二の識別情報とを対応付ける。すなわち、処理部１ｂは、第一の採点結果に含まれる複数の技の時系列を、技毎の開始時刻（または終了時刻）により特定し、第二の採点結果に含まれる複数の技の時系列を、技毎の入力開始時刻（または入力終了時刻）により特定する。そして、処理部１ｂは、特定した２つの時系列の順番に沿って、第一の採点結果に含まれる複数の技の識別情報と、第二の採点結果に含まれる複数の技の識別情報とを一対一に対応付ける。採点結果比較画面７は、処理部１ｂにより生成された画面の表示部１ｅによる表示例である。
　採点結果比較画面７は、時間帯、センシング技術、審判員の項目を含む。時間帯の項目には、センシング技術を用いた技認識により認識された技の開始から終了までの時間帯（時刻は、演技開始からの経過時間により表されてもよい）が表示される。採点結果比較画面７の例では、センシング技術により各技が認識された時間として、“ｔ１～ｔ２”、“ｔ２～ｔ３”、“ｔ３～ｔ４”という３つの時間帯が表示されている。時刻ｔ１，ｔ２，ｔ３，ｔ４は、この順で時系列（時刻ｔ１が最も古く、時刻ｔ４が最も新しい）となっている。
　センシング技術の項目には、情報処理装置２により認識された技の識別情報および当該技の点数が表示される。採点結果比較画面７の例では、時間帯“ｔ１～ｔ２”では、“技Ｘ１”という識別情報、および、“０．１”という点数が表示されている。これは、センシング技術により“技Ｘ１”の判定元となった競技者Ｐ１による動作が、時間帯“ｔ１～ｔ２”に行われており、“技Ｘ１”の点数が“０．１”であることを示す。また、時間帯“ｔ２～ｔ３”では、“技Ｘ２”という識別情報、および、“０．２”という点数が表示されている。更に、時間帯“ｔ３～ｔ４”では、“技Ｘ３”という識別情報、および、“０．３”という点数が表示されている。
　審判員の項目には、審判員Ｒ１により入力された文字列に対応する技の識別情報および当該技の点数が表示される。採点結果比較画面７の例では、時間帯“ｔ１～ｔ２”では、“技Ｘ１”という識別情報、および、“０．１”という点数が表示されている。時間帯“ｔ２～ｔ３”では、“技Ｘ４”という識別情報、および、“０．４”という点数が表示されている。時間帯“ｔ３～ｔ４”では、“技Ｘ３”という識別情報、および、“０．３”という点数が表示されている。
　採点結果比較画面７の例では、最初の技は、第一の採点結果および第二の採点結果とも、技“技Ｘ１”、点“０．１”で同じである。２番目の技は、第一の採点結果が技“技Ｘ２”、点“０．２”であり、第二の採点結果が技“技Ｘ４”、点“０．４”である。すなわち、両方の採点結果では２番目の技が異なる。３番目の技は、第一の採点結果および第二の採点結果とも、技“技Ｘ３”、点“０．３”で同じである。この場合、審判員Ｒ１は、時間帯“ｔ２～ｔ３”に行われた技を見直し対象とする。また、時間帯“ｔ１～ｔ２”、“ｔ３～ｔ４”に行われた技は両採点結果が同じであり、両採点結果が適正である可能性が高いので、見直し対象外とする（あるいは見直しの優先度を下げる）。処理部１ｂは、採点結果比較画面７において、採点結果の相違する時間帯“ｔ２～ｔ３”に対応する箇所（例えば、審判員Ｒ１による採点結果“技Ｘ４”、“０．４”の表示箇所）を強調表示してもよい。
　処理部１ｂは、表示された識別情報のうち、何れかの識別情報が選択されると、選択された識別情報に対応する映像を、競技者Ｐ１による複数の技を記録した画像の中から特定し、特定した映像を表示する。
　例えば、審判員Ｒ１は、入力部１ｄを操作して、採点結果比較画面７に表示された見直し対象の技の識別情報（例えば、審判員Ｒ１による採点結果“技Ｘ４”に対応する表示箇所、またはセンシング技術による採点結果“技Ｘ２”に対応する表示箇所）を選択できる。あるいは、審判員Ｒ１は、見直し対象の技の識別情報として、時間帯“ｔ２～ｔ３”を選択することもできる。なぜなら、“技Ｘ２”や“技Ｘ４”といった識別情報は、時間帯“ｔ２～ｔ３”に対応付けられるからである。したがって、時間帯“ｔ２～ｔ３”を、見直し対象の技の識別情報の１つと考えてもよい。入力部１ｄがタッチパネルであれば、審判員Ｒ１は、該当箇所をタッチすることで当該選択を行える。あるいは、入力部１ｄがタッチパッドであれば、審判員Ｒ１は、採点結果比較画面７内に表示されるポインタを該当箇所に合わせて、所定の選択操作（例えば、タッチパッドのタップや選択ボタンの押下など）を行うことで当該選択を行ってもよい。
　そして、処理部１ｂは、入力部１ｄを用いて選択された識別情報に対応する映像を、記憶部１ａ（または情報処理装置２）に記憶された競技者Ｐ１による演技の動画データの中から特定する。例えば、“技Ｘ２”や“技Ｘ４”が選択された場合、“技Ｘ２”や“技Ｘ４”に対応する時間帯は“ｔ２～ｔ３”である。したがって、処理部１ｂは、動画データのうち、時間帯“ｔ２～ｔ３”に対応する時間帯の技動画を再生するための技動画再生画面８を、表示部１ｅを用いて表示する。
　技動画再生画面８は、動画再生領域８ａ、技選択フォーム８ｂおよび決定ボタン８ｃを含む。動画再生領域８ａは、該当の時間帯の技動画を再生する領域である。上記の例では、処理部１ｂは、時間帯“ｔ２～ｔ３”の時間帯の技動画を再生し、動画再生領域８ａ内に表示する。なお、処理部１ｂは、再生対象の時間帯の開始点を時刻“ｔ２”より所定時間前の時刻としてもよい。また、処理部１ｂは、再生対象の時間帯の終了点を時刻“ｔ３”より所定時間後の時刻としてもよい。技選択フォーム８ｂは、審判員Ｒ１による技の入力を受け付けるためのフォームである。決定ボタン８ｃは、技選択フォーム８ｂに入力された技を、採点結果比較画面７に反映させるためのボタンである。
　審判員Ｒ１は、動画再生領域８ａにおいて再生される技動画を確認して、技選択フォーム８ｂにより技の識別情報（例えば、技名）を入力できる。例えば、審判員Ｒ１は、自身の判断が誤っていたと判断すれば、元の技“技Ｘ４”とは異なる技の識別情報を入力することができる。例えば、処理部１ｂは、審判員Ｒ１により入力された技により、採点結果比較画面７における時間帯“ｔ２～ｔ３”の審判員の技の項目の表示を更新する（新たに入力された技の識別情報を表示する）。また、処理部１ｂは、更新後の技の難易度などに応じた点を、時間帯“ｔ２～ｔ３”の審判員の点の項目に表示する。
　処理部１ｂは、更新後の採点結果比較画面７における審判員Ｒ１の採点結果に表示された点を集計することで、競技者Ｐ１の演技に対する点数を計算してもよい。処理部１ｂは、競技者Ｐ１の演技に対する点数を、表示部１ｅを用いて表示してもよい。
　ここで、審判員Ｒ１が、センシング技術による採点結果と審判員Ｒ１の採点結果とを比較するときに、記録された演技の動画を最初から全て見て確認を行うことも考えられる。しかし、審判員Ｒ１が、両採点結果において同じである箇所を確認するのは余計であるし、動画の中から、技の判定が相違した箇所を探すのも手間である。このため、採点結果の確定までに時間がかかるおそれがある。
　そこで、採点支援装置１は、センシング技術による第一の採点結果と審判員Ｒ１による第二の採点結果とを比較する際に、両採点結果に含まれる技の識別情報を対応付けて表示し、選択された識別情報に対応する技動画を特定して表示する。これにより、採点支援装置１は、採点結果の比較に用いられる情報（採点結果比較画面７や技動画再生画面８に含まれる情報）を速やかに提示することが可能となる。
　審判員Ｒ１は、採点結果比較画面７により、両採点結果において判定に相違のある技を容易に特定できる。また、審判員Ｒ１は、技動画再生画面８により、技の判定結果が相違する箇所の動画を即座に確認し、判定の訂正を行える。こうして、審判員Ｒ１による採点を効率化することができる。また、採点の信頼性を効率的に高めることができる。
　以下では、第一の実施の形態の採点支援システムを、体操競技の採点に用いる場合を例示して、採点支援装置１による機能をより具体的に説明する。
　［第二の実施の形態］
　図２は、第二の実施の形態の採点支援システムの例を示す図である。第二の実施の形態の採点支援システムは、端末装置１００，１００ａ、サーバ２００、動画撮影カメラ２１およびレーザーセンサ２２，２２ａを含む。サーバ２００は、ネットワーク１０に接続されている。ネットワーク１０は、例えばＬＡＮである。動画撮影カメラ２１およびレーザーセンサ２２，２２ａは、サーバ２００に接続されている。ネットワーク１０にはアクセスポイント１１が接続されている。アクセスポイント１１は、端末装置１００，１００ａおよびサーバ２００の通信を中継する中継装置である。
　ここで、動画撮影カメラ２１は、体操競技の競技者Ｐ１０による演技を撮影して動画データを生成し、サーバ２００に出力する。
　また、レーザーセンサ２２，２２ａは、演技中の競技者Ｐ１０にレーザー光を照射し、参照光に対する反射光の位相のずれを検出して距離を測定する。レーザー光の周波数として、競技者Ｐ１０の演技の妨げにならない周波数が選択される。レーザーセンサ２２，２２ａは、レーザーセンサ２２，２２ａから競技者Ｐ１０や競技者Ｐ１０の周囲の物体までの距離を反映した点群の情報（センサデータ）を取得し、センサデータをサーバ２００に出力する。
　端末装置１００は、審判員Ｒ１０により使用されるクライアントコンピュータである。端末装置１００ａは、審判員Ｒ２０により使用されるクライアントコンピュータである。端末装置１００，１００ａは、タブレット型の端末装置でもよいし、ラップトップ型のＰＣ（Personal Computer）でもよい。端末装置１００，１００ａは、アクセスポイント１１を介して、サーバ２００と通信する。端末装置１００，１００ａは、第一の実施の形態の採点支援装置１の一例である。
　サーバ２００は、動画撮影カメラ２１により生成された動画データを記憶するサーバコンピュータである。また、サーバ２００は、レーザーセンサ２２，２２ａにより生成されたセンサデータに基づいて、競技者Ｐ１０の演技に含まれる技を認識する。
　ここで、体操競技では、審判員によるＤスコア（Difficulty score）およびＥスコア（Execution score）の採点によって各競技者の順位が決定される。Ｄスコアは、演技の内容的な難しさを評価した得点である。Ｅスコアは、演技の美しさ（演技構成、技術および姿勢など）を評価した得点である。
　ＤスコアはＤスコアを採点する審判員（Ｄ審判）により採点される。ＥスコアはＥスコアを採点する審判員（Ｅ審判およびＲ審判）により採点される。第二の実施の形態の採点支援システムでは、主に、Ｄスコアの採点支援を想定する。このため、審判員Ｒ１０，Ｒ２０は、Ｄスコアを採点する審判員（Ｄ審判）である。Ｄスコアを採点する審判員は、複数人制（具体的には２人制）である。
　また、演技では競技者Ｐ１０により複数の技が時系列に実施される。技は、複数の基本運動の組み合わせである。このため、サーバ２００は、センサデータに基づいて、まずは、基本運動を認識する。そして、サーバ２００は、基本運動の組み合わせを認識することで、当該基本運動の組み合わせに対応する技を認識する。
　技は難度およびグループに対応付けられる。技の価値点は難度により定まる。また、演技中に行われた技が属するグループに対しても点数が付与される（要求グループ点）。更に、競技の種目によっては、技の組み合わせに対しても点数が付与される（組み合わせ加点）。例えば、組み合わせ加点は、床や鉄棒の競技で適用される。これらの点数の合計がＤスコアとなる。
　サーバ２００は、第一の実施の形態の情報処理装置２の一例である。なお、動画撮影カメラにより生成された動画データを記憶するサーバコンピュータと、センシング技術による技認識を行うサーバコンピュータとを別個に設けて、ネットワーク１０に接続してもよい。
　以下では、体操競技の一例として、男子のあん馬を考える。ただし、種目、性別および年代に応じた異なる採点ルールに対しても、第二の実施の形態の採点支援システムを適用できる。
　図３は、端末装置のハードウェア例を示す図である。端末装置１００は、プロセッサ１０１、ＲＡＭ１０２、フラッシュメモリ１０３、画像信号処理部１０４、ディスプレイ１０５、入力信号処理部１０６、タッチパネル１０７、媒体リーダ１０８および通信インタフェース１０９を有する。各ユニットは端末装置１００のバスに接続されている。端末装置１００ａも端末装置１００と同様のハードウェアにより実現される。
　プロセッサ１０１は、端末装置１００の情報処理を制御する。プロセッサ１０１は、マルチプロセッサでもよい。プロセッサ１０１は、例えばＣＰＵ、ＤＳＰ、ＡＳＩＣまたはＦＰＧＡなどである。プロセッサ１０１は、ＣＰＵ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡなどのうちの２以上の要素の組み合わせでもよい。
　ＲＡＭ１０２は、端末装置１００の主記憶装置である。ＲＡＭ１０２は、プロセッサ１０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションプログラムの少なくとも一部を一時的に記憶する。また、ＲＡＭ１０２は、プロセッサ１０１による処理に用いる各種データを記憶する。
　フラッシュメモリ１０３は、端末装置１００の補助記憶装置である。フラッシュメモリ１０３は、ＯＳのプログラム、アプリケーションプログラム、および各種データを記憶する。
　画像信号処理部１０４は、プロセッサ１０１からの命令に従って、ディスプレイ１０５に画像を出力する。ディスプレイ１０５には、例えば、液晶ディスプレイや有機ＥＬディスプレイを用いることができる。
　入力信号処理部１０６は、端末装置１００に接続されたタッチパネル１０７から入力信号を取得し、プロセッサ１０１に出力する。タッチパネル１０７は、ユーザによりタッチ操作された位置をプロセッサ１０１に出力するポインティングデバイスである。タッチパネル１０７は、ディスプレイ１０５の表示領域に重ねて設けられる。ユーザは、ディスプレイ１０５による表示を視認しながら、タッチパネル１０７によるタッチ操作を行える。
　媒体リーダ１０８は、記録媒体１２に記録されたプログラムやデータを読み取る装置である。記録媒体１２として、例えば、フラッシュメモリカードを使用できる。媒体リーダ１０８は、例えば、プロセッサ１０１からの命令に従って、記録媒体１２から読み取ったプログラムやデータをＲＡＭ１０２またはフラッシュメモリ１０３に格納する。
　通信インタフェース１０９は、アクセスポイント１１と無線リンクを確立し、アクセスポイント１１およびネットワーク１０を介してサーバ２００と通信する無線通信インタフェースである。ただし、通信インタフェース１０９は、ネットワーク１０と有線で接続する有線通信インタフェースでもよい。
　図４は、サーバのハードウェア例を示す図である。サーバ２００は、プロセッサ２０１、ＲＡＭ２０２、ＨＤＤ（Hard Disk Drive）２０３、接続インタフェース２０４、画像信号処理部２０５、入力信号処理部２０６、媒体リーダ２０７および通信インタフェース２０８を有する。各ユニットはサーバ２００のバスに接続されている。
　プロセッサ２０１は、サーバ２００の情報処理を制御する。プロセッサ２０１は、マルチプロセッサでもよい。プロセッサ２０１は、例えばＣＰＵ、ＤＳＰ、ＡＳＩＣまたはＦＰＧＡなどである。プロセッサ２０１は、ＣＰＵ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡなどのうちの２以上の要素の組み合わせでもよい。
　ＲＡＭ２０２は、サーバ２００の主記憶装置である。ＲＡＭ２０２は、プロセッサ２０１に実行させるＯＳのプログラムやアプリケーションプログラムの少なくとも一部を一時的に記憶する。また、ＲＡＭ２０２は、プロセッサ２０１による処理に用いる各種データを記憶する。
　ＨＤＤ２０３は、サーバ２００の補助記憶装置である。ＨＤＤ２０３は、内蔵した磁気ディスクに対して、磁気的にデータの書き込みおよび読み出しを行う。ＨＤＤ２０３は、ＯＳのプログラム、アプリケーションプログラム、および各種データを記憶する。サーバ２００は、フラッシュメモリやＳＳＤ（Solid State Drive）などの他の種類の補助記憶装置を備えてもよく、複数の補助記憶装置を備えてもよい。
　接続インタフェース２０４は、動画撮影カメラ２１およびレーザーセンサ２２，２２ａとの接続に用いられるインタフェースである。ただし、動画撮影カメラ２１およびレーザーセンサ２２，２２ａはネットワーク１０に接続されてもよい。その場合、サーバ２００は、後述の通信インタフェース２０８経由で動画撮影カメラ２１およびレーザーセンサ２２，２２ａと通信する。
　画像信号処理部２０５は、プロセッサ２０１からの命令に従って、サーバ２００に接続されたディスプレイ２３に画像を出力する。ディスプレイ２３として、ＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイなどを用いることができる。
　入力信号処理部２０６は、サーバ２００に接続された入力デバイス２４から入力信号を取得し、プロセッサ２０１に出力する。入力デバイス２４として、例えば、マウスやタッチパネルなどのポインティングデバイス、キーボードなどを用いることができる。
　媒体リーダ２０７は、記録媒体２５に記録されたプログラムやデータを読み取る装置である。記録媒体２５として、例えば、フレキシブルディスク（ＦＤ：Flexible Disk）やＨＤＤなどの磁気ディスク、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などの光ディスク、光磁気ディスク（ＭＯ：Magneto-Optical disk）を使用できる。また、記録媒体２５として、例えば、フラッシュメモリカードなどの不揮発性の半導体メモリを使用することもできる。媒体リーダ２０７は、例えば、プロセッサ２０１からの命令に従って、記録媒体２５から読み取ったプログラムやデータをＲＡＭ２０２またはＨＤＤ２０３に格納する。
　通信インタフェース２０８は、ネットワーク１０を介して端末装置１００，１００ａと通信を行う。通信インタフェース２０８は、有線通信インタフェースでもよいし、無線通信インタフェースでもよい。
　図５は、端末装置の機能例を示す図である。端末装置１００は、記憶部１１０、技名認識部１２０、ＧＵＩ処理部１３０、技動画再生部１４０および採点処理部１５０を有する。記憶部１１０は、ＲＡＭ１０２やフラッシュメモリ１０３に確保された記憶領域を用いて実現される。技名認識部１２０、ＧＵＩ処理部１３０、技動画再生部１４０および採点処理部１５０は、ＲＡＭ１０２に記憶されたプログラムをプロセッサ１０１が実行することで実現される。
　記憶部１１０は、審判員Ｒ１０により入力された文字を認識して技名に変換するための情報や、技名に対応するグループや難度の情報を記憶する。また、記憶部１１０は、難度に対応する点数や要求グループ点などの情報も記憶する。更に、競技の種目に応じて、組み合わせ加点の内容（例えば、技の組み合わせと加算する点数との対応関係）の情報を記憶することもある。
　技名認識部１２０は、審判員Ｒ１０により入力された文字列を技名に変換することで、審判員Ｒ１０により判定された技名を認識する。技名認識部１２０は、記憶部１１０に記憶された文字認識用の情報を参照して、入力された文字列を技名に変換する。
　ＧＵＩ処理部１３０は、ディスプレイ１０５にＧＵＩを表示させる。例えば、ＧＵＩ処理部１３０は、審判員Ｒ１０による技の手書き入力を支援する画面をディスプレイ１０５に表示させる。また、ＧＵＩ処理部１３０は、審判員Ｒ１０による技の採点結果と、サーバ２００による技の採点結果とを比較する画面をディスプレイ１０５に表示させる。更に、ＧＵＩ処理部１３０は、審判員Ｒ１０により選択された技の動画を再生する画面をディスプレイ１０５に表示させる。
　技動画再生部１４０は、技動画の再生を行う。技動画再生部１４０は、審判員Ｒ１０により選択された技の識別情報をＧＵＩ処理部１３０から取得し、該当の識別情報に対応する技動画をサーバ２００から取得する。技動画再生部１４０は、技動画を再生し、ＧＵＩ上に再生した技動画を表示させる。
　採点処理部１５０は、演技の採点を行う。採点処理部１５０は、記憶部１１０に予め記憶された情報（採点ルールの情報を含む）を参照して、認識された技名の難度や技名に対応するグループなどを特定し、難度やグループに応じた採点を行う。採点処理部１５０は、ＧＵＩ処理部１３０により採点結果をＧＵＩ上に表示させる。
　端末装置１００ａも端末装置１００と同様の機能を有する。
　図６は、サーバの機能例を示す図である。サーバ２００は、動画記憶部２１０、動画保存部２２０、動画配信部２３０、辞書情報記憶部２４０、センサデータ記憶部２５０、センサデータ受信部２６０、骨格認識部２７０および技認識部２８０を有する。動画記憶部２１０、辞書情報記憶部２４０およびセンサデータ記憶部２５０は、ＲＡＭ２０２やＨＤＤ２０３に確保された記憶領域を用いて実現される。動画保存部２２０、動画配信部２３０、センサデータ受信部２６０、骨格認識部２７０および技認識部２８０は、ＲＡＭ２０２に記憶されたプログラムをプロセッサ２０１が実行することで実現される。
　動画記憶部２１０は、動画撮影カメラ２１により撮影された動画を記憶する。
　動画保存部２２０は、動画撮影カメラ２１により撮影された動画を受信し、動画記憶部２１０に格納する。動画は、撮影開始時刻の情報や撮影終了時刻の情報を含む。また、動画は、競技者Ｐ１０が演技を開始した演技開始時刻の情報を含む。
　動画配信部２３０は、端末装置１００，１００ａの要求に応じて、指定された時間帯の動画を、端末装置１００，１００ａに配信する。動画配信部２３０は、競技の視聴者に対する視聴用として、演技中の動画を、端末装置１００，１００ａ以外のクライアント端末にリアルタイムに配信してもよい。
　辞書情報記憶部２４０は、基本運動の認識に用いられる基本運動辞書情報を記憶する。基本運動辞書情報は、基本運動の識別情報と基本運動に対応する骨格データの運動パターンとを対応付けた情報である。骨格データの運動パターンは、例えば機械学習の技術を用いて予め生成される。辞書情報記憶部２４０は、技の認識に用いられる技関連辞書情報を記憶する。技関連辞書情報は、基本運動の組み合わせと技の識別情報（技名）とを対応付けた情報である。
　センサデータ記憶部２５０は、レーザーセンサ２２，２２ａにより生成されたセンサデータを記憶する。センサデータは、骨格データの元となるデータである。
　センサデータ受信部２６０は、レーザーセンサ２２，２２ａにより生成されたセンサデータを受信し、センサデータ記憶部２５０に格納する。センサデータは、演技開始時刻の情報や演技終了時刻の情報を含む。演技開始時刻は、動画撮影カメラ２１により撮影された動画における演技開始時刻と同期される（この場合、両演技開始時刻は、ある演技に対して同じ時刻を示すことになる）。
　骨格認識部２７０は、センサデータ記憶部２５０に記憶されたセンサデータに基づく所定の演算により骨格データを生成する。骨格データは、競技者Ｐ１０の骨格を表す情報であり、関節位置や関節の曲がり角度などの情報を含む。骨格認識部２７０は、２つのレーザーセンサ２２，２２ａが出力するセンサデータを用いることで、３次元の骨格データを得る。骨格認識部２７０は、３以上のレーザーセンサが出力するセンサデータを用いて３次元の骨格データを生成してもよい。骨格認識部２７０は、レーザーセンサ２２，２２ａが時系列に出力するセンサデータに基づいて、骨格データの時系列変化を得る。
　技認識部２８０は、骨格データの時系列変化を、記憶部１１０に記憶された基本運動辞書情報における基本運動毎の運動パターンの情報と照合することで、競技者Ｐ１０による基本運動を特定する。そして、技認識部２８０は、記憶部１１０に記憶された技関連辞書情報を参照して、基本運動の組み合わせに対応する技名を特定する。技認識部２８０は、特定した技の技名、技の開始時刻および技の終了時刻を端末装置１００，１００ａに送信する。
　図７は、３Ｄセンシング技術による技認識の例を示す図である。レーザーセンサ２２は、レーザーセンサ２２から競技者Ｐ１０へ向かう方向と垂直な面（競技者Ｐ１０の後方（あるいは競技者Ｐ１０の前方）に仮想的な面があると想定する）の複数のポイントをターゲットとして、距離を測定する。例えば、レーザーセンサ２２は、３２０＊２００ポイントにレーザーを照射し、レーザーセンサ２２から各ポイントまでの距離を計測する。あるポイントに対するレーザー光が競技者Ｐ１０に当たれば、競技者Ｐ１０によりレーザー光は反射される。別のポイントに対するレーザー光が競技者Ｐ１０に当たらなければ、競技者Ｐ１０以外の物体（例えば、競技者Ｐ１０の背後の壁など）によりレーザー光は反射される。
　例えば、レーザーセンサ２２は、３２０＊２００ポイントの距離の情報を１セット（センサデータの１単位）として、１秒間に３０回（すなわち、３０ｆｐｓ（frames per second））の頻度でセンサデータを取得する。レーザーセンサ２２ａも同様である。
　距離の情報を２バイト（bytes）とすると、２つのレーザーセンサ２２，２２ａを用いる場合、センサデータのレートは、（３２０＊２００）［ポイント］＊（２＋２）［バイト］＊３０［ｆｐｓ］～５８．５Ｍｂｐｓ（Megabits per second）程度となる。なお、１ｋ（kilo）を１０２４とし、１Ｍ（Mega）を１０２４ｋとして計算している。
　センサデータ受信部２６０は、レーザーセンサ２２，２２ａからセンサデータを受信し、センサデータ記憶部２５０に格納する。
　骨格認識部２７０は、センサデータ記憶部２５０に記憶されたセンサデータに基づいて、所定の観測点からレーザー光が反射された各点までの距離を反映した点群の画像を生成する。例えば、３０ｆｐｓでセンサデータを取得するので、骨格認識部２７０は、１秒間当たり３０フレームの点群の画像を取得する。点群の画像は、競技者Ｐ１０の３次元的な輪郭を形成する点群Ｄ１０を含む。
　骨格認識部２７０は、点群Ｄ１０に基づく所定の演算により骨格データＤ１１を生成する。骨格認識部２７０は、１秒間当たり最大で３０フレーム分の骨格データＤ１１を生成する。骨格認識部２７０は、１秒間当たり最大で３０フレーム分の骨格データＤ１１の時系列変化を検出する。こうして、骨格認識部２７０は、競技者Ｐ１０の骨格の動きを認識する。
　技認識部２８０は、認識した骨格の動きを、基本運動辞書情報２４１に予め登録された基本運動の運動パターンと照合し、基本運動を特定する。前述のように、基本運動辞書情報２４１に登録される運動パターンは、例えば訓練用のセンサデータを用いた機械学習により予め作成される。例えば、あん馬における基本運動の例として、「上向き正転向移動」、「下向き正転向移動」、「上向き逆転向移動」および「下向き逆転向移動」などが挙げられる。
　技認識部２８０は、技関連辞書情報２４２を参照して、特定した基本運動の並びに対応する技を特定する。例えば、技関連辞書情報２４２は、「基本運動１」が「技１」であることを示す。また、例えば、技関連辞書情報２４２は、「基本運動２＋基本運動１」の組み合わせ（「基本運動２」、「基本運動１」と順番に行われることを示す）が「技２」であることを示す。更に、例えば、技関連辞書情報２４２は、「基本運動１＋基本運動１＋基本運動３」の組み合わせが「技３」であることを示す。
　図８は、採点手書き入力画面の例を示す図である。採点手書き入力画面３００は、ＧＵＩ処理部１３０により生成され、ディスプレイ１０５により表示される。採点手書き入力画面３００は、手書き入力領域３１０、色選択フォーム３２０、大きさ選択フォーム３３０、消去ボタン３４０、初期化ボタン３５０および採点ボタン３６０を含む。
　手書き入力領域３１０は、審判員Ｒ１０による手書きの文字入力を受け付ける領域である。手書き入力領域３１０の左側から右側へ向かう方向が演技の時系列の正方向に対応する。審判員Ｒ１０は、指やスタイラスペンなどを用いてタッチパネル１０７により文字を入力できる。手書き入力領域３１０には、入力された手書き文字が表示される。色選択フォーム３２０は、手書き入力領域３１０に表示される文字の色の選択を受け付ける選択フォームである。大きさ選択フォーム３３０は、手書き入力領域３１０の大きさの選択を受け付ける選択フォームである（例えば、何段階かの選択候補が予め用意され、プルダウンで選択可能である）。消去ボタン３４０は、直前に入力された一文字の入力を消去するためのボタンである。入力が消去された文字は、手書き入力領域３１０からも消去される。初期化ボタン３５０は、手書き入力領域３１０に入力された全ての文字を消去するためのボタンである。採点ボタン３６０は、手書き入力領域３１０の入力内容に基づく演技の採点を端末装置１００に指示するためのボタンである。
　ここで、技名認識部１２０は、手書き入力領域３１０に入力された文字間の手書き入力領域３１０上の間隔や、直前の入力終了から今回の入力開始までの時間間隔に応じて、文字列の区切りを特定することができる。文字列の区切りは、審判員Ｒ１０が判断した２つの技の区切りに相当する。
　例えば、技名認識部１２０は、手書き入力領域３１０上の２つの文字の間の間隔が所定値よりも大きければ、当該２つの文字の間に文字列の区切りがあると判定する。また、技名認識部１２０は、手書き入力領域３１０上の２つの文字の間の間隔が所定値以下であれば、当該２つの文字の間に文字列の区切りがないと判定する。
　あるいは、例えば、技名認識部１２０は、２つの文字の入力された時間間隔が所定値よりも大きければ、当該２つの文字の間に文字列の区切りがあると判定してもよい。この場合、技名認識部１２０は、２つの文字の入力された時間間隔が所定値以下であれば、当該２つの文字の間に文字列の区切りがないと判定する。
　図９は、技名テーブルの例を示す図である。技名テーブル１１１は、記憶部１１０に予め格納される。技名テーブル１１１は、技名および速記文字の項目を含む。技名の項目には、技名が登録される。技名は、技の識別情報の一例である。速記文字の項目には、審判員Ｒ１０により手書き入力される速記文字（記号を含む）の筆跡情報が登録される。速記文字は技を表す文字列（１以上の文字の並び）である。筆跡情報は、例えば、審判員Ｒ１０による該当文字の筆跡を予め標本化した情報である。
　なお、審判員Ｒ１０により入力される一文字は、１つの基本運動に対応する。速記文字は、基本運動を表す１以上の文字を組み合わせた文字列である。
　例えば、技名テーブル１１１には、技名“技Ｗ１”に対して、速記文字“ＳＬＬ”の筆跡情報が登録される。技名テーブル１１１には、他の技に対しても同様に、速記文字の筆跡情報が登録される。
　技名認識部１２０は、審判員Ｒ１０の筆跡に対して適切に技名が認識されるように、技名テーブル１１１をカスタマイズすることができる。
　図１０は、技管理テーブルの例を示す図である。技管理テーブル１１２は、記憶部１１０に予め格納される。技管理テーブル１１２は、技名、グループおよび難度の項目を含む。技名の項目には、技名が登録される。グループの項目には、技名に対応するグループが登録される。難度の項目には、技名に対応する技の難度が登録される。
　例えば、技管理テーブル１１２には、技名が“技Ｗ１”、グループが“Ｉ”、難度が“Ａ”という情報が登録される。これは、技名“技Ｗ１”の技が属するグループが“Ｉ”であり、技名“技Ｗ１”の技の難度が“Ａ”であることを示す。
　ここで、あん馬ではグループ“Ｉ”～“Ｖ”が存在する。このうち、グループ“Ｖ”は終末技のグループである。難度は“Ａ”～“Ｇ”で表される。“Ａ”は最も難度が低い。アルファベットの順に難度は上がる。“Ｇ”は最も難度が高い。ただし、種目によってはＧ難度より高い難度の技も存在し得る。
　技管理テーブル１１２には、他の技名に対しても、同様にグループや難度の情報が登録される。
　図１１は、難度管理テーブルの例を示す図である。難度管理テーブル１１３は、記憶部１１０に予め格納される。難度管理テーブル１１３は、難度および価値点の項目を含む。難度の項目には、難度が登録される。価値点の項目には、価値点が登録される。
　例えば、難度管理テーブル１１３には、難度が“Ａ”、価値点が“０．１”という情報が登録される。これは、Ａ難度の技の価値点が“０．１”であることを示す。難度管理テーブル１１３には、他の難度に対しても、同様に価値点が登録される。
　図１２は、センシング結果テーブルの例を示す図である。センシング結果テーブル１１４は、ＧＵＩ処理部１３０によりサーバ２００から取得され、記憶部１１０に格納される。センシング結果テーブル１１４は、技名および時刻の項目を含む。技名の項目には、技名が登録される。時刻の項目には、技名で示される技が開始された時刻が登録される。
　例えば、センシング結果テーブル１１４には、技名が“技Ｗ１”、時刻が“１１：３０：３０，３”という情報が登録される。これは、競技者Ｐ１０の演技に対してサーバ２００のセンシング技術により技名“技Ｗ１”の技が認識され、認識された当該技の開始時刻が１１時３０分３０秒３であったことを示す。センシング結果テーブル１１４には、サーバ２００により認識された他の技についても、技名と開始時刻とが対応付けられて登録される。
　なお、ＧＵＩ処理部１３０は、サーバ２００により該当の技が終了したと認識された時刻（技終了時刻）をサーバ２００から取得し、当該技の技名に対応付けて記憶部１１０に記録してもよい。
　図１３は、手書き認識結果テーブルの例を示す図である。手書き認識結果テーブル１１５は、技名認識部１２０により生成され、記憶部１１０に格納される。手書き認識結果テーブル１１５は、技名および時刻の項目を含む。技名の項目には、技名が登録される。時刻の項目には、技名に対応する文字列の入力が開始された時刻（入力開始時刻）が登録される。
　例えば、手書き認識結果テーブル１１５には、技名が“技Ｗ１”、時刻が“１１：３０：３０，５”という情報が登録される。これは、競技者Ｐ１０の演技に対して、審判員Ｒ１０により技名“技Ｗ１”の技が判定され、判定された当該技名の入力が開始された時刻が１１時３０分３０秒５であったことを示す。手書き認識結果テーブル１１５には、審判員Ｒ１０により判定された他の技についても、技名と入力開始時刻とが対応付けられて登録される。
　なお、技名認識部１２０は、文字列の区切りを検出した場合に、当該区切りの直前に入力された文字列の入力が完了された時刻（入力完了時刻）を特定し、当該入力完了時刻を該当の技名に対応付けて記録しておいてもよい。
　図１４は、技判定結果画面の例を示す図である。技判定結果画面４００は、ＧＵＩ処理部１３０により生成され、ディスプレイ１０５により表示される。技判定結果画面４００は、自動採点結果領域４１０、手書き入力結果領域４２０、カーソル４３０および集計ボタン４４０を含む。
　自動採点結果領域４１０は、サーバ２００による技の認識結果、および、採点結果を表示する領域である。自動採点結果領域４１０は、タイムライン、技名、難度、グループおよび難度価値点の欄を含む。
　タイムラインの欄には、演技において、各技が認識された（演技されていた）時間帯が表示される。時間帯は、演技開始時刻から技の開始時刻までの時間（タイムラインの欄の上段）、および、演技開始時刻から技の終了時刻までの時間（タイムラインの欄の下段）の組により表される。ただし、タイムラインの欄に表示される時間は、サーバ２００により検出された技の開始時刻および技の終了時刻でもよい。
　技名の欄には、サーバ２００により認識された技の技名が表示される。難度の欄には、該当の技の難度が表示される。グループの欄には、該当の技のグループが表示される。難度価値点の欄には、難度に応じた価値点が表示される。
　手書き入力結果領域４２０は、審判員Ｒ１０による技の判定結果、および、採点結果を表示する領域である。手書き入力結果領域４２０は、自動採点結果領域４１０と同様に、タイムライン、技名、難度、グループおよび難度価値点の欄を含む。ただし、手書き入力結果領域４２０の各欄には、審判員Ｒ１０による技の判定結果に応じた技名、難度、グループおよび難度価値点が表示される。また、手書き入力結果領域４２０は、技の欄を含む。技の欄には、審判員Ｒ１０により手書き入力された速記文字が表示される。タイムラインの欄は、自動採点結果領域４１０と同じ時間帯が表示される。ただし、ＧＵＩ処理部１３０は、手書き入力結果領域４２０のタイムラインの欄に、審判員Ｒ１０による手書き入力の入力開始時刻や入力終了時刻を表示させてもよい。
　また、ＧＵＩ処理部１３０は、センシング結果テーブル１１４に登録された各技および手書き認識結果テーブル１１５に登録された各技を時系列に順番に対応付けて表示する。ＧＵＩ処理部１３０は、自動採点結果領域４１０におけるある時間帯の列と、手書き入力結果領域４２０における同時間帯の列とを、縦方向に並べて表示させる。こうして、ＧＵＩ処理部１３０は、審判員Ｒ１０による比較が容易になるよう支援できる。
　カーソル４３０は、自動採点結果領域４１０および手書き入力結果領域４２０のうち、技の判定結果（すなわち、採点結果）が相違する箇所を強調する枠である。図１４の例では、時間帯“９：２６～１０：１６”（演技開始時刻から９秒２６～１０秒１６の時間帯）において、サーバ２００による採点結果と、審判員Ｒ１０による採点結果とが相違する。ＧＵＩ処理部１３０は、この相違箇所をカーソル４３０により強調し、審判員Ｒ１０に提示する。なお、強調表示の方法は、カーソル４３０に限らず、他の箇所と背景色を変える、審判員Ｒ１０の注意を引く記号（例えば、矢印記号など）を、該当箇所を指し示すように表示するなど、他の方法でもよい。
　集計ボタン４４０は、手書き入力結果領域４２０に表示された内容でＤスコアの採点を行うよう端末装置１００に指示するためのボタンである。
　審判員Ｒ１０は、カーソル４３０で示された箇所を指やスタイラスペンなどでタッチすることで、タッチパネル１０７の機能により、見直し対象とする技名（技の識別情報）を端末装置１００に入力することができる。ＧＵＩ処理部１３０は、見直し対象とする技名の入力を受け付けると、技動画再生画面をディスプレイ１０５に表示させる。
　図１５は、技動画再生画面の例を示す図である。技動画再生画面５００は、ＧＵＩ処理部１３０により生成され、ディスプレイ１０５により表示される。技動画再生画面５００は、動画再生領域５１０、技選択フォーム５２０、難度選択フォーム５３０、グループ選択フォーム５４０および決定ボタン５５０を含む。
　動画再生領域５１０は、見直し対象として選択された技名に対応する時間帯の動画（技動画）を表示するための領域である。動画再生領域５１０の周辺部には、動画の再生／停止を受け付ける再生／停止ボタン、動画の再生時間、再生箇所選択用のインジケータ、音声オン／オフの切り替えボタン、音量選択用のインジケータなどを表示してもよい。また、スロー再生やコマ送り再生などを指示するボタンを表示してもよい。
　技選択フォーム５２０は、技名の選択入力を受け付けるためのフォームである。難度選択フォーム５３０は、難度の選択入力を受け付けるためのフォームである。グループ選択フォーム５４０は、グループの選択入力を受け付けるためのフォームである。ただし、本例では、技名に対して、技管理テーブル１１２により難度やグループを特定できるので、ＧＵＩ処理部１３０は、技選択フォーム５２０に入力された技名に対して、難度選択フォーム５３０の難度やグループ選択フォーム５４０のグループを自動入力する。
　ここで、ＧＵＩ処理部１３０は、技判定結果画面４００のディスプレイ１０５による表示を維持して、技動画再生画面５００をディスプレイ１０５に表示させる。すると、審判員Ｒ１０は、自動採点結果領域４１０や手書き入力結果領域４２０の表示内容を確認しながら、該当の技の見直しを行える。
　決定ボタン５５０は、技動画再生画面５００の各フォームに入力された内容を確定し、手書き入力結果領域４２０の該当箇所に変更内容を反映させるためのボタンである。
　ＧＵＩ処理部１３０は、決定ボタン５５０が押下操作されると、技動画再生画面５００を閉じる。そして、技動画再生画面５００において入力された変更内容を、手書き入力結果領域４２０の該当箇所（カーソル４３０により強調されている箇所）に反映させる。ＧＵＩ処理部１３０は、審判員Ｒ１０による集計ボタン４４０の押下操作を受け付けると、採点処理部１５０に採点処理を依頼し、当該採点処理の結果を含む採点結果表示画面をディスプレイ１０５に表示させる。
　図１６は、採点結果表示画面の例を示す図である。採点結果表示画面６００は、ＧＵＩ処理部１３０により生成され、ディスプレイ１０５により表示される。採点結果表示画面６００は、技判定結果画面４００における手書き入力結果領域４２０の内容に基づく採点処理部１５０による採点処理の結果を表示するための画面である。
　例えば、採点結果表示画面６００は、審判員Ｒ１０により手書き入力された速記文字を表示する欄、各速記文字に対して判定された技の難度を表示する欄、同技のグループを表示する欄を含む。
　また、採点結果表示画面６００には、判定された技の難度に応じた価値点の集計結果が表示される。なお、あん馬では演技された複数の技のうち、終末技および終末技の他に難易度の高いもの９個（計１０個）について価値点の集計が行われる。採点結果表示画面６００の例では、計１２個の技が演技されたが、Ａ難度の２つの技の価値点は評価されない。
　採点結果表示画面６００の例では、Ｅ難度の技は２つである。したがって、Ｅ難度の技の価値点の集計結果は、２＊０．５＝１．０である。Ｄ難度の技は４つである。したがって、Ｄ難度の技の価値点の集計結果は、４＊０．４＝１．６である。Ｂ難度の技は４つである。したがって、Ｂ難度の技の価値点の集計結果は、４＊０．２＝０．８である。これら難度別の価値点の集計結果を更に集計した結果（Ｔｏｔａｌ　ｅｌｅｍｅｎｔｓ）は、“３．４”である。また、４つのグループ“Ｉ”～“ＩＶ”全ての技が演技されているので、要求グループ点（Ｅｌｅｍｅｎｔ　ｇｒｏｕｐ）は０．５＊４＝２．０である。更に、終末技（グループ“Ｖ”）は、Ｅ難度の技なので、終末技の点数（Ｄｉｓｍｏｕｎｔ）は、“０．５”である（終末技に対して加算される点数は難度に応じて予め定められている）。あん馬では、組み合わせ加点（Ｃｏｎｎｅｃｔｉｏｎｓ）はないので、該当欄は空欄である。よって、Ｄスコア（Ｄ　Ｓｃｏｒｅ）は、３．４＋２．０＋０．５＝５．９となる。
　なお、採点結果表示画面６００は、競技者Ｐ１０の氏名（Ｎａｍｅ）や、種目に応じたライン減点やタイム減点などの減点（Ｐ：Penalty）、Ｅスコアの採点結果（Ｅ　Ｓｃｏｒｅ）および決定点（Ｆｉｎａｌ　Ｓｃｏｒｅ）などの表示欄を含んでもよい。
　次に、第二の実施の形態の採点支援システムによる処理手順を説明する。
　図１７は、端末装置の処理例を示すフローチャートである。以下、図１７に示す処理をステップ番号に沿って説明する。
　（Ｓ１１）ＧＵＩ処理部１３０は、採点手書き入力画面３００をディスプレイ１０５に表示させ、競技者Ｐ１０による演技が開始されると、審判員Ｒ１０による技を表す文字列の手書き入力を受け付ける。審判員Ｒ１０は、演技中、採点手書き入力画面３００の手書き入力領域３１０に、自身が判断した技名を表す文字列を手書き入力領域３１０の左側から右側へ向かって並べて記入する。このとき、審判員Ｒ１０は、技の切れ目に所定長さ以上のスペースを設ける。また、ＧＵＩ処理部１３０は、各技を表す文字列の入力開始時刻や各技を表す文字列の入力終了時刻を記憶部１１０に記録する。ＧＵＩ処理部１３０は、競技者Ｐ１０による演技が完了され、審判員Ｒ１０による手書き入力が完了されると、審判員Ｒ１０による採点ボタン３６０の押下入力を受け付ける。
　（Ｓ１２）ＧＵＩ処理部１３０は、手書き文字認識の機能により、技判定結果を取得する。具体的には、手書き文字認識の機能は、技名認識部１２０により提供される。技名認識部１２０は、文字間のスペースや入力の時間間隔により、技の区切りを特定する。技名認識部１２０は、手書き入力領域３１０に入力された文字列の筆跡情報を、記憶部１１０に記憶された技名テーブル１１１の速記文字の筆跡情報と照合することで、技名を特定する。技名認識部１２０は、特定した技名を、当該技名を表す文字列の入力開始時刻に対応付けて、記憶部１１０に記憶された手書き認識結果テーブル１１５に記録する。前述のように、技名認識部１２０は、入力開始時刻に加えて、該当の文字列の入力終了時刻を、特定した技に対応付けて手書き認識結果テーブル１１５に記録してもよい。
　（Ｓ１３）ＧＵＩ処理部１３０は、サーバ２００による技判定結果を取得する。ＧＵＩ処理部１３０は、サーバ２００による技判定結果を、記憶部１１０に記憶されたセンシング結果テーブル１１４に登録する。サーバ２００の技判定結果は、技名の判定結果に加え、当該技名に対応する技に対してサーバ２００により検出された開始時刻や終了時刻の情報を含む。前述のように、ＧＵＩ処理部１３０は、技の開始時刻に加えて、技の終了時刻を、判定された技名に対応付けてセンシング結果テーブル１１４に登録してもよい。また、ＧＵＩ処理部１３０は、該当の演技の演技開始時刻の情報もサーバ２００から取得する。
　（Ｓ１４）ＧＵＩ処理部１３０は、記憶部１１０に記憶された技管理テーブル１１２、難度管理テーブル１１３、センシング結果テーブル１１４および手書き認識結果テーブル１１５に基づいて、技判定結果画面４００をディスプレイ１０５に表示させる。このとき、ＧＵＩ処理部１３０は、センシング結果テーブル１１４に登録された技名と手書き認識結果テーブル１１５に登録された技名とを時系列に順番に対応付ける。ＧＵＩ処理部１３０は、技判定結果画面４００における自動採点結果領域４１０のタイムラインの欄および手書き入力結果領域４２０のタイムラインの欄には、サーバ２００により検出された各技が行われた時間帯（演技開始時刻からの経過時間）を表示させる。
　（Ｓ１５）ＧＵＩ処理部１３０は、技判定結果画面４００の表示内容のうち、両判定結果（自動採点結果領域４１０の表示内容および手書き入力結果領域４２０の表示内容）において、同じタイムラインで技名が異なる箇所があるか否かを判定する。異なる箇所がある場合、ＧＵＩ処理部１３０は、処理をステップＳ１６に進める。異なる箇所がない場合、ＧＵＩ処理部１３０は、処理をステップＳ２１に進める。
　（Ｓ１６）ＧＵＩ処理部１３０は、ステップＳ１５で判定した技名が異なる箇所（手書き入力結果領域４２０の該当箇所）を強調表示する（ハイライト表示）。具体的には、該当の箇所を示すカーソル４３０を表示させたり、該当の箇所の背景や文字などを他の箇所とは別の色で表示させたりすることが考えられる。
　（Ｓ１７）ＧＵＩ処理部１３０は、強調表示した該当箇所の選択入力を受け付けたか否かを判定する。該当箇所の選択入力を受け付けた場合、ＧＵＩ処理部１３０は、処理をステップＳ１８に進める。該当箇所の選択入力を受け付けていない場合、ＧＵＩ処理部１３０は、処理をステップＳ２０に進める。
　（Ｓ１８）ＧＵＩ処理部１３０は、技動画再生画面５００をディスプレイ１０５に表示させ、選択箇所に対応する動画を動画再生領域５１０内に表示させる。具体的には、ＧＵＩ処理部１３０は、技判定結果画面４００の選択箇所に表示された技名（すなわち、見直し対象の技名）に対応するタイムラインの時間帯を取得し、技動画再生部１４０に通知する。技動画再生部１４０は、サーバ２００により記録された該当の演技の動画のうち、該当の時間帯の部分（技動画）をダウンロードし、再生する。ＧＵＩ処理部１３０は、技動画再生部１４０により再生された技動画を動画再生領域５１０内に表示させる。
　（Ｓ１９）ＧＵＩ処理部１３０は、技判定結果画面４００における選択箇所の技判定結果を確定する。具体的には、ＧＵＩ処理部１３０は、技動画再生画面５００における技選択フォーム５２０を用いた審判員Ｒ１０による技名の選択入力を受け付ける。ＧＵＩ処理部１３０は、選択された技名に対する難度を難度選択フォーム５３０に表示させる。また、ＧＵＩ処理部１３０は、選択された技名に対するグループを、グループ選択フォーム５４０に表示させる。ＧＵＩ処理部１３０は、決定ボタン５５０に対する審判員Ｒ１０の押下操作の入力を受け付けると、技動画再生画面５００を閉じ、技判定結果画面４００における選択箇所の技判定結果を、選択された技名に確定する。ＧＵＩ処理部１３０は、技判定結果画面４００の選択箇所（手書き入力結果領域４２０の該当箇所）に確定された技名、当該技名に対する難度、グループおよび価値点を表示させる。
　（Ｓ２０）ＧＵＩ処理部１３０は、技判定結果画面４００の集計ボタン４４０が押されたか否かを判定する。集計ボタン４４０が押された場合、ＧＵＩ処理部１３０は、処理をステップＳ２１に進める。集計ボタン４４０が押されていない場合、ＧＵＩ処理部１３０は、処理をステップＳ１７に進める。
　（Ｓ２１）ＧＵＩ処理部１３０は、技判定結果画面４００の手書き入力結果領域４２０に表示された技判定結果に基づく採点を採点処理部１５０に依頼し、採点処理部１５０による採点結果を含む採点結果表示画面６００をディスプレイ１０５に表示させる。具体的には、採点処理部１５０は、所定の採点ルールに従って、技の価値点、要求グループ点および終末技の点を集計することで、Ｄスコアを計算し、Ｄスコアの計算結果をＧＵＩ処理部１３０に提供する。ＧＵＩ処理部１３０は、採点処理部１５０から取得した計算結果を基に、採点結果表示画面６００をディスプレイ１０５に表示させる。
　ここで、端末装置１００ａも端末装置１００と同様の手順を実行する。
　次に、サーバ２００による処理手順を説明する。
　図１８は、サーバの処理例を示すフローチャートである。以下、図１８に示す処理をステップ番号に沿って説明する。
　（Ｓ３１）動画保存部２２０は、競技者Ｐ１０による演技の開始に伴って、動画撮影カメラ２１による演技の動画の撮影を開始し、撮影された動画を動画記憶部２１０へ保存する。また、センサデータ受信部２６０は、競技者Ｐ１０による演技の開始に伴って、レーザーセンサ２２，２２ａのレーザーによるセンシングを開始し、取得されたセンサデータをセンサデータ記憶部２５０に保存する。動画やセンサデータには、演技開始時刻の情報が含まれる。なお、動画に対して記録される時刻およびセンサデータに対して記録される時刻は動画保存部２２０およびセンサデータ受信部２６０の間で同期されている。
　（Ｓ３２）動画保存部２２０は、競技者Ｐ１０による演技の終了に伴って、動画撮影カメラ２１による演技の動画の撮影を終了する。センサデータ受信部２６０は、競技者Ｐ１０による演技の開始に伴って、レーザーセンサ２２，２２ａのレーザーによるセンシングを終了する。
　（Ｓ３３）骨格認識部２７０および技認識部２８０は、センサデータに基づく技の判定を行う。具体的には、骨格認識部２７０は、センサデータ記憶部２５０に記憶されたセンサデータに基づいて、３次元の骨格データＤ１１の時系列変化を検出する。技認識部２８０は、骨格データＤ１１の時系列変化を、辞書情報記憶部２４０に記憶された基本運動辞書情報２４１の基本運動の運動パターンと照合し、基本運動および基本運動の組み合わせを特定する。技認識部２８０は、辞書情報記憶部２４０に記憶された技関連辞書情報２４２を参照して、基本運動の組み合わせに応じた技の技名を特定する。技認識部２８０は、特定した技の開始時刻および終了時刻も検出する。
　（Ｓ３４）技認識部２８０は、技判定結果を端末装置１００に送信する。例えば、技認識部２８０は、端末装置１００によって送信される技判定結果の取得要求に応じて、技判定結果を端末装置１００に送信する。技判定結果は、特定した技の技名、当該技の開始時刻および終了時刻を含む。
　なお、ステップＳ３４の後、動画配信部２３０は、記録された演技の動画のうち、所定の時間帯の部分を、端末装置１００，１００ａから要求されると、該当の動画のうち要求された時間帯の部分を、端末装置１００，１００ａに配信する。
　ただし、技動画再生部１４０は、演技の終了後に、サーバ２００に保存された演技の動画をダウンロードしておき、審判員Ｒ１０により指定された時間帯の技動画を、ダウンロードした動画の中から抽出して、ディスプレイ１０５に表示させてもよい。
　なお、Ｄスコアは、前述のように、審判員Ｒ１０，Ｒ２０の２人制で確定される。審判員Ｒ２０も、審判員Ｒ１０と同様に、演技に対する採点を行う。そして、審判員Ｒ１０，Ｒ２０により判定されたＤスコアに差異があれば、審判員Ｒ１０，Ｒ２０は、協議により最終的なＤスコアを決定する。更に、Ｅスコアなどが加味され、演技に対する決定点が確定される。
　このように、審判員Ｒ１０が自身の採点結果とサーバ２００による採点結果とを比較してＤスコアを決定する際に、端末装置１００は、両採点結果に含まれる技の識別情報を対応付けて表示し、選択された識別情報に対応する技動画を特定して表示する。これにより、端末装置１００は、採点結果の比較に用いられる情報（技判定結果画面４００や技動画再生画面５００に含まれる情報）を審判員Ｒ１０に対して速やかに提示することが可能となる。
　審判員Ｒ１０は、技判定結果画面４００により、両採点結果において判定に相違のある技を容易に特定できる。また、審判員Ｒ１０は、技動画再生画面５００により、技の判定結果が相違する箇所の動画を即座に確認し、判定の訂正を行える。こうして、審判員Ｒ１０による採点を効率化することができる。また、採点の信頼性を効率的に高めることができる。
　ここで、図１７のステップＳ１１では、ＧＵＩ処理部１３０は、採点手書き入力画面３００により手書き入力を支援するものとしたが、採点手書き入力画面３００とは異なるＧＵＩにより手書き入力を支援してもよい。
　図１９は、採点手書き入力画面の他の例を示す図である。採点手書き入力画面３００ａは、ＧＵＩ処理部１３０により生成され、ディスプレイ１０５により表示される。採点手書き入力画面３００ａは、色選択フォーム３２０、大きさ選択フォーム３３０、消去ボタン３４０、初期化ボタン３５０、採点ボタン３６０、手書き入力領域３７０およびＥｎｔｅｒボタン３８０を含む。
　ここで、色選択フォーム３２０、大きさ選択フォーム３３０、消去ボタン３４０、初期化ボタン３５０および採点ボタン３６０の役割は、採点手書き入力画面３００における同名の画面要素と同様である。
　手書き入力領域３７０は、審判員Ｒ１０による手書きの文字入力を受け付ける領域である。手書き入力領域３７０の左側から右側へ向かう方向が技の時系列の正方向に対応する。審判員Ｒ１０は、指やスタイラスペンなどを用いてタッチパネル１０７により文字を入力できる。手書き入力領域３７０には、入力された速記文字が表示される。
　Ｅｎｔｅｒボタン３８０は、技単位の手書き入力が完了した際に、審判員Ｒ１０により押下操作されるボタンである。ＧＵＩ処理部１３０は、Ｅｎｔｅｒボタン３８０に対する押下操作を受け付けると、手書き入力領域３７０に記述された速記文字の筆跡情報を取得し、技名テーブル１１１により技名を特定する。ＧＵＩ処理部１３０は、特定した技名を手書き認識結果テーブル１１５に登録する。また、ＧＵＩ処理部１３０は、手書き入力領域３７０の表示をクリアし、次の技に対する手書き入力を待機する。
　ＧＵＩ処理部１３０は、演技が完了すると、審判員Ｒ１０による採点ボタン３６０の押下操作を受け付ける。ＧＵＩ処理部１３０は、採点ボタン３６０の押下操作を受け付けると、技判定結果画面４００の表示に移る。
　このように、ＧＵＩ処理部１３０は、手書き入力された速記文字を技毎に確定できるようにしてもよい。
　更に、ＧＵＩ処理部１３０は、採点手書き入力画面３００ａおよび技判定結果画面４００の両方をディスプレイ１０５により同時に表示させ、技毎に確定された速記文字から即時に技名を解析して、技判定結果画面４００に反映させてもよい。
　図２０は、技判定結果画面の他の例を示す図である。図１７および図１８で例示した手順では、ＧＵＩ処理部１３０は、技判定結果画面４００を演技が完了した後に表示させるものとしたが、演技中にも技判定結果画面４００を表示させ、演技中の入力に応じて技判定結果画面４００の表示内容を即時に更新してもよい。図２０の例では、サーバ２００により判定された３つ目の技“Ｅフロップ”、および、審判員Ｒ１０により判定された３つ目の技“Ｅフロップ”までが技判定結果画面４００に反映された状態を例示している。
　なお、以上の説明では、主に、審判員Ｒ１０による技判定結果と、サーバ２００による技判定結果とを比較する場合を例示した。端末装置１００の機能は、それ以外にも、例えば審判員Ｒ１０による技判定結果と審判員Ｒ２０による技判定結果との比較にも利用できる。
　図２１は、端末装置の他の処理例を示すフローチャートである。以下、図２１に示す処理をステップ番号に沿って説明する。ここで、図２１の手順では、ＧＵＩ処理部１３０が、図１７のステップＳ１３に代えて、ステップＳ１３ａを実行する点が、図１７の手順と異なる。そこで、以下では、ステップＳ１３ａを説明し、他のステップの説明を省略する。
　（Ｓ１３ａ）ＧＵＩ処理部１３０は、他の端末装置（端末装置１００ａ）の手書き文字認識による技判定結果を取得する。端末装置１００ａの技判定結果は、図１７で例示した手順を用いた審判員Ｒ２０による訂正後の技判定結果でもよい。ＧＵＩ処理部１３０は、端末装置１００ａから取得した技判定結果を、記憶部１１０に保存する。端末装置１００ａから取得される技判定結果も、判定された技名、技の開始時刻および技の終了時刻を含む。
　ＧＵＩ処理部１３０は、ステップＳ１４以降の処理を、端末装置１００による技判定結果と、端末装置１００ａによる技判定結果とに対して実行する。これにより、端末装置１００は、審判員Ｒ１０，Ｒ２０による技の判定結果の効率的な比較を支援できる。
　例えば、審判員Ｒ１０がサーバ２００による技判定結果を踏まえて訂正した後の技判定結果と、審判員Ｒ２０がサーバ２００による技判定結果を踏まえて訂正した後の技判定結果とをステップＳ１３ａ以降の手順を用いて更に比較可能にすることも考えられる。
　こうして、端末装置１００は、審判員Ｒ１０，Ｒ２０によるＤスコアの決定を迅速に行えるよう支援することができる。
　なお、第一の実施の形態の情報処理は、処理部１ｂにプログラムを実行させることで実現できる。また、第二の実施の形態の情報処理は、プロセッサ１０１にプログラムを実行させることで実現できる。プログラムは、コンピュータ読み取り可能な記録媒体１２に記録できる。
　例えば、プログラムを記録した記録媒体１２を配布することで、プログラムを流通させることができる。また、プログラムを他のコンピュータに格納しておき、ネットワーク経由でプログラムを配布してもよい。コンピュータは、例えば、記録媒体１２に記録されたプログラムまたは他のコンピュータから受信したプログラムを、ＲＡＭ１０２やＨＤＤ１０３などの記憶装置に格納し（インストールし）、当該記憶装置からプログラムを読み込んで実行してもよい。
　上記については単に本発明の原理を示すものである。更に、多数の変形や変更が当業者にとって可能であり、本発明は上記に示し、説明した正確な構成および応用例に限定されるものではなく、対応する全ての変形例および均等物は、添付の請求項およびその均等物による本発明の範囲とみなされる。
　１　採点支援装置
　１ａ　記憶部
　１ｂ　処理部
　１ｃ　通信部
　１ｄ　入力部
　１ｅ　表示部
　２　情報処理装置
　３　動画撮影カメラ
　４，４ａ　レーザーセンサ
　５　ネットワーク
　６　アクセスポイント
　７　採点結果比較画面
　８　技動画再生画面
　８ａ　動画再生領域
　８ｂ　技選択フォーム
　８ｃ　決定ボタン
　Ｄ１　骨格データ
　Ｐ１　競技者
　Ｒ１　審判員

Claims (8)

  1. 　競技者が複数の技を時系列に演技する競技について、演技中の前記競技者に関するセンサデータに基づいて前記複数の技それぞれを採点した第一の採点結果と、審判員により入力された第二の採点結果とを取得し、
    　前記第一の採点結果に含まれる技の第一の識別情報と、前記第二の採点結果に含まれる技の第二の識別情報とを対応付けて表示し、
    　表示された識別情報のうち、何れかの前記識別情報が選択されると、選択された前記識別情報に対応する映像を前記複数の技を記録した画像の中から特定し、特定した前記映像を表示する、
    　処理をコンピュータに実行させる採点支援プログラム。
  2. 　前記第一の採点結果は、前記第一の識別情報の判定元の動作を前記競技者が行った時間帯の情報を含み、
    　前記映像の特定では、選択された前記識別情報に対応する前記時間帯に記録された前記映像を前記画像の中から特定する、請求項１記載の採点支援プログラム。
  3. 　前記第一の識別情報の判定元の動作を前記競技者が行った第一の時刻と、前記審判員により前記第二の識別情報に対応する入力が行われた第二の時刻とに基づいて、前記第一の識別情報と前記第二の識別情報とを対応付ける、請求項１または２記載の採点支援プログラム。
  4. 　前記第一の識別情報に対応付けられた前記第二の識別情報が前記第一の識別情報とは異なる場合、前記第二の識別情報を強調表示する、請求項１乃至３の何れか１項に記載の採点支援プログラム。
  5. 　前記映像の表示では、前記映像に含まれる技に対応する前記識別情報の訂正を受け付ける、請求項１乃至４の何れか１項に記載の採点支援プログラム。
  6. 　前記第二の採点結果の取得では、前記審判員による文字列の手書き入力を受け付け、前記文字列に対応する前記第二の識別情報を取得する、請求項１乃至５の何れか１項に記載の採点支援プログラム。
  7. 　競技者が複数の技を時系列に演技する競技を記録した画像を記憶する記憶部と、
    　演技中の前記競技者に関するセンサデータに基づいて前記複数の技それぞれを採点した第一の採点結果と、審判員により入力された第二の採点結果とを取得し、前記第一の採点結果に含まれる技の第一の識別情報と、前記第二の採点結果に含まれる技の第二の識別情報とを対応付けて表示し、表示された識別情報のうち、何れかの前記識別情報が選択されると、選択された前記識別情報に対応する映像を前記画像の中から特定し、特定した前記映像を表示する処理部と、
    　を有する採点支援装置。
  8. 　コンピュータが、
    　競技者が複数の技を時系列に演技する競技について、演技中の前記競技者に関するセンサデータに基づいて前記複数の技それぞれを採点した第一の採点結果と、審判員により入力された第二の採点結果とを取得し、
    　前記第一の採点結果に含まれる技の第一の識別情報と、前記第二の採点結果に含まれる技の第二の識別情報とを対応付けて表示し、
    　表示された識別情報のうち、何れかの前記識別情報が選択されると、選択された前記識別情報に対応する映像を前記複数の技を記録した画像の中から特定し、特定した前記映像を表示する、
    　採点支援方法。
PCT/JP2016/080154 2016-10-11 2016-10-11 採点支援プログラム、採点支援装置および採点支援方法 WO2018069985A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201680089879.9A CN109789329B (zh) 2016-10-11 2016-10-11 评分辅助程序、评分辅助装置以及评分辅助方法
PCT/JP2016/080154 WO2018069985A1 (ja) 2016-10-11 2016-10-11 採点支援プログラム、採点支援装置および採点支援方法
JP2018544614A JP6683938B2 (ja) 2016-10-11 2016-10-11 採点支援プログラム、採点支援装置および採点支援方法
EP16918513.9A EP3527268A4 (en) 2016-10-11 2016-10-11 EVALUATION SUPPORT PROGRAM, EVALUATION SUPPORT DEVICE, AND EVALUATION SUPPORT PROCESS
US16/365,185 US10936860B2 (en) 2016-10-11 2019-03-26 Marking assist device, and marking assist method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/080154 WO2018069985A1 (ja) 2016-10-11 2016-10-11 採点支援プログラム、採点支援装置および採点支援方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/365,185 Continuation US10936860B2 (en) 2016-10-11 2019-03-26 Marking assist device, and marking assist method

Publications (1)

Publication Number Publication Date
WO2018069985A1 true WO2018069985A1 (ja) 2018-04-19

Family

ID=61905230

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/080154 WO2018069985A1 (ja) 2016-10-11 2016-10-11 採点支援プログラム、採点支援装置および採点支援方法

Country Status (5)

Country Link
US (1) US10936860B2 (ja)
EP (1) EP3527268A4 (ja)
JP (1) JP6683938B2 (ja)
CN (1) CN109789329B (ja)
WO (1) WO2018069985A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019198374A (ja) * 2018-05-14 2019-11-21 富士通株式会社 表示方法、表示プログラムおよび情報処理装置
EP3660761A1 (en) * 2018-11-28 2020-06-03 Fujitsu Limited Display method, display program, and information processing device
JPWO2021019641A1 (ja) * 2019-07-29 2021-02-04
JP2021078783A (ja) * 2019-11-19 2021-05-27 富士通株式会社 画面出力プログラム、画面出力方法、情報処理装置、画面生成プログラム、画面生成方法およびモニタリングシステム
JP2021078782A (ja) * 2019-11-19 2021-05-27 富士通株式会社 画面生成プログラム、画面生成方法および情報処理装置
JPWO2021152665A1 (ja) * 2020-01-27 2021-08-05
CN114722230A (zh) * 2022-03-30 2022-07-08 蔡戴朋 利用角度大数据匹配的辅助判决系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6915701B2 (ja) * 2017-12-27 2021-08-04 富士通株式会社 抽出プログラム、抽出方法および情報処理装置
EP4040387A4 (en) * 2019-10-03 2022-09-21 Fujitsu Limited EXERCISE RECOGNITION METHOD, EXERCISE RECOGNITION PROGRAM AND INFORMATION PROCESSING DEVICE
CN111782868B (zh) * 2020-07-06 2024-10-18 腾讯音乐娱乐科技（深圳）有限公司 一种音频处理方法、装置、设备及介质
JP1724444S (ja) * 2021-03-31 2022-09-09 トレーニング支援用画像

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004208995A (ja) * 2002-12-30 2004-07-29 Casio Comput Co Ltd 競技用審判支援装置、競技結果表示装置及び競技用審判支援システム
US20140287388A1 (en) * 2013-03-22 2014-09-25 Jenna Ferrier Interactive Tumble Gymnastics Training System
JP2015146980A (ja) * 2014-02-07 2015-08-20 セイコーエプソン株式会社 運動支援システム、運動支援装置及び運動支援方法
WO2016092933A1 (ja) * 2014-12-08 2016-06-16 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6055774A (ja) 1983-09-06 1985-04-01 Nec Corp 特殊効果波形発生器
JP2826821B2 (ja) 1987-07-16 1998-11-18 株式会社 バンダイ 歌唱力評価装置
JP3746380B2 (ja) * 1998-08-25 2006-02-15 三菱電機株式会社 ビデオ映像による空間表現装置
US6086487A (en) * 1999-04-02 2000-07-11 Acushnet Company Method for matching golfer with a ball
JP3732746B2 (ja) * 2001-02-26 2006-01-11 富士通エフ・アイ・ピー株式会社 採点業務支援方法，採点業務支援システム
US8321786B2 (en) * 2004-06-17 2012-11-27 Apple Inc. Routine and interface for correcting electronic text
WO2007098537A1 (en) * 2006-03-01 2007-09-07 Brennan Broadcast Group Pty Ltd Detecting contacts during sporting activities etc
US20080255911A1 (en) * 2007-04-13 2008-10-16 Raytheon Company Method and system for adaptive closed loop resource management
JP4962195B2 (ja) * 2007-08-03 2012-06-27 コニカミノルタオプティクス株式会社 パルスオキシメータ
WO2009102813A2 (en) * 2008-02-14 2009-08-20 Infomotion Sports Technologies, Inc. Electronic analysis of athletic performance
US8175326B2 (en) * 2008-02-29 2012-05-08 Fred Siegel Automated scoring system for athletics
US9396385B2 (en) * 2010-08-26 2016-07-19 Blast Motion Inc. Integrated sensor and video motion analysis method
US9025824B2 (en) * 2010-12-07 2015-05-05 Movement Training Systems Llc Systems and methods for evaluating physical performance
CN102724445A (zh) * 2011-09-28 2012-10-10 新奥特（北京）视频技术有限公司 一种竞技比赛信息即时生成方法及系统
US10548514B2 (en) * 2013-03-07 2020-02-04 Alpinereplay, Inc. Systems and methods for identifying and characterizing athletic maneuvers
US9566021B2 (en) * 2012-09-12 2017-02-14 Alpinereplay, Inc. Systems and methods for synchronized display of athletic maneuvers
CN103024286A (zh) * 2012-12-24 2013-04-03 河海大学常州校区 一种基于视频回放的体育竞赛成绩评判系统和方法
CN103550923B (zh) * 2013-10-29 2015-09-09 南京邮电大学 一种无线智能裁判系统及其实现智能裁判打分的方法
US20150187219A1 (en) * 2013-12-27 2015-07-02 Cloud Ta Llc Systems and methods for computer-assisted grading of printed tests
CN205460873U (zh) * 2016-01-08 2016-08-17 上海凯哲信息科技有限公司 一种用磁性感应方式来判别格斗类比赛中有效击打的系统
WO2018069981A1 (ja) * 2016-10-11 2018-04-19 富士通株式会社 運動認識装置、運動認識プログラムおよび運動認識方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004208995A (ja) * 2002-12-30 2004-07-29 Casio Comput Co Ltd 競技用審判支援装置、競技結果表示装置及び競技用審判支援システム
US20140287388A1 (en) * 2013-03-22 2014-09-25 Jenna Ferrier Interactive Tumble Gymnastics Training System
JP2015146980A (ja) * 2014-02-07 2015-08-20 セイコーエプソン株式会社 運動支援システム、運動支援装置及び運動支援方法
WO2016092933A1 (ja) * 2014-12-08 2016-06-16 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3527268A4 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7087655B2 (ja) 2018-05-14 2022-06-21 富士通株式会社 表示方法、表示プログラムおよび情報処理装置
JP2019198374A (ja) * 2018-05-14 2019-11-21 富士通株式会社 表示方法、表示プログラムおよび情報処理装置
EP3660761A1 (en) * 2018-11-28 2020-06-03 Fujitsu Limited Display method, display program, and information processing device
JP2020081528A (ja) * 2018-11-28 2020-06-04 富士通株式会社 表示方法、表示プログラムおよび情報処理装置
CN111241359A (zh) * 2018-11-28 2020-06-05 富士通株式会社 显示方法、信息处理设备和计算机可读记录介质
CN111241359B (zh) * 2018-11-28 2024-03-12 富士通株式会社 显示方法、信息处理设备和计算机可读记录介质
JP7222226B2 (ja) 2018-11-28 2023-02-15 富士通株式会社 表示方法、表示プログラムおよび情報処理装置
US11484766B2 (en) 2018-11-28 2022-11-01 Fujitsu Limited Display method, information processing device, and computer-readable recording medium
JPWO2021019641A1 (ja) * 2019-07-29 2021-02-04
JP7268738B2 (ja) 2019-07-29 2023-05-08 富士通株式会社 表示方法、表示プログラムおよび情報処理装置
WO2021019641A1 (ja) * 2019-07-29 2021-02-04 富士通株式会社 表示方法、表示プログラムおよび情報処理装置
JP2021078782A (ja) * 2019-11-19 2021-05-27 富士通株式会社 画面生成プログラム、画面生成方法および情報処理装置
JP2021078783A (ja) * 2019-11-19 2021-05-27 富士通株式会社 画面出力プログラム、画面出力方法、情報処理装置、画面生成プログラム、画面生成方法およびモニタリングシステム
JP7363403B2 (ja) 2019-11-19 2023-10-18 富士通株式会社 画面出力プログラム、画面出力方法、情報処理装置、画面生成プログラム、画面生成方法およびモニタリングシステム
JP7363402B2 (ja) 2019-11-19 2023-10-18 富士通株式会社 画面生成プログラム、画面生成方法および情報処理装置
WO2021152665A1 (ja) * 2020-01-27 2021-08-05 富士通株式会社 画面出力プログラム、画面出力方法、情報処理装置およびモニタリングシステム
JPWO2021152665A1 (ja) * 2020-01-27 2021-08-05
JP7338707B2 (ja) 2020-01-27 2023-09-05 富士通株式会社 画面出力プログラム、画面出力方法、情報処理装置およびモニタリングシステム
CN114722230A (zh) * 2022-03-30 2022-07-08 蔡戴朋 利用角度大数据匹配的辅助判决系统

Also Published As

Publication number Publication date
US20190220658A1 (en) 2019-07-18
EP3527268A1 (en) 2019-08-21
JPWO2018069985A1 (ja) 2019-04-25
EP3527268A4 (en) 2019-08-21
CN109789329A (zh) 2019-05-21
US10936860B2 (en) 2021-03-02
JP6683938B2 (ja) 2020-04-22
CN109789329B (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
WO2018069985A1 (ja) 採点支援プログラム、採点支援装置および採点支援方法
US10511778B2 (en) Method and apparatus for push interaction
KR101242073B1 (ko) 사용자단말의 터치스크린의 사용자 인터페이스 방법 및 그 기록매체
CN112560605B (zh) 交互方法、装置、终端、服务器和存储介质
US20100214226A1 (en) System and method for semi-transparent display of hands over a keyboard in real-time
US11620252B2 (en) System for recorded e-book digital content playout
CN105556438A (zh) 用于使用关于状态变化的信息来提供对用户输入的响应并预测未来用户输入的系统和方法
US20200179759A1 (en) Display method, information processing apparatus, and computer-readable recording medium
CN111259863B (zh) 弹奏手型检测/展示方法、介质、钢琴、终端及服务端
Nebeling et al. Kinect analysis: a system for recording, analysing and sharing multimodal interaction elicitation studies
CN113674565B (zh) 一种用于钢琴教学的教学系统及方法
JP2017169992A (ja) 表示装置、表示方法及び表示プログラム
Permana et al. Development of augmented reality (AR) based gamelan simulation with leap motion control
CN111079501B (zh) 一种文字识别方法及电子设备
JP6712017B2 (ja) 楽譜提供システム、方法およびプログラム
KR20200089657A (ko) 표시 제어 장치 및 컴퓨터 프로그램
CN112188221A (zh) 播放控制方法、装置、计算机设备及存储介质
CN111984126A (zh) 答题记录生成方法、装置、电子设备及存储介质
US9978287B2 (en) Systems and methods for improving tennis stroke recognition
JP6010062B2 (ja) キューポイント制御装置およびキューポイント制御プログラム
US20160283986A1 (en) Methods and systems to make sure that the viewer has completely watched the advertisements, videos, animations or picture slides
CN116324700A (zh) 显示设备及媒资播放方法
JP5920785B2 (ja) 体験記録システム、体験記録方法および体験記録プログラム
JP5993513B1 (ja) 野球ゲームプログラム、ゲームプログラム及びコンピュータ
US20240252921A1 (en) Game system, storage medium used therein, and control method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16918513

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018544614

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2016918513

Country of ref document: EP

Effective date: 20190513