WO2024023917A1 - 学習装置、学習方法及びプログラム - Google Patents

学習装置、学習方法及びプログラム Download PDF

Info

Publication number
WO2024023917A1
WO2024023917A1 PCT/JP2022/028740 JP2022028740W WO2024023917A1 WO 2024023917 A1 WO2024023917 A1 WO 2024023917A1 JP 2022028740 W JP2022028740 W JP 2022028740W WO 2024023917 A1 WO2024023917 A1 WO 2024023917A1
Authority
WO
WIPO (PCT)
Prior art keywords
scoring
learning
distribution
scorer
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/028740
Other languages
English (en)
French (fr)
Inventor
隆昌 永井
翔一郎 武田
誠明 松村
信哉 志水
裕司 青野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to PCT/JP2022/028740 priority Critical patent/WO2024023917A1/ja
Priority to JP2024536584A priority patent/JP7783542B2/ja
Publication of WO2024023917A1 publication Critical patent/WO2024023917A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present invention relates to a learning device, a learning method, and a program.
  • the scoring results may vary depending on the scorer.
  • the ranking of the person being graded who is the person being graded, may differ depending on the grader.
  • the dissatisfaction of participants in the event such as those being graded and spectators, may increase.
  • the present invention aims to provide a technique that reduces dissatisfaction among participants in events that require scoring.
  • One aspect of the present invention is to calculate the number of superiority and inferiority points representing the superiority or inferiority of the subject to be graded in the grading event using a random variable based on video data of a grading target video that is a video showing a scene during a grading event that requires grading.
  • a learning unit that updates by learning a scoring model that estimates an estimated probability distribution that is a probability distribution indicating the probability that the scorer will assign each superiority score when the scorer scores the scene;
  • the learning unit is a set of video data to be scored, which is video data of the video to be scored, and a scorer score, which is a score of superiority or inferiority given by a scorer who viewed the scene captured by the video to be scored.
  • a grading model execution process that executes the grading model on the grading target video data included in a grading result learning set that is a collection of grading learning data; a correct answer distribution acquisition process that obtains a correct answer distribution indicating a probability distribution of the grader scores based on the grader scores that are a pair of the video data to be graded; and an estimated probability distribution obtained by the scoring model execution process;
  • the learning device executes an update process of updating the scoring model so as to reduce the difference from the correct answer distribution.
  • One aspect of the present invention is to calculate the number of superiority and inferiority points representing the superiority or inferiority of the subject to be graded in the grading event using a random variable based on video data of a grading target video that is a video showing a scene during a grading event that requires grading.
  • a learning step of updating by learning a scoring model that estimates an estimated probability distribution that is a probability distribution indicating the probability that the scorer will assign each superiority score when the scorer scores the scene.
  • the learning step includes a pair of scoring target video data, which is video data of the scoring target video, and a scorer score, which is the number of superiority and inferiority points indicated by a scorer who viewed the scene captured by the scoring target video.
  • a grading model execution process that executes the grading model on grading target video data included in a grading result learning set that is a collection of grading learning data; a correct answer distribution acquisition process that obtains a correct answer distribution indicating a distribution of grader scores based on the grader scores that are a pair of the video data to be graded; and an estimated probability distribution obtained by the scoring model execution process;
  • This learning method executes an update process of updating the scoring model so as to reduce the difference from the correct answer distribution.
  • One aspect of the present invention is a program for causing a computer to function as the above learning device.
  • FIG. 1 is an explanatory diagram illustrating an overview of a scoring system according to an embodiment.
  • 5 is a flowchart showing an example of the flow of processing executed by the learning device in the embodiment.
  • 5 is a flowchart illustrating an example of the flow of processing executed by the estimation device in the embodiment.
  • FIG. 1 is an explanatory diagram illustrating an overview of a scoring system 100 according to an embodiment.
  • events that require grading such as grading competitions and grading of tests for evaluating the surgical skills of medical students
  • grading events events that require grading
  • the score representing the superiority or inferiority of the subject to be graded in a scoring event will be referred to as the superiority/inferiority score.
  • the target to be graded is the target to be graded.
  • the subject to be scored does not necessarily have to be a person, but may be an animal or an inorganic object such as ceramics.
  • the period during the grading event will be referred to as ⁇ during the grading event''.
  • a scoring event is, for example, a scoring competition such as figure skating at the Olympics.
  • the scoring event is figure skating
  • the superiority/inferiority score is a score such as technical points and performance component points given to the athlete's performance.
  • the scoring system 100 includes a learning device 1 and an estimation device 2.
  • the learning device 1 includes a learning section 10.
  • the learning unit 10 updates the scoring model through learning.
  • the scoring model is a mathematical model that processes video data (hereinafter referred to as "scoring target video data") of a video depicting a scene during a scoring event (hereinafter referred to as “scoring target video").
  • the scoring model estimates an estimated probability distribution for the scene appearing in the scoring target video indicated by the scoring target video data to be processed.
  • the scene shown in the grading target video indicated by the grading target video data will be referred to as the grading target scene.
  • the estimated probability distribution is a probability distribution that uses the number of superiority and inferiority points as a random variable, and is a probability distribution that indicates the probability that a grader will assign each number of superiority and inferiority points when the grader scores the scene to be graded.
  • the distribution shown by image G1 in FIG. 1 is an example of an estimated probability distribution.
  • updating the mathematical model through learning means updating the processing content of the mathematical model using a machine learning method.
  • the learning unit 10 updates the scoring model until a predetermined condition regarding the end of learning (hereinafter referred to as "learning end condition”) is satisfied.
  • the learning end condition may be, for example, a condition that the change in the mathematical model due to the update is smaller than a predetermined change.
  • the learning end condition may be, for example, a condition that the update has been performed a predetermined number of times.
  • the scoring model at the time when the learning end condition is satisfied (hereinafter referred to as a "learned scoring model”) is used in the estimation device 2.
  • the learning unit 10 obtains a learning set of scoring results.
  • the scoring result learning set is a collection of multiple scoring learning data.
  • the scoring learning data is a set of video data to be scored and a scorer's score.
  • the grader score is the number of superiority and inferiority points given by the grader who viewed the scene to be graded. That is, the grader scores included in the grading result learning set are the results of grading by actual graders.
  • the scoring target video data included in the scoring learning data is, for example, video data obtained at past scoring events. Therefore, the grading learning data is, for example, information obtained from grading events held in the past.
  • image G2 is a diagram showing the relationship among the scoring result learning set, the scoring learning data, the video data to be scored, and the scorer's score.
  • the number of superiority and inferiority points for each person is 10 in the order of Mr. A, Mr. B, Mr. C, Mr. D, Mr. E, Mr. F, and so on. It is common for there to be variations in the number of superior and inferior scores, such as points, 40 points, 60 points, 70 points, 70 points, 90 points, etc., and it is rare for all graders to have a score of 50 points. It is.
  • the person being graded is a person who is being graded; for example, the person being graded in a scoring competition is an athlete in the scoring competition.
  • the person to be graded is an example of a target to be graded.
  • the scoring result distribution is a frequency distribution of scorers' scores, which is a frequency distribution whose population is a set of scoring learning data that satisfies predetermined conditions regarding the selection of scorers' scores (hereinafter referred to as "recruitment conditions").
  • the scoring result distribution indicates the number of scoring learning data that is included in the population and is the scoring learning data that indicates the score of each scorer.
  • the scorer score that is a pair of the grading target video data that is the processing target of the scoring model is, more specifically, the scorer score that is included in the grading learning data that includes the grading target video data that is the processing target of the grading model. .
  • the adoption condition is, for example, that the difference between the indicated grader score and the paired grader score of the grading target video data to be processed by the grading model is within the Nth smallest (N is an integer of 1 or more).
  • the condition is. Therefore, in such a case, the scorer score indicated by the scoring result distribution is within the Nth (N is 1 (integer greater than or equal to) is satisfied.
  • the frequency distribution shown by image G3 in FIG. 1 is an example of the scoring result distribution.
  • the learning device 1 will be explained using an example in which the distribution of scoring results has variations; however, the distribution of scoring results does not necessarily have to be a distribution with variations.
  • a distribution without variation is a distribution with zero variance.
  • acquiring the grading result learning set may be a process of reading out a grading result learning set stored in a predetermined storage device in advance, or a process of acquiring a grading result learning set input by a user or the like. Good too.
  • the learning unit 10 executes a scoring model execution process.
  • the scoring model execution process is a process of executing a scoring model.
  • the learning unit 10 executes a correct answer distribution acquisition process.
  • the correct answer distribution acquisition process is a process of obtaining a correct answer distribution based on the scoring result learning set and the scorer scores that are paired with the scoring target video data to be processed by the scoring model.
  • the correct answer distribution is a probability distribution of scorers' scores.
  • the correct answer distribution is the probability function that is the result of fitting the scoring result distribution with a predetermined parameterized probability function that satisfies characteristic conditions (hereinafter referred to as "parametrized function"). This is the distribution shown. More specifically, obtaining the correct answer distribution means obtaining a parameter value that satisfies the condition that the difference between the scoring result distribution and the parameterized function is smaller than a predetermined difference.
  • the characteristic conditions include the condition of having one peak and the condition of including variance and average as parameters.
  • the parameterized function is, for example, a generalized normal distribution.
  • the distribution shown by image G4 in FIG. 1 is an example of the correct distribution.
  • the correct answer distribution acquisition process includes, for example, a recruitment process, a recruitment result distribution acquisition process, and a fitting process.
  • the recruitment process is a process of determining scoring learning data that satisfies the scoring conditions based on the scorer scores of pairs of scoring target video data to be processed by the scoring model.
  • the recruitment result distribution acquisition process is a process for obtaining a recruitment result distribution based on a set of scoring learning data determined to satisfy the scoring conditions in the recruitment process.
  • the fitting process is a process of obtaining a correct answer distribution based on the recruitment result distribution.
  • maximum likelihood estimation may be performed, for example.
  • the kurtosis of the recruitment result distribution may be used as the value of the shape parameter in the generalized normal distribution.
  • the learning unit 10 executes a determination process.
  • the determination process is a process of determining whether the learning end condition is satisfied.
  • the learning unit 10 executes update processing.
  • the scoring model is updated so as to reduce the difference between the estimated probability distribution estimated by the scoring model and the correct answer distribution obtained in the correct answer distribution acquisition process. That is, the scoring model is updated by learning using the correct answer distribution as the correct answer data so that the difference between the estimation result of the scoring model and the correct answer data becomes smaller.
  • the difference between the estimated probability distribution estimated by the scoring model and the correct answer distribution obtained in the correct answer distribution acquisition process is, for example, the difference between the estimated probability distribution estimated by the scoring model and the correct answer distribution obtained in the correct answer distribution acquisition process. It may be a Kullback-Leibler divergence.
  • the update process is executed, for example, when it is determined that the learning end condition is not satisfied as a result of the determination process. That is, the update process is executed when the learning end condition is not satisfied.
  • the sharper the peak of the correct answer distribution the closer the scoring model estimates to the distribution with smaller variations at the peak.
  • the smaller the variation in the estimation at the peak the more accurate it is possible to rank the scorers. Therefore, the sharper the peak of the correct answer distribution, the more the scoring model can estimate a scoring result that enables ranking with higher accuracy.
  • the characteristic conditions may further include parameter setting conditions.
  • the parameter setting conditions include the condition that the values of the variance and shape parameters of the parameterized function are smaller than a first predetermined value when the sparseness condition is satisfied. Further, the parameter setting conditions include a condition that if the sparseness condition is not satisfied, the values of the variance and shape parameters of the parameterized function are larger than a second predetermined value.
  • the first predetermined value is a value less than or equal to the second predetermined value.
  • the sparse/density condition is a predetermined condition regarding the frequency of scorer scores that are a pair of scoring video data that is a processing target of a scoring model, and is a predetermined condition regarding the frequency of scorer scores that are a pair of scoring video data that is a processing target of a scoring model.
  • the condition is that the frequency in the result distribution is higher than a predetermined frequency.
  • the learning device 1 can obtain a trained scoring model that performs even more accurate estimation.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the learning device 1 in the embodiment.
  • the learning device 1 includes a control unit 11 including a processor 91 such as a CPU (Central Processing Unit) and a memory 92 connected via a bus, and executes a program.
  • the learning device 1 functions as a device including a control section 11, an input section 12, a communication section 13, a storage section 14, and an output section 15 by executing a program.
  • the processor 91 reads a program stored in the storage unit 14 and stores the read program in the memory 92.
  • the learning device 1 functions as a device including a control section 11, an input section 12, a communication section 13, a storage section 14, and an output section 15.
  • the control unit 11 controls the operations of various functional units included in the learning device 1.
  • the control unit 11 controls the operation of the output unit 15, for example.
  • the control unit 11 records various information generated by learning, for example, in the storage unit 14.
  • the input unit 12 includes input devices such as a mouse, a keyboard, and a touch panel.
  • the input unit 12 may be configured as an interface that connects these input devices to the learning device 1.
  • the input unit 12 receives input of various information to the learning device 1.
  • the communication unit 13 includes a communication interface for connecting the learning device 1 to an external device.
  • the communication unit 13 communicates with an external device via wire or wireless.
  • the external device is, for example, a device that is the source of the scoring result learning set.
  • the communication unit 13 acquires the scoring result learning set through communication with the device that is the transmission source of the scoring result learning set.
  • the external device is, for example, the estimation device 2.
  • the communication unit 13 transmits the learned scoring model to the estimation device 2 through communication with the estimation device 2 .
  • transmitting a mathematical model means transmitting a computer program that causes a computer to execute the mathematical model.
  • the scoring result set does not necessarily need to be input via the communication unit 13 and may be input to the input unit 12.
  • the storage unit 14 is configured using a non-transitory computer-readable recording medium such as a magnetic hard disk device or a semiconductor storage device.
  • the storage unit 14 stores various information regarding the learning device 1.
  • the storage unit 14 stores information input via the input unit 12 or the communication unit 13, for example.
  • the storage unit 14 stores various information generated by, for example, execution of learning.
  • the storage unit 14 stores, for example, a scoring model in advance.
  • the storage unit 14 stores, for example, a trained scoring model.
  • the output unit 15 outputs various information.
  • the output unit 15 includes a display device such as a CRT (Cathode Ray Tube) display, a liquid crystal display, and an organic EL (Electro-Luminescence) display.
  • the output unit 15 may be configured as an interface that connects these display devices to the learning device 1.
  • the output unit 15 outputs, for example, information input to the input unit 12.
  • the output unit 15 may display the learning results, for example.
  • FIG. 3 is a diagram showing an example of the configuration of the control unit 11 included in the learning device 1 in the embodiment.
  • the control section 11 includes a learning section 10, a storage control section 120, a communication control section 130, and an output control section 140.
  • the storage control unit 120 records various information in the storage unit 14.
  • the communication control unit 130 controls the operation of the communication unit 13.
  • the output control section 140 controls the operation of the output section 15.
  • FIG. 4 is a flowchart showing an example of the flow of processing executed by the learning device 1 in the embodiment.
  • the learning unit 10 acquires scoring target video data that has not yet been processed by a scoring model from among the scoring target video data included in the scoring result learning set (step S101).
  • the acquisition of the scoring target video data may be a process of reading out the scoring target video data from a scoring result learning set stored in a predetermined storage device in advance, or a process of reading the scoring target video data from a scoring result learning set input by the user etc. It may also be a process of acquiring target video data.
  • step S102 the learning unit 10 executes the scoring model on the scoring target video data obtained in step S101 (step S102). Through the process in step S102, an estimated probability distribution for the scene appearing in the grading target video indicated by the grading target video data obtained in step S101 is obtained.
  • the learning unit 10 executes a correct answer distribution acquisition process (step S103). By executing the correct answer distribution acquisition process, the learning unit 10 obtains a correct answer distribution based on the scoring result learning set and the scorer scores that are paired with the scoring target video data to be processed by the scoring model.
  • step S104 the learning unit 10 updates the scoring model based on the estimated probability distribution obtained in step S102 and the correct answer distribution obtained in step S103 so as to reduce the difference between the estimated probability distribution and the correct answer distribution.
  • step S105 the learning unit 10 determines whether the learning end condition is satisfied.
  • step S105: NO If the learning end condition is not met (step S105: NO), the process returns to step S101. On the other hand, if the learning end condition is satisfied (step S105: YES), the process ends.
  • FIG. 5 is a diagram showing an example of the hardware configuration of the estimation device 2 in the embodiment.
  • the estimation device 2 includes a control unit 21 including a processor 93 such as a CPU and a memory 94 connected via a bus, and executes a program.
  • the estimation device 2 functions as a device including a control section 21, an input section 22, a communication section 23, a storage section 24, and an output section 25 by executing a program.
  • the processor 93 reads the program stored in the storage unit 24 and stores the read program in the memory 93.
  • the estimation device 2 functions as a device including a control section 21, an input section 22, a communication section 23, a storage section 24, and an output section 25.
  • the control unit 21 controls the operations of various functional units included in the estimation device 2.
  • the control unit 21 controls the operation of the output unit 25, for example.
  • the control unit 21 records various information generated by learning, for example, in the storage unit 24.
  • the input unit 22 includes input devices such as a mouse, a keyboard, and a touch panel.
  • the input unit 22 may be configured as an interface that connects these input devices to the estimation device 2.
  • the input unit 22 receives input of various information to the estimation device 2 .
  • the communication unit 23 is configured to include a communication interface for connecting the estimation device 2 to an external device.
  • the communication unit 23 communicates with an external device via wire or wireless.
  • the external device is, for example, a transmission source device to be estimated.
  • the estimation target for the estimation device 2 is the video data to be scored.
  • the communication unit 23 acquires the estimation target through communication with the transmission source device of the estimation target.
  • the external device is, for example, the learning device 1.
  • the communication unit 23 acquires the learned scoring model obtained by the learning device 1 through communication with the learning device 1 .
  • transmitting a mathematical model means obtaining a computer program representing the mathematical model.
  • the video data to be scored does not necessarily need to be input via the communication unit 23, and may be input to the input unit 22.
  • the storage unit 24 is configured using a non-transitory computer-readable recording medium such as a magnetic hard disk device or a semiconductor storage device.
  • the storage unit 24 stores various information regarding the estimation device 2.
  • the storage unit 24 stores information input via the input unit 22 or the communication unit 23, for example.
  • the storage unit 24 stores, for example, various information generated by executing a learned scoring model.
  • the storage unit 24 stores, for example, a learned scoring model.
  • the output unit 25 outputs various information.
  • the output section 25 is configured to include a display device such as a CRT display, a liquid crystal display, an organic EL display, or the like.
  • the output unit 25 may be configured as an interface that connects these display devices to the estimation device 2.
  • the output unit 25 outputs the information input to the input unit 22, for example.
  • the output unit 25 may display, for example, the result of estimation using a trained scoring model.
  • FIG. 6 is a diagram showing an example of the configuration of the control unit 21 included in the estimation device 2 in the embodiment.
  • the control unit 21 includes a trained scoring model execution unit 20, a target acquisition unit 210, a storage control unit 220, a communication control unit 230, and an output control unit 240.
  • the learned scoring model execution unit 20 executes the learned scoring model on the estimation target.
  • the target acquisition unit 210 acquires the estimation target input to the input unit 22 or the communication unit 23. That is, the target acquisition unit 210 acquires the scoring target video data input to the input unit 22 or the communication unit 23.
  • the storage control unit 220 records various information in the storage unit 24.
  • the communication control unit 230 controls the operation of the communication unit 23.
  • the output control section 240 controls the operation of the output section 25.
  • FIG. 7 is a flowchart illustrating an example of the flow of processing executed by the estimation device 2 in the embodiment.
  • the target acquisition unit 210 acquires the scoring target video data of the estimation target (step S201).
  • the learned scoring model execution unit 20 executes the learned scoring model on the scoring target video data acquired in step S201 (step S202).
  • step S202 an estimated probability distribution for the scene captured by the video indicated by the scoring target video data acquired in step 201 is obtained.
  • the output control unit 240 controls the operation of the output unit 25 to output the estimated probability distribution obtained in step S202 to the output unit 25 (step S203).
  • the learning device 1 configured in this manner updates the scoring model so as to reduce the difference between the estimated probability distribution estimated by the scoring model and the correct answer distribution obtained in the correct answer distribution acquisition process. . That is, in the learning device 1, the scoring model is updated by learning using the correct answer distribution as the correct answer data so that the difference between the estimation result of the scoring model and the correct answer data becomes smaller.
  • the scoring result learning set is the result of scoring by the scorer. Furthermore, as the amount of scoring learning data included in the scoring result learning set increases, the variation in the distribution of scoring results for the same scene becomes smaller. Therefore, the more learning progresses through such updates, the more frequently the scoring model will estimate results that are closer to the results actually scored by the scorer and have less variation in scoring results for the same scene than the actual scorers. increases.
  • the learning device 1 that updates the scoring model in this way can reduce dissatisfaction among participants at events that require scoring.
  • the estimation device 2 configured in this way performs estimation using the learned scoring model obtained by the learning device 1, it is possible to reduce dissatisfaction of participants in events that require scoring.
  • the scorer score of a pair of scoring target video data to be processed by the scoring model may be used as the average value of the generalized normal distribution.
  • the learning device 1 may be implemented using a plurality of information processing devices communicatively connected via a network.
  • each functional unit included in the learning device 1 may be distributed and implemented in a plurality of information processing devices.
  • estimation device 2 may be implemented using a plurality of information processing devices that are communicably connected via a network.
  • each functional unit included in the estimation device 2 may be distributed and implemented in a plurality of information processing devices.
  • All or some of the functions of the learning device 1 and the estimation device 2 may be implemented using hardware such as an ASIC (Application Specific Integrated Circuit), a PLD (Programmable Logic Device), or an FPGA (Field Programmable Gate Array). It may also be realized by The program may be recorded on a computer-readable recording medium.
  • the computer-readable recording medium is, for example, a portable medium such as a flexible disk, magneto-optical disk, ROM, or CD-ROM, or a storage device such as a hard disk built into a computer system.
  • the program may be transmitted via a telecommunications line.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Image Analysis (AREA)

Abstract

採点を要する採点行事の最中の場面を写した採点対象映像の映像データに基づき、採点対象の優劣を表す優劣点数を確率変数とする確率分布であって前記場面を採点者が採点した場合に各優劣点数を採点者がつける確率を示す確率分布である推定確率分布、を推定する採点モデル、を学習により更新する学習部、を備え、学習部は、採点対象映像の映像データである採点対象映像データと、採点対象映像が写す場面を見た採点者が示す採点者点数と、の組である採点学習データ、の集合である採点結果学習セット、が含む採点対象映像データに対して採点モデルを実行する処理と、採点結果学習セットと、採点モデルの処理対象である採点対象映像データの対となる採点者点数と、に基づき、採点者点数の分布を示す正解分布を取得する処理と、採点モデル実行処理により得られた推定確率分布と正解分布との違いを小さくするように採点モデルを更新する処理と、を実行する学習装置。

Description

学習装置、学習方法及びプログラム
　本発明は、学習装置、学習方法及びプログラムに関する。
　採点競技や医学生の手術の技術の評価を行うテストの採点など、採点を要する行事であって採点結果が採点者に依存する行事がある。
　このような行事では、採点者によって採点の結果が異なる場合がある。その結果、例えば採点者次第で採点される側の人である被採点者の順位が異なってしまう場合がある。当然ながら、こういった事態が生じれば、被採点者や観客等の行事の参加者の不満が増大する場合がある。
　例えばオリンピックにおいて多くの選手及び観客が１位であると考える演技が行われた場合に、採点者だけが３位を示す採点結果を提示した場合には、選手及び観客の多くが不満を抱くことは想像に難くないであろう。そこでこのような、採点者に依存して生じる参加者の不満、を軽減する技術への需要がある。
　上記事情に鑑み、本発明は、採点を要する行事における参加者の不満を軽減する技術を提供することを目的としている。
　本発明の一態様は、採点を要する行事である採点行事の最中の場面を写した映像である採点対象映像の映像データに基づき、前記採点行事における採点対象の優劣を表す優劣点数を確率変数とする確率分布であって前記場面を採点者が採点した場合に各優劣点数を前記採点者がつける確率を示す確率分布である推定確率分布、を推定する採点モデル、を学習により更新する学習部、を備え、前記学習部は、採点対象映像の映像データである採点対象映像データと、前記採点対象映像が写す場面を見た採点者が示す優劣点数である採点者点数と、の組である採点学習データ、の集合である採点結果学習セット、が含む採点対象映像データに対して前記採点モデルを実行する採点モデル実行処理と、前記採点結果学習セットと、前記採点モデルの処理対象である前記採点対象映像データの対となる前記採点者点数と、に基づき、採点者点数の確率分布を示す正解分布を取得する正解分布取得処理と、前記採点モデル実行処理により得られた推定確率分布と前記正解分布との違いを小さくするように、前記採点モデルを更新する更新処理と、を実行する、学習装置である。
　本発明の一態様は、採点を要する行事である採点行事の最中の場面を写した映像である採点対象映像の映像データに基づき、前記採点行事における採点対象の優劣を表す優劣点数を確率変数とする確率分布であって前記場面を採点者が採点した場合に各優劣点数を前記採点者がつける確率を示す確率分布である推定確率分布、を推定する採点モデル、を学習により更新する学習ステップ、を有し、前記学習ステップは、採点対象映像の映像データである採点対象映像データと、前記採点対象映像が写す場面を見た採点者が示す優劣点数である採点者点数と、の組である採点学習データ、の集合である採点結果学習セット、が含む採点対象映像データに対して前記採点モデルを実行する採点モデル実行処理と、前記採点結果学習セットと、前記採点モデルの処理対象である前記採点対象映像データの対となる前記採点者点数と、に基づき、採点者点数の分布を示す正解分布を取得する正解分布取得処理と、前記採点モデル実行処理により得られた推定確率分布と前記正解分布との違いを小さくするように、前記採点モデルを更新する更新処理と、を実行する、学習方法である。
　本発明の一態様は、上記の学習装置としてコンピュータを機能させるためのプログラムである。
　本発明により、採点を要する行事における参加者の不満を軽減することが可能となる。
実施形態の採点システムの概要を説明する説明図。 実施形態における学習装置のハードウェア構成の一例を示す図。 実施形態における学習装置が備える制御部の構成の一例を示す図。 実施形態における学習装置が実行する処理の流れの一例を示すフローチャート。 実施形態における推定装置のハードウェア構成の一例を示す図。 実施形態における推定装置が備える制御部の構成の一例を示す図。 実施形態における推定装置が実行する処理の流れの一例を示すフローチャート。
　（実施形態）
　図１は、実施形態の採点システム１００の概要を説明する説明図である。以下、採点競技や医学生の手術の技術の評価を行うテストの採点など、採点を要する行事を、採点行事という。以下、採点行事における被採点対象の優劣を表す点数を優劣点数という。被採点対象は、採点される対象である。被採点対象は必ずしも人である必要は無く、動物であってもよいし、陶磁器等の無機物であってもよい。また、以下、採点行事の最中のことを、採点行事中という。
　採点行事は例えばオリンピックにおけるフィギュアスケート等の採点競技である。優劣点数は、例えば採点行事がフィギュアスケートであれば、選手の演技に対して付けられる技術点や演技構成点等の点数である。
　採点システム１００は、学習装置１及び推定装置２を備える。学習装置１は、学習部１０を備える。学習部１０は、採点モデルを学習により更新する。採点モデルは、採点行事中の場面を写した映像（以下「採点対象映像」という。）の映像データ（以下「採点対象映像データ」という。）を処理の対象とする数理モデルである。
　採点モデルは、処理対象の採点対象映像データに基づき、処理対象の採点対象映像データ、が示す採点対象映像に写る場面に対する推定確率分布を推定する。以下、採点対象映像データが示す採点対象映像に写る場面を採点対象場面という。
　推定確率分布は、優劣点数を確率変数とする確率分布であって、採点対象場面を採点者が採点した場合に各優劣点数を採点者がつける確率を示す確率分布である。図１における画像Ｇ１の示す分布が推定確率分布の一例である。
　なお、数理モデルを学習により更新するとは、機械学習の方法により数理モデルの処理の内容を更新することを意味する。
　学習部１０は、採点モデルの更新を学習の終了に関する所定の条件（以下「学習終了条件」という。）が満たされるまで実行する。学習終了条件は、例えば更新による数理モデルの変化が所定の変化よりも小さいという条件である、学習終了条件は、例えば所定の回数の更新が行われた、という条件であってもよい。学習終了条件が満たされた時点の採点モデル（以下「学習済みの採点モデル」という。）が推定装置２にて用いられる。
　学習部１０は、採点結果学習セットを取得する。採点結果学習セットは、複数の採点学習データの集合である。採点学習データは、採点対象映像データと、採点者点数、との組である。採点者点数は、採点対象場面を見た採点者が示す優劣点数である。すなわち、採点結果学習セットに含まれる採点者点数は実際の採点者による採点の結果である。採点学習データの含む採点対象映像データは、例えば過去の採点行事において得られた映像データである。したがって、採点学習データは、例えば過去に行われた採点行事で得られた情報である。
　図１において画像Ｇ２は、採点結果学習セットと、採点学習データと、採点対象映像データと、採点者点数との関係を示す図である。
＜採点結果の分布について＞
　ところで、採点行事において全ての被採点者が同じ優劣点数であるという事態は稀である。例えば、被採点者Ａさん、被採点者Ｂさん、被採点者Ｃさん、被採点者Ｄさん、被採点者Ｅさん、被採点者Ｆさん・・・の順に各人に対する優劣点数が、１０点、４０点、６０点、７０点、７０点、９０点、・・・というように優劣点数にばらつきがあることがよく起き、全ての被採点者の点数が５０点というようなことは稀である。
　なお被採点者は採点される人であり、例えば採点競技における被採点者は採点競技の選手である。被採点者は、被採点対象の一例である。
　このように優劣点数にばらつきがあることは高い頻度で生じるため、採点結果分布もばらつきを示す場合が多い。採点結果分布は、採点者点数の選択に関する所定の条件（以下「採用条件」という。）を満たす採点学習データの集合を母集団とする度数分布であって採点者点数の度数分布である。
　したがって採点結果分布は、採点者点数ごとにその採点者点数を示す採点学習データであって母集団に含まれる採点学習データ、の数を示す。なお、採点モデルの処理対象の採点対象映像データの対となる採点者点数は、より明確には、採点モデルの処理対象の採点対象映像データを含む採点学習データ、が含む採点者点数、である。
　採用条件は、例えば、示す採点者点数と、採点モデルの処理対象の採点対象映像データの対となる採点者点数との違いが、小さい方からＮ番目以内（Ｎは１以上の整数）、という条件、である。したがって、このような場合、採点結果分布が示す採点者点数は、採点モデルの処理対象である採点対象映像データの対となる採点者点数、との違いが小さいほうからＮ番目以内（Ｎは１以上の整数）という条件を満たす。図１において画像Ｇ３の示す度数分布が、採点結果分布の一例である。
　以下、採点結果分布がばらつきを持つ場合を例に、学習装置１の説明を行うが、採点結果分布は必ずしもばらつきを持った分布である必要はない。ばらつきを持たない分布は、分散が０の分布である。
　なお、採点結果学習セットの取得は、予め所定の記憶装置に記憶済みの採点結果学習セットを読み出す処理であってもよいし、ユーザ等によって入力された採点結果学習セットを取得する処理であってもよい。
＜学習部１０のより詳細な説明＞
　学習部１０は、採点モデル実行処理を実行する。採点モデル実行処理は、採点モデルを実行する処理である。学習部１０は、正解分布取得処理を実行する。正解分布取得処理は、採点結果学習セットと、採点モデルの処理対象の採点対象映像データの対となる採点者点数と、に基づき、正解分布を取得する処理である。正解分布は、採点者点数の確率分布である。
　より具体的には正解分布は、採点結果分布を、パラメトライズされた所定の確率関数であって特性条件を満たす所定の確率関数（以下「パラメトライズド関数」という。）によってフィッティングした結果の確率関数が示す分布である。正解分布を取得するとは、より具体的には、採点結果分布とパラメトライズド関数との違いが所定の違いより小さいという条件を満たすパラメータの値を取得することを意味する。
　特性条件は、ピークを１つ有するという条件と、分散と平均とをパラメータとして含むという条件とを含む。パラメトライズド関数は、例えば、一般化正規分布である。図１における画像Ｇ４が示す分布が、正解分布の一例である。
　正解分布取得処理は、例えば、採用処理と、採用結果分布取得処理と、フィッティング処理とを含む。採用処理は、採点モデルの処理対象の採点対象映像データの対の採点者点数に基づき採点条件を満たす採点学習データを判定する処理である。採用結果分布取得処理は、採用処理によって採点条件を満たすと判定された採点学習データ、の集合に基づき、採用結果分布を得る処理である。フィッティング処理は、採用結果分布に基づき、正解分布を取得する処理である。
　フィッティング処理では、例えば最尤推定が行われてもよい。また、フィッティング処理では例えば採用結果分布の尖度が一般化正規分布における形状パラメータの値として用いられてもよい。
　学習部１０は、判定処理を実行する。判定処理は、学習終了条件が満たされたか否かを判定する処理である。
　学習部１０は、更新処理を実行する。採点モデルの推定した推定確率分布と、正解分布取得処理で得られた正解分布と、の違いを小さくするように採点モデルを更新する。すなわち、採点モデルは、正解分布を正解データとした学習により採点モデルの推定の結果と正解データとの違いが小さくなるように更新される。
　採点モデルの推定した推定確率分布と、正解分布取得処理で得られた正解分布と、の違いは、例えば、採点モデルの推定した推定確率分布と正解分布取得処理で得られた正解分布との間のＫＬダイバージェンス（Kullback-Leibler divergence）であってもよい。
　更新処理は、例えば判定処理の結果、学習終了条件が満たされていないと判定された場合に実行される。すなわち、更新処理は、学習終了条件が満たされていない場合に実行される。
＜特性条件に含まれてもよいその他の条件＞
　ところで、一般に採点行事では高い頻度で出現する優劣点数をつけられる被採点者の争いが激しく、少しの点差で順位が大きく変動する。そのため、確率の高い優劣点数の近くほど、正解分布のピークは鋭いことが望ましい。ピークが鋭いことは優劣点数のばらつきが小さいことである。採点モデルは更新処理によって、正解分布により近い分布を推定するように更新される。
　したがって、正解分布のピークが鋭いほど、採点モデルは、ピークでのばらつきが小さな分布に近い推定を行う。ピークにおいてばらつきの小さい推定を行うほど、高い精度での被採点者の順位付けが可能である。したがって、正解分布のピークが鋭いほど、採点モデルは、高い精度での順位付けを可能とする採点結果を推定することができる。
　そのため、特性条件にはさらに、パラメータ設定条件を含んでもよい。パラメータ設定条件は、疎密条件が満たされる場合にはパラメトライズド関数の分散及び形状パラメータの値は第１の所定の値よりも小さいという条件を含む。さらに、パラメータ設定条件は、疎密条件が満たされない場合にはパラメトライズド関数の分散及び形状パラメータの値は第２の所定の値よりも大きい、という条件を含む。
　第１の所定の値は第２の所定の値以下の値である。疎密条件は、採点モデルの処理対象の採点対象映像データの対となる採点者点数の度数に関する所定の条件であって、採点モデルの処理対象の採点対象映像データの対となる採点者点数の採点結果分布における度数が所定の度数よりも高いという条件である。
　特性条件にパラメータ設定条件が含まれることで、学習装置１は、より一層精度の高い推定を行う学習済みの採点モデルを得ることができる。
＜ハードウェアの説明＞
　図２は、実施形態における学習装置１のハードウェア構成の一例を示す図である。学習装置１は、バスで接続されたＣＰＵ（Central Processing Unit）等のプロセッサ９１とメモリ９２とを備える制御部１１を備え、プログラムを実行する。学習装置１は、プログラムの実行によって制御部１１、入力部１２、通信部１３、記憶部１４及び出力部１５を備える装置として機能する。
　より具体的には、プロセッサ９１が記憶部１４に記憶されているプログラムを読み出し、読み出したプログラムをメモリ９２に記憶させる。プロセッサ９１が、メモリ９２に記憶させたプログラムを実行することによって、学習装置１は、制御部１１、入力部１２、通信部１３、記憶部１４及び出力部１５を備える装置として機能する。
　制御部１１は、学習装置１が備える各種機能部の動作を制御する。制御部１１は、例えば出力部１５の動作を制御する。制御部１１は、例えば学習により生じた各種情報を記憶部１４に記録する。
　入力部１２は、マウスやキーボード、タッチパネル等の入力装置を含んで構成される。入力部１２は、これらの入力装置を学習装置１に接続するインタフェースとして構成されてもよい。入力部１２は、学習装置１に対する各種情報の入力を受け付ける。
　通信部１３は、学習装置１を外部装置に接続するための通信インタフェースを含んで構成される。通信部１３は、有線又は無線を介して外部装置と通信する。外部装置は、例えば採点結果学習セットの送信元の装置である。通信部１３は、採点結果学習セットの送信元の装置との通信によって採点結果学習セットを取得する。
　外部装置は、例えば推定装置２である。通信部１３は推定装置２との通信により推定装置２に学習済みの採点モデルを送信する。なお数理モデルを送信するとは数理モデルをコンピュータに実行させるコンピュータプログラムを送信することを意味する。なお、採点結果セットは、必ずしも通信部１３を介して入力される必要は無く、入力部１２に入力されてもよい。
　記憶部１４は、磁気ハードディスク装置や半導体記憶装置などのコンピュータ読み出し可能な記憶媒体装置（non-transitory computer-readable recording medium）を用いて構成される。記憶部１４は学習装置１に関する各種情報を記憶する。記憶部１４は、例えば入力部１２又は通信部１３を介して入力された情報を記憶する。記憶部１４は、例えば学習の実行により生じた各種情報を記憶する。記憶部１４は、例えば採点モデルを予め記憶する。記憶部１４は、例えば学習済みの採点モデルを記憶する。
　出力部１５は、各種情報を出力する。出力部１５は、例えばＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ等の表示装置を含んで構成される。出力部１５は、これらの表示装置を学習装置１に接続するインタフェースとして構成されてもよい。出力部１５は、例えば入力部１２に入力された情報を出力する。出力部１５は、例えば学習の結果を表示してもよい。
　図３は、実施形態における学習装置１が備える制御部１１の構成の一例を示す図である。制御部１１は、学習部１０、記憶制御部１２０、通信制御部１３０及び出力制御部１４０を備える。記憶制御部１２０は、記憶部１４に各種情報を記録する。通信制御部１３０は通信部１３の動作を制御する。出力制御部１４０は、出力部１５の動作を制御する。
　図４は、実施形態における学習装置１が実行する処理の流れの一例を示すフローチャートである。学習部１０は、採点結果学習セットが含む採点対象映像データのうち、未だ採点モデルによって処理されたことの無い採点対象映像データ、を取得する（ステップＳ１０１）。なお、採点対象映像データの取得は、予め所定の記憶装置に記憶済みの採点結果学習セットから採点対象映像データを読み出す処理であってもよいし、ユーザ等によって入力された採点結果学習セットから採点対象映像データを取得する処理であってもよい。
　次に学習部１０は、ステップＳ１０１で得た採点対象映像データに対して採点モデルを実行する（ステップＳ１０２）。ステップＳ１０２の処理により、ステップＳ１０１で得た採点対象映像データが示す採点対象映像に写る場面に対する推定確率分布が得られる。
　次に学習部１０は、正解分布取得処理を実行する（ステップＳ１０３）。正解分布取得処理の実行により学習部１０は、採点結果学習セットと、採点モデルの処理対象の採点対象映像データの対となる採点者点数と、に基づき、正解分布を取得する。
　次に学習部１０は、更新処理を実行する（ステップＳ１０４）。すなわち、学習部１０は、ステップＳ１０２で得られた推定確率分布とステップＳ１０３で得られた正解分布とに基づき、推定確率分布と正解分布との違いを小さくするように、採点モデルを更新する。次に学習部１０は、判定処理を実行する（ステップＳ１０５）。すなわち、学習部１０は、学習終了条件が満たされたか否かを判定する。
　学習終了条件が満たされていない場合（ステップＳ１０５：ＮＯ）、ステップＳ１０１の処理に戻る。一方、学習終了条件が満たされた場合（ステップＳ１０５：ＹＥＳ）、処理が終了する。
　図５は、実施形態における推定装置２のハードウェア構成の一例を示す図である。推定装置２は、バスで接続されたＣＰＵ等のプロセッサ９３とメモリ９４とを備える制御部２１を備え、プログラムを実行する。推定装置２は、プログラムの実行によって制御部２１、入力部２２、通信部２３、記憶部２４及び出力部２５を備える装置として機能する。
　より具体的には、プロセッサ９３が記憶部２４に記憶されているプログラムを読み出し、読み出したプログラムをメモリ９３に記憶させる。プロセッサ９２が、メモリ９３に記憶させたプログラムを実行することによって、推定装置２は、制御部２１、入力部２２、通信部２３、記憶部２４及び出力部２５を備える装置として機能する。
　制御部２１は、推定装置２が備える各種機能部の動作を制御する。制御部２１は、例えば出力部２５の動作を制御する。制御部２１は、例えば学習により生じた各種情報を記憶部２４に記録する。
　入力部２２は、マウスやキーボード、タッチパネル等の入力装置を含んで構成される。入力部２２は、これらの入力装置を推定装置２に接続するインタフェースとして構成されてもよい。入力部２２は、推定装置２に対する各種情報の入力を受け付ける。
　通信部２３は、推定装置２を外部装置に接続するための通信インタフェースを含んで構成される。通信部２３は、有線又は無線を介して外部装置と通信する。外部装置は、例えば推定対象の送信元の装置である。推定装置２にとっての推定対象とは、採点対象映像データである。通信部２３は、推定対象の送信元の装置との通信によって推定対象を取得する。
　外部装置は、例えば学習装置１である。通信部２３は学習装置１との通信により学習装置１が得た学習済みの採点モデルを取得する。なお数理モデルを送信するとは数理モデルを表すコンピュータプログラムを取得することを意味する。なお採点対象映像データは、必ずしも通信部２３を介して入力される必要は無く、入力部２２に入力されてもよい。
　記憶部２４は、磁気ハードディスク装置や半導体記憶装置などのコンピュータ読み出し可能な記憶媒体装置（non-transitory computer-readable recording medium）を用いて構成される。記憶部２４は推定装置２に関する各種情報を記憶する。記憶部２４は、例えば入力部２２又は通信部２３を介して入力された情報を記憶する。記憶部２４は、例えば学習済みの採点モデルの実行により生じた各種情報を記憶する。記憶部２４は、例えば学習済みの採点モデルを記憶する。
　出力部２５は、各種情報を出力する。出力部２５は、例えばＣＲＴディスプレイや液晶ディスプレイ、有機ＥＬディスプレイ等の表示装置を含んで構成される。出力部２５は、これらの表示装置を推定装置２に接続するインタフェースとして構成されてもよい。出力部２５は、例えば入力部２２に入力された情報を出力する。出力部２５は、例えば学習済みの採点モデルによる推定の結果を表示してもよい。
　図６は、実施形態における推定装置２が備える制御部２１の構成の一例を示す図である。制御部２１は、学習済み採点モデル実行部２０、対象取得部２１０、記憶制御部２２０、通信制御部２３０及び出力制御部２４０を備える。
　学習済み採点モデル実行部２０は、推定対象に対して学習済み採点モデルを実行する。対象取得部２１０は、入力部２２又は通信部２３に入力された推定対象を取得する。すなわち、対象取得部２１０は、入力部２２又は通信部２３に入力された採点対象映像データを取得する。記憶制御部２２０は、記憶部２４に各種情報を記録する。通信制御部２３０は通信部２３の動作を制御する。出力制御部２４０は、出力部２５の動作を制御する。
　図７は、実施形態における推定装置２が実行する処理の流れの一例を示すフローチャートである。対象取得部２１０が推定対象の採点対象映像データを取得する（ステップＳ２０１）。次に学習済み採点モデル実行部２０が、ステップＳ２０１で取得された採点対象映像データに対して、学習済み採点モデルを実行する（ステップＳ２０２）。ステップＳ２０２の処理により、ステップ２０１で取得された採点対象映像データが示す映像の写す場面に対する推定確率分布が得られる。次に、出力制御部２４０が出力部２５の動作を制御して、ステップＳ２０２で得られた推定確率分布を出力部２５に出力させる（ステップＳ２０３）。
　このように構成された学習装置１は、上述したように、採点モデルの推定した推定確率分布と、正解分布取得処理で得られた正解分布と、の違いを小さくするように採点モデルを更新する。すなわち、学習装置１において採点モデルは、正解分布を正解データとした学習により採点モデルの推定の結果と正解データとの違いが小さくなるように更新される。
　採点結果学習セットは採点者による採点の結果である。また、採点結果学習セットに含まれる採点学習データが増えるほど、同じ場面に対する採点結果の分布のばらつきは小さくなる。そのため、このような更新による学習が進むほど、実際に採点者が採点する結果に近く、なおかつ、実際の採点者よりも、同じ場面に対する採点結果のばらつきの少ない結果、を採点モデルが推定する頻度が高まる。
　そのため、このような採点モデルの更新を行う学習装置１は、採点を要する行事における参加者の不満を軽減することができる。
　また、このように構成された推定装置２は、学習装置１の得た学習済みの採点モデルを用いた推定を行うため、採点を要する行事における参加者の不満を軽減することができる。
（変形例）
　なおパラメトライズド関数が一般化正規分布である場合、採点モデルの処理対象の採点対象映像データの対の採点者点数が、一般化正規分布の平均の値として用いられてもよい。
　なお、学習装置１は、ネットワークを介して通信可能に接続された複数台の情報処理装置を用いて実装されてもよい。この場合、学習装置１が備える各機能部は、複数の情報処理装置に分散して実装されてもよい。
　なお、推定装置２は、ネットワークを介して通信可能に接続された複数台の情報処理装置を用いて実装されてもよい。この場合、推定装置２が備える各機能部は、複数の情報処理装置に分散して実装されてもよい。
　なお、学習装置１と、推定装置２と、の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。
　以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
　１００…採点システム、　１…学習装置、　２…推定装置、　１０…学習部、　１１…制御部、　１２…入力部、　１３…通信部、　１４…記憶部、　１５…出力部、　１２０…記憶制御部、　１３０…通信制御部、　１４０…出力制御部、　２１…制御部、　２２…入力部、　２３…通信部、　２４…記憶部、　２５…出力部、　２０…学習済み採点モデル実行部、　２１０…対象取得部、　２２０…記憶制御部、　２３０…通信制御部、　２４０…出力制御部、　９１…プロセッサ、　９２…メモリ、　９３…プロセッサ、　９４…メモリ

Claims (6)

  1. 　採点を要する行事である採点行事の最中の場面を写した映像である採点対象映像の映像データに基づき、前記採点行事における採点対象の優劣を表す優劣点数を確率変数とする確率分布であって前記場面を採点者が採点した場合に各優劣点数を前記採点者がつける確率を示す確率分布である推定確率分布、を推定する採点モデル、を学習により更新する学習部、
    　を備え、
    　前記学習部は、採点対象映像の映像データである採点対象映像データと、前記採点対象映像が写す場面を見た採点者が示す優劣点数である採点者点数と、の組である採点学習データ、の集合である採点結果学習セット、が含む採点対象映像データに対して前記採点モデルを実行する採点モデル実行処理と、
    　前記採点結果学習セットと、前記採点モデルの処理対象である前記採点対象映像データの対となる前記採点者点数と、に基づき、採点者点数の確率分布を示す正解分布を取得する正解分布取得処理と、
    　前記採点モデル実行処理により得られた推定確率分布と前記正解分布との違いを小さくするように、前記採点モデルを更新する更新処理と、
    　を実行する、
    　学習装置。
  2. 　前記正解分布は、採点者点数の選択に関する所定の条件である採用条件を満たす採点学習データの集合を母集団とする度数分布であって採点者点数の度数分布である採点結果分布、を、パラメトライズされた所定の確率関数であって、ピークを１つ有するという条件と、分散と平均とをパラメータとして含むという条件とを含む特性条件、を満たす所定の確率関数によってフィッティングした結果の確率関数が示す分布である、
    　請求項１に記載の学習装置。
  3. 　前記採点結果分布が示す採点者点数は、前記採点モデルの処理対象である前記採点対象映像データの対となる前記採点者点数、との違いが小さいほうからＮ番目以内（Ｎは１以上の整数）という条件を満たす、
    　請求項２に記載の学習装置。
  4. 　前記特性条件はさらに、
    　前記採点モデルの処理対象の採点対象映像データの対となる採点者点数の度数に関する条件であって、
    　前記採点モデルの処理対象の採点対象映像データの対となる採点者点数の前記採点結果分布における度数が所定の度数よりも高いという条件である疎密条件、が満たされる場合には、前記パラメトライズされた所定の確率関数の分散及び形状パラメータの値は第１の所定の値よりも小さいという条件と、
    　前記疎密条件が満たされない場合には、前記パラメトライズされた所定の確率関数の分散及び形状パラメータの値は第２の所定の値よりも大きいという条件と、
    　を含む条件、
    　であるパラメータ設定条件、を含み、
    　前記第１の所定の値は、前記第２の所定の値以下の値である、
    　請求項３に記載の学習装置。
  5. 　採点を要する行事である採点行事の最中の場面を写した映像である採点対象映像の映像データに基づき、前記採点行事における採点対象の優劣を表す優劣点数を確率変数とする確率分布であって前記場面を採点者が採点した場合に各優劣点数を前記採点者がつける確率を示す確率分布である推定確率分布、を推定する採点モデル、を学習により更新する学習ステップ、
    　を有し、
    　前記学習ステップは、採点対象映像の映像データである採点対象映像データと、前記採点対象映像が写す場面を見た採点者が示す優劣点数である採点者点数と、の組である採点学習データ、の集合である採点結果学習セット、が含む採点対象映像データに対して前記採点モデルを実行する採点モデル実行処理と、
    　前記採点結果学習セットと、前記採点モデルの処理対象である前記採点対象映像データの対となる前記採点者点数と、に基づき、採点者点数の分布を示す正解分布を取得する正解分布取得処理と、
    　前記採点モデル実行処理により得られた推定確率分布と前記正解分布との違いを小さくするように、前記採点モデルを更新する更新処理と、
    　を実行する、
    　学習方法。
  6. 　請求項１から４のいずれか一項に記載の学習装置としてコンピュータを機能させるためのプログラム。
PCT/JP2022/028740 2022-07-26 2022-07-26 学習装置、学習方法及びプログラム Ceased WO2024023917A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2022/028740 WO2024023917A1 (ja) 2022-07-26 2022-07-26 学習装置、学習方法及びプログラム
JP2024536584A JP7783542B2 (ja) 2022-07-26 2022-07-26 学習装置、学習方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/028740 WO2024023917A1 (ja) 2022-07-26 2022-07-26 学習装置、学習方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2024023917A1 true WO2024023917A1 (ja) 2024-02-01

Family

ID=89705845

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/028740 Ceased WO2024023917A1 (ja) 2022-07-26 2022-07-26 学習装置、学習方法及びプログラム

Country Status (2)

Country Link
JP (1) JP7783542B2 (ja)
WO (1) WO2024023917A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018150550A1 (ja) * 2017-02-17 2018-08-23 株式会社日立製作所 学習データ管理装置及び学習データ管理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018150550A1 (ja) * 2017-02-17 2018-08-23 株式会社日立製作所 学習データ管理装置及び学習データ管理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TANG YANSONG; NI ZANLIN; ZHOU JIAHUAN; ZHANG DANYANG; LU JIWEN; WU YING; ZHOU JIE: "Uncertainty-Aware Score Distribution Learning for Action Quality Assessment", 2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), IEEE, 13 June 2020 (2020-06-13), pages 9836 - 9845, XP033803593, DOI: 10.1109/CVPR42600.2020.00986 *

Also Published As

Publication number Publication date
JP7783542B2 (ja) 2025-12-10
JPWO2024023917A1 (ja) 2024-02-01

Similar Documents

Publication Publication Date Title
CN108875013B (zh) 处理地图数据的方法及装置
Sacheti et al. Home bias in officiating: evidence from international cricket
CN114342411B (zh) 提供一组或多组图形参数的方法、执行实现提供一组或多组图形参数的方法的程序的计算机
US20180011864A1 (en) Media information presentation system
US20230177540A1 (en) Questionnaire correction program, method performed by computer to correct questionnaire result, and questionnaire count device
KR20200012431A (ko) 빅데이터를 이용한 학습 문항 분석 정보 제공방법
WO2020206172A1 (en) Confidence evaluation to measure trust in behavioral health survey results
US20150161901A1 (en) Methods for improving test efficiency and accuracy in a computer adaptive test (cat)
Kashaev et al. Discerning solution concepts for discrete games
JP7783542B2 (ja) 学習装置、学習方法及びプログラム
KR102230052B1 (ko) 문제 난이도 조정 방법 및 문제 난이도 조정 서버
JP2020046923A (ja) 予測装置、予測方法、及びプログラム
CN118059504B (zh) 一种基于胜率图的竞赛匹配系统及方法
JPWO2020031380A1 (ja) 画像処理方法および画像処理装置
JP7788112B2 (ja) 学習支援装置及びプログラム
JP7741454B2 (ja) 学習装置、学習方法及びプログラム
CN115944298A (zh) 一种人机交互的专注力评估方法、装置、终端及存储介质
CN115496071A (zh) 用于处理目标提问文本的方法及装置
JP2014228555A (ja) 判定プログラムおよび判定方法
CN112396279A (zh) 一种基于信任模型的鲁棒众包数据分析方法
JP2022144282A (ja) 情報処理装置、情報処理方法および情報処理プログラム
Clark Internal and External Factors A ecting Language Change: A computational model
JP7713684B2 (ja) 情報処理プログラム、情報処理装置、および情報処理方法
CN121349827B (zh) 一种大语言模型能力评测方法及相关装置
CN116244523B (zh) 游戏处理方法、装置及电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22953015

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024536584

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22953015

Country of ref document: EP

Kind code of ref document: A1