WO2024023911A1 - 学習装置、学習方法及びプログラム - Google Patents

学習装置、学習方法及びプログラム Download PDF

Info

Publication number
WO2024023911A1
WO2024023911A1 PCT/JP2022/028728 JP2022028728W WO2024023911A1 WO 2024023911 A1 WO2024023911 A1 WO 2024023911A1 JP 2022028728 W JP2022028728 W JP 2022028728W WO 2024023911 A1 WO2024023911 A1 WO 2024023911A1
Authority
WO
WIPO (PCT)
Prior art keywords
scoring
annotation
information
score estimation
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/028728
Other languages
English (en)
French (fr)
Inventor
隆昌 永井
翔一郎 武田
誠明 松村
信哉 志水
裕司 青野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2024536578A priority Critical patent/JP7741454B2/ja
Priority to PCT/JP2022/028728 priority patent/WO2024023911A1/ja
Publication of WO2024023911A1 publication Critical patent/WO2024023911A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a learning device, a learning method, and a program.
  • the technology that has been proposed so far is a machine learning technology that uses only video footage of a series of actions as input for scoring.
  • Such conventional techniques sometimes have poor scoring accuracy.
  • the present invention aims to provide a technique for improving scoring accuracy.
  • One aspect of the present invention is a process in which video data of a video depicting a scene in a scoring event is processed, and information that is to be scored by a scorer among the information shown by the video data to be processed, Based on the annotation process that estimates the information to be scored by the grader and the annotation mask, which is the information estimated by the annotation process, and the video data, the annotation mask uses the information indicated by the annotation mask.
  • a scoring score estimation process that estimates the scorer's scoring result for the scene captured by the video without using information that is not shown; a background score estimation process for estimating the scorer's scoring result for the scene captured by the video using information not shown by the annotation mask; and based on the result of the scoring score estimation process and the background score estimation process, the The learning device includes a learning unit that executes an annotation process, an update process that updates the contents of the scoring score estimation process, and the background score estimation process.
  • One aspect of the present invention is a process in which video data of a video depicting a scene in a scoring event is processed, and information that is to be scored by a scorer among the information shown by the video data to be processed, Based on the annotation process that estimates the information to be scored by the grader and the annotation mask, which is the information estimated by the annotation process, and the video data, the annotation mask uses the information indicated by the annotation mask.
  • a scoring score estimation process that estimates the scorer's scoring result for the scene captured by the video without using information that is not shown; a background score estimation process for estimating the scorer's scoring result for the scene captured by the video using information not shown by the annotation mask; and based on the result of the scoring score estimation process and the result of the background score estimation process,
  • the learning method includes a learning step of performing an annotation process, an update process for updating the contents of the scoring score estimation process and the background score estimation process.
  • One aspect of the present invention is a program for causing a computer to function as the above learning device.
  • FIG. 1 is an explanatory diagram illustrating an overview of a scoring system according to an embodiment.
  • 5 is a flowchart showing an example of the flow of processing executed by the learning device in the embodiment.
  • 5 is a flowchart illustrating an example of the flow of processing executed by the estimation device in the embodiment.
  • FIG. 1 is an explanatory diagram illustrating an overview of a scoring system 100 according to an embodiment.
  • scoring events events that require scoring, such as scoring competitions and scoring tests for evaluating the surgical skills of medical students, will be referred to as scoring events.
  • the score representing the superiority or inferiority of the subject to be graded in a scoring event will be referred to as the superiority/inferiority score.
  • the target to be graded is the target to be graded.
  • the subject to be scored does not necessarily have to be a person, but may be an animal or an inorganic object such as ceramics.
  • the period during the grading event will be referred to as ⁇ during the grading event''.
  • a scoring event is, for example, a scoring competition such as figure skating at the Olympics.
  • the scoring event is figure skating
  • the superiority/inferiority score is a score such as technical points and performance component points given to the athlete's performance.
  • the scoring system 100 includes a learning device 1 and an estimation device 2.
  • the learning device 1 includes a learning section 10.
  • the learning unit 10 executes an annotation process, a scoring score estimation process, a background score estimation process, and an update process.
  • Annotation processing is processing in which the processing target is video data.
  • the annotation process is a process of estimating the information to be scored by the scorer from among the information indicated by the video indicated by the video data to be processed.
  • the information obtained through annotation processing will be referred to as an annotation mask.
  • the annotation mask is information estimated by annotation processing as information to be scored by the scorer.
  • the annotation process is, for example, the annotation mechanism described in Reference 1.
  • the information to be scored is, for example, if the scoring event is a high diving event, the information is the athlete and the water splash.
  • Reference 1 Hiroshi Fukui, Tsubasa Hirakawa, Takayoshi Yamashita, Hironobu Fujiyoshi, Attention Branch Network: Learning of Attention Mechanism for Visual Explanation. In CVPR, 2019.
  • the video data to be processed in the annotation process is video data of a video depicting a scene in a scoring event.
  • video data of a video depicting a scene in a scoring event which is the target of annotation processing
  • scoring target video data video data of a video depicting a scene in a scoring event
  • the video indicated by the grading target video data will be referred to as the grading target video.
  • the scoring score estimation process estimates the scorer's scoring result for the scene captured by the scoring target video based on the scoring target video data and the annotation mask. Specifically, the scoring result is the score assigned by the scorer. More specifically, the scoring score estimation process uses the information shown by the annotation mask among the information shown by the video to be scored, and does not use the information not shown by the annotation mask among the information shown by the video to be scored. This is a process of estimating the scorer's scoring result for the scene captured by the target video.
  • the background score estimation process does not use the information shown by the annotation mask among the information shown by the scoring target video, but uses the information shown by the scoring target video that is not shown by the annotation mask. This is a process of estimating the scorer's scoring results.
  • the update process updates the contents of the annotation process, the scoring score estimation process, and the background score estimation process based on the results of the scoring score estimation process and the background score estimation process.
  • the update process updates the contents of the annotation process, the scoring score estimation process, and the background score estimation process based on, for example, the scoring difference and the background difference, so as to reduce the scoring difference and the background difference.
  • the scoring difference is the difference between the estimation result of the scoring score estimation process and the correct scoring data.
  • the background difference is the difference between the estimation result of the background score estimation process and the background correct data.
  • the correct scoring data is the scoring result given in advance for each video data to be scored, and is information indicating the scoring result by the scorer for the video to be scored.
  • the background correct answer data is a predetermined value that is determined in advance, and is a predetermined value that does not depend on the video data to be scored.
  • the predetermined value that is predetermined and does not depend on the video data to be scored is, for example, 0.
  • the learning unit 10 updates the scoring model until a predetermined condition regarding the end of the update (hereinafter referred to as "update end condition”) is satisfied.
  • the update end condition may be, for example, a condition that the change in the content of each process due to the update is smaller than a predetermined change, and the update end condition may be, for example, a condition that the update has been performed a predetermined number of times.
  • the scoring score estimation process at the time when the update end condition is satisfied (hereinafter referred to as “updated scoring score estimation process”) is used in the estimation device 2.
  • the learning unit 10 updates the contents of the annotation process, the scoring score estimation process, and the background score estimation process so as to reduce the difference between the result of the scoring score estimation process and the correct scoring data. This improves the accuracy of scoring estimation.
  • the video also includes images that are not eligible for scoring.
  • the accuracy of the estimation of the score may decrease. This is because the amount of information that is not a scoring target relative to the scoring target information increases, and the information scoring target information amount decreases relatively. Therefore, learning that increases the probability that information that is not subject to scoring will not be used in the scoring score estimation process increases the accuracy of estimation.
  • the learning unit 10 executes a background score estimation process.
  • the background score estimation process performs scoring based on information that is not the target of scoring. It may be easier to understand if you imagine a situation in which a grader actually scores a score using information that is not subject to scoring, but in such a case, regardless of the grader or the video data to be graded, the grader will receive a score of 0. Give a fixed number of points, etc. The more information that is subject to scoring is included, the more it deviates from the fixed value.
  • the probability that information used in the background score estimation process does not include information to be scored increases. Since information that is not used in the background score estimation process is used in the scoring score estimation process, the probability that the information used in the background score estimation process does not include information that is subject to scoring increases, and information that is not subject to scoring increases. The probability that the score will not be used in the scoring score estimation process increases.
  • the learning unit 10 executes the scoring score estimation process and the background score estimation process, and updates the contents of the annotation process, the scoring score estimation process, and the background score estimation process based on the results, thereby improving the scoring score. Improve the accuracy of estimation in estimation processing.
  • the annotation process is a process of estimating information used in the scoring score estimation process, and is therefore a process of separating information used in the scoring score estimation process and information used in the background score estimation process.
  • the probability that information used in the scoring score estimation process includes information that is not subject to scoring is reduced.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the learning device 1 in the embodiment.
  • the learning device 1 includes a control unit 11 including a processor 91 such as a CPU (Central Processing Unit) and a memory 92 connected via a bus, and executes a program.
  • the learning device 1 functions as a device including a control section 11, an input section 12, a communication section 13, a storage section 14, and an output section 15 by executing a program.
  • the processor 91 reads a program stored in the storage unit 14 and stores the read program in the memory 92.
  • the learning device 1 functions as a device including a control section 11, an input section 12, a communication section 13, a storage section 14, and an output section 15.
  • the control unit 11 controls the operations of various functional units included in the learning device 1.
  • the control unit 11 controls the operation of the output unit 15, for example.
  • the control unit 11 records various information generated by operations of the control unit 11, such as annotation processing, scoring score estimation processing, and background score estimation processing, in the storage unit 14.
  • the input unit 12 includes input devices such as a mouse, a keyboard, and a touch panel.
  • the input unit 12 may be configured as an interface that connects these input devices to the learning device 1.
  • the input unit 12 receives input of various information to the learning device 1.
  • the communication unit 13 includes a communication interface for connecting the learning device 1 to an external device.
  • the communication unit 13 communicates with an external device via wire or wireless.
  • the external device is, for example, a device that is the source of the learning data set.
  • the learning data set is a set of grading target video data, grading correct answer data, and background correct answer data.
  • the communication unit 13 acquires the learning data set through communication with the device that is the source of the learning data set.
  • the external device is, for example, the estimation device 2.
  • the communication unit 13 transmits to the estimation device 2 a computer program (hereinafter referred to as “updated scoring score program”) that causes a computer to execute the updated scoring score estimation process through communication with the estimation device 2 .
  • the learning data set does not necessarily need to be input via the communication unit 13 and may be input to the input unit 12.
  • the storage unit 14 is configured using a non-transitory computer-readable recording medium such as a magnetic hard disk device or a semiconductor storage device.
  • the storage unit 14 stores various information regarding the learning device 1.
  • the storage unit 14 stores information input via the input unit 12 or the communication unit 13, for example.
  • the storage unit 14 stores various information generated by, for example, execution of learning.
  • the storage unit 14 stores, for example, an updated scoring program.
  • the output unit 15 outputs various information.
  • the output unit 15 includes a display device such as a CRT (Cathode Ray Tube) display, a liquid crystal display, and an organic EL (Electro-Luminescence) display.
  • the output unit 15 may be configured as an interface that connects these display devices to the learning device 1.
  • the output unit 15 outputs, for example, information input to the input unit 12.
  • the output unit 15 may display the update result, for example.
  • FIG. 3 is a diagram showing an example of the configuration of the control unit 11 included in the learning device 1 in the embodiment.
  • the control section 11 includes a learning section 10, a storage control section 120, a communication control section 130, and an output control section 140.
  • the storage control unit 120 records various information in the storage unit 14.
  • the communication control unit 130 controls the operation of the communication unit 13.
  • the output control section 140 controls the operation of the output section 15.
  • FIG. 4 is a flowchart showing an example of the flow of processing executed by the learning device 1 in the embodiment.
  • the learning unit 10 acquires a learning data set including video data to be scored (step S101).
  • step S102 the learning unit 10 performs annotation processing on the scoring target video data obtained in step S101 (step S102).
  • An annotation mask is obtained by the process in step S102.
  • the learning unit 10 executes a scoring score estimation process (step S103). Through the process of step S103, the scorer's scoring result for the video to be scored is estimated.
  • the learning unit 10 executes background score estimation processing (step S104).
  • the learning unit 10 performs an update process (step S105). More specifically, the learning unit 10 performs annotation processing, scoring score estimation processing, and background score based on the results of steps S103 and 104 and the correct scoring data and background correct data included in the learning data set obtained in step S101. Update the contents of the estimation process. When updating, the contents of the annotation process, the scoring score estimation process, and the background score estimation process are updated so that the difference in scoring and the difference in background are reduced.
  • step S106 determines whether the update end condition is satisfied. If the update end condition is not satisfied (step S106: NO), the process returns to step S101. On the other hand, if the update end condition is satisfied (step S106: YES), the process ends.
  • step S103 and step S104 do not necessarily have to be executed in this order, and the process in step S103 may be executed after the process in step S104 is executed.
  • FIG. 5 is a diagram showing an example of the hardware configuration of the estimation device 2 in the embodiment.
  • the estimation device 2 includes a control unit 21 including a processor 93 such as a CPU and a memory 94 connected via a bus, and executes a program.
  • the estimation device 2 functions as a device including a control section 21, an input section 22, a communication section 23, a storage section 24, and an output section 25 by executing a program.
  • the processor 93 reads the program stored in the storage unit 24 and stores the read program in the memory 93.
  • the estimation device 2 functions as a device including a control section 21, an input section 22, a communication section 23, a storage section 24, and an output section 25.
  • the control unit 21 controls the operations of various functional units included in the estimation device 2.
  • the control unit 21 controls the operation of the output unit 25, for example.
  • the control unit 21 records, in the storage unit 24, various types of information generated by operations of the control unit 21, such as annotation processing, scoring score estimation processing, and background score estimation processing.
  • the input unit 22 includes input devices such as a mouse, a keyboard, and a touch panel.
  • the input unit 22 may be configured as an interface that connects these input devices to the estimation device 2.
  • the input unit 22 receives input of various information to the estimation device 2 .
  • the communication unit 23 is configured to include a communication interface for connecting the estimation device 2 to an external device.
  • the communication unit 23 communicates with an external device via wire or wireless.
  • the external device is, for example, a transmission source device to be estimated.
  • the estimation target for the estimation device 2 is the video data of a video depicting a scene in a scoring event, and is the updated video data to be processed in the scoring score estimation process (hereinafter referred to as "target data").
  • target data the updated video data to be processed in the scoring score estimation process
  • the external device is, for example, the learning device 1.
  • the communication unit 23 acquires the updated scoring score program obtained by the learning device 1 through communication with the learning device 1 . Note that the estimation target does not necessarily need to be input via the communication unit 23 and may be input to the input unit 22.
  • the storage unit 24 is configured using a non-transitory computer-readable recording medium such as a magnetic hard disk device or a semiconductor storage device.
  • the storage unit 24 stores various information regarding the estimation device 2.
  • the storage unit 24 stores information input via the input unit 22 or the communication unit 23, for example.
  • the storage unit 24 stores various information generated by, for example, executing the updated scoring score program.
  • the storage unit 24 stores, for example, an updated scoring program.
  • the output unit 25 outputs various information.
  • the output unit 25 is configured to include a display device such as a CRT display, a liquid crystal display, an organic EL display, or the like.
  • the output unit 25 may be configured as an interface that connects these display devices to the estimation device 2.
  • the output unit 25 outputs the information input to the input unit 22, for example.
  • the output unit 25 may display, for example, the result of estimation by the updated scoring score estimation process.
  • FIG. 6 is a diagram showing an example of the configuration of the control unit 21 included in the estimation device 2 in the embodiment.
  • the control unit 21 includes an updated scoring score estimation unit 20, a target acquisition unit 210, a storage control unit 220, a communication control unit 230, and an output control unit 240.
  • the updated scoring score estimating unit 20 executes updated scoring score estimation processing for the estimation target.
  • the target acquisition unit 210 acquires the estimation target input to the input unit 22 or the communication unit 23. That is, the target acquisition unit 210 acquires target data input to the input unit 22 or the communication unit 23.
  • the storage control unit 220 records various information in the storage unit 24.
  • the communication control unit 230 controls the operation of the communication unit 23.
  • the output control section 240 controls the operation of the output section 25.
  • FIG. 7 is a flowchart illustrating an example of the flow of processing executed by the estimation device 2 in the embodiment.
  • the target acquisition unit 210 acquires target data to be estimated (step S201).
  • the updated scoring score estimating unit 20 executes updated scoring score estimation processing on the target data acquired in step S201 (step S202).
  • the output control unit 240 controls the operation of the output unit 25 to cause the output unit 25 to output the result obtained in step S202 (step S203).
  • the learning device 1 configured in this manner executes an annotation process, a scoring score estimation process, and a background score estimation process. Therefore, the learning device 1 can improve the estimation accuracy of the scoring score estimation process, as described above. That is, the learning device 1 can improve the accuracy of scoring.
  • the estimation device 2 configured in this manner performs estimation using the updated scoring score estimation process obtained by the learning device 1. Therefore, the estimation device 2 can improve scoring accuracy.
  • the learning unit 10 may update the contents of the annotation process, the scoring score estimation process, and the background score estimation process using a machine learning method.
  • the machine learning method may be, for example, weakly supervised learning.
  • the learning data set may further include a correct annotation mask.
  • the correct annotation mask is data given in advance for each video data to be scored, and is data indicating the correct answer as a result of estimation of annotation processing.
  • the update process the contents of the annotation process, scoring score estimation process, and background score estimation process are updated so as to reduce the difference between the annotation mask obtained by the annotation process and the correct annotation mask. Good too.
  • the correct annotation mask may be a weak annotation mask.
  • the weak annotation mask is information indicating a bounding box indicating information used in the scoring score estimation process among the information included in the scoring target video.
  • the bounding box may be determined manually, for example, or by existing detection techniques, for example.
  • the learning device 1 may be implemented using a plurality of information processing devices communicatively connected via a network.
  • each functional unit included in the learning device 1 may be distributed and implemented in a plurality of information processing devices.
  • estimation device 2 may be implemented using a plurality of information processing devices that are communicably connected via a network.
  • each functional unit included in the estimation device 2 may be distributed and implemented in a plurality of information processing devices.
  • All or some of the functions of the learning device 1 and the estimation device 2 may be implemented using hardware such as an ASIC (Application Specific Integrated Circuit), a PLD (Programmable Logic Device), or an FPGA (Field Programmable Gate Array). It may also be realized by The program may be recorded on a computer-readable recording medium.
  • the computer-readable recording medium is, for example, a portable medium such as a flexible disk, magneto-optical disk, ROM, or CD-ROM, or a storage device such as a hard disk built into a computer system.
  • the program may be transmitted via a telecommunications line.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Image Analysis (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

採点行事における場面を写す映像の映像データを処理対象とする処理であって処理対象の示す映像が示す情報のうち採点者による採点の対象となる情報を推定するアノテーション処理と、採点者による採点の対象となる情報としてアノテーション処理によって推定されたアノテーションマスクが示す情報を用いアノテーションマスクが示さない情報は用いずに、前記映像が写す場面に対する採点者の採点結果を推定する採点スコア推定処理と、アノテーションマスクが示す情報を用いず、アノテーションマスクが示さない情報を用いて、前記映像が写す場面に対する採点者の採点結果を推定する背景スコア推定処理と、採点スコア推定処理の結果と背景スコア推定処理の結果とに基づき、アノテーション処理、採点スコア推定処理及び背景スコア推定処理の内容を更新する学習装置。

Description

学習装置、学習方法及びプログラム
　本発明は、学習装置、学習方法及びプログラムに関する。
　採点競技や医学生の手術の技術の評価を行うテストの採点など、採点を要する行事であって採点結果が採点者に依存する行事がある。このような行事における採点を装置で行うことを目指す技術がある。
　これまで提案された技術は、一連の動作を撮影した映像のみを入力として採点する機械学習の技術であった。しかしながら、このような従来の技術は採点の精度が良くない場合があった。
　上記事情に鑑み、本発明は、採点の精度を向上させる技術を提供することを目的としている。
　本発明の一態様は、採点行事における場面を写す映像の映像データを処理対象とする処理であって、処理対象の映像データの示す映像が示す情報のうち採点者による採点の対象となる情報、を推定するアノテーション処理と、採点者による採点の対象となる情報として前記アノテーション処理によって推定された情報であるアノテーションマスクと前記映像データとに基づき、前記アノテーションマスクが示す情報を用い、前記アノテーションマスクが示さない情報は用いずに、前記映像が写す場面に対する採点者の採点結果を推定する採点スコア推定処理と、前記アノテーションマスクと前記映像データとに基づき、前記アノテーションマスクが示す情報を用いず、前記アノテーションマスクが示さない情報を用いて、前記映像が写す場面に対する採点者の採点結果を推定する背景スコア推定処理と、前記採点スコア推定処理の結果と前記背景スコア推定処理の結果とに基づき、前記アノテーション処理、前記採点スコア推定処理及び前記背景スコア推定処理の内容を更新する更新処理と、を実行する学習部、を備える学習装置である。
　本発明の一態様は、採点行事における場面を写す映像の映像データを処理対象とする処理であって、処理対象の映像データの示す映像が示す情報のうち採点者による採点の対象となる情報、を推定するアノテーション処理と、採点者による採点の対象となる情報として前記アノテーション処理によって推定された情報であるアノテーションマスクと前記映像データとに基づき、前記アノテーションマスクが示す情報を用い、前記アノテーションマスクが示さない情報は用いずに、前記映像が写す場面に対する採点者の採点結果を推定する採点スコア推定処理と、前記アノテーションマスクと前記映像データとに基づき、前記アノテーションマスクが示す情報を用いず、前記アノテーションマスクが示さない情報を用いて、前記映像が写す場面に対する採点者の採点結果を推定する背景スコア推定処理と、前記採点スコア推定処理の結果と前記背景スコア推定処理の結果とに基づき、前記アノテーション処理、前記採点スコア推定処理及び前記背景スコア推定処理の内容を更新する更新処理と、を実行する学習ステップ、を有する学習方法である。
　本発明の一態様は、上記の学習装置としてコンピュータを機能させるためのプログラムである。
　本発明により、採点の精度を向上させることが可能となる。
実施形態の採点システムの概要を説明する説明図。 実施形態における学習装置のハードウェア構成の一例を示す図。 実施形態における学習装置が備える制御部の構成の一例を示す図。 実施形態における学習装置が実行する処理の流れの一例を示すフローチャート。 実施形態における推定装置のハードウェア構成の一例を示す図。 実施形態における推定装置が備える制御部の構成の一例を示す図。 実施形態における推定装置が実行する処理の流れの一例を示すフローチャート。
　（実施形態）
　図１は、実施形態の採点システム１００の概要を説明する説明図である。以下、採点競技や医学生の手術の技術の評価を行うテストの採点など、採点を要する行事を、採点行事という。以下、採点行事における被採点対象の優劣を表す点数を優劣点数という。被採点対象は、採点される対象である。被採点対象は必ずしも人である必要は無く、動物であってもよいし、陶磁器等の無機物であってもよい。また、以下、採点行事の最中のことを、採点行事中という。
　採点行事は例えばオリンピックにおけるフィギュアスケート等の採点競技である。優劣点数は、例えば採点行事がフィギュアスケートであれば、選手の演技に対して付けられる技術点や演技構成点等の点数である。
　採点システム１００は、学習装置１及び推定装置２を備える。学習装置１は、学習部１０を備える。学習部１０は、アノテーション処理と、採点スコア推定処理と、背景スコア推定処理と、更新処理と、を実行する。
　アノテーション処理は、処理対象を映像データとする処理である。アノテーション処理は、処理対象の映像データの示す映像、が示す情報のうち、採点者による採点の対象となる情報を推定する処理である。以下、アノテーション処理により得られた情報を、アノテーションマスクという。
　すなわち、アノテーションマスクは、採点者による採点の対象となる情報としてアノテーション処理によって推定された情報である。アノテーション処理は、例えば参考文献１に記載のアノテーション機構である。なお採点の対象となる情報とは、例えば採点行事が高飛び込みであれば、選手や水しぶきである。
　参考文献１：Hiroshi Fukui, Tsubasa Hirakawa, Takayoshi Yamashita, Hironobu Fujiyoshi, Attention Branch Network: Learning of Attention Mechanism for Visual Explanation. In CVPR, 2019.
　アノテーション処理の処理対象の映像データは、具体的には、採点行事における場面を写す映像の映像データである。以下、採点行事における場面を写す映像の映像データであってアノテーション処理の処理対象を、採点対象映像データという。また、以下、採点対象映像データが示す映像を採点対象映像、という。
　採点スコア推定処理は、採点対象映像データと、アノテーションマスクとに基づいて、採点対象映像が写す場面に対する採点者の採点結果を推定する。採点結果は具体的には、採点者がつける点数である。採点スコア推定処理は、より具体的には、採点対象映像が示す情報のうちのアノテーションマスクが示す情報を用い、採点対象映像が示す情報のうちのアノテーションマスクが示さない情報は用いずに、採点対象映像が写す場面に対する採点者の採点結果を推定する処理である。
　背景スコア推定処理は、採点対象映像が示す情報のうちのアノテーションマスクが示す情報を用いず、採点対象映像が示す情報のうちのアノテーションマスクが示さない情報を用いて、採点対象映像が写す場面に対する採点者の採点結果を推定する処理である。
　更新処理は、採点スコア推定処理の結果と背景スコア推定処理の結果とに基づき、アノテーション処理、前記採点スコア推定処理及び前記背景スコア推定処理の内容を更新する。更新処理は、例えば採点違いと、背景違いと、に基づき、採点違いと背景違いとを小さくするように、アノテーション処理、採点スコア推定処理及び背景スコア推定処理の内容を更新する。
　採点違いは、採点スコア推定処理の推定結果と採点正解データとの違いである。背景違いは、背景スコア推定処理の推定結果と背景正解データとの違いである。
　採点正解データは、採点対象映像データごとに予め与えられた採点結果であって採点対象映像に対する採点者による採点結果、を示す情報である。背景正解データは、予め定められた所定の値であり、採点対象映像データに依存しない所定の値である。予め定められた所定の値であり、採点対象映像データに依存しない所定の値は、例えば０である。
　なお学習部１０は、採点モデルの更新を更新の終了に関する所定の条件（以下「更新終了条件」という。）が満たされるまで実行する。更新終了条件は、例えば更新による各処理の内容の変化が所定の変化よりも小さいという条件である、更新終了条件は、例えば所定の回数の更新が行われた、という条件であってもよい。更新終了条件が満たされた時点の採点スコア推定処理（以下「更新済みの採点スコア推定処理」という。）が推定装置２にて用いられる。
＜アノテーション処理、採点スコア推定処理及び背景スコア推定処理の意義＞
　学習部１０は、採点スコア推定処理の結果と、採点正解データとの違いを小さくするようにアノテーション処理、採点スコア推定処理及び背景スコア推定処理の内容を更新する。これにより、採点の推定の精度が向上する。しかしながら、映像には採点の対象とはならない像も写っている。
　このような採点の対象とはならない像が採点スコア推定処理による採点の推定に用いられると、採点の推定の精度は下がる場合がある。なぜなら、採点の対象とはならない情報の、採点の対象となる情報に対する相対的な情報量が増大してしまい、採点の対象となる情報の情報量が相対的に減衰するからである。したがって、採点の対象とはならない情報が採点スコア推定処理で用いられない確率を高める学習が、推定の精度を高める。
　そこで、学習部１０は、背景スコア推定処理を実行する。背景スコア推定処理は、採点の対象とならない情報に基づいて採点を行う。採点の対象とならない情報を用いて実際に採点者が採点を行う状況を想像すれば理解が進むと思われるが、こういった場合、採点者や採点対象映像データに依らず、採点者は０点等の固定の点数をつける。そして、採点の対象となる情報が含まれれば含まれるほど、固定の値からはずれる。
　したがって、背景スコア推定処理の推定の結果が固定値に近づくように学習が行われれば、背景スコア推定処理の用いる情報に採点の対象となる情報が含まれない確率が高まる。背景スコア推定処理に用いられない情報が採点スコア推定処理で用いられるので、背景スコア推定処理の用いる情報に採点の対象となる情報が含まれない確率が高まることで、採点の対象とはならない情報が採点スコア推定処理で用いられない確率が高まる。
　学習部１０はこのように、採点スコア推定処理と背景スコア推定処理とを実行し、その結果に基づいて、アノテーション処理、採点スコア推定処理及び背景スコア推定処理の内容を更新することで、採点スコア推定処理の推定の精度を高める。なお、アノテーション処理は、採点スコア推定処理に用いる情報を推定する処理であるので、採点スコア推定処理に用いる情報と背景スコア推定処理に用いる情報とを分離する処理である。
　アノテーション処理の内容が更新されることで、採点スコア推定処理に用いる情報に採点の対象とはならない情報が含まれる確率が下がる。
＜ハードウェアの説明＞
　図２は、実施形態における学習装置１のハードウェア構成の一例を示す図である。学習装置１は、バスで接続されたＣＰＵ（Central Processing Unit）等のプロセッサ９１とメモリ９２とを備える制御部１１を備え、プログラムを実行する。学習装置１は、プログラムの実行によって制御部１１、入力部１２、通信部１３、記憶部１４及び出力部１５を備える装置として機能する。
　より具体的には、プロセッサ９１が記憶部１４に記憶されているプログラムを読み出し、読み出したプログラムをメモリ９２に記憶させる。プロセッサ９１が、メモリ９２に記憶させたプログラムを実行することによって、学習装置１は、制御部１１、入力部１２、通信部１３、記憶部１４及び出力部１５を備える装置として機能する。
　制御部１１は、学習装置１が備える各種機能部の動作を制御する。制御部１１は、例えば出力部１５の動作を制御する。制御部１１は、例えばアノテーション処理、採点スコア推定処理及び背景スコア推定処理等の制御部１１の動作により生じた各種情報を記憶部１４に記録する。
　入力部１２は、マウスやキーボード、タッチパネル等の入力装置を含んで構成される。入力部１２は、これらの入力装置を学習装置１に接続するインタフェースとして構成されてもよい。入力部１２は、学習装置１に対する各種情報の入力を受け付ける。
　通信部１３は、学習装置１を外部装置に接続するための通信インタフェースを含んで構成される。通信部１３は、有線又は無線を介して外部装置と通信する。外部装置は、例えば学習データセットの送信元の装置である。学習データセットは、採点対象映像データと、採点正解データと、背景正解データと、の組である。通信部１３は、学習データセットの送信元の装置との通信によって学習データセットを取得する。
　外部装置は、例えば推定装置２である。通信部１３は推定装置２との通信により推定装置２に対して、更新済みの採点スコア推定処理をコンピュータに実行させるコンピュータプログラム（以下「更新済み採点スコアプログラム」という。）を送信する。なお、学習データセットは、必ずしも通信部１３を介して入力される必要は無く、入力部１２に入力されてもよい。
　記憶部１４は、磁気ハードディスク装置や半導体記憶装置などのコンピュータ読み出し可能な記憶媒体装置（non-transitory computer-readable recording medium）を用いて構成される。記憶部１４は学習装置１に関する各種情報を記憶する。記憶部１４は、例えば入力部１２又は通信部１３を介して入力された情報を記憶する。記憶部１４は、例えば学習の実行により生じた各種情報を記憶する。記憶部１４は、例えば更新済み採点スコアプログラムを記憶する。
　出力部１５は、各種情報を出力する。出力部１５は、例えばＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ等の表示装置を含んで構成される。出力部１５は、これらの表示装置を学習装置１に接続するインタフェースとして構成されてもよい。出力部１５は、例えば入力部１２に入力された情報を出力する。出力部１５は、例えば更新の結果を表示してもよい。
　図３は、実施形態における学習装置１が備える制御部１１の構成の一例を示す図である。制御部１１は、学習部１０、記憶制御部１２０、通信制御部１３０及び出力制御部１４０を備える。記憶制御部１２０は、記憶部１４に各種情報を記録する。通信制御部１３０は通信部１３の動作を制御する。出力制御部１４０は、出力部１５の動作を制御する。
　図４は、実施形態における学習装置１が実行する処理の流れの一例を示すフローチャートである。学習部１０は、採点対象映像データを含む学習データセットを取得する（ステップＳ１０１）。
　次に学習部１０は、ステップＳ１０１で得た採点対象映像データに対してアノテーション処理を実行する（ステップＳ１０２）。ステップＳ１０２の処理により、アノテーションマスクが得られる。次に学習部１０は、採点スコア推定処理を実行する（ステップＳ１０３）。ステップＳ１０３の処理により、採点対象映像に対する採点者の採点結果が推定される。
　次に学習部１０は、背景スコア推定処理を実行する（ステップＳ１０４）。次に学習部１０は、更新処理を行う（ステップＳ１０５）。より具体的には、学習部１０は、ステップＳ１０３及び１０４の結果と、ステップＳ１０１で得た学習データセットに含まれる採点正解データ及び背景正解データに基づき、アノテーション処理、採点スコア推定処理及び背景スコア推定処理の内容を更新する。更新に際しては、採点違いと背景違いとが小さくなるように、アノテーション処理、採点スコア推定処理及び背景スコア推定処理の内容が更新される。
　次に学習部１０は、更新終了条件が満たされたか否かを判定する（ステップＳ１０６）。更新終了条件が満たされない場合（ステップＳ１０６：ＮＯ）、ステップＳ１０１の処理に戻る。一方、更新終了条件が満たされた場合（ステップＳ１０６：ＹＥＳ）、処理が終了する。
　なお、ステップＳ１０３とステップＳ１０４との処理は必ずしもこの順番で実行される必要は無く、ステップＳ１０４の処理の実行の次にステップＳ１０３の処理が実行されてもよい。
　図５は、実施形態における推定装置２のハードウェア構成の一例を示す図である。推定装置２は、バスで接続されたＣＰＵ等のプロセッサ９３とメモリ９４とを備える制御部２１を備え、プログラムを実行する。推定装置２は、プログラムの実行によって制御部２１、入力部２２、通信部２３、記憶部２４及び出力部２５を備える装置として機能する。
　より具体的には、プロセッサ９３が記憶部２４に記憶されているプログラムを読み出し、読み出したプログラムをメモリ９３に記憶させる。プロセッサ９２が、メモリ９３に記憶させたプログラムを実行することによって、推定装置２は、制御部２１、入力部２２、通信部２３、記憶部２４及び出力部２５を備える装置として機能する。
　制御部２１は、推定装置２が備える各種機能部の動作を制御する。制御部２１は、例えば出力部２５の動作を制御する。制御部２１は、例えばアノテーション処理、採点スコア推定処理及び背景スコア推定処理等の制御部２１の動作により生じた各種情報を記憶部２４に記録する。
　入力部２２は、マウスやキーボード、タッチパネル等の入力装置を含んで構成される。入力部２２は、これらの入力装置を推定装置２に接続するインタフェースとして構成されてもよい。入力部２２は、推定装置２に対する各種情報の入力を受け付ける。
　通信部２３は、推定装置２を外部装置に接続するための通信インタフェースを含んで構成される。通信部２３は、有線又は無線を介して外部装置と通信する。外部装置は、例えば推定対象の送信元の装置である。推定装置２にとっての推定対象とは、採点行事における場面を写す映像の映像データであって更新済みの採点スコア推定処理の処理対象の映像データ（以下「対象データ」という。）である。通信部２３は、推定対象の送信元の装置との通信によって推定対象を取得する。
　外部装置は、例えば学習装置１である。通信部２３は学習装置１との通信により学習装置１が得た更新済み採点スコアプログラムを取得する。なお推定対象は、必ずしも通信部２３を介して入力される必要は無く、入力部２２に入力されてもよい。
　記憶部２４は、磁気ハードディスク装置や半導体記憶装置などのコンピュータ読み出し可能な記憶媒体装置（non-transitory computer-readable recording medium）を用いて構成される。記憶部２４は推定装置２に関する各種情報を記憶する。記憶部２４は、例えば入力部２２又は通信部２３を介して入力された情報を記憶する。記憶部２４は、例えば更新済み採点スコアプログラムの実行により生じた各種情報を記憶する。記憶部２４は、例えば更新済み採点スコアプログラムを記憶する。
　出力部２５は、各種情報を出力する。出力部２５は、例えばＣＲＴディスプレイや液晶ディスプレイ、有機ＥＬディスプレイ等の表示装置を含んで構成される。出力部２５は、これらの表示装置を推定装置２に接続するインタフェースとして構成されてもよい。出力部２５は、例えば入力部２２に入力された情報を出力する。出力部２５は、例えば更新済みの採点スコア推定処理による推定の結果を表示してもよい。
　図６は、実施形態における推定装置２が備える制御部２１の構成の一例を示す図である。制御部２１は、更新済み採点スコア推定部２０、対象取得部２１０、記憶制御部２２０、通信制御部２３０及び出力制御部２４０を備える。
　更新済み採点スコア推定部２０は、推定対象に対して更新済みの採点スコア推定処理を実行する。対象取得部２１０は、入力部２２又は通信部２３に入力された推定対象を取得する。すなわち、対象取得部２１０は、入力部２２又は通信部２３に入力された対象データを取得する。記憶制御部２２０は、記憶部２４に各種情報を記録する。通信制御部２３０は通信部２３の動作を制御する。出力制御部２４０は、出力部２５の動作を制御する。
　図７は、実施形態における推定装置２が実行する処理の流れの一例を示すフローチャートである。対象取得部２１０が推定対象の対象データを取得する（ステップＳ２０１）。次に更新済み採点スコア推定部２０が、ステップＳ２０１で取得された対象データに対して、更新済みの採点スコア推定処理を実行する（ステップＳ２０２）。ステップＳ２０２の処理により、ステップ２０１で取得された対象データが示す映像の写す場面に対する採点者の採点結果が推定される。次に、出力制御部２４０が出力部２５の動作を制御して、ステップＳ２０２で得られた結果を出力部２５に出力させる（ステップＳ２０３）。
　このように構成された学習装置１は、アノテーション処理、採点スコア推定処理及び背景スコア推定処理を実行する。そのため、学習装置１は、上述したように、採点スコア推定処理の推定の精度を高めることができる。すなわち、学習装置１は、採点の精度を向上させることができる。
　また、このように構成された推定装置２は、学習装置１の得た更新済みの採点スコア推定処理を用いた推定を行う。そのため推定装置２は、採点の精度を向上させることができる。
（変形例）
　なお学習部１０は、機械学習の方法で、アノテーション処理、採点スコア推定処理及び背景スコア推定処理の内容を更新してもよい。機械学習の方法は、例えば弱教師あり学習であってもよい。
　なお、学習データセットはさらに、正解アノテーションマスクを含んでもよい。正解アノテーションマスクは、採点対象映像データごとに予め与えられたデータであってアノテーション処理の推定の結果の正解を示すデータである。このような場合、更新処理では、さらに、アノテーション処理が得たアノテーションマスクと、正解アノテーションマスクとの違いも小さくするように、アノテーション処理、採点スコア推定処理及び背景スコア推定処理の内容が更新されてもよい。
　正解アノテーションマスクは、弱アノテーションマスクであってもよい。弱アノテーションマスクは、採点対象映像に含まれる情報のうち採点スコア推定処理で用いる情報を示すバウンティングボックス、を示す情報である。バウンティングボックスは、例えば人手で決定されてもよいし、例えば既存の検出技術によって決定されてもよい。
　なお、学習装置１は、ネットワークを介して通信可能に接続された複数台の情報処理装置を用いて実装されてもよい。この場合、学習装置１が備える各機能部は、複数の情報処理装置に分散して実装されてもよい。
　なお、推定装置２は、ネットワークを介して通信可能に接続された複数台の情報処理装置を用いて実装されてもよい。この場合、推定装置２が備える各機能部は、複数の情報処理装置に分散して実装されてもよい。
　なお、学習装置１と、推定装置２と、の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。
　以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
　１００…採点システム、　１…学習装置、　２…推定装置、　１０…学習部、　１１…制御部、　１２…入力部、　１３…通信部、　１４…記憶部、　１５…出力部、　１２０…記憶制御部、　１３０…通信制御部、　１４０…出力制御部、　２１…制御部、　２２…入力部、　２３…通信部、　２４…記憶部、　２５…出力部、　２０…更新済み採点スコア推定部、　２１０…対象取得部、　２２０…記憶制御部、　２３０…通信制御部、　２４０…出力制御部、　９１…プロセッサ、　９２…メモリ、　９３…プロセッサ、　９４…メモリ

Claims (7)

  1. 　採点行事における場面を写す映像の映像データを処理対象とする処理であって、処理対象の映像データの示す映像が示す情報のうち採点者による採点の対象となる情報、を推定するアノテーション処理と、
    　採点者による採点の対象となる情報として前記アノテーション処理によって推定された情報であるアノテーションマスクと前記映像データとに基づき、前記アノテーションマスクが示す情報を用い、前記アノテーションマスクが示さない情報は用いずに、前記映像が写す場面に対する採点者の採点結果を推定する採点スコア推定処理と、
    　前記アノテーションマスクと前記映像データとに基づき、前記アノテーションマスクが示す情報を用いず、前記アノテーションマスクが示さない情報を用いて、前記映像が写す場面に対する採点者の採点結果を推定する背景スコア推定処理と、
    　前記採点スコア推定処理の結果と前記背景スコア推定処理の結果とに基づき、前記アノテーション処理、前記採点スコア推定処理及び前記背景スコア推定処理の内容を更新する更新処理と、
    　を実行する学習部、
    　を備える学習装置。
  2. 　前記更新処理は、前記採点スコア推定処理の結果と前記映像データごとに予め与えられた採点結果であって前記映像に対する採点者による採点結果を示す情報である採点正解データとの違いである採点違いと、前記背景スコア推定処理の結果と予め定められた所定の値であり前記映像データに依存しない所定の値である背景正解データとの違いである背景違いと、に基づき、前記採点違いと前記背景違いとを小さくするように、前記採点スコア推定処理及び前記背景スコア推定処理の内容を更新する、
    　請求項１に記載の学習装置。
  3. 　前記更新処理は、さらに、前記アノテーション処理の結果と前記映像データごとに予め与えられたデータであって前記アノテーション処理の推定の結果の正解を示すデータである正解アノテーションマスクとの違いも小さくするように、前記採点スコア推定処理及び前記背景スコア推定処理の内容を更新する、
    　請求項２に記載の学習装置。
  4. 　前記正解アノテーションマスクは、前記映像に含まれる情報のうち前記採点スコア推定処理で用いる情報を示すバウンティングボックス、を示す情報である、
    　請求項３に記載の学習装置。
  5. 　前記アノテーション処理は、アノテーション機構である、
    　請求項１に記載の学習装置。
  6. 　採点行事における場面を写す映像の映像データを処理対象とする処理であって、処理対象の映像データの示す映像が示す情報のうち採点者による採点の対象となる情報、を推定するアノテーション処理と、
    　採点者による採点の対象となる情報として前記アノテーション処理によって推定された情報であるアノテーションマスクと前記映像データとに基づき、前記アノテーションマスクが示す情報を用い、前記アノテーションマスクが示さない情報は用いずに、前記映像が写す場面に対する採点者の採点結果を推定する採点スコア推定処理と、
    　前記アノテーションマスクと前記映像データとに基づき、前記アノテーションマスクが示す情報を用いず、前記アノテーションマスクが示さない情報を用いて、前記映像が写す場面に対する採点者の採点結果を推定する背景スコア推定処理と、
    　前記採点スコア推定処理の結果と前記背景スコア推定処理の結果とに基づき、前記アノテーション処理、前記採点スコア推定処理及び前記背景スコア推定処理の内容を更新する更新処理と、
    　を実行する学習ステップ、
    　を有する学習方法。
  7. 　請求項１から５のいずれか一項に記載の学習装置としてコンピュータを機能させるためのプログラム。
PCT/JP2022/028728 2022-07-26 2022-07-26 学習装置、学習方法及びプログラム Ceased WO2024023911A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2024536578A JP7741454B2 (ja) 2022-07-26 2022-07-26 学習装置、学習方法及びプログラム
PCT/JP2022/028728 WO2024023911A1 (ja) 2022-07-26 2022-07-26 学習装置、学習方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/028728 WO2024023911A1 (ja) 2022-07-26 2022-07-26 学習装置、学習方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2024023911A1 true WO2024023911A1 (ja) 2024-02-01

Family

ID=89705773

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/028728 Ceased WO2024023911A1 (ja) 2022-07-26 2022-07-26 学習装置、学習方法及びプログラム

Country Status (2)

Country Link
JP (1) JP7741454B2 (ja)
WO (1) WO2024023911A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017221592A1 (ja) * 2016-06-23 2017-12-28 コニカミノルタ株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2021535482A (ja) * 2018-08-24 2021-12-16 アーテリーズ インコーポレイテッド 深層学習ベースのコレジストレーション
WO2022049694A1 (ja) * 2020-09-03 2022-03-10 日本電信電話株式会社 学習装置、推定装置、学習方法、及び学習プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017221592A1 (ja) * 2016-06-23 2017-12-28 コニカミノルタ株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2021535482A (ja) * 2018-08-24 2021-12-16 アーテリーズ インコーポレイテッド 深層学習ベースのコレジストレーション
WO2022049694A1 (ja) * 2020-09-03 2022-03-10 日本電信電話株式会社 学習装置、推定装置、学習方法、及び学習プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AOKI, TOSHINORI ET AL.: "3D5-OS-22b-02 Analysis of photo creation based on multiple evaluation features for the purpose of acquiring photography techniques", PROCEEDINGS OF THE 34TH ANNUAL CONFERENCE OF THE JAPANESE SOCIETY FOR ARTIFICIAL INTELLIGENCE (JSAI); JUNE 9-12, 2020, vol. 34, 9 June 2020 (2020-06-09) - 12 June 2020 (2020-06-12), pages 1 - 4, XP009552759, ISSN: 2758-7347, DOI: 10.11517/pjsai.JSAI2020.0_3D5OS22b02 *

Also Published As

Publication number Publication date
JPWO2024023911A1 (ja) 2024-02-01
JP7741454B2 (ja) 2025-09-18

Similar Documents

Publication Publication Date Title
CN110152290B (zh) 游戏运行方法和装置、存储介质及电子装置
WO2018108129A1 (zh) 用于识别物体类别的方法及装置、电子设备
US9421470B2 (en) Player model
JP6959495B2 (ja) 情報処理装置、情報処理方法、プログラム
KR102413588B1 (ko) 학습 데이터에 따른 객체 인식 모델 추천 방법, 시스템 및 컴퓨터 프로그램
CN109445941B (zh) 配置处理器性能的方法、装置、终端及存储介质
CN113297371A (zh) 推荐题目库的生成方法、装置、设备及存储介质
CN118429638A (zh) 一种多视图联合训练的半监督医学影像分割方法及系统
CN112215243B (zh) 图像特征提取方法、装置、设备及存储介质
CN112420150B (zh) 医学影像报告的处理方法、装置、存储介质及电子设备
JP7741454B2 (ja) 学習装置、学習方法及びプログラム
CN111950237B (zh) 一种句子改写方法、句子改写装置及电子设备
JP2019507318A5 (ja)
CN114155567A (zh) 目标检测方法及装置、存储介质及电子设备
CN111124634A (zh) 一种训练方法、装置及电子设备和存储介质
CN105787963A (zh) 一种视频目标跟踪方法及装置
CN111062216B (zh) 命名实体识别方法、装置、终端及可读介质
CN118102050B (zh) 视频摘要生成方法、装置、设备和介质
CN113946357A (zh) 云应用更新方法和装置、系统、电子设备、计算机介质
US20230385638A1 (en) Point process learning method, point process learning apparatus and program
CN113849071B (zh) 字符串处理方法和装置
CN113704038B (zh) 一种自动化游戏服务器压测方法及系统
JP7294384B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP7783542B2 (ja) 学習装置、学習方法及びプログラム
CN113936074B (zh) 图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22953009

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024536578

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22953009

Country of ref document: EP

Kind code of ref document: A1