WO2023209786A1 - アノテーション装置、アノテーション方法及び学習装置 - Google Patents

アノテーション装置、アノテーション方法及び学習装置 Download PDF

Info

Publication number
WO2023209786A1
WO2023209786A1 PCT/JP2022/018792 JP2022018792W WO2023209786A1 WO 2023209786 A1 WO2023209786 A1 WO 2023209786A1 JP 2022018792 W JP2022018792 W JP 2022018792W WO 2023209786 A1 WO2023209786 A1 WO 2023209786A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
false
input
unit
time
Prior art date
Application number
PCT/JP2022/018792
Other languages
English (en)
French (fr)
Inventor
堅也 杉原
竜馬 谷▲高▼
健一 小川
將 白石
啓 諏訪
真也 鶴田
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2024509004A priority Critical patent/JP7511789B2/ja
Priority to PCT/JP2022/018792 priority patent/WO2023209786A1/ja
Publication of WO2023209786A1 publication Critical patent/WO2023209786A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present disclosure relates to an annotation device, an annotation method, and a learning device.
  • the information processing device of Patent Document 1 which is common to the annotation device according to the present disclosure in that it performs annotation to generate teaching data used in machine learning, aims to suppress deterioration in the quality of teaching data.
  • This information processing device calculates the accuracy of labeling of a detection target object in order to achieve the objective. More specifically, this information processing device receives labeling including designation of a region of a detection target object included in image data and designation of a label for the detection target object from a user. Further, this information processing device specifies the content of the user's work when the labeling is received. Then, this information processing device uses the information on the specified work content to calculate reliability indicating accuracy of labeling.
  • the detection target object that is labeled by the user is basically an object that is stationary within the image indicated by the image data.
  • signals indicated by one or more signal data acquired by sensors are displayed on a display device over time, and among these signals, the user may select signals that are of no interest (hereinafter referred to as "false signals").
  • radar signals There is a system that determines and inputs the information (also called “.”).
  • An example of such a system is a PPI (Plan Position Indicator) display device that displays signals indicating objects such as ships that have been detected by radar, in which the user determines unnecessary false signals and inputs the determination results.
  • PPI Plan Position Indicator
  • a user determines whether or not a track, which is a time-series signal for which tracking has been established, indicates an object of interest by performing signal processing on a received signal of the radar. If the user determines that the track is of no interest (that is, a false signal), he or she performs an operation to erase the track from the display screen. Note that the track erased from the display screen is also excluded from tracking by signal processing. Conversely, it is also possible for the user to determine which signals are of interest (hereinafter also referred to as "true signals”) and leave only the true signals on the display screen.
  • the technique described in Patent Document 1 is based on the premise of labeling a detection target object that is basically stationary within an image.
  • the display state of the signal displayed on the above-mentioned PPI display device changes over time, it is difficult to identify whether the signal is a false signal (or a true signal) with high accuracy.
  • it is desirable to take into consideration a time factor such as the time from when a signal is displayed until it becomes possible to identify it. Therefore, in this respect, it is difficult to apply the technique described in Patent Document 1 to annotation of a signal whose display state changes over time as described above.
  • the purpose of the present disclosure is to perform annotation to generate a machine learning model that can accurately identify false signals or true signals from signals whose display states change over time, which are displayed on a PPI display device.
  • the objective is to provide a possible annotation device.
  • An annotation device includes a signal acquisition section that acquires a signal indicating a detection result of a moving object that moves over time from a sensor that detects the moving object, and a signal acquisition section that acquires a signal that indicates a detection result of the moving object that moves over time.
  • a display control unit that displays a signal whose display state changes sequentially on a PPI display device, and an input by a user indicating that the signal displayed on the PPI display device is a false signal
  • a reception unit that receives an operation including an input indicating that the signal is a true signal
  • a storage control unit that stores the operation accepted by the reception unit in a storage unit as an operation log
  • a storage control unit that receives an input indicating that the signal is a false signal by the reception unit.
  • the operation log stored in the storage unit determines the probability that the received signal is a false signal, or the probability that the signal whose input as a true signal has been accepted by the reception unit is a true signal.
  • a calculation unit that calculates a continuous value that changes depending on the content of the operation specified by.
  • FIG. 1 is a configuration diagram showing a learning device including an annotation device according to Embodiment 1.
  • FIG. 3 is a flowchart illustrating an example of the operation of the annotation device according to the first embodiment.
  • FIG. 6 is a diagram illustrating an example of calculation of the probability of a false signal by the probability calculation unit in the first embodiment.
  • FIG. 7 is a diagram illustrating an example in which the likelihood calculation unit in the first embodiment changes the maximum value of the likelihood of a false signal with respect to the judgment time. 7 is a diagram illustrating another example of calculation of the probability of a false signal by the probability calculation unit in the first embodiment.
  • FIG. FIG. 7 is a diagram illustrating an example in which the likelihood calculation unit in the first embodiment changes the slope of the likelihood of a false signal with respect to the judgment time.
  • FIG. 3 is a flowchart illustrating an example of the operation of the learning device according to the first embodiment.
  • 8A and 8B are diagrams showing an example of the hardware configuration of the annotation device according to the first embodiment.
  • FIG. 2 is a configuration diagram showing a learning device including an annotation device according to a second embodiment.
  • 7 is a flowchart illustrating an example of the operation of the annotation device according to the second embodiment.
  • FIG. 1 is a configuration diagram showing a learning device 10 including an annotation device 100 according to the first embodiment.
  • the annotation device 100 according to the first embodiment generates (annotates) training data for generating a machine learning model that can identify false signals or true signals from signals displayed on a PPI display device.
  • the learning device 10 according to the first embodiment performs machine learning using the output results of the annotation device 100 as training data, so that the learning device 10 can identify a false signal or a true signal from a signal displayed on a PPI display device. Generate the model.
  • the annotation device 100 includes a signal acquisition section 101, a display control section 102, an input reception section 103, a storage control section 104, a storage section 105, a likelihood calculation section 106, an input section 107, and a PPI display device 108.
  • the input reception unit 103 constitutes a reception unit according to claim 1.
  • the likelihood calculation unit 106 constitutes a calculation unit according to claim 1.
  • a sensor (not shown) is connected to the annotation device 100.
  • the sensor periodically detects a moving object (for example, a ship) that moves over time, and outputs a signal indicating the detected moving object.
  • This sensor also includes radar.
  • the signal acquisition unit 101 acquires the signal output from the sensor. Note that, when acquiring a signal from a sensor, the signal acquisition unit 101 may suppress unnecessary signal components from the acquired signal or perform tracking processing of a moving object indicated by the acquired signal. The signal acquisition unit 101 may also perform predetermined signal processing and extract predetermined feature quantities (for example, the direction and coordinates of the moving object indicated by the signal, the moving speed, the signal strength, etc.) from the obtained signal. good.
  • the display control unit 102 displays the signal acquired by the signal acquisition unit 101 on the PPI display device 108 as a signal whose display state changes over time.
  • the PPI display device 108 displays how the signal acquired by the signal acquisition unit 101 changes moment by moment.
  • the display control unit 102 may display the waveform of the signal acquired by the signal acquisition unit 101 on the PPI display device 108. Further, when the above-mentioned feature amount is extracted by the signal acquisition unit 101, the display control unit 102 may display the extracted feature amount on the PPI display device 108. In addition, the display control unit 102 performs time-direction control such as enlarging and reducing the signal displayed on the PPI display device 108, fast forwarding and rewinding, and screen scrolling in accordance with user operations. Good too.
  • the input reception unit 103 receives an operation performed by a user on a signal displayed on the PPI display device 108, including an input indicating that the signal is a false signal or an input indicating that the signal is a true signal. .
  • the operations include enlarging and reducing the signal displayed on the PPI display device 108, fast forwarding and rewinding, and screen scrolling. Includes various operations.
  • the user looks at the signal, feature amount, etc. displayed on the PPI display device 108 by the display control unit 102, and performs operations such as enlarging the signal as necessary to determine whether the signal is a false signal. It is determined for each signal whether it is a real signal or a true signal. For example, when the user determines that a certain signal is a false signal, the user uses the input unit 107 to input that the signal is a false signal.
  • the input accepting unit 103 accepts operations and inputs performed by the user.
  • the display control unit 102 may erase from the display screen of the PPI display device 108 the signal for which the input acceptance unit 103 has accepted an input indicating that it is a false signal, or may fade out the signal from the display screen. Furthermore, the display control unit 102 adds some kind of identifier (mark) to the signal for which the input acceptance unit 103 has accepted an input indicating that it is a false signal or a true signal, so that the user can easily recognize the signal. It's okay.
  • the storage control unit 104 stores the signal data indicating the signal acquired by the signal acquisition unit 101 and the operation log by the user in the storage unit 105.
  • the signal data includes, for example, information such as the signal ID and the time acquired by the signal acquisition unit 101. Furthermore, when the signal acquisition unit 101 performs predetermined signal processing on the acquired signal, the signal data includes data (for example, feature amounts) obtained by the signal processing. Note that since the feature amount changes over time, it is stored in chronological order, for example, in association with the signal ID.
  • the operation log by the user (hereinafter also simply referred to as "operation log") is the input operation by the user when the input reception unit 103 receives an input from the user indicating that a certain signal is a false signal or a true signal. This is a log related to
  • the operation log includes the signal ID of the signal for which the user has accepted an input indicating that it is a false signal or a true signal, the time when the signal was displayed on the PPI display device 108 by the display control unit 102, and the information about the signal. It is configured to include information regarding the time when an input indicating that the signal is a false signal or a true signal was received from the user, and what kind of operation was performed by the user on the signal. Note that the information regarding the user's operation also includes information on the time when the user performed the operation.
  • the storage unit 105 is a storage medium in which signal data and operation logs are stored by the storage control unit 104.
  • the storage unit 105 includes, for example, an HDD (Hard Disc Drive), an SSD (Solid State Drive), and a RAM (Random Access Memory).
  • HDD Hard Disc Drive
  • SSD Solid State Drive
  • RAM Random Access Memory
  • the likelihood calculating unit 106 calculates the likelihood that the signal for which the input accepting unit 103 has received an input indicating that it is a false signal is a false signal (hereinafter also referred to as “the likelihood of a false signal”), or The probability that the signal for which the input reception unit 103 has received an input indicating that it is a true signal is a true signal (hereinafter also referred to as “the probability of the true signal”) is determined by the operation stored in the storage unit 105. Calculated as a continuous value that changes depending on the content of the operation specified by the log. For example, the likelihood calculation unit 106 identifies how much time the user took to input based on the operation log, and calculates the likelihood of a false signal or the likelihood of a true signal as a continuous value that changes according to the time. Calculate certainty.
  • the likelihood calculating unit 106 calculates the likelihood of a false signal or the likelihood of a true signal based on this idea. Note that an example of calculation by the likelihood calculation unit 106 will be described later.
  • the input unit 107 includes, for example, a mouse, a keyboard, and a dedicated interface.
  • the input unit 107 is used when the user inputs that the signal is a false signal or a true signal, and performs operations such as enlarging and reducing the signal.
  • the PPI display device 108 is a device that displays the signal acquired by the signal acquisition unit 101 as a signal whose display state changes over time.
  • the storage unit 105, the input unit 107, and the PPI display device 108 are included in the annotation device 100, but the storage unit 105, the input unit 107, and the PPI display device 108 are essential components. Instead, it may be provided outside the annotation device 100, for example.
  • the learning device 10 is configured to include an annotation device 100 and a learning device 110, as shown in FIG.
  • the learning device 110 uses the signal data acquired by the signal acquisition unit 101 and stored in the storage unit 105 and the probability of a false signal or the probability of a true signal calculated by the probability calculation unit 106 as training data.
  • a machine learning model is generated by performing learning. This machine learning model takes as input the signal data acquired by the signal acquisition unit 101, and calculates the probability that the signal indicated by the input data is a false signal, or whether the signal indicated by the input data is true. This is a model that outputs the probability that the signal is a signal as a continuous value that changes depending on the content of the operation specified by the operation log stored in the storage unit 105.
  • the signal data that is input to the machine learning model may be time-series waveform data obtained from a signal acquired by a sensor, or the above feature amount extracted from the signal.
  • a numerical value obtained by signal processing of the signal may be used as an input.
  • the likelihood calculating unit 106 calculates either the likelihood of a false signal or the likelihood of a true signal. That is, when calculating the likelihood of a false signal, for example, the likelihood calculation unit 106 does not calculate the likelihood of a true signal. In this case, the learning device 110 performs machine learning using the signal data and the probability of the false signal as training data.
  • the learning device 110 uses either one of the probabilities calculated as a continuous value by the probability calculation unit 106 as training data to determine the probability of the false signal or the probability of the true signal. Learn about uniqueness.
  • the learning device learns using only the annotation result of one of the true signal and false signal and identifies the truth or falsehood of the signal to be identified
  • a method such as One class SVM (Support Vector Machine).
  • Anomaly detection methods are known.
  • the learning device performs learning using discrete information indicating, for example, whether a certain signal is a false signal. It was not possible to learn using numerical data.
  • the learning device 110 in the first embodiment learns the probability of a false signal or the probability of a true signal, which is calculated as a continuous value (continuous numerical data), as training data. Further, as a result of this learning, the learning device 110 generates a machine learning model that outputs the probability of a false signal or the probability of a true signal of a certain signal, which is a continuous value, for an input signal. Generation of such a machine learning model can be realized, for example, by the learning device 110 using a neural network to learn as a regression task using the probability of a false signal or the probability of a true signal as training data.
  • the learning device 110 also uses a recurrent neural network (RNN) such as LSTM (Long Short Term Memory), which is a type of neural network, or GRU (Gated Recurrent Unit).
  • RNN recurrent neural network
  • LSTM Long Short Term Memory
  • GRU Gate Recurrent Unit
  • the learning device 110 may generate the machine learning model as described above using methods other than those described above.
  • the learning device 110 performs machine learning using signal data and some continuous value (continuous numerical data) based on the certainty of a false signal or the certainty of a true signal as training data, and performs machine learning as described above.
  • a model may also be generated.
  • annotation device 100 Next, an example of the operation of the annotation device 100 according to the first embodiment will be described with reference to the flowchart shown in FIG. 2. Note that the annotation device 100 periodically repeats the operation according to the flowchart shown in FIG. 2.
  • the user determines whether or not each signal displayed on the PPI display device 108 is a false signal, and inputs the input unit 107 for the signal determined to be a false signal.
  • An example will be explained in which a signal is used to input that the signal is a false signal.
  • the user determines whether or not each signal displayed on the PPI display device 108 is a true signal, and inputs the signal to the input section for the signal determined to be a true signal. 107 to input that the signal is a true signal.
  • the signal acquisition unit 101 acquires a signal output from a sensor (step ST1).
  • the display control unit 102 displays the signal acquired by the signal acquisition unit 101 on the PPI display device 108 as a signal whose display state changes over time (step ST2).
  • the user determines whether or not each signal displayed on the PPI display device 108 is a false signal, and uses the input unit 107 to determine whether the signal is a false signal or not. Enter that the signal is a false signal.
  • the input reception unit 103 receives an operation performed by the user on the signal displayed on the PPI display device 108, including an input indicating that the signal is a false signal (step ST3).
  • the storage control unit 104 stores the signal data indicating the signal acquired by the signal acquisition unit 101 and the operation log by the user in the storage unit 105 (step ST4).
  • the probability calculation unit 106 determines the probability that the signal for which the input reception unit 103 has received an input indicating that it is a false signal is a false signal, based on the operation log stored in the storage unit 105. It is calculated as a continuous value that changes depending on the content of the operation (step ST5).
  • FIG. 3 is a diagram illustrating an example of calculation of the probability of a false signal by the probability calculation unit 106.
  • the horizontal axis indicates the time t when the user has determined that the signal is a false signal and the input to that effect is accepted (hereinafter also referred to as "judgment time"), and the vertical axis indicates the probability.
  • the probability p of the false signal calculated by the calculation unit 106 is shown. Note that the judgment time t is specified by the operation log stored in the storage unit 105.
  • the probability p of a false signal is assumed to be a continuous value ranging from 0 to 1, and the maximum value (here 1) is expressed as A.
  • time T3 is the time when the probability p of the false signal becomes the maximum value A.
  • the probability p of a false signal is a function regarding the judgment time t.
  • the likelihood calculation unit 106 displays the signal on the PPI display device 108 from time 0 to time T1, that is, after the signal is acquired by the signal acquisition unit 101.
  • the probability p of the false signal is calculated as a constant C, regardless of the judgment time t.
  • the constant C is a small value such as 0.1, and is set to an arbitrary value by the user.
  • the probability calculation unit 106 linearly increases the probability p of the false signal, and when the judgment time t is between time T3 and after time T3, In certain cases, the probability p of a false signal is calculated as the maximum value A (1 here).
  • the probability calculation unit 106 increases the probability p of the false signal as the judgment time t is farther from the time T1, in other words, as the difference between the judgment time t and the time T1 becomes larger. That is, the likelihood calculating unit 106 calculates the likelihood p of the false signal as shown in the following equation (1).
  • the probability calculation unit 106 sets the maximum value A of the probability p of a false signal in the range of 0 to 1. may be a value other than 1. For example, the probability calculation unit 106 may set the maximum value A of the probability p of the false signal to 0.95 or the like.
  • the likelihood calculation unit 106 may set the maximum value A of the likelihood p of the false signal as a function regarding the judgment time t. An example of this case is shown in FIG.
  • FIG. 4 shows an example in which the probability calculation unit 106 changes the maximum value A of the probability p of the false signal with respect to the judgment time t.
  • the horizontal axis indicates the judgment time t
  • the vertical axis indicates the maximum value A of the probability p of a false signal.
  • the maximum value A of the probability p of a false signal is a function regarding the judgment time t.
  • the maximum value A of the probability p of a false signal is set to A1.
  • the maximum value A of the probability p of a false signal is set to a value smaller than A1.
  • the maximum value of the false signal probability p is set to a value smaller than A1 (for example, A2).
  • A1 for example, A2
  • the maximum value of the probability p of the false signal is decreased from A1
  • the probability p of the false signal is The maximum value of is set as A2.
  • the likelihood calculating unit 106 calculates the maximum value A of the likelihood p of the false signal, for example, as in the following equation (2).
  • the likelihood calculation unit 106 may calculate the false signal likelihood p and the maximum value A of the false signal likelihood p using functions other than those described above. good.
  • the probability calculation unit 106 may calculate the probability p of the false signal based on a function such that the probability p of the false signal monotonically increases with the passage of time from time T0.
  • FIG. 5 is a diagram illustrating another example of calculating the likelihood of a false signal by the likelihood calculation unit 106.
  • the horizontal axis indicates the judgment time t
  • the vertical axis indicates the probability p of a false signal.
  • the probability p of a false signal is a function regarding the judgment time t.
  • FIG. 5 is similar to FIG. 3 in that the probability p of the false signal increases as time passes from time 0, but the probability p of the false signal increases more gradually than in the example of FIG. It has increased.
  • g indicates the rate of increase (slope) of the probability p of a false signal.
  • the likelihood calculation unit 106 calculates whether the signal is detected between time 0 and time T1, that is, after the signal is acquired by the signal acquisition unit 101, as in the example of FIG. Until the false signal is displayed on the PPI display device 108, the probability p of the false signal is calculated as a constant C, regardless of the judgment time t.
  • the likelihood calculation unit 106 calculates the likelihood p of the false signal, for example, as in equation (3) below, and calculates the constant C, as in equation (4), for example.
  • the constant U in equation (3) is a parameter that adjusts the starting point at which the probability p of the false signal in FIG. 5 starts to rise and the constant C shown in equation (4).
  • the maximum value A of the probability p of a false signal may be set based on, for example, a function similar to the function explained with reference to FIG.
  • the likelihood calculation unit 106 can separately set the slope g of the likelihood p of the false signal.
  • the likelihood calculation unit 106 can set the slope g based on a function that sets the slope g according to the judgment time t.
  • the horizontal axis indicates the judgment time t
  • the vertical axis indicates the slope g of the probability p of a false signal. That is, in the example shown in FIG. 6, the slope g of the probability p of the false signal is a function regarding the judgment time t.
  • the slope is g1 at time 0, and the slope is g2 at time T6.
  • the slope g of the probability p of the false signal is expressed, for example, by the following equation (5).
  • the user can appropriately adjust the degree of relationship (relevance) between the judgment time t and the false signal certainty p. be able to.
  • the functions shown in FIGS. 5 and 6 are only examples, and the probability p and slope g of the false signal may be set based on functions other than those described above. Further, the slope g of the probability p of a false signal may be a constant value instead of a function related to the judgment time t. Further, the slope g may be set based on a function related to variables other than the judgment time t.
  • the likelihood calculation unit 106 calculates the likelihood p of a false signal based on the judgment time t specified by the operation log stored in the storage unit 105.
  • the likelihood calculation unit 106 may further calculate the likelihood p of the false signal using the signal data stored in the storage unit 105.
  • the signal acquisition unit 101 acquires a plurality of signals
  • the display control unit 102 displays each of the plurality of signals acquired by the signal acquisition unit 101 on the PPI display device 108 as a signal whose display state changes over time.
  • the likelihood calculation unit 106 calculates, based on at least one of the number of signals displayed on the PPI display device 108 and the density of signals in a predetermined range on the display screen of the PPI display device 108, The above-mentioned judgment time t may be corrected. This means that the user generally perceives false signals as the number of signals displayed on the PPI display device 108 increases, or as the density of signals in a predetermined range on the display screen of the PPI display device 108 increases. This is based on the assumption that it will take a lot of time to make a decision.
  • the likelihood calculation unit 106 calculates the above-mentioned based on at least one of the number of signals displayed on the PPI display device 108 and the density of signals in a predetermined range on the display screen of the PPI display device 108.
  • the judgment time t may be corrected and the corrected time t' may be used as the judgment time t in the functions shown in FIGS. 3 to 6 above.
  • the likelihood calculation unit 106 may correct the judgment time t to delay it, or may correct it to advance the judgment time t.
  • the predetermined range for obtaining the above density degree can be set to any range by the user.
  • the likelihood calculation unit 106 calculates whether a certain signal (for example, the first signal) displayed on the PPI display device 108 by the display control unit 102 and a signal displayed on the PPI display device 108 by the display control unit 102 are selected.
  • the probability p of a false signal of a certain signal (first signal) may be changed depending on the distance from a signal (for example, a second signal) that the user has determined to be a false signal in the past.
  • the likelihood calculation unit 106 calculates whether a certain signal (first signal) displayed on the PPI display device 108 by the display control unit 102 and a signal displayed on the PPI display device 108 by the display control unit 102 are selected by the user.
  • the judgment time t for the first signal is corrected according to the distance from the signal (second signal) that has been judged to be a false signal in the past, and the corrected time t' is calculated from FIG. It may also be used as the judgment time t in the function shown in 6. Note that in this case as well, the likelihood calculation unit 106 may correct the judgment time t to delay it, or may correct it to advance the judgment time t.
  • the likelihood calculation unit 106 determines whether, for example, the signal displayed on the PPI display device 108 is displayed in a superimposed manner, or if the signal is displayed in a superimposed manner. , the probability p of a false signal may be changed depending on how many signals are displayed in a superimposed manner. This is based on the assumption that it generally takes a user a lot of time to determine whether a certain signal is a false signal when the signals displayed on the PPI display device 108 are displayed in a superimposed manner. .
  • the probability calculation unit 106 determines whether the signal displayed on the PPI display device 108 is displayed in a superimposed manner, or how many signals are displayed in a superimposed manner.
  • the judgment time t for a certain signal may be corrected depending on whether the signal is superimposed and displayed, and the corrected time t' may be used as the judgment time t in the functions shown in FIGS. 3 to 6 above. good.
  • the likelihood calculation unit 106 may correct the judgment time t to delay it, or may correct it to advance the judgment time t.
  • the learning device 10 executes the process according to the flowchart shown in FIG. 7 after the operation of the annotation device 100 according to the flowchart shown in FIG. 2 is completed.
  • the likelihood calculation unit 106 of the annotation device 100 calculates the likelihood p of a false signal.
  • the following flowchart is also applicable to the case where the likelihood calculation unit 106 of the annotation device 100 calculates the likelihood of a true signal.
  • the learning device 110 acquires the signal data stored in the storage unit 105 and the probability p of the false signal calculated by the probability calculation unit 106 (step ST11).
  • the learning device 110 performs machine learning using the acquired signal data and the probability p of the false signal as teacher data (step ST12). Thereby, the learning device 110 generates a machine learning model that identifies false signals from the signals indicated by the signal data.
  • the learning device 110 generates a machine learning model by a method such as using a neural network to learn as a regression task using the probability p of a false signal as training data.
  • Each function of the signal acquisition unit 101, display control unit 102, input reception unit 103, storage control unit 104, and likelihood calculation unit 106 in the annotation device 100 is realized by a processing circuit.
  • the processing circuit may be dedicated hardware, as shown in FIG. 8A, or may be a CPU (Central Processing Unit) that executes a program stored in the memory 53, as shown in FIG. 8B. It may be a device, arithmetic device, microprocessor, microcomputer, processor, or DSP (Digital Signal Processor)) 52.
  • CPU Central Processing Unit
  • the processing circuit 51 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), or an FPGA (Field Programmable Gate). Array ), or a combination of these.
  • the functions of each section of the signal acquisition section 101, display control section 102, input reception section 103, storage control section 104, and likelihood calculation section 106 may be realized by the processing circuit 51, or the functions of each section may be processed collectively. It may be realized by the circuit 51.
  • the processing circuit When the processing circuit is the CPU 52, the functions of the signal acquisition unit 101, display control unit 102, input reception unit 103, storage control unit 104, and likelihood calculation unit 106 are realized by software, firmware, or a combination of software and firmware. be done. Software and firmware are written as programs and stored in memory 53. The processing circuit realizes the functions of each section by reading and executing programs stored in the memory 53. That is, the annotation device 100 includes a memory for storing a program that, when executed by the processing circuit, results in each step shown in FIG. 2 being executed, for example. It can also be said that these programs cause a computer to execute the procedures and methods of the signal acquisition section 101, display control section 102, input reception section 103, storage control section 104, and likelihood calculation section 106.
  • RAM Random Access Memory
  • ROM Read Only Memory
  • flash memory EPROM (Erasable Programmable ROM)
  • EEPROM Electrical Non-volatile or volatile semiconductor memory such as ally EPROM
  • the functions of the signal acquisition section 101, display control section 102, input reception section 103, storage control section 104, and likelihood calculation section 106 are realized by dedicated hardware, and some are realized by software or firmware. It may be realized by For example, the function of the signal acquisition unit 101 is realized by a processing circuit as dedicated hardware, and the processing circuit of the display control unit 102, input reception unit 103, storage control unit 104, and likelihood calculation unit 106 is implemented in memory. The function can be realized by reading out and executing the program stored in 53.
  • the processing circuit can realize each of the above functions using hardware, software, firmware, or a combination thereof.
  • the annotation device 100 includes a signal acquisition unit 101 that acquires a signal indicating the detection result of a moving object that moves over time from a sensor that detects the moving object, A display control unit 102 displays the signal acquired by the signal acquisition unit 101 on the PPI display device 108 as a signal whose display state changes over time; In addition, an input reception unit 103 that accepts an operation including an input that the signal is a false signal or an input that the signal is a true signal, and a storage unit that stores the operations accepted by the input reception unit 103 as an operation log.
  • the annotation device 100 generates an annotation for generating a machine learning model that can accurately identify false signals or true signals from signals whose display states change over time, which are displayed on the PPI display device 108. It becomes possible to do so.
  • the likelihood calculation unit 106 determines, based on the operation log, the time when the signal was displayed on the PPI display device 108 by the display control unit 102 and the input that the signal is a false signal by the input reception unit 103, or that the signal is a false signal.
  • the input receiving unit 103 identifies the time when the input indicating that the signal is a true signal is accepted, and determines the probability that the signal for which the input indicating that the signal is a false signal is accepted by the input accepting unit 103 is a false signal, or the input accepting unit 103
  • the input acceptance unit 103 determines the probability that the signal is a true signal, and the input acceptance unit 103 determines the probability that the signal is a true signal.
  • the annotation device 100 calculates the probability that the signal is a false signal or the probability that the signal is a true signal as a function of the time from the signal display time to the input reception time. be able to.
  • the signal acquisition unit 101 acquires a plurality of signals
  • the display control unit 102 displays each of the plurality of signals acquired by the signal acquisition unit 101 on the PPI display device 108 as a signal whose display state changes over time.
  • the probability calculation unit 106 calculates at least one of the number of signals displayed on the PPI display device 108 by the display control unit 102 and the density of signals in a predetermined range on the display screen of the PPI display device 108. Based on this, the input receiving unit 103 corrects the time when the input indicating that the signal is a false signal or the input indicating that the signal is a true signal is received, and the input accepting unit 103 corrects the input indicating that the signal is a false signal.
  • the signal PPI displays the probability that the signal whose input is accepted is a false signal or the probability that the signal whose input is accepted as a true signal by the input reception unit 103 is a true signal. It is calculated as a continuous value that changes depending on the time from the time displayed on the device 108 to the corrected time.
  • the annotation device 100 determines whether the difficulty of judgment based on the number and degree of density of signals displayed on the PPI display device 108 determines whether the signal is a false signal or whether the signal is a true signal. It is possible to suppress the effect on certainty.
  • the signal acquisition unit 101 acquires a plurality of signals
  • the display control unit 102 displays each of the plurality of signals acquired by the signal acquisition unit 101 on the PPI display device 108 as a signal whose display state changes over time.
  • the input reception unit 103 receives an input from the user indicating that the first signal is a false signal from among the plurality of signals displayed on the PPI display device 108, or Receiving an operation including an input indicating that the first signal is a true signal, the probability calculating unit 106 receives the first signal for which the input accepting unit 103 has received an input indicating that the signal is a false signal, and the input acceptance unit 106 .
  • the annotation device 100 determines whether the delay in determining the first signal based on the distance between the first signal and the second signal displayed on the PPI display device 108 indicates the probability that the signal is a false signal. Alternatively, it is possible to suppress the influence on the certainty that the signal is a true signal.
  • the signal acquisition unit 101 acquires a plurality of signals
  • the display control unit 102 displays each of the plurality of signals acquired by the signal acquisition unit 101 on the PPI display device 108 as a signal whose display state changes over time.
  • the probability calculation unit 106 determines whether the signals displayed on the PPI display device 108 by the display control unit 102 are displayed in a superimposed manner, and the number of signals displayed in a superimposed manner when the signals are displayed in a superimposed manner. Based on at least one of the above, the input receiving unit 103 corrects the time at which the input indicating that the signal is a false signal or the input indicating that the signal is a true signal is received, and the input accepting unit 103 corrects the input indicating that the signal is a false signal.
  • the probability that a signal for which an input to the effect that it is accepted is a false signal, or the probability that a signal for which an input to the effect that it is a true signal is accepted by the input reception unit 103 is a true signal, It is calculated as a continuous value that changes depending on the time from the time when the signal is displayed on the PPI display device 108 to the time after correction.
  • the annotation device 100 determines whether the difficulty of determining when the signal displayed on the PPI display device 108 is displayed in a superimposed manner is the probability that the signal is a false signal or the probability that the signal is a true signal. It is possible to suppress the effects on the certainty of things.
  • the learning device 10 includes the annotation device 100 according to claim 1 and the learning device 110, and the learning device 110 is configured to receive data indicating a signal acquired by the signal acquisition unit 101. , the probability that the signal for which the input reception unit 103 has received an input indicating that it is a false signal is a false signal, calculated by the likelihood calculation unit 106, or that the signal is a true signal according to the input reception unit 103; Based on the certainty that the signal whose input is accepted is a true signal, the data indicating the signal acquired by the signal acquisition unit 101 is input, and the signal indicated by the input data is a false signal.
  • the learning device 10 can generate a machine learning model that can accurately identify false signals or true signals from among the signals indicated by the signal data acquired by the sensor.
  • the annotation device 100 and the learning device 10 have the following effects in addition to the above effects.
  • the annotation device 100 can create teacher data, which needs to be prepared in large quantities, from operation logs and signal data during operation, thereby making it possible to reduce the above-mentioned personnel costs and time costs.
  • the learning device 10 can generate a machine learning model that identifies false signals, so by applying this model during operation, it is possible to reduce costs related to personnel who judge false signals.
  • the learning device 10 generates a machine learning model that identifies false signals, and the user applies this machine learning model to the radar system during operation, thereby determining the number of signals required according to the number of signals simultaneously displayed on the PPI display device 108. The cost of hardware resources can also be reduced.
  • the signals acquired by the sensor undergo signal processing such as tracking processing and suppression of unnecessary signal components before displaying, and then are converted into signals that meet the user's purpose. It is often displayed.
  • the radar system described above has a problem in that the hardware resources required for sensors and signal processing also increase.
  • the user since the output of the machine learning model generated by the learning device 10 is a continuous value of the probability of a false signal, the user erases it from the screen according to the value. It is possible to prioritize each signal. For example, if there is a possibility that the number of signals being displayed simultaneously exceeds the upper limit based on hardware resources, the user can save hardware resources by preferentially erasing signals that are more likely to be false signals. It is possible to eliminate display problems caused by shortages.
  • a learning device requires learning data that includes both true and false signal data and their annotation results (teacher data indicating true or false) in a well-balanced manner. do. Therefore, even if conventional learning devices learn only true or false signal data and annotation results that are biased toward either, the identification accuracy of the generated machine learning model may deteriorate significantly. be.
  • the learning device 10 can determine the probability of a false signal corresponding only to a signal determined to be a false signal, or the probability of a true signal corresponding only to a signal determined to be a true signal. By performing learning using likelihood, it is expected that the classification accuracy of the generated machine learning model will improve.
  • the learning device 10 uses a continuous numerical value obtained by the annotation device 100 to confirm whether the signal is a false signal or a true signal, rather than a binary label indicating whether the signal is false or not. Learn about uniqueness. Thereby, even if the user's judgment result is incorrect, the probability of the false signal or true signal of the signal included in the training data is small, so the learning device 10 can We can expect an improvement in the classification accuracy of the learning model.
  • the annotation device 100 can generate annotation results from the operation log by the user during system operation, so that the annotation results can be generated by the learning device 10 that performs learning based on the annotation results. This can be expected to improve the identification accuracy of machine learning models.
  • Embodiment 2 In the first embodiment, an annotation device that calculates the probability of a false signal or the probability of a true signal as a continuous value that changes depending on the content of the operation specified by the operation log has been described. In Embodiment 2, an annotation device that allows a user to select an arbitrary signal from among the signals displayed on the PPI display device 108 and display information related to the selected signal will be described.
  • FIG. 9 is a configuration diagram showing a learning device 10 including an annotation device 100b according to the second embodiment.
  • An annotation device 100b according to the second embodiment shown in FIG. 9 differs from the annotation device 100 according to the first embodiment shown in FIG. It has been changed to the reception section 103b.
  • the other configurations of the annotation device 100b according to the second embodiment shown in FIG. 8 are the same as those of the annotation device 100 according to the first embodiment shown in FIG. .
  • the display control unit 102b displays the signal acquired by the signal acquisition unit 101 on the PPI display device 108 as a signal whose display state changes over time.
  • the input reception unit 103b accepts a user's selection operation for the signal displayed on the PPI display device 108 by the display control unit 102. For example, a user uses the input unit 107 to check information regarding a signal (hereinafter also referred to as “related information”) from among the signals displayed on the PPI display device 108 by the display control unit 102. Select. The input receiving unit 103b receives the selection operation performed by the user.
  • a signal hereinafter also referred to as “related information”
  • the related information is, for example, information related to the feature amount (for example, coordinates, moving speed, signal strength, etc.) of the signal, which is extracted from the signal by the signal acquisition unit 101 and stored in the storage unit 105.
  • the feature amount of the signal may include the past feature amount of the signal.
  • the related information provides information for the user to determine whether the signal is a false signal or a true signal.
  • the display control unit 102b When a signal selection operation is accepted by the input reception unit 103b, the display control unit 102b extracts information (related information) regarding the signal for which the selection operation has been accepted from the storage unit 105, and displays the extracted related information on a PPI display. Displayed on device 108. While checking this related information, the user determines whether the signal is a false signal or a true signal, and indicates whether the signal is a false signal or a true signal. Enter.
  • the input receiving unit 103b receives, for each signal displayed on the PPI display device 108 by the display control unit 102b, an input from the user indicating that the signal is a false signal or an input indicating that the signal is a true signal.
  • Signal data containing relevant information may contain a large amount of information. Therefore, if the display control unit 102b displays such information on the PPI display device 108 for all signals, the amount of information displayed on the PPI display device 108 increases, which may be troublesome for the user. Therefore, in the second embodiment, the display control unit 102b displays related information on the PPI display device 108 only for the signal selected by the user. This reduces user annoyance.
  • the signal acquisition unit 101 acquires one or more signals received by a sensor (step ST21).
  • the display control unit 102b displays the signal acquired by the signal acquisition unit 101 on the PPI display device 108 as a signal whose display state changes over time (step ST22).
  • the input receiving unit 103b receives the user's selection operation for the signal displayed on the PPI display device 108 by the display control unit 102 (step ST23).
  • the display control unit 102b displays information (related information) regarding the signal for which the selection operation has been accepted on the PPI display device 108 (step ST24). .
  • steps ST25 to ST27 are the same as steps ST3 to ST5 in FIG. 2 described in Embodiment 1, and therefore will not be described again.
  • the probability calculation unit 106 may calculate the probability p of the false signal, taking into account the time when the input reception unit 103b received the selection operation from the user in step ST13.
  • the probability calculation unit 106 accepts input for judgment time t, which is the horizontal axis, in the functions of FIGS. 3 and 5 described in Embodiment 1.
  • the probability may be calculated by taking into account the time T2 when the unit 103b receives the selection operation from the user (hereinafter also referred to as "selection time").
  • selection time the time T2 when the unit 103b receives the selection operation from the user
  • the likelihood calculating unit 106 may calculate the likelihood p of the false signal according to the difference between the selection time T2 and the judgment time t in the functions shown in FIGS. 3 and 5.
  • the likelihood calculating unit 106 may calculate the likelihood p of the false signal to be larger, for example, as the difference between the selection time T2 and the judgment time t is larger. Further, in that case, the likelihood calculating unit 106 may calculate the likelihood p of the false signal by regarding the selection time T2 and the time T1 as being the same time, for example.
  • the likelihood calculation unit 106 may change the maximum value A of the likelihood p of the false signal with respect to the selection time T2, similar to the function in FIG. 4 described in the first embodiment. Furthermore, the likelihood calculation unit 106 may change the slope g of the likelihood p of the false signal with respect to time T2, similar to the function in FIG. 6 described in the first embodiment.
  • the likelihood calculation unit 106 calculates at least one of the number of signals displayed on the PPI display device 108 and the density of signals in a predetermined range on the display screen of the PPI display device 108. It has been explained that the above-mentioned judgment time t may be corrected based on.
  • the probability calculation unit 106 also corrects the selection time T2 according to the number and density of the signals, and corrects the selection time T2 after the correction. ' may be used as the selection time T2 in each function.
  • the degree of complexity of signal movement in the PPI display device 108 in addition to the number and density of signals as described above, for example, the degree of complexity of signal movement in the PPI display device 108, or the difference in signal movement with respect to the assumed signal movement.
  • the selection time T2 may change depending on the situation. For example, if the movement of signals on the PPI display device 108 is complicated (random) and it is difficult for the user to select the signal, the user may have trouble selecting the signal and it may take time to select the signal. There is also a possibility that time T2 will be later than expected.
  • the probability calculation unit 106 calculates the degree of complexity of the signal movement in the PPI display device 108, or the degree of complexity of the signal movement with respect to the assumed signal movement.
  • the selected time T2 may be corrected depending on the degree of movement difference, and the corrected time T2' may be used as the selected time T2 in each function.
  • the probability calculation unit 106 calculates that after a certain signal (for example, the first signal) is selected by the user, another signal (for example, the second signal) is selected, After that, when the original signal (first signal) is selected again, the probability calculation unit 106 adopts the time when the first signal was last selected as the selection time T2 of the first signal. do.
  • a certain signal for example, the first signal
  • another signal for example, the second signal
  • the probability calculation unit 106 calculates that the time T2 at which a certain signal (for example, the first signal) is selected by the user is selected by another signal (for example, the second signal) before this selection.
  • the corrected time T2' is corrected depending on whether the signal (signal) has been selected or how many other signals have been selected before this selection, and the corrected time T2' is calculated based on the signal (first signal) in each function. It may also be used as the selection time T2 for the signal).
  • the selection of a signal by the user was exemplified as the user's operation, but the user's operation is not limited to this.
  • the operation by the user is an operation performed by the user to determine a false signal or a true signal, and can be performed using the input unit 107, and the time of the operation can be stored in the storage unit 105. Any operation other than signal selection may be used as long as it is an operation.
  • the signal acquisition section 101 acquires a plurality of signals
  • the storage control section 104 stores related information regarding each of the plurality of signals acquired by the signal acquisition section 101.
  • the display control unit 102 displays each of the plurality of signals acquired by the signal acquisition unit 101 on the PPI display device 108 as a signal whose display state changes in time series, and the input reception unit 103 stores the signals in the PPI display unit 105.
  • the display control unit 102 accepts a selection operation performed by the user on any signal among the plurality of signals displayed on the PPI display device 108, and the display control unit 102 selects the related information regarding the signal for which the selection operation has been accepted by the input reception unit 103.
  • the information is extracted from the storage unit 105 and the extracted related information is displayed on the PPI display device 108.
  • the annotation device 100b according to the second embodiment displays related information on the PPI display device 108 only for the signal selected by the user, so that the annotation device 100b according to the second embodiment can reduce the user's annoyance. Reduced.
  • the input reception unit 103 receives a selection operation performed by the user on the first signal among the plurality of signals displayed on the PPI display device 108, and a notification that the first signal is a false signal.
  • the probability calculation unit 106 receives an input or an operation including an input indicating that the first signal is a true signal, and calculates, based on the operation log, the time when the selection operation for the first signal was accepted by the input reception unit 103.
  • the input receiving unit 103 determines whether the first signal is a false signal or whether the first signal is a true signal from the time when the selection operation is accepted by the input receiving unit 103. It is calculated as a continuous value that changes depending on the time until the input that the first signal is a false signal or the input that the first signal is a true signal is received. Thereby, the annotation device 100b calculates the probability that the signal is a false signal or the probability that the signal is a true signal as a function of the time from the signal selection time to the input reception time. be able to.
  • the probability calculation unit 106 receives a selection operation of a signal other than the first signal, and further selects the first signal. After specifying whether or not the operation has been accepted, and after the input reception unit 103 accepts the selection operation for the first signal, the input reception unit 103 accepts the selection operation for a signal other than the first signal, and further accepts the selection operation for the first signal. In this case, the input reception unit 103 corrects the time when the selection operation for the first signal was last received, and determines the probability that the first signal is a false signal or that the first signal is a true signal.
  • the probability that the first signal is a true signal is determined from the corrected time when the input reception unit 103 receives an input that the first signal is a false signal or an input that the first signal is a true signal. Calculated as a continuous value that changes depending on the time up to the time. As a result, the annotation device 100b detects that the delay in selection caused by the selection of another signal in the process until the first signal displayed on the PPI display device 108 is a false signal. It is possible to suppress the influence on the certainty or the certainty that the signal is a true signal.
  • the present disclosure can perform annotation to generate a machine learning model that can accurately identify false signals or true signals from signals displayed on a PPI display device, and can be used in an annotation device and a learning device. Are suitable.
  • 10 learning device 51 processing circuit, 52 CPU, 53 memory, 100 annotation device, 100b annotation device, 101 signal acquisition unit, 102 display control unit, 102b display control unit, 103 input reception unit, 103b input reception unit, 104 storage control part, 105 storage part, 106 likelihood calculation part, 107 input part, 108 PPI display device, 110 learning device, A, A0, A1, A2 maximum value, C constant, g, g1, g2 slope, p probability, T1 , T3, T4, T5, T6 time.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Measurement Of Unknown Time Intervals (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

アノテーション装置（１００）は、時間の経過とともに移動する移動体を検出するセンサから、当該移動体の検出結果を示す信号を取得する信号取得部（１０１）と、信号取得部により取得された信号を、時系列的に表示状態が変化する信号としてＰＰＩ表示装置（１０８）に表示する表示制御部（１０２）と、ＰＰＩ表示装置に表示された信号に対してユーザによりなされた、当該信号が偽信号である旨の入力、又は当該信号が真信号である旨の入力を含む操作を受け付ける受付部（１０３）と、受付部により受け付けられた操作を操作ログとして保存部（１０５）に保存する保存制御部（１０４）と、受付部により偽信号である旨の入力が受け付けられた信号が偽信号であることの確からしさ、又は、受付部により真信号である旨の入力が受け付けられた信号が真信号であることの確からしさを、保存部に保存された操作ログにより特定される操作の内容に応じて変化する連続値として算出する算出部（１０６）と、を備えた。

Description

アノテーション装置、アノテーション方法及び学習装置
　本開示は、アノテーション装置、アノテーション方法及び学習装置に関する。
　機械学習に用いられる教師データを生成するアノテーションを行う点で、本開示に係るアノテーション装置と共通する特許文献１の情報処理装置は、教師データの品質低下を抑制することを目的とする。この情報処理装置は、当該目的を達成すべく、検出対象物体のラベル付けの精度を算出している。より詳しくは、この情報処理装置は、ユーザから、画像データに含まれる検出対象物体の領域の指定、及び当該検出対象物体に対するラベルの指定を含むラベル付けを受け付ける。また、この情報処理装置は、当該ラベル付けを受け付けたときのユーザの作業内容を特定する。そして、この情報処理装置は、特定された作業内容の情報を用いて、ラベル付けの精度を示す信頼度を算出する。なお、特許文献１では、ユーザがラベル付けを行う上記検出対象物体は、基本的には画像データが示す画像内で静止している物体である。
特開２０１９－１０１５５９号公報
　一方、センサ（レーダを含む）により取得された１つ又は複数の信号データが示す信号が時間とともに表示装置に表示され、それらの信号の中から、ユーザが興味のない信号（以下、「偽信号」ともいう。）を判断して入力するシステムがある。このようなシステムの例としては、例えばレーダで補足された船舶等の物体を示す信号を表示するＰＰＩ（Plan Position Indicator）表示装置において、不要な偽信号をユーザが判断し、その判断結果を入力して偽信号を表示から消去するレーダシステムがある。
　このレーダシステムでは、レーダの受信信号に対して信号処理を行うことで追尾が確立された時系列信号である航跡に対し、ユーザはその航跡が興味のある対象を示すか否かを判断する。そして、ユーザは、興味のない航跡（すなわち偽信号）だと判断したら、その航跡を表示画面から消去するという操作を行う。なお、表示画面から消去された航跡は、信号処理による追尾の対象からも外されることとなる。また、これとは反対に、ユーザは興味のある信号（以下、「真信号」ともいう。）を判断し、当該真信号のみを表示画面に残すという運用も可能である。
　このレーダシステムでは、上記のように、偽信号又は真信号の判断を人手で行うため、人的コストがかかる。そこで、このシステムでは、センサにより取得された１つ又は複数の信号データが示す信号の中から、偽信号又は真信号を精度よく識別可能な機械学習モデルを生成したいというニーズがある。そこで、識別精度のよい機械学習モデルを生成すべく、特許文献１に記載の技術を応用することが考えられる。
　ところが、特許文献１に記載の技術は、上述のように、基本的に画像内で静止している検出対象物体に対するラベル付けを行うことを前提としている。一方で、上記のようなＰＰＩ表示装置に表示される信号は、表示状態が時系列的に変化するため、その信号が偽信号であるか（又は真信号であるか）を識別する精度には、例えば信号が表示されてからその識別が可能になるまでの時間などの時間的要素が加味されるのが望ましい。したがって、このような点で、特許文献１に記載の技術を、上記のように表示状態が時系列的に変化する信号に対するアノテーションに応用することは困難である。
　本開示の目的は、ＰＰＩ表示装置に表示される、表示状態が時系列的に変化する信号から、偽信号又は真信号を精度よく識別可能な機械学習モデルを生成するためのアノテーションを行うことが可能なアノテーション装置を提供することにある。
　本開示に係るアノテーション装置は、時間の経過とともに移動する移動体を検出するセンサから、当該移動体の検出結果を示す信号を取得する信号取得部と、信号取得部により取得された信号を、時系列的に表示状態が変化する信号としてＰＰＩ表示装置に表示する表示制御部と、ＰＰＩ表示装置に表示された信号に対してユーザによりなされた、当該信号が偽信号である旨の入力、又は当該信号が真信号である旨の入力を含む操作を受け付ける受付部と、受付部により受け付けられた操作を操作ログとして保存部に保存する保存制御部と、受付部により偽信号である旨の入力が受け付けられた信号が偽信号であることの確からしさ、又は、受付部により真信号である旨の入力が受け付けられた信号が真信号であることの確からしさを、保存部に保存された操作ログにより特定される操作の内容に応じて変化する連続値として算出する算出部と、を備えたことを特徴とする。
　本開示によれば、上記のように構成したので、ＰＰＩ表示装置に表示される、表示状態が時系列的に変化する信号から、偽信号又は真信号を精度よく識別可能な機械学習モデルを生成するためのアノテーションを行うことが可能となる。
実施の形態１に係るアノテーション装置を含む学習装置を示す構成図である。 実施の形態１に係るアノテーション装置の動作例を示すフローチャートである。 実施の形態１における確からしさ算出部による偽信号の確からしさの算出例を説明する図である。 実施の形態１における確からしさ算出部が判断時刻に対して偽信号の確からしさの最大値を変化させた場合の例を示す図である。 実施の形態１における確からしさ算出部による偽信号の確からしさの別の算出例を説明する図である。 実施の形態１における確からしさ算出部が判断時刻に対して偽信号の確からしさの傾きを変化させた場合の例を示す図である。 実施の形態１に係る学習装置の動作例を示すフローチャートである。 図８Ａ、図８Ｂは、実施の形態１におけるアノテーション装置のハードウェア構成例を示す図である。 実施の形態２に係るアノテーション装置を含む学習装置を示す構成図である。 実施の形態２に係るアノテーション装置の動作例を示すフローチャートである。
　以下、実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
　図１は、実施の形態１に係るアノテーション装置１００を含む学習装置１０を示す構成図である。実施の形態１に係るアノテーション装置１００は、ＰＰＩ表示装置に表示される信号から偽信号又は真信号を識別可能な機械学習モデルを生成するための教師データの生成（アノテーション）を行う。また、実施の形態１に係る学習装置１０は、アノテーション装置１００による出力結果を教師データとして機械学習を行うことにより、ＰＰＩ表示装置に表示される信号から偽信号又は真信号を識別可能な機械学習モデルを生成する。
（アノテーション装置１００）
　アノテーション装置１００は、信号取得部１０１、表示制御部１０２、入力受付部１０３、保存制御部１０４、保存部１０５、確からしさ算出部１０６、入力部１０７、及びＰＰＩ表示装置１０８を含んで構成される。入力受付部１０３は、請求項１記載の受付部を構成する。確からしさ算出部１０６は、請求項１記載の算出部を構成する。また、アノテーション装置１００には、センサ（不図示）が接続される。
　センサは、時間の経過とともに移動する移動体（例えば船舶）を周期的に検知し、検知した移動体を示す信号を出力する。このセンサには、レーダも含まれる。
　信号取得部１０１は、センサから出力された信号を取得する。なお、信号取得部１０１は、センサから信号を取得する際、当該取得した信号から不要な信号成分を抑圧したり、当該取得した信号が示す移動体の追尾処理を行ってもよい。また、信号取得部１０１は、所定の信号処理を行い、当該取得した信号から、所定の特徴量（例えば、信号が示す移動体の方位及び座標、移動速度、信号強度等）を抽出してもよい。
　表示制御部１０２は、信号取得部１０１により取得された信号を、時系列的に表示状態が変化する信号としてＰＰＩ表示装置１０８に表示する。これにより、ＰＰＩ表示装置１０８には、信号取得部１０１により取得された信号が時々刻々と変化する様子が表示される。
　なお、表示制御部１０２は、信号取得部１０１により取得された信号の波形をＰＰＩ表示装置１０８に表示してもよい。また、信号取得部１０１により、上述した特徴量が抽出された場合、表示制御部１０２は、当該抽出された特徴量をＰＰＩ表示装置１０８に表示してもよい。その他、表示制御部１０２は、ユーザによる操作に応じて、ＰＰＩ表示装置１０８に表示された信号の拡大及び縮小、早送り及び巻き戻しなどの時間方向の制御、並びに、画面スクロールなどの制御を行ってもよい。
　入力受付部１０３は、ＰＰＩ表示装置１０８に表示された信号に対してユーザによりなされた、当該信号が偽信号である旨の入力、又は当該信号が真信号である旨の入力を含む操作を受け付ける。なお、操作には、上述した偽信号である旨の入力、又は真信号である旨の入力のほか、ＰＰＩ表示装置１０８に表示された信号の拡大及び縮小、早送り及び巻き戻し、並びに画面スクロールなどの各種操作が含まれる。
　具体的には、ユーザは、表示制御部１０２によりＰＰＩ表示装置１０８に表示された信号及び特徴量等を見て、必要に応じて信号の拡大等の操作をしながら、当該信号が偽信号であるか、又は真信号であるかを信号ごとに判断する。ユーザは、例えばある信号が偽信号であると判断した場合、入力部１０７を用いて、当該信号が偽信号である旨を入力する。入力受付部１０３は、ユーザによりなされた操作及び入力を受け付ける。
　なお、表示制御部１０２は、入力受付部１０３により偽信号である旨の入力が受け付けられた信号をＰＰＩ表示装置１０８の表示画面から消去したり、当該信号を表示画面からフェードアウトさせてもよい。また、表示制御部１０２は、入力受付部１０３により偽信号又は真信号である旨の入力が受け付けられた信号に何らかの識別子（マーク）を付与して、ユーザが当該信号を認識しやすくなるようにしてもよい。
　保存制御部１０４は、信号取得部１０１により取得された信号を示す信号データ、及びユーザによる操作ログを保存部１０５に保存する。
　信号データは、例えば、信号ＩＤ、及び信号取得部１０１により取得された時刻等の情報を含んで構成される。また、信号取得部１０１により、取得した信号に対して所定の信号処理が行われた場合、信号データには、当該信号処理により得られたデータ（例えば特徴量）が含まれる。なお、特徴量は、時間の経過とともに変化するため、例えば信号ＩＤと関連付けて時系列的に保存される。
　ユーザによる操作ログ（以下、単に「操作ログ」ともいう。）は、入力受付部１０３が、ユーザから、ある信号が偽信号又は真信号である旨の入力を受け付けた際の、ユーザによる入力操作に関するログである。
　例えば、操作ログは、ユーザにより偽信号又は真信号である旨の入力が受け付けられた信号の信号ＩＤ、当該信号が表示制御部１０２によりＰＰＩ表示装置１０８に表示された時刻、当該信号に対してユーザから偽信号又は真信号である旨の入力が受け付けられた時刻、及び、当該信号に対してユーザからどのような操作が行われたかに関する情報を含んで構成される。なお、ユーザからの操作に関する情報には、ユーザが当該操作を行った時刻の情報も含まれる。
　保存部１０５は、保存制御部１０４により信号データ及び操作ログが保存される保存媒体である。保存部１０５は、例えばＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）、及びＲＡＭ（Random Access Memory）等により構成される。
　確からしさ算出部１０６は、入力受付部１０３により偽信号である旨の入力が受け付けられた信号が偽信号であることの確からしさ（以下、「偽信号の確からしさ」ともいう。）、又は、入力受付部１０３により真信号である旨の入力が受け付けられた信号が真信号であることの確からしさ（以下、「真信号の確からしさ」ともいう。）を、保存部１０５に保存された操作ログにより特定される操作の内容に応じて変化する連続値として算出する。例えば、確からしさ算出部１０６は、操作ログにより、ユーザがどの程度の時間をかけて入力を行ったかを特定し、当該時間に応じて変化する連続値として、偽信号の確からしさ又は真信号の確からしさを算出する。
　例えば、ある信号が偽信号であるか否かを表す確からしさを定量化する際、その値は時間とともに変化すると考えるのが妥当である。一般的に、ＰＰＩ表示装置１０８に表示された信号を見て偽信号の判断を行うユーザは、時間の経過に伴う表示の変化の様子を見て、ある程度の時間をかけて偽信号と判断し、その旨を入力する。
　このような、ユーザが偽信号を判断する過程を考えると、ＰＰＩ表示装置１０８に表示された直後の信号は真偽を判別するのが比較的難しい特徴を有しており、時間の経過とともに、偽信号であるか真信号であるかを判別するための特徴が明らかになっていくと考えるのが妥当である。一方で、信号が表示された直後にユーザが偽信号であると判断するケースもあると考えられるが、これは偽信号であることを示す特徴が明らかになっていく時間が極端に短い場合であると解釈できる。
　いずれにしても、ユーザが判断に要する時間と、信号が有する特徴の変化との間には関係があると考えられる。このような関係を機械学習で学習することを考えたとき、機械学習モデルの入力となる信号の特徴と、教師データ（教師信号）となる偽信号又は真信号の確からしさとの間には有意な関係があることが好ましい。そのため、信号の特徴の変化と関係があると考えられる、ユーザが判断に要する時間に基づいて、偽信号又は真信号の確からしさを算出するのは妥当な戦略であると考えられる。また、言い換えれば、偽信号又は真信号の確からしさは時間とともに変化し、ユーザが偽信号又は真信号と判断するために要した時間が長いほど大きな値になるように設定することが妥当である。確からしさ算出部１０６は、このような考え方に基づき、偽信号の確からしさ又は真信号の確からしさを算出する。なお、確からしさ算出部１０６による算出例については後述する。
　入力部１０７は、例えばマウス、キーボード、及び専用インタフェースにより構成される。入力部１０７は、ユーザによる偽信号又は真信号である旨の入力、及び信号の拡大及び縮小等の操作の際に用いられる。
　ＰＰＩ表示装置１０８は、信号取得部１０１により取得された信号を、時系列的に表示状態が変化する信号として表示する装置である。
　なお、上記の説明では、保存部１０５、入力部１０７、及びＰＰＩ表示装置１０８がアノテーション装置１００に含まれる例について説明したが、保存部１０５、入力部１０７、及びＰＰＩ表示装置１０８は必須の構成ではなく、例えばアノテーション装置１００の外部に設けられていてもよい。
（学習装置１０）
　学習装置１０は、図１に示すように、アノテーション装置１００と、学習器１１０とを含んで構成される。
　学習器１１０は、信号取得部１０１により取得され、保存部１０５に保存された信号データと、確からしさ算出部１０６により算出された、偽信号の確からしさ又は真信号の確からしさとを教師データとして、学習を行うことにより、機械学習モデルを生成する。この機械学習モデルは、信号取得部１０１により取得された信号データを入力とし、当該入力されたデータが示す信号が偽信号であることの確からしさ、又は、当該入力されたデータが示す信号が真信号であることの確からしさを、保存部１０５に保存された操作ログにより特定される操作の内容に応じて変化する連続値として出力するモデルである。
　なお、機械学習モデルに対する入力となる信号データは、センサで取得した信号から得られる時系列波形データでもよいし、当該信号から抽出された上記特徴量でもよい。または、当該信号に対する信号処理によって得られた数値を入力として用いてもよい。
　なお、実施の形態１では、確からしさ算出部１０６は、偽信号の確からしさ及び真信号の確からしさのうちのいずれか一方を算出する。つまり、確からしさ算出部１０６は、例えば偽信号の確からしさを算出する場合、真信号の確からしさは算出しない。この場合、学習器１１０は、信号データ及び偽信号の確からしさを教師データとして機械学習を行う。
　この点、通常の教師有り学習では、真信号についてのアノテーション結果と、偽信号についてのアノテーション結果の双方が必要となる。一方、実施の形態１では、学習器１１０は、確からしさ算出部１０６により連続値として算出された、いずれか一方の確からしさを教師データとすることで、偽信号の確からしさ又は真信号の確からしさを学習する。
　このように、学習装置が真信号及び偽信号のうちの一方のアノテーション結果のみを用いて学習し、識別対象の信号の真偽を識別する手法の例として、Ｏｎｅ　ｃｌａｓｓ　ＳＶＭ（Support Vector Machine）などの異常検知手法が知られている。しかしながら、この手法は、例えばある信号が偽信号であるか否かを示す離散的な情報を用いて学習装置が学習を行うものであり、ある信号の偽信号の確からしさといった連続値（連続的な数値データ）を利用して学習することはできないものであった。
　この点、実施の形態１における学習器１１０は、連続値（連続的な数値データ）として算出された、偽信号の確からしさ又は真信号の確からしさを教師データとして学習する。また、学習器１１０は、この学習の結果、ある信号の入力に対し、連続値である当該信号の偽信号の確からしさ又は真信号の確からしさを出力するような機械学習モデルを生成する。このような機械学習モデルの生成は、例えば学習器１１０がニューラルネットワークを用いて、偽信号の確からしさ又は真信号の確からしさを教師データとした回帰タスクとして学習することにより実現できる。
　また、上記の方法以外にも、学習器１１０は、例えばニューラルネットワークの一つであるＬＳＴＭ（Long Short Term Memory）、あるいはＧＲＵ（Gated Recurrent Unit）といった再帰型ニューラルネットワーク(Recurrent Neural Network,RNN)用いることにより、上記のような機械学習モデルを生成することができる。
　なお、上記で挙げた手法はあくまで一例であり、学習器１１０は、上記以外の手法を用いて上記のような機械学習モデルを生成してもよい。例えば、学習器１１０は、信号データと、偽信号の確からしさ又は真信号の確からしさに基づく何らかの連続値（連続的な数値データ）とを教師データとして機械学習を行い、上記のような機械学習モデルを生成してもよい。
　次に、実施の形態１に係るアノテーション装置１００の動作例について、図２に示すフローチャートを参照しながら説明する。なお、アノテーション装置１００は、図２に示すフローチャートによる動作を周期的に繰り返し行う。
　また、ここでは、ユーザは、ＰＰＩ表示装置１０８に表示された信号ごとに、当該信号が偽信号であるか否かを判断し、偽信号であると判断した信号に対して、入力部１０７を用いて、当該信号が偽信号である旨の入力を行う場合を例に説明する。ただし、以下のフローチャートは、ユーザが、ＰＰＩ表示装置１０８に表示された信号ごとに、当該信号が真信号であるか否かを判断し、真信号であると判断した信号に対して、入力部１０７を用いて、当該信号が真信号である旨の入力を行う場合にも適用可能である。
　まず、信号取得部１０１は、センサから出力された信号を取得する（ステップＳＴ１）。
　次に、表示制御部１０２は、信号取得部１０１により取得された信号を、時系列的に表示状態が変化する信号としてＰＰＩ表示装置１０８に表示する（ステップＳＴ２）。ユーザは、ＰＰＩ表示装置１０８に表示された信号ごとに、当該信号が偽信号であるか否かを判断し、偽信号であると判断した信号に対して、入力部１０７を用いて、当該信号が偽信号である旨の入力を行う。
　次に、入力受付部１０３は、ＰＰＩ表示装置１０８に表示された信号に対してユーザによりなされた、当該信号が偽信号である旨の入力を含む操作を受け付ける（ステップＳＴ３）。
　次に、保存制御部１０４は、信号取得部１０１により取得された信号を示す信号データ、及びユーザによる操作ログを保存部１０５に保存する（ステップＳＴ４）。
　次に、確からしさ算出部１０６は、入力受付部１０３により偽信号である旨の入力が受け付けられた信号が偽信号であることの確からしさを、保存部１０５に保存された操作ログにより特定される操作の内容に応じて変化する連続値として算出する（ステップＳＴ５）。
　次に、上記ステップＳＴ５における偽信号の確からしさの算出例について、図３を参照しながら説明する。図３は、確からしさ算出部１０６による偽信号の確からしさの算出例を説明する図である。
　図３において、横軸はユーザにより信号が偽信号である旨の判断がなされ、その旨の入力が受け付けられた時刻（以下、「判断時刻」ともいう。）ｔを示し、縦軸は確からしさ算出部１０６により算出される偽信号の確からしさｐを示している。なお、判断時刻ｔは、保存部１０５に保存された操作ログにより特定される。
　ここでは、偽信号の確からしさｐは、説明の便宜上、０から１の範囲を持つ連続値であるものとし、最大値（ここでは１）をＡで表すものとする。
　また、図３において、信号取得部１０１により信号が取得された時刻を０とし、当該信号が表示制御部１０２によりＰＰＩ表示装置１０８に表示された時刻をＴ１とする。また、時刻Ｔ３は、偽信号の確からしさｐが最大値Ａとなる時刻である。
　図３に示すように、偽信号の確からしさｐは、判断時刻ｔに関する関数である。ただし、確からしさ算出部１０６は、図３に示すように、時刻０から時刻Ｔ１までの間、すなわち、信号取得部１０１により信号が取得されてから、当該信号がＰＰＩ表示装置１０８に表示されるまでの間では、判断時刻ｔにかかわらず、偽信号の確からしさｐを定数Ｃとして算出する。定数Ｃは、例えば０．１などの小さな値であり、ユーザにより任意の値に設定される。
　一方、確からしさ算出部１０６は、判断時刻ｔが時刻Ｔ１から時刻Ｔ３までの間である場合は、偽信号の確からしさｐを線形的に増加させ、判断時刻ｔが時刻Ｔ３及び時刻Ｔ３以降である場合に、偽信号の確からしさｐを最大値Ａ（ここでは１）として算出する。
　すなわち、確からしさ算出部１０６は、判断時刻ｔが時刻Ｔ１から遠いほど、言い換えれば、判断時刻ｔと時刻Ｔ１との差分が大きくなるほど、偽信号の確からしさｐを増加させる。つまり、確からしさ算出部１０６は、偽信号の確からしさｐを以下の式（１）のように算出する。
Figure JPOXMLDOC01-appb-I000001
　なお、ここでは、偽信号の確からしさｐの最大値Ａを１とする例を説明したが、確からしさ算出部１０６は、偽信号の確からしさｐの最大値Ａを、０以上１以下の範囲で１以外の値としてもよい。例えば、確からしさ算出部１０６は、偽信号の確からしさｐの最大値Ａを０．９５等としてもよい。
　また、確からしさ算出部１０６は、偽信号の確からしさｐの最大値Ａを、判断時刻ｔに関する関数としてもよい。この場合の例を図４に示す。
　図４は、確からしさ算出部１０６が、判断時刻ｔに対して偽信号の確からしさｐの最大値Ａを変化させた場合の例を示している。図４において、横軸は判断時刻ｔを示し、縦軸は偽信号の確からしさｐの最大値Ａを示している。図４に示す例では、偽信号の確からしさｐの最大値Ａは、判断時刻ｔに関する関数である。
　例えば、図４に示す例では、判断時刻ｔが時刻Ｔ４である場合に、偽信号の確からしさｐの最大値ＡをＡ１とする。一方、図４に示す例では、判断時刻ｔが時刻Ｔ４よりも前である場合に、偽信号の確からしさｐの最大値ＡをＡ１よりも小さい値とする。これは、ユーザがさほど時間をかけずに信号が偽信号であるとの判断結果を入力したために、ユーザの判断に誤りがあることを想定し、偽信号の確からしさｐの最大値をＡ１よりも小さくしたものである。
　また、図４に示す例では、判断時刻ｔが時刻Ｔ４よりも後である場合も、偽信号の確からしさｐの最大値をＡ１よりも小さい値（例えばＡ２）とする。図４に示す例では、判断時刻ｔが時刻Ｔ４から遅れるにつれて、偽信号の確からしさｐの最大値をＡ１よりも減少させ、判断時刻ｔが時刻Ｔ５である場合に、偽信号の確からしさｐの最大値をＡ２としている。これは、ユーザが判断を行うためにある程度の時間を要した場合、ユーザが判断を行うのが難しかったことが想定され、その場合におけるユーザの判断に誤りがあることを想定し、偽信号の確からしさｐの最大値をＡ１よりも小さくしたものである。
　図４に示す例の場合、確からしさ算出部１０６は、偽信号の確からしさｐの最大値Ａを例えば以下の式（２）のように算出する。
Figure JPOXMLDOC01-appb-I000002
　なお、図３及び図４で示した関数は一例であり、確からしさ算出部１０６は、上記以外の関数で偽信号の確からしさｐ及び偽信号の確からしさｐの最大値Ａを算出してもよい。例えば、確からしさ算出部１０６は、時刻Ｔ０からの時間の経過とともに偽信号の確からしさｐが単調増加するような関数に基づいて、偽信号の確からしさｐを算出してもよい。
　図５は、確からしさ算出部１０６による偽信号の確からしさの別の算出例を説明する図である。図５において、横軸は判断時刻ｔを示し、縦軸は偽信号の確からしさｐを示している。図５に示す例でも、図３に示す例と同様に、偽信号の確からしさｐは判断時刻ｔに関する関数である。
　図５に示す例では、時刻０からの時間の経過にしたがって偽信号の確からしさｐが増加する点は図３と同様であるが、偽信号の確からしさｐが図３の例よりも緩やかに増加している。図５において、ｇは偽信号の確からしさｐの増加の割合（傾き）を示している。
　また、図５に示すように、確からしさ算出部１０６は、図３の例と同様に、時刻０から時刻Ｔ１までの間、すなわち、信号取得部１０１により信号が取得されてから、当該信号がＰＰＩ表示装置１０８に表示されるまでの間では、判断時刻ｔにかかわらず、偽信号の確からしさｐを定数Ｃとして算出する。
　図５に示す例の場合、確からしさ算出部１０６は、偽信号の確からしさｐを例えば以下の式（３）のように算出し、定数Ｃを例えば式（４）のように算出する。
Figure JPOXMLDOC01-appb-I000003
Figure JPOXMLDOC01-appb-I000004
　なお、式（３）における定数Ｕは、図５における偽信号の確からしさｐが上昇を開始する開始点と、式（４）に示す定数Ｃとを調整するパラメータである。また、偽信号の確からしさｐの最大値Ａは、例えば図４で説明した関数と同様の関数に基づいて設定してもよい。
　また、図５に示す例では、図３に示す例と異なり、確からしさ算出部１０６は、偽信号の確からしさｐの傾きｇを別途設定可能となっている。例えば、確からしさ算出部１０６は、図６に示すように、判断時刻ｔに応じて傾きｇを設定する関数に基づいて、傾きｇを設定可能である。図６において、横軸は判断時刻ｔを示し、縦軸は偽信号の確からしさｐの傾きｇを示している。つまり、図６に示す例では、偽信号の確からしさｐの傾きｇは、判断時刻ｔに関する関数である。
　図６に示す例では、判断時刻ｔが時刻０に近いほど、すなわち、ユーザの判断が速いほど、偽信号の確からしさｐが速やかに最大値Ａに達するように傾きｇを大きくし（例えばｇ１）、判断時刻ｔが時刻０から遠いほど、すなわち、ユーザの判断が遅いほど、傾きｇを小さくして（例えばｇ２）、偽信号の確からしさｐの上昇具合を緩やかにしている。なお、図６において、時刻０の時点では傾きはｇ１であり、時刻Ｔ６の時点で傾きがｇ２となる。この場合、偽信号の確からしさｐの傾きｇは、例えば以下の式（５）で表される。式（５）では、判断時刻ｔはＴ３で表される。なお、偽信号の確からしさｐの最大値Ａを、図４に示すような判断時刻ｔに関する関数で設定した場合は、判断時刻ｔ＝Ｔ６に応じて最大値Ａの値も変化する。
Figure JPOXMLDOC01-appb-I000005
　このように、偽信号の確からしさｐの傾きｇを判断時刻ｔに関する関数とすることにより、ユーザは、判断時刻ｔと偽信号の確からしさｐとの関係の度合い（関連度）を適宜調整することができる。
　なお、図５及び図６で示した関数は一例であり、上記以外の関数に基づいて偽信号の確からしさｐ及び傾きｇを設定してもよい。また、偽信号の確からしさｐの傾きｇは、判断時刻ｔに関する関数ではなく、一定の値としてもよい。また、傾きｇは、判断時刻ｔ以外の変数に関する関数に基づいて設定してもよい。
　また、上記図３及び図５では、信号が取得された時刻を０とし、信号がＰＰＩ表示装置１０８に表示された時刻をＴ１とした例を説明した。しかしながら、ユーザは、信号がＰＰＩ表示装置１０８に表示された時刻を０として、偽信号の確からしさｐを算出する関数を設計してもよい。その場合、関数を示す式は、上述の式（１）においてＴ１に０を代入した式となる。
　また、ここまでは、確からしさ算出部１０６が、保存部１０５に保存された操作ログにより特定される判断時刻ｔに基づいて、偽信号の確からしさｐを算出する方法について説明した。しかしながら、確からしさ算出部１０６は、さらに保存部１０５に保存された信号データを用いて、偽信号の確からしさｐを算出してもよい。
　例えば、信号取得部１０１が、信号を複数取得し、表示制御部１０２が、信号取得部１０１により取得された複数の信号を、時系列的に表示状態が変化する信号としてＰＰＩ表示装置１０８にそれぞれ表示した場合、確からしさ算出部１０６は、ＰＰＩ表示装置１０８に表示された信号の数、及び、ＰＰＩ表示装置１０８の表示画面上の所定範囲における信号の密集度合のうちの少なくとも一方に基づいて、上述の判断時刻ｔを補正してもよい。これは、一般的に、ユーザは、ＰＰＩ表示装置１０８に表示された信号の数が多いほど、あるいは、ＰＰＩ表示装置１０８の表示画面上の所定範囲における信号の密集度合が高いほど、偽信号を判断するのに多くの時間を要すると考えられるとの想定に基づく。
　例えば、確からしさ算出部１０６は、ＰＰＩ表示装置１０８に表示された信号の数、及び、ＰＰＩ表示装置１０８の表示画面上の所定範囲における信号の密集度合のうちの少なくとも一方に基づいて、上述の判断時刻ｔを補正し、当該補正後の時刻ｔ’を、上記図３から図６で示した関数における判断時刻ｔとして用いてもよい。なお、その場合、確からしさ算出部１０６は、判断時刻ｔを遅らせる方向に補正してもよいし、判断時刻ｔを進ませる方向に補正してもよい。また、上記密集度合を得るための所定範囲は、ユーザにより任意の範囲に設定可能である。
　また、確からしさ算出部１０６は、表示制御部１０２によりＰＰＩ表示装置１０８に表示されたある信号（例えば第１の信号）と、表示制御部１０２によりＰＰＩ表示装置１０８に表示された信号のうち、ユーザが過去に偽信号であると判断した信号（例えば第２の信号）との距離に応じて、当該ある信号（第１の信号）の偽信号の確からしさｐを変化させてもよい。
　これは、一般的に、ユーザは、ＰＰＩ表示装置１０８に表示されたある信号（第１の信号）の画面上の位置が、ユーザが過去に偽信号であると判断した信号（第２の信号）の画面上の位置から遠いほど、当該ある信号（第１の信号）に対するユーザの注目が遅くなり、その結果、当該ある信号（第１の信号）が偽信号であると判断するのに多くの時間を要すると考えられるとの想定に基づく。
　例えば、確からしさ算出部１０６は、表示制御部１０２によりＰＰＩ表示装置１０８に表示されたある信号（第１の信号）と、表示制御部１０２によりＰＰＩ表示装置１０８に表示された信号のうち、ユーザが過去に偽信号であると判断した信号（第２の信号）との距離に応じて、第１の信号に対する判断時刻ｔを補正し、当該補正後の時刻ｔ’を、上記図３から図６で示した関数における判断時刻ｔとして用いてもよい。なお、この場合も、確からしさ算出部１０６は、判断時刻ｔを遅らせる方向に補正してもよいし、判断時刻ｔを進ませる方向に補正してもよい。
　また、確からしさ算出部１０６は、ある信号に対する偽信号の判断が入力された際、例えばＰＰＩ表示装置１０８に表示された信号が重畳表示されているか、あるいは、信号が重畳表示されている場合に、いくつの信号が重畳表示されているかに応じて、偽信号の確からしさｐを変化させてもよい。これは、一般的に、ユーザは、ＰＰＩ表示装置１０８に表示された信号が重畳表示されている場合、ある信号について偽信号を判断するのに多くの時間を要すると考えられるとの想定に基づく。
　例えば、確からしさ算出部１０６は、ある信号に対する偽信号の判断が入力された際、ＰＰＩ表示装置１０８に表示された信号が重畳表示されているか、あるいは、信号が重畳表示されている場合にいくつの信号が重畳表示されているかに応じて、当該ある信号に対する判断時刻ｔを補正し、当該補正後の時刻ｔ’を、上記図３から図６で示した関数における判断時刻ｔとして用いてもよい。なお、その場合、確からしさ算出部１０６は、判断時刻ｔを遅らせる方向に補正してもよいし、判断時刻ｔを進める方向に補正してもよい。
　次に、実施の形態１に係る学習装置１０の動作例について、図７に示すフローチャートを参照しながら説明する。なお、学習装置１０は、図２に示すフローチャートによるアノテーション装置１００の動作が完了した後に、図７に示すフローチャートによる処理を実行する。
　また、ここでは、アノテーション装置１００の確からしさ算出部１０６が、偽信号の確からしさｐを算出した場合を例に説明する。ただし、以下のフローチャートは、アノテーション装置１００の確からしさ算出部１０６が、真信号の確からしさを算出した場合にも適用可能である。
　まず、学習器１１０は、保存部１０５に保存された信号データと、確からしさ算出部１０６により算出された偽信号の確からしさｐとを取得する（ステップＳＴ１１）。
　次に、学習器１１０は、取得した信号データ、及び偽信号の確からしさｐを教師データとして機械学習を行う（ステップＳＴ１２）。これにより、学習器１１０は、信号データにより示される信号から偽信号を識別する機械学習モデルを生成する。
　なお、学習器１１０は、上述したように、例えばニューラルネットワークを用いて、偽信号の確からしさｐを教師データとした回帰タスクとして学習する等の手法により、機械学習モデルを生成する。
　次に、図８を参照して、実施の形態１に係るアノテーション装置１００のハードウェア構成例を説明する。
　アノテーション装置１００における信号取得部１０１、表示制御部１０２、入力受付部１０３、保存制御部１０４、及び確からしさ算出部１０６の各機能は、処理回路により実現される。処理回路は、図８Ａに示すように、専用のハードウェアであってもよいし、図８Ｂに示すように、メモリ５３に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、又はＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）ともいう）５２であってもよい。
　処理回路が専用のハードウェアである場合、処理回路５１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はこれらを組み合わせたものが該当する。信号取得部１０１、表示制御部１０２、入力受付部１０３、保存制御部１０４、及び確からしさ算出部１０６の各部の機能それぞれを処理回路５１で実現してもよいし、各部の機能をまとめて処理回路５１で実現してもよい。
　処理回路がＣＰＵ５２の場合、信号取得部１０１、表示制御部１０２、入力受付部１０３、保存制御部１０４、及び確からしさ算出部１０６の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア及びファームウェアはプログラムとして記述され、メモリ５３に格納される。処理回路は、メモリ５３に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、アノテーション装置１００は、処理回路により実行されるときに、例えば図２に示した各ステップが結果的に実行されることになるプログラムを格納するためのメモリを備える。また、これらのプログラムは、信号取得部１０１、表示制御部１０２、入力受付部１０３、保存制御部１０４、及び確からしさ算出部１０６の手順及び方法をコンピュータに実行させるものであるともいえる。ここで、メモリ５３としては、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　ＥＰＲＯＭ）等の不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、又はＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等が該当する。
　なお、信号取得部１０１、表示制御部１０２、入力受付部１０３、保存制御部１０４、及び確からしさ算出部１０６の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。例えば、信号取得部１０１については専用のハードウェアとしての処理回路でその機能を実現し、表示制御部１０２、入力受付部１０３、保存制御部１０４、及び確からしさ算出部１０６については処理回路がメモリ５３に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
　このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の各機能を実現することができる。
　以上のように、実施の形態１によれば、アノテーション装置１００は、時間の経過とともに移動する移動体を検出するセンサから、当該移動体の検出結果を示す信号を取得する信号取得部１０１と、信号取得部１０１により取得された信号を、時系列的に表示状態が変化する信号としてＰＰＩ表示装置１０８に表示する表示制御部１０２と、ＰＰＩ表示装置１０８に表示された信号に対してユーザによりなされた、当該信号が偽信号である旨の入力、又は当該信号が真信号である旨の入力を含む操作を受け付ける入力受付部１０３と、入力受付部１０３により受け付けられた操作を操作ログとして保存部１０５に保存する保存制御部１０４と、入力受付部１０３により偽信号である旨の入力が受け付けられた信号が偽信号であることの確からしさ、又は、入力受付部１０３により真信号である旨の入力が受け付けられた信号が真信号であることの確からしさを、保存部１０５に保存された操作ログにより特定される操作の内容に応じて変化する連続値として算出する確からしさ算出部１０６と、を備えた。これにより、アノテーション装置１００は、ＰＰＩ表示装置１０８に表示される、表示状態が時系列的に変化する信号から、偽信号又は真信号を精度よく識別可能な機械学習モデルを生成するためのアノテーションを行うことが可能となる。
　また、確からしさ算出部１０６は、操作ログにより、表示制御部１０２により信号がＰＰＩ表示装置１０８に表示された時刻と、入力受付部１０３により信号が偽信号である旨の入力、又は当該信号が真信号である旨の入力が受け付けられた時刻とを特定し、入力受付部１０３により偽信号である旨の入力が受け付けられた信号が偽信号であることの確からしさ、又は、入力受付部１０３により真信号である旨の入力が受け付けられた信号が真信号であることの確からしさを、信号がＰＰＩ表示装置１０８に表示された時刻から、入力受付部１０３により信号が偽信号である旨の入力、又は当該信号が真信号である旨の入力が受け付けられた時刻までの時間に応じて変化する連続値として算出する。これにより、アノテーション装置１００は、信号が偽信号であることの確からしさ、又は、信号が真信号であることの確からしさを、信号の表示時刻から入力の受付時刻までの時間の関数として算出することができる。
　また、信号取得部１０１は、信号を複数取得し、表示制御部１０２は、信号取得部１０１により取得された複数の信号を、時系列的に表示状態が変化する信号としてＰＰＩ表示装置１０８にそれぞれ表示し、確からしさ算出部１０６は、表示制御部１０２によりＰＰＩ表示装置１０８に表示された信号の数、及び、ＰＰＩ表示装置１０８の表示画面上の所定範囲における信号の密集度合のうちの少なくとも一方に基づいて、入力受付部１０３により信号が偽信号である旨の入力、又は当該信号が真信号である旨の入力が受け付けられた時刻を補正し、入力受付部１０３により偽信号である旨の入力が受け付けられた信号が偽信号であることの確からしさ、又は、入力受付部１０３により真信号である旨の入力が受け付けられた信号が真信号であることの確からしさを、信号がＰＰＩ表示装置１０８に表示された時刻から、補正後の時刻までの時間に応じて変化する連続値として算出する。これにより、アノテーション装置１００は、ＰＰＩ表示装置１０８に表示された信号の数及び密集度合による判断の困難性が、信号が偽信号であることの確からしさ、又は、信号が真信号であることの確からしさに影響することを抑制できる。
　また、信号取得部１０１は、信号を複数取得し、表示制御部１０２は、信号取得部１０１により取得された複数の信号を、時系列的に表示状態が変化する信号としてＰＰＩ表示装置１０８にそれぞれ表示し、入力受付部１０３は、ＰＰＩ表示装置１０８に表示された複数の信号のうちの第１の信号に対してユーザによりなされた、当該第１の信号が偽信号である旨の入力、又は当該第１の信号が真信号である旨の入力を含む操作を受け付け、確からしさ算出部１０６は、入力受付部１０３により偽信号である旨の入力が受け付けられた第１の信号と、入力受付部１０３により過去に偽信号である旨の入力が受け付けられた第２の信号との距離、又は、入力受付部１０３により真信号である旨の入力が受け付けられた第１の信号と、入力受付部１０３により過去に真信号である旨の入力が受け付けられた第２の信号との距離に基づいて、入力受付部１０３により第１の信号が偽信号である旨の入力、又は当該第１の信号が真信号である旨の入力が受け付けられた時刻を補正し、入力受付部１０３により偽信号である旨の入力が受け付けられた第１の信号が偽信号であることの確からしさ、又は、入力受付部１０３により真信号である旨の入力が受け付けられた第１の信号が真信号であることの確からしさを、第１の信号がＰＰＩ表示装置１０８に表示された時刻から、補正後の時刻までの時間に応じて変化する連続値として算出する。これにより、アノテーション装置１００は、ＰＰＩ表示装置１０８に表示された第１の信号と第２の信号との距離に基づく第１の信号に対する判断の遅れが、信号が偽信号であることの確からしさ、又は、信号が真信号であることの確からしさに影響することを抑制できる。
　また、信号取得部１０１は、信号を複数取得し、表示制御部１０２は、信号取得部１０１により取得された複数の信号を、時系列的に表示状態が変化する信号としてＰＰＩ表示装置１０８にそれぞれ表示し、確からしさ算出部１０６は、表示制御部１０２によりＰＰＩ表示装置１０８に表示された信号が重畳表示されているか、及び、信号が重畳表示されている場合における重畳表示された信号の数のうちの少なくとも一方に基づいて、入力受付部１０３により信号が偽信号である旨の入力、又は当該信号が真信号である旨の入力が受け付けられた時刻を補正し、入力受付部１０３により偽信号である旨の入力が受け付けられた信号が偽信号であることの確からしさ、又は、入力受付部１０３により真信号である旨の入力が受け付けられた信号が真信号であることの確からしさを、信号がＰＰＩ表示装置１０８に表示された時刻から、補正後の時刻までの時間に応じて変化する連続値として算出する。これにより、アノテーション装置１００は、ＰＰＩ表示装置１０８に表示された信号が重畳表示されている場合における判断の困難性が、信号が偽信号であることの確からしさ、又は、信号が真信号であることの確からしさに影響することを抑制できる。
　また、実施の形態１によれば、学習装置１０は、請求項１記載のアノテーション装置１００と、学習器１１０とを備え、学習器１１０は、信号取得部１０１により取得された信号を示すデータと、確からしさ算出部１０６により算出された、入力受付部１０３により偽信号である旨の入力が受け付けられた信号が偽信号であることの確からしさ、又は、入力受付部１０３により真信号である旨の入力が受け付けられた信号が真信号であることの確からしさと、に基づき、信号取得部１０１により取得された信号を示すデータを入力とし、当該入力されたデータが示す信号が偽信号であることの確からしさ、又は、当該入力されたデータが示す信号が真信号であることの確からしさを、保存部１０５に保存された操作ログにより特定される操作の内容に応じて変化する連続値として出力する機械学習モデルを生成する。これにより、学習装置１０は、センサにより取得された信号データが示す信号の中から、偽信号又は真信号を精度よく識別可能な機械学習モデルを生成することができる。
　また、実施の形態１によれば、アノテーション装置１００及び学習装置１０は、上記効果のほかに、以下のような効果を奏する。
（効果１）
　教師データ（学習データ）は大量に用意する必要があり、そのアノテーション作業では多大な人件費及び時間コストを必要とするという課題があった。実施の形態１によれば、アノテーション装置１００は、大量に用意する必要がある教師データを運用中の操作ログ及び信号データから作成できるので、上記人件費及び時間コストの削減が可能となる。
（効果２）
　レーダで補足された船舶等の物体を示す信号を表示するＰＰＩ表示装置１０８において、不要な偽信号をユーザが判断し、その判断結果を入力して偽信号を表示から消去するレーダシステムでは、偽信号を判断する人員に関わるコストを必要とするという課題があった。実施の形態１によれば、学習装置１０は、偽信号を識別する機械学習モデルを生成できるため、このモデルを運用時に適用することにより、偽信号を判断する人員に関わるコストが削減できる。
（効果３）
　学習装置１０が、偽信号を識別する機械学習モデルを生成し、ユーザが上記レーダシステムにおいてこの機械学習モデルを運用時に適用することにより、ＰＰＩ表示装置１０８に同時に表示される信号数に応じて必要となるハードウェアリソースのコストも削減することができる。
　具体的には、上記レーダシステムでは、センサで取得した信号は、表示を行う前に追尾処理及び不要信号成分の抑制等の信号処理を行ってから、ユーザの目的にあった信号に変換して表示されることも多い。このような場合、ＰＰＩ表示装置１０８に同時に表示される信号の数が増えると、上記レーダシステムでは、センサ及び信号処理に必要なハードウェアリソースも大きくなってしまうという課題があった。
　この点、実施の形態１によれば、学習装置１０により生成された機械学習モデルの出力は、偽信号の確からしさの連続値であるから、ユーザは、その数値に応じて画面上から消去する信号ごとの優先度をつけることが可能である。例えば、同時に表示している信号数がハードウェアリソースに基づく上限値を超える可能性がある場合には、ユーザは偽信号の確からしさが大きい信号から優先的に消去することにより、ハードウェアリソースの不足による表示の不具合を解消することができる。
（効果４）
　上記レーダシステムの運用中におけるユーザによる操作ログを、信号の真偽を示すアノテーション結果として用いて教師データとする場合、ユーザは表示された全ての偽信号を判断し、その旨を入力するとは限らず、偽信号と判断されなかった信号は必ずしも真信号とは限らないという課題がある。なぜなら、時間とともに表示される信号は、ユーザが判断結果を入力する前に途絶えてしまうことがあり、また偽信号か否かの判断が難しい信号は、ユーザが判断結果を入力しないことがあるからである。つまり、この場合、確証たる真信号は得ることができない。
　このような背景のもと、従来の教師有り学習では、学習装置は、真と偽との両方の信号データとそのアノテーション結果（真又は偽を示す教師データ）をバランスよく含む学習データを必要とする。そのため、従来の学習装置は、真か偽かの一方のみ、又はどちらかに偏った信号データ及びアノテーション結果を学習したとしても、生成される機械学習モデルの識別精度は著しく劣化してしまうおそれがある。
　この点、実施の形態１によれば、学習装置１０は、偽信号と判断された信号のみに対応する偽信号の確からしさ、又は、真信号と判断された信号のみに対応する真信号の確からしさを使用して学習を行うことにより、生成された機械学習モデルの識別精度の改善が期待できる。
（効果５）
　上記レーダシステムの運用中にＰＰＩ表示装置１０８に表示された信号が偽信号か否かの真値は不明であり、ユーザの判断結果は常に正しいとは限らない。信号が偽か否かの２値ラベルを用いて教師有り学習を行う際、ユーザの判断結果が誤っていた場合に、学習装置が学習により得られる機械学習モデルには大きな識別精度の劣化をもたらすおそれがある。この点、実施の形態１によれば、学習装置１０は、信号が偽か否かの２値ラベルではなく、アノテーション装置１００により得られた、連続的な数値である偽信号又は真信号の確からしさを学習する。これにより、学習装置１０は、たとえユーザの判断結果が誤っていたとしても、教師データに含まれる当該信号の偽信号又は真信号の確からしさは小さい値が得られているため、生成された機械学習モデルの識別精度の改善が期待できる。
（効果６）
　上記レーダシステムの運用中において、ＰＰＩ表示装置１０８に表示された信号が不要な偽信号か否かは、ユーザの個人差及びシステムの運用目的等によって異なる。そのため、学習装置は、システムの運用前に予め取得しておいた教師データを用いて学習し、機械学習モデルを生成したとしても、システム運用時における偽信号と、予め取得した教師データにおける偽信号とは異なる可能性がある。その場合、生成された機械学習モデルは、ユーザの個人差及びシステムの運用目的等に合った識別結果を出力できず、ユーザ視点での識別精度が低くなるおそれがある。この点、実施の形態１によれば、アノテーション装置１００は、システム運用時のユーザによる操作ログからアノテーション結果を生成することができるため、このアノテーション結果に基づき学習を行う学習装置１０により生成される機械学習モデルの識別精度の改善が期待できる。
実施の形態２．
　実施の形態１では、偽信号の確からしさ又は真信号の確からしさを、操作ログにより特定される操作の内容に応じて変化する連続値として算出するアノテーション装置について説明した。実施の形態２では、ユーザがＰＰＩ表示装置１０８に表示された信号から任意の信号を選択し、当該選択した信号の関連情報を表示可能なアノテーション装置について説明する。
　図９は、実施の形態２に係るアノテーション装置１００ｂを含む学習装置１０を示す構成図である。
　図９に示す実施の形態２に係るアノテーション装置１００ｂは、図１に示す実施の形態１に係るアノテーション装置１００に対し、表示制御部１０２が表示制御部１０２ｂに変更され、入力受付部１０３が入力受付部１０３ｂに変更されている。図８に示す実施の形態２に係るアノテーション装置１００ｂのその他の構成は、図１に示す実施の形態１に係るアノテーション装置１００と同様であるため、同一の符号を付してその説明を省略する。
　表示制御部１０２ｂは、信号取得部１０１により取得された信号を、時系列的に表示状態が変化する信号としてＰＰＩ表示装置１０８に表示する。
　入力受付部１０３ｂは、表示制御部１０２によりＰＰＩ表示装置１０８に表示された信号に対する、ユーザの選択操作を受け付ける。例えば、ユーザは、入力部１０７を用いて、表示制御部１０２によりＰＰＩ表示装置１０８に表示された信号のうちから、信号に関する情報（以下、「関連情報」ともいう。）を確認したいと考える信号を選択する。入力受付部１０３ｂは、ユーザによりなされた当該選択操作を受け付ける。
　関連情報は、例えば、信号取得部１０１により信号から抽出され、保存部１０５に保存されている、当該信号の特徴量（例えば座標、移動速度、及び信号強度等）に関する情報である。この場合、信号の特徴量には、当該信号の過去の特徴量が含まれていてもよい。関連情報は、ユーザにとって、信号が偽信号であるか又は真信号であるかを判断するための材料となる。
　表示制御部１０２ｂは、入力受付部１０３ｂにより信号の選択操作が受け付けられた場合、当該選択操作が受け付けられた信号に関する情報（関連情報）を保存部１０５から抽出し、抽出した関連情報をＰＰＩ表示装置１０８に表示する。ユーザは、この関連情報を確認しながら、信号が偽信号であるか又は真信号であるかを判断し、偽信号であると判断した信号又は真信号であると判断した信号に対してその旨を入力する。
　入力受付部１０３ｂは、表示制御部１０２ｂによりＰＰＩ表示装置１０８に表示された信号ごとに、ユーザによりなされた、当該信号が偽信号である旨の入力又は真信号である旨の入力を受け付ける。
　関連情報を含む信号データは、きわめて多くの情報を含む場合がある。そのため、表示制御部１０２ｂは、それらの情報をすべての信号に対してＰＰＩ表示装置１０８に表示すると、ＰＰＩ表示装置１０８に表示される情報量が多くなり、ユーザにとって煩わしい場合がある。そこで、実施の形態２では、表示制御部１０２ｂは、ユーザにより選択された信号についてのみ、関連情報をＰＰＩ表示装置１０８に表示する。これにより、ユーザの煩わしさが低減される。
　次に、実施の形態２に係るアノテーション装置１００ｂの動作例について、図１０に示すフローチャートを参照しながら説明する。なお、アノテーション装置１００ｂは、図１０に示すフローチャートによる動作を繰り返し行う。
　まず、信号取得部１０１は、センサにより受信された信号を、当該センサから１つ以上取得する（ステップＳＴ２１）。
　次に、表示制御部１０２ｂは、信号取得部１０１により取得された信号を、時系列的に表示状態が変化する信号としてＰＰＩ表示装置１０８に表示する（ステップＳＴ２２）。
　次に、入力受付部１０３ｂは、表示制御部１０２によりＰＰＩ表示装置１０８に表示された信号に対する、ユーザの選択操作を受け付ける（ステップＳＴ２３）。
　次に、表示制御部１０２ｂは、入力受付部１０３ｂにより信号の選択操作が受け付けられた場合、当該選択操作が受け付けられた信号に関する情報（関連情報）をＰＰＩ表示装置１０８に表示する（ステップＳＴ２４）。
　以下、ステップＳＴ２５～ＳＴ２７は、実施の形態１において説明した図２のステップＳＴ３～ＳＴ５と同様であるため、再度の説明を省略する。
　なお、ステップＳＴ２７において、確からしさ算出部１０６は、ステップＳＴ１３において入力受付部１０３ｂがユーザから選択操作を受け付けた時刻を考慮して、偽信号の確からしさｐを算出してもよい。
　例えば、実施の形態１で説明した図３の関数において、確からしさ算出部１０６は、実施の形態１で説明した図３及び図５の関数において、横軸である判断時刻ｔに対し、入力受付部１０３ｂがユーザから選択操作を受け付けた時刻（以下、「選択時刻」ともいう。）Ｔ２を加味して、確からしさを算出してもよい。例えば、確からしさ算出部１０６は、図３及び図５の関数において、選択時刻Ｔ２と判断時刻ｔとの差分に応じて、偽信号の確からしさｐを算出してもよい。この場合、確からしさ算出部１０６は、例えば選択時刻Ｔ２と判断時刻ｔとの差分が大きいほど、偽信号の確からしさｐを大きく算出してもよい。また、その場合、確からしさ算出部１０６は、例えば選択時刻Ｔ２と時刻Ｔ１と同時刻とみなして偽信号の確からしさｐを算出してもよい。
　また、確からしさ算出部１０６は、実施の形態１で説明した図４の関数と同様に、選択時刻Ｔ２に対して偽信号の確からしさｐの最大値Ａを変化させてもよい。また、確からしさ算出部１０６は、実施の形態１で説明した図６の関数と同様に、時刻Ｔ２に対して偽信号の確からしさｐの傾きｇを変化させてもよい。
　また、実施の形態１では、確からしさ算出部１０６が、ＰＰＩ表示装置１０８に表示された信号の数、及び、ＰＰＩ表示装置１０８の表示画面上の所定範囲における信号の密集度合のうちの少なくとも一方に基づいて、上述の判断時刻ｔを補正してもよい旨説明した。
　この点は、選択時刻Ｔ２についても同様であり、信号の状態によってはユーザが信号を選択するのに時間を要し、選択時刻Ｔ２が想定される時刻より遅くなる可能性もある。そこで、確からしさ算出部１０６は、図３～図６の関数において選択時刻Ｔ２を考慮する場合、選択時刻Ｔ２についても、上記信号の数及び密集度合に応じて補正し、当該補正後の時刻Ｔ２’を、各関数における選択時刻Ｔ２として用いてもよい。
　また、実施の形態２では、上記のような信号の数及び密集度合に加え、例えばＰＰＩ表示装置１０８における信号の動きの複雑さの度合、あるいは、想定される信号の動きに対する信号の動きの異なり具合等によっても、選択時刻Ｔ２が変化する場合がある。例えば、ＰＰＩ表示装置１０８における信号の動きが複雑(ランダム)なため、ユーザが選択しづらい場合、ユーザが当該信号を選択する操作に手間取り、選択に時間を要することが考えられ、その結果、選択時刻Ｔ２が想定よりも遅くなる可能性もある。
　そこで、確からしさ算出部１０６は、図３～図６の関数において選択時刻Ｔ２を考慮する場合、ＰＰＩ表示装置１０８における信号の動きの複雑さの度合、あるいは、想定される信号の動きに対する信号の動きの異なり具合に応じて、選択時刻Ｔ２を補正し、当該補正後の時刻Ｔ２’を、各関数における選択時刻Ｔ２として用いてもよい。
　なお、確からしさ算出部１０６は、選択時刻Ｔ２を考慮する場合において、ユーザにより、ある信号（例えば第１の信号）が選択された後、他の信号（例えば第２の信号）が選択され、その後、再び元の信号（第１の信号）が選択された場合、確からしさ算出部１０６は、第１の信号の選択時刻Ｔ２として、最後に第１の信号が選択された際の時刻を採用する。
　また、確からしさ算出部１０６は、選択時刻Ｔ２を考慮する場合において、ある信号（例えば第１の信号）がユーザにより選択された時刻Ｔ２を、この選択より前に他の信号（例えば第２の信号）が選択されたか否か、あるいは、この選択より前に他の信号がいくつ選択されたかに応じて補正し、当該補正後の時刻Ｔ２’を、各関数における、当該ある信号（第１の信号）に対する選択時刻Ｔ２として用いてもよい。
　なお、上記の説明では、ユーザによる操作として、ユーザによる信号の選択を例示して説明したが、ユーザによる操作はこれに限られない。例えば、ユーザによる操作は、ユーザが偽信号又は真信号を判断するために行う操作であって、入力部１０７を用いて行える操作であり、かつその操作時刻を保存部１０５に保存することができる操作であれば、信号の選択以外の操作であってもよい。
　以上のように、この実施の形態２によれば、信号取得部１０１は、信号を複数取得し、保存制御部１０４は、信号取得部１０１により取得された複数の信号のそれぞれに関する関連情報を保存部１０５に保存し、表示制御部１０２は、信号取得部１０１により取得された複数の信号を、時系列的に表示状態が変化する信号としてＰＰＩ表示装置１０８にそれぞれ表示し、入力受付部１０３は、ＰＰＩ表示装置１０８に表示された複数の信号のうちの任意の信号に対してユーザによりなされた選択操作を受け付け、表示制御部１０２は、入力受付部１０３により選択操作が受け付けられた信号に関する関連情報を保存部１０５から抽出し、当該抽出した関連情報をＰＰＩ表示装置１０８に表示する。これにより、実施の形態２に係るアノテーション装置１００ｂは、実施の形態１の効果に加え、ユーザにより選択された信号についてのみ、関連情報がＰＰＩ表示装置１０８に表示されるため、ユーザの煩わしさが低減される。
　また、入力受付部１０３は、ＰＰＩ表示装置１０８に表示された複数の信号のうちの第１の信号に対してユーザによりなされた選択操作、及び、当該第１の信号が偽信号である旨の入力、又は当該第１の信号が真信号である旨の入力を含む操作を受け付け、確からしさ算出部１０６は、操作ログにより、入力受付部１０３により第１の信号に対する選択操作が受け付けられた時刻と、入力受付部１０３により当該第１の信号が偽信号である旨の入力、又は当該第１の信号が真信号である旨の入力が受け付けられた時刻と、を特定し、第１の信号が偽信号であることの確からしさ、又は、第１の信号が真信号であることの確からしさを、入力受付部１０３により選択操作が受け付けられた時刻から、入力受付部１０３により第１の信号が偽信号である旨の入力、又は当該第１の信号が真信号である旨の入力が受け付けられた時刻までの時間に応じて変化する連続値として算出する。これにより、アノテーション装置１００ｂは、信号が偽信号であることの確からしさ、又は、信号が真信号であることの確からしさを、信号の選択時刻から入力の受付時刻までの時間の関数として算出することができる。
　また、確からしさ算出部１０６は、操作ログにより、入力受付部１０３が第１の信号の選択操作を受け付けた後に、第１の信号以外の信号の選択操作を受け付け、さらに第１の信号の選択操作を受け付けたか否かを特定し、入力受付部１０３が第１の信号の選択操作を受け付けた後に、第１の信号以外の信号の選択操作を受け付け、さらに第１の信号の選択操作を受け付けた場合に、入力受付部１０３により最後に第１の信号の選択操作が受け付けられた時刻を補正し、第１の信号が偽信号であることの確からしさ、又は、第１の信号が真信号であることの確からしさを、補正後の時刻から、入力受付部１０３により第１の信号が偽信号である旨の入力、又は当該第１の信号が真信号である旨の入力が受け付けられた時刻までの時間に応じて変化する連続値として算出する。これにより、アノテーション装置１００ｂは、ＰＰＩ表示装置１０８に表示された第１の信号が選択されるまでの過程で他の信号が選択されたことによる選択の遅れが、信号が偽信号であることの確からしさ、又は、信号が真信号であることの確からしさに影響することを抑制できる。
　なお、本開示は、各実施の形態の自由な組合わせ、或いは各実施の形態の任意の構成要素の変形、若しくは各実施の形態において任意の構成要素の省略が可能である。
　本開示は、ＰＰＩ表示装置に表示される信号から偽信号又は真信号を精度よく識別可能な機械学習モデルを生成するためのアノテーションを行うことが可能であり、アノテーション装置及び学習装置に用いるのに適している。
１０　学習装置、５１　処理回路、５２　ＣＰＵ、５３　メモリ、１００　アノテーション装置、１００ｂ　アノテーション装置、１０１　信号取得部、１０２　表示制御部、１０２ｂ　表示制御部、１０３　入力受付部、１０３ｂ　入力受付部、１０４　保存制御部、１０５　保存部、１０６　確からしさ算出部、１０７　入力部、１０８　ＰＰＩ表示装置、１１０　学習器、Ａ、Ａ０、Ａ１、Ａ２　最大値、Ｃ　定数、ｇ、ｇ１、ｇ２　傾き、ｐ　確からしさ、Ｔ１、Ｔ３、Ｔ４、Ｔ５、Ｔ６　時刻。

Claims (10)

  1. 　時間の経過とともに移動する移動体を検出するセンサから、当該移動体の検出結果を示す信号を取得する信号取得部と、
    　前記信号取得部により取得された信号を、時系列的に表示状態が変化する信号としてＰＰＩ表示装置に表示する表示制御部と、
    　前記ＰＰＩ表示装置に表示された信号に対してユーザによりなされた、当該信号が偽信号である旨の入力、又は当該信号が真信号である旨の入力を含む操作を受け付ける受付部と、
    　前記受付部により受け付けられた操作を操作ログとして保存部に保存する保存制御部と、
    　前記受付部により偽信号である旨の入力が受け付けられた信号が偽信号であることの確からしさ、又は、前記受付部により真信号である旨の入力が受け付けられた信号が真信号であることの確からしさを、前記保存部に保存された操作ログにより特定される操作の内容に応じて変化する連続値として算出する算出部と、
    　を備えたアノテーション装置。
  2. 　前記算出部は、
    　前記操作ログにより、前記表示制御部により前記信号が前記ＰＰＩ表示装置に表示された時刻と、前記受付部により前記信号が偽信号である旨の入力、又は当該信号が真信号である旨の入力が受け付けられた時刻とを特定し、
    　前記受付部により偽信号である旨の入力が受け付けられた信号が偽信号であることの確からしさ、又は、前記受付部により真信号である旨の入力が受け付けられた信号が真信号であることの確からしさを、前記信号が前記ＰＰＩ表示装置に表示された時刻から、前記受付部により前記信号が偽信号である旨の入力、又は当該信号が真信号である旨の入力が受け付けられた時刻までの時間に応じて変化する連続値として算出する
    　ことを特徴とする請求項１記載のアノテーション装置。
  3. 　前記信号取得部は、前記信号を複数取得し、
    　前記表示制御部は、前記信号取得部により取得された複数の信号を、時系列的に表示状態が変化する信号として前記ＰＰＩ表示装置にそれぞれ表示し、
    　前記算出部は、
    　前記表示制御部により前記ＰＰＩ表示装置に表示された信号の数、及び、前記ＰＰＩ表示装置の表示画面上の所定範囲における前記信号の密集度合のうちの少なくとも一方に基づいて、前記受付部により前記信号が偽信号である旨の入力、又は当該信号が真信号である旨の入力が受け付けられた時刻を補正し、
    　前記受付部により偽信号である旨の入力が受け付けられた信号が偽信号であることの確からしさ、又は、前記受付部により真信号である旨の入力が受け付けられた信号が真信号であることの確からしさを、前記信号が前記ＰＰＩ表示装置に表示された時刻から、前記補正後の時刻までの時間に応じて変化する連続値として算出する
    　ことを特徴とする請求項２記載のアノテーション装置。
  4. 　前記信号取得部は、前記信号を複数取得し、
    　前記表示制御部は、前記信号取得部により取得された複数の信号を、時系列的に表示状態が変化する信号として前記ＰＰＩ表示装置にそれぞれ表示し、
    　前記受付部は、
    　前記ＰＰＩ表示装置に表示された複数の信号のうちの第１の信号に対してユーザによりなされた、当該第１の信号が偽信号である旨の入力、又は当該第１の信号が真信号である旨の入力を含む操作を受け付け、
    　前記算出部は、
    　前記受付部により偽信号である旨の入力が受け付けられた前記第１の信号と、前記受付部により過去に偽信号である旨の入力が受け付けられた第２の信号との距離、又は、前記受付部により真信号である旨の入力が受け付けられた前記第１の信号と、前記受付部により過去に真信号である旨の入力が受け付けられた第２の信号との距離に基づいて、前記受付部により前記第１の信号が偽信号である旨の入力、又は当該第１の信号が真信号である旨の入力が受け付けられた時刻を補正し、
    　前記受付部により偽信号である旨の入力が受け付けられた前記第１の信号が偽信号であることの確からしさ、又は、前記受付部により真信号である旨の入力が受け付けられた前記第１の信号が真信号であることの確からしさを、前記第１の信号が前記ＰＰＩ表示装置に表示された時刻から、前記補正後の時刻までの時間に応じて変化する連続値として算出する
    　ことを特徴とする請求項２記載のアノテーション装置。
  5. 　前記信号取得部は、前記信号を複数取得し、
    　前記表示制御部は、前記信号取得部により取得された複数の信号を、時系列的に表示状態が変化する信号として前記ＰＰＩ表示装置にそれぞれ表示し、
    　前記算出部は、
    　前記表示制御部により前記ＰＰＩ表示装置に表示された信号が重畳表示されているか、及び、前記信号が重畳表示されている場合における重畳表示された信号の数のうちの少なくとも一方に基づいて、前記受付部により前記信号が偽信号である旨の入力、又は当該信号が真信号である旨の入力が受け付けられた時刻を補正し、
    　前記受付部により偽信号である旨の入力が受け付けられた信号が偽信号であることの確からしさ、又は、前記受付部により真信号である旨の入力が受け付けられた信号が真信号であることの確からしさを、前記信号が前記ＰＰＩ表示装置に表示された時刻から、前記補正後の時刻までの時間に応じて変化する連続値として算出する
    　ことを特徴とする請求項２記載のアノテーション装置。
  6. 　前記信号取得部は、前記信号を複数取得し、
    　前記保存制御部は、前記信号取得部により取得された複数の信号のそれぞれに関する関連情報を前記保存部に保存し、
    　前記表示制御部は、前記信号取得部により取得された複数の信号を、時系列的に表示状態が変化する信号として前記ＰＰＩ表示装置にそれぞれ表示し、
    　前記受付部は、前記ＰＰＩ表示装置に表示された複数の信号のうちの任意の信号に対してユーザによりなされた選択操作を受け付け、
    　前記表示制御部は、前記受付部により選択操作が受け付けられた信号に関する関連情報を前記保存部から抽出し、当該抽出した関連情報を前記ＰＰＩ表示装置に表示する
    　ことを特徴とする請求項１記載のアノテーション装置。
  7. 　前記受付部は、
    　前記ＰＰＩ表示装置に表示された複数の信号のうちの第１の信号に対してユーザによりなされた前記選択操作、及び、当該第１の信号が偽信号である旨の入力、又は当該第１の信号が真信号である旨の入力を含む操作を受け付け、
    　前記算出部は、
    　前記操作ログにより、前記受付部により前記第１の信号に対する前記選択操作が受け付けられた時刻と、前記受付部により当該第１の信号が偽信号である旨の入力、又は当該第１の信号が真信号である旨の入力が受け付けられた時刻と、を特定し、
    　前記第１の信号が偽信号であることの確からしさ、又は、前記第１の信号が真信号であることの確からしさを、前記受付部により前記選択操作が受け付けられた時刻から、前記受付部により前記第１の信号が偽信号である旨の入力、又は当該第１の信号が真信号である旨の入力が受け付けられた時刻までの時間に応じて変化する連続値として算出する
    　ことを特徴とする請求項６記載のアノテーション装置。
  8. 　前記算出部は、
    　前記操作ログにより、前記受付部が前記第１の信号の選択操作を受け付けた後に、前記第１の信号以外の信号の選択操作を受け付け、さらに前記第１の信号の選択操作を受け付けたか否かを特定し、
    　前記受付部が前記第１の信号の選択操作を受け付けた後に、前記第１の信号以外の信号の選択操作を受け付け、さらに前記第１の信号の選択操作を受け付けた場合に、前記受付部により最後に前記第１の信号の選択操作が受け付けられた時刻を補正し、
    　前記第１の信号が偽信号であることの確からしさ、又は、前記第１の信号が真信号であることの確からしさを、前記補正後の時刻から、前記受付部により前記第１の信号が偽信号である旨の入力、又は当該第１の信号が真信号である旨の入力が受け付けられた時刻までの時間に応じて変化する連続値として算出する
    　ことを特徴とする請求項７記載のアノテーション装置。
  9. 　アノテーション装置によるアノテーション方法であって、
    　信号取得部が、時間の経過とともに移動する移動体を検出するセンサから、当該移動体の検出結果を示す信号を取得するステップと、
    　表示制御部が、前記信号取得部により取得された信号を、時系列的に表示状態が変化する信号としてＰＰＩ表示装置に表示するステップと、
    　受付部が、前記ＰＰＩ表示装置に表示された信号に対してユーザによりなされた、当該信号が偽信号である旨の入力、又は当該信号が真信号である旨の入力を含む操作を受け付けるステップと、
    　保存制御部が、前記受付部により受け付けられた操作を操作ログとして保存部に保存するステップと、
    　算出部が、前記受付部により偽信号である旨の入力が受け付けられた信号が偽信号であることの確からしさ、又は、前記受付部により真信号である旨の入力が受け付けられた信号が真信号であることの確からしさを、前記保存部に保存された操作ログにより特定される操作の内容に応じて変化する連続値として算出するステップと、
    　を有するアノテーション方法。
  10. 　請求項１記載のアノテーション装置と、学習器とを備え、
    　前記学習器は、
    　前記信号取得部により取得された信号を示すデータと、
    　前記算出部により算出された、前記受付部により偽信号である旨の入力が受け付けられた信号が偽信号であることの確からしさ、又は、前記受付部により真信号である旨の入力が受け付けられた信号が真信号であることの確からしさと、に基づき、
    　前記信号取得部により取得された信号を示すデータを入力とし、当該入力されたデータが示す信号が偽信号であることの確からしさ、又は、当該入力されたデータが示す信号が真信号であることの確からしさを、前記保存部に保存された操作ログにより特定される操作の内容に応じて変化する連続値として出力する機械学習モデルを生成する
    　ことを特徴とする学習装置。
PCT/JP2022/018792 2022-04-26 2022-04-26 アノテーション装置、アノテーション方法及び学習装置 WO2023209786A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2024509004A JP7511789B2 (ja) 2022-04-26 アノテーション装置、アノテーション方法及び学習装置
PCT/JP2022/018792 WO2023209786A1 (ja) 2022-04-26 2022-04-26 アノテーション装置、アノテーション方法及び学習装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/018792 WO2023209786A1 (ja) 2022-04-26 2022-04-26 アノテーション装置、アノテーション方法及び学習装置

Publications (1)

Publication Number Publication Date
WO2023209786A1 true WO2023209786A1 (ja) 2023-11-02

Family

ID=88518098

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/018792 WO2023209786A1 (ja) 2022-04-26 2022-04-26 アノテーション装置、アノテーション方法及び学習装置

Country Status (1)

Country Link
WO (1) WO2023209786A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019160013A (ja) * 2018-03-15 2019-09-19 オムロン株式会社 情報処理装置、情報処理方法、およびプログラム
WO2021161502A1 (ja) * 2020-02-14 2021-08-19 日本電気株式会社 学習装置、学習方法、記録媒体、及び、レーダ装置
CN113962151A (zh) * 2021-10-21 2022-01-21 中国人民解放军空军航空大学 基于深度卷积迁移学习的距离假目标智能识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019160013A (ja) * 2018-03-15 2019-09-19 オムロン株式会社 情報処理装置、情報処理方法、およびプログラム
WO2021161502A1 (ja) * 2020-02-14 2021-08-19 日本電気株式会社 学習装置、学習方法、記録媒体、及び、レーダ装置
CN113962151A (zh) * 2021-10-21 2022-01-21 中国人民解放军空军航空大学 基于深度卷积迁移学习的距离假目标智能识别方法

Also Published As

Publication number Publication date
JPWO2023209786A1 (ja) 2023-11-02

Similar Documents

Publication Publication Date Title
US10489918B1 (en) Video object tracking
CN109117831B (zh) 物体检测网络的训练方法和装置
US10922628B2 (en) Method and apparatus for machine learning
JP2020061066A (ja) 学習プログラム、検出プログラム、学習装置、検出装置、学習方法および検出方法
CN110222780B (zh) 物体检测方法、装置、设备和存储介质
JP2009282686A (ja) 分類モデル学習装置および分類モデル学習方法
JP2015087903A (ja) 情報処理装置及び情報処理方法
JP7334801B2 (ja) 学習装置、学習方法および学習プログラム
CN111507362B (zh) 神经网络的训练方法、基于神经网络的分类方法及其装置
WO2016081531A1 (en) Automatic schema mismatch detection
JP2012501011A (ja) 画像解析方法及びシステム
KR20220075273A (ko) 다중 객체 추적 방법 및 이를 위한 장치
JP7422548B2 (ja) ラベルノイズ検出プログラム、ラベルノイズ検出方法及びラベルノイズ検出装置
CN112633355A (zh) 图像数据处理方法及装置、目标检测模型训练方法及装置
CN111124863B (zh) 智能设备性能测试方法、装置及智能设备
WO2023209786A1 (ja) アノテーション装置、アノテーション方法及び学習装置
JP7511789B2 (ja) アノテーション装置、アノテーション方法及び学習装置
CN115953430B (zh) 基于改进的批量样本损失函数的视频单目标跟踪方法及系统
US11983247B2 (en) Methods, systems, articles of manufacture, and apparatus to recalibrate confidences for image classification
CN114422450B (zh) 基于多源网络流量数据的网络流量分析方法和装置
CN114846513A (zh) 动作分析系统和动作分析程序
CN111723719B (zh) 基于类别外部记忆的视频目标检测方法、系统、装置
JP2009204434A (ja) 目標検出装置、目標検出方法及び目標検出プログラム
CN109993776B (zh) 一种基于多级模板的相关滤波目标跟踪方法及系统
EP4083909A1 (en) Identification information addition device, identification information addition method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22940066

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024509004

Country of ref document: JP