WO2023073795A1 - クラス境界検出装置、制御方法、及び非一時的なコンピュータ可読媒体 - Google Patents

クラス境界検出装置、制御方法、及び非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2023073795A1
WO2023073795A1 PCT/JP2021/039405 JP2021039405W WO2023073795A1 WO 2023073795 A1 WO2023073795 A1 WO 2023073795A1 JP 2021039405 W JP2021039405 W JP 2021039405W WO 2023073795 A1 WO2023073795 A1 WO 2023073795A1
Authority
WO
WIPO (PCT)
Prior art keywords
series data
class
time
boundary
similarity
Prior art date
Application number
PCT/JP2021/039405
Other languages
English (en)
French (fr)
Inventor
賢太 石原
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2021/039405 priority Critical patent/WO2023073795A1/ja
Priority to JP2023555920A priority patent/JPWO2023073795A5/ja
Publication of WO2023073795A1 publication Critical patent/WO2023073795A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • This disclosure relates to technology for analyzing time-series data.
  • time-series data may contain multiple time-series data belonging to one of multiple classes.
  • time-series data is video data obtained by photographing a plurality of work processes being performed in sequence.
  • this video data includes a plurality of video data representing each work process.
  • Patent Document 1 discloses a technique of assigning a label of a class to which each data (hereinafter referred to as a frame) constituting time-series data belongs to.
  • the data processing device of Patent Literature 1 extracts frames from time-series data at regular intervals. Each extracted frame is manually assigned a class label by the user. Furthermore, this data processing device determines whether or not the difference between adjacent frames is equal to or less than a threshold for the plurality of extracted frames. If the difference between adjacent frames is equal to or less than a threshold, the labels assigned to these frames are automatically assigned to each frame existing between these frames. On the other hand, if the difference between adjacent frames is not equal to or less than the threshold, a plurality of frames are extracted at even finer intervals from between these frames, and similar processing is performed.
  • Patent Document 1 it is necessary for the user to manually assign a class label to the extracted frames.
  • the present invention has been made in view of this problem, and one of its purposes is to provide a technique for detecting class boundaries from time-series data.
  • the class boundary detection device of the present disclosure includes an acquisition unit that acquires target time-series data that is time-series data to be analyzed, and extracts a plurality of extracted time-series data from the target time-series data to create two different classes
  • a calculation unit that calculates the degree of similarity between the reference time-series data representing the class boundaries of the extracted time-series data and each of the extracted time-series data; a detection unit for detecting class boundaries represented by the time-series data.
  • the reference time-series data has the leading portion of time-series data belonging to the subsequent class indicated by the class boundary after the tail portion of the time-series data belonging to the previous class indicated by the class boundary.
  • the control method of the present disclosure is executed by a computer.
  • the control method includes an acquisition step of acquiring target time-series data that is time-series data to be analyzed, extracting a plurality of extracted time-series data from the target time-series data, and class boundaries between two different classes. a calculating step of calculating a similarity between the reference time-series data represented and each of the extracted time-series data; and a detection step of detecting the represented class boundaries.
  • the reference time-series data has the leading portion of time-series data belonging to the subsequent class indicated by the class boundary after the tail portion of the time-series data belonging to the previous class indicated by the class boundary.
  • the non-transitory computer-readable medium of the present disclosure stores a program that causes a computer to execute the control method of the present disclosure.
  • a technique for detecting class boundaries from time-series data is provided.
  • FIG. 4 is a diagram illustrating an outline of the operation of the class boundary detection device; It is a figure which illustrates reference time-series data.
  • FIG. 10 is a diagram illustrating detection of class boundaries using reference time-series data;
  • 2 is a block diagram illustrating the functional configuration of a class boundary detection device;
  • FIG. 2 is a block diagram illustrating the hardware configuration of a computer that implements the class boundary detection device;
  • FIG. 4 is a flow chart illustrating the flow of processing executed by the class boundary detection device;
  • FIG. 4 is a diagram illustrating reference data;
  • FIG. 10 is a diagram illustrating detection of class boundaries using reference time-series data
  • 2 is a block diagram illustrating the functional configuration of a class boundary detection device
  • FIG. 2 is a block diagram illustrating the hardware configuration of a computer that implements the class boundary detection device
  • FIG. 4 is a flow chart illustrating the flow of processing executed by the class boundary detection device
  • FIG. 4 is a diagram illustrating reference data
  • FIG. 4 is a diagram showing that a plurality of extracted time-series data extracted from around a class boundary can be similar to reference time-series data corresponding to the type of the class boundary;
  • 3 is a block diagram illustrating the functional configuration of a class boundary detection device having an output section;
  • FIG. 10 is a diagram illustrating output information indicating the boundary type and position of each class boundary;
  • 2 is a block diagram illustrating the functional configuration of a class boundary detection device having a verification unit;
  • FIG. 10 is a diagram illustrating verification of consistency of class boundaries;
  • FIG. 10 is a diagram illustrating verification of consistency of class boundaries;
  • 2 is a block diagram illustrating the functional configuration of a class boundary detection device having a correction unit;
  • FIG. 11 is a diagram illustrating a correction screen for correcting a boundary type;
  • predetermined values such as predetermined values and threshold values are stored in advance in a storage device or the like that can be accessed from a device that uses the values.
  • the storage unit is composed of one or more arbitrary number of storage devices.
  • FIG. 1 is a diagram illustrating target time-series data 10 handled by the class boundary detection device of the embodiment.
  • the target time-series data 10 is composed of a plurality of time-series data 20 belonging to different classes.
  • the target time-series data 10 in FIG. 1 has time-series data 20-1 belonging to class C1, time-series data 20-2 belonging to class C2, and time-series data 20-3 belonging to class C3 in this order.
  • Each piece of data constituting the time-series data is hereinafter referred to as a frame.
  • Time series data can be expressed as a data string in which frames are arranged in time series.
  • the class boundary detection device 2000 can handle various types of time series data as the target time series data 10.
  • the target time-series data 10 is video data.
  • the video data is time-series data in which a plurality of video frames generated by a video camera are arranged in the order of generation (ascending order of frame numbers).
  • each time-series data 20 included in the target time-series data 10 is classified into classes according to the content of the video represented by the time-series data 20 .
  • each work process can be treated as a class. That is, when the target time-series data 10 includes the time-series data 20 including the state of the work of the process P1, the time-series data 20 including the state of the work of the process P2, and the state of the work of the process P3 It can be divided into three time-series data 20 called series data 20 .
  • the target time-series data 10 is not limited to video data.
  • the target time-series data 10 may be audio data generated by recording audio with a microphone.
  • the target time-series data 10 may be sensing data representing results of sensing repeatedly performed by an arbitrary sensor (for example, a three-dimensional acceleration sensor).
  • FIG. 2 is a diagram illustrating an overview of the operation of the class boundary detection device 2000 of the embodiment.
  • FIG. 2 is a diagram for facilitating an understanding of the outline of class boundary detection device 2000, and the operation of class boundary detection device 2000 is not limited to that shown in FIG.
  • reference time-series data 30 is input to class boundary detection device 2000 .
  • the class boundary detection device 2000 only needs to be able to calculate the degree of similarity between the time-series data extracted from the target time-series data 10 and the reference time-series data 30, and does not need to acquire the reference time-series data 30 itself. good too.
  • the class boundary detection device 2000 may acquire the feature amount of the reference time-series data 30 instead of the reference time-series data 30 itself.
  • the class boundary detection device 2000 detects class boundaries from the target time-series data 10 in which the class boundaries are unknown.
  • a class boundary in the target time-series data 10 means a boundary between time-series data 20 belonging to a certain class and other time-series data 20 belonging to another class.
  • the class boundary detection device 2000 handles the target time series data 10 illustrated in FIG.
  • the class boundary detection device 2000 detects the boundary between the time series data 20-1 and the time series data 20-2 (the boundary between the class C1 and the class C2) and the boundary between the time series data 20-2 and the time series data 20-3.
  • a boundary (boundary between class C2 and class C3) is detected as a class boundary.
  • a class boundary can be represented by the data immediately before the class boundary or by the data immediately after the class boundary.
  • the boundary between the time-series data 20-1 and the time-series data 20-2 can be represented by the data at the end of the time-series data 20-1 or the data at the beginning of the time-series data 20-2. can.
  • the class boundary detection device 2000 uses the reference time series data 30 to detect class boundaries.
  • FIG. 3 is a diagram illustrating reference time-series data 30. As shown in FIG. Reference time series data 30 is obtained from time series data 50 .
  • the time-series data 50 includes time-series data 40-1 belonging to a certain class and then time-series data 40-2 belonging to another class.
  • the reference time-series data 30 is time-series data composed of frames around the boundary between the time-series data 40-1 and the time-series data 40-2 (for example, a predetermined number of frames before and after the class boundary).
  • time series data 40-1 belongs to class C1
  • time series data 40-2 belongs to class C2.
  • the reference time-series data 30 is composed of T frames before and after the boundary between the class C1 and the class C2 (T frames at the end of the time-series data 40-1 and T frames at the beginning of the time-series data 40-2) (T is a natural number).
  • T is a natural number.
  • the number of frames before the class boundary and the number of frames after the class boundary may be different from each other.
  • the class boundary type represented by the reference time-series data 30 will be referred to as "the boundary type corresponding to the reference time-series data 30".
  • the boundary type corresponding to the reference time series data 30 is "boundary between class C1 and class C2".
  • the class boundary detection device 2000 extracts one or more pieces of time-series data having the same length as the reference time-series data 30 from the target time-series data 10, and for each extracted time-series data, the degree of similarity with the reference time-series data 30 is Calculate
  • the time-series data extracted from the target time-series data 10 is called extracted time-series data.
  • the class boundary detection device 2000 detects extracted time-series data having a high degree of similarity with the reference time-series data 30 (for example, the similarity is equal to or higher than a threshold), and extracts the reference time-series data from the detected extracted time-series data.
  • a class boundary of the boundary type corresponding to the data 30 is detected.
  • extracted time-series data having a high degree of similarity with the reference time-series data 30 will also be referred to as "extracted time-series data that matches the reference time-series data 30".
  • FIG. 4 is a diagram illustrating detection of class boundaries using the reference time-series data 30.
  • the type of class boundary detected in the example of FIG. 4 is the boundary between class C1 and class C2. Therefore, the reference time-series data 30 corresponding to the boundary type of the boundary between class C1 and class C2 is used.
  • the class boundary detection device 2000 extracts a plurality of extracted time-series data 60 from the target time-series data 10, and determines whether each extracted time-series data 60 has a high degree of similarity with the reference time-series data 30. judge. For example, in FIG. 4, extracted time-series data 60-X is detected as the extracted time-series data 60 having a high degree of similarity with the reference time-series data 30. FIG. Therefore, the class boundary detection device 2000 detects the boundary between the class C1 and the class C2 from the extracted time-series data 60-X.
  • the class boundary detection device 2000 detects the portion dividing the extracted time-series data 60-X into two equal parts as the boundary between class C1 and class C2.
  • class boundaries are automatically detected from the target time-series data 10 based on the degree of similarity between each extracted time-series data 60 extracted from the target time-series data 10 and the reference time-series data 30. can do. Therefore, class boundaries can be detected from the target time-series data 10 more easily than in the case where the frames constituting the target time-series data 10 must be manually assigned class labels.
  • each frame located between adjacent class boundaries can identify the class to which For example, if a boundary between classes C1 and C2 is followed by a boundary between classes C2 and C3, then it is known that each frame located between these boundaries belongs to class C2. Therefore, it becomes possible to automatically assign a class label to each frame constituting the target time-series data 10, which facilitates labeling of the frames.
  • the time-series data labeled for each frame in this way can be used as teacher data, for example, when generating a machine learning model that automatically classifies time-series data.
  • a machine learning model can be used to capture video data of workers working in order to improve production quality, production efficiency, or worker safety. By analyzing, it is conceivable to automatically determine the work process. In order to train such machine learning models, it is necessary to prepare a large amount of labeled video data. However, it takes a lot of time and effort to manually prepare a large amount of labeled video data.
  • the class boundary detection device 2000 of this embodiment will be described in more detail below.
  • FIG. 5 is a block diagram illustrating the functional configuration of the class boundary detection device 2000 of the embodiment.
  • the class boundary detection device 2000 has an acquisition section 2020 , a calculation section 2040 and a detection section 2060 .
  • the acquisition unit 2020 acquires the target time-series data 10 .
  • the calculation unit 2040 extracts a plurality of extracted time-series data 60 from the target time-series data 10 and calculates the degree of similarity between each extracted time-series data 60 and the reference time-series data 30 .
  • the detection unit 2060 detects class boundaries from the target time-series data 10 based on the degree of similarity calculated for each extracted time-series data 60 .
  • the class boundary detection device 2000 detects the boundary between class C1 and class C2 from the target time-series data 10 .
  • Each functional component of the class boundary detection device 2000 may be realized by hardware (eg, hardwired electronic circuit, etc.) that implements each functional component, or a combination of hardware and software (eg, : a combination of an electronic circuit and a program that controls it, etc.).
  • hardware eg, hardwired electronic circuit, etc.
  • software e.g, : a combination of an electronic circuit and a program that controls it, etc.
  • FIG. 6 is a block diagram illustrating the hardware configuration of the computer 500 that implements the class boundary detection device 2000.
  • Computer 500 is any computer.
  • the computer 500 is a stationary computer such as a PC (Personal Computer) or a server machine.
  • the computer 500 is a portable computer such as a smart phone or a tablet terminal.
  • Computer 500 may be a dedicated computer designed to implement class boundary detection apparatus 2000, or a general-purpose computer.
  • each function of the class boundary detection device 2000 is implemented on the computer 500 by installing a predetermined application on the computer 500 .
  • the application is composed of a program for realizing each functional component of the class boundary detection device 2000 .
  • the acquisition method of the above program is arbitrary.
  • the program can be acquired from a storage medium (DVD disc, USB memory, etc.) in which the program is stored.
  • the program can be obtained by downloading the program from a server device that manages the storage device in which the program is stored.
  • Computer 500 has bus 502 , processor 504 , memory 506 , storage device 508 , input/output interface 510 and network interface 512 .
  • the bus 502 is a data transmission path through which the processor 504, memory 506, storage device 508, input/output interface 510, and network interface 512 exchange data with each other.
  • the method of connecting the processors 504 and the like to each other is not limited to bus connection.
  • the processor 504 is various processors such as a CPU (Central Processing Unit), GPU (Graphics Processing Unit), or FPGA (Field-Programmable Gate Array).
  • the memory 506 is a main memory implemented using a RAM (Random Access Memory) or the like.
  • the storage device 508 is an auxiliary storage device implemented using a hard disk, SSD (Solid State Drive), memory card, ROM (Read Only Memory), or the like.
  • the input/output interface 510 is an interface for connecting the computer 500 and input/output devices.
  • the input/output interface 510 is connected to an input device such as a keyboard and an output device such as a display device.
  • a network interface 512 is an interface for connecting the computer 500 to a network.
  • This network may be a LAN (Local Area Network) or a WAN (Wide Area Network).
  • the storage device 508 stores programs (programs for realizing the applications described above) that implement each functional component of the class boundary detection device 2000 .
  • the processor 504 reads this program into the memory 506 and executes it, thereby realizing each functional component of the class boundary detection device 2000 .
  • the class boundary detection device 2000 may be realized by one computer 500 or may be realized by a plurality of computers 500. In the latter case, the configuration of each computer 500 need not be the same, and can be different.
  • Some or all of the functions of the class boundary detection device 2000 may be implemented by the device that generated the target time-series data 10.
  • the device detects class boundaries from the target time series data 10 generated by itself, Along with the data 10, output information indicating class boundaries.
  • the target time-series data 10 is video data.
  • part or all of the functions of class boundary detection apparatus 2000 may be implemented by the video camera that generated the video data.
  • a video camera for example, a network camera, an IP (Internet Protocol) camera, or a camera called an intelligent camera can be used.
  • the video camera detects class boundaries in video data generated by itself, and together with the video data, information representing the class boundaries (described later) output information).
  • FIG. 7 is a flowchart illustrating the flow of processing executed by the class boundary detection device 2000 of the embodiment.
  • the acquisition unit 2020 acquires the target time-series data 10 (S102).
  • S104 to S116 constitute a loop process L1 executed for each extracted time-series data 60 extracted from the target time-series data 10 .
  • the class boundary detection device 2000 determines whether or not the loop process L1 has been executed for all the extracted time-series data 60. FIG. If the loop process L1 has already been executed for all the extracted time-series data 60, the process of FIG. 7 ends.
  • time-series data to be extracted 60-i the time-series data to be extracted 60-i.
  • S106 to S114 constitute a loop process L2 that is executed for each of one or more reference time-series data 30.
  • Each reference time-series data 30 corresponds to a different class boundary.
  • the class boundary detection device 2000 determines whether or not loop processing L2 has been executed for all the reference time series data 30.
  • FIG. If the loop process L2 has already been executed for all the reference time-series data 30, the process of FIG. 7 proceeds to S116. Since S116 is the end of loop processing L1, the processing in FIG. 7 proceeds to S104.
  • loop processing L2 is executed with the next reference time-series data 30 as the target.
  • the reference time-series data 30 to be subjected to the loop processing L2 is expressed as reference time-series data 30-j.
  • the calculation unit 2040 calculates the degree of similarity between the extracted time-series data 60-i and the reference time-series data 30-j (S108).
  • the detection unit 2060 determines whether the extracted time-series data 60-i and the reference time-series data 30-i match based on the degree of similarity between the extracted time-series data 60-i and the reference time-series data 30-j. is determined (S110). For example, the detection unit 2060 determines that the extracted time-series data 60-i and the reference time-series data 30-j match when the degree of similarity between them is equal to or greater than a predetermined threshold. On the other hand, if their similarity is less than the predetermined threshold, the detection unit 2060 determines that they do not match.
  • the detection unit 2060 detects the reference time-series data 30-j from the extracted time-series data 60-i.
  • a class boundary of the boundary type to be detected is detected (S112). After S112 is executed, or after it is determined that the extracted time-series data 60-i and the reference time-series data 30-j do not match (S110: NO), the process of FIG. 7 proceeds to S114. Since S114 is the end of loop processing L2, the processing in FIG. 7 proceeds to S106.
  • the flow of processing shown in FIG. 7 is an example, and the flow of processing executed by the class boundary detection device 2000 is not limited to the flow shown in FIG.
  • the loop process L1 instead of putting the loop process L2 inside the loop process L1, the loop process L1 may be put inside the loop process L2.
  • the acquisition unit 2020 acquires the target time-series data 10 .
  • various methods can be adopted as a method of acquiring time-series data to be analyzed.
  • the target time-series data 10 is stored in advance in an arbitrary storage device in a form that can be obtained from the class boundary detection device 2000 .
  • the acquisition unit 2020 acquires the target time-series data 10 by reading the target time-series data 10 from the storage device.
  • the storage device storing the target time-series data 10 may be provided inside or outside the class boundary detection device 2000 .
  • the storage device is provided inside the device that generated the target time-series data 10, for example.
  • the acquisition unit 2020 acquires the target time-series data 10 by receiving the target time-series data 10 transmitted from another device.
  • a device that transmits the target time-series data 10 is, for example, a device that generated the target time-series data 10 .
  • the acquisition unit 2020 acquires the target time-series data 10 from the video camera that generated the target time-series data 10 .
  • the calculation unit 2040 extracts a plurality of different extracted time-series data 60 from the target time-series data 10 .
  • the length of each extracted time-series data is the same as the length of the reference time-series data 30 .
  • the calculation unit 2040 extracts a plurality of extracted time-series data 60 from the target time-series data 10 using a sliding window.
  • the length of the reference time-series data 30 is set as the width of the sliding window (that is, the length of the extracted time-series data 60).
  • An arbitrary value can be set for the stride of the sliding window (that is, the interval between two adjacent extracted time-series data 60). For example, if the stride value is set to 1, all the extracted time-series data 60 that can be extracted from the target time-series data 10 are extracted in order from the beginning of the target time-series data 10 .
  • the calculation unit 2040 may specify the length of the reference time-series data 30 by acquiring the reference time-series data 30 .
  • the acquisition unit 2020 acquires data necessary for calculating the degree of similarity between the reference time-series data 30 corresponding to the class boundary type to be detected and the extracted time-series data 60 .
  • This data is called reference data.
  • the reference data is the reference time-series data 30 itself.
  • the reference data is a feature quantity extracted from the reference time-series data 30 . The feature amount will be described later.
  • the reference data is stored in advance in the storage device in a manner that can be obtained from the class boundary detection device 2000 together with boundary type identification information representing the type of the corresponding class boundary.
  • FIG. 8 is a diagram illustrating reference data.
  • a table 100 in FIG. 8 shows reference data 90 corresponding to the boundary type specified by the boundary type identification information 80 in association with the boundary type identification information 80 .
  • reference data 90 is a feature quantity of reference time-series data 30 .
  • the type of class boundary can be expressed as an ordered pair of classes.
  • the type of boundary between classes C1 and C2 (the boundary representing the transition from class C1 to class C2) can be represented by an ordered pair (C1, C2). Therefore, in FIG. 8, an ordered pair of classes is used for the boundary type identification information 80 .
  • the acquisition unit 2020 acquires all reference data 90 stored in the storage device.
  • the acquisition unit 2020 identifies boundary types of class boundaries that may be included in the target time-series data 10, and obtains reference data 90 corresponding to each identified boundary type.
  • the types of class boundaries that can be included in the target time-series data 10 can be represented by all sets of ordered pairs of classes that can be included in the target time-series data 10 .
  • the classes that can be included in the target time-series data 10 are three classes C1, C2, and C3.
  • the acquisition unit 2020 acquires the corresponding reference data 90 for each boundary type represented by each ordered pair of classes that can be included in the target time-series data 10 .
  • the class boundary detection device 2000 acquires the reference data 90 for the boundary types represented by each of the above six order pairs.
  • the corresponding reference time-series data 30 or the feature amount of the corresponding reference time-series data 30 is acquired as the reference data 90. be.
  • Reference time-series data 30 In order to prepare the reference data 90, it is necessary to generate the reference time-series data 30 as a prerequisite. Further, as described using FIG. 3, the reference time-series data 30 is part of the time-series data 50 including the two time-series data 40-1 and 40-2. In order to do so, it is necessary to generate time series data 50 .
  • time-series data 50 there are various methods for generating the time-series data 50. For example, suppose that time series data 50 including the boundary between classes C1 and C2 is generated. In this case, for example, the time-series data 50 is generated by actually observing a desired situation with a device (camera, various sensors, etc.) for generating the time-series data 50 .
  • the time-series data 50 is video data
  • class C1 and class C2 are the types of work processes.
  • video data including the boundary between classes C1 and C2 can be obtained by photographing the state in which work process C2 is performed after work process C1 is performed.
  • the time series data 50 is generated by separately generating the time series data 40-1 before the class boundary and the time series data 40-2 after the class boundary, and then connecting them by an arbitrary method.
  • the time-series data 40-1 is generated by photographing the work process C1 with a camera.
  • time-series data 40-2 is generated by photographing the state in which the work process C2 is being performed with a camera. After that, by connecting the time series data 40-2 after the time series data 40-1 using video editing software or the like, the time series data 50 including the boundary between the classes C1 and C2 can be generated.
  • the reference time-series data 30 can be generated by extracting the border portion and surrounding frames from the time-series data 50 .
  • an existing method can be used as a method for extracting a portion of the time-series data.
  • the reference time-series data 30 may be generated without generating the time-series data 50.
  • T frames at the end of the time-series data 40-1 and T frames at the beginning of the time-series data 40-2 are extracted and connected to obtain T frames before and after the boundary between classes C1 and C2.
  • Reference time series data 30 consisting of frames can be generated.
  • the calculator 2040 calculates the degree of similarity between the extracted time-series data 60 and the reference time-series data 30 (S108).
  • the degree of similarity between the time-series data to be extracted 60 and the reference time-series data 30 can be represented by, for example, the degree of similarity of these feature amounts.
  • the calculation unit 2040 calculates feature amounts from the extracted time-series data 60 .
  • the calculation unit 2040 also calculates the feature amount for the reference time-series data 30 .
  • the feature amount of the reference time-series data 30 represented by the reference data 90 is calculated in advance by the same method as the method of calculating the feature amount from the extracted time-series data 60. Assume that it is calculated from the reference time-series data 30 .
  • the calculation unit 2040 extracts an image feature from the frame as the feature amount of the frame.
  • Any existing technique can be used as the technique for extracting image features from image data. For example, by inputting a video frame to a CNN (Convolutional Neural Network) that handles image data such as ResNet, the feature values of the video frame can be obtained from the intermediate layer.
  • CNN Convolutional Neural Network
  • the calculation unit 2040 may calculate the feature amount of the video frame by adding arbitrary data to the image feature extracted from the video frame.
  • Data added to image features is hereinafter referred to as additional data.
  • additional data For example, assume that the image features of a video frame are represented by M-dimensional vectors, and the additional data are represented by L-dimensional vectors.
  • the feature value of the video frame can be represented by a (M+L)-dimensional vector that concatenates these vectors.
  • the calculation unit 2040 detects a specific object from the video frame and calculates additional data representing the orientation of the object.
  • the target time-series data 10 is video data generated by photographing a person's work.
  • data representing a person's posture can be used as additional data.
  • various existing representations can be used to represent the posture data.
  • the feature amount of time-series data is not limited to data in which the feature amount of each frame is concatenated.
  • the calculation unit 2040 calculates a feature amount considering the time series of frames for the time series data.
  • various existing techniques can be used as techniques for extracting feature amounts from time series data in consideration of the time series. For example, by inputting time-series data to a 3D CNN that can consider time-series, such as I3D, the feature values of the time-series data can be obtained from the intermediate layer.
  • the calculation unit 2040 calculates the similarity between the feature amount of the extracted time-series data 60 and the feature amount of the reference time-series data 30 as the similarity between the extracted time-series data 60 and the reference time-series data 30 .
  • various methods can be used to calculate the degree of similarity between two feature quantities.
  • the feature amount of time-series data is data in which the feature amount of each frame is concatenated.
  • the calculation unit 2040 calculates the similarity for each frame between the feature amount of the extracted time-series data 60 and the feature amount of the reference time-series data 30, and the calculated similarity statistical value (average value, etc.) is treated as the similarity of these features.
  • various indexes such as norm and cosine similarity can be used to calculate the similarity between the feature amounts of two frames. Even when the feature amount includes the additional data described above, the similarity between the feature amount of the time-series data to be extracted 60 and the feature amount of the reference time-series data 30 can be calculated by the same method.
  • the method for calculating the degree of similarity between the extracted time-series data 60 and the reference time-series data 30 is not limited to the method using these feature amounts.
  • the similarity calculation uses a machine learning model (for example, a neural network) that has been trained in advance to output the similarity in response to the input of two pieces of time-series data.
  • the calculation unit 2040 can obtain the degree of similarity between the extracted time-series data 60 and the reference time-series data 30 by inputting them into this trained model.
  • An existing technique can be used as a technique for training a machine learning model so as to calculate the degree of similarity between two pieces of time-series data.
  • the detection unit 2060 detects class boundaries from the time-series data 60 to be extracted. More specifically, the detection unit 2060 identifies the types and positions of class boundaries included in the extracted time-series data 60 determined to match the reference time-series data 30 .
  • the class boundary type included in the extracted time-series data 60 is the boundary type corresponding to the reference time-series data 30 that matches the extracted time-series data 60 .
  • the detection unit 2060 identifies that the class boundary type included in the extracted time-series data 60 is (C1, C2). In other words, this class boundary is identified as being the boundary between classes C1 and C2.
  • the position of the class boundary in the extracted time-series data 60 can be specified based on the position of the class boundary in the reference time-series data 30 that matches it. For example, suppose that the reference time-series data 30 determined to match the extracted time-series data 60 has time-series data of length Y belonging to class C2 after time-series data of length X belonging to class C1. . In this case, the calculation unit 2040 identifies the X-th frame from the top of the extracted time-series data 60 or the (X+1)-th frame from the top of the extracted time-series data 60 as the frame representing the position of the class boundary. do.
  • the X-th frame from the beginning of the extracted time-series data 60 represents the end of the sequence of frames belonging to class C1.
  • the (X+1)th frame from the beginning of the extracted time-series data 60 represents the beginning of the sequence of frames belonging to class C2.
  • the detection unit 2060 detects class boundaries from any one of the plurality of extracted time-series data 60 . This point will be described with reference to FIG.
  • FIG. 9 is a diagram showing that a plurality of extracted time-series data 60 extracted from around a class boundary can be similar to the reference time-series data 30 corresponding to the class boundary type.
  • the reference time-series data 30 corresponds to the boundary type (C1, C2), and the central portion thereof is the class boundary.
  • the target time-series data 10 has a class boundary of (C1, C2).
  • the extracted time series data 60-1 has a class boundary of (C1, C2) at its center.
  • C1, C2 the similarity with the reference time-series data 30 is can be higher. Therefore, the extracted time-series data 60 having a high degree of similarity with the reference time-series data 30 can be detected in addition to the extracted time-series data 60-1.
  • the detection unit 2060 detects the plurality of extracted time-series data From one of 60, detect class boundaries.
  • the detection unit 2060 detects class boundaries from the extracted time-series data 60 having the highest similarity with the reference time-series data 30 among the plurality of extracted time-series data 60 .
  • the detection unit 2060 detects class boundaries from the extracted time-series data 60 located in the middle in chronological order among the plurality of extracted time-series data 60 .
  • the extracted time-series data 60 to be used for class boundary detection is determined from the fourth extracted time-series data 60 from the front in chronological order.
  • the detection unit 2060 randomly selects one from a plurality of extracted time-series data 60 and detects class boundaries from the selected extracted time-series data 60 .
  • the class boundary detection device 2000 may output the processing result by any method.
  • Information output by the class boundary detection apparatus 2000 is hereinafter referred to as output information.
  • a functional configuration unit that generates and outputs output information is called an output unit.
  • FIG. 10 is a block diagram illustrating the functional configuration of a class boundary detection device 2000 having an output section 2080. As shown in FIG.
  • the output unit 2080 generates, as output information, information indicating the boundary type and position of each detected class boundary.
  • FIG. 11 is a diagram exemplifying output information indicating the boundary type and position of each class boundary.
  • a table 110 in FIG. 11 shows boundary type identification information 112 and boundary position 114 for each class boundary detected from the target time-series data 10 .
  • the boundary type identification information 112 represents the type of class boundary as an ordered pair of classes.
  • Boundary position 114 indicates the position of the class boundary.
  • the identification information (frame number, etc.) of the frame positioned immediately before the class boundary is indicated as the position of the class boundary.
  • the output unit 2080 generates, as output information, the target time-series data 10 to which a label indicating the class to which the frame belongs is added to each frame. For example, if each class boundary detected from the target time-series data 10 is as shown in the example of FIG. 11, all n1-th frames from the first frame of the target time-series data 10 belong to class C1. ing. Therefore, the output unit 2080 adds a label representing class C1 to each of these frames. In the example of FIG. 11, each frame from the (n1+1)-th to the n2-th frames of the target time-series data 10 belongs to class C2. Therefore, the output unit 2080 assigns a label representing class C2 to each of these frames.
  • the class boundary detection device 2000 is configured to output the target time-series data 10 to which the class label is assigned as described above, for each frame of the target time-series data 10, that frame The process of assigning the label of the class to which . Therefore, the process of labeling each frame of the target time-series data 10 can be easily realized in a short time.
  • the output mode of the output information is arbitrary.
  • the output unit 2080 stores output information in an arbitrary storage device.
  • the output unit 2080 transmits output information to another device.
  • the output unit 2080 displays output information on a display device.
  • FIG. 12 is a block diagram illustrating the functional configuration of a class boundary detection device 2000 having a verification section 2100. As shown in FIG.
  • the verification unit 2100 determines whether or not the next class indicated by the front class boundary matches the previous class indicated by the rear class boundary for two class boundaries that are adjacent to each other. If they match, the verification unit 2100 determines that the two class boundaries match. On the other hand, if they do not match, the verification unit 2100 determines that the two class boundaries do not match.
  • the class before the class boundary indicates the first class in the ordered pair of boundary types of the class boundary. For example, if the boundary type is (C1, C2), the previous class indicated by the class boundary is C1.
  • the next class indicated by a class boundary means the second class in the ordered pair of boundary types for that class boundary. For example, if the boundary type is (C1, C2), the next class indicated by the class boundary is C2.
  • FIG. 13 and 14 are diagrams illustrating verification of class boundary consistency.
  • the class boundary B2 (C2, C3) is detected after the class boundary B1 (C1, C2) is detected.
  • the next class indicated by the forward class boundary B1 is C2
  • the previous class indicated by the backward class boundary B2 is also C2. Therefore, both of these two class boundaries indicate that the time series data 20 between these class boundaries belong to class C2. Therefore, it can be said that the class boundaries are consistent.
  • the class boundary B4 (C3, C4) is detected after the class boundary B3 (C1, C2) is detected.
  • the next class indicated by the forward class boundary B3 is C2, while the previous class indicated by the backward class boundary B4 is C3.
  • class boundary B3 indicates that time-series data 20 between class boundaries B3 and B4 belong to class C2.
  • class boundary B4 indicates that this time-series data 20 belongs to class C3. As such, their class boundaries are not aligned.
  • the class boundary detection device 2000 may perform various processes in response to detecting that the class boundaries are inconsistent. For example, the class boundary detection device 2000 corrects the type of one of the class boundaries when it is determined that two class boundaries do not match. A functional component that corrects the type of class boundary is called a corrector.
  • FIG. 15 is a block diagram illustrating the functional configuration of class boundary detection device 2000 having correction unit 2120. As shown in FIG.
  • the correction unit 2120 for each of the two class boundaries determined to be inconsistent with the adjacent class boundaries (for example, class boundaries B3 and B4 in FIG. 14), extracts time-series data used to detect the class boundaries Based on the degree of similarity between 60 and the reference time-series data 30, the type of class boundary is corrected.
  • the similarity of the feature amount is calculated for each frame.
  • FIG. 16 is a diagram showing a correction method for boundary types.
  • the class boundary B4 whose boundary type is (C3, C4) is detected after the class boundary B3 whose boundary type is (C1, C2) is detected.
  • the graph 130 shows the degree of similarity for each frame between the extracted time-series data 60 in which the class boundary B3 is detected and the reference time-series data 30 corresponding to the boundary type (C1, C2). Looking at the graph 130, the portion before the class boundary B3 has a high degree of similarity for each frame, while the portion before the class boundary B3 has a low degree of similarity for each frame. From this, it can be considered that the reliability is high that the part before the class boundary B3 is the class C1, but the reliability is low that the part after the class boundary B3 is the class C2. .
  • the graph 140 shows the degree of similarity for each frame between the extracted time-series data 60 in which the class boundary B4 is detected and the reference time-series data 30 corresponding to the boundary type (C3, C4). Looking at the graph 140, the degree of similarity for each frame is high both before and after the class boundary B4. From this, it can be considered that both the point before the class boundary B4 being the class C3 and the point after the class boundary B4 being the class C4 are highly reliable.
  • the correction unit 2120 corrects the boundary type of class boundary B3 from (C1, C2) to (C1, C3).
  • the correction unit 2120 performs the following processing for two adjacent class boundaries that do not match each other.
  • the correction unit 2120 corrects the extracted time-series data 60 in which the previous class boundary (B3 in FIG. 16) was detected, and the reference time-series data 30 corresponding to the boundary type of the class boundary.
  • a similarity statistic value (for example, average value) of each frame in the preceding portion and a similarity statistic value of each frame in the portion after the class boundary are calculated and compared.
  • the similarity statistical value calculated for the portion before the class boundary B3 and the similarity statistical value calculated for the portion after the class boundary B3 are compared. be done.
  • the difference between the two calculated statistical values is small (for example, if the difference or ratio between the two statistical values is within a predetermined numerical range), there is a high probability that the current class boundaries are correct.
  • the difference between the two statistic values is large (for example, if the difference or ratio between the two statistic values is out of a predetermined numerical range), there is a high probability that the current class boundaries are incorrect.
  • the correction unit 2120 corrects the extracted time-series data 60 in which the later class boundary (B4 in FIG. 16) is detected and the reference time-series data 30 corresponding to the boundary type of the class boundary.
  • a similarity statistic value of each frame before the class boundary and a similarity statistic value of each frame after the class boundary are calculated and compared. For example, in the example of FIG. 16, for the graph 140, the similarity statistic value calculated for the portion before the class boundary B4 and the similarity statistic value calculated for the portion after the class boundary B4 are compared. be done. Similarly, if the difference between the two calculated statistics is small, the current class boundaries are likely to be correct. There is a high probability that there will be.
  • the correction unit 2120 identifies which of the previous class boundary and the subsequent class boundary has an error. If there is a large difference in the aforementioned similarity statistic values at the previous class boundary, the correction unit 2120 identifies that the class after the class boundary is erroneous at the previous class boundary. On the other hand, if the above-described similarity statistic difference is large at the later class boundary, the correction unit 2120 identifies that the class before the class boundary is erroneous at the later class boundary.
  • the correction unit 2120 identifies that there is an error in the class boundary B3.
  • the correction unit 2120 corrects the class in which the error has been identified. For example, the modifying unit 2120 modifies the class boundaries identified as erroneous to match the class boundaries identified as not erroneous. If it is determined that the front class boundaries are erroneous and the rear class boundaries are not erroneous, the modifier 2120 modifies the front class boundaries to match the rear class boundaries. More specifically, the correction unit 2120 changes the class indicated by the previous class boundary (C2 in the class boundary B3 in the example of FIG. 16) to the previous class indicated by the class boundary (in the example of FIG. 16). , C3) at class boundary B4).
  • the correction unit 2120 corrects the rear class boundary to match the front class boundary. More specifically, the modifying unit 2120 changes the previous class indicated by the later class boundary to the later class indicated by the previous class boundary.
  • the method of correcting class boundaries is not limited to the above method.
  • the correction unit 2120 corrects class boundaries by the following method.
  • time-series data at the beginning of the time-series data belonging to each class (for example, time-series data consisting of the top T frames) is prepared.
  • classes C1, C2, and C3 there are three classes, classes C1, C2, and C3.
  • the time-series data at the beginning of the time-series data belonging to class C1 the time-series data at the beginning of time-series data belonging to class C2, and the time-series data at the beginning of time-series data belonging to class C3.
  • Two sets of time series data are prepared. These time-series data are called second reference time-series data.
  • the correction unit 2120 corrects each second Calculate the similarity with the reference time-series data. Then, if there is second reference time-series data that has a high degree of similarity with time-series data after the class boundary in the extracted time-series data 60 (for example, the similarity is equal to or greater than a threshold value), , the class indicated by the class boundary is changed to the class corresponding to the second reference time-series data.
  • the correction unit 2120 may acquire the second reference time-series data itself and calculate its feature amount, or may acquire the feature amount of the second reference time-series data.
  • the second reference time-series data is assumed to be associated with the identification information of the corresponding class and stored in advance in the storage device in a manner accessible from the class boundary detection device 2000 .
  • the correction unit 2120 determines the degree of similarity between the time-series data of the portion after the class boundary B3 in the extracted time-series data 60 in which the class boundary B3 is detected and the second reference time-series data of each class. calculate. As a result, it is determined that the similarity calculated for the second reference time-series data corresponding to class C3 is high. In this case, the correction unit 2120 changes the class indicated by the class boundary B3 from C2 to C3.
  • the time-series data of the end portion (for example, the time-series data consisting of T frames at the end) is prepared. These time-series data are called third reference time-series data.
  • the correction unit 2120 corrects each third Calculate the similarity with the reference time-series data. Then, if there is third reference time-series data having a high degree of similarity (for example, a degree of similarity equal to or higher than a threshold) with the time-series data before the class boundary in the time-series data to be extracted 60, the correction unit 2120 , the previous class indicated by the class boundary is changed to the class corresponding to the third reference time-series data.
  • the correction unit 2120 may acquire the third reference time-series data itself and calculate its feature amount, or may acquire the feature amount of the third reference time-series data.
  • the third reference time-series data is assumed to be associated with the identification information of the corresponding class and pre-stored in the storage device in a manner accessible from the class boundary detection device 2000 .
  • the correction of the class boundaries may be manually performed by the user of the class boundary detection device 2000 instead of being automatically performed by the modification unit 2120 as described above.
  • the correction unit 2120 provides the user with a screen for correcting the boundary type, and corrects the class boundary according to the result of the user's input operation. A detailed description will be given below.
  • FIG. 17 is a diagram exemplifying a correction screen for correcting the boundary type.
  • the modification screen 200 has display areas 210 , 220 and 230 .
  • the display area 210 includes a graph 240 representing the degree of similarity between the extracted time-series data 60 and the reference time-series data 30 .
  • the reference time-series data 30 used for comparison with the extracted time-series data 60 can be selected in the input area 250 .
  • (C1, C2) is selected.
  • the display area 210 further includes a boundary display 260 showing detected class boundaries and a selection display 270 showing the focused time series data.
  • the display area 220 shows a predetermined number of frames (five in FIG. 17) including the center of the time-series data displayed in the selection display 270 .
  • a mark 280 is a mark indicating a frame displayed in the display area 230 .
  • the display area 230 is an area in which frames marked with marks 280 are displayed.
  • a user can perform an input operation to designate one of the frames displayed in the display area 220 .
  • a mark 280 is attached to the frame specified by the input operation, and the frame is displayed in the display area 230 .
  • the user can use the correction screen 200 to correct the class boundaries.
  • the user can use the input areas 290 and 300 to modify the boundary type of the class boundaries.
  • Input area 290 is used to modify the previous class indicated by the class boundary.
  • the input area 300 is used for modification of the subsequent classes indicated by the class boundaries.
  • the class boundary currently selected by selection display 270 is (C1, C2). Therefore, C1 is displayed in the input area 290 and C2 is displayed in the input area 300 .
  • the modifying unit 2120 modifies the class boundary (C1, C2) to (C3, C2).
  • the modifying unit 2120 modifies the class boundary (C1, C2) to (C1, C3).
  • the correction unit 2120 may identify the erroneous class boundary by the method described above, and use the identification result to present the correction screen 200 .
  • the correction unit 2120 exemplifies the correction screen 200 when it is determined that there is inconsistency between adjacent class boundaries.
  • the correction unit 2120 identifies which of the two adjacent class boundaries has an error by the method described above.
  • correction unit 2120 generates correction screen 200 focused on the class boundary identified as having an error (displaying selection display 270).
  • the graph 240 also displays a graph representing the degree of similarity between the reference time-series data 30 corresponding to the boundary type of the class boundary identified as having an error and the extracted time-series data 60 .
  • the user is provided with a correction screen 200 that focuses on the class boundary identified as having an error.
  • the user can easily correct class boundaries that have been identified as erroneous.
  • the correction screen 200 may allow an input operation to correct the position of the class boundary. For example, in the graph 240, the user can move the boundary display 260 left and right to change the position of the class boundary.
  • the program includes instructions (or software code) that, when read into a computer, cause the computer to perform one or more functions described in the embodiments.
  • the program may be stored in a non-transitory computer-readable medium or tangible storage medium.
  • computer readable media or tangible storage media may include random-access memory (RAM), read-only memory (ROM), flash memory, solid-state drives (SSD) or other memory technology, CDs - ROM, digital versatile disc (DVD), Blu-ray disc or other optical disc storage, magnetic cassette, magnetic tape, magnetic disc storage or other magnetic storage device.
  • the program may be transmitted on a transitory computer-readable medium or communication medium.
  • transitory computer readable media or communication media include electrical, optical, acoustic, or other forms of propagated signals.
  • (Appendix 1) an acquisition unit that acquires target time-series data, which is time-series data to be analyzed; a calculating unit that extracts a plurality of extracted time-series data from the target time-series data, and calculates the similarity between reference time-series data representing class boundaries between two mutually different classes and each of the extracted time-series data; , a detection unit that detects a class boundary represented by the reference time-series data from the extracted time-series data whose calculated similarity is equal to or higher than a threshold; class boundary detection, wherein the reference time-series data has a leading portion of time-series data belonging to a subsequent class indicated by the class boundary after a trailing portion of time-series data belonging to the previous class indicated by the class boundary; Device.
  • the target time-series data is video data that is a sequence of video frames, the feature amount of the time-series data to be extracted indicates the feature amount of each frame constituting the time-series data to be extracted;
  • the calculation unit calculates, for each video frame constituting the time-series data to be extracted, a feature amount indicating an image feature of the video frame and data representing the orientation of a predetermined object included in the video frame,
  • the class boundary detection device according to appendix 2.
  • the calculation unit calculates a degree of similarity between each of the reference time-series data corresponding to each class boundary of a plurality of types and each of the extracted time-series data,
  • the detection unit detects a class boundary of a type corresponding to the reference time-series data from the extracted time-series data whose degree of similarity with the reference time-series data is equal to or greater than a threshold.
  • Class boundary detection device according to claim 1.
  • (Appendix 5) a verification unit that determines whether two class boundaries that are adjacent to each other detected from the target time-series data match; 5.
  • the class boundary detection device according to any one of appendices 1 to 4, further comprising a correction unit that corrects the class boundary when it is determined that two class boundaries adjacent to each other are not aligned.
  • a correction unit that corrects the class boundary when it is determined that two class boundaries adjacent to each other are not aligned.
  • the correction unit For each of the two class boundaries determined to be inconsistent, the correction unit performs each Compare the degree of similarity between frames before and after the class boundary, and if the difference is greater than or equal to a threshold, determine that the class boundary is erroneous. Class boundary detection device as described.
  • (Appendix 7) 7 The class boundary detection device according to appendix 6, wherein the correction unit corrects a class boundary determined to be erroneous so as to match a class boundary determined to be error-free.
  • the class boundary detection device wherein the class whose similarity is calculated and whose similarity is equal to or higher than a threshold is corrected for the class after the class boundary determined to be erroneous.
  • the correction unit outputs a correction screen for accepting an input operation for correcting the previous class indicated by the class boundary, the subsequent class, or both, and corrects the class boundary according to the input operation performed on the correction screen.
  • the class boundary detection device according to appendix 5.
  • a control method implemented by a computer comprising: an acquisition step of acquiring target time-series data, which is time-series data to be analyzed; a calculating step of extracting a plurality of extracted time-series data from the target time-series data, and calculating the degree of similarity between the reference time-series data representing class boundaries of two mutually different classes and each of the extracted time-series data; , a detection step of detecting a class boundary represented by the reference time-series data from the extracted time-series data whose calculated similarity is equal to or higher than a threshold;
  • the control method wherein the reference time-series data has a leading portion of time-series data belonging to a subsequent class indicated by the class boundary after a trailing portion of time-series data belonging to the previous class indicated by the class boundary.
  • the target time-series data is video data that is a sequence of video frames, the feature amount of the time-series data to be extracted indicates the feature amount of each frame constituting the time-series data to be extracted;
  • the calculating step for each video frame that constitutes the time-series data to be extracted, calculating a feature amount indicating an image feature of the video frame and data representing the orientation of a predetermined object included in the video frame; The control method according to appendix 11.
  • a control method comprising a modifying step of modifying the class boundaries if it is determined that two class boundaries adjacent to each other are not aligned.
  • Appendix 15 In the correction step, for each of the two class boundaries determined to be inconsistent, each of the extracted time-series data in which the class boundary is detected and the reference time-series data corresponding to the type of the class boundary Compare the degree of similarity between frames before and after the class boundary, and determine that the class boundary is erroneous if the difference is greater than or equal to a threshold. Described control method. (Appendix 16) 16.
  • the correcting step Regarding the similarity between each frame between the extracted time-series data in which the class boundary determined to be erroneous is detected and the reference time-series data corresponding to the type of the class boundary, the part before the class boundary If the similarity calculated for is lower than the similarity calculated for the part after the class boundary, the similarity between the extracted time series data and the tail part of the time series data belonging to each class is calculated as Calculate and correct the previous class indicated by the class boundary determined to be erroneous in the class whose similarity is greater than or equal to the threshold, The part after the class boundary with respect to the degree of similarity between each frame between the extracted time-series data in which the class boundary determined to be erroneous is detected and the reference time-series data corresponding to the type of the class boundary If the similarity calculated for is lower
  • a non-transitory computer-readable medium storing a program, The program, in a computer, an acquisition step of acquiring target time-series data, which is time-series data to be analyzed; a calculating step of extracting a plurality of extracted time-series data from the target time-series data, and calculating the degree of similarity between the reference time-series data representing class boundaries of two mutually different classes and each of the extracted time-series data; , a detection step of detecting a class boundary represented by the reference time-series data from the extracted time-series data whose calculated similarity is equal to or greater than a threshold;
  • the reference time-series data has a leading portion of time-series data belonging to a subsequent class indicated by the class boundary after a trailing portion of time-series data belonging to the previous class indicated by the class boundary, and is non-temporary computer readable medium.
  • the target time-series data is video data that is a sequence of video frames, the feature amount of the time-series data to be extracted indicates the feature amount of each frame constituting the time-series data to be extracted; In the calculating step, for each video frame that constitutes the time-series data to be extracted, calculating a feature amount indicating an image feature of the video frame and data representing the orientation of a predetermined object included in the video frame; 21.
  • the computer-readable medium of any one of Clauses 19-22 comprising a modifying step of modifying class boundaries when it is determined that two class boundaries adjacent to each other are not aligned.
  • Appendix 24 In the correction step, for each of the two class boundaries determined to be inconsistent, each of the extracted time-series data in which the class boundary is detected and the reference time-series data corresponding to the type of the class boundary Compare the degree of similarity between frames before and after the class boundary, and determine that the class boundary is erroneous if the difference is greater than or equal to a threshold.
  • the correcting step Regarding the similarity between each frame between the extracted time-series data in which the class boundary determined to be erroneous is detected and the reference time-series data corresponding to the type of the class boundary, the part before the class boundary If the similarity calculated for is lower than the similarity calculated for the part after the class boundary, the similarity between the extracted time series data and the tail part of the time series data belonging to each class is calculated as Calculate and correct the previous class indicated by the class boundary determined to be erroneous in the class whose similarity is greater than or equal to the threshold, The part after the class boundary with respect to the degree of similarity between each frame between the extracted time-series data in which the class boundary determined to be erroneous is detected and the reference time-series data corresponding to the type of the class boundary If the similarity calculated for is
  • Target time-series data 20 Time-series data 30 Reference time-series data 40 Time-series data 50 Time-series data 60 Extracted time-series data 80 Boundary type identification information 90 Reference data 100 Table 110 Table 112 Boundary type identification information 114 Boundary position 130 Graph 140 graph 200 correction screen 210 display area 220 display area 230 display area 240 graph 250 input area 260 boundary display 270 selection display 280 mark 290 input area 300 input area 500 computer 502 bus 504 processor 506 memory 508 storage device 510 input/output interface 512 network Interface 2000 Class boundary detection device 2020 Acquisition unit 2040 Calculation unit 2060 Detection unit 2080 Output unit 2100 Verification unit 2120 Correction unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

クラス境界検出装置（２０００）は対象時系列データ（１０）を取得する。クラス境界検出装置（２０００）は、対象時系列データ（１０）から複数の被抽出時系列データを抽出し、各被抽出時系列データと参照時系列データ（３０）との類似度を算出する。参照時系列データ（３０）は、クラス境界を表す時系列データであり、そのクラス境界が示す前のクラスに属する時系列データの末尾の部分の後に、そのクラス境界が示す後のクラスに属する時系列データの先頭の部分を有する。クラス境界検出装置（２０００）は、算出された類似度が閾値以上である被抽出時系列データから、参照時系列データ（３０）によって表されるクラス境界を検出する。

Description

クラス境界検出装置、制御方法、及び非一時的なコンピュータ可読媒体
　本開示は、時系列データを解析する技術に関する。
　１つの時系列データに、複数のクラスのいずれかに属する複数の時系列データが含まれることがある。例えば時系列データが、複数の作業工程が順に行われている様子を撮影することで得られたビデオデータであるとする。この場合、このビデオデータには、各作業工程を表す複数のビデオデータが含まれている。
　特許文献１は、時系列データを構成する各データ（以下、フレーム）に対して、そのフレームが属するクラスのラベルを付与する技術を開示している。特許文献１のデータ処理装置は、時系列データから、一定間隔ごとにフレームを抽出する。抽出された各フレームに対しては、ユーザにより、クラスのラベルが手動で付与される。さらに、このデータ処理装置は、抽出された複数のフレームについて、隣接するフレーム間の差分が閾値以下であるか否かを判定する。隣接するフレーム間の差分が閾値以下である場合、これらのフレームに対して付与されたラベルが、これらのフレームの間に存在する各フレームに対しても自動的に付与される。一方、隣接するフレーム間の差分が閾値以下でない場合、これらのフレームの間からさらに細かい間隔で複数のフレームが抽出され、同様の処理が行われる。
特開２０１６－０７６０７３号公報
　特許文献１の発明では、抽出されたフレームに対してユーザが手動でクラスのラベルを付与する必要がある。本発明はこの課題に鑑みてなされたものであり、その目的の一つは、時系列データからクラスの境界を検出する技術を提供することである。
　本開示のクラス境界検出装置は、解析対象の時系列データである対象時系列データを取得する取得部と、前記対象時系列データから複数の被抽出時系列データを抽出し、２つの互いに異なるクラスのクラス境界を表す参照時系列データと、各前記被抽出時系列データとの類似度を算出する算出部と、前記算出された類似度が閾値以上である前記被抽出時系列データから、前記参照時系列データによって表されるクラス境界を検出する検出部と、を有する。前記参照時系列データは、前記クラス境界が示す前のクラスに属する時系列データの末尾の部分の後に、前記クラス境界が示す後のクラスに属する時系列データの先頭の部分を有する。
　本開示の制御方法は、コンピュータによって実行される。当該制御方法は、解析対象の時系列データである対象時系列データを取得する取得ステップと、前記対象時系列データから複数の被抽出時系列データを抽出し、２つの互いに異なるクラスのクラス境界を表す参照時系列データと、各前記被抽出時系列データとの類似度を算出する算出ステップと、前記算出された類似度が閾値以上である前記被抽出時系列データから、前記参照時系列データによって表されるクラス境界を検出する検出ステップと、を有する。前記参照時系列データは、前記クラス境界が示す前のクラスに属する時系列データの末尾の部分の後に、前記クラス境界が示す後のクラスに属する時系列データの先頭の部分を有する。
　本開示の非一時的なコンピュータ可読媒体は、本開示の制御方法をコンピュータに実行させるプログラムを格納している。
　本開示によれば、時系列データからクラスの境界を検出する技術が提供される。
実施形態のクラス境界検出装置によって扱われる対象時系列データを例示する図である。 クラス境界検出装置の動作の概要を例示する図である。 参照時系列データを例示する図である。 参照時系列データを利用したクラス境界の検出を例示する図である。 クラス境界検出装置の機能構成を例示するブロック図である。 クラス境界検出装置を実現するコンピュータのハードウエア構成を例示するブロック図である。 クラス境界検出装置によって実行される処理の流れを例示するフローチャートである。 参照データを例示する図である。 クラス境界の周辺から抽出される複数の被抽出時系列データが、そのクラス境界の種別と対応する参照時系列データと類似しうることを表す図である。 出力部を有するクラス境界検出装置の機能構成を例示するブロック図である。 各クラス境界の境界種別及び位置を示す出力情報を例示する図である。 検証部を有するクラス境界検出装置の機能構成を例示するブロック図である。 クラス境界の整合性の検証について例示する図である。 クラス境界の整合性の検証について例示する図である。 修正部を有するクラス境界検出装置の機能構成を例示するブロック図である。 境界種別の修正方法を表す図である。 境界種別を修正するための修正画面を例示する図である。
　以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。また、特に説明しない限り、所定値や閾値などといった予め定められている値は、その値を利用する装置からアクセス可能な記憶装置などに予め格納されている。さらに、特に説明しない限り、記憶部は、１つ以上の任意の数の記憶装置によって構成される。
＜概要＞
　図１は、実施形態のクラス境界検出装置によって扱われる対象時系列データ１０を例示する図である。対象時系列データ１０は、それぞれ異なるクラスに属する複数の時系列データ２０で構成される。例えば図１の対象時系列データ１０は、クラスＣ１に属する時系列データ２０－１、クラスＣ２に属する時系列データ２０－２、及びクラスＣ３に属する時系列データ２０－３を、この順に有する。以下、時系列データを構成する各データを、フレームと呼ぶ。時系列データは、フレームが時系列に並べられたデータ列と表現することができる。
　クラス境界検出装置２０００は、対象時系列データ１０として、種々の種類の時系列データを扱うことができる。例えば対象時系列データ１０はビデオデータである。ビデオデータは、ビデオカメラによって生成された複数のビデオフレームが生成された順（フレーム番号の昇順）に並べられた時系列データである。対象時系列データ１０がビデオデータである場合、例えば対象時系列データ１０に含まれる各時系列データ２０は、その時系列データ２０によって表される映像の内容に応じてクラスに分類される。
　例えば、作業員が３つの工程Ｐ１、Ｐ２、及びＰ３から成る作業を行っている様子をビデオカメラで撮影し、当該撮影によって得られたビデオデータを、対象時系列データ１０として扱うとする。この場合、各作業工程をクラスとして扱うことができる。すなわち、対象時系列データ１０を、工程Ｐ１の作業の様子が含まれている時系列データ２０、工程Ｐ２の作業の様子が含まれる時系列データ２０、及び工程Ｐ３の作業の様子が含まれる時系列データ２０という３つの時系列データ２０に分けることができる。
　対象時系列データ１０は、ビデオデータに限定されない。例えば対象時系列データ１０は、マイクロフォンで音声を記録することによって生成される音声データであってもよい。その他にも例えば、対象時系列データ１０は、任意のセンサ（例えば３次元加速度センサ）によって繰り返し行われたセンシングの結果を表すセンシングデータであってもよい。
　図２は、実施形態のクラス境界検出装置２０００の動作の概要を例示する図である。ここで、図２は、クラス境界検出装置２０００の概要の理解を容易にするための図であり、クラス境界検出装置２０００の動作は、図２に示したものに限定されない。例えば図２では、クラス境界検出装置２０００に対して参照時系列データ３０が入力されている。しかしながら後述するように、クラス境界検出装置２０００は、対象時系列データ１０から抽出する時系列データと参照時系列データ３０との類似度を算出できればよく、参照時系列データ３０そのものを取得しなくてもよい。例えばクラス境界検出装置２０００は、参照時系列データ３０そのものではなく、参照時系列データ３０の特徴量を取得してもよい。
　クラス境界検出装置２０００は、クラスの境界が不明である対象時系列データ１０から、クラスの境界を検出する。対象時系列データ１０におけるクラスの境界とは、或るクラスに属する時系列データ２０と、別のクラスに属する他の時系列データ２０との境界を意味する。例えばクラス境界検出装置２０００が、図１で例示した対象時系列データ１０を扱うとする。この場合、クラス境界検出装置２０００は、時系列データ２０－１と時系列データ２０－２の境界（クラスＣ１とクラスＣ２の境界）や、時系列データ２０－２と時系列データ２０－３の境界（クラスＣ２とクラスＣ３の境界）を、クラス境界として検出する。
　クラス境界は、クラス境界の直前にあるデータや、クラス境界の直後にあるデータで表すことができる。例えば図１の例において、時系列データ２０－１と時系列データ２０－２の境界は、時系列データ２０－１の末尾のデータ、又は時系列データ２０－２の先頭のデータで表すことができる。
　クラス境界検出装置２０００は、クラス境界の検出に、参照時系列データ３０を利用する。図３は、参照時系列データ３０を例示する図である。参照時系列データ３０は、時系列データ５０から得られる。時系列データ５０は、あるクラスに属する時系列データ４０－１の次に、別のクラスに属する時系列データ４０－２を含む。参照時系列データ３０は、時系列データ４０－１と時系列データ４０－２の境界の周辺にあるフレーム（例えば、クラス境界前後所定数のフレーム）で構成される時系列データである。
　図３において、時系列データ４０－１はクラスＣ１に属している一方で、時系列データ４０－２はクラスＣ２に属している。参照時系列データ３０は、クラスＣ１とクラスＣ２の境界の前後Ｔ個（時系列データ４０－１の末尾Ｔ個と時系列データ４０－２の先頭Ｔ個）のフレームで構成されている（Ｔは自然数である）。なお、参照時系列データ３０において、クラス境界の前のフレームの数とクラス境界の後のフレームの数は、互いに異なっていてもよい。
　以下、参照時系列データ３０によって表されるクラス境界の種別を、「参照時系列データ３０に対応する境界種別」と呼ぶ。例えば図３において、参照時系列データ３０に対応する境界種別は、「クラスＣ１とクラスＣ２の境界」である。
　クラス境界検出装置２０００は、参照時系列データ３０と同じ長さの時系列データを対象時系列データ１０から１つ以上抽出し、抽出した各時系列データについて、参照時系列データ３０との類似度を算出する。ここで対象時系列データ１０から抽出される時系列データのことを、被抽出時系列データと呼ぶ。クラス境界検出装置２０００は、参照時系列データ３０との類似度が高い（例えば、類似度が閾値以上である）被抽出時系列データを検出し、検出した被抽出時系列データから、参照時系列データ３０に対応する境界種別のクラス境界を検出する。以下、参照時系列データ３０との類似度が高い被抽出時系列データのことを、「参照時系列データ３０とマッチする被抽出時系列データ」とも呼ぶ。
　図４は、参照時系列データ３０を利用したクラス境界の検出を例示する図である。図４の例において検出するクラス境界の種別は、クラスＣ１とクラスＣ２の境界である。そこで、クラスＣ１とクラスＣ２の境界という境界種別に対応する参照時系列データ３０が利用される。
　クラス境界検出装置２０００は、対象時系列データ１０から複数の被抽出時系列データ６０を抽出し、抽出した各被抽出時系列データ６０について、参照時系列データ３０との類似度が高いか否かを判定する。例えば図４では、参照時系列データ３０との類似度が高い被抽出時系列データ６０として、被抽出時系列データ６０－Ｘが検出されている。そこでクラス境界検出装置２０００は、被抽出時系列データ６０－Ｘから、クラスＣ１とクラスＣ２の境界を検出する。
　図４の参照時系列データ３０では、クラスＣ１に属するフレームの数とクラスＣ２に属するフレームの数が、互いに等しい。この場合、被抽出時系列データ６０－Ｘにおいても、クラスＣ１に属するフレームの数とクラスＣ２に属するフレームの数は、互いに等しい蓋然性が高い。そこでクラス境界検出装置２０００は、被抽出時系列データ６０－Ｘを２等分する部分を、クラスＣ１とクラスＣ２の境界として検出する。
＜作用効果の例＞
　本実施形態によれば、対象時系列データ１０から抽出される各被抽出時系列データ６０と参照時系列データ３０との類似度に基づいて、対象時系列データ１０からクラス境界を自動的に検出することができる。よって、対象時系列データ１０を構成するフレームに対して手動でクラスのラベルを付与しなければいけないケースと比較し、対象時系列データ１０からクラスの境界をより容易に検出することができる。
　また、後述するように、対象時系列データ１０に含まれうるクラス境界の種別それぞれについて、対象時系列データ１０からその種別のクラス境界を検出すれば、隣接するクラス境界の間に位置する各フレームが属するクラスを特定することができる。例えば、クラスＣ１とＣ２の境界の後に、クラスＣ２とＣ３の境界が存在すれば、これらの境界の間に位置する各フレームが、クラスＣ２に属していることが分かる。よって、対象時系列データ１０を構成する各フレームに対し、自動的にクラスのラベルを付与することができるようになるため、フレームに対するラベル付けが容易になる。
　このように各フレームに対してラベルが付与された時系列データは、例えば、時系列データについて自動的にクラス判別を行う機械学習モデルを生成する際に、教師データとして利用することができる。例えば製品の製造現場では、生産品質、生産効率、又は作業者の安全性の向上などのために、作業者が作業を行っている様子を撮影することで得られたビデオデータを機械学習モデルで解析することで、作業工程の自動判別を行うことが考えられる。このような機械学習モデルを訓練するためには、大量のラベル付きのビデオデータを用意する必要がある。しかしながら、ラベル付きのビデオデータを手動で大量に用意するためには、多くの時間と労力を要する。
　この点、前述したように、クラス境界検出装置２０００を利用して対象時系列データ１０からクラス境界を検出すれば、対象時系列データ１０の各フレームに対するラベル付けを短い時間で容易に行うことができる。そのため、機械学習モデルの訓練に要する時系列データを短い時間で容易に用意することができる。
　以下、本実施形態のクラス境界検出装置２０００について、より詳細に説明する。
＜機能構成の例＞
　図５は、実施形態のクラス境界検出装置２０００の機能構成を例示するブロック図である。クラス境界検出装置２０００は、取得部２０２０、算出部２０４０、及び検出部２０６０を有する。取得部２０２０は、対象時系列データ１０を取得する。算出部２０４０は、対象時系列データ１０から複数の被抽出時系列データ６０を抽出し、各被抽出時系列データ６０と参照時系列データ３０との類似度を算出する。検出部２０６０は、各被抽出時系列データ６０について算出された類似度に基づいて、対象時系列データ１０からクラス境界を検出する。例えば参照時系列データ３０がクラスＣ１とクラスＣ２の境界及びその周辺の時系列データである場合、クラス境界検出装置２０００は、対象時系列データ１０からクラスＣ１とクラスＣ２の境界を検出する。
＜ハードウエア構成の例＞
　クラス境界検出装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、クラス境界検出装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
　図６は、クラス境界検出装置２０００を実現するコンピュータ５００のハードウエア構成を例示するブロック図である。コンピュータ５００は、任意のコンピュータである。例えばコンピュータ５００は、PC（Personal Computer）やサーバマシンなどといった、据え置き型のコンピュータである。その他にも例えば、コンピュータ５００は、スマートフォンやタブレット端末などといった可搬型のコンピュータである。コンピュータ５００は、クラス境界検出装置２０００を実現するために設計された専用のコンピュータであってもよいし、汎用のコンピュータであってもよい。
　例えば、コンピュータ５００に対して所定のアプリケーションをインストールすることにより、コンピュータ５００で、クラス境界検出装置２０００の各機能が実現される。上記アプリケーションは、クラス境界検出装置２０００の各機能構成部を実現するためのプログラムで構成される。なお、上記プログラムの取得方法は任意である。例えば、当該プログラムが格納されている記憶媒体（DVD ディスクや USB メモリなど）から、当該プログラムを取得することができる。その他にも例えば、当該プログラムが格納されている記憶装置を管理しているサーバ装置から、当該プログラムをダウンロードすることにより、当該プログラムを取得することができる。
　コンピュータ５００は、バス５０２、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース５１０、及びネットワークインタフェース５１２を有する。バス５０２は、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース５１０、及びネットワークインタフェース５１２が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ５０４などを互いに接続する方法は、バス接続に限定されない。
　プロセッサ５０４は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又は FPGA（Field－Programmable Gate Array）などの種々のプロセッサである。メモリ５０６は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス５０８は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。
　入出力インタフェース５１０は、コンピュータ５００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース５１０には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。
　ネットワークインタフェース５１２は、コンピュータ５００をネットワークに接続するためのインタフェースである。このネットワークは、LAN（Local Area Network）であってもよいし、WAN（Wide Area Network）であってもよい。
　ストレージデバイス５０８は、クラス境界検出装置２０００の各機能構成部を実現するプログラム（前述したアプリケーションを実現するプログラム）を記憶している。プロセッサ５０４は、このプログラムをメモリ５０６に読み出して実行することで、クラス境界検出装置２０００の各機能構成部を実現する。
　クラス境界検出装置２０００は、１つのコンピュータ５００で実現されてもよいし、複数のコンピュータ５００で実現されてもよい。後者の場合において、各コンピュータ５００の構成は同一である必要はなく、それぞれ異なるものとすることができる。
　クラス境界検出装置２０００の機能の一部又は全ては、対象時系列データ１０を生成した装置によって実現されてもよい。クラス境界検出装置２０００の機能の全てが、対象時系列データ１０を生成した装置によって実現される場合、例えば当該装置は、自身で生成した対象時系列データ１０からクラス境界を検出し、対象時系列データ１０と共に、クラス境界を示す情報を出力する。
　例えば対象時系列データ１０がビデオデータであるとする。この場合、クラス境界検出装置２０００の機能の一部又は全ては、当該ビデオデータを生成したビデオカメラによって実現されてもよい。このようなビデオカメラとしては、例えば、ネットワークカメラ、IP（Internet Protocol）カメラ、又はインテリジェントカメラと呼ばれるカメラを利用することができる。クラス境界検出装置２０００の機能の全てがビデオカメラで実現される場合、例えば当該ビデオカメラは、自身で生成したビデオデータについてクラス境界を検出し、そのビデオデータと共に、クラス境界を表す情報（後述する出力情報）を出力する。
＜処理の流れ＞
　図７は、実施形態のクラス境界検出装置２０００によって実行される処理の流れを例示するフローチャートである。取得部２０２０は、対象時系列データ１０を取得する（Ｓ１０２）。Ｓ１０４からＳ１１６は、対象時系列データ１０から抽出される各被抽出時系列データ６０について実行されるループ処理Ｌ１を構成する。Ｓ１０４において、クラス境界検出装置２０００は、全ての被抽出時系列データ６０についてループ処理Ｌ１が実行されたか否かを判定する。全ての被抽出時系列データ６０について既にループ処理Ｌ１が実行された場合、図７の処理は終了する。一方、まだループ処理Ｌ１の対象としていない被抽出時系列データ６０が存在する場合、次の被抽出時系列データ６０を対象としてループ処理Ｌ１が実行される。ここで、ループ処理Ｌ１の対象とされる被抽出時系列データ６０のことを、被抽出時系列データ６０－ｉと表記する。
　Ｓ１０６からＳ１１４は、１つ以上の参照時系列データ３０それぞれについて実行されるループ処理Ｌ２を構成する。各参照時系列データ３０は、それぞれ異なるクラス境界に対応する。Ｓ１０６において、クラス境界検出装置２０００は、全ての参照時系列データ３０についてループ処理Ｌ２が実行されたか否かを判定する。全ての参照時系列データ３０について既にループ処理Ｌ２が実行された場合、図７の処理はＳ１１６に進む。Ｓ１１６はループ処理Ｌ１の終端であるため、図７の処理はＳ１０４に進む。
　一方、まだループ処理Ｌ２の対象としていない参照時系列データ３０が存在する場合、次の参照時系列データ３０を対象としてループ処理Ｌ２が実行される。ここで、ループ処理Ｌ２の対象とされる参照時系列データ３０のことを、参照時系列データ３０－ｊと表記する。
　算出部２０４０は、被抽出時系列データ６０－ｉと参照時系列データ３０－ｊの類似度を算出する（Ｓ１０８）。検出部２０６０は、被抽出時系列データ６０－ｉと参照時系列データ３０－ｊの類似度に基づいて、被抽出時系列データ６０－ｉと参照時系列データ３０－ｉがマッチするか否かを判定する（Ｓ１１０）。例えば検出部２０６０は、被抽出時系列データ６０－ｉと参照時系列データ３０－ｊの類似度が所定の閾値以上である場合に、これらがマッチすると判定する。一方、これらの類似度が所定の閾値未満である場合、検出部２０６０は、これらがマッチしないと判定する。
　被抽出時系列データ６０－ｉと参照時系列データ３０－ｉがマッチする場合（Ｓ１１０：ＹＥＳ）、検出部２０６０は、被抽出時系列データ６０－ｉから、参照時系列データ３０－ｊに対応する境界種別のクラス境界を検出する（Ｓ１１２）。Ｓ１１２が実行された後、又は、被抽出時系列データ６０－ｉと参照時系列データ３０－ｊがマッチしないと判定された後（Ｓ１１０：ＮＯ）、図７の処理はＳ１１４に進む。Ｓ１１４はループ処理Ｌ２の終端であるため、図７の処理はＳ１０６に進む。
　なお、図７に示す処理の流れは例示であり、クラス境界検出装置２０００によって実行される処理の流れは図７に示されている流れに限定されない。例えば、ループ処理Ｌ１の中にループ処理Ｌ２を入れる代わりに、ループ処理Ｌ２の中にループ処理Ｌ１を入れてもよい。
＜対象時系列データ１０の取得：Ｓ１０２＞
　取得部２０２０は、対象時系列データ１０を取得する。ここで、解析の対象とする時系列データを取得する方法には、様々な方法を採用することができる。例えば対象時系列データ１０は、クラス境界検出装置２０００から取得可能な態様で、予め任意の記憶装置に格納されているものとする。この場合、取得部２０２０は、当該記憶装置から対象時系列データ１０を読み出すことにより、対象時系列データ１０を取得する。なお、対象時系列データ１０が格納されている記憶装置は、クラス境界検出装置２０００の内部と外部のどちらに設けられていてもよい。対象時系列データ１０が格納されている記憶装置がクラス境界検出装置２０００の外部に設けられている場合、例えばその記憶装置は、対象時系列データ１０を生成した装置の内部に設けられている。
　その他にも例えば、取得部２０２０は、他の装置から送信された対象時系列データ１０を受信することにより、対象時系列データ１０を取得する。対象時系列データ１０を送信する装置は、例えば、対象時系列データ１０を生成した装置である。対象時系列データ１０がビデオデータである場合、例えば取得部２０２０は、対象時系列データ１０を生成したビデオカメラから対象時系列データ１０を取得する。
＜被抽出時系列データ６０の抽出について＞
　算出部２０４０は、対象時系列データ１０から、それぞれ異なる複数の被抽出時系列データ６０を抽出する。ここで、抽出される各時系列データの長さは、参照時系列データ３０の長さと同じであるとする。
　１つの時系列データから、それより短い特定の長さの時系列データを複数抽出する技術には、種々の既存の技術を利用することができる。例えば算出部２０４０は、スライディングウインドウを利用して、対象時系列データ１０から複数の被抽出時系列データ６０を抽出する。スライディングウインドウの幅（すなわち、被抽出時系列データ６０の長さ）には、参照時系列データ３０の長さが設定される。スライディングウインドウのストライド（すなわち、隣接する２つの被抽出時系列データ６０の間隔）には、任意の値を設定することができる。例えばストライドの値を１に設定すれば、対象時系列データ１０の先頭から順に、対象時系列データ１０から抽出しうる全ての被抽出時系列データ６０が抽出される。
　算出部２０４０が参照時系列データ３０の長さを特定する方法は様々である。例えば参照時系列データ３０の長さを示す情報が、予め算出部２０４０に設定されている。その他にも例えば、参照時系列データ３０の長さを示す情報が、クラス境界検出装置２０００からアクセス可能な態様で、予め記憶装置に格納されている。この場合、算出部２０４０は、当該記憶装置から参照時系列データ３０の長さを示す情報を取得することにより、参照時系列データ３０の長さを特定する。その他にも例えば、算出部２０４０は、参照時系列データ３０を取得することにより、参照時系列データ３０の長さを特定してもよい。
＜参照時系列データ３０に関する情報の取得について＞
　取得部２０２０は、検出したいクラス境界の種別に対応する参照時系列データ３０について、被抽出時系列データ６０との類似度の算出に必要なデータを取得する。このデータのことを参照データと呼ぶ。例えば参照データは、参照時系列データ３０そのものである。その他にも例えば、参照データは、参照時系列データ３０から抽出される特徴量である。特徴量については後述する。
　例えば参照データは、対応するクラス境界の種別を表すの境界種別識別情報と共に、クラス境界検出装置２０００から取得可能な態様で予め記憶装置に格納されている。図８は、参照データを例示する図である。図８のテーブル１００は、境界種別識別情報８０に対応づけて、その境界種別識別情報で特定される境界種別に対応する参照データ９０を示している。図８において、参照データ９０は、参照時系列データ３０の特徴量となっている。
　ここで、クラス境界の種別は、クラスの順序対で表現することができる。例えば、クラスＣ１とクラスＣ２の境界（クラスＣ１からクラスＣ２への遷移部分を表す境界）という種別は、順序対（Ｃ１，Ｃ２）で表すことができる。そこで図８において、境界種別識別情報８０には、クラスの順序対が利用されている。
　取得部２０２０が取得すべき参照データ９０を特定する方法は様々である。例えば取得部２０２０は、記憶装置に格納されている全ての参照データ９０を取得する。その他にも例えば、取得部２０２０は、対象時系列データ１０に含まれる可能性があるクラス境界の境界種別を特定し、特定した各境界種別に対応する参照データ９０を取得する。
　例えば、対象時系列データ１０に含まれるクラスが既知であるとする。この場合、対象時系列データ１０に含まれうるクラス境界の種別は、対象時系列データ１０に含まれうるクラスの順序対の全ての集合で表することができる。例えば対象時系列データ１０に含まれうるクラスが、Ｃ１、Ｃ２、及びＣ３という３つのクラスであるとする。これら３つのクラスには、（Ｃ１，Ｃ２）、（Ｃ１，Ｃ３）、（Ｃ２，Ｃ１）、（Ｃ２，Ｃ３）、（Ｃ３，Ｃ１）、（Ｃ３，Ｃ２）という６つの順序対が存在する。そのため、対象時系列データ１０に含まれるクラス境界の種別は、これら６つである。
　そこで例えば、取得部２０２０は、対象時系列データ１０に含まれうるクラスの順序対それぞれで表される境界種別について、対応する参照データ９０を取得する。例えば上記３つのクラスが任意の順序で対象時系列データ１０に含まれうる場合、クラス境界検出装置２０００は、上記６つの順序対それぞれで表される境界種別について、参照データ９０を取得する。より具体的な例としては、上記６つの順序対それぞれで表される境界種別について、対応する参照時系列データ３０、又は、対応する参照時系列データ３０の特徴量が、参照データ９０として取得される。
＜参照時系列データ３０の生成について＞
　参照データ９０を用意するためには、その前提として、参照時系列データ３０を生成する必要がある。また、図３を用いて説明したように、参照時系列データ３０は、２つの時系列データ４０－１及び４０－２を含む時系列データ５０の一部であるため、参照時系列データ３０を生成するためには、時系列データ５０を生成する必要がある。
　ここで、時系列データ５０を生成する方法は様々である。例えば、クラスＣ１とＣ２の境界を含む時系列データ５０を生成するとする。この場合、例えば時系列データ５０は、時系列データ５０を生成するための装置（カメラや種々のセンサなど）に、所望の状況を実際に観測させることで生成される。例えば、時系列データ５０がビデオデータであり、クラスＣ１とクラスＣ２がそれぞれ、作業工程の種類であるとする。この場合、作業工程Ｃ１を行った後に作業工程Ｃ２が行われる様子をカメラで撮影することにより、クラスＣ１とＣ２の境界を含むビデオデータを得ることができる。
　その他にも例えば、時系列データ５０は、クラス境界の前の時系列データ４０－１と、クラス境界の後の時系列データ４０－２を個別に生成した後に、これらを任意の方法でつなぎ合わせることによって生成されてもよい。例えば前述したように、クラスＣ１とＣ２がそれぞれ作業工程であるとする。この場合、作業工程Ｃ１が行われている様子をカメラで撮影することにより、時系列データ４０－１が生成される。同様に、作業工程Ｃ２が行われている様子をカメラで撮影することにより、時系列データ４０－２が生成される。その後、映像編集ソフトなどを利用して時系列データ４０－１の後に時系列データ４０－２をつなげることにより、クラスＣ１とＣ２の境界を含む時系列データ５０を生成することができる。
　参照時系列データ３０は、時系列データ５０から境界部分及びその周辺のフレームを抽出することによって生成することができる。ここで、時系列データからその一部を抽出する方法には、既存の方法を利用することができる。
　なお、時系列データ４０－１と時系列データ４０－２を個別に生成する場合、時系列データ５０を生成することなく、参照時系列データ３０が生成されてもよい。例えば、時系列データ４０－１の末尾Ｔ個のフレームと、時系列データ４０－２の先頭Ｔ個のフレームを抽出し、これらをつなぎ合わせることにより、クラスＣ１とＣ２の境界の前後Ｔ個のフレームから成る参照時系列データ３０を生成することができる。
＜類似度の算出：Ｓ１０８＞
　算出部２０４０は、被抽出時系列データ６０と参照時系列データ３０の類似度を算出する（Ｓ１０８）。被抽出時系列データ６０と参照時系列データ３０の類似度は、例えば、これらの特徴量の類似度で表すことができる。この場合、算出部２０４０は、被抽出時系列データ６０から特徴量を算出する。また、参照データ９０が参照時系列データ３０そのものを表す場合、算出部２０４０は、参照時系列データ３０についても特徴量を算出する。参照データ９０が参照時系列データ３０の特徴量を表す場合、参照データ９０が表す参照時系列データ３０の特徴量は、被抽出時系列データ６０から特徴量を算出する方法と同じ方法により、予め参照時系列データ３０から算出されたものであるとする。
　ここで、時系列データの特徴量を算出する方法には、様々な手法を利用することができる。例えば算出部２０４０は、時系列データを構成する各フレームについて特徴量 f を算出し、各フレームについて算出された特徴量 f が連結されたデータを、時系列データの特徴量 F として利用する。例えば、被抽出時系列データ６０の i 番目のフレームの特徴量を fi と表し、被抽出時系列データ６０が N 個のフレームで構成されているとする。この場合、被抽出時系列データ６０の特徴量 F は、F=(f1,f2,...,fN) と表すことができる。参照時系列データ３０の特徴量についても同様である。
　各フレームから特徴量を算出する方法は様々である。例えば対象時系列データがビデオデータであるとする。この場合、フレームは、ビデオデータを構成するビデオフレームである。そこで例えば、算出部２０４０は、フレームの特徴量として、フレームから画像特徴を抽出する。ここで、画像データから画像特徴を抽出する技術には、既存の任意の技術を利用することができる。例えば、ResNet などのような画像データを扱う CNN（Convolutional Neural Network）に対してビデオフレームを入力することで、その中間層から、当該ビデオフレームの特徴量を得ることができる。 
　また、算出部２０４０は、ビデオフレームから抽出された画像特徴に任意のデータを付加することで、ビデオフレームの特徴量を算出してもよい。以下、画像特徴に対して付加されるデータを、付加データと呼ぶ。例えばビデオフレームの画像特徴が M 次元のベクトルで表されており、付加データが L 次元のベクトルで表されているとする。この場合、ビデオフレームの特徴量は、これらのベクトルを連結した (M+L) 次元のベクトルで表すことができる。
　付加データの種類は様々である。例えば算出部２０４０は、ビデオフレームから特定の物体を検出し、その物体の姿勢を表す付加データを算出する。例えば対象時系列データ１０が、人の作業を撮影することで生成されたビデオデータであるとする。この場合、人の姿勢（手の姿勢、動体の姿勢、又は顔の姿勢など）を表すデータを、付加データとして利用することができる。なお、姿勢のデータ表現には、種々の既存の表現を利用することができる。
　時系列データの特徴量は、各フレームの特徴量が連結されたデータに限定されない。例えば算出部２０４０は、時系列データについて、フレームの時系列を考慮した特徴量を算出する。ここで、時系列データから時系列を考慮した特徴量を抽出する技術には、既存の種々の技術を利用することができる。例えば、I3D などのような時系列を考慮可能な 3D CNN に対して時系列データを入力することにより、その中間層から、当該時系列データの特徴量を得ることができる。
　算出部２０４０は、被抽出時系列データ６０と参照時系列データ３０との類似度として、被抽出時系列データ６０の特徴量と参照時系列データ３０の特徴量との類似度を算出する。ここで、２つの特徴量の類似度を算出する方法には、様々な方法を利用することができる。例えば時系列データの特徴量が、各フレームの特徴量が連結されたデータであるとする。この場合、算出部２０４０は、被抽出時系列データ６０の特徴量と参照時系列データ３０の特徴量について、フレームごとに類似度を算出し、算出された類似度の統計値（平均値など）を、これらの特徴量の類似度として扱う。ここで、２つのフレームの特徴量間の類似度の算出には、ノルムやコサイン類似度などといった種々の指標を用いることができる。なお、特徴量に前述した付加データが含まれる場合も、同様の方法で、被抽出時系列データ６０の特徴量と参照時系列データ３０の特徴量との類似度を算出することができる。
　被抽出時系列データ６０と参照時系列データ３０の類似度を算出する方法は、これらの特徴量を利用する方法に限定されない。例えば類似度の算出には、２つの時系列データが入力されたことに応じ、これらの類似度を出力するように予め訓練されている機械学習モデル（例えばニューラルネットワーク）を利用される。この場合、算出部２０４０は、被抽出時系列データ６０と参照時系列データ３０をこの訓練済みのモデルに入力することで、これらの類似度を得ることができる。なお、２つの時系列データの類似度を算出するように機械学習モデルを訓練する技術には、既存の技術を利用することができる。
＜クラス境界の検出：Ｓ１１２＞
　被抽出時系列データ６０と参照時系列データ３０がマッチする場合（Ｓ１１０：ＹＥＳ）、検出部２０６０はこの被抽出時系列データ６０からクラス境界を検出する。より具体的には、検出部２０６０は、参照時系列データ３０とマッチすると判定された被抽出時系列データ６０について、その中に含まれるクラス境界の種別と位置を特定する。
　被抽出時系列データ６０に含まれるクラス境界の種別は、その被抽出時系列データ６０とマッチする参照時系列データ３０に対応する境界種別である。例えば、対応する境界種別が（Ｃ１，Ｃ２）である参照時系列データ３０について、それとマッチする被抽出時系列データ６０が検出されたとする。この場合、検出部２０６０は、この被抽出時系列データ６０に含まれるクラス境界の種別が（Ｃ１，Ｃ２）であると特定する。言い換えれば、このクラス境界は、クラスＣ１とクラスＣ２の境界であると特定される。
　被抽出時系列データ６０におけるクラス境界の位置は、それとマッチする参照時系列データ３０におけるクラス境界の位置に基づいて特定することができる。例えば、被抽出時系列データ６０とマッチすると判定された参照時系列データ３０が、クラスＣ１に属する長さＸの時系列データの後に、クラスＣ２に属する長さＹの時系列データを有するとする。この場合、算出部２０４０は、被抽出時系列データ６０の先頭からＸ番目のフレーム、又は、被抽出時系列データ６０の先頭から（Ｘ＋１）番目のフレームを、クラス境界の位置を表すフレームとして特定する。ここで、被抽出時系列データ６０の先頭からＸ番目のフレームは、クラスＣ１に属するフレームの列の末尾を表す。一方、被抽出時系列データ６０の先頭から（Ｘ＋１）番目のフレームは、クラスＣ２に属するフレームの列の先頭を表す。
　ここで、クラス境界の周辺から抽出される複数の被抽出時系列データ６０が、そのクラス境界の種別と対応する参照時系列データ３０と類似している（類似度が高い）可能性がある。この場合、例えば検出部２０６０は、これら複数の被抽出時系列データ６０のうちのいずれか１つから、クラス境界の検出を行う。この点について、図９を用いて説明する。
　図９は、クラス境界の周辺から抽出される複数の被抽出時系列データ６０が、そのクラス境界の種別と対応する参照時系列データ３０と類似しうることを表す図である。図９において、参照時系列データ３０は、（Ｃ１，Ｃ２）という境界種別に対応しており、その中心部分がクラス境界となっている。また、対象時系列データ１０には、（Ｃ１，Ｃ２）というクラス境界が存在する。
　ここで、図９の対象時系列データ１０において、（Ｃ１，Ｃ２）というクラス境界がその中心に存在するのは、被抽出時系列データ６０－１である。しかしながら、被抽出時系列データ６０－１だけでなく、これに近接する他の被抽出時系列データ６０についても、クラス境界の周辺に位置していることから、参照時系列データ３０との類似度が高くなりうる。そのため、参照時系列データ３０との類似度が高い被抽出時系列データ６０が、被抽出時系列データ６０－１以外にも検出されうる。
　このように、参照時系列データ３０と類似する被抽出時系列データ６０として、近接する複数の被抽出時系列データ６０が検出された場合、例えば検出部２０６０は、これら複数の被抽出時系列データ６０のうちの１つから、クラス境界を検出する。ここで、クラス境界の検出に利用する被抽出時系列データ６０を決定する方法は様々である。例えば検出部２０６０は、複数の被抽出時系列データ６０のうち、参照時系列データ３０との類似度が最も高い被抽出時系列データ６０から、クラス境界を検出する。その他にも例えば検出部２０６０は、複数の被抽出時系列データ６０のうち、時系列順で真ん中に位置する被抽出時系列データ６０から、クラス境界を検出する。例えば、近接する７つの被抽出時系列データ６０がいずれも、同一の参照時系列データ３０と類似するとする。この場合、時系列の順で前から４番目の被抽出時系列データ６０から、クラス境界の検出に利用する被抽出時系列データ６０として決定される。その他にも例えば、検出部２０６０は、複数の被抽出時系列データ６０からランダムに１つを選択し、選択した被抽出時系列データ６０からクラス境界を検出する。
＜処理結果の出力＞
　クラス境界検出装置２０００は、処理結果を任意の方法で出力してもよい。以下、クラス境界検出装置２０００によって出力される情報を、出力情報と呼ぶ。また、出力情報の生成及び出力を行う機能構成部を、出力部と呼ぶ。図１０は、出力部２０８０を有するクラス境界検出装置２０００の機能構成を例示するブロック図である。
　例えば出力部２０８０は、出力情報として、検出された各クラス境界の境界種別及び位置を示す情報を生成する。図１１は、各クラス境界の境界種別及び位置を示す出力情報を例示する図である。図１１のテーブル１１０は、対象時系列データ１０から検出された各クラス境界について、境界種別識別情報１１２と境界位置１１４を示す。境界種別識別情報１１２は、クラス境界の種別を、クラスの順序対で表している。境界位置１１４は、クラス境界の位置を示す。ここでは、クラス境界の位置として、そのクラス境界の直前に位置するフレームの識別情報（フレーム番号など）が示されているとする。
　その他にも例えば、出力部２０８０は、各フレームに対してそのフレームが属するクラスを表すラベルが付加された対象時系列データ１０を、出力情報として生成する。例えば、対象時系列データ１０から検出された各クラス境界が、図１１の例で示されるものである場合、対象時系列データ１０の先頭のフレームから n1 番目のフレームはいずれも、クラスＣ１に属している。そこで出力部２０８０は、これらの各フレームに対して、クラスＣ１を表すラベルを付加する。また、図１１の例において、対象時系列データ１０の (n1+1) 番目から n2 番目までの各フレームは、クラスＣ２に属している。そのため、出力部２０８０は、これらの各フレームに対して、クラスＣ２を表すラベルを付与する。
　ここで、時系列データを構成する各フレームに対して手動でクラスのラベルを付加する場合、長い時間と大きな労力が必要となる。この点、上述したようにクラスのラベルが付与された対象時系列データ１０を出力情報として出力するようにクラス境界検出装置２０００を構成すれば、対象時系列データ１０の各フレームに対してそのフレームが属するクラスのラベルを付与するという処理が、クラス境界検出装置２０００によるクラス境界の検出結果に基づいて自動的に行われる。よって、対象時系列データ１０の各フレームに対してラベルを付与する処理が、短い時間で容易に実現される。
　出力情報の出力態様は任意である。例えば出力部２０８０は、出力情報を任意の記憶装置に格納する。その他にも例えば、出力部２０８０は、出力情報を他の装置へ送信する。その他にも例えば、出力部２０８０は、出力情報をディスプレイ装置に表示させる。
＜クラス境界の整合性の検証＞
　対象時系列データ１０から複数の種別のクラス境界が検出された場合、互いに隣接するクラス境界の整合性が検証されてもよい。以下、この検証を行う機能構成部を、検証部と呼ぶ。図１２は、検証部２１００を有するクラス境界検出装置２０００の機能構成を例示するブロック図である。
　具体的には、検証部２１００は、互いに隣接する２つのクラス境界について、前方のクラス境界が示す後のクラスと、後方のクラス境界が示す前のクラスとが一致するか否かを判定する。これらが一致する場合、検証部２１００は、２つのクラス境界が整合していると判定する。一方、これらが一致しない場合、検証部２１００は、２つのクラス境界が整合していないと判定する。なお、クラス境界が示す前のクラスとは、そのクラス境界の境界種別の順序対における１番目のクラスを意味する。例えば境界種別が（Ｃ１，Ｃ２）であれば、クラス境界が示す前のクラスはＣ１である。一方、クラス境界が示す後のクラスとは、そのクラス境界の境界種別の順序対における２番目のクラスを意味する。例えば境界種別が（Ｃ１，Ｃ２）であれば、クラス境界が示す後のクラスはＣ２である。
　図１３及び図１４は、クラス境界の整合性の検証について例示する図である。図１３では、（Ｃ１，Ｃ２）というクラス境界Ｂ１が検出された後に、（Ｃ２，Ｃ３）というクラス境界Ｂ２が検出されている。ここで、前方のクラス境界Ｂ１が示す後のクラスはＣ２であり、後方のクラス境界Ｂ２が示す前のクラスもＣ２である。このことから、これら２つのクラス境界はいずれも、これらのクラス境界の間にある時系列データ２０が、クラスＣ２に属していることを表している。よって、クラス境界が整合していると言える。
　一方、図１４では、（Ｃ１，Ｃ２）というクラス境界Ｂ３が検出された後に、（Ｃ３，Ｃ４）というクラス境界Ｂ４が検出されている。ここで、前方のクラス境界Ｂ３が示す後のクラスはＣ２である一方、後方のクラス境界Ｂ４が示す前のクラスはＣ３である。この場合、クラス境界Ｂ３は、クラス境界Ｂ３とＢ４の間にある時系列データ２０がクラスＣ２に属していることを表している。一方、クラス境界Ｂ４は、この時系列データ２０がクラスＣ３に属していることを表している。そのため、これらのクラス境界は整合していない。
　クラス境界検出装置２０００は、クラス境界が整合していないことが検出されたことに応じて、種々の処理を実行してもよい。例えばクラス境界検出装置２０００は、ある２つのクラス境界が整合していないと判定された場合に、いずれか一方のクラス境界の種別を修正する。クラス境界の種別の修正を行う機能構成部を、修正部と呼ぶ。図１５は、修正部２１２０を有するクラス境界検出装置２０００の機能構成を例示するブロック図である。
　例えば修正部２１２０は、隣接するクラス境界と整合しないと判定された２つのクラス境界それぞれ（例えば、図１４におけるクラス境界Ｂ３とＢ４）について、当該クラス境界の検出に用いられた被抽出時系列データ６０と参照時系列データ３０の類似度に基づき、クラス境界の種別を修正する。ここで前提として、クラス境界の検出の際、被抽出時系列データ６０と参照時系列データ３０の類似度を算出するために、フレームごとに特徴量の類似度が算出されるとする。
　境界種別の修正方法について、図１６を用いて具体的に説明する。図１６は、境界種別の修正方法を表す図である。図１６では、図１４と同様に、境界種別が（Ｃ１，Ｃ２）であるクラス境界Ｂ３が検出された後に、境界種別が（Ｃ３，Ｃ４）であるクラス境界Ｂ４が検出されている。
　グラフ１３０は、クラス境界Ｂ３が検出された被抽出時系列データ６０と、境界種別（Ｃ１，Ｃ２）に対応する参照時系列データ３０について、フレームごとの類似度を示している。グラフ１３０を見ると、クラス境界Ｂ３より前の部分については、フレームごとの類似度が高い一方、クラス境界Ｂ３より前の部分については、フレームごとの類似度が低くなっている。このことから、クラス境界Ｂ３の前の部分がクラスＣ１であるという点については信頼度が高い一方で、クラス境界Ｂ３の後の部分がクラスＣ２であるという点については信頼度が低いと考えられる。
　グラフ１４０は、クラス境界Ｂ４が検出された被抽出時系列データ６０と、境界種別（Ｃ３，Ｃ４）に対応する参照時系列データ３０について、フレームごとの類似度を示している。グラフ１４０を見ると、クラス境界Ｂ４より前の部分と後の部分のいずれについても、フレームごとの類似度が高くなっている。このことから、クラス境界Ｂ４の前の部分がクラスＣ３であるという点と、クラス境界Ｂ４の後の部分がクラスＣ４であるという点のいずれについても、信頼度が高いと考えられる。
　このようにグラフ１３０とグラフ１４０を解析することにより、クラス境界Ｂ３とクラス境界Ｂ４の間にある時系列データ２０は、クラスＣ２に属する蓋然性よりもクラスＣ３に属する蓋然性の方が高いと言える。そこで修正部２１２０は、クラス境界Ｂ３の境界種別を、（Ｃ１，Ｃ２）から（Ｃ１，Ｃ３）に修正する。
　図１６を用いて説明した処理をより具体的に実現するために、例えば修正部２１２０は、互いに整合しない隣接する２つのクラス境界について、以下の処理を行う。まず修正部２１２０は、前のクラス境界（図１６におけるＢ３）が検出された被抽出時系列データ６０と、そのクラス境界の境界種別に対応する参照時系列データ３０とについて、そのクラス境界よりも前の部分の各フレームの類似度の統計値（例えば平均値など）と、そのクラス境界よりも後の部分の各フレームの類似度の統計値を算出し、これらを比較する。例えば図１６の例では、グラフ１３０について、クラス境界Ｂ３よりも前の部分について算出される類似度の統計値と、クラス境界Ｂ３よりも後の部分について算出される類似度の統計値とが比較される。
　算出された２つの統計値の差異が小さい場合（例えば、２つの統計値の差分や比率が所定の数値範囲内である場合）、現状のクラス境界が正しい蓋然性が高い。一方、２つの統計値の差異が大きい場合（例えば、２つの統計値の差分や比率が所定の数値範囲から外れている場合）、現状のクラス境界が誤っている蓋然性が高い。
　同様に、修正部２１２０は、後のクラス境界（図１６におけるＢ４）が検出された被抽出時系列データ６０と、そのクラス境界の境界種別に対応する参照時系列データ３０とについて、そのクラス境界よりも前の部分の各フレームの類似度の統計値と、そのクラス境界よりも後の部分の各フレームの類似度の統計値を算出し、これらを比較する。例えば図１６の例では、グラフ１４０について、クラス境界Ｂ４よりも前の部分について算出される類似度の統計値と、クラス境界Ｂ４よりも後の部分について算出される類似度の統計値とが比較される。この場合も同様に、算出された２つの統計値の差異が小さい場合には現状のクラス境界が正しい蓋然性が高い一方、これら２つの統計値の差異が大きい場合には現状のクラス境界が誤っている蓋然性が高い。
　上述の方法により、修正部２１２０は、前のクラス境界と後のクラス境界のどちらに誤りがあるのかを特定する。前のクラス境界において前述した類似度の統計値の差異が大きい場合、修正部２１２０は、前のクラス境界において、クラス境界よりも後のクラスが誤りであると特定する。一方、後のクラス境界において前述した類似度の統計値の差異が大きい場合、修正部２１２０は、後のクラス境界において、クラス境界よりも前のクラスが誤りであると特定する。
　図１６の例では、クラス境界Ｂ３よりも前の部分について算出される類似度の統計値と、クラス境界Ｂ３よりも後の部分について算出される類似度の統計値との差異が大きい。一方、クラス境界Ｂ４よりも前の部分について算出される類似度の統計値と、クラス境界Ｂ４よりも後の部分について算出される類似度の統計値との差異は小さい。よって、修正部２１２０は、クラス境界Ｂ３に誤りがあると特定する。
　修正部２１２０は、誤りが特定されたクラスを修正する。例えば修正部２１２０は、誤りがあると特定されたクラス境界を、誤りがないと特定されたクラス境界に整合するように修正する。前のクラス境界に誤りがあり、後ろのクラス境界に誤りがないと特定された場合、修正部２１２０は、前のクラス境界を、後のクラス境界に整合するように修正する。より具体的には、修正部２１２０は、前のクラス境界が示す後のクラス（図１６の例では、クラス境界Ｂ３におけるＣ２）を、後のクラス境界が示す前のクラス（図１６の例では、クラス境界Ｂ４におけるＣ３）に変更する。
　一方、前のクラス境界に誤りがなく、後のクラス境界に誤りがあると特定された場合、修正部２１２０は、後のクラス境界を、前のクラス境界に整合するように修正する。より具体的には、修正部２１２０は、後のクラス境界が示す前のクラスを、前のクラス境界が示す後のクラスに変更する。
　クラス境界を修正する方法は、上述の方法に限定されない。例えば修正部２１２０は、以下の方法でクラス境界の修正を行う。まず、隣接する２つのクラス境界のうち、前のクラス境界に誤りがあると特定された場合について説明する。この場合のために、各クラスに属する時系列データについて、その先頭部分の時系列データ（例えば、先頭Ｔ個のフレームから成る時系列データ）を用意しておく。例えば、クラスＣ１、Ｃ２、及びＣ３という３種類のクラスが存在するとする。この場合、クラスＣ１に属する時系列データの先頭部分の時系列データ、クラスＣ２に属する時系列データの先頭部分の時系列データ、及びクラスＣ３に属する時系列データの先頭部分の時系列データという３つの時系列データが用意される。これらの時系列データのことを、第２参照時系列データと呼ぶ。
　修正部２１２０は、前のクラス境界に誤りがあると特定された場合、そのクラス境界が検出された被抽出時系列データ６０の、クラス境界よりも後の部分における時系列データについて、各第２参照時系列データとの類似度を算出する。そして、修正部２１２０は、被抽出時系列データ６０におけるクラス境界よりも後の時系列データとの類似度が高い（例えば、類似度が閾値以上である）第２参照時系列データが存在する場合、クラス境界が示す後のクラスを、その第２参照時系列データに対応するクラスに変更する。ここで、修正部２１２０は、第２参照時系列データそのものを取得してその特徴量を算出してもよいし、第２参照時系列データの特徴量を取得してもよい。また、第２参照時系列データは、対応するクラスの識別情報と対応づけて、クラス境界検出装置２０００からアクセス可能な態様で、記憶装置に予め格納されているものとする。
　例えば図１６の例の場合、クラス境界Ｂ３に誤りがあると特定される。そこで修正部２１２０は、クラス境界Ｂ３が検出された被抽出時系列データ６０のうち、クラス境界Ｂ３よりも後の部分の時系列データについて、各クラスの第２参照時系列データとの類似度を算出する。その結果、クラスＣ３に対応する第２参照時系列データについて算出された類似度が高いと判定されたとする。この場合、修正部２１２０は、クラス境界Ｂ３が示す後のクラスを、Ｃ２からＣ３に変更する。
　次に、隣接するクラス境界のうち、後のクラス境界に誤りがあると特定された場合について説明する。この場合、各クラスに属する時系列データについて、その末尾部分の時系列データ（例えば、末尾Ｔ個のフレームから成る時系列データ）を用意しておく。これらの時系列データのことを、第３参照時系列データと呼ぶ。
　修正部２１２０は、後のクラス境界に誤りがあると特定された場合、そのクラス境界が検出された被抽出時系列データ６０の、クラス境界よりも前の部分における時系列データについて、各第３参照時系列データとの類似度を算出する。そして、修正部２１２０は、被抽出時系列データ６０におけるクラス境界よりも前の時系列データとの類似度が高い（例えば、類似度が閾値以上である）第３参照時系列データが存在する場合、クラス境界が示す前のクラスを、その第３参照時系列データに対応するクラスに変更する。ここで、修正部２１２０は、第３参照時系列データそのものを取得してその特徴量を算出してもよいし、第３参照時系列データの特徴量を取得してもよい。また、第３参照時系列データは、対応するクラスの識別情報と対応づけて、クラス境界検出装置２０００からアクセス可能な態様で、記憶装置に予め格納されているものとする。
　クラス境界の修正は、前述したように修正部２１２０によって自動で行われる代わりに、クラス境界検出装置２０００のユーザによって手動で行われてもよい。この場合、修正部２１２０は、境界種別を修正するための画面をユーザに提供し、ユーザの入力操作に結果に応じて、クラス境界を修正する。以下、詳細に説明する。
　図１７は、境界種別を修正するための修正画面を例示する図である。修正画面２００は、表示エリア２１０、２２０、及び２３０を有する。表示エリア２１０は、被抽出時系列データ６０と参照時系列データ３０との類似度の大きさを表すグラフ２４０を含む。このグラフにおいて、被抽出時系列データ６０との比較に利用される参照時系列データ３０は、入力エリア２５０で選択することができる。図１７では、（Ｃ１，Ｃ２）が選択されている。表示エリア２１０は、さらに、検出されたクラス境界を示す境界表示２６０、及び、フォーカスされている時系列データを示す選択表示２７０を含む。
　表示エリア２２０は、選択表示２７０で表示されている時系列データについて、その中心を含む所定の個数（図１７では５個）のフレームを示す。マーク２８０は、表示エリア２３０に表示されるフレームを示すマークである。表示エリア２３０は、マーク２８０が付されているフレームが表示される領域である。ユーザは、表示エリア２２０に表示されているフレームの１つを指定する入力操作を行うことができる。そして、当該入力操作で指定されたフレームにマーク２８０が付され、かつ、そのフレームが表示エリア２３０に表示される。
　ユーザは、修正画面２００を利用して、クラス境界を修正することができる。例えばユーザは、選択表示２７０によって選択されている時系列データにクラス境界が含まれている場合、入力エリア２９０及び入力エリア３００を利用して、そのクラス境界の境界種別を修正することができる。入力エリア２９０は、クラス境界が示す前のクラスの修正に利用される。一方、入力エリア３００は、クラス境界が示す後のクラスの修正に利用される。例えば図１７の例では、現在、選択表示２７０によって選択されているクラス境界は、（Ｃ１，Ｃ２）である。そのため、入力エリア２９０にはＣ１が表示されており、入力エリア３００にはＣ２が表示されている。ここで、ユーザが入力エリア２９０でＣ３を選択した場合、修正部２１２０は、クラス境界（Ｃ１，Ｃ２）を（Ｃ３，Ｃ２）に修正する。また、ユーザが入力エリア３００でＣ３を選択した場合、修正部２１２０は、クラス境界（Ｃ１，Ｃ２）を（Ｃ１，Ｃ３）に修正する。
　ここで修正部２１２０は、前述した方法で誤りがあるクラス境界を特定し、当該特定結果を利用して、修正画面２００を提示してもよい。例えば修正部２１２０は、隣接するクラス境界に不整合があると判定されたことに応じて、修正画面２００を例示する。この際、修正部２１２０は、前述した方法で、隣接する２つのクラス境界のうち、どちらに誤りがあるのかを特定する。そして、修正部２１２０は、誤りがあると特定されたクラス境界にフォーカスされている（選択表示２７０が表示されている）修正画面２００を生成する。またこの際、グラフ２４０には、誤りがあると特定されたクラス境界の境界種別に対応した参照時系列データ３０について、被抽出時系列データ６０との類似度を表すグラフが表示される。こうすることで、誤りがあると特定されたクラス境界に着目した修正画面２００がユーザに対して提供される。よって、ユーザは、誤りがあると特定されたクラス境界の修正を容易に行うことができる。
　修正画面２００では、クラス境界の位置を修正する入力操作が可能であってもよい。例えばグラフ２４０において、境界表示２６０をユーザが左右に移動させることにより、クラス境界の位置を変更することができるようにする。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　なお、上述の例において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　解析対象の時系列データである対象時系列データを取得する取得部と、
　前記対象時系列データから複数の被抽出時系列データを抽出し、２つの互いに異なるクラスのクラス境界を表す参照時系列データと、各前記被抽出時系列データとの類似度を算出する算出部と、
　前記算出された類似度が閾値以上である前記被抽出時系列データから、前記参照時系列データによって表されるクラス境界を検出する検出部と、を有し、
　前記参照時系列データは、前記クラス境界が示す前のクラスに属する時系列データの末尾の部分の後に、前記クラス境界が示す後のクラスに属する時系列データの先頭の部分を有する、クラス境界検出装置。
　（付記２）
　前記算出部は、前記参照時系列データと前記被抽出時系列データの類似度として、前記参照時系列データの特徴量と前記被抽出時系列データの特徴量との類似度を算出する、付記１に記載のクラス境界検出装置。
　（付記３）
　前記対象時系列データは、ビデオフレームの列であるビデオデータであり、
　前記被抽出時系列データの特徴量は、前記被抽出時系列データを構成する各フレームの特徴量を示し、
　前記算出部は、前記被抽出時系列データを構成する各ビデオフレームについて、そのビデオフレームの画像特徴と、そのビデオフレームに含まれる所定の物体の姿勢を表すデータとを示す特徴量を算出する、付記２に記載のクラス境界検出装置。
　（付記４）
　前記算出部は、複数の種別のクラス境界それぞれに対応する各前記参照時系列データについて、各前記被抽出時系列データとの類似度を算出し、
　前記検出部は、前記参照時系列データとの類似度が閾値以上である前記被抽出時系列データから、その参照時系列データに対応する種別のクラス境界を検出する、付記１から３いずれか一項に記載のクラス境界検出装置。
　（付記５）
　前記対象時系列データから検出された互いに隣接する２つのクラス境界が整合しているか否かを判定する検証部と、
　互いに隣接する２つのクラス境界が整合していないと判定された場合にクラス境界を修正する修正部と、を有する付記１から４いずれか一項に記載のクラス境界検出装置。
　（付記６）
　前記修正部は、整合していないと判定された２つのクラス境界それぞれについて、そのクラス境界が検出された前記被抽出時系列データとそのクラス境界の種類に対応する前記参照時系列データとにおける各フレーム間の類似度の高さを、そのクラス境界の前の部分と後の部分とで比較し、その差異が閾値以上である場合に、そのクラス境界に誤りがあると判定する、付記５に記載のクラス境界検出装置。
　（付記７）
　前記修正部は、誤りがあると判定されたクラス境界を、誤りがないと判定されたクラス境界に整合するように修正する、付記６に記載のクラス境界検出装置。
　（付記８）
　前記修正部は、
　　誤りがあると判定されたクラス境界が検出された前記被抽出時系列データとそのクラス境界の種類に対応する前記参照時系列データとにおける各フレーム間の類似度について、そのクラス境界の前の部分について算出された類似度の方がそのクラス境界の後の部分について算出された類似度よりも低い場合、その被抽出時系列データと、各クラスに属する時系列データの末尾部分との類似度を算出し、その類似度が閾値以上であるクラスで、誤りがあると判定されたクラス境界が示す前のクラスを修正し、
　　誤りがあると判定されたクラス境界が検出された前記被抽出時系列データとそのクラス境界の種類に対応する前記参照時系列データとにおける各フレーム間の類似度について、そのクラス境界の後の部分について算出された類似度の方がそのクラス境界の前の部分について算出された類似度よりも低い場合、その被抽出時系列データと、各クラスに属する時系列データの先頭部分との類似度を算出し、その類似度が閾値以上であるクラスで、誤りがあると判定されたクラス境界が示す後のクラスを修正する、付記６に記載のクラス境界検出装置。
　（付記９）
　前記修正部は、クラス境界が示す前のクラス、後のクラス、又は双方を修正する入力操作を受け付ける修正画面を出力し、前記修正画面に対して行われた入力操作に応じてクラス境界を修正する、付記５に記載のクラス境界検出装置。
　（付記１０）
　コンピュータによって実行される制御方法であって、
　解析対象の時系列データである対象時系列データを取得する取得ステップと、
　前記対象時系列データから複数の被抽出時系列データを抽出し、２つの互いに異なるクラスのクラス境界を表す参照時系列データと、各前記被抽出時系列データとの類似度を算出する算出ステップと、
　前記算出された類似度が閾値以上である前記被抽出時系列データから、前記参照時系列データによって表されるクラス境界を検出する検出ステップと、を有し、
　前記参照時系列データは、前記クラス境界が示す前のクラスに属する時系列データの末尾の部分の後に、前記クラス境界が示す後のクラスに属する時系列データの先頭の部分を有する、制御方法。
　（付記１１）
　前記算出ステップにおいて、前記参照時系列データと前記被抽出時系列データの類似度として、前記参照時系列データの特徴量と前記被抽出時系列データの特徴量との類似度を算出する、付記１０に記載の制御方法。
　（付記１２）
　前記対象時系列データは、ビデオフレームの列であるビデオデータであり、
　前記被抽出時系列データの特徴量は、前記被抽出時系列データを構成する各フレームの特徴量を示し、
　前記算出ステップにおいて、前記被抽出時系列データを構成する各ビデオフレームについて、そのビデオフレームの画像特徴と、そのビデオフレームに含まれる所定の物体の姿勢を表すデータとを示す特徴量を算出する、付記１１に記載の制御方法。
　（付記１３）
　前記算出ステップにおいて、複数の種別のクラス境界それぞれに対応する各前記参照時系列データについて、各前記被抽出時系列データとの類似度を算出し、
　前記検出ステップにおいて、前記参照時系列データとの類似度が閾値以上である前記被抽出時系列データから、その参照時系列データに対応する種別のクラス境界を検出する、付記１０から１２いずれか一項に記載の制御方法。
　（付記１４）
　前記対象時系列データから検出された互いに隣接する２つのクラス境界が整合しているか否かを判定する検証ステップと、
　互いに隣接する２つのクラス境界が整合していないと判定された場合にクラス境界を修正する修正ステップと、を有する付記１０から１３いずれか一項に記載の制御方法。
　（付記１５）
　前記修正ステップにおいて、整合していないと判定された２つのクラス境界それぞれについて、そのクラス境界が検出された前記被抽出時系列データとそのクラス境界の種類に対応する前記参照時系列データとにおける各フレーム間の類似度の高さを、そのクラス境界の前の部分と後の部分とで比較し、その差異が閾値以上である場合に、そのクラス境界に誤りがあると判定する、付記１４に記載の制御方法。
　（付記１６）
　前記修正ステップにおいて、誤りがあると判定されたクラス境界を、誤りがないと判定されたクラス境界に整合するように修正する、付記１５に記載の制御方法。
　（付記１７）
　前記修正ステップにおいて、
　　誤りがあると判定されたクラス境界が検出された前記被抽出時系列データとそのクラス境界の種類に対応する前記参照時系列データとにおける各フレーム間の類似度について、そのクラス境界の前の部分について算出された類似度の方がそのクラス境界の後の部分について算出された類似度よりも低い場合、その被抽出時系列データと、各クラスに属する時系列データの末尾部分との類似度を算出し、その類似度が閾値以上であるクラスで、誤りがあると判定されたクラス境界が示す前のクラスを修正し、
　　誤りがあると判定されたクラス境界が検出された前記被抽出時系列データとそのクラス境界の種類に対応する前記参照時系列データとにおける各フレーム間の類似度について、そのクラス境界の後の部分について算出された類似度の方がそのクラス境界の前の部分について算出された類似度よりも低い場合、その被抽出時系列データと、各クラスに属する時系列データの先頭部分との類似度を算出し、その類似度が閾値以上であるクラスで、誤りがあると判定されたクラス境界が示す後のクラスを修正する、付記１５に記載の制御方法。
　（付記１８）
　前記修正ステップにおいて、クラス境界が示す前のクラス、後のクラス、又は双方を修正する入力操作を受け付ける修正画面を出力し、前記修正画面に対して行われた入力操作に応じてクラス境界を修正する、付記１４に記載の制御方法。
　（付記１９）
　プログラムが格納されている非一時的なコンピュータ可読媒体であって、
　前記プログラムは、コンピュータに、
　解析対象の時系列データである対象時系列データを取得する取得ステップと、
　前記対象時系列データから複数の被抽出時系列データを抽出し、２つの互いに異なるクラスのクラス境界を表す参照時系列データと、各前記被抽出時系列データとの類似度を算出する算出ステップと、
　前記算出された類似度が閾値以上である前記被抽出時系列データから、前記参照時系列データによって表されるクラス境界を検出する検出ステップと、を実行させ、
　前記参照時系列データは、前記クラス境界が示す前のクラスに属する時系列データの末尾の部分の後に、前記クラス境界が示す後のクラスに属する時系列データの先頭の部分を有する、非一時的なコンピュータ可読媒体。
　（付記２０）
　前記算出ステップにおいて、前記参照時系列データと前記被抽出時系列データの類似度として、前記参照時系列データの特徴量と前記被抽出時系列データの特徴量との類似度を算出する、付記１９に記載のコンピュータ可読媒体。
　（付記２１）
　前記対象時系列データは、ビデオフレームの列であるビデオデータであり、
　前記被抽出時系列データの特徴量は、前記被抽出時系列データを構成する各フレームの特徴量を示し、
　前記算出ステップにおいて、前記被抽出時系列データを構成する各ビデオフレームについて、そのビデオフレームの画像特徴と、そのビデオフレームに含まれる所定の物体の姿勢を表すデータとを示す特徴量を算出する、付記２０に記載のコンピュータ可読媒体。
　（付記２２）
　前記算出ステップにおいて、複数の種別のクラス境界それぞれに対応する各前記参照時系列データについて、各前記被抽出時系列データとの類似度を算出し、
　前記検出ステップにおいて、前記参照時系列データとの類似度が閾値以上である前記被抽出時系列データから、その参照時系列データに対応する種別のクラス境界を検出する、付記１９から２１いずれか一項に記載のコンピュータ可読媒体。
　（付記２３）
　前記対象時系列データから検出された互いに隣接する２つのクラス境界が整合しているか否かを判定する検証ステップと、
　互いに隣接する２つのクラス境界が整合していないと判定された場合にクラス境界を修正する修正ステップと、を有する付記１９から２２いずれか一項に記載のコンピュータ可読媒体。

　（付記２４）
　前記修正ステップにおいて、整合していないと判定された２つのクラス境界それぞれについて、そのクラス境界が検出された前記被抽出時系列データとそのクラス境界の種類に対応する前記参照時系列データとにおける各フレーム間の類似度の高さを、そのクラス境界の前の部分と後の部分とで比較し、その差異が閾値以上である場合に、そのクラス境界に誤りがあると判定する、付記２３に記載のコンピュータ可読媒体。
　（付記２５）
　前記修正ステップにおいて、誤りがあると判定されたクラス境界を、誤りがないと判定されたクラス境界に整合するように修正する、付記２４に記載のコンピュータ可読媒体。
　（付記２６）
　前記修正ステップにおいて、
　　誤りがあると判定されたクラス境界が検出された前記被抽出時系列データとそのクラス境界の種類に対応する前記参照時系列データとにおける各フレーム間の類似度について、そのクラス境界の前の部分について算出された類似度の方がそのクラス境界の後の部分について算出された類似度よりも低い場合、その被抽出時系列データと、各クラスに属する時系列データの末尾部分との類似度を算出し、その類似度が閾値以上であるクラスで、誤りがあると判定されたクラス境界が示す前のクラスを修正し、
　　誤りがあると判定されたクラス境界が検出された前記被抽出時系列データとそのクラス境界の種類に対応する前記参照時系列データとにおける各フレーム間の類似度について、そのクラス境界の後の部分について算出された類似度の方がそのクラス境界の前の部分について算出された類似度よりも低い場合、その被抽出時系列データと、各クラスに属する時系列データの先頭部分との類似度を算出し、その類似度が閾値以上であるクラスで、誤りがあると判定されたクラス境界が示す後のクラスを修正する、付記２４に記載のコンピュータ可読媒体。
　（付記２７）
　前記修正ステップにおいて、クラス境界が示す前のクラス、後のクラス、又は双方を修正する入力操作を受け付ける修正画面を出力し、前記修正画面に対して行われた入力操作に応じてクラス境界を修正する、付記２３に記載のコンピュータ可読媒体。
１０　　　　　　対象時系列データ
２０　　　　　　時系列データ
３０　　　　　　参照時系列データ
４０　　　　　　時系列データ
５０　　　　　　時系列データ
６０　　　　　　被抽出時系列データ
８０　　　　　　境界種別識別情報
９０　　　　　　参照データ
１００　　　　　　テーブル
１１０　　　　　　テーブル
１１２　　　　　　境界種別識別情報
１１４　　　　　　境界位置
１３０　　　　　　グラフ
１４０　　　　　　グラフ
２００　　　　　　修正画面
２１０　　　　　　表示エリア
２２０　　　　　　表示エリア
２３０　　　　　　表示エリア
２４０　　　　　　グラフ
２５０　　　　　　入力エリア
２６０　　　　　　境界表示
２７０　　　　　　選択表示
２８０　　　　　　マーク
２９０　　　　　　入力エリア
３００　　　　　　入力エリア
５００　　　　　　コンピュータ
５０２　　　　　　バス
５０４　　　　　　プロセッサ
５０６　　　　　　メモリ
５０８　　　　　　ストレージデバイス
５１０　　　　　　入出力インタフェース
５１２　　　　　　ネットワークインタフェース
２０００　　　　　クラス境界検出装置
２０２０　　　　　取得部
２０４０　　　　　算出部
２０６０　　　　　検出部
２０８０　　　　　出力部
２１００　　　　　検証部
２１２０　　　　　修正部

Claims (27)

  1. 　解析対象の時系列データである対象時系列データを取得する取得部と、
    　前記対象時系列データから複数の被抽出時系列データを抽出し、２つの互いに異なるクラスのクラス境界を表す参照時系列データと、各前記被抽出時系列データとの類似度を算出する算出部と、
    　前記算出された類似度が閾値以上である前記被抽出時系列データから、前記参照時系列データによって表されるクラス境界を検出する検出部と、を有し、
    　前記参照時系列データは、前記クラス境界が示す前のクラスに属する時系列データの末尾の部分の後に、前記クラス境界が示す後のクラスに属する時系列データの先頭の部分を有する、クラス境界検出装置。
  2. 　前記算出部は、前記参照時系列データと前記被抽出時系列データの類似度として、前記参照時系列データの特徴量と前記被抽出時系列データの特徴量との類似度を算出する、請求項１に記載のクラス境界検出装置。
  3. 　前記対象時系列データは、ビデオフレームの列であるビデオデータであり、
    　前記被抽出時系列データの特徴量は、前記被抽出時系列データを構成する各フレームの特徴量を示し、
    　前記算出部は、前記被抽出時系列データを構成する各ビデオフレームについて、そのビデオフレームの画像特徴と、そのビデオフレームに含まれる所定の物体の姿勢を表すデータとを示す特徴量を算出する、請求項２に記載のクラス境界検出装置。
  4. 　前記算出部は、複数の種別のクラス境界それぞれに対応する各前記参照時系列データについて、各前記被抽出時系列データとの類似度を算出し、
    　前記検出部は、前記参照時系列データとの類似度が閾値以上である前記被抽出時系列データから、その参照時系列データに対応する種別のクラス境界を検出する、請求項１から３いずれか一項に記載のクラス境界検出装置。
  5. 　前記対象時系列データから検出された互いに隣接する２つのクラス境界が整合しているか否かを判定する検証部と、
    　互いに隣接する２つのクラス境界が整合していないと判定された場合にクラス境界を修正する修正部と、を有する請求項１から４いずれか一項に記載のクラス境界検出装置。
  6. 　前記修正部は、整合していないと判定された２つのクラス境界それぞれについて、そのクラス境界が検出された前記被抽出時系列データとそのクラス境界の種類に対応する前記参照時系列データとにおける各フレーム間の類似度の高さを、そのクラス境界の前の部分と後の部分とで比較し、その差異が閾値以上である場合に、そのクラス境界に誤りがあると判定する、請求項５に記載のクラス境界検出装置。
  7. 　前記修正部は、誤りがあると判定されたクラス境界を、誤りがないと判定されたクラス境界に整合するように修正する、請求項６に記載のクラス境界検出装置。
  8. 　前記修正部は、
    　　誤りがあると判定されたクラス境界が検出された前記被抽出時系列データとそのクラス境界の種類に対応する前記参照時系列データとにおける各フレーム間の類似度について、そのクラス境界の前の部分について算出された類似度の方がそのクラス境界の後の部分について算出された類似度よりも低い場合、その被抽出時系列データと、各クラスに属する時系列データの末尾部分との類似度を算出し、その類似度が閾値以上であるクラスで、誤りがあると判定されたクラス境界が示す前のクラスを修正し、
    　　誤りがあると判定されたクラス境界が検出された前記被抽出時系列データとそのクラス境界の種類に対応する前記参照時系列データとにおける各フレーム間の類似度について、そのクラス境界の後の部分について算出された類似度の方がそのクラス境界の前の部分について算出された類似度よりも低い場合、その被抽出時系列データと、各クラスに属する時系列データの先頭部分との類似度を算出し、その類似度が閾値以上であるクラスで、誤りがあると判定されたクラス境界が示す後のクラスを修正する、請求項６に記載のクラス境界検出装置。
  9. 　前記修正部は、クラス境界が示す前のクラス、後のクラス、又は双方を修正する入力操作を受け付ける修正画面を出力し、前記修正画面に対して行われた入力操作に応じてクラス境界を修正する、請求項５に記載のクラス境界検出装置。
  10. 　コンピュータによって実行される制御方法であって、
    　解析対象の時系列データである対象時系列データを取得する取得ステップと、
    　前記対象時系列データから複数の被抽出時系列データを抽出し、２つの互いに異なるクラスのクラス境界を表す参照時系列データと、各前記被抽出時系列データとの類似度を算出する算出ステップと、
    　前記算出された類似度が閾値以上である前記被抽出時系列データから、前記参照時系列データによって表されるクラス境界を検出する検出ステップと、を有し、
    　前記参照時系列データは、前記クラス境界が示す前のクラスに属する時系列データの末尾の部分の後に、前記クラス境界が示す後のクラスに属する時系列データの先頭の部分を有する、制御方法。
  11. 　前記算出ステップにおいて、前記参照時系列データと前記被抽出時系列データの類似度として、前記参照時系列データの特徴量と前記被抽出時系列データの特徴量との類似度を算出する、請求項１０に記載の制御方法。
  12. 　前記対象時系列データは、ビデオフレームの列であるビデオデータであり、
    　前記被抽出時系列データの特徴量は、前記被抽出時系列データを構成する各フレームの特徴量を示し、
    　前記算出ステップにおいて、前記被抽出時系列データを構成する各ビデオフレームについて、そのビデオフレームの画像特徴と、そのビデオフレームに含まれる所定の物体の姿勢を表すデータとを示す特徴量を算出する、請求項１１に記載の制御方法。
  13. 　前記算出ステップにおいて、複数の種別のクラス境界それぞれに対応する各前記参照時系列データについて、各前記被抽出時系列データとの類似度を算出し、
    　前記検出ステップにおいて、前記参照時系列データとの類似度が閾値以上である前記被抽出時系列データから、その参照時系列データに対応する種別のクラス境界を検出する、請求項１０から１２いずれか一項に記載の制御方法。
  14. 　前記対象時系列データから検出された互いに隣接する２つのクラス境界が整合しているか否かを判定する検証ステップと、
    　互いに隣接する２つのクラス境界が整合していないと判定された場合にクラス境界を修正する修正ステップと、を有する請求項１０から１３いずれか一項に記載の制御方法。
  15. 　前記修正ステップにおいて、整合していないと判定された２つのクラス境界それぞれについて、そのクラス境界が検出された前記被抽出時系列データとそのクラス境界の種類に対応する前記参照時系列データとにおける各フレーム間の類似度の高さを、そのクラス境界の前の部分と後の部分とで比較し、その差異が閾値以上である場合に、そのクラス境界に誤りがあると判定する、請求項１４に記載の制御方法。
  16. 　前記修正ステップにおいて、誤りがあると判定されたクラス境界を、誤りがないと判定されたクラス境界に整合するように修正する、請求項１５に記載の制御方法。
  17. 　前記修正ステップにおいて、
    　　誤りがあると判定されたクラス境界が検出された前記被抽出時系列データとそのクラス境界の種類に対応する前記参照時系列データとにおける各フレーム間の類似度について、そのクラス境界の前の部分について算出された類似度の方がそのクラス境界の後の部分について算出された類似度よりも低い場合、その被抽出時系列データと、各クラスに属する時系列データの末尾部分との類似度を算出し、その類似度が閾値以上であるクラスで、誤りがあると判定されたクラス境界が示す前のクラスを修正し、
    　　誤りがあると判定されたクラス境界が検出された前記被抽出時系列データとそのクラス境界の種類に対応する前記参照時系列データとにおける各フレーム間の類似度について、そのクラス境界の後の部分について算出された類似度の方がそのクラス境界の前の部分について算出された類似度よりも低い場合、その被抽出時系列データと、各クラスに属する時系列データの先頭部分との類似度を算出し、その類似度が閾値以上であるクラスで、誤りがあると判定されたクラス境界が示す後のクラスを修正する、請求項１５に記載の制御方法。
  18. 　前記修正ステップにおいて、クラス境界が示す前のクラス、後のクラス、又は双方を修正する入力操作を受け付ける修正画面を出力し、前記修正画面に対して行われた入力操作に応じてクラス境界を修正する、請求項１４に記載の制御方法。
  19. 　プログラムが格納されている非一時的なコンピュータ可読媒体であって、
    　前記プログラムは、コンピュータに、
    　解析対象の時系列データである対象時系列データを取得する取得ステップと、
    　前記対象時系列データから複数の被抽出時系列データを抽出し、２つの互いに異なるクラスのクラス境界を表す参照時系列データと、各前記被抽出時系列データとの類似度を算出する算出ステップと、
    　前記算出された類似度が閾値以上である前記被抽出時系列データから、前記参照時系列データによって表されるクラス境界を検出する検出ステップと、を実行させ、
    　前記参照時系列データは、前記クラス境界が示す前のクラスに属する時系列データの末尾の部分の後に、前記クラス境界が示す後のクラスに属する時系列データの先頭の部分を有する、非一時的なコンピュータ可読媒体。
  20. 　前記算出ステップにおいて、前記参照時系列データと前記被抽出時系列データの類似度として、前記参照時系列データの特徴量と前記被抽出時系列データの特徴量との類似度を算出する、請求項１９に記載のコンピュータ可読媒体。
  21. 　前記対象時系列データは、ビデオフレームの列であるビデオデータであり、
    　前記被抽出時系列データの特徴量は、前記被抽出時系列データを構成する各フレームの特徴量を示し、
    　前記算出ステップにおいて、前記被抽出時系列データを構成する各ビデオフレームについて、そのビデオフレームの画像特徴と、そのビデオフレームに含まれる所定の物体の姿勢を表すデータとを示す特徴量を算出する、請求項２０に記載のコンピュータ可読媒体。
  22. 　前記算出ステップにおいて、複数の種別のクラス境界それぞれに対応する各前記参照時系列データについて、各前記被抽出時系列データとの類似度を算出し、
    　前記検出ステップにおいて、前記参照時系列データとの類似度が閾値以上である前記被抽出時系列データから、その参照時系列データに対応する種別のクラス境界を検出する、請求項１９から２１いずれか一項に記載のコンピュータ可読媒体。
  23. 　前記対象時系列データから検出された互いに隣接する２つのクラス境界が整合しているか否かを判定する検証ステップと、
    　互いに隣接する２つのクラス境界が整合していないと判定された場合にクラス境界を修正する修正ステップと、を有する請求項１９から２２いずれか一項に記載のコンピュータ可読媒体。
  24. 　前記修正ステップにおいて、整合していないと判定された２つのクラス境界それぞれについて、そのクラス境界が検出された前記被抽出時系列データとそのクラス境界の種類に対応する前記参照時系列データとにおける各フレーム間の類似度の高さを、そのクラス境界の前の部分と後の部分とで比較し、その差異が閾値以上である場合に、そのクラス境界に誤りがあると判定する、請求項２３に記載のコンピュータ可読媒体。
  25. 　前記修正ステップにおいて、誤りがあると判定されたクラス境界を、誤りがないと判定されたクラス境界に整合するように修正する、請求項２４に記載のコンピュータ可読媒体。
  26. 　前記修正ステップにおいて、
    　　誤りがあると判定されたクラス境界が検出された前記被抽出時系列データとそのクラス境界の種類に対応する前記参照時系列データとにおける各フレーム間の類似度について、そのクラス境界の前の部分について算出された類似度の方がそのクラス境界の後の部分について算出された類似度よりも低い場合、その被抽出時系列データと、各クラスに属する時系列データの末尾部分との類似度を算出し、その類似度が閾値以上であるクラスで、誤りがあると判定されたクラス境界が示す前のクラスを修正し、
    　　誤りがあると判定されたクラス境界が検出された前記被抽出時系列データとそのクラス境界の種類に対応する前記参照時系列データとにおける各フレーム間の類似度について、そのクラス境界の後の部分について算出された類似度の方がそのクラス境界の前の部分について算出された類似度よりも低い場合、その被抽出時系列データと、各クラスに属する時系列データの先頭部分との類似度を算出し、その類似度が閾値以上であるクラスで、誤りがあると判定されたクラス境界が示す後のクラスを修正する、請求項２４に記載のコンピュータ可読媒体。
  27. 　前記修正ステップにおいて、クラス境界が示す前のクラス、後のクラス、又は双方を修正する入力操作を受け付ける修正画面を出力し、前記修正画面に対して行われた入力操作に応じてクラス境界を修正する、請求項２３に記載のコンピュータ可読媒体。
PCT/JP2021/039405 2021-10-26 2021-10-26 クラス境界検出装置、制御方法、及び非一時的なコンピュータ可読媒体 WO2023073795A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/039405 WO2023073795A1 (ja) 2021-10-26 2021-10-26 クラス境界検出装置、制御方法、及び非一時的なコンピュータ可読媒体
JP2023555920A JPWO2023073795A5 (ja) 2021-10-26 クラス境界検出装置、制御方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/039405 WO2023073795A1 (ja) 2021-10-26 2021-10-26 クラス境界検出装置、制御方法、及び非一時的なコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2023073795A1 true WO2023073795A1 (ja) 2023-05-04

Family

ID=86159222

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/039405 WO2023073795A1 (ja) 2021-10-26 2021-10-26 クラス境界検出装置、制御方法、及び非一時的なコンピュータ可読媒体

Country Status (1)

Country Link
WO (1) WO2023073795A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008005167A (ja) * 2006-06-21 2008-01-10 Hokkaido Univ 映像分類装置、映像分類方法、映像分類プログラムおよびコンピュータ読取可能な記録媒体
JP2008065265A (ja) * 2006-09-11 2008-03-21 Toshiba Corp 信号分割装置及びその方法
US20080316307A1 (en) * 2007-06-20 2008-12-25 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Automated method for temporal segmentation of a video into scenes with taking different types of transitions between frame sequences into account
JP2021111401A (ja) * 2020-01-10 2021-08-02 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド ビデオ時系列動作の検出方法、装置、電子デバイス、プログラム及び記憶媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008005167A (ja) * 2006-06-21 2008-01-10 Hokkaido Univ 映像分類装置、映像分類方法、映像分類プログラムおよびコンピュータ読取可能な記録媒体
JP2008065265A (ja) * 2006-09-11 2008-03-21 Toshiba Corp 信号分割装置及びその方法
US20080316307A1 (en) * 2007-06-20 2008-12-25 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Automated method for temporal segmentation of a video into scenes with taking different types of transitions between frame sequences into account
JP2021111401A (ja) * 2020-01-10 2021-08-02 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド ビデオ時系列動作の検出方法、装置、電子デバイス、プログラム及び記憶媒体

Also Published As

Publication number Publication date
JPWO2023073795A1 (ja) 2023-05-04

Similar Documents

Publication Publication Date Title
CN110532984B (zh) 关键点检测方法、手势识别方法、装置及系统
CN110738101B (zh) 行为识别方法、装置及计算机可读存储介质
CN109145766B (zh) 模型训练方法、装置、识别方法、电子设备及存储介质
CN106897658B (zh) 人脸活体的鉴别方法和装置
CN103718175B (zh) 检测对象姿势的设备、方法和介质
US20180211104A1 (en) Method and device for target tracking
JP6216024B1 (ja) 学習済モデル生成方法及び信号データ判別装置
US10964057B2 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium
CN113392742A (zh) 异常动作确定方法、装置、电子设备及存储介质
CN110321845B (zh) 一种从视频中提取表情包的方法、装置及电子设备
WO2019019628A1 (zh) 移动应用的测试方法、装置、测试设备及介质
CN109376631A (zh) 一种基于神经网络的回环检测方法及装置
CN112329663B (zh) 一种基于人脸图像序列的微表情时刻检测方法及装置
TWI776176B (zh) 手部作業動作評分裝置、方法及電腦可讀取存儲介質
TWI670628B (zh) 動作評量模型生成裝置及其動作評量模型生成方法
CN110427795A (zh) 一种基于头部照片的属性分析方法、系统和计算机设备
CN113763348A (zh) 图像质量确定方法、装置、电子设备及存储介质
JP7422548B2 (ja) ラベルノイズ検出プログラム、ラベルノイズ検出方法及びラベルノイズ検出装置
CN111382791B (zh) 深度学习任务处理方法、图像识别任务处理方法和装置
KR20230080938A (ko) 컨볼루션 블록 어텐션 모듈을 이용한 동작 인식 및 분류 방법 및 장치
CN108764248B (zh) 图像特征点的提取方法和装置
WO2023073795A1 (ja) クラス境界検出装置、制御方法、及び非一時的なコンピュータ可読媒体
KR20210055532A (ko) 전자 장치, 행동 인스턴스 생성 방법 및 기록 매체
JP6393495B2 (ja) 画像処理装置および物体認識方法
CN116129523A (zh) 动作识别方法、装置、终端及计算机可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21962345

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023555920

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE