WO2026014265A1 - 指導データ生成装置、指導データ生成方法、及びプログラム - Google Patents

指導データ生成装置、指導データ生成方法、及びプログラム

Info

Publication number
WO2026014265A1
WO2026014265A1 PCT/JP2025/023177 JP2025023177W WO2026014265A1 WO 2026014265 A1 WO2026014265 A1 WO 2026014265A1 JP 2025023177 W JP2025023177 W JP 2025023177W WO 2026014265 A1 WO2026014265 A1 WO 2026014265A1
Authority
WO
WIPO (PCT)
Prior art keywords
image frame
teaching
instruction
data
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2025/023177
Other languages
English (en)
French (fr)
Inventor
幸佑 守脇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of WO2026014265A1 publication Critical patent/WO2026014265A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer

Definitions

  • This disclosure relates to a training data generation device, a training data generation method, and a program.
  • Patent Document 1 discloses technology for detecting abnormal work by identifying the work being performed by a worker captured in work footage.
  • Patent Document 1 does not anticipate that work-related instructions may be included in work footage. This disclosure has been made in light of this issue, and one of its purposes is to provide a new technology for analyzing work captured in an image sequence.
  • the teaching data generation device comprises an acquisition means for acquiring a sequence of image frames in which a task is captured, a detection means for detecting teaching image frames from the sequence of image frames, which are image frames in which instruction related to the task is captured, and a generation means for generating teaching data related to the instruction captured in the sequence of image frames based on the teaching image frames.
  • the teaching data generation method disclosed herein includes an acquisition step of acquiring a sequence of image frames in which a task is captured, a detection step of detecting teaching image frames from the sequence of image frames, which are image frames in which instruction related to the task is captured, and a generation step of generating teaching data related to the instruction captured in the sequence of image frames based on the teaching image frames.
  • the program disclosed herein causes a computer to execute the following steps: an acquisition step for acquiring a sequence of image frames in which a task is captured; a detection step for detecting instruction image frames from the sequence of image frames, which are image frames in which instruction related to the task is captured; and a generation step for generating instruction data related to the instruction captured in the sequence of image frames based on the instruction image frames.
  • This disclosure provides a new technology for analyzing work captured in an image sequence.
  • FIG. 2 is a diagram illustrating an example of an outline of the operation of the training data generating device.
  • FIG. 2 is a block diagram illustrating a functional configuration of the training data generating device.
  • FIG. 2 is a block diagram illustrating a hardware configuration of a computer that realizes the training data generation device.
  • 10 is a flowchart illustrating a flow of a process executed by the training data generating device.
  • FIG. 2 is a second diagram illustrating an example of an outline of the operation of the training data generation device.
  • FIG. 2 is a second block diagram illustrating the functional configuration of the training data generation device.
  • 10 is a second flowchart illustrating the flow of the process executed by the training data generation device.
  • predetermined values such as predetermined values and thresholds are stored in advance in a storage device accessible from a device that uses those values.
  • a storage unit is composed of one or any number of storage devices.
  • various models such as neural networks and support vector machines can be used as machine learning models.
  • Fig. 1 is a diagram illustrating an example of an outline of the operation of the training data generating device 2000.
  • Fig. 1 is a diagram for facilitating understanding of the outline of the training data generating device 2000, and the operation of the training data generating device 2000 is not limited to that shown in Fig. 1.
  • the training data generation device 2000 analyzes the image frame sequence 10.
  • the image frame sequence 10 is composed of a plurality of image frames 12 arranged in chronological order.
  • the image frame sequence 10 is a frame sequence in which a plurality of image frames 12 are arranged in chronological order (in ascending order of frame numbers).
  • Each image frame 12 belongs to one of multiple classes.
  • the class to which an image frame 12 belongs will also be referred to as the "class of image frame 12.”
  • Image frame sequence 10 captures a scene in which a worker (a person performing a task) is performing a task.
  • image frame sequence 10 is generated by capturing the worker's work with a video camera.
  • the class of an image frame 12 represents the type of work being performed by a worker in the scene captured in the image frame 12. For example, suppose a video camera captures workers performing work of type A1, work of type A2, and work of type A3. The video data obtained by this filming is then treated as an image frame sequence 10. In this case, A1, A2, and A3 are each treated as a class.
  • workers may receive guidance regarding their work. For example, if a worker makes an error in their work, the instructor may provide guidance.
  • the training data generation device 2000 detects one or more image frames 12 in which task-related instruction is captured from the image frame sequence 10.
  • the image frames 12 in which task-related instruction is captured are referred to as training image frames 30.
  • the training data generation device 2000 generates training data 40 regarding the content of the instruction based on the training image frames 30.
  • teaching image frames 30 in which the state of teaching is captured are detected from the image frame sequence 10, and teaching data 40 relating to the content of the teaching is generated based on the teaching image frames 30.
  • teaching data generating device 2000 provides a new technology for automatically generating information relating to teaching from the image frame sequence in a technology for analyzing the work captured in the image frame sequence.
  • training data generation device 2000 automatically generates training data 40, making it possible to save information about past training with little time and effort.
  • the training data generation device 2000 can acquire training image frames 30 depicting the state of work from the image frame sequence 10. Furthermore, as described below, a training image frame sequence consisting of multiple training image frames 30 in chronological order can be acquired. The training image frames 30 and the training image frame sequence can also be used, for example, for training a machine learning model.
  • the training data generation device 2000 of this embodiment will be described in more detail below.
  • ⁇ Example of functional configuration> 2 is a block diagram illustrating the functional configuration of the training data generation device 2000.
  • the training data generation device 2000 includes an acquisition unit 2020, a detection unit 2040, and a generation unit 2060.
  • the acquisition unit 2020 acquires an image frame sequence 10.
  • the detection unit 2040 detects a training image frame 30 from the image frame sequence 10.
  • the generation unit 2060 generates training data 40 based on the training image frame 30.
  • Each functional component of the training data generation device 2000 may be realized by hardware that realizes each functional component (e.g., a hardwired electronic circuit, etc.), or may be realized by a combination of hardware and software (e.g., a combination of an electronic circuit and a program that controls it, etc.).
  • a combination of hardware and software e.g., a combination of an electronic circuit and a program that controls it, etc.
  • FIG. 3 is a block diagram illustrating an example of the hardware configuration of a computer 1000 that realizes the teaching data generation device 2000.
  • the computer 1000 is any computer.
  • the computer 1000 is a stationary computer such as a PC (Personal Computer) or a server machine.
  • the computer 1000 may be a portable computer such as a smartphone or tablet terminal.
  • the computer 1000 may be a dedicated computer designed to realize the teaching data generation device 2000, or may be a general-purpose computer.
  • each function of teaching data generation device 2000 is realized on computer 1000.
  • the application is composed of a program for realizing each functional component of teaching data generation device 2000.
  • the method for acquiring the program is arbitrary.
  • the program can be acquired from a storage medium on which it is stored.
  • the storage medium on which the program is stored can be any storage medium such as a DVD (Digital Versatile Disk) or USB (Universal Serial Bus) memory.
  • the program can be acquired by downloading it from a server device that manages the storage device on which the program is stored.
  • the computer 1000 has a bus 1020, a processor 1040, a memory 1060, a storage device 1080, an input/output interface 1100, and a network interface 1120.
  • the bus 1020 is a data transmission path that allows the processor 1040, the memory 1060, the storage device 1080, the input/output interface 1100, and the network interface 1120 to send and receive data to and from each other.
  • the method of connecting the processor 1040 and other components to each other is not limited to a bus connection.
  • the processor 1040 is a variety of processors, such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or an FPGA (Field-Programmable Gate Array).
  • the memory 1060 is a main storage device realized using RAM (Random Access Memory) or the like.
  • the storage device 1080 is an auxiliary storage device realized using a hard disk, SSD (Solid State Drive), memory card, ROM (Read Only Memory), or the like.
  • the input/output interface 1100 is an interface for connecting the computer 1000 to input/output devices.
  • the input/output interface 1100 is connected to an input device such as a keyboard and an output device such as a display device.
  • the network interface 1120 is an interface for connecting the computer 1000 to a network.
  • This network may be a LAN (Local Area Network) or a WAN (Wide Area Network).
  • Storage device 1080 stores programs that realize each functional component of training data generation device 2000 (programs that realize the applications mentioned above). Processor 1040 reads these programs into memory 1060 and executes them to realize each functional component of training data generation device 2000.
  • the training data generation device 2000 may be realized by one computer 1000, or by multiple computers 1000. In the latter case, the configuration of each computer 1000 does not need to be the same, and can be different from each other.
  • ⁇ Processing flow> 4 is a flowchart illustrating the flow of processing executed by the training data generation device 2000.
  • the acquisition unit 2020 acquires an image frame sequence 10 (S102).
  • the detection unit 2040 detects a training image frame 30 from the image frame sequence 10 (S104).
  • the generation unit 2060 generates training data 40 based on the training image frame 30 (S106).
  • the acquisition unit 2020 acquires the image frame sequence 10.
  • various methods can be used to acquire the image frame sequence to be processed.
  • the image frame sequence 10 is stored in advance in an arbitrary storage device in a format that allows it to be acquired from the training data generation device 2000.
  • the acquisition unit 2020 acquires the image frame sequence 10 by reading the image frame sequence 10 from the storage device.
  • the acquisition unit 2020 acquires the image frame sequence 10 by receiving the image frame sequence 10 transmitted from another device.
  • the device transmitting the image frame sequence 10 is, for example, the device that generated the image frame sequence 10. If the image frame sequence 10 is video data, for example, the acquisition unit 2020 acquires the image frame sequence 10 from the video camera that generated the image frame sequence 10.
  • the detection unit 2040 detects the teaching image frame 30 from the image frame sequence 10 (S104). Below, several examples of methods for detecting the teaching image frame 30 will be described.
  • the detection unit 2040 performs a process for identifying the type of task (i.e., class) captured in each image frame 12 included in the image frame sequence 10.
  • the process for identifying the class is performed using, for example, a trained machine learning model.
  • this machine learning model will be referred to as a class identification model.
  • a class identification model is configured to output a vector (hereinafter referred to as a class vector) representing the probability that an input image belongs to each of a number of predetermined classes.
  • a class vector has the same number of elements as the number of predetermined classes.
  • the i-th element of the class vector represents the probability that an input image belongs to the i-th class.
  • the class of image frame 12 is the class corresponding to the element with the largest value in the class vector obtained by inputting that image frame 12 into the class identification model.
  • the state of that task included in the image frame sequence 10 will differ from the state of that task when no guidance is given. As a result, the probability that the class vector indicates that type of task will be relatively small.
  • class vectors V1 and V2 are obtained by inputting image frame f1 and image frame f2 into a class classification model.
  • both class vectors V1 and V2 will have the largest value for the element corresponding to class C1.
  • the value of the element corresponding to class C1 in V2 will be smaller than the value of the element corresponding to class C1 in V1.
  • a threshold Th1 is determined in advance as a threshold for distinguishing between cases where instruction is not being given and cases where instruction is being given.
  • the detection unit 2040 obtains a class vector by inputting the image frame 12 into a class identification model.
  • the detection unit 2040 identifies the class corresponding to the largest element in the class vector as the class of the image frame 12.
  • the detection unit 2040 determines whether the value of the maximum element in the class vector is greater than or equal to the threshold value Th1. If the value of the maximum element in the class vector is greater than or equal to the threshold value Th1, the detection unit 2040 determines that the image frame 12 is not an instruction image frame 30. On the other hand, if the value of the maximum element indicated in the class vector is less than the threshold value Th1, the detection unit 2040 determines that the image frame 12 is an instruction image frame 30. If the identified class is Ck, then the detected instruction image frame 30 is an instruction image frame 30 in which instruction related to the task of class Ck is captured.
  • the detection unit 2040 may further analyze the contents of the image frame 12 to determine whether or not the image frame 12 is a teaching image frame 30. Specifically, the detection unit 2040 determines whether or not the image frame 12, for which the value of the largest element in the class vector is determined to be less than the threshold value Th1, has the characteristics of a teaching image frame 30.
  • the detection unit 2040 determines that the image frame 12 is a teaching image frame 30. On the other hand, if the image frame 12 does not have the characteristics of a teaching image frame 30, the detection unit 2040 determines that the image frame 12 is not a teaching image frame 30.
  • Various features can be used as the characteristics of the instruction image frame 30. For example, features such as “two or more people are captured” or "a specific action is being performed” can be used.
  • the detection unit 2040 may further include a machine learning model (hereinafter, "discrimination model”) that determines whether an image has the characteristics of a teaching image frame 30.
  • the discrimination model for example, outputs a flag (hereinafter, “discrimination flag") indicating whether the input image has the characteristics of a teaching image frame 30.
  • the detection unit 2040 inputs into the discrimination model an image frame 12 for which it has been determined that the value of the largest element in the class vector is less than the threshold value Th1. If the discrimination flag indicates that the image frame 12 "has the characteristics of a teaching image frame 30," the detection unit 2040 determines that the image frame 12 is a teaching image frame 30. On the other hand, if the discrimination flag indicates that the image frame 12 "does not have the characteristics of a teaching image frame 30," the detection unit 2040 determines that the image frame 12 is not a teaching image frame 30.
  • the class classification model is trained in advance to output a class vector in response to an input image.
  • the training data used for this training consists of a combination of training images of tasks and ground truth class vectors.
  • the ground truth class labels are, for example, one-hot vectors that indicate 1 for elements corresponding to the type of task captured in the training images and 0 for other elements.
  • the device that trains the model (hereinafter referred to as the training device) obtains class vectors by inputting training images into the class discrimination model.
  • the training device then calculates a loss based on the class vectors and the ground truth class vectors, and updates the parameters of the class discrimination model based on the loss.
  • the class discrimination model is trained by repeatedly updating the parameters of the class discrimination model using multiple training data.
  • the discrimination model is trained in advance to output a discrimination flag in response to an input image.
  • the training data used for this training consists of a combination of training images and ground truth discrimination flags. If the training image contains an image of instruction, the ground truth discrimination flag indicates that it "has the characteristics of an instruction image frame 30" (for example, it indicates 1). On the other hand, if the training image does not contain an image of instruction, the ground truth discrimination flag indicates that it "does not have the characteristics of an instruction image frame 30" (for example, it indicates 0).
  • the training device obtains a discrimination flag by inputting training images into the discrimination model. Furthermore, the training device calculates a loss based on the discrimination flag and the ground truth discrimination flag, and updates the parameters of the discrimination model based on the loss.
  • the discrimination model is trained by repeatedly updating the parameters of the discrimination model using multiple training data.
  • the class identification model described above may be configured to handle a "tutoring class" as one of the classes. If the class identification model handles N types of tasks, the class "tutoring" is handled as the (N+1)th class. When an image showing a tutoring situation is input, the class identification model outputs a class vector with the largest element corresponding to the tutoring class.
  • the detection unit 2040 obtains a class vector by inputting the image frame 12 into a class identification model. If the class corresponding to the largest element in the class vector is the training class, the detection unit 2040 determines that the image frame 12 is a training image frame 30. On the other hand, if the class corresponding to the largest element in the class vector is not the training class, the detection unit 2040 determines that the image frame 12 is not a training image frame 30.
  • the detection unit 2040 may detect one or more instruction image frame sequences from the image frame sequence 10. For example, the detection unit 2040 detects one or more instruction image frames 30 from the image frame sequence 10 using the first detection method or the second detection method described above. The detection unit 2040 then groups together multiple instruction image frames 30 that are consecutive in time series and treats them as a single instruction image frame sequence. Note that when the class of each instruction image frame 30 is identified, it is preferable for the detection unit 2040 to group together multiple instruction image frames 30 that are consecutive in time series and belong to the same class and treat them as a single instruction image frame sequence.
  • the detection unit 2040 therefore determines whether the number of image frames 12 existing between the two instruction image frame sequences is equal to or less than a predetermined threshold. If the number of image frames 12 existing between the two instruction image frame sequences is equal to or less than the threshold, the detection unit 2040 treats the two instruction image frame sequences and all image frames 12 located between them as a single instruction image frame sequence. In this case, the detection unit 2040 changes each image frame 12 included in the instruction image frame sequence that was determined not to be an instruction image frame 30 to an instruction image frame 30.
  • the detection unit 2040 treats the teaching image frame 30 and the teaching image frame sequence as a single teaching image frame sequence. In this case, the detection unit 2040 also changes each image frame 12 included in the teaching image frame sequence that was determined not to be a teaching image frame 30 to a teaching image frame 30. In addition, the class of these image frames 12 is changed to the class to which the teaching image frame sequence belongs.
  • the instruction image frame sequences that are combined into one using the above-described method may be limited to instruction image frame sequences that belong to the same class.
  • the detection unit 2040 combines the two instruction image frame sequences and all image frames 12 located between them and treats them as a single instruction image frame sequence.
  • the class of each image frame 12 between the two instruction image frame sequences is changed to the class to which the instruction image frame sequence belongs. If two instruction image frame sequences belong to different classes, the two instruction image frame sequences will not be combined into one even if the number of image frames 12 between the two instruction image frame sequences is less than or equal to a threshold.
  • the generating unit 2060 generates the training data 40 based on the detected training image frames 30 (S106). For example, the generating unit 2060 generates the training data 40 including one or more detected training image frames 30. The generating unit 2060 may further include additional information related to the training image frames 30 included in the training data 40 in the training data 40.
  • the additional information related to the instruction image frame 30 indicates, for example, the type of task represented by the instruction image frame 30.
  • the type of task represented by the instruction image frame 30 is the class corresponding to the element with the largest value in the class vector output by the class identification information.
  • the teaching data 40 may indicate the teaching image frame sequence.
  • the teaching data 40 may indicate, as additional information for the teaching image frame sequence, the class of the teaching image frame sequence or the period of teaching represented by the teaching image frame sequence.
  • the start of the teaching period indicates the time of generation of the teaching image frame 30 located at the beginning of the teaching image frame sequence.
  • the end of the teaching period indicates the time of generation of the teaching image frame 30 located at the end of the teaching image frame sequence.
  • the training data 40 may be output in any manner.
  • the training data generation device 2000 may store the training data 40 in any storage device.
  • the training data generation device 2000 may transmit the training data 40 to any device.
  • the training data generation device 2000 may display the training data 40 on any display device.
  • FIG. 5 is a second diagram illustrating an outline of the operation of the training data generation device 2000.
  • Fig. 5 is a diagram for facilitating understanding of the outline of the training data generation device 2000, and the operation of the training data generation device 2000 is not limited to that shown in Fig. 5.
  • the training data generation device 2000 of embodiment 2 acquires video data 50.
  • the video data 50 includes a combination of an image frame sequence 10 and audio data 60.
  • the image frame sequence 10 visually records the state of work.
  • the audio data 60 audibly records the state of work.
  • the video data 50 is generated by a video camera that is set up to record the state of work.
  • the teaching data generation device 2000 detects one or more teaching image frame sequences 80 from the image frame sequence 10.
  • the teaching image frame sequence 80 is composed of multiple teaching image frames 30 that are consecutive in time series.
  • the teaching data generation device 2000 extracts audio data (hereinafter referred to as teaching audio data 70) corresponding to the teaching image frame sequence 80 from the audio data 60.
  • the instructional image frame sequence 80 is composed of instructional image frames 30 from time t1 to time t2.
  • the instructional audio data 70 corresponding to the instructional image frame sequence 80 is the portion of the audio data 60 from time t1 to time t2.
  • the instruction data generation device 2000 generates instruction data 40 based on instruction audio data 70.
  • the instruction data 40 includes the instruction audio data 70 itself and text data (hereinafter referred to as instruction text) representing the content of the utterances included in the instruction audio data 70.
  • a teaching image frame sequence 80 capturing an image of a teaching situation is detected from the image frame sequence 10. Furthermore, teaching audio data 70 corresponding to the teaching image frame sequence 80 is detected from the audio data 60. Then, teaching data 40 is generated based on the teaching audio data 70. Thus, according to the teaching data generating device 2000, the teaching data 40 is generated based on audio data representing the content of the teaching. Therefore, according to the teaching data generating device 2000, information such as words and sentences representing the content of the teaching can be obtained as the teaching data 40.
  • the instruction data 40 includes instruction audio data 70.
  • the user of the instruction data generation device 2000 can obtain audio representing words and sentences that express the content of the instruction from the video data 50. This allows the user to easily understand the content of the instruction aurally.
  • the training data 40 includes training text.
  • the user of the training data generation device 2000 can obtain words and sentences expressing the content of the training as text from the video data 50. This allows the user to refer to the content of the training in text.
  • text data has a smaller data size than image data or audio data. Therefore, if training text is used instead of the training image frames 30 or the training audio data 70, the data size of the training data 40 can be reduced.
  • Fig. 6 is a second block diagram illustrating the functional configuration of the training data generation device 2000.
  • the functional configuration of the training data generation device 2000 in Fig. 6 is the same as the functional configuration of the training data generation device 2000 in Fig. 2 except that it includes an extraction unit 2080.
  • the detection unit 2040 detects one or more instruction image frame sequences 80 from the image frame sequence 10 by detecting multiple instruction image frames 30 from the image frame sequence 10.
  • the extraction unit 2080 extracts, for each instruction image frame sequence 80, instruction audio data 70 corresponding to that instruction image frame sequence 80 from the audio data 60.
  • the generation unit 2060 generates instruction data 40 based on the instruction audio data 70.
  • the hardware configuration of the training data generation device 2000 of the second embodiment is shown in, for example, Fig. 3, similar to the hardware configuration of the training data generation device 2000 of the first embodiment.
  • the storage device 1080 of the second embodiment stores a program for realizing the functions of the training data generation device 2000 of the embodiment.
  • ⁇ Processing flow> 7 is a second flowchart illustrating the flow of processing executed by the training data generation device 2000.
  • the acquisition unit 2020 acquires the image frame sequence 10 and the audio data 60 (S202).
  • the detection unit 2040 detects the training image frame sequence 80 from the image frame sequence 10 (S204).
  • the extraction unit 2080 extracts audio data corresponding to the training image frame sequence 80 from the audio data 60 as training audio data 70 (S206).
  • the generation unit 2060 generates the training data 40 based on the training audio data 70 (S208).
  • the acquisition unit 2020 acquires the image frame sequence 10 and the audio data 60 (S202).
  • the acquisition unit 2020 acquires the video data 50 including the image frame sequence 10 and the audio data 60 by using a method similar to the various methods described above for acquiring the image frame sequence 10. In this way, the image frame sequence 10 and the audio data 60 are acquired.
  • the acquisition unit 2020 may acquire the image frame sequence 10 and the audio data 60 separately.
  • the audio data 60 is acquired using a method similar to the various methods described above for acquiring the image frame sequence 10.
  • the detection unit 2040 detects the teaching image frame sequence 80 from the image frame sequence 10 (S204).
  • the method for detecting the teaching image frame sequence from the image frame sequence 10 is the same as that described in the first embodiment.
  • the extraction unit 2080 extracts, for each teaching image frame sequence 80, teaching audio data 70 corresponding to the teaching image frame sequence 80 from the audio data 60 (S206). For example, the extraction unit 2080 extracts audio data from the audio data 60 covering the period from the start to the end of the teaching image frame sequence 80, and treats the extracted audio data as teaching audio data 70.
  • the generating unit 2060 generates the instruction data 40 based on the instruction audio data 70 (S208). For example, the generating unit 2060 generates the instruction data 40 including one or more pieces of instruction audio data 70.
  • the instruction data 40 may further include additional information about the instruction audio data 70.
  • the additional information about the instruction audio data 70 indicates, for example, the duration of the instruction audio data 70 (i.e., the period from the start to the end of the instruction audio data 70).
  • the instruction data 40 may include text data (i.e., instruction text) representing the content of the utterances included in the instruction audio data 70, together with or instead of the instruction audio data 70.
  • the generation unit 2060 generates the instruction text by analyzing the instruction audio data 70.
  • a machine learning model (hereinafter referred to as a voice recognition model) that has been trained to generate text data representing the content of utterances contained in the audio data is used.
  • the generation unit 2060 inputs the training audio data 70 into the voice recognition model, thereby obtaining the training text from the voice recognition model.
  • the instruction data 40 may further include an instruction image frame sequence 80 associated with the instruction audio data 70, the instruction text, or both. Extracting the combination of the instruction audio data 70 and the instruction image frame sequence 80 corresponds to extracting video data for a period representing instruction from the video data 50.
  • the output mode of the instruction data 40 in embodiment 2 is the same as the output mode of the instruction data 40 in embodiment 1. However, if the instruction data 40 includes instruction audio data 70, the instruction audio data 70 can be output from a device that outputs audio, such as a speaker or headphones.
  • a program includes instructions (or software code) that, when loaded into a computer, cause the computer to perform one or more functions described in the embodiments.
  • the program may be stored on a non-transitory computer-readable medium or a tangible storage medium.
  • computer-readable medium or tangible storage medium includes random-access memory (RAM), read-only memory (ROM), flash memory, solid-state drive (SSD) or other memory technology, CD-ROM, digital versatile disc (DVD), Blu-ray (registered trademark) disc or other optical disk storage, magnetic cassette, magnetic tape, magnetic disk storage or other magnetic storage device.
  • the program may also be transmitted on a transitory computer-readable medium or communication medium.
  • transitory computer-readable medium or communication medium includes electrical, optical, acoustic, or other forms of propagated signals.
  • Appendix 1 an acquisition means for acquiring a sequence of image frames in which the work is captured; a detection means for detecting, from the sequence of image frames, instruction image frames which are image frames in which instruction on a task is captured; and generating means for generating, based on the teaching image frames, teaching data relating to the teaching imaged in the image frame sequence.
  • the detection means calculates, for each of a plurality of types of tasks, the probability that the type of task is captured in the image frame, and if the maximum value of the calculated probabilities is less than or equal to a threshold value, detects the image frame as the training image frame.
  • Appendix 3 3.
  • the teaching data generating device includes the teaching image frame in the teaching data.
  • the generating means includes the type of the task indicated by the training image frame in the training data.
  • the detecting means detects, from the image frame sequence, a teaching image frame sequence consisting of a plurality of the teaching image frames that are successive in time series; 3.
  • the training data generating device includes a period of training represented by the training image frame sequence in the training data.
  • the acquiring means acquires audio data corresponding to the image frame sequence; the detecting means detects, from the image frame sequence, a teaching image frame sequence consisting of a plurality of the teaching image frames that are successive in time series; an extracting means for extracting, as instruction audio data, audio data corresponding to the instruction image frame sequence from the acquired audio data; 3.
  • the teaching data generating device according to claim 1, wherein the generating means generates the teaching data based on the teaching audio data.
  • (Appendix 7) 7.
  • the teaching data generating device calculates text representing the content of the utterance included in the teaching voice data, and includes the calculated text in the teaching data.
  • Appendix 9 an acquisition step of acquiring a sequence of image frames in which the work is captured; a detection step of detecting, from the sequence of image frames, instruction image frames in which instruction on a task is captured; and generating, based on the instruction image frames, instruction data relating to the instruction captured in the sequence of image frames.
  • Appendix 10 an acquisition step of acquiring a sequence of image frames in which the work is captured; a detection step of detecting, from the sequence of image frames, instruction image frames in which instruction on a task is captured; a generating step of generating instruction data relating to the instruction captured in the image frame sequence based on the instruction image frames.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Manufacturing & Machinery (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

指導データ生成装置は、作業が撮像されている画像フレーム列を取得し、画像フレーム列の中から、作業に関する指導が撮像されている画像フレームである指導画像フレームを検出する検出し、指導画像フレームに基づいて、画像フレーム列に撮像されている指導に関する指導データを生成する。

Description

指導データ生成装置、指導データ生成方法、及びプログラム
　本開示は、指導データ生成装置、指導データ生成方法、及びプログラムに関する。
　画像列に撮像されている作業の種類を特定する技術が開発されている。特許文献１は、作業映像に撮像されている作業者の作業を識別することにより、異常作業を検出する技術を開示する。
国際公開第２０２３／０５８１６４号
　特許文献１は、作業に関する指導が作業映像に含まれうることを想定していない。本開示はこの課題に鑑みてなされたものであり、その目的の一つは、画像列に撮像されている作業に関する解析を行うための新たな技術を提供することである。
　本開示に係る指導データ生成装置は、作業が撮像されている画像フレーム列を取得する取得手段と、前記画像フレーム列の中から、作業に関する指導が撮像されている画像フレームである指導画像フレームを検出する検出手段と、前記指導画像フレームに基づいて、前記画像フレーム列に撮像されている前記指導に関する指導データを生成する生成手段と、を有する。
　本開示に係る指導データ生成方法は、作業が撮像されている画像フレーム列を取得する取得ステップと、前記画像フレーム列の中から、作業に関する指導が撮像されている画像フレームである指導画像フレームを検出する検出ステップと、前記指導画像フレームに基づいて、前記画像フレーム列に撮像されている前記指導に関する指導データを生成する生成ステップと、を有する。
　本開示に係るプログラムは、作業が撮像されている画像フレーム列を取得する取得ステップと、前記画像フレーム列の中から、作業に関する指導が撮像されている画像フレームである指導画像フレームを検出する検出ステップと、前記指導画像フレームに基づいて、前記画像フレーム列に撮像されている前記指導に関する指導データを生成する生成ステップと、をコンピュータによって実行させる。
　本開示によれば、画像列に撮像されている作業に関する解析を行うための新たな技術が提供される。
指導データ生成装置の動作の概要を例示する図である。 指導データ生成装置の機能構成を例示するブロック図である。 指導データ生成装置を実現するコンピュータのハードウエア構成を例示するブロック図である。 指導データ生成装置によって実行される処理の流れを例示するフローチャートである。 指導データ生成装置の動作の概要を例示する第２の図である。 指導データ生成装置の機能構成を例示する第２のブロック図である。 指導データ生成装置によって実行される処理の流れを例示する第２のフローチャートである。
　以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。また、特に説明しない限り、所定値や閾値などといった予め定められている値は、その値を利用する装置からアクセス可能な記憶装置などに予め格納されている。さらに、特に説明しない限り、記憶部は、１つ以上の任意の数の記憶装置によって構成される。また、特に説明しない限り、機械学習モデルには、ニューラルネットワークやサポートベクトルマシンなどといった種々のモデルを利用できる。
［実施形態１］
＜概要＞
　図１は、指導データ生成装置２０００の動作の概要を例示する図である。ここで、図１は、指導データ生成装置２０００の概要の理解を容易にするための図であり、指導データ生成装置２０００の動作は、図１に示したものに限定されない。
　指導データ生成装置２０００は、画像フレーム列１０を解析する。画像フレーム列１０は、時系列の複数の画像フレーム１２で構成される。別の表現では、画像フレーム列１０は、複数の画像フレーム１２が時系列の順に（フレーム番号の昇順に）並べられたフレーム列である。
　各画像フレーム１２は、複数のクラスのうちの１つに属する。以下、画像フレーム１２が属するクラスは、「画像フレーム１２のクラス」とも表記される。
　画像フレーム列１０には、作業者（作業を行っている人物）によって作業が行われているシーンが撮像されている。例えば画像フレーム列１０は、作業者による作業をビデオカメラで撮像することによって生成される。
　画像フレーム１２のクラスは、画像フレーム１２に撮像されているシーンにおいて、作業者が行っている作業の種類を表す。例えば、種類 A1 の作業、種類 A2 の作業、及び種類 A3 の作業が作業者によって行われている様子が、ビデオカメラで撮影されるとする。そして、当該撮影によって得られたビデオデータが、画像フレーム列１０として扱われるとする。この場合、A1、A2、及び A3 がそれぞれクラスとして扱われる。
　ここで、作業者に対して、作業に関する指導が行われることがある。例えば、作業者の作業に誤りがあった場合に、指導者によって指導が行われることがある。
　指導データ生成装置２０００は、画像フレーム列１０から、作業に関する指導が撮像されている画像フレーム１２を１つ以上検出する。以下、作業に関する指導が撮像されている画像フレーム１２は、指導画像フレーム３０と呼ばれる。指導データ生成装置２０００は、指導画像フレーム３０に基づいて、指導の内容に関する指導データ４０を生成する。
＜作用効果の例＞
　本実施形態の指導データ生成装置２０００によれば、指導の様子が撮像された指導画像フレーム３０が画像フレーム列１０から検出され、指導画像フレーム３０に基づいて指導の内容に関する指導データ４０が生成される。このように、指導データ生成装置２０００によれば、画像フレーム列に撮像されている作業に関する解析を行う技術において、画像フレーム列から指導に関する情報を自動的に生成するという新たな技術が提供される。
　画像フレーム列１０から指導データ４０が自動的に生成されることには、様々な利点がある。例えば、作業に不慣れな作業者にとって、自分や他の作業者に対して過去に行われた指導の内容を参照することは、作業のコツなどを把握するために有用である。しかしながら、過去の指導に関する情報を手動で記録することは、手間と労力を要する。この点、指導データ生成装置２０００によれば、指導データ４０が自動的に生成されるため、少ない手間と労力で、過去の指導に関する情報を保存することができる。
　また、指導データ生成装置２０００によれば、画像フレーム列１０から、作業の様子を表す指導画像フレーム３０を取得しうる。また、後述するように、時系列の複数の指導画像フレーム３０で構成される指導画像フレーム列を取得しうる。指導画像フレーム３０や指導画像フレーム列は、例えば、機械学習モデルの訓練などにも利用することができる。
　以下、本実施形態の指導データ生成装置２０００について、より詳細に説明する。
＜機能構成の例＞
　図２は、指導データ生成装置２０００の機能構成を例示するブロック図である。指導データ生成装置２０００は、取得部２０２０、検出部２０４０、及び生成部２０６０を有する。取得部２０２０は、画像フレーム列１０を取得する。検出部２０４０は、画像フレーム列１０から指導画像フレーム３０を検出する。生成部２０６０は、指導画像フレーム３０に基づいて指導データ４０を生成する。
＜ハードウエア構成の例＞
　指導データ生成装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、指導データ生成装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
　図３は、指導データ生成装置２０００を実現するコンピュータ１０００のハードウエア構成を例示するブロック図である。コンピュータ１０００は、任意のコンピュータである。例えばコンピュータ１０００は、PC（Personal Computer）やサーバマシンなどといった、据え置き型のコンピュータである。その他にも例えば、コンピュータ１０００は、スマートフォンやタブレット端末などといった可搬型のコンピュータである。コンピュータ１０００は、指導データ生成装置２０００を実現するために設計された専用のコンピュータであってもよいし、汎用のコンピュータであってもよい。
　例えば、コンピュータ１０００に対して所定のアプリケーションをインストールすることにより、コンピュータ１０００で、指導データ生成装置２０００の各機能が実現される。上記アプリケーションは、指導データ生成装置２０００の各機能構成部を実現するためのプログラムで構成される。なお、上記プログラムの取得方法は任意である。例えば、当該プログラムが格納されている記憶媒体から、当該プログラムを取得することができる。プログラムが格納されている記憶媒体は、DVD（Digital Versatile Disk）や USB（Universal Serial Bus）メモリなどといった任意の記憶媒体である。その他にも例えば、当該プログラムが格納されている記憶装置を管理しているサーバ装置から、当該プログラムをダウンロードすることにより、当該プログラムを取得することができる。
　コンピュータ１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。
　プロセッサ１０４０は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又は FPGA（Field-Programmable Gate Array）などの種々のプロセッサである。メモリ１０６０は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。
　入出力インタフェース１１００は、コンピュータ１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。
　ネットワークインタフェース１１２０は、コンピュータ１０００をネットワークに接続するためのインタフェースである。このネットワークは、LAN（Local Area Network）であってもよいし、WAN（Wide Area Network）であってもよい。
　ストレージデバイス１０８０は、指導データ生成装置２０００の各機能構成部を実現するプログラム（前述したアプリケーションを実現するプログラム）を記憶している。プロセッサ１０４０は、このプログラムをメモリ１０６０に読み出して実行することで、指導データ生成装置２０００の各機能構成部を実現する。
　指導データ生成装置２０００は、１つのコンピュータ１０００で実現されてもよいし、複数のコンピュータ１０００で実現されてもよい。後者の場合において、各コンピュータ１０００の構成は同一である必要はなく、それぞれ異なるものとすることができる。
＜処理の流れ＞
　図４は、指導データ生成装置２０００によって実行される処理の流れを例示するフローチャートである。取得部２０２０は、画像フレーム列１０を取得する（Ｓ１０２）。検出部２０４０は、画像フレーム列１０から指導画像フレーム３０を検出する（Ｓ１０４）。生成部２０６０は、指導画像フレーム３０に基づいて指導データ４０を生成する（Ｓ１０６）。
＜画像フレーム列１０の取得：Ｓ１０２＞
　取得部２０２０は、画像フレーム列１０を取得する。ここで、処理の対象とする画像フレーム列を取得する方法には、様々な方法を採用することができる。例えば画像フレーム列１０は、指導データ生成装置２０００から取得可能な態様で、予め任意の記憶装置に格納されている。この場合、取得部２０２０は、当該記憶装置から画像フレーム列１０を読み出すことにより、画像フレーム列１０を取得する。
　その他にも例えば、取得部２０２０は、他の装置から送信された画像フレーム列１０を受信することにより、画像フレーム列１０を取得する。画像フレーム列１０を送信する装置は、例えば、画像フレーム列１０を生成した装置である。画像フレーム列１０がビデオデータである場合、例えば取得部２０２０は、画像フレーム列１０を生成したビデオカメラから画像フレーム列１０を取得する。
＜指導画像フレーム３０の検出：Ｓ１０４＞
　検出部２０４０は、画像フレーム列１０から指導画像フレーム３０を検出する（Ｓ１０４）。以下、指導画像フレーム３０の検出方法をいくつか例示する。
＜＜第１の検出方法＞＞
　例えば検出部２０４０は、画像フレーム列１０に含まれる各画像フレーム１２に対して、当該画像フレーム１２に撮像されている作業の種類（すなわち、クラス）を特定する処理を実行する。クラスを特定する処理は、例えば、訓練済みの機械学習モデルを利用して行われる。以下、この機械学習モデルは、クラス識別モデルと呼ばれる。
　例えばクラス識別モデルは、予め定められている複数のクラスそれぞれについて、入力された画像が当該クラスに属する確率を表すベクトル（以下、クラスベクトル）を出力するように構成される。クラスベクトルは、予め定められているクラスの数と同じ数の要素を持つベクトルである。クラスベクトルのｉ番目の要素は、入力された画像がｉ番目のクラスに属する確率を表す。画像フレーム１２のクラスは、その画像フレーム１２をクラス識別モデルに入力することで得られるクラスベクトルにおいて、最大の値を持つ要素に対応するクラスである。
　ここで、作業の最中に指導が行われると、画像フレーム列１０に含まれる当該作業の様子は、指導が行われていない場合における当該作業の様子と異なる様子になる。その結果、クラスベクトルが当該作業の種類について示す確率が、比較的小さくなる。
　例えば、画像フレーム f1 に、種類 C1 の作業の様子が撮像されているとする。また、画像フレーム f2 に、種類 C1 の作業の中で指導が行われた様子が、撮像されているとする。さらに、画像フレーム f1 と画像フレーム f2 それぞれをクラス識別モデルに入力することにより、クラスベクトル V1 と V2 が得られたとする。
　この場合、クラスベクトル V1 と V2 はいずれも、クラス C1 に対応する要素において最大の値を示す。しかしながら、V2 におけるクラス C1 に対応する要素の値は、V1 におけるクラス C1 に対応する要素の値よりも小さくなる。
　そこで例えば、指導が行われていない場合と指導が行われている場合とを識別するための閾値として、閾値 Th1 が予め定められる。検出部２０４０は、画像フレーム１２をクラス識別モデルに入力することで、クラスベクトルを得る。検出部２０４０は、クラスベクトルにおける最大の要素に対応するクラスを、画像フレーム１２のクラスとして特定する。
　さらに検出部２０４０は、クラスベクトルにおける最大の要素の値が、閾値 Th1 以上であるか否かを判定する。クラスベクトルにおける最大の要素の値が、閾値 Th1 以上である場合、検出部２０４０は、画像フレーム１２が指導画像フレーム３０ではないと判定する。一方、クラスベクトルに示される最大の要素の値が、閾値 Th1 未満である場合、検出部２０４０は、画像フレーム１２が指導画像フレーム３０であると判定する。特定されたクラスを Ck とおけば、検出された指導画像フレーム３０は、クラス Ck の作業に関する指導が撮像された指導画像フレーム３０である。
　ここで、クラスベクトルにおける最大の要素の値が閾値 Th1 未満である場合において、検出部２０４０は、画像フレーム１２の内容をさらに解析して、画像フレーム１２が指導画像フレーム３０であるか否かを判定してもよい。具体的には、検出部２０４０は、クラスベクトルにおける最大の要素の値が閾値 Th1 未満であると判定された画像フレーム１２について、指導画像フレーム３０としての特徴を有しているか否かを判定する。
　その画像フレーム１２が指導画像フレーム３０としての特徴を有している場合、検出部２０４０は、その画像フレーム１２が指導画像フレーム３０であると判定する。一方、その画像フレーム１２が指導画像フレーム３０としての特徴を有していない場合、検出部２０４０は、その画像フレーム１２が指導画像フレーム３０ではないと判定する。
　指導画像フレーム３０の特徴としては、様々な特徴を採用することができる。例えば、「人が二人以上撮像されている」又は「特定の動作が行われている」などの特徴を採用しうる。
　また、検出部２０４０は、画像が指導画像フレーム３０としての特徴を有しているか否かを判別する機械学習モデル（以下、判別モデル）をさらに有してもよい。判別モデルは、例えば、入力された画像が指導画像フレーム３０としての特徴を有するか否かを表すフラグ（以下、判別フラグ）を出力する。
　検出部２０４０は、クラスベクトルにおける最大の要素の値が閾値 Th1 未満であると判定された画像フレーム１２を、判別モデルに入力する。判別フラグが「指導画像フレーム３０としての特徴を有する」を表す場合、検出部２０４０は、その画像フレーム１２が指導画像フレーム３０であると判定する。一方、判別フラグが「指導画像フレーム３０としての特徴を有さない」を表す場合、検出部２０４０は、その画像フレーム１２が指導画像フレーム３０でないと判定する。
＜＜＜モデルの訓練について＞＞＞
　クラス識別モデルは、画像が入力されたことに応じてクラスベクトルを出力するように、予め訓練される。当該訓練に利用される訓練データは、作業が撮像されている訓練画像と、グラウンドトゥルースのクラスベクトルとの組み合わせで構成される。グラウンドトゥルースのクラスラベルは、例えば、訓練画像に撮像されている作業の種類に対応する要素に１を示し、かつ、それ以外の要素に０を示す one-hot ベクトルである。
　モデルの訓練を行う装置（以下、訓練装置）は、クラス識別モデルへ訓練画像を入力することにより、クラスベクトルを得る。さらに、訓練装置は、当該クラスベクトルとグラウンドトゥルースのクラスベクトルとに基づいて損失を算出し、当該損失に基づいてクラス識別モデルのパラメータを更新する。複数の訓練データを用いてクラス識別モデルのパラメータの更新を繰り返すことにより、クラス識別モデルが訓練される。
　判別モデルは、画像が入力されたことに応じて判別フラグを出力するように、予め訓練される。当該訓練に利用される訓練データは、訓練画像と、グラウンドトゥルースの判別フラグとの組み合わせで構成される。訓練画像に指導の様子が撮像されている場合、グラウンドトゥルースの判別フラグは、「指導画像フレーム３０としての特徴を有する」を表す（例えば、１を示す）。一方、訓練画像に指導の様子が撮像されていない場合、グラウンドトゥルースの判別フラグは、「指導画像フレーム３０としての特徴を有さない」を表す（例えば、０を示す）。
　訓練装置は、判別モデルへ訓練画像を入力することにより、判別フラグを得る。さらに、訓練装置は、当該判別フラグとグラウンドトゥルースの判別フラグとに基づいて損失を算出し、当該損失に基づいて判別モデルのパラメータを更新する。複数の訓練データを用いて判別モデルのパラメータの更新を繰り返すことにより、判別モデルが訓練される。
＜＜第２の検出方法＞＞
　前述したクラス識別モデルは、クラスの１つとして「指導クラス」を扱うように構成されてもよい。クラス識別モデルが扱う作業の種類が N 個ある場合、N+1 個目のクラスとして、「指導」というクラスが扱われる。クラス識別モデルは、指導の様子が撮像されている画像が入力されたことに応じて、指導クラスに対応する要素が最大であるクラスベクトルを出力する。
　検出部２０４０は、画像フレーム１２をクラス識別モデルに入力することで、クラスベクトルを得る。クラスベクトルにおいて最大の要素に対応するクラスが指導クラスである場合、検出部２０４０は、画像フレーム１２が指導画像フレーム３０であると判定する。一方、クラスベクトルにおいて最大の要素に対応するクラスが指導クラスではない場合、検出部２０４０は、画像フレーム１２が指導画像フレーム３０でないと判定する。
＜＜第３の検出方法＞＞
　指導は、数秒や数分などのように、ある程度の時間継続されると考えられる。そのため、画像フレーム列１０からは、指導の様子を表す指導画像フレーム列（時系列で連続する複数の指導画像フレーム３０）が検出されうる。
　そこで検出部２０４０は、画像フレーム列１０から、１つ以上の指導画像フレーム列を検出してもよい。例えば検出部２０４０は、前述した第１の検出方法や第２の検出方法などにより、画像フレーム列１０から１つ以上の指導画像フレーム３０を検出する。そして、検出部２０４０は、時系列で連続する複数の指導画像フレーム３０をまとめて、１つの指導画像フレーム列として扱う。なお、各指導画像フレーム３０のクラスが特定される場合、検出部２０４０は、時系列で連続し、なおかつ、互いに同一のクラスに属する複数の指導画像フレーム３０をまとめて、１つの指導画像フレーム列として扱うことが好適である。
　ここで、２つの指導画像フレーム列の間に、指導画像フレーム３０ではないと判定された画像フレーム１２が少数存在するとする。この場合、これら少数の画像フレーム１２は、実際には指導画像フレーム３０であって、前後の指導画像フレーム列と共に指導の様子を表している蓋然性が高い。
　そこで検出部２０４０は、２つの指導画像フレーム列の間に存在する画像フレーム１２の数が所定の閾値以下であるか否かを判定する。それら２つの指導画像フレーム列の間に存在する画像フレーム１２の数が閾値以下である場合、検出部２０４０は、それら２つの指導画像フレーム列、及びそれらの間に位置する全ての画像フレーム１２をまとめて、１つの指導画像フレーム列として扱う。この場合、検出部２０４０は、指導画像フレーム列に含められた、指導画像フレーム３０ではないと判定されていた各画像フレーム１２を、指導画像フレーム３０に改める。
　同様に、指導画像フレーム３０と指導画像フレーム列との間に、指導画像フレーム３０ではないと判定された画像フレーム１２が閾値以下の数存在するとする。この場合、検出部２０４０は、その指導画像フレーム３０とその指導画像フレーム列とをまとめて１つの指導画像フレーム列として扱う。この場合も、検出部２０４０は、指導画像フレーム列に含められた、指導画像フレーム３０ではないと判定されていた各画像フレーム１２を、指導画像フレーム３０に改める。また、これらの画像フレーム１２のクラスは、指導画像フレーム列が属するクラスに改められる。
　上述した方法で一つにまとめられる指導画像フレーム列は、互いに同一のクラスに属する指導画像フレーム列に限定されてもよい。２つの指導画像フレーム列が互いに同じクラスに属し、かつ、それら２つの指導画像フレーム列の間に存在する画像フレーム１２の数が閾値以下であるとする。この場合、検出部２０４０は、それら２つの指導画像フレーム列、及びそれらの間に位置する全ての画像フレーム１２をまとめて、１つの指導画像フレーム列として扱う。このとき、２つの指導画像フレーム列の間に存在する各画像フレーム１２のクラスは、指導画像フレーム列が属するクラスに改められる。２つの指導画像フレーム列が互いに異なるクラスに属する場合、それら２つの指導画像フレーム列の間に存在する画像フレーム１２の数が閾値以下であっても、それら２つの指導画像フレーム列は１つにまとめられない。
＜指導データ４０の生成：Ｓ１０６＞
　生成部２０６０は、検出された指導画像フレーム３０に基づいて、指導データ４０を生成する（Ｓ１０６）。例えば生成部２０６０は、検出された１つ以上の指導画像フレーム３０が含まれる指導データ４０を生成する。生成部２０６０は、さらに、指導データ４０に含められる指導画像フレーム３０に関する付加情報を、指導データ４０に含めてもよい。
　指導画像フレーム３０に関する付加情報は、例えば、指導画像フレーム３０によって表される作業の種類を示す。指導画像フレーム３０によって表される作業の種類は、クラス識別情報によって出力されたクラスベクトルにおいて、値が最大の要素に対応するクラスである。
　指導画像フレーム列が検出される場合、指導データ４０は、指導画像フレーム列を示してもよい。この場合、例えば指導データ４０は、指導画像フレーム列の付加情報として、指導画像フレーム列のクラスや、指導画像フレーム列によって表される指導の期間を示してもよい。指導の期間の開始時点は、指導画像フレーム列の先頭に位置する指導画像フレーム３０の生成時点を示す。一方、指導の期間の終了時点は、指導画像フレーム列の末尾に位置する指導画像フレーム３０の生成時点を示す。
　指導データ４０の出力態様は任意である。例えば指導データ生成装置２０００は、指導データ４０を任意の記憶装置に格納する。その他にも例えば、指導データ生成装置２０００は、指導データ４０を任意の装置へ送信する。その他にも例えば、指導データ生成装置２０００は、指導データ４０を任意のディスプレイ装置に表示させてもよい。
［実施形態２］
　図５は、指導データ生成装置２０００の動作の概要を例示する第２の図である。ここで、図５は、指導データ生成装置２０００の概要の理解を容易にするための図であり、指導データ生成装置２０００の動作は、図５に示したものに限定されない。
　実施形態２の指導データ生成装置２０００は、ビデオデータ５０を取得する。ビデオデータ５０は、画像フレーム列１０と音声データ６０との組み合わせを含む。画像フレーム列１０には、作業の様子が視覚的に記録されている。一方で、音声データ６０には、作業の様子が聴覚的に記録されている。例えばビデオデータ５０は、作業の様子を記録するように設けられているビデオカメラによって生成される。
　指導データ生成装置２０００は、画像フレーム列１０から、１つ以上の指導画像フレーム列８０を検出する。指導画像フレーム列８０は、時系列で連続する複数の指導画像フレーム３０で構成される。さらに指導データ生成装置２０００は、音声データ６０から、指導画像フレーム列８０に対応する音声データ（以下、指導音声データ７０）を抽出する。
　例えば、指導画像フレーム列８０が時点 t1 から時点 t2 までの指導画像フレーム３０によって構成されるとする。この場合、指導画像フレーム列８０に対応する指導音声データ７０は、音声データ６０のうち、時点 t1 から t2 までの部分である。
　指導データ生成装置２０００は、指導音声データ７０に基づいて指導データ４０を生成する。例えば指導データ４０は、指導音声データ７０自体や、指導音声データ７０に含まれる発話の内容を表すテキストデータ（以下、指導テキスト）を含む。
　なお、指導音声データ７０は指導画像フレーム列８０列に基づいて生成される。そのため、指導音声データ７０に基づいて指導データ４０を生成することは、指導画像フレーム３０に基づいて指導データ４０を生成することの範囲に含まれる。
＜作用効果の例＞
　本実施形態の指導データ生成装置２０００によれば、指導の様子が撮像された指導画像フレーム列８０が画像フレーム列１０から検出される。さらに、指導画像フレーム列８０に対応する指導音声データ７０が音声データ６０から検出される。そして、指導音声データ７０に基づいて指導データ４０が生成される。このことから、指導データ生成装置２０００によれば、指導の内容を表す音声データに基づいて、指導データ４０が生成される。そのため、指導データ生成装置２０００によれば、指導データ４０として、指導の内容を表す言葉や文章などといった情報を得ることができる。
　例えば指導データ４０に指導音声データ７０が含まれるとする。この場合、指導データ生成装置２０００のユーザは、ビデオデータ５０から、指導の内容を表す言葉や文章を表す音声を得ることができる。そのため、ユーザは、指導の内容を聴覚的に容易に理解することができる。
　その他にも例えば、指導データ４０に指導テキストが含まれるとする。この場合、指導データ生成装置２０００のユーザは、ビデオデータ５０から、指導の内容を表す言葉や文章を文字として得ることができる。これにより、ユーザは、指導の内容を文字で参照することができる。また、テキストデータは、画像データや音声データと比較し、データサイズが小さい。そのため、指導画像フレーム３０や指導音声データ７０に代えて指導テキストを利用する場合、指導データ４０のデータサイズを小さくすることができる。
＜機能構成の例＞
　図６は、指導データ生成装置２０００の機能構成を例示する第２のブロック図である。図６における指導データ生成装置２０００の機能構成は、抽出部２０８０を含む点を除き、図２における指導データ生成装置２０００の機能構成と同じである。
　実施形態２の検出部２０４０は、画像フレーム列１０から複数の指導画像フレーム３０を検出することにより、画像フレーム列１０から１つ以上の指導画像フレーム列８０を検出する。抽出部２０８０は、各指導画像フレーム列８０について、その指導画像フレーム列８０に対応する指導音声データ７０を、音声データ６０から抽出する。生成部２０６０は、指導音声データ７０に基づいて指導データ４０を生成する。
＜ハードウエア構成の例＞
　実施形態２の指導データ生成装置２０００のハードウエア構成は、実施形態１の指導データ生成装置２０００のハードウエア構成と同様に、例えば図３で表される。ただし、実施形態２のストレージデバイス１０８０は、実施形態の指導データ生成装置２０００の機能を実現するためのプログラムを格納する。
＜処理の流れ＞
　図７は、指導データ生成装置２０００によって実行される処理の流れを例示する第２のフローチャートである。取得部２０２０は、画像フレーム列１０及び音声データ６０を取得する（Ｓ２０２）。検出部２０４０は、画像フレーム列１０から指導画像フレーム列８０を検出する（Ｓ２０４）。抽出部２０８０は、指導画像フレーム列８０に対応する音声データを、指導音声データ７０として、音声データ６０から抽出する（Ｓ２０６）。生成部２０６０は、指導音声データ７０に基づいて指導データ４０を生成する（Ｓ２０８）。
＜画像フレーム列１０及び音声データ６０の取得：Ｓ２０２＞
　取得部２０２０は、画像フレーム列１０及び音声データ６０を取得する（Ｓ２０２）。例えば取得部２０２０は、画像フレーム列１０を取得する種々の前述した方法と同様の方法により、画像フレーム列１０と音声データ６０とが含まれるビデオデータ５０を取得する。これにより、画像フレーム列１０及び音声データ６０が取得される。
　取得部２０２０は、画像フレーム列１０と音声データ６０とを別々に取得してもよい。この場合、画像フレーム列１０を取得する種々の前述した方法と同様の方法により、音声データ６０が取得される。
＜指導画像フレーム列８０の検出：Ｓ２０４＞
　検出部２０４０は、画像フレーム列１０から指導画像フレーム列８０を検出する（Ｓ２０４）。ここで、画像フレーム列１０から指導画像フレーム列を検出する方法は、実施形態１で説明した通りである。
＜指導音声データ７０の抽出：Ｓ２０６＞
　抽出部２０８０は、各指導画像フレーム列８０について、指導画像フレーム列８０に対応する指導音声データ７０を音声データ６０から抽出する（Ｓ２０６）。例えば抽出部２０８０は、指導画像フレーム列８０の開始時点から終了時点までの期間の音声データを音声データ６０から抽出し、抽出された音声データを指導音声データ７０として扱う。
＜指導データ４０の生成：Ｓ２０８＞
　生成部２０６０は、指導音声データ７０に基づいて指導データ４０を生成する（Ｓ２０８）。例えば生成部２０６０は、１つ以上の指導音声データ７０それぞれが含まれる指導データ４０を生成する。指導データ４０は、指導音声データ７０についての付加情報をさらに含んでもよい。指導音声データ７０の付加情報は、例えば、指導音声データ７０の期間（すなわち、指導音声データ７０の開始時点から終了時点までの期間）を示す。
　指導データ４０は、指導音声データ７０と共に、又は指導音声データ７０に代えて、その指導音声データ７０に含まれる発話の内容を表すテキストデータ（すなわち、指導テキスト）を含んでもよい。この場合、生成部２０６０は、指導音声データ７０を解析することにより、指導テキストを生成する。
　指導テキストの生成には、例えば、音声データに含まれる発話の内容を表すテキストデータを生成するように訓練された、機械学習モデル（以下、音声認識モデル）が利用される。この場合、生成部２０６０は、指導音声データ７０を音声認識モデルに入力することにより、音声認識モデルから指導テキストを得る。
　なお、指導データ４０は、指導音声データ７０、指導テキスト、又はこれらの双方に対応づけて、指導画像フレーム列８０をさらに含んでもよい。指導音声データ７０と指導画像フレーム列８０の組み合わせを抽出することは、ビデオデータ５０から指導を表す期間のビデオデータを抽出することに相当する。
　実施形態２のおける指導データ４０の出力態様は、実施形態１における指導データ４０の出力態様と同様である。ただし、指導データ４０に指導音声データ７０が含まれる場合、指導音声データ７０は、スピーカやヘッドフォンなどといった音声を出力する装置から出力されうる。
　以上、実施の形態を参照して本開示を説明したが、本開示は上述の実施の形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。そして、各実施の形態は、適宜他の実施の形態と組み合わせることができる。
　各図面は、１又はそれ以上の実施形態を説明するための単なる例示である。各図面は、１つの特定の実施形態のみに関連付けられるのではなく、１又はそれ以上の他の実施形態に関連付けられてもよい。当業者であれば理解できるように、いずれか１つの図面を参照して説明される様々な特徴又はステップは、例えば明示的に図示または説明されていない実施形態を作り出すために、１又はそれ以上の他の図に示された特徴又はステップと組み合わせることができる。例示的な実施形態を説明するためにいずれか１つの図に示された特徴またはステップのすべてが必ずしも必須ではなく、一部の特徴またはステップが省略されてもよい。いずれかの図に記載されたステップの順序は、適宜変更されてもよい。
　本開示において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウエアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　作業が撮像されている画像フレーム列を取得する取得手段と、
　前記画像フレーム列の中から、作業に関する指導が撮像されている画像フレームである指導画像フレームを検出する検出手段と、
　前記指導画像フレームに基づいて、前記画像フレーム列に撮像されている前記指導に関する指導データを生成する生成手段と、を有する指導データ生成装置。
　（付記２）
　前記検出手段は、複数の作業の種類それぞれについて、前記画像フレームに前記種類の作業が撮像されている確率を算出し、前記算出された確率の最大値が閾値以下である場合、前記画像フレームを前記指導画像フレームとして検出する、付記１に記載の指導データ生成装置。
　（付記３）
　前記生成手段は、前記指導画像フレームを含む前記指導データに含める、付記１又は２に記載の指導データ生成装置。
　（付記４）
　前記生成手段は、前記指導画像フレームによって示される前記作業の種類を前記指導データに含める、付記１又は２に記載の指導データ生成装置。
　（付記５）
　前記検出手段は、前記画像フレーム列から、時系列で連続する複数の前記指導画像フレームで構成される指導画像フレーム列を検出し、
　前記生成手段は、前記指導画像フレーム列によって表される指導の期間を前記指導データに含める、付記１又は２に記載の指導データ生成装置。
　（付記６）
　前記取得手段は、前記画像フレーム列に対応する音声データを取得し、
　前記検出手段は、前記画像フレーム列から、時系列で連続する複数の前記指導画像フレームで構成される指導画像フレーム列を検出し、
　前記指導画像フレーム列に対応する音声データを、指導音声データとして、前記取得した音声データから抽出する抽出手段を有し、
　前記生成手段は、前記指導音声データに基づいて前記指導データを生成する、付記１又は２に記載の指導データ生成装置。
　（付記７）
　前記生成手段は、前記指導音声データを前記指導データに含める、付記６に記載の指導データ生成装置。
　（付記８）
　前記生成手段は、前記指導音声データに含まれる発話の内容を表すテキストを算出し、前記算出したテキストを前記指導データに含める、付記６に記載の指導データ生成装置。
　（付記９）
　作業が撮像されている画像フレーム列を取得する取得ステップと、
　前記画像フレーム列の中から、作業に関する指導が撮像されている画像フレームである指導画像フレームを検出する検出ステップと、
　前記指導画像フレームに基づいて、前記画像フレーム列に撮像されている前記指導に関する指導データを生成する生成ステップと、を有する、コンピュータによって実行される指導データ生成方法。
　（付記１０）
　作業が撮像されている画像フレーム列を取得する取得ステップと、
　前記画像フレーム列の中から、作業に関する指導が撮像されている画像フレームである指導画像フレームを検出する検出ステップと、
　前記指導画像フレームに基づいて、前記画像フレーム列に撮像されている前記指導に関する指導データを生成する生成ステップと、をコンピュータによって実行させるプログラム。
　付記１に従属する付記２～付記８に記載した要素（例えば構成及び機能）の一部または全ては、付記９と付記１０に対しても、付記２～付記８と同様の従属関係により従属し得る。任意の付記に記載された要素の一部または全ては、様々なハードウエア、ソフトウエア、ソフトウエアを記録するための記録手段、システム、及び方法に適用され得る。
　この出願は、２０２４年７月９日に出願された日本出願特願２０２４－１１０２４９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１０　　　　　　画像フレーム列
１２　　　　　　画像フレーム
３０　　　　　　指導画像フレーム
４０　　　　　　指導データ
５０　　　　　　ビデオデータ
６０　　　　　　音声データ
７０　　　　　　指導音声データ
８０　　　　　　指導画像フレーム列
１０００　　　　　コンピュータ
１０２０　　　　　バス
１０４０　　　　　プロセッサ
１０６０　　　　　メモリ
１０８０　　　　　ストレージデバイス
１１００　　　　　入出力インタフェース
１１２０　　　　　ネットワークインタフェース
２０００　　　　　指導データ生成装置
２０２０　　　　　取得部
２０４０　　　　　検出部
２０６０　　　　　生成部
２０８０　　　　　抽出部

Claims (10)

  1. 　作業が撮像されている画像フレーム列を取得する取得手段と、
    　前記画像フレーム列の中から、作業に関する指導が撮像されている画像フレームである指導画像フレームを検出する検出手段と、
    　前記指導画像フレームに基づいて、前記画像フレーム列に撮像されている前記指導に関する指導データを生成する生成手段と、を有する指導データ生成装置。
  2. 　前記検出手段は、複数の作業の種類それぞれについて、前記画像フレームに前記種類の作業が撮像されている確率を算出し、前記算出された確率の最大値が閾値以下である場合、前記画像フレームを前記指導画像フレームとして検出する、請求項１に記載の指導データ生成装置。
  3. 　前記生成手段は、前記指導画像フレームを含む前記指導データに含める、請求項１又は２に記載の指導データ生成装置。
  4. 　前記生成手段は、前記指導画像フレームによって示される前記作業の種類を前記指導データに含める、請求項１又は２に記載の指導データ生成装置。
  5. 　前記検出手段は、前記画像フレーム列から、時系列で連続する複数の前記指導画像フレームで構成される指導画像フレーム列を検出し、
    　前記生成手段は、前記指導画像フレーム列によって表される指導の期間を前記指導データに含める、請求項１又は２に記載の指導データ生成装置。
  6. 　前記取得手段は、前記画像フレーム列に対応する音声データを取得し、
    　前記検出手段は、前記画像フレーム列から、時系列で連続する複数の前記指導画像フレームで構成される指導画像フレーム列を検出し、
    　前記指導画像フレーム列に対応する音声データを、指導音声データとして、前記取得した音声データから抽出する抽出手段を有し、
    　前記生成手段は、前記指導音声データに基づいて前記指導データを生成する、請求項１又は２に記載の指導データ生成装置。
  7. 　前記生成手段は、前記指導音声データを前記指導データに含める、請求項６に記載の指導データ生成装置。
  8. 　前記生成手段は、前記指導音声データに含まれる発話の内容を表すテキストを算出し、前記算出したテキストを前記指導データに含める、請求項６に記載の指導データ生成装置。
  9. 　作業が撮像されている画像フレーム列を取得する取得ステップと、
    　前記画像フレーム列の中から、作業に関する指導が撮像されている画像フレームである指導画像フレームを検出する検出ステップと、
    　前記指導画像フレームに基づいて、前記画像フレーム列に撮像されている前記指導に関する指導データを生成する生成ステップと、を有する、コンピュータによって実行される指導データ生成方法。
  10. 　作業が撮像されている画像フレーム列を取得する取得ステップと、
    　前記画像フレーム列の中から、作業に関する指導が撮像されている画像フレームである指導画像フレームを検出する検出ステップと、
    　前記指導画像フレームに基づいて、前記画像フレーム列に撮像されている前記指導に関する指導データを生成する生成ステップと、をコンピュータによって実行させるプログラム。
PCT/JP2025/023177 2024-07-09 2025-06-27 指導データ生成装置、指導データ生成方法、及びプログラム Pending WO2026014265A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2024110249 2024-07-09
JP2024-110249 2024-07-09

Publications (1)

Publication Number Publication Date
WO2026014265A1 true WO2026014265A1 (ja) 2026-01-15

Family

ID=98386713

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2025/023177 Pending WO2026014265A1 (ja) 2024-07-09 2025-06-27 指導データ生成装置、指導データ生成方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2026014265A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007065958A (ja) * 2005-08-31 2007-03-15 Renaissance:Kk 運動プログラムの映像配信処理システム
JP2021068131A (ja) * 2019-10-21 2021-04-30 コードブック株式会社 サーバ装置、指導者支援システム、指導者支援方法、及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007065958A (ja) * 2005-08-31 2007-03-15 Renaissance:Kk 運動プログラムの映像配信処理システム
JP2021068131A (ja) * 2019-10-21 2021-04-30 コードブック株式会社 サーバ装置、指導者支援システム、指導者支援方法、及びプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FUJINO HIDENORI, HIROTAKE ISHII, HIROSHI SHIMODA, HIDEKAZU YOSHIKAWA, WEI WU: "Development of an Instruction System for Surface Mount Work of a Printed Circuit Board", THE TRANSACTIONS OF HUMAN INTERFACE SOCIETY, vol. 11, no. 1, 25 February 2009 (2009-02-25), JP , pages 45 - 56, XP093389365, ISSN: 1344-7262, DOI: 10.11184/his.11.1_45 *
國重 貴弘、外２名, "音声タグを用いた映像要約", 電気学会研究会資料, 20 March 2006, pp. 33-37, (KUNISHIGE, Takahiro et al., A Video Summarization using Voice Tag Recognition, The papers of technical meeting on semiconductor power converter, IEE Japan) *
宮下 広夢、外２名, "ユーザによる動き方と位置の指定に基づいた技能映像インデクシング手法", 情報処理学会 インタラクション２０１２ [DVD-ROM], 15 March 2012, pp. 893-898, (MIYASHITA, Hiromu et al., An Indexing Method for Skill Training Videos based on Clipping Motion and Area by the User, IPSJ Interaction 2012) *

Similar Documents

Publication Publication Date Title
JP7394809B2 (ja) ビデオを処理するための方法、装置、電子機器、媒体及びコンピュータプログラム
CN113392236B (zh) 一种数据分类方法、计算机设备及可读存储介质
US11138903B2 (en) Method, apparatus, device and system for sign language translation
US10832685B2 (en) Speech processing device, speech processing method, and computer program product
CN113114986B (zh) 基于画面和声音同步的预警方法及相关设备
CN111901627B (zh) 视频处理方法、装置、存储介质及电子设备
CN109919244B (zh) 用于生成场景识别模型的方法和装置
CN112232276B (zh) 一种基于语音识别和图像识别的情绪检测方法和装置
CN112511818B (zh) 视频播放质量检测方法、装置
CN111160805A (zh) 应急预案辅助信息获取方法、装置及设备
CN118737121A (zh) 伴随音频生成方法、相关装置和介质
CN115062112A (zh) 一种基于文本描述的监控布防方法、装置及系统
US20210166685A1 (en) Speech processing apparatus and speech processing method
US20240104956A1 (en) Image accumulation apparatus, method, and non-transitory computer-readable medium
CN118152875A (zh) 多模态内容的分类方法、装置、电子设备及存储介质
CN119922348A (zh) 视频特征提取方法、视频生成方法、装置、介质及设备
CN118115011A (zh) 多媒体档案的评价系统及其评价方法
CN117786170A (zh) 数据筛选方法、数据筛选装置、存储介质与电子设备
CN114399571B (zh) 动画视频生成方法、系统、计算机设备和存储介质
CN119446128B (zh) 语音关键词检测方法和装置、设备及存储介质
CN119600519B (zh) 一种基于自监督学习的视频内容分析方法及相关装置
US20260011164A1 (en) Information processing apparatus, selection method, and non-transitory computer-readable recording medium
JP2014002336A (ja) コンテンツ処理装置、コンテンツ処理方法、およびコンピュータプログラム
US20180160963A1 (en) Sensors and Analytics for Reading Comprehension
CN119516593A (zh) 人脸真实性检测方法和装置、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25836826

Country of ref document: EP

Kind code of ref document: A1