RU2784420C1 - Training apparatus, analysing apparatus, training method and information medium - Google Patents

Training apparatus, analysing apparatus, training method and information medium Download PDF

Info

Publication number
RU2784420C1
RU2784420C1 RU2021126625A RU2021126625A RU2784420C1 RU 2784420 C1 RU2784420 C1 RU 2784420C1 RU 2021126625 A RU2021126625 A RU 2021126625A RU 2021126625 A RU2021126625 A RU 2021126625A RU 2784420 C1 RU2784420 C1 RU 2784420C1
Authority
RU
Russia
Prior art keywords
data
time series
time
model
training
Prior art date
Application number
RU2021126625A
Other languages
Russian (ru)
Inventor
Ясуо НАМИОКА
Ацуси ВАДА
Таканори ЁСИИ
Original Assignee
Кабусики Кайся Тосиба
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Кабусики Кайся Тосиба filed Critical Кабусики Кайся Тосиба
Application granted granted Critical
Publication of RU2784420C1 publication Critical patent/RU2784420C1/en

Links

Images

Abstract

FIELD: computing technology.
SUBSTANCE: claimed invention relates to the field of analysing human performance for the purpose of increasing the effectiveness thereof. According to a variant of implementation of the invention, the training apparatus is aimed at training a first model assessing the period of execution of the task based on the time-series data of human operation. The apparatus receives the data of the first time series assigned a task label and retrieves the template from the period indicated by the label in the data of the first time series. The template is used as a characteristic attribute. The apparatus generates time data related to the time of occurrence of the pattern in the data of the first time series. The apparatus then trains the first model containing a neural network using the label, the data of the first time series, and the time data.
EFFECT: training time is reduced, resulting in an increase in the efficiency of human performance.
15 cl, 21 dwg

Description

Область техники, к которой относится изобретениеThe technical field to which the invention belongs

Варианты осуществления, описанные в данном документе, относятся, в общем, к обучающему устройству, анализирующему устройству, способу обучения и носителю информации.The embodiments described herein refer generally to a learning device, an analysis device, a learning method, and a storage medium.

Уровень техникиState of the art

Существует технология, направленная на повышение эффективности работы путем анализа работы человека. В такой технологии желательно начинать анализ с меньшей подготовкой.There is a technology aimed at improving work efficiency by analyzing human work. In this technology, it is desirable to start the analysis with less preparation.

Существует способ, который извлекает шаблон каждой задачи из данных временного ряда на основе предварительно установленной последовательности задач и предварительно установленного времени задачи и оценивает период выполнения задачи из данных временного ряда с использованием шаблона. Этот способ полезен, когда последовательность задач является фиксированной, и известна стандартная продолжительность. С другой стороны, также существуют задачи, в которых последовательность, время и т.д. не являются фиксированными. Например, на рабочем месте логистики выполняется комплектация, замена этикеток, сборка коробок, упаковка в коробки, закрытие коробок, этикетирование, считывание этикеток, размещение на тележке и т.д. Последовательность, продолжительность и т.д. такой задачи могут меняться в зависимости от содержимого упакованных изделий, количества упакованных изделий, размера изделий, требований клиентов и т.д. Кроме того, в задачу примера может быть также вставлена другая задача. Желательна технология, которая позволила бы анализировать данные временных рядов, даже если время выполнения задачи или продолжительность задачи не являются фиксированными.There is a method that extracts a pattern of each task from the time series data based on a preset task sequence and a preset task time, and estimates a task execution period from the time series data using the template. This method is useful when the task sequence is fixed and the standard duration is known. On the other hand, there are also tasks where the sequence, time, etc. are not fixed. For example, the logistics workstation performs picking, label change, box assembly, box packing, box closing, labeling, label reading, trolley placement, etc. Sequence, duration, etc. such a task may vary depending on the contents of the packaged products, the number of products packaged, the size of the products, customer requirements, etc. In addition, another task can also be inserted into the example task. A technology is desirable that would allow time series data to be analyzed even if the task execution time or task duration is not fixed.

В качестве такой технологии может быть рассмотрен способ, в котором подготавливается модель, которая оценивает период выполнения задачи в данных временного ряда в соответствии с вводом данных временного ряда. Модель обучается с использованием данных обучающего устройства. Однако, как правило, при контролируемом обучении модели необходимо подготовить много обучающих данных, чтобы получить практическую точность. Пользователь должен потратить много времени на обучение обучающих данных.As such a technique, a method can be considered in which a model is prepared that estimates the execution period of a task in the time series data according to the input of the time series data. The model is trained using the training device data. However, in general, supervised model training requires a lot of training data to get practical accuracy. The user has to spend a lot of time training the training data.

Раскрытие сущности изобретенияDisclosure of the essence of the invention

Настоящее раскрытие направлено на сокращения количества обучающих данных и более быстрого обучения модели.The present disclosure is directed to reducing the amount of training data and faster training of the model.

В одном варианте осуществления предложено обучающее устройство для обучения первой модели, причем первая модель включает в себя нейронную сеть и оценивает период выполнения задачи на основе данных временного ряда операции человека, при этом обучающее устройство выполнено с возможностью: получения данных первого временного ряда, которым присвоена метка задачи, извлечения шаблона из периода, указанного меткой в данных первого временного ряда, причем шаблон используется в качестве характерного признака выработки временных данных, касающихся времени появления шаблона в данных первого временного ряда, обучения первой модели с использованием метки, данных первого временного ряда и временных данных, при этомIn one embodiment, a trainer is provided for training a first model, the first model including a neural network and estimating a task execution period based on human operation time series data, the trainer being configured to: obtain first time series data that is labeled task, extracting a pattern from a period indicated by a label in the first time series data, wherein the pattern is used as a feature of generating temporal data regarding the time of occurrence of the pattern in the first time series data, training the first model using the label, the first time series data, and the time data , wherein

данные первого временного ряда являются многомерными данными операций множества частей и операций множества суставов тела,the data of the first time series are multidimensional data of the operations of the plurality of parts and the operations of the plurality of joints of the body,

при этом обучающее устройство выполнено с возможностью: извлечения части измерений из данных первого временного ряда, извлечения шаблона из извлеченных данных первого временного ряда и выработки временных данных для каждого измерения указанной части измерений, и обучения первой модели с использованием метки, извлеченных данных первого временного ряда и множества наборов временных данных.wherein the training device is configured to: extract a portion of the measurements from the data of the first time series, extract a pattern from the extracted data of the first time series and generate time data for each measurement of the specified portion of the measurements, and train the first model using a label, the extracted data of the first time series, and set of time data sets.

В другом варианте осуществления предложено обучающее устройство для обучения первой модели, причем первая модель включает в себя нейронную сеть и оценивает период выполнения задачи на основе данных временного ряда операции человека, при этом обучающее устройство выполнено с возможностью: получения данных первого временного ряда, которым присвоена метка задачи, извлечения шаблона из периода, указанного меткой в данных первого временного ряда, причем шаблон используется в качестве характерного признака, выработки временных данных, касающихся времени появления шаблона в данных первого временного ряда, обучения первой модели с использованием метки, данных первого временного ряда и временных данных, при этомIn another embodiment, a trainer is provided for training a first model, the first model including a neural network and estimating a task execution period based on human operation time series data, the trainer being configured to: obtain first time series data that is labeled task, extracting a pattern from a period indicated by a label in the first time series data, wherein the pattern is used as a feature, generating temporal data regarding the time the pattern occurred in the first time series data, training the first model using the label, the first time series data, and the time series data, while

первая модель включает в себя нейронную сеть, включающую в себя сверточный слой и слой внимания,the first model includes a neural network including a convolutional layer and an attention layer,

при этом обучающее устройство выполнено с возможностью: обучения первой модели с использованием данных первого временного ряда в качестве входных данных и с использованием метки в качестве обучающих данных, и использования временных данных для оценки первой модели при обучении.wherein the training device is configured to: train the first model using the first time series data as input and using the label as training data, and use time data to evaluate the first model in training.

Краткое описание чертежейBrief description of the drawings

Фиг.1 – упрощенная блок-схема, иллюстрирующая систему обучения согласно первому варианту осуществления;1 is a simplified block diagram illustrating a learning system according to the first embodiment;

фиг.2A и 2B – схематичные временные диаграммы, иллюстрирующие обучающее устройство согласно первому варианту осуществления;Figs. 2A and 2B are schematic timing diagrams illustrating the teaching device according to the first embodiment;

фиг.3 – пример таблицы задач;figure 3 - an example of a table of tasks;

фиг.4A-4D – схематичные временные диаграммы, иллюстрирующие обработку, выполняемую обучающим устройством согласно первому варианту осуществления;4A-4D are schematic timing diagrams illustrating the processing performed by the teaching device according to the first embodiment;

фиг.5A-5C – схематичные временные диаграммы, иллюстрирующие обработку, выполняемую обучающим устройством согласно первому варианту осуществления;Figs. 5A-5C are schematic timing diagrams illustrating the processing performed by the teaching device according to the first embodiment;

фиг.6А-6С – схематичные временные диаграммы, иллюстрирующие обучающее устройство согласно первому варианту осуществления;Figs. 6A-6C are schematic timing diagrams illustrating the teaching device according to the first embodiment;

фиг.7A и 7B – схематичные временные диаграммы, иллюстрирующие обучающее устройство согласно первому варианту осуществления;Figs. 7A and 7B are schematic timing diagrams illustrating the teaching device according to the first embodiment;

фиг.8A и 8B – схематичные временные диаграммы, иллюстрирующие обучающее устройство согласно первому варианту осуществления;Figs. 8A and 8B are schematic timing diagrams illustrating the teaching device according to the first embodiment;

фиг.9 – схематичное представление нейронной сети, включенной в первую модель;Fig.9 is a schematic representation of the neural network included in the first model;

фиг.10 – схематичное представление, иллюстрирующее данные массива, выработанные из данных временного ряда;Fig. 10 is a schematic diagram illustrating array data generated from time series data;

фиг.11 – схематичное представление, иллюстрирующее данные массива, выработанные из данных временного ряда;Fig. 11 is a schematic diagram illustrating array data generated from time series data;

фиг.12 – схематичное представление, иллюстрирующее данные массива, выработанные из данных временного ряда;Fig. 12 is a schematic diagram illustrating array data generated from time series data;

фиг.13 – блок-схема, иллюстрирующая способ обучения, соответствующий системе обучения согласно первому варианту осуществления;Fig. 13 is a flowchart illustrating a teaching method corresponding to the teaching system according to the first embodiment;

фиг.14A – пример изображения, и фиг.14B – пример результата обнаружения позы;Fig. 14A is an example of an image, and Fig. 14B is an example of a pose detection result;

фиг.15A и 15B – схематичные изображения, иллюстрирующие состояния задачи;Fig.15A and 15B - schematic images illustrating the status of the task;

фиг.16 – блок-схема, иллюстрирующая способ обучения, соответствующий системе обучения согласно модификации первого варианта осуществления;Fig. 16 is a flowchart illustrating a teaching method corresponding to the teaching system according to the modification of the first embodiment;

фиг.17 – упрощенная блок-схема, иллюстрирующая систему анализа согласно второму варианту осуществления;Fig. 17 is a simplified block diagram illustrating the analysis system according to the second embodiment;

фиг.18 – пример выходного результата системы анализа согласно второму варианту осуществления;Fig. 18 is an example of the output of the analysis system according to the second embodiment;

фиг.19 – пример выходного результата системы анализа согласно второму варианту осуществления;Fig. 19 is an example of the output of the analysis system according to the second embodiment;

фиг.20 – блок-схема, иллюстрирующая способ анализа, соответствующий системе анализа согласно второму варианту осуществления; иFig. 20 is a flowchart illustrating an analysis method corresponding to an analysis system according to the second embodiment; and

фиг.21 – упрощенная блок-схема, иллюстрирующая конфигурацию аппаратных средств.Fig. 21 is a simplified block diagram illustrating the hardware configuration.

Подробное описание изобретенияDetailed description of the invention

Согласно одному варианту осуществления обучающее устройство обучает первую модель. Первая модель оценивает период выполнения задачи на основе данных временного ряда операции человека. Устройство получает данные первого временного ряда, которым присваивается метка задачи. Устройство извлекает шаблон из периода, указанного меткой в данных первого временного ряда. Шаблон используется в качестве признака. Устройство вырабатывает временные данные, касающиеся времени появления шаблона в данных первого временного ряда. Устройство обучает первую модель, используя метку, данные первого временного ряда и временные данные.According to one embodiment, the training device trains the first model. The first model estimates the task execution period based on human operation time series data. The device receives the first time series data, which is assigned a task label. The device retrieves the pattern from the period indicated by the label in the first time series data. The template is used as a feature. The device generates time data regarding the time of occurrence of the pattern in the first time series data. The device trains the first model using the label, the first time series data, and the time data.

Ниже, со ссылкой на сопроводительные чертежи, описаны различные варианты осуществления. В описании и на чертежах компоненты, аналогичные тем, которые описаны ранее или проиллюстрированы на предыдущем чертеже, отмечены одинаковыми ссылочными позициями, и при необходимости их подробное описание будет опущено.Below, with reference to the accompanying drawings, various embodiments are described. In the description and the drawings, components similar to those described previously or illustrated in the previous drawing are marked with the same reference numerals, and if necessary, their detailed description will be omitted.

На фиг.1 показана упрощенная блок-схема, иллюстрирующая систему обучения согласно первому варианту осуществления.Fig. 1 is a simplified block diagram illustrating the learning system according to the first embodiment.

Система 1 обучения согласно первому варианту осуществления включает в себя обучающее устройство 10, устройство 11 ввода, устройство 12 отображения, запоминающее устройство 13 и датчик 20.The learning system 1 according to the first embodiment includes a learning device 10, an input device 11, a display device 12, a storage device 13, and a sensor 20.

Датчик 20 осуществляет сбор данных об операции человека. Человек – это работник, выполняющий задачу. Например, датчик 20 представляет собой датчик ускорения или датчик угловой скорости. Датчик 20 установлен на части тела человека и непрерывно осуществляет сбор данных об ускорении или угловой скорости этой части тела. Таким способом получают данные временного ряда, качающиеся изменений ускорения или угловой скорости в зависимости от времени.Sensor 20 collects data about a person's operation. A person is a worker performing a task. For example, sensor 20 is an acceleration sensor or an angular velocity sensor. The sensor 20 is mounted on a part of the human body and continuously collects data on the acceleration or angular velocity of this part of the body. In this way, time series data is obtained, sweeping changes in acceleration or angular velocity as a function of time.

Обучающее устройство 10 обучает первую модель. Первая модель оценивает период, в течение которого работник выполняет задачу, на основе данных временного ряда операции человека. Пользователь использует устройство 11 ввода для ввода данных в обучающее устройство 10. Устройство 12 отображения отображает данные, выведенные из обучающего устройства 10. Запоминающее устройство 13 хранит данные, относящиеся к обучению.The teaching device 10 trains the first model. The first model estimates the period during which a worker performs a task based on human operation time series data. The user uses the input device 11 to input data into the teaching device 10. The display device 12 displays the data outputted from the teaching device 10. The storage device 13 stores data related to teaching.

На фиг.2A и 2B и фиг.4A-8B показаны схематичные временные диаграммы, иллюстрирующие обработку, выполняемую обучающим устройством согласно первому варианту осуществления. На фиг.3 показан пример таблицы задач.Figs. 2A and 2B and Figs. 4A-8B are schematic timing diagrams illustrating the processing performed by the teaching apparatus according to the first embodiment. Figure 3 shows an example of a task table.

Ниже, со ссылкой на фиг.2A-8B, будет подробно описан процесс обучения первой модели.Below, with reference to figa-8B, will be described in detail the learning process of the first model.

На фиг.2A показан пример данных временного ряда для ускорения, полученного датчиком 20. По горизонтальной оси отложено время. По вертикальной оси отложено значение ускорения. Пользователь присваивает метку задачи данным временного ряда, показанным на фиг.2А. В частности, метка указывает тип задачи, время, в которое задача началась, и время, в которое задача закончилась. Пользователь использует устройство 11 ввода для ввода метки в обучающее устройство 10. Как показано на фиг.2B период выполнения задачи обозначен меткой в данных временного ряда. В качестве примера, показанного на фиг.2B, метка L присваивается для того, чтобы указать, что выполняется первая задача. Обучающее устройство 10 принимает ввод метки и сохраняет ввод в запоминающее устройство 13.FIG. 2A shows an example of time series data for acceleration obtained by sensor 20. The horizontal axis represents time. The vertical axis represents the acceleration value. The user assigns a task label to the time series data shown in FIG. 2A. In particular, the label indicates the type of task, the time at which the task started, and the time at which the task ended. The user uses the input device 11 to enter a label into the training device 10. As shown in FIG. 2B, a task execution period is indicated by a label in the time series data. As an example shown in FIG. 2B, the label L is assigned to indicate that the first task is being performed. The learning device 10 receives the label input and stores the input in the storage device 13.

Обучающее устройство 10 ассоциирует входную метку пользователя с данными и сохраняет результат в запоминающем устройстве 13. В данном документе данные временного ряда для обучения, которым присваивается метка, называются "данными первого временного ряда".The training device 10 associates the input label of the user with the data and stores the result in the storage device 13. In this document, the training time series data to which the label is assigned is referred to as "first time series data".

Помимо метки, пользователь предварительно регистрирует задачи, которые может выполнять работник. Регистрационные данные хранятся в запоминающем устройстве 13. Например, в таблице задач зарегистрированы многочисленные задачи, как показано на фиг.3. При маркировке пользователь вводит идентификационную информацию для обозначения задачи, указанной на метке. Идентификационная информация представляет собой, например, идентификатор или название, зарегистрированное в таблице задач. ID или название, которое указывает первую задачу, вводится для метки L.In addition to the label, the user pre-registers the tasks that the worker can perform. The registration data is stored in the storage device 13. For example, multiple tasks are registered in the task table, as shown in FIG. When labeling, the user enters identification information to identify the task indicated on the label. The identification information is, for example, an identifier or a title registered in the task table. An ID or title that specifies the first task is entered for the L label.

Обучающее устройство 10 обращается к запоминающему устройству 13 и получает данные первого временного ряда и метку для обучения первой модели. Например, обучающее устройство 10 проверяет метку L, присвоенную данным первого временного ряда, показанным на фиг. 2B. Обучающее устройство 10 обращается к таблице задач, хранящейся в запоминающем устройстве 13, и определяет, имеется ли первая задача, обозначенная меткой L, в таблице задач. Когда первая задача имеется в таблице задач, обучающее устройство 10 ассоциирует данные, полученные при последующей обработке, с первой задачей и при необходимости сохраняет результат в запоминающем устройстве 13.The training device 10 accesses the storage device 13 and obtains the first time series data and a label for training the first model. For example, the tutor 10 checks the label L assigned to the first time series data shown in FIG. 2b. The teaching device 10 refers to the task table stored in the storage device 13 and determines whether the first task, indicated by the label L, is in the task table. When the first task is in the task table, the learning device 10 associates the post-processing data with the first task and stores the result in the memory 13 if necessary.

После получения данных первого временного ряда и метки, чтобы уменьшить объем вычислений, обучающее устройство 10 может выполнить одно или два, выбранных из: уменьшения размеров и обозначения для данных временного ряда.After receiving the first time series data and a label to reduce the amount of computation, the tutor 10 may perform one or two selected from: downsizing and labeling on the time series data.

Например, данные первого временного ряда являются многомерными данными. Когда датчик 20 осуществляет сбор данных об ускорении по трем осям, данные первого временного ряда являются трехмерными данными. Когда используются несколько датчиков 20, данные первого временного ряда представляют собой данные шести или более измерений. Обучающее устройство 10 уменьшает размеры данных первого временного ряда. Например, обучающее устройство 10 вырабатывает одномерные данные первого временного ряда, уменьшая размеры путем анализа главных компонентов (PCA).For example, the first time series data is multidimensional data. When the sensor 20 collects three-axis acceleration data, the first time series data is three-dimensional data. When multiple sensors 20 are used, the first time series data is six or more measurements. Teaching device 10 reduces the dimensions of the first time series data. For example, the tutor 10 generates 1D first time series data by reducing the dimensions by Principal Component Analysis (PCA).

Обучающее устройство 10 может символизировать значения в каждый момент времени в данных временного ряда. На фиг.4A показаны данные временного ряда, собранные датчиком 20. На фиг.4B показаны данные временного ряда после понижающей дискретизации. Данные временного ряда, в которых значения изменяются в ступенчатой конфигурации с течением времени, получают путем понижающей дискретизации. Как показано на фиг.4C, обучающее устройство 10 классифицирует значения данных временного ряда каждый раз, используя несколько пороговых значений от b1 до b3. Значения в каждый момент времени данных временного ряда обозначаются символами в соответствии с результатом классификации. Таким способом получают строки символов, показанные на фиг. 4D. Строки символов, которые получаются посредством символизации, могут использоваться в качестве данных временного ряда.The educator 10 may symbolize the values at each point in time in the time series data. FIG. 4A shows time series data collected by sensor 20. FIG. 4B shows time series data after downsampling. Time series data in which values change in a step pattern over time is obtained by downsampling. As shown in FIG. 4C, the trainer 10 classifies the time series data values each time using multiple thresholds b1 to b3. The values at each point in time of the time series data are symbolized according to the result of the classification. In this way, the character strings shown in FIG. 4D. Character strings that are obtained through symbolization can be used as time series data.

Обучающее устройство 10 извлекает шаблон, используемый в качестве признака из периода, указанного на метке в данных первого временного ряда. Шаблон представляет собой характеристический шаблон данных, появляющихся в данных первого временного ряда при выполнении задачи.The teaching device 10 extracts a pattern used as a feature from the period indicated on the label in the first time series data. A pattern is a characteristic pattern of data that appears in the first time series data when a task is performed.

На фиг.5A показан график, схематично иллюстрирующий данные первого временного ряда, уменьшенные до одного измерения. На фиг.5А по горизонтальной оси отложено время, и по вертикальной оси – значение. На фиг.5B показан пример шаблона-кандидата, вырезанного из периода метки L. Шаблон-кандидат представляет собой данные, которые используются в качестве шаблона-кандидата, который используется в конечном итоге.On figa shows a graph schematically illustrating the data of the first time series, reduced to one dimension. 5A, the horizontal axis is time and the vertical axis is value. FIG. 5B shows an example of a candidate pattern cut from the mark period L. The candidate pattern is data that is used as a candidate pattern that is ultimately used.

Например, пользователь предварительно устанавливает длину (период) шаблона-кандидата в соответствии с частотой дискретизации датчика 20, маневренности операции во время выполнения задачи и т.д. Желательно, чтобы длина шаблона-кандидата была значительно больше, чем частота дискретизации, с тем чтобы повысить точность анализа. Кроме того, желательно, чтобы длина шаблона-кандидата была короче по мере увеличения маневренности операции.For example, the user presets the length (period) of the candidate pattern according to the sampling rate of the sensor 20, the agility of the operation during the execution of the task, and so on. It is desirable that the length of the candidate pattern be significantly larger than the sampling rate in order to improve the accuracy of the analysis. In addition, it is desirable that the length of the candidate template be shorter as the maneuverability of the operation increases.

Обучающее устройство 10 может устанавливать длину вырезанного шаблона-кандидата на основе длины, которая предварительно установлена пользователем. Обучающее устройство 10 изменяет длину вырезанного шаблона-кандидата на заданную длину и вырезает множество шаблонов-кандидатов разной длины. Кроме того, обучающее устройство 10 может устанавливать длину шаблона-кандидата в соответствии с периодом метки. Обучающее устройство 10 устанавливает заданный процент периода метки в качестве длины шаблона-кандидата.The teaching device 10 may set the length of the cut candidate pattern based on the length that is preset by the user. The teaching device 10 changes the length of the cut candidate pattern to a predetermined length and cuts a plurality of candidate patterns of different lengths. In addition, the teaching device 10 may set the length of the candidate pattern according to the mark period. The teaching device 10 sets a predetermined mark period percentage as the length of the candidate pattern.

Обучающее устройство 10 случайным образом вырезает шаблон-кандидат из периода метки. Кроме того, обучающее устройство 10 вырезает данные сравнения из данных первого временного ряда. Например, время начала вырезания данных первого сравнения устанавливается равным времени начала данных первого временного ряда. Длина данных сравнения равна длине шаблона-кандидата.The teaching device 10 randomly cuts out a candidate pattern from the mark period. In addition, the tutor 10 cuts out the comparison data from the first time series data. For example, the start time of cutting the data of the first comparison is set to the start time of the data of the first time series. The length of the comparison data is equal to the length of the candidate pattern.

Обучающее устройство 10 вычисляет подобие между шаблоном-кандидатом и данными сравнения. Расстояние можно использовать в качестве подобия. В качестве расстояния можно использовать расстояние с динамической деформацией времени (DTW). Когда данные первого временного ряда обозначены символами, в качестве расстояния можно использовать расстояние Левенштейна. Обучающее устройство 10 определяет подобие на основе величины, обратной расстоянию. Полученное подобие используется в качестве подобия между шаблоном-кандидатом и данными первого временного ряда для момента времени начала данных сравнения.The educator 10 calculates the similarity between the candidate template and the comparison data. Distance can be used as a similitude. You can use dynamic time warp (DTW) distance as the distance. When the first time series data is symbolized, the Levenshtein distance can be used as the distance. The educator 10 determines the similarity based on the reciprocal of the distance. The resulting similarity is used as the similarity between the candidate template and the first time series data for the start time of the comparison data.

Обучающее устройство 10 вырезает многочисленные наборы данных сравнения во время сдвига времени начала. Величина сдвига времени начала устанавливается заранее. Кроме того, величина сдвига времени начала может быть установлена на основе частоты дискретизации датчика 20, длины шаблона-кандидата или периода метки. Например, когда частота дискретизации датчика 20 составляет 60 Гц, обучающее устройство 10 вырезает наборы данных сравнения, сдвигая моменты времени начала на 1/60 секунды.The educator 10 cuts out multiple sets of comparison data during the start time offset. The start time shift amount is set in advance. In addition, the start time offset amount may be set based on the sample rate of the sensor 20, the length of the candidate pattern, or the mark period. For example, when the sample rate of the sensor 20 is 60 Hz, the educator 10 cuts out the comparison data sets by shifting the start times by 1/60 of a second.

Обучающее устройство 10 вычисляет подобие между шаблоном-кандидатом и многочисленных наборов данных сравнения. Многочисленные подобия используются как подобия между данными первого временного ряда и шаблонами-кандидатами для моментов времени начала многочисленных наборов данных сравнения. Таким способом получают данные подобия временного ряда. В дальнейшем данные подобия временного ряда называются "данными подобия". На фиг.5C показаны данные подобия между данными первого временного ряда, показанными на фиг.5A, и шаблоном-кандидатом, показанным на фиг.5B. В этом примере высокое сходство означает, что конфигурации данных аналогичны между данными первого временного ряда и шаблоном-кандидатом в этот момент времени.The educator 10 calculates the similarity between the candidate template and multiple comparison datasets. The multiple similarities are used as the similarities between the first time series data and the candidate patterns for the start times of the multiple comparison datasets. In this way, time series similarity data is obtained. Hereinafter, the time series similarity data is referred to as "similarity data". FIG. 5C shows the similarity data between the first time series data shown in FIG. 5A and the candidate template shown in FIG. 5B. In this example, high similarity means that the data configurations are similar between the first time series data and the candidate template at that point in time.

Далее обучающее устройство 10 случайным образом вырезает другой шаблон-кандидат из периода метки L. Аналогично обработке, описанной выше, обучающее устройство 10 вычисляет подобие между другим шаблоном-кандидатом и многочисленными наборами данных для сравнения. Таким способом получают данные подобия, относящиеся к другому шаблону-кандидату. На фиг.6A показана данные того же временного ряда, что и на фиг.5А. На фиг.6B показан другой шаблон-кандидат. На фиг.6C показаны данные подобия для шаблона-кандидата, показанного на фиг.6B.Next, the educator 10 randomly cuts out another candidate pattern from the mark period L. Similar to the processing described above, the educator 10 calculates the similarity between the other candidate pattern and multiple data sets for comparison. In this way, similarity data relating to another candidate template is obtained. FIG. 6A shows the same time series data as in FIG. 5A. 6B shows another candidate template. FIG. 6C shows the similarity data for the candidate template shown in FIG. 6B.

Обучающее устройство 10 повторяет вырезание шаблона-кандидата и выработку данных подобия до тех пор, пока количество шаблонов-кандидатов в пределах периода метки L не достигнет заданного числа.The teaching device 10 repeats the candidate pattern cutting and similarity data generation until the number of candidate patterns within the mark period L reaches a predetermined number.

Обучающее устройство 10 вычисляет оценку каждого шаблона-кандидата. Оценка показывает, насколько подходящим является шаблон-кандидат в качестве шаблона. Обучающее устройство 10 вычисляет оценку шаблона-кандидата на основе соответствующих данных подобия. Например, обучающее устройство 10 подсчитывает правильное число и неправильное число подходящего шаблона. Правильное число представляет собой количество раз, когда подобие превышает заданный порог, находится в пределах периода метки в данных подобия. Неправильное число представляет собой количество раз, когда время, в течение которого подобие превышает предварительно установленное пороговое значение, выходит за пределы периода метки в данных подобия. Обучающее устройство 10 увеличивает оценку по мере увеличения правильного числа. Шаблон-кандидат является более подходящим в качестве шаблона по мере увеличения оценки.The educator 10 calculates a score for each candidate template. The score indicates how suitable a candidate template is as a template. The educator 10 calculates a candidate pattern score based on the corresponding similarity data. For example, the learning device 10 counts the correct number and the incorrect number of the matching pattern. The correct number is the number of times the similarity exceeds a given threshold is within the label period in the similarity data. The invalid number is the number of times that the time that the similarity exceeds the preset threshold is outside the label period in the similarity data. Teaching device 10 increases the score as the correct number increases. The candidate template becomes more suitable as a template as the score increases.

На фиг.7A показаны данные подобия, показанные на фиг.5С. Имеются три момента, когда подобие превышает пороговое значение TH1 в данных подобия. Каждый раз подобие находится в пределах периода метки L. Отношение правильного числа к неправильному числу составляет 1:0. Обучающее устройство 10 устанавливает оценку шаблона-кандидата, показанного на фиг.5B, на "1". На фиг.7B показаны данные подобия, показанные на фиг.6С. Имеется девять раз, когда подобие превышает пороговое значение TH1 в данных подобия. Три раза подобие находятся в пределах периода метки L. Шесть раз подобие находятся за пределами периода метки L. Отношение правильного числа к неправильному числу составляет 0,33:0,67. Обучающее устройство 10 устанавливает оценку шаблона-кандидата, показанного на фиг.6B, на "0,33". В ходе сравнения оценок определяется, что шаблон-кандидат, показанный на фиг.5B, больше подходит в качестве шаблона, чем шаблон-кандидат, показанный на фиг.6B.Fig. 7A shows the similarity data shown in Fig. 5C. There are three times when the similarity exceeds the threshold value TH1 in the similarity data. Each time the similarity is within the mark period L. The ratio of correct number to incorrect number is 1:0. The educator 10 sets the evaluation of the candidate pattern shown in FIG. 5B to "1". Fig. 7B shows the similarity data shown in Fig. 6C. There are nine times when the similarity exceeds the threshold value TH1 in the similarity data. Three times the similarity is within the L mark period. Six times the similarity is outside the L mark period. The ratio of correct number to incorrect number is 0.33:0.67. The educator 10 sets the score of the candidate pattern shown in FIG. 6B to "0.33". During the evaluation comparison, it is determined that the candidate template shown in FIG. 5B is more suitable as a template than the candidate template shown in FIG. 6B.

Обучающее устройство 10 выбирает по меньшей мере один из множества шаблонов-кандидатов в качестве шаблона на основе оценок. В случае, когда целесообразность в качестве шаблона увеличивается по мере увеличения оценки шаблона-кандидата, обучающее устройство 10 выбирает не менее одного шаблона-кандидата в порядке, начиная от наивысшей оценки. Обучающее устройство 10 вырабатывает временные данные, используя выбранный шаблон. Временные данные указывают моменты времени (время), когда шаблон появляется в данных первого временного ряда.The educator 10 selects at least one of the plurality of candidate templates as a template based on the scores. In the case where the usefulness as a template increases as the score of the candidate template increases, the learning device 10 selects at least one candidate template in order from the highest score. The teaching device 10 generates temporary data using the selected template. Time data indicates the points in time (time) when the pattern appears in the data of the first time series.

Например, шаблон-кандидат, показанный на фиг.5B, выбран в качестве шаблона. На фиг.8A показаны данные подобия, показанные на фиг.5С. Обучающее устройство 10 обозначает моменты времени, когда подобие превышает заданный порог TH2 в данных подобия. Порог TH2 может быть равен порогу TH1. Считается, что шаблон появляется в момент, когда подобие превышает порог TH2. Обучающее устройство 10 присваивает числовое значение, превышающее 0, моментам времени, в которые подобие превышает заданный порог TH2, и присваивает 0 остальным моментам времени. Как показано на фиг.8B, временные данные для временного интервала, в котором шаблон, показанный на фиг.5B, создается таким образом. Когда выбрано несколько шаблонов, временные данные вырабатываются для каждого из шаблонов.For example, the candidate template shown in FIG. 5B is selected as the template. Fig. 8A shows the similarity data shown in Fig. 5C. The teaching device 10 designates times when the similarity exceeds a predetermined threshold TH2 in the similarity data. The threshold TH2 may be equal to the threshold TH1. It is believed that the pattern appears at the moment when the similarity exceeds the threshold TH2. The teaching device 10 assigns a numerical value greater than 0 to the times at which the similarity exceeds the predetermined threshold TH2, and assigns 0 to the rest of the times. As shown in FIG. 8B, time data for a time interval in which the pattern shown in FIG. 5B is created in this way. When multiple patterns are selected, time data is generated for each of the patterns.

Обучающее устройство 10 обучает первую модель, используя метку, данные первого временного ряда и временные данные. Первая модель оценивает период выполнения задачи на основе данных временного ряда работы человека.The training device 10 trains the first model using the label, the first time series data, and the time data. The first model estimates the period of task execution based on time series data of human work.

Желательно, чтобы первая модель включала в себя нейронную сеть. Используя нейронную сеть, можно с большей точностью оценить период выполнения задачи. Конфигурация нейронной сети является произвольной. Теперь будет описан пример предпочтительной нейронной сети согласно первому варианту осуществления.It is desirable that the first model includes a neural network. Using a neural network, it is possible to estimate the period of task execution with greater accuracy. The neural network configuration is arbitrary. An example of a preferred neural network according to the first embodiment will now be described.

На фиг.9 показано схематичное представление нейронной сети, включенной в первую модель.Figure 9 shows a schematic representation of the neural network included in the first model.

Обучающее устройство 10 вырабатывает данные массива путем двумерного размещения значений, включенных в данные временных рядов, в М строках × N столбцах. Обучающее устройство 10 может вырабатывать данные трехмерного массива из M строк N столбцов × C карт путем наложения двумерных данных из M строк × N столбцов в качестве C карт признаков. Например, обучающее устройство 10 размещает упорядоченные по времени значения данных временного ряда как данные из M строк × N столбцов × C карт и вводит данные в нейронную сеть 90. Теперь будет описан пример, в котором обучающее устройство 10 размещает значения одномерных данных временного ряда как данные 1 строки × N столбцов × 1 слоя.The teaching device 10 generates array data by two-dimensionally placing the values included in the time series data in M rows×N columns. The teaching device 10 can generate 3D array data of M rows N columns×C maps by overlaying 2D data of M rows×N columns as C feature maps. For example, the educator 10 places the time-ordered data values of the time series as data from M rows × N columns × C maps, and inputs the data into the neural network 90. An example will now be described in which the educator 10 places the univariate time series data values as the data 1 rows × N columns × 1 layer.

Данные входного массива вводятся в сверточный слой 91a и слой 92a внимания в блоке 90a. Сверточный слой 91a выводит данные массива F карт из данных массива C-карт. В дополнение к массиву данных F карт слой 92a внимания выводит внимание A карт. Внимание означает распределение весов векторов и указывает на область данных входного массива, на которую следует обратить внимание.The input array data is input to the convolutional layer 91a and the attention layer 92a in block 90a. The convolutional layer 91a outputs map array data F from map array data C. In addition to the card data array F, the attention layer 92a outputs attention A cards. Attention means the weight distribution of the vectors and indicates the data area of the input array that should be paid attention to.

Данные массива F карт +A карт вводятся в слой 93a операции взятия максимума; и данные массива выводятся из 1 строки × (N/2) столбцов × F карт. Аналогично блоку 90a, данные массива, которые выводятся, вводятся в сверточный слой 91b и слой 92b внимания блока 90b. Данные массива из 1 строки × (N/2) столбцов × (2F карт + A карт) выводятся из блока 90b. Данные массива, которые выводятся из блока 90b, вводятся в сверточный слой 91c и слой 92c внимания блока 90c через слой 93b операция взятия максимума; и данные массива выводятся из 1 строки × (N/4) столбцов × (4F карт + A карт). Данные массива, которые выводятся из блока 90c, вводятся в сверточный слой 91d и слой 92d внимания блока 90d через слой 93c операция взятия максимума; и данные массива выводятся из 1 строки × (N/8) столбцов × (8F карт+A карт).The data of the map array F+A maps are input to the maximizing operation layer 93a; and the array data is output from 1 row × (N/2) columns × F cards. Similar to block 90a, the array data that is output is input to the convolutional layer 91b and the attention layer 92b of block 90b. Array data of 1 row × (N/2) columns × (2F cards + A cards) is output from block 90b. The array data that is output from the block 90b is input to the convolutional layer 91c and the attention layer 92c of the block 90c via the maximum operation layer 93b; and the array data is output from 1 row × (N/4) columns × (4F cards + A cards). The array data that is output from the block 90c is input to the convolutional layer 91d and the attention layer 92d of the block 90d through the maximum operation layer 93c; and the array data is output from 1 row × (N/8) columns × (8F cards+A cards).

Данные массива, которые выводятся из блока 90d, вводятся в слой 94c повышающей дискретизации и подвергаются повышающей дискретизации до данных массива из 1 строки × (N/4) столбцов × 4F карт. Данные массива, которые выводятся из блока 90c, копируются и объединяются в блок 90e. Данные массива из блока 90c и данные массива из блока 90d накладываются и вводятся в блок 90e. В блоке 90e данные массива вводятся в сверточный слой 91e и слой 92e внимания; и данные массива выводятся из 1 строки × (N/4) столбцов × (4F карт + A карт).The array data that is output from block 90d is input to the upsampling layer 94c and upsampled to array data of 1 row × (N/4) columns × 4F maps. The array data that is output from block 90c is copied and combined into block 90e. The array data from block 90c and the array data from block 90d are overlaid and input to block 90e. In block 90e, array data is input to convolutional layer 91e and attention layer 92e; and the array data is output from 1 row × (N/4) columns × (4F cards + A cards).

Аналогично блоку 90e, данные массива из блока 90e и данные массива из блока 90b вводятся в блок 90f через слой 94b повышающей дискретизации. Данные массива вводятся в сверточный слой 91f и слой 92f внимания; и данные массива выводятся из 1 строки × (N/2) столбцов × (2F карт + A карт). Данные массива из блока 90f и данные массива из блока 90a вводятся в блок 90g через слой 94a повышающей дискретизации. Данные массива вводятся в сверточный слой 91g, слой 92g внимания и слой 95 многопеременной логистической функции; и данные массива выводятся из 1 строки × N столбцов × NL карт.Similar to block 90e, array data from block 90e and array data from block 90b are input to block 90f via upsampling layer 94b. The array data is input to the convolutional layer 91f and the attention layer 92f; and the array data is output from 1 row × (N/2) columns × (2F cards + A cards). The array data from block 90f and the array data from block 90a are input to block 90g via upsampling layer 94a. The array data is input to the convolutional layer 91g, the attention layer 92g, and the multivariable logistic function layer 95; and the array data is output from 1 row × N columns × NL cards.

Нейронная сеть 90 выводит результат оценки задачи для введенных данных массива. Например, когда данные массива, которые выводятся, находятся в первом состоянии, это означает, что операция, соответствующая входным данным массива, выполняет отмеченную задачу. Когда выходные данные массива находятся во втором состоянии, это означает, что операция, соответствующая входным данным массива, выполняет операцию, отличную от отмеченной задачи.The neural network 90 outputs the task evaluation result for the input array data. For example, when the array data being output is in the first state, it means that the operation corresponding to the array input performs the marked task. When the array output is in the second state, it means that the operation corresponding to the array input performs an operation other than the marked task.

Обучающее устройство 10 обучает нейронную сеть 90, используя данные первого временного ряда в качестве входных данных, и используя метку в качестве обучающих данных. Когда время вводимых данных массива находится в пределах периода метки, данные массива, которые указывают то, что задача выполняется, могут быть добавлены к обучающим данным. Когда время ввода данных массива выходит за пределы периода метки, данные массива, которые указывают, что выполняется что-то иное, чем задача, могут быть добавлены к обучающим данным. Функция оценки при обучении включает в себя термин, который минимизирует разницу между данными о времени появления шаблона и значением, которое указывает появление шаблона в слое внимания. Как описано выше, значения, которые включены во временные данные, которые размещены в M строках × N столбцах × C слоях карты.The training device 10 trains the neural network 90 using the first time series data as input and using the label as training data. When the time of the input array data is within the label period, array data that indicates that a task is being performed can be added to the training data. When the array data entry time goes beyond the label period, array data that indicates that something other than a task is running can be added to the training data. The training evaluation function includes a term that minimizes the difference between the pattern occurrence time data and a value that indicates the appearance of the pattern in the attention layer. As described above, the values that are included in the temporal data that are placed in M rows × N columns × C map layers.

Частота появления шаблона в отмеченной задаче является высокой. Временные данные указывают моменты времени появления шаблона. Другими словами, временные данные указывают области, которым следует уделить внимание в данных массива. Первую модель можно эффективно обучить, используя временные данные для оценки обученной первой модели. Обучающее устройство 10 сохраняет обученную первую модель в запоминающем устройстве 13.The frequency of occurrence of the pattern in the marked task is high. Temporal data indicates the timing of the appearance of the pattern. In other words, temporary data indicates areas that should be given attention in the array data. The first model can be trained efficiently by using time data to evaluate the trained first model. The learning device 10 stores the trained first model in the storage device 13.

Выше был описан пример, в котором первая модель имеет так называемую структуру U-Net. Первая модель может включать в себя другую структуру (например, Seg-Net), которая включает в себя сверточные слои и слои внимания. Первая модель может эффективно извлекать признак из данных временного ряда благодаря сверточным слоям. Точность оценки по первой модели может быть увеличена с помощью слоя внимания, указывающего на области, которым следует уделить внимание.An example has been described above in which the first model has a so-called U-Net structure. The first model may include another framework (eg Seg-Net) that includes convolutional and attentional layers. The first model can efficiently extract a feature from time series data thanks to convolutional layers. The estimation accuracy of the first model can be increased by using an attention layer indicating areas that should be given attention.

На фиг.10-12 показаны схематичные изображения, иллюстрирующие данные массива, выработанные из данных временного ряда.10-12 are schematic diagrams illustrating array data generated from time series data.

Обучающее устройство 10 вырабатывает данные AD1 массива, размещая M-мерные данные временных рядов, например, в M столбцах × N строках, как показано на фиг.10. В примере на фиг.10 данные (значения) каждого измерения расположены во временном порядке в направлении строк. Данные измерений с первого по M размещены в направлении столбцов. Например, значение V1t1 представляет собой значение первого измерения данных временного ряда в момент времени t1. Значение VMtN представляет собой значение M-го измерения данных временного ряда в момент времени tN. Размер N является произвольным. Например, N устанавливается пользователем заранее.The teaching device 10 generates array data AD1 by arranging M-dimensional time series data in, for example, M columns × N rows as shown in FIG. In the example of FIG. 10, the data (values) of each dimension are arranged in temporal order in the row direction. The measurement data from the first to M are placed in the direction of the columns. For example, the value V1 t1 is the value of the first dimension of the time series data at time t1. The value of VM tN is the value of the Mth dimension of the time series data at time tN. The size N is arbitrary. For example, N is set by the user in advance.

В массиве AD2 данных, показанном на фиг.11 данные M-мерного временного ряда размещены в 2M столбцах. На верхней стороне в направлении столбцов размещены данные моментов времени t1-tN от первого до M-го измерений. На нижней стороне в направлении столбцов размещены данные моментов времени t(N+1) - t2N от первого до M-го измерений. Таким образом, количество наборов данных, размещенных в одном направлении, может быть установлено независимо от количества измерений данных временного ряда.In the data array AD2 shown in FIG. 11, M-dimensional time series data is arranged in 2M columns. On the upper side, in the direction of the columns, the data of the time points t1-tN from the first to the M-th measurements are placed. On the lower side, in the direction of the columns, there are data of time points t(N+1) - t2N from the first to the M-th measurements. Thus, the number of datasets placed in one direction can be set regardless of the number of dimensions of the time series data.

В данных AD3 массива, показанных на фиг.12, M-мерные данные временных рядов размещены в M столбцах × N строках и наложены на C-карты. Данные моментов времени t1 - tN от первого до M-го измерений расположены на первой карте. Данные моментов времени t(N+1) - t2N от первого до M-го измерений размещены во второй карте. Данные моментов времени t((C-1)N+1) - tCN от первого до M-го измерений размещены в C-й карте. Таким образом, тензор размером М столбцов × N строк × C карт может быть получен путем наложения упорядоченных по времени данных.In the array data AD3 shown in FIG. 12, M-dimensional time series data is arranged in M columns×N rows and superimposed on C-maps. Data of time points t1 - tN from the first to the M-th measurements are located on the first map. The data of time points t(N+1) - t2N from the first to the M-th measurements are placed in the second map. Time point data t((C-1)N+1) - tCN from the first to the M-th measurements are placed in the C-th map. Thus, a tensor of size M columns × N rows × C maps can be obtained by overlaying time-ordered data.

Аналогично данным временного ряда, обучающее устройство 10 двумерно упорядочивает временные данные с использованием способа компоновки, описанного выше.Similar to the time series data, the training device 10 arranges the time data two-dimensionally using the layout method described above.

На фиг.13 показана блок-схема, иллюстрирующая способ обучения, соответствующий системе обучения согласно первому варианту осуществления.Fig. 13 is a flowchart illustrating a teaching method corresponding to the teaching system according to the first embodiment.

Датчик 20 осуществляет сбор данных об операции человека (этап S1). Например, данные представляют собой данные об ускорении; и датчик 20 осуществляет сбор данных временного ряда. Пользователь присваивает метку периода задачи данным, используемым в обучении (этап S2). Обучающее устройство 10 получает данные первого временного ряда для обучения и метку (этап S3). Обучающее устройство 10 вырезает шаблон-кандидат из периода, указанного меткой в данных первого временного ряда (этап S4). Обучающее устройство 10 использует шаблон-кандидат для выработки данных подобия (этап S5).The sensor 20 collects human operation data (step S1). For example, the data is acceleration data; and sensor 20 collects time series data. The user assigns a task period label to the data used in training (step S2). The training device 10 acquires the first training time series data and the label (step S3). The teaching device 10 cuts out the candidate pattern from the period indicated by the label in the first time series data (step S4). The teaching device 10 uses the candidate template to generate similarity data (step S5).

Обучающее устройство 10 определяет, достигло или нет количество шаблонов-кандидатов, которые вырезаются, заданного количества (этап S6). Когда количество шаблонов-кандидатов меньше заданного количества, обучающее устройство 10 повторно выполняет этап S4. Когда количество шаблонов-кандидатов не меньше заданного количества, обучающее устройство 10 выбирает шаблон из множества шаблонов-кандидатов (этап S7). Обучающее устройство 10 вырабатывает временные данные для выбранного шаблона (этап S8). Обучающее устройство 10 обучает первую модель, используя метку, данные первого временного ряда и временные данные (этап S9). Обучающее устройство 10 сохраняет обученную первую модель в запоминающем устройстве 13 (этап S10).The teaching device 10 determines whether or not the number of candidate patterns to be cut has reached a predetermined number (step S6). When the number of candidate patterns is less than the predetermined number, the teaching device 10 re-executes step S4. When the number of candidate patterns is not less than a predetermined number, the teaching device 10 selects a pattern from the plurality of candidate patterns (step S7). The teaching device 10 generates temporary data for the selected pattern (step S8). The training device 10 trains the first model using the label, the first time series data, and the time data (step S9). The teaching device 10 stores the trained first model in the storage device 13 (step S10).

Ниже будут описаны преимущества первого варианта осуществления.The advantages of the first embodiment will be described below.

Для этой проблемы обучающее устройство 10 согласно первому варианту осуществления извлекает шаблон из данных первого временного ряда, которым присваивается метка. Затем обучающее устройство 10 использует шаблон для выработки временных данных и обучает первую модель, используя метку, данные первого временного ряда и временные данные. Используя временные данные, в первой модели можно указать время, на которое следует обратить внимание для оценки задачи в данных временного ряда. Даже когда обучающие данные не являются многочисленными, за счет этого можно значительно повысить точность первой модели. По сравнению с тем, когда шаблон и временные данные не используются, обучающие данные, можно уменьшить необходимые для обучения первой модели; и можно уменьшить нагрузку на пользователя.For this problem, the learning device 10 according to the first embodiment extracts a pattern from the first time series data to which a label is assigned. Then, the training device 10 uses the template to generate the time data and trains the first model using the label, the first time series data, and the time data. Using temporal data, in the first model, you can specify the time that you should pay attention to for estimating a task in the time series data. Even when the training data is not plentiful, this can greatly improve the accuracy of the first model. Compared to when template and temporal data are not used, training data can be reduced to train the first model; and the burden on the user can be reduced.

Согласно первому варианту осуществления пользователю при маркировке достаточно ввести только время начала и время окончания задачи и тип задачи. После маркировки обучающее устройство 10 автоматически извлекает шаблон и обучает первую модель. Таким образом, первую модель может легко обучить даже пользователь, не обладающий экспертными знаниями в области маркировки.According to the first embodiment, the user only needs to enter the start time and end time of the task and the task type when marking. After marking, the training device 10 automatically extracts the template and trains the first model. Thus, the first model can be easily trained even by a user who does not have expert knowledge in the field of marking.

Выше был описан пример, в котором первая модель оценивает период одного типа задачи в данных временного ряда. Первую модель можно обучить оценивать периоды нескольких типов задач в данных временного ряда. В таком случае обучающее устройство 10 выполняет извлечение шаблона, выработку временных данных и обучение первой модели для меток многочисленных типов задач.An example has been described above in which the first model estimates the period of one task type in time series data. The first model can be trained to estimate the periods of several types of tasks in the time series data. In such a case, the training device 10 performs template extraction, generation of timing data, and training of the first model for labels of multiple task types.

В частности, пользователь присваивает первую метку первой задачи и вторую метку второй задачи данным временного ряда. Первая метка указывает время начала первой задачи, время окончания первой задачи и то, что выполненная задача является первой задачей. Вторая метка указывает время начала второй задачи, время окончания второй задачи и то, что выполненная задача является второй задачей. Обучающее устройство 10 получает данные первого временного ряда, которым присвоены первая и вторая метки. Обучающее устройство 10 извлекает первый шаблон из периода, указанного первой меткой в данных первого временного ряда. Обучающее устройство 10 извлекает второй шаблон из периода, указанного второй меткой в данных первого временного ряда.In particular, the user assigns the first label of the first task and the second label of the second task to the time series data. The first label indicates the start time of the first task, the end time of the first task, and that the completed task is the first task. The second label indicates the start time of the second task, the end time of the second task, and that the completed task is the second task. The teaching device 10 receives the data of the first time series, which are assigned the first and second labels. The teaching device 10 extracts the first pattern from the period indicated by the first label in the first time series data. Teaching device 10 extracts a second pattern from the period indicated by the second label in the first time series data.

Обучающее устройство 10 вырабатывает первые временные данные о времени, в течение которого первый шаблон появляется в данных первого временного ряда. Обучающее устройство 10 вырабатывает вторые временные данные о времени, в течение которого второй шаблон появляется в данных первого временного ряда. Обучающее устройство 10 обучает слои внимания, используя первую метку и первые временные данные. Обучающее устройство 10 обучает слои внимания, используя вторую метку и вторые временные данные. Обучающее устройство 10 обучает первую модель, используя первую метку, вторую метку и данные первого временного ряда.The teaching device 10 generates first time data about the time during which the first pattern appears in the first time series data. The teaching device 10 generates second time data about the time during which the second pattern appears in the first time series data. The teaching device 10 trains the attention layers using the first label and the first time data. The training device 10 trains the attention layers using the second label and the second time data. The trainer 10 trains the first model using the first label, the second label, and the first time series data.

МодификацияModification

Обучающее устройство 10 может обучать первую модель, сосредотачиваясь только на данных временного ряда части измерений, включенных в многомерные данные временных рядов. Например, датчик 20 представляет собой датчик изображения, включенный в устройство формирования изображения. Датчик 20 непрерывно собирает изображения операций человека. Устройство формирования изображения сохраняет полученные видеоизображения в запоминающем устройстве 13.The training device 10 may train the first model by focusing only on the time series data of a portion of the measurements included in the multivariate time series data. For example, sensor 20 is an image sensor included in an imaging apparatus. Sensor 20 continuously collects images of human operations. The imaging device stores the received video images in the storage device 13.

Обучающее устройство 10 определяет позу человека на изображении. Поза представлена положениями частей и суставов человека. OpenPose или что-то подобное можно использовать для определения позы. Часть относится к одной части тела, такой как глаз, ухо, нос, голова, надплечье, плечо, предплечье, кисть, грудь, живот, бедро, голень, стопа и т.д. Сустав относится к подвижной соединительной части, такой как шея, локоть, запястье, поясница, колено, лодыжка и т.п., которая связывает по меньшей мере участок частей друг с другом.The teaching device 10 determines the posture of the person in the image. The posture is represented by the positions of the parts and joints of a person. OpenPose or something similar can be used to determine the pose. Part refers to one part of the body such as eye, ear, nose, head, upper arm, upper arm, forearm, hand, chest, abdomen, thigh, lower leg, foot, etc. Joint refers to a movable connecting part, such as neck, elbow, wrist, waist, knee, ankle, etc., which connects at least a portion of the parts to each other.

На фиг.14A показан пример изображения. На фиг.14B показан пример результата обнаружения позы для фиг.14А.Fig. 14A shows an example image. FIG. 14B shows an example of a pose detection result for FIG. 14A.

Обучающее устройство 10 получает видеоизображение путем доступа к памяти устройства 13. Как показано на фиг.14A, обучающее устройство 10 получает статическое изображение человека 96 из видеоизображения. Обучающее устройство 10 определяет позу человека на изображении. Например, как показано на фиг.14B, обнаруживаются положения головы 97a, левого плеча 97b, левого локтя 97c, левого запястья 97d, левой руки 97e, правого плеча 97f, правого локтя 97g, правого запястья 97h, правой руки 97i и позвоночника 97j человека 96.The educator 10 obtains the video image by accessing the memory of the device 13. As shown in FIG. 14A, the educator 10 obtains a still image of a person 96 from the video image. The teaching device 10 determines the posture of the person in the image. For example, as shown in FIG. 14B, the positions of the head 97a, left shoulder 97b, left elbow 97c, left wrist 97d, left arm 97e, right shoulder 97f, right elbow 97g, right wrist 97h, right arm 97i, and spine 97j of the person 96 are detected. .

Обучающее устройство 10 последовательно выполняет обнаружение позы для изображений в каждый момент видеоизображения. Таким способом получают данные временного ряда положений деталей и положений суставов в каждый момент времени. В примере, показанном на фиг.14B, положение в направлении X и положение в направлении Y собираются как двумерные данные для каждой части тела, такой как голова 97a, левое плечо 97b, левый локоть 97c, левое запястье 97d, левая рука 97e, правое плечо 97f, правый локоть 97g, правое запястье 97h, правая рука 97i и позвоночник 97j; в целом получаются данные 20-мерного временного ряда.The teaching device 10 sequentially performs pose detection for images at each moment of the video image. In this way, time series data of the positions of the parts and the positions of the joints at each moment of time is obtained. In the example shown in FIG. 14B, the position in the X direction and the position in the Y direction are collected as two-dimensional data for each body part, such as head 97a, left shoulder 97b, left elbow 97c, left wrist 97d, left arm 97e, right shoulder 97f, right elbow 97g, right wrist 97h, right arm 97i and spine 97j; in general, 20-dimensional time series data are obtained.

Обучающее устройство 10 предписывает устройству 12 отображения отображать видеоизображение, которое отображается устройством формирования изображения. Пользователь использует устройство 11 ввода для ввода меток в обучающее устройство 10. В частности, пользователь вводит время начала и время окончания задачи и идентификационную информацию задачи при проверке отображаемого видеоизображения.The teaching device 10 causes the display device 12 to display a video image which is displayed by the imaging device. The user uses the input device 11 to input marks into the teaching device 10. Specifically, the user inputs the start time and end time of the task and task identification information when checking the displayed video image.

Данные m-мерного временного ряда, в которых изменение является большим в период, указанный меткой, извлекаются из данных n-мерного временного ряда целиком с помощью обучающего устройства 10. m и n являются целыми числами, и m меньше n. Например, обучающее устройство 10 вычисляет среднее значение и дисперсию всех данных временного ряда в периоде метки. Обучающее устройство 10 извлекает часть данных временного ряда, в которой дисперсии является большой. Например, в качестве дисперсии используется отклонение или среднеквадратическое отклонение.The m-dimensional time series data in which the change is large in the period indicated by the label is extracted from the entire n-dimensional time series data by the training device 10. m and n are integers, and m is less than n. For example, the tutor 10 calculates the mean and variance of all the time series data in the label period. The teaching device 10 extracts a portion of the time series data in which the variance is large. For example, the deviation or standard deviation is used as the variance.

Обучающее устройство 10 извлекает шаблон в течение периода, указанного на метке в извлеченных данных первого временного ряда. Шаблон извлекается из данных временного ряда каждого измерения. Другими словами, m-мерный шаблон извлекается из m-мерных данных временного ряда. Обучающее устройство 10 вырабатывает m наборов данных подобия и m наборов временных данных с использованием m-мерного шаблона и m-мерных данных временного ряда. Обучающее устройство 10 может вырабатывать m-мерные данные подобия и m-мерные временные данные. После этого, аналогично обработке, описанной выше, первая модель обучается с использованием данных первого временного ряда и временных данных.The teaching device 10 extracts the template during the period indicated on the label in the extracted data of the first time series. The template is extracted from the time series data of each dimension. In other words, an m-dimensional template is extracted from the m-dimensional time series data. The educator 10 generates m similarity data sets and m temporal data sets using m-dimensional template and m-dimensional time series data. The teaching device 10 may generate m-dimensional similarity data and m-dimensional temporal data. Thereafter, similar to the processing described above, the first model is trained using the first time series data and the time data.

На фиг.15A и 15B показаны схематичные изображения, иллюстрирующие состояния задачи.FIGS. 15A and 15B show schematic images illustrating task states.

В этом примере извлечение части данных временного ряда, в которой изменение является большим, соответствует сосредоточению внимания на части частей, в которой изменение является большим. Например, на фиг.15А, человек маркирует упакованное изделие. Затем, как показано на фиг.15B, человек берет устройство для считывания штрих-кода, расположенное сбоку, и считывает штрих-код с наклеенной этикетки. В частности, в это время сильно меняются положения правой руки, правого запястья, правого предплечья и правого локтя. Извлечение части данных временного ряда обучающим устройством 10 соответствует извлечению изменений положений правой руки, правого запястья, правого предплечья и правого локтя из изменений положений частей и суставов.In this example, extracting the part of the time series data in which the change is large corresponds to focusing on the part of the parts in which the change is large. For example, in FIG. 15A, a person labels a packaged product. Then, as shown in FIG. 15B, the person takes the barcode reader located on the side and reads the barcode from the attached label. In particular, the positions of the right hand, right wrist, right forearm and right elbow change greatly at this time. The extraction of a portion of the time series data by the teaching device 10 corresponds to the extraction of changes in the positions of the right hand, right wrist, right forearm, and right elbow from changes in the positions of the parts and joints.

На фиг.16 показана блок-схема, иллюстрирующая способ обучения, соответствующий системе обучения согласно модификации первого варианта осуществления.Fig. 16 is a flowchart illustrating the teaching method corresponding to the teaching system according to the modification of the first embodiment.

После этапа S3 обучающее устройство 10 извлекает данные временного ряда для части измерений из многомерных данных первого временного ряда (этап S12). После этого, аналогично блок-схеме, показанной на фиг.13, обучающее устройство 10 выполняет этап S4 и последующие этапы для данных первого временного ряда, из которых извлекается часть размеров.After step S3, the teaching device 10 extracts the time series data for the measurement part from the first time series multivariate data (step S12). Thereafter, similar to the flowchart shown in FIG. 13, the teaching device 10 performs step S4 and subsequent steps on the first time series data, from which a dimension part is extracted.

Согласно модификации задача, которая включает в себя характерную операцию, такую как обозначенная часть тела, сильно перемещающаяся в указанном направлении, может быть оценена с более высокой точностью.According to the modification, a task that includes a characteristic operation such as a designated body part moving strongly in a specified direction can be estimated with higher accuracy.

При размещении данных временного ряда, полученных из позы человека, для ввода в первую модель, предпочтительно, чтобы данные соседних частей или суставов были соседними в массиве данных. Например, данные для правой руки, правого голеностопного сустава, правого предплечья, правого локтя и правого плеча извлекаются как данные с большим изменением. Извлеченные данные первого временного ряда представляют собой 10-мерные данные о положениях в направлении X и Y этих частей и суставов. Когда данные расположены так, как показано на фиг.10, предпочтительно, чтобы соседние части и суставы были соседними в массиве данных, как указано ниже. Значения V1 и V2 представляют собой, соответственно, положения правой руки в направлении X и Y. Значения V3 и V4 представляют собой, соответственно, положения в направлении X и Y правого запястья. Значения V5 и V6 представляют собой, соответственно, положения правого предплечья в направлении X и Y. Значения V7 и V8 представляют собой, соответственно, положения правого локтя в направлении X и Y. Значения V9 и V10 представляют собой, соответственно, положения правого плеча в направлении X и Y. Благодаря расположению данных соседних деталей или суставов, которые должны быть соседними в данных массива, легче извлечь признак из данных массива; и можно увеличить точность оценки по первой модели.When placing time series data derived from a human pose for input into the first model, it is preferable that adjacent parts or joints data be adjacent in the dataset. For example, data for the right hand, right ankle, right forearm, right elbow, and right shoulder are extracted as data with a large change. The extracted data of the first time series is 10-dimensional data about the positions in the X and Y direction of these parts and joints. When the data is arranged as shown in Fig. 10, it is preferable that adjacent parts and joints are adjacent in the data array, as indicated below. The values V1 and V2 represent respectively the positions of the right hand in the X and Y directions. The values V3 and V4 represent the positions in the X and Y directions of the right wrist, respectively. Values V5 and V6 represent, respectively, the positions of the right forearm in the X and Y direction. Values V7 and V8 represent, respectively, the positions of the right elbow in the X and Y direction. Values V9 and V10 represent, respectively, the positions of the right shoulder in the direction X and Y. By arranging adjacent part data or joints that should be adjacent in the array data, it is easier to extract a feature from the array data; and it is possible to increase the accuracy of the estimate by the first model.

Второй вариант осуществленияSecond Embodiment

На фиг.17 показана упрощенная блок-схема, иллюстрирующая систему анализа согласно второму варианту осуществления.Fig. 17 is a simplified block diagram illustrating the analysis system according to the second embodiment.

По сравнению с обучающей системой 1, система 2 анализа согласно второму варианту осуществления дополнительно включает в себя анализирующее устройство 30.Compared with the training system 1, the analysis system 2 according to the second embodiment further includes an analysis device 30.

Датчик 20 осуществляет сбор данных (например, данные ускорения или изображение) операции объекта анализа. Анализирующее устройство 30 обращается к запоминающему устройству 13 и получает данные об операции и первой модели, обученной обучающим устройством 10. Данные, которые собираются датчиком 20, используются анализирующим устройством 30 в качестве данных временного ряда для ввода в первую модель. Кроме того, анализирующее устройство 30 вырабатывает данные временного ряда на основе данных, собранных датчиком 20. В данном документе данные временного ряда для анализа, которые вводятся в первую модель, называются "данными второго временного ряда".The sensor 20 collects data (eg, acceleration data or image) of the operation of the analysis object. The analyzer 30 accesses the memory 13 and obtains the operation data and the first model trained by the trainer 10. The data that is collected by the sensor 20 is used by the analyzer 30 as time series data to input to the first model. In addition, the analyzer 30 generates time series data based on the data collected by the sensor 20. In this document, the analysis time series data that is input to the first model is referred to as "second time series data".

Анализирующее устройство 30 вводит данные второго временного ряда в первую модель. Анализирующее устройство 30 получает результат оценки первой модели в качестве результата анализа данных второго временного ряда. Результат анализа указывает период, в течение которого выполняется задача, в данных второго временного ряда. Анализирующее устройство 30 сохраняет результат анализа в запоминающем устройстве 13.The analyzer 30 inputs the second time series data into the first model. The analyzing device 30 obtains the evaluation result of the first model as an analysis result of the second time series data. The result of the analysis indicates the period during which the task is executed in the data of the second time series. The analyzing device 30 stores the result of the analysis in the storage device 13.

Используя первую модель, обученную обучающим устройством 10 в ходе анализа, можно увеличить точность анализа. Например, даже для работы, в котором последовательность задачи, продолжительность задачи и т.д. не определены, период выполнения задачи может быть проанализирован с более высокой точностью на основе данных временного ряда операции.By using the first model trained by the training device 10 during the analysis, the accuracy of the analysis can be increased. For example, even for a job where the task sequence, task duration, etc. are not defined, the task execution period can be analyzed with higher accuracy based on the operation time series data.

На фиг.18 и 19 показан пример выходного результата системы анализа согласно второму варианту осуществления.18 and 19 show an example of the output of the analysis system according to the second embodiment.

В данном документе описан пример, в котором работник выполняет комплектование, замену этикеток, сборку коробок, упаковку в коробки, закрытие коробок, маркировку, считывание этикеток и размещение на тележке на рабочем месте логистики.This document describes an example in which a worker performs picking, relabeling, box assembly, box packing, box closing, labeling, label reading, and cart placement at a logistics work station.

Анализирующее устройство 30 отображает результат анализа на экране устройства 12 отображения. Например, как показано на фиг.18, анализирующее устройство 30 отображает период каждой задачи в данных второго временного ряда вместе с информацией о данных второго временного ряда и задачах. В примере названия задач отображаются как информация о задачах.The analyzing device 30 displays the analysis result on the screen of the display device 12 . For example, as shown in FIG. 18, the analyzer 30 displays the period of each task in the second time series data along with information about the second time series data and tasks. In the example, task titles are displayed as task information.

Кроме того, когда период выполнения задачи оценивается с помощью первой модели, анализирующее устройство 30 получает тип задачи, которая выполняется, время начала задачи и время окончания задачи. Как показано на фиг.19, выполняемые задачи упорядочены по времени и отображаются анализирующим устройством 30. В это время, как показано на фиг.19, анализирующее устройство 30 может отображать время, когда начинается работа (job), которая включает в себя одну группу задач. Анализирующее устройство 30 может отображать задачи одного и того же типа в одной и той же форме и может отображать задачи разных типов во взаимно разных формах.In addition, when the task execution period is estimated using the first model, the analysis device 30 obtains the type of task that is being executed, the start time of the task, and the end time of the task. As shown in Fig. 19, the running tasks are ordered by time and displayed by the parsing device 30. At this time, as shown in Fig. 19, the parsing device 30 can display the time when a job starts, which includes one group of tasks. . The parsing device 30 may display tasks of the same type in the same form, and may display tasks of different types in mutually different forms.

Начало работы определяется на основе одного, двух или более случаев распознавания работника на изображении, перемещения работника в заданную позицию на изображении или появления некоторого шаблона. Окончание работы определяется на основе одного, двух или более случаев отсутствия работника на изображении, перемещения работника за пределы изображения, перемещения работника в заданную позицию на изображении или истечения заданного количества времени.The start of work is determined based on one, two or more cases of recognition of a worker in the image, moving the worker to a given position in the image, or the appearance of some pattern. The end of a job is determined based on one, two, or more instances where the worker is not in the image, the worker moves out of the image, the worker moves to a given position in the image, or a given amount of time elapses.

В примере, показанном на фиг.19 операция, отличная от задачи, обозначена как "другая" в данных временного ряда. Например, анализирующее устройство 30 может вычислять подобие между данными второго временного ряда и шаблоном и может вырабатывать данные подобия, относящиеся к данным второго временного ряда. Анализирующее устройство 30 использует данные подобия для выработки временных данных, касающихся времени появления шаблона во вторых данных временного ряда. Когда шаблон не появляется в заданный период, анализирующее устройство 30 определяет, что задача завершена. Анализирующее устройство 30 определяет, что операция, отличная от задачи, существует по меньшей мере в части периода от последнего появления шаблона до следующего появления шаблона. Операция "Другая" соответствует операции, отличной от задачи, зарегистрированной в таблице задач, показанной на фиг.3.In the example shown in FIG. 19, an operation other than a task is labeled "other" in the time series data. For example, the analyzer 30 may calculate the similarity between the second time series data and the template, and may generate similarity data relating to the second time series data. The analyzer 30 uses the similarity data to generate temporal data regarding the time of occurrence of the pattern in the second time series data. When the pattern does not appear within the predetermined period, the parsing device 30 determines that the task is completed. The parsing device 30 determines that an operation other than a task exists for at least a portion of the period from the last occurrence of the pattern to the next occurrence of the pattern. The "Other" operation corresponds to an operation other than the task registered in the task table shown in FIG.

Анализирующее устройство 30 может извлекать точку изменения состояния, включенную в данные временного ряда. Например, для извлечения точки изменения состояния используется скрытая марковская модель для иерархического процесса Дирихле (HDP-HMM), алгоритм k-средних, алгоритм x-средних или спектральная кластеризация. Анализирующее устройство 30 определяет, что операция, отличная от задачи, существует от одной точки изменения после появления последнего шаблона до другой точки изменения до появления следующего шаблона.The analyzer 30 may extract a state change point included in the time series data. For example, a Hierarchical Dirichlet Process Hierarchical Markov Model (HDP-HMM), k-means algorithm, x-means algorithm, or spectral clustering is used to extract the state change point. The parsing device 30 determines that an operation other than a task exists from one change point after the occurrence of the last pattern to another change point before the appearance of the next pattern.

Анализирующее устройство 30 может определять операцию, отличную от задачи, на основе как времени появления шаблона во втором временном ряду, так и точки изменения состояния в данных второго временного ряда. Например, анализирующее устройство 30 определяет, что задача закончилась в точке изменения сразу после последнего появления шаблона. Анализирующее устройство 30 определяет, что задача началась в точке изменения непосредственно перед следующим появлением шаблона.The analyzer 30 may determine an operation other than a task based on both the time the pattern occurred in the second time series and the state change point in the second time series data. For example, parsing device 30 determines that the task ended at the change point just after the last occurrence of the template. The parsing device 30 determines that the task started at the change point just before the next occurrence of the pattern.

Благодаря отображению результата анализа пользователь может легко определить, какую задачу выполняет работник, в какой последовательности и приблизительно сколько времени.By displaying the result of the analysis, the user can easily determine which task the employee is performing, in what sequence, and approximately how long.

На фиг.20 показана блок-схема, иллюстрирующая способ анализа, соответствующий системе анализа согласно второму варианту осуществления.Fig. 20 is a flowchart illustrating an analysis method according to the analysis system according to the second embodiment.

Датчик 20 осуществляет сбор данных операции человека, касающиеся объекта анализа (этап S21). Анализирующее устройство 30 получает первую модель, которая обучается обучающим устройством 10 (этап S22). Анализирующее устройство 30 получает данные второго временного ряда, которые вводятся в первую модель (этап S23). Анализирующее устройство 30 вводит данные второго временного ряда в первую модель и выполняет анализ (этап S24). Анализирующее устройство 30 выводит результат анализа (этап S25).The sensor 20 collects human operation data relating to the object of analysis (step S21). The analyzing device 30 receives the first model, which is trained by the teaching device 10 (step S22). The analyzing device 30 acquires the second time series data, which is input to the first model (step S23). The analyzing device 30 inputs the second time series data into the first model and performs the analysis (step S24). The analyzing device 30 outputs the analysis result (step S25).

На фиг.21 показана упрощенная блок-схема, иллюстрирующая конфигурацию аппаратных средств.21 is a simplified block diagram illustrating a hardware configuration.

Например, обучающее устройство 10 представляет собой компьютер и включает в себя постоянное запоминающее устройство (ROM) 10a, оперативное запоминающее устройство (RAM) 10b, центральный процессор (CPU) 10c и жесткий диск (HDD) 10d.For example, the learning device 10 is a computer and includes a read only memory (ROM) 10a, a random access memory (RAM) 10b, a central processing unit (CPU) 10c, and a hard disk drive (HDD) 10d.

ROM 10a хранит программы, управляющие работой компьютера. В ROM 10а хранятся программы, необходимые для того, чтобы компьютер выполнял описанную выше обработку.ROM 10a stores programs that control the operation of the computer. The ROM 10a stores programs necessary for the computer to perform the above-described processing.

RAM 10b функционирует как область памяти, куда загружаются программы, хранящиеся в ROM 10a. CPU 10c включает в себя схему обработки. CPU 10c считывает программу управления, хранящуюся в ROM 10a, и управляет работой компьютера в соответствии с программой управления. CPU 10c загружает различные данные, полученные в результате работы компьютера, в RAM 10b. На HDD 10d хранятся данные, необходимые для обработки обучающим устройством 10, и данные, полученные в результате обработки. HDD 10d может функционировать как запоминающее устройство 13.RAM 10b functions as a memory area where programs stored in ROM 10a are loaded. The CPU 10c includes a processing circuit. The CPU 10c reads the control program stored in the ROM 10a and controls the operation of the computer in accordance with the control program. The CPU 10c loads various data resulting from the operation of the computer into the RAM 10b. The HDD 10d stores the data necessary for processing by the teaching device 10 and the data resulting from the processing. The HDD 10d can function as a storage device 13.

Вместо HDD 10d обучающее устройство 10 может включать в себя встроенную мультимедийную карту (eMMC), твердотельный накопитель (SSD), твердотельный гибридный накопитель (SSHD) и т.д.Instead of the HDD 10d, the learning device 10 may include an embedded multimedia card (eMMC), a solid state drive (SSD), a solid state hybrid drive (SSHD), and so on.

Устройство 11 ввода включает в себя, например, по меньшей мере одно, выбранное из мыши, клавиатуры, микрофона (аудиовхода) и сенсорной панели. Например, устройство 12 отображения включает в себя по меньшей мере одно, выбранное из монитора и проектора. Можно такое использовать устройство, такое как сенсорная панель, которая функционирует как устройство 11 ввода, так и устройство 12 отображения.The input device 11 includes, for example, at least one selected from a mouse, a keyboard, a microphone (audio input), and a touch pad. For example, display device 12 includes at least one selected from a monitor and a projector. It is possible to use a device such as a touch panel that functions as both an input device 11 and a display device 12.

Аппаратная конфигурация, аналогичная конфигурации обучающего устройства 10, применима к аппаратной конфигурации анализирующего устройства 30. Один компьютер может функционировать как обучающее устройство 10 и анализирующее устройство 30. Кроме того, процесс обработки и функции обучающего устройства 10 и анализирующего устройства 30 могут быть реализованы путем взаимодействия между собой большого количества компьютеров.A hardware configuration similar to that of the learning device 10 is applicable to the hardware configuration of the analyzing device 30. One computer can function as the learning device 10 and the analyzing device 30. In addition, the processing and functions of the learning device 10 and the analyzing device 30 can be implemented by interaction between a large number of computers.

Согласно обучающему устройству, системе обучения или способу обучения, описанному выше, точность первой модели может быть увеличена при использовании меньшего количества обучающих данных. Используя анализирующее устройство, систему анализа или способ анализа, можно повысить точность анализа путем анализа данных временного ряда с использованием обученной первой модели. Аналогичные эффекты могут быть также получены при использовании программы, предписывающей компьютеру функционировать как обучающее устройство или анализирующее устройство.According to the training device, training system, or training method described above, the accuracy of the first model can be increased by using less training data. Using an analysis device, an analysis system, or an analysis method, it is possible to improve the accuracy of the analysis by analyzing the time series data using the trained first model. Similar effects can also be obtained by using a program that causes the computer to function as a learning device or an analysis device.

Результаты обработки различных данных, описанных выше, могут храниться на невременном носителе информации (невременном машиночитаемом носителе информации), который может считывать компьютер, например, магнитный диск (гибкий диск, жесткий диск, и т.д.), оптический диск (CD-ROM, CD-R, CD-RW, DVD-ROM, DVD±R, DVD±RW и т.д.), полупроводниковую память и т.д., в виде программы, которая может исполняться компьютером.The results of processing the various data described above may be stored in a non-transitory storage medium (non-transitory computer-readable storage medium) that can be read by a computer, such as a magnetic disk (floppy disk, hard disk, etc.), optical disk (CD-ROM , CD-R, CD-RW, DVD-ROM, DVD±R, DVD±RW, etc.), semiconductor memory, etc., in the form of a program that can be executed by a computer.

Например, данные, которые записаны на носителе информации могут быть считаны компьютером (или встроенной системой). Формат записи (формат хранения) носителя информации является произвольным. Например, компьютер считывает программу с носителя информации предписывает CPU исполнять инструкции, представленные в программе, на основе программы. Получение (или считывание) программы компьютером может быть выполнено через сеть.For example, data that is recorded on a storage medium can be read by a computer (or an embedded system). The recording format (storage format) of the storage medium is arbitrary. For example, the computer reads the program from the storage medium, causes the CPU to execute the instructions provided in the program based on the program. The receipt (or reading) of the program by the computer may be performed via a network.

Хотя выше были описаны конкретные варианты осуществления, эти варианты осуществления были представлены только в качестве примера и не предназначены для ограничения объема изобретения. Фактически, описанные в данном документе новые варианты осуществления могут быть воплощены в множестве других форм; более того, различные исключения, замены и изменения в форме вариантов осуществления, описанных в данном документе, могут быть сделаны без отступления от сущности изобретения. Прилагаемая формула изобретения и ее эквиваленты предназначены для охвата таких форм или модификаций, которые подпадают под объем и сущность изобретения. Вышеупомянутые варианты осуществления могут применяться в сочетании друг с другом.Although specific embodiments have been described above, these embodiments have been presented by way of example only and are not intended to limit the scope of the invention. In fact, the novel embodiments described herein may be embodied in a variety of other forms; moreover, various exceptions, substitutions, and changes in the form of the embodiments described herein may be made without departing from the spirit of the invention. The appended claims and their equivalents are intended to cover such forms or modifications as fall within the scope and spirit of the invention. The above embodiments may be used in combination with each other.

Claims (97)

1. Обучающее устройство для обучения первой модели, причем первая модель включает в себя нейронную сеть и оценивает период выполнения задачи на основе данных временного ряда операции человека, при этом обучающее устройство выполнено с возможностью:1. A training device for training a first model, wherein the first model includes a neural network and estimates a task execution period based on human operation time series data, wherein the training device is configured to: получения данных первого временного ряда, которым присвоена метка задачи,getting the data of the first time series that has been assigned a task label, извлечения шаблона из периода, указанного меткой в данных первого временного ряда, причем шаблон используется в качестве характерного признака,extracting a pattern from the period indicated by the label in the first time series data, the pattern being used as a feature, выработки временных данных, касающихся времени появления шаблона в данных первого временного ряда,generation of temporal data regarding the time of occurrence of the pattern in the data of the first time series, обучения первой модели с использованием метки, данных первого временного ряда и временных данных, при этомtraining the first model using the label, the first time series data, and the time data, while данные первого временного ряда являются многомерными данными операций множества частей и операций множества суставов тела,the data of the first time series are multidimensional data of the operations of the plurality of parts and the operations of the plurality of joints of the body, при этом обучающее устройство выполнено с возможностью: wherein the learning device is configured to: извлечения части измерений из данных первого временного ряда,extracting part of the measurements from the data of the first time series, извлечения шаблона из извлеченных данных первого временного ряда и выработки временных данных для каждого измерения указанной части измерений, иextracting a template from the extracted data of the first time series and generating time data for each dimension of the specified part of the dimensions, and обучения первой модели с использованием метки, извлеченных данных первого временного ряда и множества наборов временных данных.training the first model using the label, the extracted first time series data, and a plurality of time data sets. 2. Обучающее устройство для обучения первой модели, причем первая модель включает в себя нейронную сеть и оценивает период выполнения задачи на основе данных временного ряда операции человека, при этом обучающее устройство выполнено с возможностью:2. A training device for training a first model, the first model including a neural network and estimating a task execution period based on human operation time series data, wherein the training device is configured to: получения данных первого временного ряда, которым присвоена метка задачи,getting the data of the first time series that has been assigned a task label, извлечения шаблона из периода, указанного меткой в данных первого временного ряда, причем шаблон используется в качестве характерного признака,extracting a pattern from the period indicated by the label in the first time series data, the pattern being used as a feature, выработки временных данных, касающихся времени появления шаблона в данных первого временного ряда,generation of temporal data regarding the time of occurrence of the pattern in the data of the first time series, обучения первой модели с использованием метки, данных первого временного ряда и временных данных, при этомtraining the first model using the label, the first time series data, and the time data, while первая модель включает в себя нейронную сеть, включающую в себя сверточный слой и слой внимания,the first model includes a neural network including a convolutional layer and an attention layer, при этом обучающее устройство выполнено с возможностью:wherein the learning device is configured to: обучения первой модели с использованием данных первого временного ряда в качестве входных данных и с использованием метки в качестве обучающих данных, иtraining the first model using the first time series data as input and using the label as training data, and использования временных данных для оценки первой модели при обучении.using time data to evaluate the first model in training. 3. Обучающее устройство по п.1 или 2, в котором3. Educational device according to claim 1 or 2, in which данные первого временного ряда являются многомерными,the data of the first time series are multivariate, при этом обучающее устройство выполнено с возможностью:wherein the learning device is configured to: уменьшения размерности данных первого временного ряда, иdimensionality reduction of the data of the first time series, and извлечения шаблона из уменьшенных данных первого временного ряда.extracting a template from the reduced data of the first time series. 4. Обучающее устройство по п.2, в котором4. The training device according to claim 2, wherein данные первого временного ряда являются многомерными данными операций множества частей и операций множества суставов тела,the data of the first time series are multidimensional data of the operations of the plurality of parts and the operations of the plurality of joints of the body, при этом обучающее устройство выполнено с возможностью: wherein the learning device is configured to: извлечения части измерений из данных первого временного ряда,extracting part of the measurements from the data of the first time series, извлечения шаблона из извлеченных данных первого временного ряда и выработки временных данных для каждого измерения указанной части измерений, иextracting a template from the extracted data of the first time series and generating time data for each dimension of the specified part of the dimensions, and обучения первой модели с использованием метки, извлеченных данных первого временного ряда и множества наборов временных данных.training the first model using the label, the extracted first time series data, and a plurality of time data sets. 5. Обучающее устройство по п.1 или 2, в котором5. Educational device according to claim 1 or 2, in which данным первого временного ряда присвоено множество меток множества задач,the data of the first time series is assigned a set of labels of a set of tasks, при этом обучающее устройство выполнено с возможностью: wherein the learning device is configured to: извлечения множества шаблонов соответственно из множества периодов, указанных множеством меток,extracting a plurality of patterns, respectively, from a plurality of periods indicated by a plurality of labels, выработки множества наборов временных данных, касающихся времени появления множества шаблонов в данных первого временного ряда, иgenerating a plurality of time data sets regarding the timing of the occurrence of the plurality of patterns in the first time series data, and обучения первой модели с использованием множества меток, данных первого временного ряда и множества наборов временных данных, чтобы побудить первую модель оценивать периоды выполнения множества задач на основании данных временного ряда.training the first model using the plurality of labels, the first time series data, and the plurality of time data sets to cause the first model to estimate the execution periods of the plurality of tasks based on the time series data. 6. Обучающее устройство по п.1 или 2, характеризующееся тем, что выполнено с возможностью выработки данных массива путем двумерного размещения значений данных первого временного ряда,6. Teaching device according to claim 1 or 2, characterized in that it is configured to generate array data by two-dimensional placement of data values of the first time series, причем данные массива вводятся в первую модель, and the array data is entered into the first model, при этом обучающее устройство выполнено с возможностью обучения первой модели с использованием метки, данных массива, основанных на данных первого временного ряда, и временных данных.wherein the training device is configured to train the first model using the label, array data based on the first time series data, and time data. 7. Обучающее устройство по п.1, в котором7. Educational device according to claim 1, in which первая модель включает в себя нейронную сеть, включающую в себя сверточный слой и слой внимания,the first model includes a neural network including a convolutional layer and an attention layer, при этом обучающее устройство выполнено с возможностью:wherein the learning device is configured to: обучения первой модели с использованием данных первого временного ряда в качестве входных данных и с использованием метки в качестве обучающих данных, иtraining the first model using the first time series data as input and using the label as training data, and использования временных данных для оценки первой модели при обучении.using time data to evaluate the first model in training. 8. Обучающее устройство по п.1 или 2, в котором8. Educational device according to claim 1 or 2, in which данные типа задачи, время начала и время окончания задачи принимаются в качестве метки.task type data, task start time and task end time are taken as a label. 9. Обучающее устройство для обучения первой модели, причем первая модель включает в себя нейронную сеть и оценивает период выполнения задачи на основе данных временного ряда, при этом данные временного ряда представляют собой операцию человека,9. A learning device for training the first model, the first model including a neural network and estimating a task execution period based on the time series data, the time series data being a human operation, при этом обучающее устройство выполнено с возможностью выработки данных массива путем двумерного размещения значений данных первого временного ряда,wherein the learning device is configured to generate array data by two-dimensional placement of data values of the first time series, данным первого временного ряда назначается метка задачи,the data of the first time series is assigned a task label, при этом обучающее устройство выполнено с возможностью обучения первой модели с использованием метки и данных массива,wherein the learning device is configured to train the first model using the label and array data, первая модель включает в себя сверточный слой и слой внимания.the first model includes a convolutional layer and an attention layer. 10. Анализирующее устройство для анализа периода выполнения задачи, характеризующееся тем, что выполнено с возможностью ввода данных второго временного ряда в первую модель, обученную обучающим устройством по п.1 или 2,10. An analyzing device for analyzing the task execution period, characterized in that it is configured to input data of the second time series into the first model trained by the training device according to claim 1 or 2, причем данные второго временного ряда являются объектом анализа,moreover, the data of the second time series are the object of analysis, при этом анализирующее устройство выполнено с возможностью анализа периода выполнения задачи в данных второго временного ряда.wherein the analyzing device is configured to analyze the task execution period in the data of the second time series. 11. Анализирующее устройство по п.10, характеризующееся тем, что выполнено с возможностью анализа периода операции, отличной от указанной задачи, на основе времени появления шаблона во втором временном ряду и одной или двух точек изменения состояния в данных второго временного ряда.11. The analyzing device according to claim 10, characterized in that it is configured to analyze the period of operation, different from the specified task, based on the time of occurrence of the pattern in the second time series and one or two state change points in the data of the second time series. 12. Способ обучения для обучения первой модели, причем первая модель включает в себя нейронную сеть и оценивает период выполнения задачи на основе данных временного ряда, при этом данные временного ряда представляют собой операцию человека, причем способ содержит этапы, на которых:12. A learning method for training a first model, the first model including a neural network and estimating a task execution period based on the time series data, the time series data being a human operation, the method comprising: получают данные первого временного ряда, которым присвоена метка задачи;receiving data of the first time series, which is assigned a task label; извлекают шаблон из периода, указанного меткой в данных первого временного ряда, причем шаблон используется в качестве характерного признака;extracting a pattern from a period indicated by a label in the first time series data, the pattern being used as a feature; вырабатывают временные данные, касающиеся времени появления шаблона в данных первого временного ряда; иgenerate temporal data relating to the time of occurrence of the pattern in the data of the first time series; and обучают первую модель с использованием метки, данных первого временного ряда и временных данных, при этомthe first model is trained using the label, the first time series data, and the time data, while данные первого временного ряда являются многомерными данными операций множества частей и операций множества суставов тела,the data of the first time series are multidimensional data of the operations of the plurality of parts and the operations of the plurality of joints of the body, при этом wherein извлекают часть измерений из данных первого временного ряда,extract a part of the measurements from the data of the first time series, извлекают шаблон из извлеченных данных первого временного ряда и вырабатывают временные данные для каждого измерения указанной части измерений, иextracting a template from the extracted data of the first time series and generating time data for each dimension of the specified part of the dimensions, and обучают первую модель с использованием метки, извлеченных данных первого временного ряда и множества наборов временных данных.training the first model using the label, the extracted first time series data, and the plurality of time data sets. 13. Способ обучения для обучения первой модели, причем первая модель включает в себя нейронную сеть и оценивает период выполнения задачи на основе данных временного ряда, при этом данные временного ряда представляют собой операцию человека, причем способ содержит этапы, на которых:13. A learning method for training a first model, the first model including a neural network and estimating a task execution period based on the time series data, the time series data being a human operation, the method comprising: получают данные первого временного ряда, которым присвоена метка задачи;receiving data of the first time series, which is assigned a task label; извлекают шаблон из периода, указанного меткой в данных первого временного ряда, причем шаблон используется в качестве характерного признака;extracting a pattern from a period indicated by a label in the first time series data, the pattern being used as a feature; вырабатывают временные данные, касающиеся времени появления шаблона в данных первого временного ряда; иgenerate temporal data relating to the time of occurrence of the pattern in the data of the first time series; and обучают первую модель с использованием метки, данных первого временного ряда и временных данных, при этомthe first model is trained using the label, the first time series data, and the time data, while первая модель включает в себя нейронную сеть, включающую в себя сверточный слой и слой внимания,the first model includes a neural network including a convolutional layer and an attention layer, при этом:wherein: обучают первую модель с использованием данных первого временного ряда в качестве входных данных и с использованием метки в качестве обучающих данных, иtraining the first model using the first time series data as input and using the label as training data, and используют временные данные для оценки первой модели при обучении.use time data to evaluate the first model in training. 14. Носитель информации, на котором хранятся инструкции, представленные в программе, 14. The storage medium on which the instructions presented in the program are stored, причем инструкции вызывают обучение компьютером первой модели, причем первая модель оценивает период выполнения задачи на основе данных временного ряда, при этом данные временного ряда представляют собой операцию человека,wherein the instructions cause the computer to learn the first model, the first model estimating the task execution period based on the time series data, wherein the time series data represents a human operation, при этом инструкции вызывают выполнение компьютером:the instructions cause the computer to execute: получения данных первого временного ряда, которым присвоена метка задачи;obtaining the data of the first time series, which is assigned a task label; извлечения шаблона из периода, указанного меткой в данных первого временного ряда, причем шаблон используется в качестве характерного признака;extracting a pattern from a period indicated by a label in the first time series data, the pattern being used as a feature; выработки временных данных, касающихся времени появления шаблона в данных первого временного ряда; иgenerating temporal data relating to the time of occurrence of the pattern in the first time series data; and обучения первой модели с использованием метки, данных первого временного ряда и временных данных, при этомtraining the first model using the label, the first time series data, and the time data, while данные первого временного ряда являются многомерными данными операций множества частей и операций множества суставов тела,the data of the first time series are multidimensional data of the operations of the plurality of parts and the operations of the plurality of joints of the body, при этом инструкции вызывают выполнение компьютером: the instructions cause the computer to execute: извлечения части измерений из данных первого временного ряда,extracting part of the measurements from the data of the first time series, извлечения шаблона из извлеченных данных первого временного ряда и выработки временных данных для каждого измерения указанной части измерений, иextracting a template from the extracted data of the first time series and generating time data for each dimension of the specified part of the dimensions, and обучения первой модели с использованием метки, извлеченных данных первого временного ряда и множества наборов временных данных.training the first model using the label, the extracted first time series data, and a plurality of time data sets. 15. Носитель информации, на котором хранятся инструкции, представленные в программе, 15. The storage medium on which the instructions presented in the program are stored, причем инструкции вызывают обучение компьютером первой модели, причем первая модель оценивает период выполнения задачи на основе данных временного ряда, при этом данные временного ряда представляют собой операцию человека,wherein the instructions cause the computer to learn the first model, the first model estimating the task execution period based on the time series data, wherein the time series data represents a human operation, при этом инструкции вызывают выполнение компьютером:the instructions cause the computer to execute: получения данных первого временного ряда, которым присвоена метка задачи;obtaining the data of the first time series, which is assigned a task label; извлечения шаблона из периода, указанного меткой в данных первого временного ряда, причем шаблон используется в качестве характерного признака;extracting a pattern from a period indicated by a label in the first time series data, the pattern being used as a feature; выработки временных данных, касающихся времени появления шаблона в данных первого временного ряда; иgenerating temporal data relating to the time of occurrence of the pattern in the first time series data; and обучения первой модели с использованием метки, данных первого временного ряда и временных данных, при этомtraining the first model using the label, the first time series data, and the time data, while первая модель включает в себя нейронную сеть, включающую в себя сверточный слой и слой внимания,the first model includes a neural network including a convolutional layer and an attention layer, при этом инструкции вызывают выполнение компьютером:the instructions cause the computer to execute: обучения первой модели с использованием данных первого временного ряда в качестве входных данных и с использованием метки в качестве обучающих данных, иtraining the first model using the first time series data as input and using the label as training data, and использования временных данных для оценки первой модели при обучении.using time data to evaluate the first model in training.
RU2021126625A 2020-12-04 2021-09-09 Training apparatus, analysing apparatus, training method and information medium RU2784420C1 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020-202106 2020-12-04

Publications (1)

Publication Number Publication Date
RU2784420C1 true RU2784420C1 (en) 2022-11-24

Family

ID=

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8429103B1 (en) * 2012-06-22 2013-04-23 Google Inc. Native machine learning service for user adaptation on a mobile platform
WO2019164672A1 (en) * 2018-02-23 2019-08-29 Walmart Apollo, Llc Systems and methods for managing associate delivery

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8429103B1 (en) * 2012-06-22 2013-04-23 Google Inc. Native machine learning service for user adaptation on a mobile platform
WO2019164672A1 (en) * 2018-02-23 2019-08-29 Walmart Apollo, Llc Systems and methods for managing associate delivery

Similar Documents

Publication Publication Date Title
Rui et al. Segmenting visual actions based on spatio-temporal motion patterns
Avola et al. Deep temporal analysis for non-acted body affect recognition
Rahmati et al. Video-based early cerebral palsy prediction using motion segmentation
US11759126B2 (en) Scoring metric for physical activity performance and tracking
Parra-Dominguez et al. 3D human motion analysis to detect abnormal events on stairs
Hsu et al. Deep hierarchical network with line segment learning for quantitative analysis of facial palsy
US11663845B2 (en) Method and apparatus for privacy protected assessment of movement disorder video recordings
CN111460976B (en) Data-driven real-time hand motion assessment method based on RGB video
Panetta et al. Software architecture for automating cognitive science eye-tracking data analysis and object annotation
Yurtsever et al. BabyPose: Real-time decoding of baby’s non-verbal communication using 2D video-based pose estimation
CN110414306A (en) A kind of Infants With Abnormal behavioral value method based on meanshift algorithm and SVM
CN115316982A (en) Muscle deformation intelligent detection system and method based on multi-mode sensing
CN112396014B (en) Visual-touch fusion gait recognition method based on feature fusion
Suzuki et al. Skeleton-based explainable human activity recognition for child gross-motor assessment
RU2784420C1 (en) Training apparatus, analysing apparatus, training method and information medium
CN111274854B (en) Human body action recognition method and vision enhancement processing system
Switonski et al. Dynamic time warping in gait classification of motion capture data
EP4009288A1 (en) Training device, analysis device, training method, and storage medium
WO2019207714A1 (en) Motion estimation system, motion estimation method, and motion estimation program
Convertini et al. Sit-to-Stand Test for Neurodegenerative Diseases Video Classification
CN115578668A (en) Target behavior recognition method, electronic device, and storage medium
Garg et al. Short: Deep Learning Approach to Skeletal Performance Evaluation of Physical Therapy Exercises
CN111861275B (en) Household work mode identification method and device
Wang et al. Calorific expenditure estimation using deep convolutional network features
Révy et al. Towards Hand-Over-Face Gesture Detection