RU2784420C1 - Training apparatus, analysing apparatus, training method and information medium - Google Patents
Training apparatus, analysing apparatus, training method and information medium Download PDFInfo
- Publication number
- RU2784420C1 RU2784420C1 RU2021126625A RU2021126625A RU2784420C1 RU 2784420 C1 RU2784420 C1 RU 2784420C1 RU 2021126625 A RU2021126625 A RU 2021126625A RU 2021126625 A RU2021126625 A RU 2021126625A RU 2784420 C1 RU2784420 C1 RU 2784420C1
- Authority
- RU
- Russia
- Prior art keywords
- data
- time series
- time
- model
- training
- Prior art date
Links
- 230000001537 neural Effects 0.000 claims abstract description 22
- 238000004458 analytical method Methods 0.000 claims description 33
- 238000003860 storage Methods 0.000 claims description 21
- 238000005259 measurement Methods 0.000 claims description 16
- 230000002123 temporal effect Effects 0.000 claims description 16
- 239000000284 extract Substances 0.000 claims description 14
- 210000001503 Joints Anatomy 0.000 claims description 12
- 230000000694 effects Effects 0.000 abstract description 2
- 239000000126 substance Substances 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 17
- 210000001513 Elbow Anatomy 0.000 description 9
- 210000000707 Wrist Anatomy 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 8
- 230000000875 corresponding Effects 0.000 description 8
- 210000000245 Forearm Anatomy 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000006011 modification reaction Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 4
- 210000003128 Head Anatomy 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000000034 method Methods 0.000 description 3
- 210000003423 Ankle Anatomy 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 210000001015 Abdomen Anatomy 0.000 description 1
- 210000002683 Foot Anatomy 0.000 description 1
- 210000001624 Hip Anatomy 0.000 description 1
- 210000003127 Knee Anatomy 0.000 description 1
- 210000003739 Neck Anatomy 0.000 description 1
- 210000001331 Nose Anatomy 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000001699 lower leg Anatomy 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Images
Abstract
Description
Область техники, к которой относится изобретениеThe technical field to which the invention belongs
Варианты осуществления, описанные в данном документе, относятся, в общем, к обучающему устройству, анализирующему устройству, способу обучения и носителю информации.The embodiments described herein refer generally to a learning device, an analysis device, a learning method, and a storage medium.
Уровень техникиState of the art
Существует технология, направленная на повышение эффективности работы путем анализа работы человека. В такой технологии желательно начинать анализ с меньшей подготовкой.There is a technology aimed at improving work efficiency by analyzing human work. In this technology, it is desirable to start the analysis with less preparation.
Существует способ, который извлекает шаблон каждой задачи из данных временного ряда на основе предварительно установленной последовательности задач и предварительно установленного времени задачи и оценивает период выполнения задачи из данных временного ряда с использованием шаблона. Этот способ полезен, когда последовательность задач является фиксированной, и известна стандартная продолжительность. С другой стороны, также существуют задачи, в которых последовательность, время и т.д. не являются фиксированными. Например, на рабочем месте логистики выполняется комплектация, замена этикеток, сборка коробок, упаковка в коробки, закрытие коробок, этикетирование, считывание этикеток, размещение на тележке и т.д. Последовательность, продолжительность и т.д. такой задачи могут меняться в зависимости от содержимого упакованных изделий, количества упакованных изделий, размера изделий, требований клиентов и т.д. Кроме того, в задачу примера может быть также вставлена другая задача. Желательна технология, которая позволила бы анализировать данные временных рядов, даже если время выполнения задачи или продолжительность задачи не являются фиксированными.There is a method that extracts a pattern of each task from the time series data based on a preset task sequence and a preset task time, and estimates a task execution period from the time series data using the template. This method is useful when the task sequence is fixed and the standard duration is known. On the other hand, there are also tasks where the sequence, time, etc. are not fixed. For example, the logistics workstation performs picking, label change, box assembly, box packing, box closing, labeling, label reading, trolley placement, etc. Sequence, duration, etc. such a task may vary depending on the contents of the packaged products, the number of products packaged, the size of the products, customer requirements, etc. In addition, another task can also be inserted into the example task. A technology is desirable that would allow time series data to be analyzed even if the task execution time or task duration is not fixed.
В качестве такой технологии может быть рассмотрен способ, в котором подготавливается модель, которая оценивает период выполнения задачи в данных временного ряда в соответствии с вводом данных временного ряда. Модель обучается с использованием данных обучающего устройства. Однако, как правило, при контролируемом обучении модели необходимо подготовить много обучающих данных, чтобы получить практическую точность. Пользователь должен потратить много времени на обучение обучающих данных.As such a technique, a method can be considered in which a model is prepared that estimates the execution period of a task in the time series data according to the input of the time series data. The model is trained using the training device data. However, in general, supervised model training requires a lot of training data to get practical accuracy. The user has to spend a lot of time training the training data.
Раскрытие сущности изобретенияDisclosure of the essence of the invention
Настоящее раскрытие направлено на сокращения количества обучающих данных и более быстрого обучения модели.The present disclosure is directed to reducing the amount of training data and faster training of the model.
В одном варианте осуществления предложено обучающее устройство для обучения первой модели, причем первая модель включает в себя нейронную сеть и оценивает период выполнения задачи на основе данных временного ряда операции человека, при этом обучающее устройство выполнено с возможностью: получения данных первого временного ряда, которым присвоена метка задачи, извлечения шаблона из периода, указанного меткой в данных первого временного ряда, причем шаблон используется в качестве характерного признака выработки временных данных, касающихся времени появления шаблона в данных первого временного ряда, обучения первой модели с использованием метки, данных первого временного ряда и временных данных, при этомIn one embodiment, a trainer is provided for training a first model, the first model including a neural network and estimating a task execution period based on human operation time series data, the trainer being configured to: obtain first time series data that is labeled task, extracting a pattern from a period indicated by a label in the first time series data, wherein the pattern is used as a feature of generating temporal data regarding the time of occurrence of the pattern in the first time series data, training the first model using the label, the first time series data, and the time data , wherein
данные первого временного ряда являются многомерными данными операций множества частей и операций множества суставов тела,the data of the first time series are multidimensional data of the operations of the plurality of parts and the operations of the plurality of joints of the body,
при этом обучающее устройство выполнено с возможностью: извлечения части измерений из данных первого временного ряда, извлечения шаблона из извлеченных данных первого временного ряда и выработки временных данных для каждого измерения указанной части измерений, и обучения первой модели с использованием метки, извлеченных данных первого временного ряда и множества наборов временных данных.wherein the training device is configured to: extract a portion of the measurements from the data of the first time series, extract a pattern from the extracted data of the first time series and generate time data for each measurement of the specified portion of the measurements, and train the first model using a label, the extracted data of the first time series, and set of time data sets.
В другом варианте осуществления предложено обучающее устройство для обучения первой модели, причем первая модель включает в себя нейронную сеть и оценивает период выполнения задачи на основе данных временного ряда операции человека, при этом обучающее устройство выполнено с возможностью: получения данных первого временного ряда, которым присвоена метка задачи, извлечения шаблона из периода, указанного меткой в данных первого временного ряда, причем шаблон используется в качестве характерного признака, выработки временных данных, касающихся времени появления шаблона в данных первого временного ряда, обучения первой модели с использованием метки, данных первого временного ряда и временных данных, при этомIn another embodiment, a trainer is provided for training a first model, the first model including a neural network and estimating a task execution period based on human operation time series data, the trainer being configured to: obtain first time series data that is labeled task, extracting a pattern from a period indicated by a label in the first time series data, wherein the pattern is used as a feature, generating temporal data regarding the time the pattern occurred in the first time series data, training the first model using the label, the first time series data, and the time series data, while
первая модель включает в себя нейронную сеть, включающую в себя сверточный слой и слой внимания,the first model includes a neural network including a convolutional layer and an attention layer,
при этом обучающее устройство выполнено с возможностью: обучения первой модели с использованием данных первого временного ряда в качестве входных данных и с использованием метки в качестве обучающих данных, и использования временных данных для оценки первой модели при обучении.wherein the training device is configured to: train the first model using the first time series data as input and using the label as training data, and use time data to evaluate the first model in training.
Краткое описание чертежейBrief description of the drawings
Фиг.1 – упрощенная блок-схема, иллюстрирующая систему обучения согласно первому варианту осуществления;1 is a simplified block diagram illustrating a learning system according to the first embodiment;
фиг.2A и 2B – схематичные временные диаграммы, иллюстрирующие обучающее устройство согласно первому варианту осуществления;Figs. 2A and 2B are schematic timing diagrams illustrating the teaching device according to the first embodiment;
фиг.3 – пример таблицы задач;figure 3 - an example of a table of tasks;
фиг.4A-4D – схематичные временные диаграммы, иллюстрирующие обработку, выполняемую обучающим устройством согласно первому варианту осуществления;4A-4D are schematic timing diagrams illustrating the processing performed by the teaching device according to the first embodiment;
фиг.5A-5C – схематичные временные диаграммы, иллюстрирующие обработку, выполняемую обучающим устройством согласно первому варианту осуществления;Figs. 5A-5C are schematic timing diagrams illustrating the processing performed by the teaching device according to the first embodiment;
фиг.6А-6С – схематичные временные диаграммы, иллюстрирующие обучающее устройство согласно первому варианту осуществления;Figs. 6A-6C are schematic timing diagrams illustrating the teaching device according to the first embodiment;
фиг.7A и 7B – схематичные временные диаграммы, иллюстрирующие обучающее устройство согласно первому варианту осуществления;Figs. 7A and 7B are schematic timing diagrams illustrating the teaching device according to the first embodiment;
фиг.8A и 8B – схематичные временные диаграммы, иллюстрирующие обучающее устройство согласно первому варианту осуществления;Figs. 8A and 8B are schematic timing diagrams illustrating the teaching device according to the first embodiment;
фиг.9 – схематичное представление нейронной сети, включенной в первую модель;Fig.9 is a schematic representation of the neural network included in the first model;
фиг.10 – схематичное представление, иллюстрирующее данные массива, выработанные из данных временного ряда;Fig. 10 is a schematic diagram illustrating array data generated from time series data;
фиг.11 – схематичное представление, иллюстрирующее данные массива, выработанные из данных временного ряда;Fig. 11 is a schematic diagram illustrating array data generated from time series data;
фиг.12 – схематичное представление, иллюстрирующее данные массива, выработанные из данных временного ряда;Fig. 12 is a schematic diagram illustrating array data generated from time series data;
фиг.13 – блок-схема, иллюстрирующая способ обучения, соответствующий системе обучения согласно первому варианту осуществления;Fig. 13 is a flowchart illustrating a teaching method corresponding to the teaching system according to the first embodiment;
фиг.14A – пример изображения, и фиг.14B – пример результата обнаружения позы;Fig. 14A is an example of an image, and Fig. 14B is an example of a pose detection result;
фиг.15A и 15B – схематичные изображения, иллюстрирующие состояния задачи;Fig.15A and 15B - schematic images illustrating the status of the task;
фиг.16 – блок-схема, иллюстрирующая способ обучения, соответствующий системе обучения согласно модификации первого варианта осуществления;Fig. 16 is a flowchart illustrating a teaching method corresponding to the teaching system according to the modification of the first embodiment;
фиг.17 – упрощенная блок-схема, иллюстрирующая систему анализа согласно второму варианту осуществления;Fig. 17 is a simplified block diagram illustrating the analysis system according to the second embodiment;
фиг.18 – пример выходного результата системы анализа согласно второму варианту осуществления;Fig. 18 is an example of the output of the analysis system according to the second embodiment;
фиг.19 – пример выходного результата системы анализа согласно второму варианту осуществления;Fig. 19 is an example of the output of the analysis system according to the second embodiment;
фиг.20 – блок-схема, иллюстрирующая способ анализа, соответствующий системе анализа согласно второму варианту осуществления; иFig. 20 is a flowchart illustrating an analysis method corresponding to an analysis system according to the second embodiment; and
фиг.21 – упрощенная блок-схема, иллюстрирующая конфигурацию аппаратных средств.Fig. 21 is a simplified block diagram illustrating the hardware configuration.
Подробное описание изобретенияDetailed description of the invention
Согласно одному варианту осуществления обучающее устройство обучает первую модель. Первая модель оценивает период выполнения задачи на основе данных временного ряда операции человека. Устройство получает данные первого временного ряда, которым присваивается метка задачи. Устройство извлекает шаблон из периода, указанного меткой в данных первого временного ряда. Шаблон используется в качестве признака. Устройство вырабатывает временные данные, касающиеся времени появления шаблона в данных первого временного ряда. Устройство обучает первую модель, используя метку, данные первого временного ряда и временные данные.According to one embodiment, the training device trains the first model. The first model estimates the task execution period based on human operation time series data. The device receives the first time series data, which is assigned a task label. The device retrieves the pattern from the period indicated by the label in the first time series data. The template is used as a feature. The device generates time data regarding the time of occurrence of the pattern in the first time series data. The device trains the first model using the label, the first time series data, and the time data.
Ниже, со ссылкой на сопроводительные чертежи, описаны различные варианты осуществления. В описании и на чертежах компоненты, аналогичные тем, которые описаны ранее или проиллюстрированы на предыдущем чертеже, отмечены одинаковыми ссылочными позициями, и при необходимости их подробное описание будет опущено.Below, with reference to the accompanying drawings, various embodiments are described. In the description and the drawings, components similar to those described previously or illustrated in the previous drawing are marked with the same reference numerals, and if necessary, their detailed description will be omitted.
На фиг.1 показана упрощенная блок-схема, иллюстрирующая систему обучения согласно первому варианту осуществления.Fig. 1 is a simplified block diagram illustrating the learning system according to the first embodiment.
Система 1 обучения согласно первому варианту осуществления включает в себя обучающее устройство 10, устройство 11 ввода, устройство 12 отображения, запоминающее устройство 13 и датчик 20.The
Датчик 20 осуществляет сбор данных об операции человека. Человек – это работник, выполняющий задачу. Например, датчик 20 представляет собой датчик ускорения или датчик угловой скорости. Датчик 20 установлен на части тела человека и непрерывно осуществляет сбор данных об ускорении или угловой скорости этой части тела. Таким способом получают данные временного ряда, качающиеся изменений ускорения или угловой скорости в зависимости от времени.
Обучающее устройство 10 обучает первую модель. Первая модель оценивает период, в течение которого работник выполняет задачу, на основе данных временного ряда операции человека. Пользователь использует устройство 11 ввода для ввода данных в обучающее устройство 10. Устройство 12 отображения отображает данные, выведенные из обучающего устройства 10. Запоминающее устройство 13 хранит данные, относящиеся к обучению.The
На фиг.2A и 2B и фиг.4A-8B показаны схематичные временные диаграммы, иллюстрирующие обработку, выполняемую обучающим устройством согласно первому варианту осуществления. На фиг.3 показан пример таблицы задач.Figs. 2A and 2B and Figs. 4A-8B are schematic timing diagrams illustrating the processing performed by the teaching apparatus according to the first embodiment. Figure 3 shows an example of a task table.
Ниже, со ссылкой на фиг.2A-8B, будет подробно описан процесс обучения первой модели.Below, with reference to figa-8B, will be described in detail the learning process of the first model.
На фиг.2A показан пример данных временного ряда для ускорения, полученного датчиком 20. По горизонтальной оси отложено время. По вертикальной оси отложено значение ускорения. Пользователь присваивает метку задачи данным временного ряда, показанным на фиг.2А. В частности, метка указывает тип задачи, время, в которое задача началась, и время, в которое задача закончилась. Пользователь использует устройство 11 ввода для ввода метки в обучающее устройство 10. Как показано на фиг.2B период выполнения задачи обозначен меткой в данных временного ряда. В качестве примера, показанного на фиг.2B, метка L присваивается для того, чтобы указать, что выполняется первая задача. Обучающее устройство 10 принимает ввод метки и сохраняет ввод в запоминающее устройство 13.FIG. 2A shows an example of time series data for acceleration obtained by
Обучающее устройство 10 ассоциирует входную метку пользователя с данными и сохраняет результат в запоминающем устройстве 13. В данном документе данные временного ряда для обучения, которым присваивается метка, называются "данными первого временного ряда".The
Помимо метки, пользователь предварительно регистрирует задачи, которые может выполнять работник. Регистрационные данные хранятся в запоминающем устройстве 13. Например, в таблице задач зарегистрированы многочисленные задачи, как показано на фиг.3. При маркировке пользователь вводит идентификационную информацию для обозначения задачи, указанной на метке. Идентификационная информация представляет собой, например, идентификатор или название, зарегистрированное в таблице задач. ID или название, которое указывает первую задачу, вводится для метки L.In addition to the label, the user pre-registers the tasks that the worker can perform. The registration data is stored in the
Обучающее устройство 10 обращается к запоминающему устройству 13 и получает данные первого временного ряда и метку для обучения первой модели. Например, обучающее устройство 10 проверяет метку L, присвоенную данным первого временного ряда, показанным на фиг. 2B. Обучающее устройство 10 обращается к таблице задач, хранящейся в запоминающем устройстве 13, и определяет, имеется ли первая задача, обозначенная меткой L, в таблице задач. Когда первая задача имеется в таблице задач, обучающее устройство 10 ассоциирует данные, полученные при последующей обработке, с первой задачей и при необходимости сохраняет результат в запоминающем устройстве 13.The
После получения данных первого временного ряда и метки, чтобы уменьшить объем вычислений, обучающее устройство 10 может выполнить одно или два, выбранных из: уменьшения размеров и обозначения для данных временного ряда.After receiving the first time series data and a label to reduce the amount of computation, the
Например, данные первого временного ряда являются многомерными данными. Когда датчик 20 осуществляет сбор данных об ускорении по трем осям, данные первого временного ряда являются трехмерными данными. Когда используются несколько датчиков 20, данные первого временного ряда представляют собой данные шести или более измерений. Обучающее устройство 10 уменьшает размеры данных первого временного ряда. Например, обучающее устройство 10 вырабатывает одномерные данные первого временного ряда, уменьшая размеры путем анализа главных компонентов (PCA).For example, the first time series data is multidimensional data. When the
Обучающее устройство 10 может символизировать значения в каждый момент времени в данных временного ряда. На фиг.4A показаны данные временного ряда, собранные датчиком 20. На фиг.4B показаны данные временного ряда после понижающей дискретизации. Данные временного ряда, в которых значения изменяются в ступенчатой конфигурации с течением времени, получают путем понижающей дискретизации. Как показано на фиг.4C, обучающее устройство 10 классифицирует значения данных временного ряда каждый раз, используя несколько пороговых значений от b1 до b3. Значения в каждый момент времени данных временного ряда обозначаются символами в соответствии с результатом классификации. Таким способом получают строки символов, показанные на фиг. 4D. Строки символов, которые получаются посредством символизации, могут использоваться в качестве данных временного ряда.The
Обучающее устройство 10 извлекает шаблон, используемый в качестве признака из периода, указанного на метке в данных первого временного ряда. Шаблон представляет собой характеристический шаблон данных, появляющихся в данных первого временного ряда при выполнении задачи.The
На фиг.5A показан график, схематично иллюстрирующий данные первого временного ряда, уменьшенные до одного измерения. На фиг.5А по горизонтальной оси отложено время, и по вертикальной оси – значение. На фиг.5B показан пример шаблона-кандидата, вырезанного из периода метки L. Шаблон-кандидат представляет собой данные, которые используются в качестве шаблона-кандидата, который используется в конечном итоге.On figa shows a graph schematically illustrating the data of the first time series, reduced to one dimension. 5A, the horizontal axis is time and the vertical axis is value. FIG. 5B shows an example of a candidate pattern cut from the mark period L. The candidate pattern is data that is used as a candidate pattern that is ultimately used.
Например, пользователь предварительно устанавливает длину (период) шаблона-кандидата в соответствии с частотой дискретизации датчика 20, маневренности операции во время выполнения задачи и т.д. Желательно, чтобы длина шаблона-кандидата была значительно больше, чем частота дискретизации, с тем чтобы повысить точность анализа. Кроме того, желательно, чтобы длина шаблона-кандидата была короче по мере увеличения маневренности операции.For example, the user presets the length (period) of the candidate pattern according to the sampling rate of the
Обучающее устройство 10 может устанавливать длину вырезанного шаблона-кандидата на основе длины, которая предварительно установлена пользователем. Обучающее устройство 10 изменяет длину вырезанного шаблона-кандидата на заданную длину и вырезает множество шаблонов-кандидатов разной длины. Кроме того, обучающее устройство 10 может устанавливать длину шаблона-кандидата в соответствии с периодом метки. Обучающее устройство 10 устанавливает заданный процент периода метки в качестве длины шаблона-кандидата.The
Обучающее устройство 10 случайным образом вырезает шаблон-кандидат из периода метки. Кроме того, обучающее устройство 10 вырезает данные сравнения из данных первого временного ряда. Например, время начала вырезания данных первого сравнения устанавливается равным времени начала данных первого временного ряда. Длина данных сравнения равна длине шаблона-кандидата.The
Обучающее устройство 10 вычисляет подобие между шаблоном-кандидатом и данными сравнения. Расстояние можно использовать в качестве подобия. В качестве расстояния можно использовать расстояние с динамической деформацией времени (DTW). Когда данные первого временного ряда обозначены символами, в качестве расстояния можно использовать расстояние Левенштейна. Обучающее устройство 10 определяет подобие на основе величины, обратной расстоянию. Полученное подобие используется в качестве подобия между шаблоном-кандидатом и данными первого временного ряда для момента времени начала данных сравнения.The
Обучающее устройство 10 вырезает многочисленные наборы данных сравнения во время сдвига времени начала. Величина сдвига времени начала устанавливается заранее. Кроме того, величина сдвига времени начала может быть установлена на основе частоты дискретизации датчика 20, длины шаблона-кандидата или периода метки. Например, когда частота дискретизации датчика 20 составляет 60 Гц, обучающее устройство 10 вырезает наборы данных сравнения, сдвигая моменты времени начала на 1/60 секунды.The
Обучающее устройство 10 вычисляет подобие между шаблоном-кандидатом и многочисленных наборов данных сравнения. Многочисленные подобия используются как подобия между данными первого временного ряда и шаблонами-кандидатами для моментов времени начала многочисленных наборов данных сравнения. Таким способом получают данные подобия временного ряда. В дальнейшем данные подобия временного ряда называются "данными подобия". На фиг.5C показаны данные подобия между данными первого временного ряда, показанными на фиг.5A, и шаблоном-кандидатом, показанным на фиг.5B. В этом примере высокое сходство означает, что конфигурации данных аналогичны между данными первого временного ряда и шаблоном-кандидатом в этот момент времени.The
Далее обучающее устройство 10 случайным образом вырезает другой шаблон-кандидат из периода метки L. Аналогично обработке, описанной выше, обучающее устройство 10 вычисляет подобие между другим шаблоном-кандидатом и многочисленными наборами данных для сравнения. Таким способом получают данные подобия, относящиеся к другому шаблону-кандидату. На фиг.6A показана данные того же временного ряда, что и на фиг.5А. На фиг.6B показан другой шаблон-кандидат. На фиг.6C показаны данные подобия для шаблона-кандидата, показанного на фиг.6B.Next, the
Обучающее устройство 10 повторяет вырезание шаблона-кандидата и выработку данных подобия до тех пор, пока количество шаблонов-кандидатов в пределах периода метки L не достигнет заданного числа.The
Обучающее устройство 10 вычисляет оценку каждого шаблона-кандидата. Оценка показывает, насколько подходящим является шаблон-кандидат в качестве шаблона. Обучающее устройство 10 вычисляет оценку шаблона-кандидата на основе соответствующих данных подобия. Например, обучающее устройство 10 подсчитывает правильное число и неправильное число подходящего шаблона. Правильное число представляет собой количество раз, когда подобие превышает заданный порог, находится в пределах периода метки в данных подобия. Неправильное число представляет собой количество раз, когда время, в течение которого подобие превышает предварительно установленное пороговое значение, выходит за пределы периода метки в данных подобия. Обучающее устройство 10 увеличивает оценку по мере увеличения правильного числа. Шаблон-кандидат является более подходящим в качестве шаблона по мере увеличения оценки.The
На фиг.7A показаны данные подобия, показанные на фиг.5С. Имеются три момента, когда подобие превышает пороговое значение TH1 в данных подобия. Каждый раз подобие находится в пределах периода метки L. Отношение правильного числа к неправильному числу составляет 1:0. Обучающее устройство 10 устанавливает оценку шаблона-кандидата, показанного на фиг.5B, на "1". На фиг.7B показаны данные подобия, показанные на фиг.6С. Имеется девять раз, когда подобие превышает пороговое значение TH1 в данных подобия. Три раза подобие находятся в пределах периода метки L. Шесть раз подобие находятся за пределами периода метки L. Отношение правильного числа к неправильному числу составляет 0,33:0,67. Обучающее устройство 10 устанавливает оценку шаблона-кандидата, показанного на фиг.6B, на "0,33". В ходе сравнения оценок определяется, что шаблон-кандидат, показанный на фиг.5B, больше подходит в качестве шаблона, чем шаблон-кандидат, показанный на фиг.6B.Fig. 7A shows the similarity data shown in Fig. 5C. There are three times when the similarity exceeds the threshold value TH1 in the similarity data. Each time the similarity is within the mark period L. The ratio of correct number to incorrect number is 1:0. The
Обучающее устройство 10 выбирает по меньшей мере один из множества шаблонов-кандидатов в качестве шаблона на основе оценок. В случае, когда целесообразность в качестве шаблона увеличивается по мере увеличения оценки шаблона-кандидата, обучающее устройство 10 выбирает не менее одного шаблона-кандидата в порядке, начиная от наивысшей оценки. Обучающее устройство 10 вырабатывает временные данные, используя выбранный шаблон. Временные данные указывают моменты времени (время), когда шаблон появляется в данных первого временного ряда.The
Например, шаблон-кандидат, показанный на фиг.5B, выбран в качестве шаблона. На фиг.8A показаны данные подобия, показанные на фиг.5С. Обучающее устройство 10 обозначает моменты времени, когда подобие превышает заданный порог TH2 в данных подобия. Порог TH2 может быть равен порогу TH1. Считается, что шаблон появляется в момент, когда подобие превышает порог TH2. Обучающее устройство 10 присваивает числовое значение, превышающее 0, моментам времени, в которые подобие превышает заданный порог TH2, и присваивает 0 остальным моментам времени. Как показано на фиг.8B, временные данные для временного интервала, в котором шаблон, показанный на фиг.5B, создается таким образом. Когда выбрано несколько шаблонов, временные данные вырабатываются для каждого из шаблонов.For example, the candidate template shown in FIG. 5B is selected as the template. Fig. 8A shows the similarity data shown in Fig. 5C. The
Обучающее устройство 10 обучает первую модель, используя метку, данные первого временного ряда и временные данные. Первая модель оценивает период выполнения задачи на основе данных временного ряда работы человека.The
Желательно, чтобы первая модель включала в себя нейронную сеть. Используя нейронную сеть, можно с большей точностью оценить период выполнения задачи. Конфигурация нейронной сети является произвольной. Теперь будет описан пример предпочтительной нейронной сети согласно первому варианту осуществления.It is desirable that the first model includes a neural network. Using a neural network, it is possible to estimate the period of task execution with greater accuracy. The neural network configuration is arbitrary. An example of a preferred neural network according to the first embodiment will now be described.
На фиг.9 показано схематичное представление нейронной сети, включенной в первую модель.Figure 9 shows a schematic representation of the neural network included in the first model.
Обучающее устройство 10 вырабатывает данные массива путем двумерного размещения значений, включенных в данные временных рядов, в М строках × N столбцах. Обучающее устройство 10 может вырабатывать данные трехмерного массива из M строк N столбцов × C карт путем наложения двумерных данных из M строк × N столбцов в качестве C карт признаков. Например, обучающее устройство 10 размещает упорядоченные по времени значения данных временного ряда как данные из M строк × N столбцов × C карт и вводит данные в нейронную сеть 90. Теперь будет описан пример, в котором обучающее устройство 10 размещает значения одномерных данных временного ряда как данные 1 строки × N столбцов × 1 слоя.The
Данные входного массива вводятся в сверточный слой 91a и слой 92a внимания в блоке 90a. Сверточный слой 91a выводит данные массива F карт из данных массива C-карт. В дополнение к массиву данных F карт слой 92a внимания выводит внимание A карт. Внимание означает распределение весов векторов и указывает на область данных входного массива, на которую следует обратить внимание.The input array data is input to the
Данные массива F карт +A карт вводятся в слой 93a операции взятия максимума; и данные массива выводятся из 1 строки × (N/2) столбцов × F карт. Аналогично блоку 90a, данные массива, которые выводятся, вводятся в сверточный слой 91b и слой 92b внимания блока 90b. Данные массива из 1 строки × (N/2) столбцов × (2F карт + A карт) выводятся из блока 90b. Данные массива, которые выводятся из блока 90b, вводятся в сверточный слой 91c и слой 92c внимания блока 90c через слой 93b операция взятия максимума; и данные массива выводятся из 1 строки × (N/4) столбцов × (4F карт + A карт). Данные массива, которые выводятся из блока 90c, вводятся в сверточный слой 91d и слой 92d внимания блока 90d через слой 93c операция взятия максимума; и данные массива выводятся из 1 строки × (N/8) столбцов × (8F карт+A карт).The data of the map array F+A maps are input to the maximizing
Данные массива, которые выводятся из блока 90d, вводятся в слой 94c повышающей дискретизации и подвергаются повышающей дискретизации до данных массива из 1 строки × (N/4) столбцов × 4F карт. Данные массива, которые выводятся из блока 90c, копируются и объединяются в блок 90e. Данные массива из блока 90c и данные массива из блока 90d накладываются и вводятся в блок 90e. В блоке 90e данные массива вводятся в сверточный слой 91e и слой 92e внимания; и данные массива выводятся из 1 строки × (N/4) столбцов × (4F карт + A карт).The array data that is output from
Аналогично блоку 90e, данные массива из блока 90e и данные массива из блока 90b вводятся в блок 90f через слой 94b повышающей дискретизации. Данные массива вводятся в сверточный слой 91f и слой 92f внимания; и данные массива выводятся из 1 строки × (N/2) столбцов × (2F карт + A карт). Данные массива из блока 90f и данные массива из блока 90a вводятся в блок 90g через слой 94a повышающей дискретизации. Данные массива вводятся в сверточный слой 91g, слой 92g внимания и слой 95 многопеременной логистической функции; и данные массива выводятся из 1 строки × N столбцов × NL карт.Similar to block 90e, array data from
Нейронная сеть 90 выводит результат оценки задачи для введенных данных массива. Например, когда данные массива, которые выводятся, находятся в первом состоянии, это означает, что операция, соответствующая входным данным массива, выполняет отмеченную задачу. Когда выходные данные массива находятся во втором состоянии, это означает, что операция, соответствующая входным данным массива, выполняет операцию, отличную от отмеченной задачи.The
Обучающее устройство 10 обучает нейронную сеть 90, используя данные первого временного ряда в качестве входных данных, и используя метку в качестве обучающих данных. Когда время вводимых данных массива находится в пределах периода метки, данные массива, которые указывают то, что задача выполняется, могут быть добавлены к обучающим данным. Когда время ввода данных массива выходит за пределы периода метки, данные массива, которые указывают, что выполняется что-то иное, чем задача, могут быть добавлены к обучающим данным. Функция оценки при обучении включает в себя термин, который минимизирует разницу между данными о времени появления шаблона и значением, которое указывает появление шаблона в слое внимания. Как описано выше, значения, которые включены во временные данные, которые размещены в M строках × N столбцах × C слоях карты.The
Частота появления шаблона в отмеченной задаче является высокой. Временные данные указывают моменты времени появления шаблона. Другими словами, временные данные указывают области, которым следует уделить внимание в данных массива. Первую модель можно эффективно обучить, используя временные данные для оценки обученной первой модели. Обучающее устройство 10 сохраняет обученную первую модель в запоминающем устройстве 13.The frequency of occurrence of the pattern in the marked task is high. Temporal data indicates the timing of the appearance of the pattern. In other words, temporary data indicates areas that should be given attention in the array data. The first model can be trained efficiently by using time data to evaluate the trained first model. The
Выше был описан пример, в котором первая модель имеет так называемую структуру U-Net. Первая модель может включать в себя другую структуру (например, Seg-Net), которая включает в себя сверточные слои и слои внимания. Первая модель может эффективно извлекать признак из данных временного ряда благодаря сверточным слоям. Точность оценки по первой модели может быть увеличена с помощью слоя внимания, указывающего на области, которым следует уделить внимание.An example has been described above in which the first model has a so-called U-Net structure. The first model may include another framework (eg Seg-Net) that includes convolutional and attentional layers. The first model can efficiently extract a feature from time series data thanks to convolutional layers. The estimation accuracy of the first model can be increased by using an attention layer indicating areas that should be given attention.
На фиг.10-12 показаны схематичные изображения, иллюстрирующие данные массива, выработанные из данных временного ряда.10-12 are schematic diagrams illustrating array data generated from time series data.
Обучающее устройство 10 вырабатывает данные AD1 массива, размещая M-мерные данные временных рядов, например, в M столбцах × N строках, как показано на фиг.10. В примере на фиг.10 данные (значения) каждого измерения расположены во временном порядке в направлении строк. Данные измерений с первого по M размещены в направлении столбцов. Например, значение V1t1 представляет собой значение первого измерения данных временного ряда в момент времени t1. Значение VMtN представляет собой значение M-го измерения данных временного ряда в момент времени tN. Размер N является произвольным. Например, N устанавливается пользователем заранее.The
В массиве AD2 данных, показанном на фиг.11 данные M-мерного временного ряда размещены в 2M столбцах. На верхней стороне в направлении столбцов размещены данные моментов времени t1-tN от первого до M-го измерений. На нижней стороне в направлении столбцов размещены данные моментов времени t(N+1) - t2N от первого до M-го измерений. Таким образом, количество наборов данных, размещенных в одном направлении, может быть установлено независимо от количества измерений данных временного ряда.In the data array AD2 shown in FIG. 11, M-dimensional time series data is arranged in 2M columns. On the upper side, in the direction of the columns, the data of the time points t1-tN from the first to the M-th measurements are placed. On the lower side, in the direction of the columns, there are data of time points t(N+1) - t2N from the first to the M-th measurements. Thus, the number of datasets placed in one direction can be set regardless of the number of dimensions of the time series data.
В данных AD3 массива, показанных на фиг.12, M-мерные данные временных рядов размещены в M столбцах × N строках и наложены на C-карты. Данные моментов времени t1 - tN от первого до M-го измерений расположены на первой карте. Данные моментов времени t(N+1) - t2N от первого до M-го измерений размещены во второй карте. Данные моментов времени t((C-1)N+1) - tCN от первого до M-го измерений размещены в C-й карте. Таким образом, тензор размером М столбцов × N строк × C карт может быть получен путем наложения упорядоченных по времени данных.In the array data AD3 shown in FIG. 12, M-dimensional time series data is arranged in M columns×N rows and superimposed on C-maps. Data of time points t1 - tN from the first to the M-th measurements are located on the first map. The data of time points t(N+1) - t2N from the first to the M-th measurements are placed in the second map. Time point data t((C-1)N+1) - tCN from the first to the M-th measurements are placed in the C-th map. Thus, a tensor of size M columns × N rows × C maps can be obtained by overlaying time-ordered data.
Аналогично данным временного ряда, обучающее устройство 10 двумерно упорядочивает временные данные с использованием способа компоновки, описанного выше.Similar to the time series data, the
На фиг.13 показана блок-схема, иллюстрирующая способ обучения, соответствующий системе обучения согласно первому варианту осуществления.Fig. 13 is a flowchart illustrating a teaching method corresponding to the teaching system according to the first embodiment.
Датчик 20 осуществляет сбор данных об операции человека (этап S1). Например, данные представляют собой данные об ускорении; и датчик 20 осуществляет сбор данных временного ряда. Пользователь присваивает метку периода задачи данным, используемым в обучении (этап S2). Обучающее устройство 10 получает данные первого временного ряда для обучения и метку (этап S3). Обучающее устройство 10 вырезает шаблон-кандидат из периода, указанного меткой в данных первого временного ряда (этап S4). Обучающее устройство 10 использует шаблон-кандидат для выработки данных подобия (этап S5).The
Обучающее устройство 10 определяет, достигло или нет количество шаблонов-кандидатов, которые вырезаются, заданного количества (этап S6). Когда количество шаблонов-кандидатов меньше заданного количества, обучающее устройство 10 повторно выполняет этап S4. Когда количество шаблонов-кандидатов не меньше заданного количества, обучающее устройство 10 выбирает шаблон из множества шаблонов-кандидатов (этап S7). Обучающее устройство 10 вырабатывает временные данные для выбранного шаблона (этап S8). Обучающее устройство 10 обучает первую модель, используя метку, данные первого временного ряда и временные данные (этап S9). Обучающее устройство 10 сохраняет обученную первую модель в запоминающем устройстве 13 (этап S10).The
Ниже будут описаны преимущества первого варианта осуществления.The advantages of the first embodiment will be described below.
Для этой проблемы обучающее устройство 10 согласно первому варианту осуществления извлекает шаблон из данных первого временного ряда, которым присваивается метка. Затем обучающее устройство 10 использует шаблон для выработки временных данных и обучает первую модель, используя метку, данные первого временного ряда и временные данные. Используя временные данные, в первой модели можно указать время, на которое следует обратить внимание для оценки задачи в данных временного ряда. Даже когда обучающие данные не являются многочисленными, за счет этого можно значительно повысить точность первой модели. По сравнению с тем, когда шаблон и временные данные не используются, обучающие данные, можно уменьшить необходимые для обучения первой модели; и можно уменьшить нагрузку на пользователя.For this problem, the
Согласно первому варианту осуществления пользователю при маркировке достаточно ввести только время начала и время окончания задачи и тип задачи. После маркировки обучающее устройство 10 автоматически извлекает шаблон и обучает первую модель. Таким образом, первую модель может легко обучить даже пользователь, не обладающий экспертными знаниями в области маркировки.According to the first embodiment, the user only needs to enter the start time and end time of the task and the task type when marking. After marking, the
Выше был описан пример, в котором первая модель оценивает период одного типа задачи в данных временного ряда. Первую модель можно обучить оценивать периоды нескольких типов задач в данных временного ряда. В таком случае обучающее устройство 10 выполняет извлечение шаблона, выработку временных данных и обучение первой модели для меток многочисленных типов задач.An example has been described above in which the first model estimates the period of one task type in time series data. The first model can be trained to estimate the periods of several types of tasks in the time series data. In such a case, the
В частности, пользователь присваивает первую метку первой задачи и вторую метку второй задачи данным временного ряда. Первая метка указывает время начала первой задачи, время окончания первой задачи и то, что выполненная задача является первой задачей. Вторая метка указывает время начала второй задачи, время окончания второй задачи и то, что выполненная задача является второй задачей. Обучающее устройство 10 получает данные первого временного ряда, которым присвоены первая и вторая метки. Обучающее устройство 10 извлекает первый шаблон из периода, указанного первой меткой в данных первого временного ряда. Обучающее устройство 10 извлекает второй шаблон из периода, указанного второй меткой в данных первого временного ряда.In particular, the user assigns the first label of the first task and the second label of the second task to the time series data. The first label indicates the start time of the first task, the end time of the first task, and that the completed task is the first task. The second label indicates the start time of the second task, the end time of the second task, and that the completed task is the second task. The
Обучающее устройство 10 вырабатывает первые временные данные о времени, в течение которого первый шаблон появляется в данных первого временного ряда. Обучающее устройство 10 вырабатывает вторые временные данные о времени, в течение которого второй шаблон появляется в данных первого временного ряда. Обучающее устройство 10 обучает слои внимания, используя первую метку и первые временные данные. Обучающее устройство 10 обучает слои внимания, используя вторую метку и вторые временные данные. Обучающее устройство 10 обучает первую модель, используя первую метку, вторую метку и данные первого временного ряда.The
МодификацияModification
Обучающее устройство 10 может обучать первую модель, сосредотачиваясь только на данных временного ряда части измерений, включенных в многомерные данные временных рядов. Например, датчик 20 представляет собой датчик изображения, включенный в устройство формирования изображения. Датчик 20 непрерывно собирает изображения операций человека. Устройство формирования изображения сохраняет полученные видеоизображения в запоминающем устройстве 13.The
Обучающее устройство 10 определяет позу человека на изображении. Поза представлена положениями частей и суставов человека. OpenPose или что-то подобное можно использовать для определения позы. Часть относится к одной части тела, такой как глаз, ухо, нос, голова, надплечье, плечо, предплечье, кисть, грудь, живот, бедро, голень, стопа и т.д. Сустав относится к подвижной соединительной части, такой как шея, локоть, запястье, поясница, колено, лодыжка и т.п., которая связывает по меньшей мере участок частей друг с другом.The
На фиг.14A показан пример изображения. На фиг.14B показан пример результата обнаружения позы для фиг.14А.Fig. 14A shows an example image. FIG. 14B shows an example of a pose detection result for FIG. 14A.
Обучающее устройство 10 получает видеоизображение путем доступа к памяти устройства 13. Как показано на фиг.14A, обучающее устройство 10 получает статическое изображение человека 96 из видеоизображения. Обучающее устройство 10 определяет позу человека на изображении. Например, как показано на фиг.14B, обнаруживаются положения головы 97a, левого плеча 97b, левого локтя 97c, левого запястья 97d, левой руки 97e, правого плеча 97f, правого локтя 97g, правого запястья 97h, правой руки 97i и позвоночника 97j человека 96.The
Обучающее устройство 10 последовательно выполняет обнаружение позы для изображений в каждый момент видеоизображения. Таким способом получают данные временного ряда положений деталей и положений суставов в каждый момент времени. В примере, показанном на фиг.14B, положение в направлении X и положение в направлении Y собираются как двумерные данные для каждой части тела, такой как голова 97a, левое плечо 97b, левый локоть 97c, левое запястье 97d, левая рука 97e, правое плечо 97f, правый локоть 97g, правое запястье 97h, правая рука 97i и позвоночник 97j; в целом получаются данные 20-мерного временного ряда.The
Обучающее устройство 10 предписывает устройству 12 отображения отображать видеоизображение, которое отображается устройством формирования изображения. Пользователь использует устройство 11 ввода для ввода меток в обучающее устройство 10. В частности, пользователь вводит время начала и время окончания задачи и идентификационную информацию задачи при проверке отображаемого видеоизображения.The
Данные m-мерного временного ряда, в которых изменение является большим в период, указанный меткой, извлекаются из данных n-мерного временного ряда целиком с помощью обучающего устройства 10. m и n являются целыми числами, и m меньше n. Например, обучающее устройство 10 вычисляет среднее значение и дисперсию всех данных временного ряда в периоде метки. Обучающее устройство 10 извлекает часть данных временного ряда, в которой дисперсии является большой. Например, в качестве дисперсии используется отклонение или среднеквадратическое отклонение.The m-dimensional time series data in which the change is large in the period indicated by the label is extracted from the entire n-dimensional time series data by the
Обучающее устройство 10 извлекает шаблон в течение периода, указанного на метке в извлеченных данных первого временного ряда. Шаблон извлекается из данных временного ряда каждого измерения. Другими словами, m-мерный шаблон извлекается из m-мерных данных временного ряда. Обучающее устройство 10 вырабатывает m наборов данных подобия и m наборов временных данных с использованием m-мерного шаблона и m-мерных данных временного ряда. Обучающее устройство 10 может вырабатывать m-мерные данные подобия и m-мерные временные данные. После этого, аналогично обработке, описанной выше, первая модель обучается с использованием данных первого временного ряда и временных данных.The
На фиг.15A и 15B показаны схематичные изображения, иллюстрирующие состояния задачи.FIGS. 15A and 15B show schematic images illustrating task states.
В этом примере извлечение части данных временного ряда, в которой изменение является большим, соответствует сосредоточению внимания на части частей, в которой изменение является большим. Например, на фиг.15А, человек маркирует упакованное изделие. Затем, как показано на фиг.15B, человек берет устройство для считывания штрих-кода, расположенное сбоку, и считывает штрих-код с наклеенной этикетки. В частности, в это время сильно меняются положения правой руки, правого запястья, правого предплечья и правого локтя. Извлечение части данных временного ряда обучающим устройством 10 соответствует извлечению изменений положений правой руки, правого запястья, правого предплечья и правого локтя из изменений положений частей и суставов.In this example, extracting the part of the time series data in which the change is large corresponds to focusing on the part of the parts in which the change is large. For example, in FIG. 15A, a person labels a packaged product. Then, as shown in FIG. 15B, the person takes the barcode reader located on the side and reads the barcode from the attached label. In particular, the positions of the right hand, right wrist, right forearm and right elbow change greatly at this time. The extraction of a portion of the time series data by the
На фиг.16 показана блок-схема, иллюстрирующая способ обучения, соответствующий системе обучения согласно модификации первого варианта осуществления.Fig. 16 is a flowchart illustrating the teaching method corresponding to the teaching system according to the modification of the first embodiment.
После этапа S3 обучающее устройство 10 извлекает данные временного ряда для части измерений из многомерных данных первого временного ряда (этап S12). После этого, аналогично блок-схеме, показанной на фиг.13, обучающее устройство 10 выполняет этап S4 и последующие этапы для данных первого временного ряда, из которых извлекается часть размеров.After step S3, the
Согласно модификации задача, которая включает в себя характерную операцию, такую как обозначенная часть тела, сильно перемещающаяся в указанном направлении, может быть оценена с более высокой точностью.According to the modification, a task that includes a characteristic operation such as a designated body part moving strongly in a specified direction can be estimated with higher accuracy.
При размещении данных временного ряда, полученных из позы человека, для ввода в первую модель, предпочтительно, чтобы данные соседних частей или суставов были соседними в массиве данных. Например, данные для правой руки, правого голеностопного сустава, правого предплечья, правого локтя и правого плеча извлекаются как данные с большим изменением. Извлеченные данные первого временного ряда представляют собой 10-мерные данные о положениях в направлении X и Y этих частей и суставов. Когда данные расположены так, как показано на фиг.10, предпочтительно, чтобы соседние части и суставы были соседними в массиве данных, как указано ниже. Значения V1 и V2 представляют собой, соответственно, положения правой руки в направлении X и Y. Значения V3 и V4 представляют собой, соответственно, положения в направлении X и Y правого запястья. Значения V5 и V6 представляют собой, соответственно, положения правого предплечья в направлении X и Y. Значения V7 и V8 представляют собой, соответственно, положения правого локтя в направлении X и Y. Значения V9 и V10 представляют собой, соответственно, положения правого плеча в направлении X и Y. Благодаря расположению данных соседних деталей или суставов, которые должны быть соседними в данных массива, легче извлечь признак из данных массива; и можно увеличить точность оценки по первой модели.When placing time series data derived from a human pose for input into the first model, it is preferable that adjacent parts or joints data be adjacent in the dataset. For example, data for the right hand, right ankle, right forearm, right elbow, and right shoulder are extracted as data with a large change. The extracted data of the first time series is 10-dimensional data about the positions in the X and Y direction of these parts and joints. When the data is arranged as shown in Fig. 10, it is preferable that adjacent parts and joints are adjacent in the data array, as indicated below. The values V1 and V2 represent respectively the positions of the right hand in the X and Y directions. The values V3 and V4 represent the positions in the X and Y directions of the right wrist, respectively. Values V5 and V6 represent, respectively, the positions of the right forearm in the X and Y direction. Values V7 and V8 represent, respectively, the positions of the right elbow in the X and Y direction. Values V9 and V10 represent, respectively, the positions of the right shoulder in the direction X and Y. By arranging adjacent part data or joints that should be adjacent in the array data, it is easier to extract a feature from the array data; and it is possible to increase the accuracy of the estimate by the first model.
Второй вариант осуществленияSecond Embodiment
На фиг.17 показана упрощенная блок-схема, иллюстрирующая систему анализа согласно второму варианту осуществления.Fig. 17 is a simplified block diagram illustrating the analysis system according to the second embodiment.
По сравнению с обучающей системой 1, система 2 анализа согласно второму варианту осуществления дополнительно включает в себя анализирующее устройство 30.Compared with the
Датчик 20 осуществляет сбор данных (например, данные ускорения или изображение) операции объекта анализа. Анализирующее устройство 30 обращается к запоминающему устройству 13 и получает данные об операции и первой модели, обученной обучающим устройством 10. Данные, которые собираются датчиком 20, используются анализирующим устройством 30 в качестве данных временного ряда для ввода в первую модель. Кроме того, анализирующее устройство 30 вырабатывает данные временного ряда на основе данных, собранных датчиком 20. В данном документе данные временного ряда для анализа, которые вводятся в первую модель, называются "данными второго временного ряда".The
Анализирующее устройство 30 вводит данные второго временного ряда в первую модель. Анализирующее устройство 30 получает результат оценки первой модели в качестве результата анализа данных второго временного ряда. Результат анализа указывает период, в течение которого выполняется задача, в данных второго временного ряда. Анализирующее устройство 30 сохраняет результат анализа в запоминающем устройстве 13.The
Используя первую модель, обученную обучающим устройством 10 в ходе анализа, можно увеличить точность анализа. Например, даже для работы, в котором последовательность задачи, продолжительность задачи и т.д. не определены, период выполнения задачи может быть проанализирован с более высокой точностью на основе данных временного ряда операции.By using the first model trained by the
На фиг.18 и 19 показан пример выходного результата системы анализа согласно второму варианту осуществления.18 and 19 show an example of the output of the analysis system according to the second embodiment.
В данном документе описан пример, в котором работник выполняет комплектование, замену этикеток, сборку коробок, упаковку в коробки, закрытие коробок, маркировку, считывание этикеток и размещение на тележке на рабочем месте логистики.This document describes an example in which a worker performs picking, relabeling, box assembly, box packing, box closing, labeling, label reading, and cart placement at a logistics work station.
Анализирующее устройство 30 отображает результат анализа на экране устройства 12 отображения. Например, как показано на фиг.18, анализирующее устройство 30 отображает период каждой задачи в данных второго временного ряда вместе с информацией о данных второго временного ряда и задачах. В примере названия задач отображаются как информация о задачах.The analyzing
Кроме того, когда период выполнения задачи оценивается с помощью первой модели, анализирующее устройство 30 получает тип задачи, которая выполняется, время начала задачи и время окончания задачи. Как показано на фиг.19, выполняемые задачи упорядочены по времени и отображаются анализирующим устройством 30. В это время, как показано на фиг.19, анализирующее устройство 30 может отображать время, когда начинается работа (job), которая включает в себя одну группу задач. Анализирующее устройство 30 может отображать задачи одного и того же типа в одной и той же форме и может отображать задачи разных типов во взаимно разных формах.In addition, when the task execution period is estimated using the first model, the
Начало работы определяется на основе одного, двух или более случаев распознавания работника на изображении, перемещения работника в заданную позицию на изображении или появления некоторого шаблона. Окончание работы определяется на основе одного, двух или более случаев отсутствия работника на изображении, перемещения работника за пределы изображения, перемещения работника в заданную позицию на изображении или истечения заданного количества времени.The start of work is determined based on one, two or more cases of recognition of a worker in the image, moving the worker to a given position in the image, or the appearance of some pattern. The end of a job is determined based on one, two, or more instances where the worker is not in the image, the worker moves out of the image, the worker moves to a given position in the image, or a given amount of time elapses.
В примере, показанном на фиг.19 операция, отличная от задачи, обозначена как "другая" в данных временного ряда. Например, анализирующее устройство 30 может вычислять подобие между данными второго временного ряда и шаблоном и может вырабатывать данные подобия, относящиеся к данным второго временного ряда. Анализирующее устройство 30 использует данные подобия для выработки временных данных, касающихся времени появления шаблона во вторых данных временного ряда. Когда шаблон не появляется в заданный период, анализирующее устройство 30 определяет, что задача завершена. Анализирующее устройство 30 определяет, что операция, отличная от задачи, существует по меньшей мере в части периода от последнего появления шаблона до следующего появления шаблона. Операция "Другая" соответствует операции, отличной от задачи, зарегистрированной в таблице задач, показанной на фиг.3.In the example shown in FIG. 19, an operation other than a task is labeled "other" in the time series data. For example, the
Анализирующее устройство 30 может извлекать точку изменения состояния, включенную в данные временного ряда. Например, для извлечения точки изменения состояния используется скрытая марковская модель для иерархического процесса Дирихле (HDP-HMM), алгоритм k-средних, алгоритм x-средних или спектральная кластеризация. Анализирующее устройство 30 определяет, что операция, отличная от задачи, существует от одной точки изменения после появления последнего шаблона до другой точки изменения до появления следующего шаблона.The
Анализирующее устройство 30 может определять операцию, отличную от задачи, на основе как времени появления шаблона во втором временном ряду, так и точки изменения состояния в данных второго временного ряда. Например, анализирующее устройство 30 определяет, что задача закончилась в точке изменения сразу после последнего появления шаблона. Анализирующее устройство 30 определяет, что задача началась в точке изменения непосредственно перед следующим появлением шаблона.The
Благодаря отображению результата анализа пользователь может легко определить, какую задачу выполняет работник, в какой последовательности и приблизительно сколько времени.By displaying the result of the analysis, the user can easily determine which task the employee is performing, in what sequence, and approximately how long.
На фиг.20 показана блок-схема, иллюстрирующая способ анализа, соответствующий системе анализа согласно второму варианту осуществления.Fig. 20 is a flowchart illustrating an analysis method according to the analysis system according to the second embodiment.
Датчик 20 осуществляет сбор данных операции человека, касающиеся объекта анализа (этап S21). Анализирующее устройство 30 получает первую модель, которая обучается обучающим устройством 10 (этап S22). Анализирующее устройство 30 получает данные второго временного ряда, которые вводятся в первую модель (этап S23). Анализирующее устройство 30 вводит данные второго временного ряда в первую модель и выполняет анализ (этап S24). Анализирующее устройство 30 выводит результат анализа (этап S25).The
На фиг.21 показана упрощенная блок-схема, иллюстрирующая конфигурацию аппаратных средств.21 is a simplified block diagram illustrating a hardware configuration.
Например, обучающее устройство 10 представляет собой компьютер и включает в себя постоянное запоминающее устройство (ROM) 10a, оперативное запоминающее устройство (RAM) 10b, центральный процессор (CPU) 10c и жесткий диск (HDD) 10d.For example, the
ROM 10a хранит программы, управляющие работой компьютера. В ROM 10а хранятся программы, необходимые для того, чтобы компьютер выполнял описанную выше обработку.
RAM 10b функционирует как область памяти, куда загружаются программы, хранящиеся в ROM 10a. CPU 10c включает в себя схему обработки. CPU 10c считывает программу управления, хранящуюся в ROM 10a, и управляет работой компьютера в соответствии с программой управления. CPU 10c загружает различные данные, полученные в результате работы компьютера, в RAM 10b. На HDD 10d хранятся данные, необходимые для обработки обучающим устройством 10, и данные, полученные в результате обработки. HDD 10d может функционировать как запоминающее устройство 13.
Вместо HDD 10d обучающее устройство 10 может включать в себя встроенную мультимедийную карту (eMMC), твердотельный накопитель (SSD), твердотельный гибридный накопитель (SSHD) и т.д.Instead of the
Устройство 11 ввода включает в себя, например, по меньшей мере одно, выбранное из мыши, клавиатуры, микрофона (аудиовхода) и сенсорной панели. Например, устройство 12 отображения включает в себя по меньшей мере одно, выбранное из монитора и проектора. Можно такое использовать устройство, такое как сенсорная панель, которая функционирует как устройство 11 ввода, так и устройство 12 отображения.The
Аппаратная конфигурация, аналогичная конфигурации обучающего устройства 10, применима к аппаратной конфигурации анализирующего устройства 30. Один компьютер может функционировать как обучающее устройство 10 и анализирующее устройство 30. Кроме того, процесс обработки и функции обучающего устройства 10 и анализирующего устройства 30 могут быть реализованы путем взаимодействия между собой большого количества компьютеров.A hardware configuration similar to that of the
Согласно обучающему устройству, системе обучения или способу обучения, описанному выше, точность первой модели может быть увеличена при использовании меньшего количества обучающих данных. Используя анализирующее устройство, систему анализа или способ анализа, можно повысить точность анализа путем анализа данных временного ряда с использованием обученной первой модели. Аналогичные эффекты могут быть также получены при использовании программы, предписывающей компьютеру функционировать как обучающее устройство или анализирующее устройство.According to the training device, training system, or training method described above, the accuracy of the first model can be increased by using less training data. Using an analysis device, an analysis system, or an analysis method, it is possible to improve the accuracy of the analysis by analyzing the time series data using the trained first model. Similar effects can also be obtained by using a program that causes the computer to function as a learning device or an analysis device.
Результаты обработки различных данных, описанных выше, могут храниться на невременном носителе информации (невременном машиночитаемом носителе информации), который может считывать компьютер, например, магнитный диск (гибкий диск, жесткий диск, и т.д.), оптический диск (CD-ROM, CD-R, CD-RW, DVD-ROM, DVD±R, DVD±RW и т.д.), полупроводниковую память и т.д., в виде программы, которая может исполняться компьютером.The results of processing the various data described above may be stored in a non-transitory storage medium (non-transitory computer-readable storage medium) that can be read by a computer, such as a magnetic disk (floppy disk, hard disk, etc.), optical disk (CD-ROM , CD-R, CD-RW, DVD-ROM, DVD±R, DVD±RW, etc.), semiconductor memory, etc., in the form of a program that can be executed by a computer.
Например, данные, которые записаны на носителе информации могут быть считаны компьютером (или встроенной системой). Формат записи (формат хранения) носителя информации является произвольным. Например, компьютер считывает программу с носителя информации предписывает CPU исполнять инструкции, представленные в программе, на основе программы. Получение (или считывание) программы компьютером может быть выполнено через сеть.For example, data that is recorded on a storage medium can be read by a computer (or an embedded system). The recording format (storage format) of the storage medium is arbitrary. For example, the computer reads the program from the storage medium, causes the CPU to execute the instructions provided in the program based on the program. The receipt (or reading) of the program by the computer may be performed via a network.
Хотя выше были описаны конкретные варианты осуществления, эти варианты осуществления были представлены только в качестве примера и не предназначены для ограничения объема изобретения. Фактически, описанные в данном документе новые варианты осуществления могут быть воплощены в множестве других форм; более того, различные исключения, замены и изменения в форме вариантов осуществления, описанных в данном документе, могут быть сделаны без отступления от сущности изобретения. Прилагаемая формула изобретения и ее эквиваленты предназначены для охвата таких форм или модификаций, которые подпадают под объем и сущность изобретения. Вышеупомянутые варианты осуществления могут применяться в сочетании друг с другом.Although specific embodiments have been described above, these embodiments have been presented by way of example only and are not intended to limit the scope of the invention. In fact, the novel embodiments described herein may be embodied in a variety of other forms; moreover, various exceptions, substitutions, and changes in the form of the embodiments described herein may be made without departing from the spirit of the invention. The appended claims and their equivalents are intended to cover such forms or modifications as fall within the scope and spirit of the invention. The above embodiments may be used in combination with each other.
Claims (97)
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-202106 | 2020-12-04 |
Publications (1)
Publication Number | Publication Date |
---|---|
RU2784420C1 true RU2784420C1 (en) | 2022-11-24 |
Family
ID=
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8429103B1 (en) * | 2012-06-22 | 2013-04-23 | Google Inc. | Native machine learning service for user adaptation on a mobile platform |
WO2019164672A1 (en) * | 2018-02-23 | 2019-08-29 | Walmart Apollo, Llc | Systems and methods for managing associate delivery |
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8429103B1 (en) * | 2012-06-22 | 2013-04-23 | Google Inc. | Native machine learning service for user adaptation on a mobile platform |
WO2019164672A1 (en) * | 2018-02-23 | 2019-08-29 | Walmart Apollo, Llc | Systems and methods for managing associate delivery |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Rui et al. | Segmenting visual actions based on spatio-temporal motion patterns | |
Avola et al. | Deep temporal analysis for non-acted body affect recognition | |
Rahmati et al. | Video-based early cerebral palsy prediction using motion segmentation | |
US11759126B2 (en) | Scoring metric for physical activity performance and tracking | |
Parra-Dominguez et al. | 3D human motion analysis to detect abnormal events on stairs | |
Hsu et al. | Deep hierarchical network with line segment learning for quantitative analysis of facial palsy | |
US11663845B2 (en) | Method and apparatus for privacy protected assessment of movement disorder video recordings | |
CN111460976B (en) | Data-driven real-time hand motion assessment method based on RGB video | |
Panetta et al. | Software architecture for automating cognitive science eye-tracking data analysis and object annotation | |
Yurtsever et al. | BabyPose: Real-time decoding of baby’s non-verbal communication using 2D video-based pose estimation | |
CN110414306A (en) | A kind of Infants With Abnormal behavioral value method based on meanshift algorithm and SVM | |
CN115316982A (en) | Muscle deformation intelligent detection system and method based on multi-mode sensing | |
CN112396014B (en) | Visual-touch fusion gait recognition method based on feature fusion | |
Suzuki et al. | Skeleton-based explainable human activity recognition for child gross-motor assessment | |
RU2784420C1 (en) | Training apparatus, analysing apparatus, training method and information medium | |
CN111274854B (en) | Human body action recognition method and vision enhancement processing system | |
Switonski et al. | Dynamic time warping in gait classification of motion capture data | |
EP4009288A1 (en) | Training device, analysis device, training method, and storage medium | |
WO2019207714A1 (en) | Motion estimation system, motion estimation method, and motion estimation program | |
Convertini et al. | Sit-to-Stand Test for Neurodegenerative Diseases Video Classification | |
CN115578668A (en) | Target behavior recognition method, electronic device, and storage medium | |
Garg et al. | Short: Deep Learning Approach to Skeletal Performance Evaluation of Physical Therapy Exercises | |
CN111861275B (en) | Household work mode identification method and device | |
Wang et al. | Calorific expenditure estimation using deep convolutional network features | |
Révy et al. | Towards Hand-Over-Face Gesture Detection |