JP7063294B2

JP7063294B2 - Video output device, video output method, video output program, and video output system

Info

Publication number: JP7063294B2
Application number: JP2019053458A
Authority: JP
Inventors: 聡一戎野
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 2019-03-20
Filing date: 2019-03-20
Publication date: 2022-05-09
Anticipated expiration: 2039-03-20
Also published as: JP2020155961A

Description

本発明は、動画出力装置、動画出力方法、動画出力プログラム、および動画出力システムに関する。 The present invention relates to a moving image output device, a moving image output method, a moving image output program, and a moving image output system.

従来、作業工程における作業者の動作の有効度、熟練度、問題点等を分析するために、作業者の動作を録画した動画をオペレータが目視で確認する手法が知られている。これらの動画による作業確認においては、作業を目視で分析するオペレータにとって快適な操作性を実現するための種々の提案がなされている。 Conventionally, there has been known a method in which an operator visually confirms a moving image of a worker's movement in order to analyze the effectiveness, skill level, problem, etc. of the worker's movement in the work process. In the work confirmation by these moving images, various proposals have been made to realize comfortable operability for the operator who visually analyzes the work.

例えば、特許文献１には、表示装置に、動画と共に、動作区分分類ボタンを表示して、オペレータが手動で、動画を動作区分に分割することができるようにする技術が開示されている。特許文献１に技術を用いることによって、オペレータは、再生されている動画を閲覧しながら、動作区分分類ボタンを選択することで、選択時に再生されていた作業の動作に対して、ボタンで定義される動作区分識別情報を割り付けることができる。これにより、オペレータは、作業者の動作を録画した動画を、動作区分に分割して、各動作区分を識別する情報を入力することができる。 For example, Patent Document 1 discloses a technique in which an operation classification classification button is displayed on a display device together with a moving image so that an operator can manually divide the moving image into operation categories. By using the technique in Patent Document 1, the operator selects the operation classification classification button while viewing the video being played, and the operation of the work being reproduced at the time of selection is defined by the button. Operation classification identification information can be assigned. As a result, the operator can divide the moving image of the operator's motion into the motion categories and input the information for identifying each motion category.

特開２００７－３２３２２２号公報（２００７年１２月１３日公開）Japanese Unexamined Patent Publication No. 2007-323222 (published on December 13, 2007)

しかしながら、手作業によって作業者の動作を録画した動画を、作業の動作により定義される動作区分に分割するには、オペレータによる大変な労力が必要となる。そこで、作業者の動作を録画した動画を、何らかのアルゴリズムを用いて自動分割することが考えられる。 However, it requires a great deal of labor by the operator to manually divide the moving image of the worker's motion into the motion categories defined by the task motion. Therefore, it is conceivable to automatically divide the moving image of the worker's movement by using some algorithm.

一方で、このように、作業者の動作を録画した動画を自動分割した場合には、作業工程の区切りとして妥当ではない位置で動画が分割される、誤分割が生じる可能性がある。このため、動画を自動分割した場合には、オペレータが動画の分割箇所を、基準となる動画の分割箇所と同じであるか目視により確認する必要がある。 On the other hand, when the moving image recording the movement of the worker is automatically divided in this way, the moving image is divided at a position that is not appropriate as a division of the work process, and there is a possibility of erroneous division. Therefore, when the moving image is automatically divided, it is necessary for the operator to visually confirm whether the divided portion of the moving image is the same as the divided portion of the reference moving image.

本発明の一態様は、上述した事情に鑑みてなされたものであり、作業者の動作を録画した動画が、作業者の作業の種類に応じて妥当な動作区間で分割されているかの確認を容易に行うことができるようにする技術を提供することを目的とする。 One aspect of the present invention has been made in view of the above-mentioned circumstances, and it is confirmed whether or not the moving image of the worker's movement is divided into appropriate movement sections according to the type of the worker's work. The purpose is to provide a technique that makes it easy to do.

前記の課題を解決するために、本発明の一態様に係る動画出力装置は、１又は複数の作業者の動作を録画した動画を出力する動画出力装置であって、基準となる基準動画、および、出力変更対象となる対象動画に関して、前記作業者の作業の種類に応じて複数の動作区間に分割する時刻を含む分割情報を取得する取得部と、前記分割情報に基づき、前記基準動画における前記各動作区間の再生長さと、それぞれの前記動作区間に対応する、前記対象動画における前記各動作区間の再生長さとが一致するように、前記対象動画におけるそれぞれの前記動作区間の再生速度を調整して前記対象動画を出力する。 In order to solve the above-mentioned problems, the moving image output device according to one aspect of the present invention is a moving image output device that outputs a moving image in which the movements of one or a plurality of workers are recorded, and is a reference moving image and a reference moving image. , The acquisition unit that acquires the division information including the time for dividing into a plurality of operation sections according to the type of work of the worker with respect to the target video to be output changed, and the said in the reference video based on the division information. The reproduction speed of each operation section in the target video is adjusted so that the reproduction length of each operation section and the reproduction length of each operation section in the target video corresponding to each operation section match. And outputs the target moving image.

また、前記の課題を解決するために、本発明の一態様に係る動画出力方法は、１又は複数の作業者の動作を録画した動画を出力する動画出力方法であって、基準となる基準動画、および、出力変更対象となる対象動画に関して、前記作業者の作業の種類に応じて複数の動作区間に分割する時刻を含む分割情報を取得する取得ステップと、前記分割情報に基づき、前記基準動画における前記各動作区間の再生長さと、それぞれの前記動作区間に対応する、前記対象動画における前記各動作区間の再生長さとが一致するように、前記対象動画におけるそれぞれの前記動作区間の再生速度を調整して前記対象動画を出力する動画処理ステップと、を含む。 Further, in order to solve the above-mentioned problems, the moving image output method according to one aspect of the present invention is a moving image output method for outputting a moving image in which the movements of one or a plurality of workers are recorded, and is a reference moving image as a reference. , And, regarding the target video whose output is to be changed, the acquisition step for acquiring the division information including the time for dividing into a plurality of operation sections according to the work type of the worker, and the reference video based on the division information. The reproduction speed of each operation section in the target video is set so that the reproduction length of each operation section in the target video and the reproduction length of each operation section in the target video corresponding to each operation section match. It includes a moving image processing step for adjusting and outputting the target moving image.

前記の構成、または方法によれば、基準となる基準動画と、作業者の動作を録画した対象動画との、各動作区間の再生長さを一致させて再生することができる。これにより、基準動画との比較によって、対象動画が、作業者の作業の種類に応じて妥当な動作区間で分割されているかの確認を容易に行うことができる。 According to the above configuration or method, the reference moving image as a reference and the target moving image in which the movement of the worker is recorded can be reproduced by matching the reproduction length of each operation section. Thereby, by comparing with the reference moving image, it is possible to easily confirm whether or not the target moving image is divided into appropriate operation sections according to the type of work of the worker.

また、本発明の一態様に係る動画出力装置は、前記動画処理部は、前記基準動画と、再生速度を調整した前記対象動画とを、前記各動作区間で同期させて表示装置に再生表示させる表示制御を行う。 Further, in the moving image output device according to one aspect of the present invention, the moving image processing unit causes the display device to reproduce and display the reference moving image and the target moving image whose playback speed is adjusted in synchronization with each operation section. Display control is performed.

前記の構成によれば、基準動画と、対象動画との比較を容易に行うことができる。 According to the above configuration, it is possible to easily compare the reference moving image with the target moving image.

また、本発明の一態様に係る動画出力装置は、前記取得部は、前記基準動画および前記対象動画に関して、前記動作区間内で生じる特徴量の時間変化を示す特徴量情報をさらに取得するとともに、前記動画処理部は、それぞれの前記動作区間内において、前記特徴量の時間変化が、前記基準動画と前記対象動画とで同期するように再生速度を調整して前記対象動画を出力する。 Further, in the moving image output device according to one aspect of the present invention, the acquisition unit further acquires the feature amount information indicating the time change of the feature amount generated in the operation section with respect to the reference moving image and the target moving image, and also obtains the feature amount information. The moving image processing unit outputs the target moving image by adjusting the reproduction speed so that the time change of the feature amount is synchronized with the reference moving image and the target moving image within each operation section.

前記の構成によれば、動作区間内における、基準動画と対象動画との特徴量の時間変化を同期させることができるため、基準動画と、対象動画との比較を容易に行うことができる。 According to the above configuration, since the time change of the feature amount between the reference moving image and the target moving image can be synchronized in the operation section, the reference moving image and the target moving image can be easily compared.

また、本発明の一態様に係る動画出力装置は、前記特徴量の時間変化が、前記基準動画および前記対象動画から算出される特徴量の値の連続的な時間変化である。 Further, in the moving image output device according to one aspect of the present invention, the time change of the feature amount is a continuous time change of the value of the feature amount calculated from the reference moving image and the target moving image.

前記の構成によれば、特徴量の値の連続的な時間変化に基づいて、基準動画と対象動画とを同期させることができ、基準動画と、対象動画との比較を容易に行うことができる。 According to the above configuration, the reference moving image and the target moving image can be synchronized based on the continuous time change of the feature amount value, and the reference moving image and the target moving image can be easily compared. ..

また、本発明の一態様に係る動画出力装置は、前記特徴量の時間変化が、前記動作区間内で発生する所定のイベントの発生タイミングの変化である。 Further, in the moving image output device according to one aspect of the present invention, the time change of the feature amount is a change in the occurrence timing of a predetermined event that occurs in the operation section.

前記の構成によれば、所定のイベントの発生タイミングに基づいて基準動画と対象動画との特徴量の時間変化を同期させることができるため、基準動画と、対象動画との比較を容易に行うことができる。 According to the above configuration, it is possible to synchronize the time change of the feature amount between the reference video and the target video based on the occurrence timing of a predetermined event, so that the reference video and the target video can be easily compared. Can be done.

また、本発明の一態様に係る動画出力装置は、前記出力変更対象となる対象動画を選択する動画選択部をさらに備えた。 Further, the moving image output device according to one aspect of the present invention further includes a moving image selection unit for selecting a target moving image to be output-changed.

前記の構成によれば、選択した対象動画について、基準動画と再生長さ、および特徴量の時間変化を同期させて、基準動画との比較を行うことができ、任意の対象動画について、基準動画との比較を容易に行うことができる。 According to the above configuration, the selected target video can be compared with the reference video by synchronizing the time change of the playback length and the feature amount with the reference video, and the reference video can be compared with any target video. Can be easily compared with.

また、本発明の一態様に係る動画出力装置は、前記分割情報における前記動作区間の分割時刻を編集する分割時刻編集部をさらに備えた。 Further, the moving image output device according to one aspect of the present invention further includes a division time editing unit for editing the division time of the operation section in the division information.

前記の構成によれば、基準動画と、対象動画と比較した結果、対象動画の動作区間の分割時刻を編集する必要がある場合には、容易に分割時刻を編集することができる。 According to the above configuration, when it is necessary to edit the division time of the operation section of the target moving image as a result of comparing the reference moving image with the target moving image, the dividing time can be easily edited.

また、前記の課題を解決するために、本発明の一態様に係る動画出力プログラムは、動画出力装置としてコンピュータを機能させるための動画出力プログラムであって、前記動画処理部としてコンピュータを機能させる。 Further, in order to solve the above-mentioned problems, the moving image output program according to one aspect of the present invention is a moving image output program for making a computer function as a moving image output device, and causes a computer to function as the moving image processing unit.

前記の構成によれば、コンピュータを用いて、基準動画と、対象動画との比較を容易に行うことができるように、基準動画と、対象動画との再生長さ、および特徴量の時間変化を同期させることができる。 According to the above configuration, the playback length of the reference video and the target video and the time change of the feature amount are changed so that the reference video and the target video can be easily compared by using a computer. Can be synchronized.

また、前記の課題を解決するために、本発明の一態様に係る動画出力システムは、１又は複数の作業者の動作を録画した動画に関して、前記作業者の作業の種類に応じて複数の動作区間に分割する時刻を含む分割情報を生成する動作分析装置と、前記動画出力装置と、を含む。 Further, in order to solve the above-mentioned problems, the moving image output system according to one aspect of the present invention has a plurality of operations depending on the type of work of the worker with respect to a moving image in which the movements of one or a plurality of workers are recorded. It includes an operation analysis device that generates division information including a time for dividing into sections, and the moving image output device.

前記の構成によれば、動作分析装置によって生成された分割情報が正確か否かを、動画出力装置によって出力された対象動画を、基準動画に対して比較することで容易に判断することができる。 According to the above configuration, whether or not the division information generated by the motion analysis device is accurate can be easily determined by comparing the target moving image output by the moving image output device with the reference moving image. ..

本発明の一態様によれば、作業者の動作を録画した動画が、作業者の作業の種類に応じて妥当な動作区間で分割されているかの確認を容易に行うことができる。 According to one aspect of the present invention, it is possible to easily confirm whether or not the moving image recording the worker's movement is divided into appropriate movement sections according to the type of the worker's work.

本実施形態に係る動画出力装置の全体構成を示すブロック図である。It is a block diagram which shows the whole structure of the moving image output apparatus which concerns on this embodiment. 基準動画の分割情報に基づいて作業動画を再生した場合の、各動画の再生位置を示す図である。It is a figure which shows the reproduction position of each moving image at the time of playing a work moving image based on the division information of a reference moving image. 基準動画の動作区間の再生長さに合わせて、作業動画の動作区間を再生した場合の、各動画の再生位置を示す図である。It is a figure which shows the reproduction position of each moving image when the operation section of a work moving image is reproduced according to the reproduction length of the operation section of a reference moving image. 基準動画の動作区間の再生長さに合わせて、作業動画の動作区間を再生した場合の、各動画の再生位置を示す図である。It is a figure which shows the reproduction position of each moving image when the operation section of a work moving image is reproduced according to the reproduction length of the operation section of a reference moving image. 対象動画の動作区間の再生速度を調整する処理の概要を示す図である。It is a figure which shows the outline of the process which adjusts the reproduction speed of the operation section of a target moving image. 基準動画の分割情報に基づいて補正した各動作区間の再生位置を示す図である。It is a figure which shows the reproduction position of each operation section corrected based on the division information of a reference moving image. 連続的な特徴量の時間変化を示す図である。It is a figure which shows the time change of the continuous feature quantity. 補正後の連続的な特徴量の時間変化を示す図である。It is a figure which shows the time change of the continuous feature quantity after correction. 離散的な特徴量の時間変化を示す図である。It is a figure which shows the time change of a discrete feature quantity. 補正後の離散的な特徴量の時間変化を示す図である。It is a figure which shows the time change of the discrete feature quantity after correction. 表示装置の表示態様の一例を示す図である。It is a figure which shows an example of the display mode of a display device.

以下、本発明の一側面に係る実施形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。 Hereinafter, an embodiment according to one aspect of the present invention (hereinafter, also referred to as “the present embodiment”) will be described with reference to the drawings.

§１適用例
まず、本発明が適用される場面の一例について説明する。 §1 Application example First, an example of a situation in which the present invention is applied will be described.

図１は、本実施形態に係る動画出力システム１の全体構成を示すブロック図である。動画出力システム１は、工場内において作業する作業者の動作を録画した動画を出力するシステムである。動画出力システム１によって出力される動画は、作業者の作業の習熟度、および、作業者の疲労度等を解析するために用いられる。 FIG. 1 is a block diagram showing an overall configuration of the moving image output system 1 according to the present embodiment. The moving image output system 1 is a system that outputs a moving image recording the movements of workers working in the factory. The moving image output by the moving image output system 1 is used for analyzing the work proficiency level of the worker, the fatigue level of the worker, and the like.

動画出力システム１は、動作分析装置１０と、動画出力装置１００と、を含んでいる。 The moving image output system 1 includes an motion analysis device 10 and a moving image output device 100.

動作分析装置１０は、１日分の作業者の動作を録画した動画を取得し、当該動画を分析する。動作分析装置１０は、取得した動画を、作業者の作業の種類に応じて複数の動作区間に分割するための、分割位置に関する情報を生成する。分割位置に関する情報には、例えば、分割する時刻、分割するフレーム等の情報が含まれる。 The motion analysis device 10 acquires a moving image of a worker's motion for one day and analyzes the moving image. The motion analysis device 10 generates information regarding the division position for dividing the acquired moving image into a plurality of motion sections according to the type of work of the operator. The information regarding the division position includes, for example, information such as the division time and the division frame.

動画出力装置１００は、動作分析装置１０から、動画の分割位置に関する情報を取得する。そして、動画出力装置１００は、対象動画におけるそれぞれの動作区間の再生長さが、基準動画における各動作区間の再生長さと一致するように、再生速度を調整して出力する。 The moving image output device 100 acquires information regarding the division position of the moving image from the motion analysis device 10. Then, the moving image output device 100 adjusts the reproduction speed and outputs the reproduction length so that the reproduction length of each operation section in the target moving image matches the reproduction length of each operation section in the reference moving image.

このため、動作分析装置１０を用いて、作業者の動作を録画した動画を自動分割した場合であっても、動画出力装置１００によって、動作区間の再生長さが、基準動画における各動作区間の再生長さと一致するように、再生速度が調整された対象動画が出力される。よって、オペレータは、再生長さが互いに一致する基準動画と、対象動画とを比較することで、対象動画が、作業者の作業の種類に応じて、基準動画の分割箇所に対応する適切な動作区間で分割されているかの確認を容易に行うことができる。 Therefore, even when the moving image recorded by the worker's movement is automatically divided by using the motion analysis device 10, the playback length of the motion section is set by the moving image output device 100 for each motion section in the reference moving motion. The target video whose playback speed is adjusted to match the playback length is output. Therefore, the operator compares the reference video having the same playback length with the target video, so that the target video corresponds to the divided portion of the reference video according to the type of work of the worker. It is possible to easily confirm whether or not the section is divided.

§２構成例
〔実施形態１〕
以下、本発明の実施形態１に係る動画出力システム１の構成について、図１に基づいて詳細に説明する。 §2 Configuration example [Embodiment 1]
Hereinafter, the configuration of the moving image output system 1 according to the first embodiment of the present invention will be described in detail with reference to FIG.

〔動作分析装置１０の構成〕
図１に示すように、動作分析装置１０は、作業動画分割処理部２０、特徴抽出処理部３０、および動作自動分割処理部４０を含んでいる。 [Structure of motion analyzer 10]
As shown in FIG. 1, the motion analysis device 10 includes a work moving image division processing unit 20, a feature extraction processing unit 30, and an operation automatic division processing unit 40.

作業動画分割処理部２０は、１日分の作業者の動作を不図示のカメラによって録画した、１日分作業者動画ＰＤを、例えば外部のネットワークストレージやファイルサーバ等から取得する。作業動画分割処理部２０は、取得した１日分作業者動画ＰＤを、作業者による１作業ごと、例えば作業者が１つの製品を完成させる作業区間ごと、に自動分割する。 The work video division processing unit 20 acquires, for example, an external network storage, a file server, or the like, for one day's worker video PD, in which the movement of the worker for one day is recorded by a camera (not shown). The work video division processing unit 20 automatically divides the acquired one-day worker video PD into each work by the worker, for example, each work section in which the worker completes one product.

作業動画分割処理部２０は、例えば、作業開始終了のログを外部のネットワークストレージやファイルサーバ等の生産管理データベースから取得し、当該ログを利用して、１日分作業者動画ＰＤを、１作業ごとに分割する。また、作業動画分割処理部２０は、入退室センサの出力を参照して、１日分作業者動画ＰＤを、１作業ごとに分割してもよい。また、作業動画分割処理部２０は、１日分作業者動画ＰＤにおける作業者の特徴的な動作、例えば作業者の動画フレームへのフレームイン、または、フレームアウト、を利用して、１日分作業者動画ＰＤを、１作業ごとに分割してもよい。 For example, the work video division processing unit 20 acquires a log of work start / end from a production control database such as an external network storage or a file server, and uses the log to perform one work of a worker video PD for one day. Divide each. Further, the work moving image division processing unit 20 may divide the worker moving image PD for one day into each work by referring to the output of the room entry / exit sensor. Further, the work video division processing unit 20 utilizes the characteristic operation of the worker in the worker video PD for one day, for example, frame-in or frame-out to the video frame of the worker for one day. The worker moving image PD may be divided for each work.

作業動画分割処理部２０によって１作業ごとに分割された、１日分作業者動画ＰＤは、作業区間ごとに、作業動画記憶部５０に記憶される。作業動画記憶部５０には、作業者毎の、１作業ごとに分割された動画が、作業動画ＷＤ０１，ＷＤ０２・・・ＷＤＮとして記憶される。
特徴抽出処理部３０は、作業動画記憶部５０に記憶された、作業ごとに分割された作業動画ＷＤ０１，ＷＤ０２・・・ＷＤＮを解析して、動画の特徴を求め、各作業動画内で生じる特徴量の時間変化を示す特徴量情報を生成する。特徴抽出処理部３０は、作業者の所定の姿勢、または作業者の作業机の上の所定の状態を、パターンマッチングによって動画から抽出することで、動画の特徴を求めてもよい。 The one-day worker video PD divided for each work by the work video division processing unit 20 is stored in the work video storage unit 50 for each work section. In the work moving image storage unit 50, moving images divided for each work for each worker are stored as working moving images WD01, WD02 ... WDN.
The feature extraction processing unit 30 analyzes the work videos WD01, WD02 ... WDN stored in the work video storage unit 50 and divided for each work, obtains the features of the video, and obtains the features generated in each work video. Generates feature quantity information indicating the change in quantity over time. The feature extraction processing unit 30 may obtain the features of the moving image by extracting the predetermined posture of the worker or the predetermined state on the worker's work desk from the moving image by pattern matching.

例えば、特徴抽出処理部３０は、作業者の推定骨格を作業動画から抽出し、作業者の手の動き、および作業者の頭又は肩の角度等による作業者の姿勢の特徴を数値化した特徴量情報を生成する。また、特徴抽出処理部３０は、作業者の作業机の上の状態の特徴を、動画の特徴として求めてもよい。また、特徴抽出処理部３０は、作業動画での、作業者の作業机の上の状態等の作業者の周囲の状態の特徴を数値化した特徴量情報を生成してもよい。 For example, the feature extraction processing unit 30 extracts the estimated skeleton of the worker from the work video, and quantifies the characteristics of the worker's posture depending on the movement of the worker's hand and the angle of the worker's head or shoulder. Generate quantity information. Further, the feature extraction processing unit 30 may obtain the feature of the state on the work desk of the worker as the feature of the moving image. Further, the feature extraction processing unit 30 may generate feature quantity information in which the features of the state around the worker such as the state on the worker's work desk in the work moving image are quantified.

特徴抽出処理部３０は、作業動画の特徴を、特徴量の値の連続的な時間変化によって示す特徴量情報を生成してもよい。また、特徴抽出処理部３０は、作業動画の特徴を、作業動画内で発生する所定のイベントの離散的な発生タイミングによって示す特徴量情報を生成してもよい。 The feature extraction processing unit 30 may generate feature amount information indicating the features of the work moving image by continuous changes in the feature amount values over time. Further, the feature extraction processing unit 30 may generate feature amount information indicating the features of the work moving image by the discrete generation timings of predetermined events that occur in the working moving image.

作業動画内で発生する所定のイベントの離散的な発生タイミングは、例えば、作業者が所定の動きを行ったタイミング、および、所定の色の部品が動画像に現れた、または消えたタイミング等である。特徴抽出処理部３０は、これらの離散する所定のイベントの発生タイミングを、作業動画を解析して抽出することで特徴量情報を生成してもよい。 The discrete occurrence timing of a predetermined event that occurs in the work video is, for example, the timing when the worker makes a predetermined movement, the timing when a component of a predetermined color appears or disappears in the moving image, and the like. be. The feature extraction processing unit 30 may generate feature amount information by analyzing and extracting the occurrence timing of these discrete predetermined events by analyzing the work moving image.

動作自動分割処理部４０は、特徴抽出処理部３０生成した特徴量情報に基づいて、作業動画ＷＤ０１，ＷＤ０２・・・ＷＤＮのそれぞれを、各動作区分に分割する。動作自動分割処理部４０は、分割した動作区間の動画を、当該動作区間の開始時刻と終了時刻との情報を含む時刻情報と、当該動作区間の特徴量情報とに紐付けて、動作区間データとして、外部のネットワークストレージやファイルサーバ等の記憶装置７０に記憶する。 The operation automatic division processing unit 40 divides each of the work moving images WD01, WD02 ... WDN into each operation category based on the feature amount information generated by the feature extraction processing unit 30. The operation automatic division processing unit 40 associates the moving image of the divided operation section with the time information including the information of the start time and the end time of the operation section and the feature amount information of the operation section, and the operation section data. It is stored in a storage device 70 such as an external network storage or a file server.

動作区間の開始時刻と終了時刻とのように、作業動画を作業者の作業の種類に応じて複数の動作区間に分割する時刻を含む情報を分割情報と称する。なお、動画出力装置１００において特徴量情報が利用されない場合には、動作区間データは特徴量情報を含まないデータであってもよい。 Information including the time for dividing a work video into a plurality of operation sections according to the type of work of the worker, such as the start time and the end time of the operation section, is referred to as division information. When the feature amount information is not used in the moving image output device 100, the operation section data may be data that does not include the feature amount information.

また、記憶装置７０が、動作分析装置１０が備える記憶装置によって構成されてもよいし、作業動画記憶部５０が、外部のネットワークストレージやファイルサーバ等の記憶装置によって構成されてもよい。 Further, the storage device 70 may be configured by a storage device included in the motion analysis device 10, or the work moving image storage unit 50 may be configured by a storage device such as an external network storage or a file server.

なお、作業動画分割処理部２０は、１日分作業者動画ＰＤに基づいて作業動画ＷＤ０１，ＷＤ０２・・・ＷＤＮをテンポラリデータとして作業メモリ上に生成してもよい。そして、特徴抽出処理部３０による処理は、このテンポラリデータとして生成された作業動画ＷＤ０１，ＷＤ０２・・・ＷＤＮに基づいて実施されてもよい。また、後述する動画出力装置１００への作業動画ＷＤ０１，ＷＤ０２・・・ＷＤＮの送信が、記憶装置７０に記憶されている動作区間データに基づいて１日分作業者動画ＰＤを参照して生成されたテンポラリデータに基づいて実施されてもよい。
〔動画出力装置１００の構成〕 The working video division processing unit 20 may generate working videos WD01, WD02 ... WDN as temporary data on the working memory based on the worker video PD for one day. Then, the processing by the feature extraction processing unit 30 may be performed based on the work moving images WD01, WD02 ... WDN generated as the temporary data. Further, the transmission of the work moving images WD01, WD02 ... WDN to the moving image output device 100, which will be described later, is generated with reference to the worker moving image PD for one day based on the operation section data stored in the storage device 70. It may be carried out based on temporary data.
[Configuration of video output device 100]

動画出力装置１００は、取得部１１０、動画選択部１２０、動画処理部１３０、および分割時刻編集部１４０を含んでいる。動画出力装置１００は、動作分析装置１０から作業者の作業動画ＷＤ０１，ＷＤ０２・・・ＷＤを取得して、出力する対象である作業動画ＷＤに所定の変更処理を行って、出力する。動画出力装置１００が変更して出力する対象となる出力変更対象の作業動画を対象動画とも称する。また、当該対象動画のデータを対象動画データとも称するが、以下の説明において、対象動画と、対象動画データとを特に区別せずに用いている。 The moving image output device 100 includes an acquisition unit 110, a moving image selection unit 120, a moving image processing unit 130, and a divided time editing unit 140. The moving image output device 100 acquires the working moving images WD01, WD02, ... WD of the worker from the motion analysis device 10, performs a predetermined change process on the working moving image WD to be output, and outputs the WD. The output change target work moving image to be changed and output by the moving image output device 100 is also referred to as a target moving image. Further, the data of the target moving image is also referred to as the target moving image data, but in the following description, the target moving image and the target moving image data are used without particular distinction.

取得部１１０は、イーサネット（登録商標）などのフィールドネットワークを介して動作分析装置１０、および記憶装置７０と通信する。取得部１１０は、作業者の基準となる動作を録画した基準動画および対象動画を動作分析装置１０から取得する。また、取得部１１０は、基準動画および対象動画に関する動作区間データを記憶装置７０から取得する。すなわち、取得部１１０は、出力変更対象となる対象動画に関して、動作区間データに含まれている、作業者の作業の種類に応じて複数の動作区間に分割する時刻を含む分割情報を、記憶装置７０から取得する。 The acquisition unit 110 communicates with the motion analysis device 10 and the storage device 70 via a field network such as Ethernet (registered trademark). The acquisition unit 110 acquires from the motion analysis device 10 a reference moving image and a target moving image in which a reference motion of a worker is recorded. Further, the acquisition unit 110 acquires operation section data related to the reference moving image and the target moving image from the storage device 70. That is, the acquisition unit 110 stores the division information including the time for dividing the target moving image to be output changed into a plurality of operation sections according to the type of work of the operator, which is included in the operation section data. Obtained from 70.

また、取得部１１０は、基準動画および対象動画に関して、動作区間内で生じる特徴量の時間変化を示す特徴量情報を記憶装置７０から取得してもよい。 Further, the acquisition unit 110 may acquire the feature amount information indicating the time change of the feature amount occurring in the operation section with respect to the reference moving image and the target moving image from the storage device 70.

動画選択部１２０は、出力変更対象となる対象動画を選択する。動画出力装置１００は、表示装置８０にグラフィカルユーザインターフェース（ＧＵＩ）を表示し、オペレータからの指示を受け付けることができる装置である。動画選択部１２０は、表示装置８０に表示されたＧＵＩを通じてオペレータによる指示を受け付ける。そして、動画選択部１２０は、オペレータによる指示に基づいて、基準動画、および、出力変更対象となる対象動画を選択する。動画選択部１２０は、基準動画、および、選択した対象動画を、取得部１１０の機能により、動作分析装置１０から取得する。 The moving image selection unit 120 selects a target moving image whose output is to be changed. The moving image output device 100 is a device capable of displaying a graphical user interface (GUI) on the display device 80 and receiving instructions from the operator. The moving image selection unit 120 receives instructions from the operator through the GUI displayed on the display device 80. Then, the moving image selection unit 120 selects the reference moving image and the target moving image to be output changed based on the instruction by the operator. The moving image selection unit 120 acquires the reference moving image and the selected target moving image from the motion analysis device 10 by the function of the acquiring unit 110.

動画処理部１３０は、動画選択部１２０が選択した基準動画、および対象動画と、当該基準動画および当該対象動画の分割情報とを動作分析装置１０から取得する。動画処理部１３０は、動作分析装置１０から取得した分割情報に基づき、基準動画における各動作区間の再生長さと、基準動画におけるそれぞれの動作区間に対応する、対象動画における各動作区間の再生長さとが一致するように、対象動画データにおけるそれぞれの動作区間の再生速度を調整する。動画処理部１３０は、それぞれの動作区間の再生速度を調整した対象動画を出力する。 The moving image processing unit 130 acquires the reference moving image and the target moving image selected by the moving image selection unit 120, and the reference moving image and the division information of the target moving image from the motion analysis device 10. Based on the division information acquired from the motion analysis device 10, the moving image processing unit 130 determines the reproduction length of each operation section in the reference moving image and the reproduction length of each operation section in the target moving image corresponding to each operation section in the reference moving image. Adjust the playback speed of each operation section in the target moving image data so that is matched. The moving image processing unit 130 outputs a target moving image in which the reproduction speed of each operating section is adjusted.

分割時刻編集部１４０は、分割情報における前記動作区間の分割時刻を編集する。分割時刻編集部１４０は、後述する表示装置８０に表示されたＧＵＩを通じて受け付けたオペレータの指示に応じて、分割情報における対象動画の動作区間の分割時刻を編集し、編集した分割情報を、記憶装置７０に送信する。記憶装置７０に記憶された対象動画の動作区間データの、動作区間の時刻に係る情報は、分割時刻編集部１４０によって編集された分割情報に基づいて書き換えられ、記憶される。 The division time editing unit 140 edits the division time of the operation section in the division information. The division time editing unit 140 edits the division time of the operation section of the target moving image in the division information according to the operator's instruction received through the GUI displayed on the display device 80 described later, and stores the edited division information. Send to 70. The information related to the time of the operation section of the operation section data of the target moving image stored in the storage device 70 is rewritten and stored based on the division information edited by the division time editing unit 140.

〔動画処理部１３０による再生長を調整する処理について〕
図２は、基準動画の分割情報に基づいて、作業者の作業動画を再生した場合の、各動画の再生位置を示す図である。ここで、基準動画は、オペレータが手作業により、各動作区間０１，０２，０３・・・に分割されている。 [About the process of adjusting the playback length by the moving image processing unit 130]
FIG. 2 is a diagram showing a reproduction position of each moving image when the working moving image of the worker is reproduced based on the division information of the reference moving image. Here, the reference moving image is manually divided into operation sections 01, 02, 03 ... By the operator.

作業動画０２では、基準動画に対して、動作区間０１の録画時間が短く、動作区間０２の録画時間が長くなっている。また、作業動画０３では、基準動作に対して、動作区間０１の録画時間が長くなっている。 In the work moving image 02, the recording time of the operating section 01 is shorter and the recording time of the operating section 02 is longer than that of the reference moving image. Further, in the work moving image 03, the recording time of the operation section 01 is longer than that of the reference operation.

図２に示すように、基準動画の分割情報に含まれる、動作区間０２の再生開示時刻に基づいて、作業動画０２を再生した場合、作業動画０２では、動作区間０２の途中から再生されてしまう。これは、作業動画０２の動作区間０１の録画時間が、基準動画の動作区間０１の録画時間より短いためである。 As shown in FIG. 2, when the work video 02 is played based on the reproduction disclosure time of the operation section 02 included in the division information of the reference video, the work video 02 is played from the middle of the operation section 02. .. This is because the recording time of the operating section 01 of the working moving image 02 is shorter than the recording time of the operating section 01 of the reference moving image.

また、基準動画の分割情報に含まれる、動作区間０２の開示時刻に基づいて、作業動画０３を再生した場合、作業動画０３では、動作区間０１の途中から再生されてしまう。これは、作業動画０３の動作区間０１の録画時間が、基準動画の動作区間０１より長いためである。 Further, when the work moving image 03 is reproduced based on the disclosure time of the operating section 02 included in the division information of the reference moving image, the working moving image 03 is reproduced from the middle of the operating section 01. This is because the recording time of the operation section 01 of the work moving image 03 is longer than the operation section 01 of the reference moving image.

このように、基準動画の分割情報に示される時刻に基づいて、作業者の作業動画を再生した場合、作業動画が適切な位置で動作区間毎に分割されているのかを判断することが難しい。また、基準動画と、作業者の作業動画との再生部分が異なるため、基準動画と、作業者の作業動画とを比較することによる、各動作区間における作業者の動作の確認、および、検証が難しい。 As described above, when the worker's work video is played back based on the time indicated in the division information of the reference video, it is difficult to determine whether the work video is divided into operation sections at appropriate positions. In addition, since the playback part of the reference video and the worker's work video are different, the worker's operation in each operation section can be confirmed and verified by comparing the reference video and the worker's work video. difficult.

図３、および図４は、基準動画、および、各作業動画の各動作区間を、各動画の分割情報に含まれる開始時刻に基づいて再生するとともに、基準動画の動作区間の再生長さ分だけ作業動画の動作区間を再生した場合の、各動画の再生位置を示す図である。 In FIGS. 3 and 4, each operation section of the reference video and each work video is played back based on the start time included in the division information of each video, and only the playback length of the operation section of the reference video is reproduced. It is a figure which shows the reproduction position of each moving image when the operation section of a work moving image is reproduced.

図３においては、作業動画０２，０３では、基準動画に対して、動作区間０２の再生長さが長くなっている。図３に示すように、基準動画、および、各作業動画０２，０３の再生開始位置を、動作区間０２の頭に合わせて再生しても、作業動画０２，０３では、基準動画に対して、動作区間０２の再生長さが長くなっているため、作業動画０２，０３の動作区間０２が全て再生されない。 In FIG. 3, in the work videos 02 and 03, the reproduction length of the operation section 02 is longer than that of the reference video. As shown in FIG. 3, even if the playback start positions of the reference moving images and the working moving images 02 and 03 are played back in line with the head of the operation section 02, the working moving images 02 and 03 have the same as the reference moving images. Since the reproduction length of the operation section 02 is long, all the operation sections 02 of the work videos 02 and 03 are not reproduced.

図４においては、作業動画０２では、基準動画に対して、動作区間０２の再生長さが短くなっている。図４に示すように、基準動画、および、作業動画０２を、動作区間０２の頭に再生開始位置を合わせて再生しても、作業動画０２では、基準動画に対して、動作区間０２の再生長さが短くなっているため、作業動画０２の動作区間０２を全て再生し、動作区間０３の途中まで再生されてしまう。 In FIG. 4, in the work moving image 02, the reproduction length of the operation section 02 is shorter than that of the reference moving image. As shown in FIG. 4, even if the reference video and the work video 02 are played with the playback start position aligned with the head of the operation section 02, in the work video 02, the operation section 02 is replayed with respect to the reference video. Since the growth is short, all the operation sections 02 of the work moving image 02 are reproduced, and the operation section 03 is reproduced halfway.

このように、基準動画の動作区間の再生長さ分だけ作業者の作業動画を再生した場合、再生開始位置を各動作区間の頭に合わせて再生しても、作業動画が適切な位置で動作区間毎に分割されているのかを判断することが難しい。また、基準動画と、作業者の作業動画との再生部分が異なるため、基準動画と、作業者の作業動画とを比較することによる、各動作区間における作業者の動作の確認、および、検証が難しい。 In this way, when the worker's work video is played for the playback length of the operation section of the reference video, the work video operates at an appropriate position even if the playback start position is played according to the head of each movement section. It is difficult to judge whether it is divided into sections. In addition, since the playback part of the reference video and the worker's work video are different, the worker's operation in each operation section can be confirmed and verified by comparing the reference video and the worker's work video. difficult.

図５は、動画処理部１３０による、対象動画の動作区間の再生速度を調整する処理の概要を示す図である。図５に示すように、動画処理部１３０は、基準動画における各動作区間０１，０２，０３・・・の再生長さに応じて、対象動画である作業動画０２，０３の各動作区間０１，０２，０３・・・の再生長さを調整する。 FIG. 5 is a diagram showing an outline of processing for adjusting the reproduction speed of the operation section of the target moving image by the moving image processing unit 130. As shown in FIG. 5, the moving image processing unit 130 has the operation sections 01, of the work moving images 02, 03, which are the target moving images, according to the reproduction lengths of the operating sections 01, 02, 03 ... In the reference moving image. The reproduction length of 02, 03 ... Is adjusted.

例えば、基準動画の動作区間０１の再生長さが１０秒、作業動画０２の動作区間０１の再生長さが５秒、作業動画０３の動作区間０１の再生長さが１５秒であるとする。動画処理部１３０は、基準動画の動作区間０１の再生長さである１０秒に、作業動画０２の作業動画０２，０３の動作区間０１の再生長さが一致するように、作業動画０２，０３の動作区間０１の再生速度を調整する。動画処理部１３０は、例えば、作業動画０２の動作区間０１のフレームレートを５ｆｐｓに、作業動画０３の動作区間０１のフレームレートを１５ｆｐｓとすることで、基準動画と、作業動画０２，０３との動作区間０１の再生長さを一致させる。動画処理部１３０は、各動作区間０２，０３・・・についても、同様に、基準動画と、作業動画０２，０３との再生長さを一致させる。 For example, it is assumed that the reproduction length of the operation section 01 of the reference moving image is 10 seconds, the reproduction length of the operation section 01 of the work moving image 02 is 5 seconds, and the reproduction length of the operation section 01 of the work moving image 03 is 15 seconds. The video processing unit 130 sets the work video 02, 03 so that the playback length of the operation section 01 of the work video 02, 03 of the work video 02 matches 10 seconds, which is the playback length of the operation section 01 of the reference video. The reproduction speed of the operation section 01 of is adjusted. For example, the moving image processing unit 130 sets the frame rate of the operating section 01 of the working moving image 02 to 5 fps and the frame rate of the operating section 01 of the working moving image 03 to 15 fps, so that the reference moving image and the working moving images 02 and 03 are combined. Match the playback lengths of the operation section 01. Similarly, the moving image processing unit 130 matches the playback lengths of the reference moving image and the working moving image 02, 03 for each operation section 02, 03 ...

動画処理部１３０は、各動作区間の再生速度を調整した作業動画０２，０３を記憶装置７０、および表示装置８０の少なくともいずれか一方に出力する。動画処理部１３０は、再生速度を調整した作業動画０２，０３を記憶するメモリを備え、オペレータの指示に応じた所定の作業動画を出力することができてもよい。 The moving image processing unit 130 outputs the working moving images 02 and 03 adjusted for the reproduction speed of each operation section to at least one of the storage device 70 and the display device 80. The moving image processing unit 130 may be provided with a memory for storing the working moving images 02 and 03 whose reproduction speed is adjusted, and may be able to output a predetermined working moving image according to the operator's instruction.

図６は、基準動画の分割情報に基づいて、各動作区間０１，０２，０３・・・の再生長さを調整した、補正後の作業動画０２，０３の各動作区間０１，０２，０３・・・の再生位置を示す図である。図６に示すように、動画処理部１３０は、基準動画における各動作区間０１，０２，０３・・・の再生長さと、それぞれの動作区間に対応する、対象動画における各動作区間０１，０２，０３・・・の再生長さとが一致するように、対象動画データにおけるそれぞれの動作区間の再生速度を調整するため、各動作区間の再生開始位置、再生長さ、および、再生終了位置を同期させることができる。よって、オペレータは、作業者の動作を録画した動画を、基準動画と比較することで、作業者の作業の種類に応じて妥当な動作区間で動画が分割されているかの確認と、各動作区間における作業者の動作の確認、および、検証とを容易に行うことができる。 FIG. 6 shows the corrected operation sections 01, 02, 03, in which the playback lengths of the operation sections 01, 02, 03 ... Are adjusted based on the division information of the reference moving image. It is a figure which shows the reproduction position of. As shown in FIG. 6, the moving image processing unit 130 has the reproduction length of each operation section 01, 02, 03 ... In the reference moving image and each operation section 01, 02, in the target moving image corresponding to each operation section. In order to adjust the reproduction speed of each operation section in the target moving image data so as to match the reproduction length of 03 ..., the reproduction start position, the reproduction length, and the reproduction end position of each operation section are synchronized. be able to. Therefore, by comparing the video recording the worker's movement with the reference video, the operator confirms whether the video is divided into appropriate movement sections according to the type of worker's work, and each movement section. It is possible to easily confirm and verify the operation of the worker in.

〔動画処理部１３０による特徴量に応じて再生速度を調整する処理について〕
図７、および図９は、基準動画、および対象動画である作業者の動作を録画した作業動画の動作区間０２で生じる特徴量の時間変化を示す図である。 [About the process of adjusting the playback speed according to the feature amount by the moving image processing unit 130]
7 and 9 are diagrams showing the time change of the feature amount that occurs in the operation section 02 of the reference moving image and the operation section 02 of the working moving image that records the operation of the operator as the target moving image.

図７に示すように、取得部１１０が動作分析装置１０から取得する特徴量情報は、基準動画および対象動画から算出される特徴量の値の連続的な時間変化の情報を含んでいる。 As shown in FIG. 7, the feature amount information acquired by the acquisition unit 110 from the motion analysis device 10 includes information on continuous changes in the feature amount values calculated from the reference moving image and the target moving image.

基準動画の各動作区間と、対象動画における各動作区間の再生長さとを、動画処理部１３０により一致させても、動作区間内で生じる特徴量の時間変化は一致しない。このように、動作区間内で生じる特徴量の時間変化が一致しない場合、基準動画における対応区間と、対象動画とを比較しても、当該対応区間における作業者の動作の確認、および、検証とを容易に行うことができない。 Even if each operation section of the reference moving image and the reproduction length of each operation section in the target moving image are matched by the moving image processing unit 130, the time change of the feature amount generated in the operation section does not match. In this way, when the time changes of the features that occur in the operation section do not match, even if the corresponding section in the reference video and the target video are compared, the operation of the worker in the corresponding section can be confirmed and verified. Cannot be done easily.

動画処理部１３０は、それぞれの動作区間内において、特徴量の時間変化が、基準動画と対象動画とで同期するように再生速度を調整する。 The moving image processing unit 130 adjusts the reproduction speed so that the time change of the feature amount is synchronized between the reference moving image and the target moving image within each operation section.

動画処理部１３０は、動作区間内において、特徴量が似ている箇所、例えば、動作区間０２において、特徴量が顕著な変化を示しているポイント（特徴量が顕著に大きいポイント、および、特徴量が顕著に小さいポイント）を、基準動画の対応するポイントと結んで、当該ポイントの再生時間が同調するように、動作区間内で再生速度を変化させる。例えば、動画処理部１３０は、特徴量が顕著な変化を示している各ポイントの類似度（距離）を比較した上で、最短パスを求め、対応する点が同期するように再生速度を変化させる。 The moving image processing unit 130 is a point in the operation section where the feature amount is similar, for example, a point where the feature amount shows a remarkable change in the operation section 02 (a point where the feature amount is remarkably large and a feature amount). (Points that are remarkably small) are connected to the corresponding points of the reference moving image, and the reproduction speed is changed within the operation section so that the reproduction time of the points is synchronized. For example, the moving image processing unit 130 obtains the shortest path after comparing the similarity (distance) of each point showing a remarkable change in the feature amount, and changes the playback speed so that the corresponding points are synchronized. ..

図８は、特徴量の時間変化が、基準動画と同期するように再生速度を調整した、補正後の作業動画０２，０３の特徴量の時間変化を示す図である。図８において、作業動画０２，０３に実線で示した特徴量の時間変化は、補正後の特徴量の時間変化を示し、破線で示した特徴量の時間変化は、再生速度を調整する前の特徴量の時間変化を示している。図８に示すように、動画処理部１３０は、特徴量が顕著な変化を示しているポイント間の長さに応じて、再生速度を調整し、これらのポイント間の再生長さを伸縮する。 FIG. 8 is a diagram showing the time change of the feature amount of the corrected work moving images 02 and 03 in which the reproduction speed is adjusted so that the time change of the feature amount is synchronized with the reference moving image. In FIG. 8, the time change of the feature amount shown by the solid line in the work moving images 02 and 03 shows the time change of the feature amount after the correction, and the time change of the feature amount shown by the broken line shows the time change of the feature amount before adjusting the reproduction speed. It shows the time change of the feature amount. As shown in FIG. 8, the moving image processing unit 130 adjusts the reproduction speed according to the length between the points where the feature amount shows a remarkable change, and expands and contracts the reproduction length between these points.

これにより、対象動画の動作区間の再生長さが、基準動画の対応する動作区間の再生長さと異なっていても、基準動画と対象動画とを同期させて再生することができる。よって、オペレータは、作業者の動作を録画した動画を、基準動画と比較することで、作業者の作業の種類に応じて妥当な動作区間で動画が分割されているかの確認と、各動作区間における作業者の動作の確認、および、検証とを容易に行うことができる。 As a result, even if the reproduction length of the operation section of the target moving image is different from the reproduction length of the corresponding operation section of the reference moving image, the reference moving image and the target moving image can be reproduced in synchronization with each other. Therefore, by comparing the video recording the worker's movement with the reference video, the operator confirms whether the video is divided into appropriate movement sections according to the type of worker's work, and each movement section. It is possible to easily confirm and verify the operation of the worker in.

図９に示すように、取得部１１０が動作分析装置１０から取得する特徴量情報は、動作区間内で発生する所定のイベントの発生タイミングの変化の情報を含んでいてもよい。 As shown in FIG. 9, the feature amount information acquired by the acquisition unit 110 from the motion analysis device 10 may include information on changes in the occurrence timing of a predetermined event that occurs in the motion section.

動画処理部１３０は、特徴量情報が、それぞれの動作区間内において、離散して発生するイベントの発生タイミングを示す場合には、各イベントの発生タイミング間を、１つの区切り区間とする。そして、動画処理部１３０は、対象動画である作業動画０２，０３における区切り区間の再生長さが、基準動画の対応する区切り区間の再生長さと一致するように、作業動画０２，０３におけるそれぞれの区切り区間の再生速度を調整する。 When the feature amount information indicates the occurrence timing of the events that occur discretely in each operation section, the moving image processing unit 130 sets the interval between the occurrence timings of each event as one dividing section. Then, the moving image processing unit 130 sets each of the working moving images 02 and 03 so that the reproduction length of the dividing section in the working moving images 02 and 03, which is the target moving image, matches the reproduction length of the corresponding dividing section of the reference moving image. Adjust the playback speed of the break section.

図１０は、動作区間内で発生する所定のイベントの発生タイミングが、基準動画と対象動画とで同期するように、作業動画０２，０３の再生速度を調整した、補正後の作業動画０２，０３の特徴量の時間変化を示す図である。図１０において、作業動画０２，０３に実線で示したイベントの発生タイミングは、再生速度を補正した後のイベントの発生タイミングを示し、破線で示したイベントの発生タイミングは、再生速度を調整する前のイベントの発生タイミングを示している。図１０に示すように、動画処理部１３０は、基準動画におけるイベントの発生タイミング間の再生長さに応じて、作業動画０２，０３の再生速度を調整し、これらのイベントの発生タイミング間の再生長さを伸縮する。 FIG. 10 shows the corrected work video 02,03 in which the playback speed of the work video 02, 03 is adjusted so that the occurrence timing of a predetermined event occurring in the operation section is synchronized between the reference video and the target video. It is a figure which shows the time change of the feature amount of. In FIG. 10, the event occurrence timing shown by the solid line in the work videos 02 and 03 indicates the event occurrence timing after the playback speed is corrected, and the event occurrence timing shown by the broken line is before the playback speed is adjusted. Indicates the timing of event occurrence. As shown in FIG. 10, the moving image processing unit 130 adjusts the reproduction speed of the working moving images 02 and 03 according to the reproduction length between the occurrence timings of the events in the reference moving image, and repeats between the occurrence timings of these events. Expands and contracts the growth length.

〔表示装置８０における表示態様〕
図１１は、動画処理部１３０が出力した動作区間の再生速度が調整された対象動画の表示装置８０による表示態様の一例を示す図である。図１１に示すように、動画処理部１３０は、基準動画と、再生速度を調整した対象動画とを、各動作区間で同期させて表示装置８０に再生表示させる表示制御を行う。
表示装置８０の表示部８１には、動画処理部１３０の表示制御により、基準動画と、１又は複数の、各動作区間の再生長さが基準動画の対応する動作区間の再生長さに一致するように再生速度が調整された対象動画と、が並べて表示される。例えば、表示部８１には、基準動画を再生する基準動画再生部８２、および、各対象動画をそれぞれ再生する対象動画再生部８３が配置される。各動画再生部８２，８３には、当該動画再生部８２，８３に表示する動画を、オペレータが選択する操作を受け付ける動画選択ボタンが対象動画選択部８４として設けられている。 [Display mode in the display device 80]
FIG. 11 is a diagram showing an example of a display mode by the display device 80 of the target moving image in which the reproduction speed of the operation section output by the moving image processing unit 130 is adjusted. As shown in FIG. 11, the moving image processing unit 130 performs display control to synchronize the reference moving image and the target moving image whose reproduction speed has been adjusted in each operation section and display the reproduction on the display device 80.
In the display unit 81 of the display device 80, the playback length of the reference video and one or more operation sections of the reference video matches the playback length of the corresponding operation section of the reference video by the display control of the video processing unit 130. The target video whose playback speed has been adjusted is displayed side by side. For example, the display unit 81 is arranged with a reference moving image reproduction unit 82 for reproducing the reference moving image and a target moving image reproduction unit 83 for reproducing each target moving image. Each moving image reproduction unit 82, 83 is provided with a moving image selection button 84 as a target moving image selection unit 84, which accepts an operation for the operator to select a moving image to be displayed on the moving image reproduction units 82, 83.

また、表示部８１には、各動画再生部８２，８３に表示された基準動画、および各対象動画について、どの動作区間の、どの位置が再生されているのかを視覚的に表示する動作分割タイムチャート８５が表示される。オペレータは、動作分割タイムチャートの任意の位置を、例えばマウスポインタによって指定しクリックする選択操作を行うことで、動作分割タイムチャート８５における所定の位置から、基準動画、および各対象動画を、各動画再生部８２，８３に表示させることができる。 Further, the display unit 81 visually displays which operation section and which position is being reproduced for the reference moving image displayed on the moving image reproduction units 82 and 83 and each target moving image. Chart 85 is displayed. The operator performs a selection operation of designating and clicking an arbitrary position on the operation division time chart, for example, by using a mouse pointer, so that the reference video and each target video can be selected from a predetermined position on the operation division time chart 85. It can be displayed on the reproduction units 82 and 83.

また、動作分割タイムチャート８５には、基準動画、および各対象動画の各動作区間が示されている。オペレータは、基準動画再生部８２、および、対象動画再生部８３に表示された作業動画を比較することにより、作業動画の動作区間の分割時刻に編集が必要であると判断する場合がある。この場合には、オペレータは、分割時刻を編集する対象の作業動画を、対象動画再生部８３、または、対象動画選択部８４をクリックするなどにより選択する操作をする。そして、オペレータは、動作分割タイムチャート８５に表示された対象動画の各動作区間の開始位置、または、終了位置をドラッグアンドドロップ等の操作により手作業で調整することで、動作区間の分割時刻を変更することができる。 Further, the motion division time chart 85 shows a reference moving image and each motion section of each target moving image. The operator may determine that editing is necessary at the division time of the operation section of the work video by comparing the work video displayed on the reference video playback unit 82 and the target video playback unit 83. In this case, the operator performs an operation of selecting the target work video whose division time is to be edited by clicking the target video playback unit 83 or the target video selection unit 84. Then, the operator manually adjusts the start position or the end position of each operation section of the target video displayed on the operation division time chart 85 by an operation such as drag and drop, thereby adjusting the division time of the operation section. Can be changed.

また、表示部８１には、動画シークバー８６が設けられていてもよく、オペレータは、動画シークバー８６において、スライダー８６Ａを動かす操作を行うことで、基準動画再生部８２、および、対象動画再生部８３に表示された作業動画の再生位置を任意の位置に変更することができる。 Further, the display unit 81 may be provided with a moving image seek bar 86, and the operator may operate the moving slider 86A on the moving image seek bar 86 to move the reference moving image reproduction unit 82 and the target moving image reproduction unit 83. The playback position of the work video displayed in can be changed to any position.

また、表示部８１には、再生ボタン８７、停止ボタン８８、同調再生ボタン８９が設けられていてもよい。オペレータは、再生ボタン８７を選択する操作を行うことで、オペレータが選択した基準動画、および対象動画の少なくともいずれかの再生を開始することができる。また、オペレータは、停止ボタン８８を選択する操作を行うことで、再生が実行されている動画の再生を停止することができる。また、オペレータは、同調再生ボタン８９を選択する操作を行うことで、基準動画、および対象動画を、再生長さ、および、特徴量の少なくともいずれか一方によって同調させて再生させることができる。 Further, the display unit 81 may be provided with a play button 87, a stop button 88, and a synchronized play button 89. By performing an operation of selecting the play button 87, the operator can start playing at least one of the reference moving image and the target moving image selected by the operator. In addition, the operator can stop the playback of the moving image in which the playback is being executed by performing an operation of selecting the stop button 88. Further, the operator can perform an operation of selecting the synchronized reproduction button 89 to synchronize and reproduce the reference moving image and the target moving image according to at least one of the reproduction length and the feature amount.

〔分割時刻編集部１４０の処理〕
表示部８１に表示された動作分割タイムチャートに対する操作で、オペレータが対象動画の動作区間の分割時刻を変更する操作を行うと、当該操作に応じて、分割時刻編集部１４０は、取得部１１０を介して記憶装置７０から取得した分割情報における動作区間の分割時刻を、オペレータの操作に応じた時刻に書き換え、分割情報を編集する。分割時刻編集部１４０は、編集した分割情報を、記憶装置７０に送信する。 [Processing of division time editing unit 140]
When the operator changes the division time of the operation section of the target moving image in the operation for the operation division time chart displayed on the display unit 81, the division time editing unit 140 sets the acquisition unit 110 in response to the operation. The division time of the operation section in the division information acquired from the storage device 70 is rewritten to the time corresponding to the operation of the operator, and the division information is edited. The division time editing unit 140 transmits the edited division information to the storage device 70.

〔ソフトウェアによる実現例〕
動画出力装置１００の制御ブロック（特に動画選択部１２０、動画処理部１３０、および分割時刻編集部１４０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。 [Example of implementation by software]
Even if the control block of the moving image output device 100 (particularly, the moving image selection unit 120, the moving image processing unit 130, and the divided time editing unit 140) is realized by a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like. It may be realized by software.

後者の場合、動画出力装置１００は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。 In the latter case, the moving image output device 100 includes a computer that executes instructions of a program that is software that realizes each function. The computer includes, for example, one or more processors and a computer-readable recording medium that stores the program. Then, in the computer, the processor reads the program from the recording medium and executes the program, thereby achieving the object of the present invention. As the processor, for example, a CPU (Central Processing Unit) can be used. As the recording medium, a "non-temporary tangible medium", for example, a ROM (Read Only Memory) or the like, a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used. Further, a RAM (Random Access Memory) for expanding the above program may be further provided. Further, the program may be supplied to the computer via any transmission medium (communication network, broadcast wave, etc.) capable of transmitting the program. It should be noted that one aspect of the present invention can also be realized in the form of a data signal embedded in a carrier wave, in which the above program is embodied by electronic transmission.

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The present invention is not limited to the above-described embodiments, and various modifications can be made within the scope of the claims, and the embodiments obtained by appropriately combining the technical means disclosed in the different embodiments. Is also included in the technical scope of the present invention.

１動画出力システム
１０動作分析装置
２０作業動画分割処理部
３０特徴抽出処理部
４０動作自動分割処理部
５０作業動画記憶部
７０記憶装置
８０表示装置
１００動画出力装置
１１０取得部
１２０動画選択部
１３０動画処理部
１４０分割時刻編集部 1 Video output system 10 Motion analysis device 20 Work video division processing unit 30 Feature extraction processing unit 40 Operation automatic division processing unit 50 Work video storage unit 70 Storage device 80 Display device 100 Video output device 110 Acquisition unit 120 Video selection unit 130 Video processing Part 140 Divided time editing part

Claims

A video output device that outputs a video recording the movements of one or more workers.
Regarding the reference video and the target video whose output is to be changed, the division information including the time for dividing into a plurality of operation sections according to the type of work of the worker , and the reference video and the target video. An acquisition unit that acquires feature amount information indicating a time change of the feature amount that occurs in the operation section, and
It is equipped with a video processing unit that adjusts the playback speed and outputs the target video.
The moving image processing unit
(1) Based on the division information, the reproduction length of each operation section in the reference moving image and the reproduction length of each operation section in the target moving image corresponding to each operation section match. Adjust the playback speed of each of the above operating sections in the target video,
(2) The similarity of each point in the feature amount information in the operation section between the reference moving image and the target moving image is compared.
(3) A moving image output device that adjusts the reproduction speed between the points so that the time change of the feature amount is synchronized between the reference moving image and the target moving image within each of the operating sections .

The moving image output device according to claim 1, wherein the moving image processing unit performs display control for displaying the reference moving image and the target moving image whose playback speed is adjusted in synchronization with each operation section on the display device.

The moving image output device according to claim 1 or 2 , wherein the time change of the feature amount is a continuous time change of the value of the feature amount calculated from the reference moving image and the target moving image.

The moving image output device according to claim 1 or 2 , wherein the time change of the feature amount is a change in the occurrence timing of a predetermined event that occurs in the operation section.

The moving image output device according to any one of claims 1 to 4 , further comprising a moving image selection unit for selecting a target moving image to be output-changed.

The moving image output device according to any one of claims 1 to 5 , further comprising a division time editing unit for editing the division time of the operation section in the division information.

It is a video output method that outputs a video recording the movements of one or more workers.
Regarding the reference video and the target video whose output is to be changed, the division information including the time for dividing into a plurality of operation sections according to the type of work of the worker , and the reference video and the target video. The acquisition step of acquiring the feature amount information indicating the time change of the feature amount occurring in the operation section, and the acquisition step.
Includes a video processing step that adjusts the playback speed and outputs the target video.
The moving image processing step is
(1) Based on the division information, the reproduction length of each operation section in the reference moving image and the reproduction length of each operation section in the target moving image corresponding to each operation section match. Adjust the playback speed of each of the above operating sections in the target video,
(2) The similarity of each point in the feature amount information in the operation section between the reference moving image and the target moving image is compared.
(3) A moving image output method for adjusting the reproduction speed between the points so that the time change of the feature amount is synchronized between the reference moving image and the target moving image within each of the operating sections .

The moving image output program for making a computer function as the moving image output device according to claim 1, and the moving image output program for making the computer function as the moving image processing unit.

An motion analysis device that generates division information including a time for dividing into a plurality of motion sections according to the type of work of the worker with respect to a moving image recording the motion of one or a plurality of workers.
The moving image output device according to any one of claims 1 to 6 , and the moving image output device.
Video output system including.