JP6648930B2 - Editing device, editing method and program - Google Patents

Editing device, editing method and program Download PDF

Info

Publication number
JP6648930B2
JP6648930B2 JP2016071893A JP2016071893A JP6648930B2 JP 6648930 B2 JP6648930 B2 JP 6648930B2 JP 2016071893 A JP2016071893 A JP 2016071893A JP 2016071893 A JP2016071893 A JP 2016071893A JP 6648930 B2 JP6648930 B2 JP 6648930B2
Authority
JP
Japan
Prior art keywords
work
video
partial
partial video
representative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016071893A
Other languages
Japanese (ja)
Other versions
JP2017184139A (en
Inventor
邦洋 長谷川
邦洋 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016071893A priority Critical patent/JP6648930B2/en
Publication of JP2017184139A publication Critical patent/JP2017184139A/en
Application granted granted Critical
Publication of JP6648930B2 publication Critical patent/JP6648930B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、編集装置、編集方法及びプログラムに関する。   The present invention relates to an editing device, an editing method, and a program.

従来、複数の映像データを任意の区間毎に分割し、分割された各区間の部分映像を組み合わせたり、入れ替えたりして新たな映像データを作成する技術が知られている。特許文献1には、同じ事柄を説明した複数のニュース映像から共通のストーリーを作成し、そのストーリーに沿って再構成されたニュース映像を生成する技術が開示されている。また、特許文献2には、コンテンツの著作者達の元々の意図、つまりコンテンツの同一性をある程度保つようにコンテンツを入れ替え、映像データの編集を行う技術が開示されている。また、特許文献3には、放送コンテンツを受信する際にエラーが起きた場合、他の機器から受信したコンテンツを利用して修正を行う技術が開示されている。   2. Description of the Related Art Conventionally, a technique is known in which a plurality of pieces of video data is divided into arbitrary sections, and partial video in each of the divided sections is combined or replaced to create new video data. Patent Literature 1 discloses a technique for creating a common story from a plurality of news videos explaining the same matter and generating a news video reconstructed along the story. Further, Patent Literature 2 discloses a technique of editing video data by exchanging contents so as to maintain the original intentions of the authors of the contents, that is, the identity of the contents to some extent. Further, Patent Literature 3 discloses a technique in which, when an error occurs during reception of broadcast content, correction is performed using content received from another device.

特表2008−537627号公報JP 2008-537627 A 特開2007−207405号公報JP 2007-207405 A 特開2008−160698号公報JP 2008-160698 A

しかしながら、作業の教育など特定の目的のための映像を作成する場合、目的に応じた映像を選択するのが難しいという問題がある。例えば、複数の映像を編集して、1つの作業の教育の映像を作成する場合には、アングルが望ましくなく作業対象物が作業員の陰に隠れた部分映像が採用されてしまうという問題がある。また、他に作業内容がわかり易い映像があるにも関わらず、それ以外の部分映像が採用されてしまうという問題がある。また、このような映像の編集を手動で行うのは手間がかかるという問題もある。   However, when creating a video for a specific purpose such as work education, there is a problem that it is difficult to select a video according to the purpose. For example, when a plurality of videos are edited to create a video for education of one work, there is a problem that an angle is not desirable and a partial video in which a work target is hidden behind a worker is employed. . In addition, there is a problem that, although there is another image whose work content is easy to understand, another partial image is adopted. In addition, there is also a problem that it is troublesome to manually edit such a video.

本発明はこのような問題点に鑑みなされたもので、ユーザによる煩雑な作業を要することなく、適切な映像データの編集を行うことを目的とする。   The present invention has been made in view of such problems, and has as its object to perform appropriate editing of video data without requiring a complicated operation by a user.

そこで、本発明は、作業映像を編集する編集装置であって、作業に含まれる各工程の作業時間に基づいて、同一の作業に係る複数の作業映像それぞれから、各工程の部分映像を抽出する抽出手段と、作業内容を示す作業情報と、前記部分映像と、に基づいて、前記複数の作業映像それぞれから抽出された複数の部分映像の中から、各工程の代表部分映像を選択する選択手段と、前記選択手段により選択された各工程の前記代表部分映像を連結し、編集映像を生成する再構成手段とを有することを特徴とする。   Therefore, the present invention is an editing apparatus for editing a work video, and extracts a partial video of each process from each of a plurality of work videos related to the same work based on a work time of each process included in the work. Selecting means for selecting a representative partial video of each step from a plurality of partial videos extracted from each of the plurality of work videos based on the extracting means, the work information indicating the work content, and the partial video And a reconstructing unit that connects the representative partial images of the respective steps selected by the selecting unit and generates an edited video.

本発明によれば、ユーザによる煩雑な作業を要することなく、適切な映像データの編集を行うことができる。   According to the present invention, it is possible to perform appropriate editing of video data without requiring a complicated operation by a user.

映像管理システムを示す図である。It is a figure showing a picture management system. 編集装置のハードウェア構成を示す図である。FIG. 3 is a diagram illustrating a hardware configuration of an editing device. 編集装置のソフトウェア構成を示す図である。FIG. 3 is a diagram illustrating a software configuration of the editing device. 文書データの一例を示す図である。FIG. 3 is a diagram illustrating an example of document data. 編集映像の作成処理を示すフローチャートである。It is a flowchart which shows the preparation process of an edit video. 処理の説明図である。It is an explanatory view of a process. 編集映像の更新処理を示すフローチャートである。It is a flowchart which shows the update process of an edit video. 第2の実施形態に係る作成処理の一部を示すフローチャートである。It is a flow chart which shows a part of creation processing concerning a 2nd embodiment. 処理の説明図である。It is an explanatory view of a process.

以下、本発明の実施形態について図面に基づいて説明する。
図1は、第1の実施形態に係る映像管理システムを示す図である。映像管理システムは、画像を編集する編集装置100と、編集装置100とネットワークを介して接続する複数台のカメラ110と、を有している。各カメラ110は、作業者が作業をしている様子120の映像、すなわち作業映像を撮影する。各カメラ110により得られた作業映像は、編集装置100に記録される。編集装置100は、各カメラ110により得られた作業映像それぞれを複数の部分映像に分割し、部分映像を繋ぎ合わせる編集処理を行うことにより、編集映像を作成する。本実施形態に係る編集装置100は、作業映像の編集により、物品の製造工場の作業員の作業を教育するための教育映像を生成する。なお、カメラ110としては、教育映像を生成する用途で設けられたものではなく、例えば作業の監視等他の目的で設置されたものを用いることできる。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram illustrating a video management system according to the first embodiment. The video management system includes an editing device 100 for editing an image, and a plurality of cameras 110 connected to the editing device 100 via a network. Each camera 110 captures an image of a state 120 in which the worker is working, that is, a work image. The work video obtained by each camera 110 is recorded in the editing device 100. The editing apparatus 100 creates an edited video by dividing each of the working videos obtained by each camera 110 into a plurality of partial videos and performing an editing process of joining the partial videos. The editing device 100 according to the present embodiment generates an educational image for educating a worker in an article manufacturing factory by editing a work image. It should be noted that the camera 110 is not provided for the purpose of generating educational videos, but may be used for other purposes such as monitoring work.

図2は、編集装置100のハードウェア構成を示す図である。CPU201は、RAM206やROM207に格納されているコンピュータプログラムやデータを用いて処理を実行する。これによりCPU201は、編集装置100全体の動作制御を行うと共に、編集装置100が行うものとして後述する各処理を実行する。入力装置202は、ボタン群などのユーザインターフェースであり、ユーザが操作することで各種の入力を編集装置100に対して行うことができる。出力装置203は、液晶画面やスピーカなどにより構成されており、CPU201による処理結果を表示したり音声出力したりすることができる。なお、入力装置202によるユーザインターフェース機能と出力装置203による表示機能とを組み合わせてタッチパネル画面を構成しても構わない。   FIG. 2 is a diagram illustrating a hardware configuration of the editing device 100. The CPU 201 executes processing using computer programs and data stored in the RAM 206 and the ROM 207. In this way, the CPU 201 controls the operation of the entire editing apparatus 100 and executes each process described below as being performed by the editing apparatus 100. The input device 202 is a user interface such as a group of buttons, and can perform various inputs to the editing device 100 by operating the user. The output device 203 includes a liquid crystal screen, a speaker, and the like, and can display a processing result of the CPU 201 and output sound. The touch panel screen may be configured by combining the user interface function of the input device 202 and the display function of the output device 203.

通信装置204は、外部からのデータの入出力を受け付けるためのUSBポート、LANポートなどのインターフェースにより構成されている。通信装置204には、カメラ110や、作業映像や記録映像を記録したメディア等が接続され、処理対象データの入出力が行われる。   The communication device 204 includes an interface such as a USB port and a LAN port for receiving input / output of data from outside. The communication device 204 is connected to the camera 110, a medium on which a work video and a recorded video are recorded, and inputs and outputs processing target data.

記憶装置205は、ハードディスクドライブ装置やフラッシュメモリなどにより構成されている。記憶装置205には、OS(オペレーティングシステム)や、編集装置100が行うものとして後述する各処理をCPU201に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。以降の説明において、処理に用いる映像データや新たに作成した映像データの登録先は記憶装置205となる。記憶装置205に保存されているコンピュータプログラムやデータは、CPU201による制御に従って適宜RAM206にロードされ、CPU201による処理対象となる。   The storage device 205 includes a hard disk drive device, a flash memory, and the like. The storage device 205 stores an OS (Operating System) and computer programs and data for causing the CPU 201 to execute or control each process to be described later that the editing device 100 performs. In the following description, the storage destination of the video data used for the process and the newly created video data is the storage device 205. The computer programs and data stored in the storage device 205 are appropriately loaded into the RAM 206 under the control of the CPU 201 and are processed by the CPU 201.

RAM206は、記憶装置205からロードされたコンピュータプログラムやデータを格納するためのエリアを有する。更にRAM206は、CPU201が各種の処理を実行する際に用いるワークエリアを有する。このようにRAM206は、各種のエリアを適宜提供することができる。ROM207には、編集装置100の設定データや起動プログラムなど、書き換え不要なコンピュータプログラムやデータが保存されている。なお、後述する編集装置100の機能や処理は、CPU201がROM207又は記憶装置205に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。CPU201、入力装置202、出力装置203、通信装置204、記憶装置205、RAM206、ROM207は何れもバス(BUS)208に接続されている。   The RAM 206 has an area for storing computer programs and data loaded from the storage device 205. Further, the RAM 206 has a work area used when the CPU 201 executes various processes. As described above, the RAM 206 can appropriately provide various areas. The ROM 207 stores computer programs and data that do not need to be rewritten, such as setting data and a startup program of the editing apparatus 100. Note that the functions and processing of the editing device 100 described later are realized by the CPU 201 reading out a program stored in the ROM 207 or the storage device 205 and executing the program. The CPU 201, the input device 202, the output device 203, the communication device 204, the storage device 205, the RAM 206, and the ROM 207 are all connected to a bus (BUS) 208.

図3は、編集装置100のソフトウェア構成を示す図である。文書取得部300は、文書を取得する。具体的には、文書取得部300は、編集装置100が作成対象とする編集映像、すなわち教育映像における教育内容となる作業の工程表と、作業標準書を文書として取得する。図4(a)は、工程表の一例を示す図である。工程表401には、工程番号(No)と、工程における作業内容と、工程の所要時間と、が記されている。また、図4(b)は、作業標準書の一例を示す図である。作業標準書は、工程毎の作業内容を示す文章の他、工程に係る写真や図等を含むデータである。作業標準書は、編集装置100が編集対象とする編集映像の視聴対象者となる学習者が一通りの作業を覚えるために読む文書である。なお、文書取得部300は、各文書が電子文書である場合には、そのまま取得すればよく、紙等をスキャンしたものである場合には、OCRによる文字認識によりその内容を取得する。なお、作業標準書は、作業内容を示す作業情報の一例である。   FIG. 3 is a diagram illustrating a software configuration of the editing device 100. The document acquisition unit 300 acquires a document. Specifically, the document acquiring unit 300 acquires, as a document, an edited video to be created by the editing apparatus 100, that is, a process table of work to be educational contents in an educational video and a work standard. FIG. 4A is a diagram illustrating an example of a process chart. In the process table 401, a process number (No), work contents in the process, and a required time of the process are described. FIG. 4B is a diagram illustrating an example of a work standard document. The work standard document is data including a photograph, a drawing, and the like related to the process, in addition to a sentence indicating the work content for each process. The work standard book is a document read by a learner who is a viewer of an edited video to be edited by the editing apparatus 100 so as to learn a series of work. When each document is an electronic document, the document acquiring unit 300 may acquire the content as it is. When the document is a scanned document such as paper, the document acquiring unit 300 acquires the content by OCR character recognition. The work standard document is an example of work information indicating work contents.

図3に戻り、解析部301は、文書取得部300が取得した文書データに記載された内容を解析する。解析部301は、例えば工程表に応じて、作業映像を工程に応じた部分映像に分割するための区間を決定する。解析部301はまた、作業標準書に応じて、各区間において教育に適した映像か否かの判断条件を定める。変更認識部302は、文書取得部300が取得した文書データの解析結果に応じて、工程表又は作業標準書に変更があったか否かを認識する。映像取得部303は、各カメラ110により撮影された映像をリアルタイムに取得する。なお、他の例としては、映像取得部303は、過去に撮影された映像をメディア等から取得してもよい。   Returning to FIG. 3, the analysis unit 301 analyzes the content described in the document data acquired by the document acquisition unit 300. The analysis unit 301 determines, for example, a section for dividing the work video into the partial video corresponding to the process according to the process chart. The analysis unit 301 also determines conditions for determining whether or not the video is suitable for education in each section according to the work standard document. The change recognizing unit 302 recognizes whether or not there has been a change in the process chart or the work standard according to the analysis result of the document data acquired by the document acquiring unit 300. The image acquisition unit 303 acquires an image captured by each camera 110 in real time. As another example, the video acquisition unit 303 may acquire a video captured in the past from a medium or the like.

抽出部304は、工程表の解析結果に基づいて、各作業映像から作業に含まれる1工程に対応する区間を単位とする部分映像を抽出する。スコア算出部305は、抽出部304により得られた各部分映像のスコアを算出する。選択部306は、作業に含まれる各工程に対応する映像として再構成に用いる代表部分映像を選択する。再構成部307は、選択部306により得られた複数の代表部分映像を工程の実行順番に従って繋ぎ合わせることにより、作業内容を教示するための編集映像を生成する。   The extracting unit 304 extracts a partial video in units of a section corresponding to one process included in the work from each work video based on the analysis result of the process table. The score calculation unit 305 calculates the score of each partial video obtained by the extraction unit 304. The selection unit 306 selects a representative partial image used for reconstruction as an image corresponding to each step included in the work. The reconstructing unit 307 generates an edited video for teaching work contents by joining the plurality of representative partial videos obtained by the selecting unit 306 in accordance with the execution order of the steps.

図5は、編集装置100による編集映像の作成処理を示すフローチャートである。まず、S500において、文書取得部300は、工程表を取得し、その記載内容を解釈する。文書取得部300は、具体的には、撮影対象となる作業に含まれる工程数、各工程の内容、各工程の所要時間を特定する。次に、S501において、解析部301は、工程を1つ選択する。S501において選択された工程が処理対象として以下の処理が実行される。次に、S502において、解析部301は、作業標準書を取得し、その記載内容を解析し、選択中の工程の詳細な作業内容を特定する。解析部301は、例えば、選択中の工程で使用する部品や工具等のオブジェクト、選択中の工程で行われる作業員の動作内容、部品の動き、等を特定する。   FIG. 5 is a flowchart showing a process of creating an edited video by the editing apparatus 100. First, in S500, the document obtaining unit 300 obtains a process chart and interprets the description. Specifically, the document acquisition unit 300 specifies the number of steps included in the work to be imaged, the content of each step, and the time required for each step. Next, in S501, the analysis unit 301 selects one process. The following process is executed with the process selected in S501 as a process target. Next, in step S502, the analysis unit 301 acquires a work standard document, analyzes the contents of the work standard document, and specifies detailed work contents of the selected process. The analysis unit 301 specifies, for example, an object such as a part or a tool used in a selected process, an operation content of a worker performed in the selected process, a component movement, and the like.

次に、S503において、映像取得部303は、1台のカメラ110により得られた1つの作業映像を取得する。そして、映像取得部303は、取得した作業映像から、S500において取得された工程表401に示される、選択中の工程の工程番号及び所要時間に基づいて、選択中の工程に対応する部分映像にマージンを設けて、部分映像を抽出する。そして、映像取得部303は、マージンを含む部分映像を対象に内容を解析する。なお、工程表から定まる選択中の工程の所要時間と、実際の作業時間との差が蓄積し、想定された時間からずれが生じている可能性がある。そこで、抽出部304は、想定される期間の前後に一定時間のマージンを設けて部分映像を抽出し、これを解析対象とする。   Next, in S503, the video acquisition unit 303 acquires one work video obtained by one camera 110. Then, the video acquisition unit 303 converts the acquired work video into a partial video corresponding to the selected process based on the process number and the required time of the currently selected process shown in the process table 401 acquired in S500. A margin is provided and a partial image is extracted. Then, the video acquisition unit 303 analyzes the content of the partial video including the margin. It should be noted that the difference between the required time of the selected process determined from the process chart and the actual work time is accumulated, and there is a possibility that a difference from the estimated time has occurred. Thus, the extraction unit 304 extracts a partial video with a certain time margin before and after the assumed period, and extracts the partial video as an analysis target.

映像取得部303は、例えば、選択中の工程で使用する部品、選択中の工程で行われる作業員の動作、等を特定する。なお、S503における映像の内容解析においては、映像取得部303は、例えばパターンマッチングや、局所的な特徴量を利用したマッチング等を利用する。なお、認識対象とする動きは画像から認識できる動きの大きなもの、例えばドライバでネジを留める、といったものとする。   The video acquisition unit 303 specifies, for example, components used in the selected process, operations of the worker performed in the selected process, and the like. In the content analysis of the video in S503, the video acquisition unit 303 uses, for example, pattern matching, matching using a local feature amount, or the like. The motion to be recognized is a motion that can be recognized from the image, for example, a screw is fastened with a screwdriver.

次に、S504において、抽出部304は、映像取得部303により得られたマージンが設けられた部分映像からマージンを除いた部分映像を抽出する。S504においてマージンを除くのは、再構成(編集)に利用する部分映像を得るためである。マージンを残したままにすると、再構成後の映像において、手順毎のつなぎ目で内容の被りが生じ、見難くなる。これを避けるべく、マージンを取り除くこととする。   Next, in S504, the extraction unit 304 extracts a partial video obtained by removing the margin from the partial video provided with the margin obtained by the video acquisition unit 303. The reason for removing the margin in S504 is to obtain a partial video used for reconstruction (editing). If the margin is left, the content of the reconstructed image will be blurred at the joint of each procedure, making it difficult to see. To avoid this, margins will be removed.

また、抽出部304は、作業標準書402に記載された内容と、S503において映像から特定した作業者の動きや、工程で使用される部品等に基づいた対応付けを行うことにより、選択中の工程の開始位置を特定する。抽出部304は、認識可能な程度の大きな動きがない等、自動での判断に失敗した場合には、ユーザ操作に応じて、部分映像を抽出してもよい。S504の処理は、作業映像から、各工程の部分映像を抽出する抽出処理の一例である。   Further, the extraction unit 304 associates the contents described in the work standard 402 with the movement of the worker identified from the video in S503, the parts used in the process, etc. Specify the start position of the process. The extraction unit 304 may extract a partial video in response to a user operation when the automatic determination has failed, for example, when there is no recognizable large movement. The process of S504 is an example of an extraction process of extracting a partial video of each process from a work video.

次に、S505において、映像取得部303は、未処理の映像が存在するか否かを確認し、未処理の映像がある場合には(S505でYes)、処理をS503に進める。S503において、映像取得部303は、未処理の映像を取得し、以降の処理が継続する。例えば、3台のカメラ110の映像を対象とする場合には、3台のカメラ110の映像に対し、S503、S504の処理を繰り返す。映像取得部303は、すべての映像に対し、S503、S504の処理が完了すると(S505でNo)、処理をS506へ進める。   Next, in S505, the video acquisition unit 303 checks whether there is an unprocessed video, and if there is an unprocessed video (Yes in S505), the process proceeds to S503. In step S503, the video acquisition unit 303 acquires an unprocessed video, and the subsequent processing is continued. For example, when the images of the three cameras 110 are targeted, the processes of S503 and S504 are repeated for the images of the three cameras 110. When the processes of S503 and S504 are completed for all the videos (No in S505), the video acquisition unit 303 advances the process to S506.

S506において、スコア算出部305は、S504において、選択中の工程に対して各映像から抽出された部分映像それぞれのスコアを算出する。スコアは、各部分映像が生成対象の編集映像の、作業教育という目的に対して適した映像か否かの評価値である。スコア算出部305は、作業標準書に示される、工程で使用される物品、作業員の動作内容が、部分映像に含まれているかどうかの認識結果に基づいてスコアを算出する。さらに、本実施形態においては、スコア算出部305は、作業標準書402に示される画像と一定基準以上類似した映像が映っている時間を用いる。これは、類似している時間が長ければ、作業員や道具等によるオクルージョンが起きずに作業対象が映っている時間が長い可能性が高いと考えられるためである。   In S506, the score calculation unit 305 calculates the score of each partial video extracted from each video for the process being selected in S504. The score is an evaluation value as to whether each partial video is a video suitable for the purpose of work education of the edited video to be generated. The score calculation unit 305 calculates a score based on a recognition result indicating whether or not the article used in the process and the operation content of the worker, which are indicated in the work standard, are included in the partial video. Further, in the present embodiment, the score calculation unit 305 uses a time during which an image similar to the image shown in the work standard document 402 by a certain reference or more is displayed. This is because if the similar time is long, it is considered that there is a high possibility that the work target is displayed without occlusion by a worker or a tool or the like for a long time.

ここで、配慮が必要な点が2つある。1点目は作業者の手や画像に差し込まれたタグ・指示等によってオクルージョンが発生する可能性がある点、2点目は作業者映像内において類似したシーンが存在することがあるという点である。スコア算出部305は、1点目に対応すべく、認識時に同一と判断する類似度の閾値を、他の目的、例えば個人認証等で用いられる際の値よりも低くする。   Here, there are two points that need to be considered. The first point is that occlusion may occur due to the operator's hand or tags or instructions inserted in the image, and the second point is that similar scenes may exist in the worker image. is there. In order to correspond to the first point, the score calculation unit 305 sets a threshold value of the similarity that is determined to be the same at the time of recognition to be lower than a value used for another purpose, for example, personal authentication or the like.

また、スコア算出部305は、2点目に対応すべく、選択中の工程、すなわち処理対象の工程以外の他の工程に対応する画像と比較し、差異が大きいものを利用する。これにより、誤認識の確率を減らすことができる。基本的に作業標準書402の画像と、部分映像の内容は対応している。このため、作業標準書402内で他の工程の画像との差異が大きい画像であれば部分映像との比較においても、同様に対応する工程以外の工程の部分映像との差異が大きいと考えられるため、上記の方法を取ることができる。また、作業標準書402に掲載されている画像は、物品の一部の拡大画像の場合もある。この場合、部分映像の一部分がこの拡大画像に対応している場合があり得る。そこで、スコア算出部305は、画像のサイズ変化に頑健なマッチング手法、例えば局所特徴量を用いて映像中のマッチング部分を探索することとする。   In addition, the score calculation unit 305 uses an image having a large difference as compared with an image corresponding to a process other than the process being selected, that is, a process to be processed, in order to correspond to the second point. Thereby, the probability of erroneous recognition can be reduced. Basically, the image of the work standard 402 corresponds to the content of the partial video. For this reason, if the image in the work standard document 402 has a large difference from the image in the other process, the difference from the partial image in the process other than the corresponding process is also considered to be large in the comparison with the partial video. Therefore, the above method can be adopted. Further, the image published in the work standard 402 may be an enlarged image of a part of the article. In this case, a part of the partial video may correspond to the enlarged image. Therefore, the score calculation unit 305 searches for a matching portion in the video using a matching method that is robust to a change in the size of the image, for example, using a local feature amount.

次に、S507において、選択部306は、スコアに基づいて、各作業映像から抽出された複数の部分映像の中から、選択中の工程の代表部分映像を選択する(選択処理)。本実施形態においては、選択部306は、スコアが最高値を示す部分映像を、代表部分映像として選択する。選択部306は、同一スコアの部分映像が複数存在する場合、以下に示す複数の処理により部分映像が1つになるまで絞り込みを行う。すなわち、選択部306は、スコアが最高値を示す複数の部分映像の中から、一つ前の工程に対して選択された部分映像を含む作業映像から抽出された部分映像を選択する。次に、選択部306は、部分映像の選択の判断を保留し、次の工程に対して選択された部分映像を含む作業映像から抽出された部分映像を選択する。次に、選択部306は、処理対象の工程より前の工程で選ばれた回数が多い作業映像から抽出された部分映像を選択する。最後に、選択部306は、ランダムに、又はユーザ操作に応じて部分映像を選択する。   Next, in S507, the selection unit 306 selects a representative partial video of the selected process from the plurality of partial videos extracted from each work video based on the score (selection process). In the present embodiment, the selection unit 306 selects a partial video having the highest score as a representative partial video. When there are a plurality of partial videos having the same score, the selection unit 306 narrows down the number of partial videos to one by a plurality of processes described below. That is, the selection unit 306 selects a partial video extracted from the working video including the partial video selected for the immediately preceding process from among the plurality of partial videos having the highest score. Next, the selection unit 306 suspends the determination of the selection of the partial video and selects the partial video extracted from the work video including the partial video selected for the next step. Next, the selection unit 306 selects a partial video extracted from a work video having a large number of times selected in a process before the process to be processed. Finally, the selection unit 306 selects a partial video at random or in response to a user operation.

次に、S508において、解析部301は、未処理の工程が存在するか否かを確認し、未処理の工程が存在する場合には(S508でYes)、処理をS501へ進める。S501において、解析部301は、未選択の工程を1つ選択し、以降の処理が継続する。例えば、作業に4つの工程が含まれる場合、4つの工程それぞれに対し、S501〜S507の処理が行われ、各工程に対し、代表部分映像が選択される。解析部301は、すべての工程に対する処理が完了すると(S508でNo)、処理をS509へ進める。   Next, in S508, the analysis unit 301 checks whether or not there is an unprocessed process. If there is an unprocessed process (Yes in S508), the process proceeds to S501. In S501, the analysis unit 301 selects one unselected step, and the subsequent processing is continued. For example, if the work includes four steps, the processes of S501 to S507 are performed for each of the four steps, and a representative partial image is selected for each step. When the processes for all the processes are completed (No in S508), the analysis unit 301 advances the process to S509.

S509において、再構成部307は、各工程に対して選択された代表部分映像を連結して編集映像を作成する。図6は、S509の処理の説明図である。各作業映像(候補映像A〜X)の部分映像に対し、ステップS506においてスコアが算出され、スコア最高値の部分映像が代表部分映像として選択される。図6においては、代表部分映像を太枠で示している。再構成部307は、太枠で示す代表部分映像を繋ぎ合わせることにより、編集映像を作成する。再構成部307はまたこの際、どの期間がどの工程に対応するかを、例えば編集データ中にメタデータとして記録しておく。   In step S <b> 509, the reconstructing unit 307 creates an edited video by linking the representative partial videos selected for each process. FIG. 6 is an explanatory diagram of the processing of S509. In step S506, a score is calculated for the partial video of each work video (candidate video A to X), and the partial video having the highest score is selected as a representative partial video. In FIG. 6, the representative partial video is indicated by a thick frame. The reconstructing unit 307 creates an edited video by joining the representative partial videos indicated by the thick frames. At this time, the reconstructing unit 307 also records which period corresponds to which process, for example, as metadata in the edited data.

図5に戻り、S509の処理の後、S510において、再構成部307は、作成した編集映像を分割する。これは、作成した編集映像に含まれている作業を複数人物で行う場合に、映像の取り扱いをし易くするためのものである。再構成部307は、具体的には、工程表401に記載されている各作業員の担当範囲に基づいて、編集映像を分割する。なお、1人の作業員がすべての工程を行う場合には、S510の処理は不要である。また、分割する必要はないと作業員が判断する場合も考えられるので、その場合もこのS510の処理は不要である。すなわち、S510の処理は省略することができる。以上で、編集映像の作成処理が終了する。   Referring back to FIG. 5, after the processing of S509, in S510, the reconstructing unit 307 divides the created edited video. This is for facilitating the handling of the video when the work included in the created edited video is performed by a plurality of persons. Specifically, the reconstructing unit 307 divides the edited video based on the assigned range of each worker described in the process chart 401. When one worker performs all the processes, the process of S510 is unnecessary. In addition, there is a case where the worker determines that there is no need to divide the image. Therefore, in such a case, the process of S510 is unnecessary. That is, the process of S510 can be omitted. Thus, the editing video creation processing ends.

このように、編集装置100は、複数の映像それぞれを特定の区間に区切り、各区間において最も教育に向いていると判定された部分映像を代表部分映像として選択する。そして、編集装置100は、代表部分映像を繋ぎ合わせて編集映像を作成する。これにより、映像作成者の作業負担を減らすことができる。   As described above, the editing device 100 divides each of the plurality of videos into specific sections, and selects a partial video determined to be most suitable for education in each section as a representative partial video. Then, the editing device 100 creates an edited video by joining the representative partial videos. Thereby, the work load on the video creator can be reduced.

図7は、編集映像の更新処理を示すフローチャートである。工場等の作業においては、作成製品の変更等により作業内容が頻繁に変わる可能性がある。しかし、全ての工程が変更されるわけではない。この場合に教育映像を一から作り直すのは手間がかかるので、必要な部分のみ更新するのが望ましい。更新処理は、この必要な部分を更新する処理である。   FIG. 7 is a flowchart showing the editing video update process. In a work in a factory or the like, the work content may frequently change due to a change in a product to be created. However, not all steps are changed. In this case, it is troublesome to recreate the educational video from scratch, so it is desirable to update only necessary parts. The update process is a process for updating this necessary part.

S700において、変更認識部302は、作業標準書402が更新されたか否かを認識する。変更認識部302は、文書取得部300が作業標準書402を取得すると、前回の作業標準書402の内容との差分を求めることにより、更新(変更)の有無を認識する。これは、作業が変更になれば必ず作業標準書402も変更されることを利用するものである。勿論、工程表401も更新および取得されるが、ページの入れ替えが発生する分更新されたことが分かりやすいと判断し、作業標準書402をトリガとすることとしている。   In S700, the change recognition unit 302 recognizes whether the work standard document 402 has been updated. When the document acquiring unit 300 acquires the work standard 402, the change recognizing unit 302 determines whether there is an update (change) by obtaining a difference from the content of the previous work standard 402. This utilizes the fact that the work standard 402 is also changed whenever the work is changed. Of course, the process chart 401 is also updated and acquired. However, it is determined that it is easy to understand that the update has been performed due to the occurrence of the page replacement, and the work standard 402 is used as a trigger.

変更認識部302は、更新されたと認識した場合には(S700でYes)、処理を701へ進める。S701において、抽出部304は、編集映像において、変更認識部302により特定された更新に対応する工程を1つ選択する。以下、S701において選択された工程を更新対象工程と称する。次に、S702において、抽出部304は、編集映像から更新対象工程に対応する部分映像を抽出する。次に、S703において、CPU201は、S502〜S507の処理と同じ処理を行うことにより、部分映像を選択する。なお、S703において選択された部分映像は、編集映像の更新に用いられる。以下、S703において選択された部分映像を代替部分映像と称する。   If the change recognizing unit 302 recognizes that it has been updated (Yes in S700), the process proceeds to 701. In step S701, the extraction unit 304 selects one process corresponding to the update specified by the change recognition unit 302 in the edited video. Hereinafter, the process selected in S701 is referred to as an update target process. Next, in S702, the extraction unit 304 extracts a partial video corresponding to the update target process from the edited video. Next, in step S703, the CPU 201 selects a partial image by performing the same processing as the processing in steps S502 to S507. The partial video selected in S703 is used for updating the edited video. Hereinafter, the partial video selected in S703 is referred to as a substitute partial video.

次に、S704において、CPU201は、更新に対応する工程のうち、S702、S703の処理が行われていない未処理の工程が存在するか否かを確認し、未処理の工程が存在する場合には(S704でYes)、処理をS701へ進める。CPU201は、更新に対応するすべての工程に対し処理が完了した場合には(S704でNo)、処理をS705へ進める。S705において、再構成部307は、代替部分映像を用いて新たな編集映像を作成する。   Next, in step S704, the CPU 201 checks whether or not there is an unprocessed process in which the processes of S702 and S703 are not performed among the processes corresponding to the update. (Yes in S704), the process proceeds to S701. If the processing has been completed for all the processes corresponding to the update (No in S704), the CPU 201 advances the processing to S705. In step S705, the reconstruction unit 307 creates a new edited video using the substitute partial video.

S705における基本的な処理は、S509の処理と同様である。但し、再構成部307は、更新のない部分については、元の映像をそのまま用い、更新した部分のみ新たに選択した代替部分映像を使用する。すなわち、再構成部307は、更新に係る区間の映像を代替部分映像に置き換える。また、再構成部307は、各工程に対応する期間が変更される可能性があるため、各工程の記録期間情報も合わせて更新する。その後、再構成部307は、S706において、編集映像の分割処理を行う。本処理は、S510の処理と同様の処理である。このように、編集装置100は、更新処理により、作業の更新に応じて、編集映像の一部だけを入れ替えることにより編集映像を更新することができる。これにより、映像作成者の作業負担を減らすことができる。   The basic processing in S705 is the same as the processing in S509. However, the reconstructing unit 307 uses the original video as it is for the portion that is not updated, and uses the newly selected alternative partial video only for the updated portion. That is, the reconstruction unit 307 replaces the video in the section related to the update with the substitute partial video. In addition, since the period corresponding to each process may be changed, the reconfiguration unit 307 updates the recording period information of each process together. After that, in step S706, the reconstruction unit 307 performs a process of dividing the edited video. This processing is similar to the processing of S510. As described above, the editing apparatus 100 can update the edited video by replacing only a part of the edited video according to the update of the work by the update process. Thereby, the work load on the video creator can be reduced.

以上のように、第1の実施形態に係る編集装置100は、ユーザによる煩雑な作業を要することなく、適切な映像データの編集を行うことができる。   As described above, the editing device 100 according to the first embodiment can perform appropriate editing of video data without requiring a complicated operation by a user.

(第2の実施形態)
次に、第2の実施形態に係る映像管理システムについて説明する。以下、第2の実施形態に係る映像管理システムについて、第1の実施形態に係る映像管理システムと異なる点について説明する。図8は、第2の実施形態に係る編集装置100による作成処理の一部を示すフローチャートである。第2の実施形態に係る更新処理は、図5に示すS500〜S506の処理の後、図8に示すS800〜S806の処理に続き、その後、図5に示すS508以降の処理に続く処理である。以下、第2の実施形態に係る編集装置100による更新処理について説明する。
(Second embodiment)
Next, a video management system according to a second embodiment will be described. Hereinafter, the differences between the video management system according to the second embodiment and the video management system according to the first embodiment will be described. FIG. 8 is a flowchart illustrating a part of the creation processing by the editing device 100 according to the second embodiment. The update process according to the second embodiment is a process that follows the processes of S500 to S506 illustrated in FIG. 5, continues to the processes of S800 to S806 illustrated in FIG. . Hereinafter, an update process performed by the editing device 100 according to the second embodiment will be described.

S506の処理の後、CPU201は処理を図8のS800へ進める。S800において、CPU201は、スコアの最高値が閾値以上か否かを判定する。CPU201は、最高値が閾値未満の場合には(S800でNo)、処理を図5のS508へ進める。すなわち、CPU201は、処理対象の区間に対し代表部分映像の選択を行うことなく、次の工程についてのS501からの処理を開始する。一方、CPU201は、最高値が閾値以上の場合には(S800でYes)、処理をS801へ進める。   After the processing in S506, the CPU 201 advances the processing to S800 in FIG. In S800, the CPU 201 determines whether or not the highest score is equal to or greater than a threshold. If the highest value is less than the threshold value (No in S800), CPU 201 advances the process to S508 in FIG. That is, the CPU 201 starts the processing from S501 for the next step without selecting a representative partial image for the section to be processed. On the other hand, if the highest value is equal to or larger than the threshold (Yes in S800), the CPU 201 advances the processing to S801.

S801において、選択部306は、スコア最高値の部分映像を代表部分映像として選択する。本処理は、S507の処理と同様の処理である。次に、S802において、スコア算出部305は、処理対象の工程の直前の工程に対する代表部分映像が選択されているか否かを確認する。スコア算出部305は、直前の工程の代表部分映像が選択済みの場合には(S802でYes)、処理をS508へ進める。一方、スコア算出部305は、直前の工程の代表部分映像が選択されていない場合には(S802でNo)、処理をS803へ進める。   In S801, the selection unit 306 selects a partial video having the highest score as a representative partial video. This processing is similar to the processing of S507. Next, in S802, the score calculation unit 305 checks whether or not the representative partial video for the process immediately before the process to be processed has been selected. If the representative partial video of the immediately preceding process has been selected (Yes in S802), the score calculation unit 305 advances the process to S508. On the other hand, when the representative partial video of the immediately preceding process has not been selected (No in S802), the score calculation unit 305 advances the processing to S803.

S803において、選択部306は、直前映像を処理対象とし、直前映像の前後の代表映像が同一作業映像から抽出されたものか否かを確認する。選択部306は、直前映像の前後の代表部分映像が同一作業映像から抽出されたものである場合には(S803でYes)、処理をS804へ進める。選択部306は、直前映像の前後の代表部分映像が同一作業映像から抽出されたものでない場合には(S803でNo)、処理をS805へ進める。   In step S <b> 803, the selection unit 306 sets the immediately preceding image as a processing target, and checks whether the representative images before and after the immediately preceding image are extracted from the same work image. If the representative partial video before and after the immediately preceding video is extracted from the same work video (Yes in S803), the selection unit 306 advances the process to S804. If the representative partial video before and after the immediately preceding video is not extracted from the same work video (No in S803), the selection unit 306 advances the process to S805.

S804において、選択部306は、直前の工程の前後の工程の代表部分映像に対応する作業映像から抽出された部分映像を、直前の工程に対する代表部分映像として選択し、その後処理をS508へ進める。一方、S805において、選択部306は、直前の工程の前の工程でスコアが最高値となった作業映像における、直前の工程の前の工程のスコアと、直前の工程の後の工程の部分映像のスコアと、の合計値を算出する。同様に、選択部306は、直前の工程の後の工程でスコアが最高となった作業映像における、直前の工程の後の工程のスコアと、直前の工程の前の工程のスコアと、の合計値を算出する。次に、S806において、選択部306は、S805において算出した合計値が大きい方の作業映像から抽出された部分映像を、直前の工程に対する代表部分映像として選択し、その後処理をS508へ進める。   In S804, the selection unit 306 selects a partial video extracted from the working video corresponding to the representative partial video of the process before and after the immediately preceding process as a representative partial video for the immediately preceding process, and then proceeds to S508. On the other hand, in step S805, the selection unit 306 determines the score of the step before the immediately preceding step and the partial image of the step after the immediately preceding step in the work video having the highest score in the step before the immediately preceding step. The total value of the score and is calculated. Similarly, the selection unit 306 determines the sum of the score of the step after the immediately preceding step and the score of the step before the immediately preceding step in the work video having the highest score in the step after the immediately preceding step. Calculate the value. Next, in S806, the selection unit 306 selects the partial video extracted from the work video with the larger total value calculated in S805 as the representative partial video for the immediately preceding process, and then proceeds to S508.

例えば、図9(a)に示すように、直前の工程nに対し、前の工程「工程n−1」については、作業映像「候補映像D」の部分映像のスコア80が最高値となり、候補映像Dの部分映像が代表部分映像として選択されているとする。また、後の工程「工程n+1」についても、作業映像「候補映像D」の部分映像のスコア85が最高値となり、候補映像Dの部分映像が代表部分映像として選択されているとする。この場合、前後の工程の代表部分映像に対応する作業映像が同一となるため、直前の工程nに対しても、候補映像Dの部分映像が代表部分映像として選択される。   For example, as shown in FIG. 9A, the score 80 of the partial video of the work video “candidate video D” has the highest value in the previous process “process n−1” with respect to the immediately preceding process n, and It is assumed that the partial video of the video D is selected as the representative partial video. Also, in the subsequent step “step n + 1”, it is assumed that the partial image score 85 of the working video “candidate video D” has the highest value, and the partial video of the candidate video D is selected as the representative partial video. In this case, since the work images corresponding to the representative partial images of the preceding and succeeding processes are the same, the partial image of the candidate video D is also selected as the representative partial image for the immediately preceding process n.

一方、図9(b)の示すように、直前の工程nに対し、前の工程「n−1」については、作業映像「候補映像F」の部分映像のスコア80が最高値となり、候補映像Fの部分映像が代表部分映像として選択されているとする。また、後の工程「工程n+1」については、作業映像「候補映像G」の部分映像のスコア85が最高値となり、候補映像Gの部分映像が代表部分映像として選択されているとする。この場合、前後の工程の代表部分映像に対応する作業映像が異なるため、候補映像F及び候補映像Gそれぞれのスコア合計値が算出される。そして、図9(b)の例では、合計値が大きい作業映像は候補映像Fであるため、候補映像Fの部分映像が、直前の工程nの代表部分映像として選択される。   On the other hand, as shown in FIG. 9B, the score 80 of the partial video of the work video “candidate video F” has the highest value in the previous process “n−1” with respect to the immediately preceding process n, and It is assumed that the partial image of F is selected as the representative partial image. In the subsequent step “step n + 1”, it is assumed that the score 85 of the partial video of the working video “candidate video G” has the highest value, and the partial video of the candidate video G is selected as the representative partial video. In this case, since the work videos corresponding to the representative partial videos in the preceding and succeeding processes are different, the total score of the candidate videos F and G is calculated. Then, in the example of FIG. 9B, since the work video having the large total value is the candidate video F, the partial video of the candidate video F is selected as the representative partial video of the immediately preceding process n.

ここで、S803において、直前映像の前後の代表部分映像が同一作業映像から抽出されたものでない場合には(S803でNo)の他の例について説明する。この場合、選択部306は、ユーザ操作に応じて、前後の工程のうち何れか一方の工程の代表部分映像に対応する作業映像の部分映像を、直前の工程に対する代表部分映像として選択してもよい。なお、第2の実施形態に係る映像管理システムのこれ以外の構成及び処理は、第1の実施形態に係る映像管理システムの構成及び処理と同様である。   Here, in S803, if the representative partial images before and after the immediately preceding image are not extracted from the same work image (No in S803), another example will be described. In this case, the selection unit 306 may select the partial video of the work video corresponding to the representative partial video of one of the preceding and following processes as the representative partial video for the immediately preceding process in accordance with the user operation. Good. Other configurations and processes of the video management system according to the second embodiment are the same as those of the video management system according to the first embodiment.

また、本実施形態においては、処理対象の工程(直前の工程)の前後の工程の代表部分映像に基づいて、処理対象の工程の代表部分映像を選択したが、参照する工程は前後の工程に限定されるものではない。他の例としては、処理対象の工程以外の他の工程のうち、既に代表部分映像が選択されている工程を参照してもよい。   In the present embodiment, the representative partial video of the process to be processed is selected based on the representative partial video of the process before and after the process to be processed (the immediately preceding process). It is not limited. As another example, among other processes other than the process to be processed, a process in which the representative partial video has already been selected may be referred to.

第1の実施形態において説明したように、編集装置100は、スコア算出の際には、オクルージョンの発生等を考慮している。しかし、それでもすべての部分映像のスコアが一定基準を満たさない可能性もある。また、そもそも作業標準書402に基準とすべき画像がふくまれないことも考えられる。これに対し、第3の実施形態の編集装置100は、作業標準書402に記載の画像と同じ部分が作業映像群にほとんど映っていない場合や、作業標準書402においてある工程に対する画像が含まれていない場合でも、代表映像を適切に選択することができる。すなわち、第3の実施形態の編集装置100は、このような場合においても、適切な映像データの編集を行うことができる。   As described in the first embodiment, the editing device 100 considers the occurrence of occlusion and the like when calculating the score. However, there is still a possibility that the scores of all the partial videos do not satisfy a certain standard. It is also conceivable that an image to be a reference is not included in the work standard 402 in the first place. On the other hand, the editing apparatus 100 according to the third embodiment includes a case where the same part as the image described in the work standard 402 is hardly reflected in the work video group, and an image corresponding to a certain process in the work standard 402 is included. If not, the representative video can be appropriately selected. That is, the editing apparatus 100 of the third embodiment can perform appropriate editing of video data even in such a case.

なお、第2の実施形態の変更例としては、S803〜S806の処理により処理対象の工程の代表部分映像を選択するケースは、実施形態に限定されない。他の例としては、処理対象の工程の前後の工程のスコアが決定されている場合に、処理対象の工程のスコアを算出することなく、S803〜S806の処理により、処理対象の工程の代表部分映像を選択してもよい。   As a modified example of the second embodiment, the case of selecting a representative partial image of a process to be processed by the processes of S803 to S806 is not limited to the embodiment. As another example, when the scores of the processes before and after the process to be processed have been determined, the representative portion of the process to be processed is calculated by the processes of S803 to S806 without calculating the score of the process to be processed. An image may be selected.

また、第1及び第2の実施形態の変更例としては、編集装置100は、編集映像の作成時に、編集映像の視聴者がより理解しやすいように追加情報を編集映像に付加してもよい。編集装置100は、例えば、作業標準書402の文章をテロップとして映像内に表示させたり、作業標準書402自体を編集映像の一部に表示させたりしてもよい。これにより、どの部分を説明しているかをマークしながら再生させるといったことを行うことができる。また、編集装置100は、作業標準書402で重要作業と指定されている場合には、そのマークを表示させる、文字の色を変えて目立たせるといったことを行ってもよい。また、作業標準書402をポータブルデバイスで撮影すると、そのページに対応する映像データが再生される、重畳表示される等してもよい。   As a modification of the first and second embodiments, the editing device 100 may add additional information to the edited video at the time of creating the edited video so that the viewer of the edited video can easily understand the edited video. . The editing apparatus 100 may, for example, display the text of the work standard 402 as a telop in the video, or display the work standard 402 itself as a part of the edited video. As a result, it is possible to perform reproduction while marking which part is explained. If the work standard 402 specifies an important work, the editing apparatus 100 may display the mark or change the color of the character to make it stand out. When the work standard 402 is photographed by a portable device, the video data corresponding to the page may be reproduced or superimposed.

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。   As described above, the preferred embodiments of the present invention have been described in detail, but the present invention is not limited to the specific embodiments, and various modifications may be made within the scope of the present invention described in the appended claims.・ Change is possible.

(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other Examples)
The present invention supplies a program for realizing one or more functions of the above-described embodiments to a system or an apparatus via a network or a storage medium, and one or more processors in a computer of the system or the apparatus read and execute the program. This processing can be realized. Further, it can be realized by a circuit (for example, an ASIC) that realizes one or more functions.

100 編集装置
300 文書取得部
304 抽出部
306 選択部
307 再構成部
100 Editing device 300 Document acquisition unit 304 Extraction unit 306 Selection unit 307 Reconstruction unit

Claims (10)

作業映像を編集する編集装置であって、
作業に含まれる各工程の作業時間に基づいて、同一の作業に係る複数の作業映像それぞれから、各工程の部分映像を抽出する抽出手段と、
作業内容を示す作業情報と、前記部分映像と、に基づいて、前記複数の作業映像それぞれから抽出された複数の部分映像の中から、各工程の代表部分映像を選択する選択手段と、
前記選択手段により選択された各工程の前記代表部分映像を連結し、編集映像を生成する再構成手段と
を有することを特徴とする編集装置。
An editing device for editing a work video,
Extracting means for extracting a partial video of each process from each of a plurality of work videos related to the same work, based on a work time of each process included in the work,
Work information indicating the work content, based on the partial video, from among the plurality of partial videos extracted from each of the plurality of work videos, selecting means for selecting a representative partial video of each step,
An editing apparatus comprising: a reconstructing unit that generates an edited video by connecting the representative partial video of each step selected by the selecting unit.
前記作業情報は、前記作業に用いられるオブジェクトを示す情報を含み、
前記選択手段は、前記複数の部分映像における前記オブジェクトの認識結果に基づいて、前記代表部分映像を選択することを特徴とする請求項1に記載の編集装置。
The work information includes information indicating an object used for the work,
2. The editing apparatus according to claim 1, wherein the selection unit selects the representative partial image based on a recognition result of the object in the plurality of partial images.
前記作業情報は、作業者の動作内容を含み、
前記選択手段は、前記複数の部分映像における前記動作内容の認識結果に基づいて、前記代表部分映像を選択することを特徴とする請求項1に記載の編集装置。
The work information includes an operation content of the worker,
2. The editing apparatus according to claim 1, wherein the selection unit selects the representative partial video based on a recognition result of the operation content in the plurality of partial videos. 3.
前記作業情報は、作業に含まれる複数の工程それぞれに対応する作業内容を示し、
前記選択手段は、処理対象の工程の作業内容と、前記部分映像と、に基づいて、前記処理対象の工程の前記代表部分映像を選択することを特徴とする請求項1乃至3何れか1項に記載の編集装置。
The work information indicates work contents corresponding to each of a plurality of processes included in the work,
4. The method according to claim 1, wherein the selection unit selects the representative partial video of the process to be processed based on the work content of the process to be processed and the partial video. 5. An editing device according to item 1.
前記選択手段は、さらに前記処理対象の工程以外の他の工程の作業内容と、前記部分映像と、に基づいて、前記処理対象の工程の前記代表部分映像を選択することを特徴とする請求項4に記載の編集装置。   The method according to claim 1, wherein the selecting unit further selects the representative partial video of the process to be processed based on the work content of a process other than the process to be processed and the partial video. 5. The editing device according to 4. 前記選択手段は、前記作業に含まれる、処理対象の工程以外の他の工程に対して前記代表部分映像が既に選択されている場合に、前記他の工程の前記代表部分映像に基づいて、前記処理対象の工程の代表部分映像を選択することを特徴とする請求項1乃至5何れか1項に記載の編集装置。   The selecting means, based on the representative partial video of the other process, when the representative partial video is already selected for a process other than the process to be processed, which is included in the work, 6. The editing apparatus according to claim 1, wherein a representative partial image of a process to be processed is selected. 前記選択手段は、前記処理対象の工程の前後の工程に対して、前記代表部分映像が既に選択されている場合に、前記前後の工程それぞれの前記代表部分映像に基づいて、前記処理対象の工程の代表部分映像を選択することを特徴とする請求項6に記載の編集装置。   When the representative partial video has already been selected for a process before and after the process to be processed, the selecting unit performs the process to be processed based on the representative partial video of each of the processes before and after the process. 7. The editing apparatus according to claim 6, wherein a representative partial video is selected. 前記選択手段は、前記作業情報が更新された場合に、更新に係る工程の代替部分映像を選択し、
前記再構成手段は、前記代替部分映像が選択された場合に、前記編集映像の更新に係る工程に対応する区間の映像を前記代替部分映像に置き換えることを特徴とする請求項1乃至7何れか1項に記載の編集装置。
The selecting means, when the work information is updated, select an alternative partial video of the process related to the update,
8. The method according to claim 1, wherein when the alternative partial image is selected, the reconstructing unit replaces an image in a section corresponding to a process related to updating the edited image with the alternative partial image. 9. 2. The editing device according to claim 1.
作業映像を編集する編集装置が実行する編集方法であって、
作業に含まれる各工程の作業時間に基づいて、同一の作業に係る複数の作業映像それぞれから、各工程の部分映像を抽出する抽出ステップと、
作業内容を示す作業情報と、前記部分映像と、に基づいて、前記複数の作業映像それぞれから抽出された複数の部分映像の中から、各工程の代表部分映像を選択する選択ステップと、
前記選択ステップにおいて選択された各工程の前記代表部分映像を連結し、編集映像を生成する再構成ステップと
を含むことを特徴とする編集方法。
An editing method performed by an editing device that edits a work video,
An extraction step of extracting a partial video of each process from each of a plurality of work videos related to the same work, based on a work time of each process included in the work,
Work information indicating the work content, based on the partial video, from among the plurality of partial videos extracted from each of the plurality of work videos, a selection step of selecting a representative partial video of each process,
A reconstructing step of connecting the representative partial images of the respective steps selected in the selecting step to generate an edited image.
コンピュータを、
作業に含まれる各工程の作業時間に基づいて、同一の作業に係る複数の作業映像それぞれから、各工程の部分映像を抽出する抽出手段と、
作業内容を示す作業情報と、前記部分映像と、に基づいて、前記複数の作業映像それぞれから抽出された複数の部分映像の中から、各工程の代表部分映像を選択する選択手段と、
前記選択手段により選択された各工程の前記代表部分映像を連結し、編集映像を生成する再構成手段と
して機能させるためのプログラム。
Computer
Extracting means for extracting a partial video of each process from each of a plurality of work videos related to the same work, based on a work time of each process included in the work,
Work information indicating the work content, based on the partial video, from among the plurality of partial videos extracted from each of the plurality of work videos, selecting means for selecting a representative partial video of each step,
A program for linking the representative partial images of the respective steps selected by the selection unit and functioning as a reconstructing unit that generates an edited video.
JP2016071893A 2016-03-31 2016-03-31 Editing device, editing method and program Active JP6648930B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016071893A JP6648930B2 (en) 2016-03-31 2016-03-31 Editing device, editing method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016071893A JP6648930B2 (en) 2016-03-31 2016-03-31 Editing device, editing method and program

Publications (2)

Publication Number Publication Date
JP2017184139A JP2017184139A (en) 2017-10-05
JP6648930B2 true JP6648930B2 (en) 2020-02-14

Family

ID=60006502

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016071893A Active JP6648930B2 (en) 2016-03-31 2016-03-31 Editing device, editing method and program

Country Status (1)

Country Link
JP (1) JP6648930B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7440352B2 (en) 2020-06-17 2024-02-28 株式会社日立製作所 Educational content creation system and method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3578167B2 (en) * 1993-02-04 2004-10-20 松下電器産業株式会社 Work status management device
JP2004312511A (en) * 2003-04-09 2004-11-04 Nippon Telegr & Teleph Corp <Ntt> Video image editing system, kindergartener monitoring system, welfare facilities monitoring system, commemoration video creation system, action monitoring system, and video image editing method
JP5424852B2 (en) * 2009-12-17 2014-02-26 キヤノン株式会社 Video information processing method and apparatus
JP6717606B2 (en) * 2016-01-28 2020-07-01 株式会社ブロードリーフ Work analysis support device, work analysis support method, and computer program

Also Published As

Publication number Publication date
JP2017184139A (en) 2017-10-05

Similar Documents

Publication Publication Date Title
US8280158B2 (en) Systems and methods for indexing presentation videos
US10671662B2 (en) Method and system for analyzing an image generated by at least one camera
KR102087882B1 (en) Device and method for media stream recognition based on visual image matching
Rusiñol et al. Augmented songbook: an augmented reality educational application for raising music awareness
JP2008257460A (en) Information processor, information processing method, and program
JP2007129434A (en) Information processor and method, and program
US10296539B2 (en) Image extraction system, image extraction method, image extraction program, and recording medium storing program
US10586099B2 (en) Information processing apparatus for tracking processing
US20130322758A1 (en) Image processing apparatus, image processing method, and program
CN111881904A (en) Blackboard writing recording method and system
US20130328767A1 (en) Information processing apparatus, conference system, and information processing method
US10999513B2 (en) Information processing apparatus having camera function, display control method thereof, and storage medium
JP6648930B2 (en) Editing device, editing method and program
JP6948787B2 (en) Information processing equipment, methods and programs
JP6669390B2 (en) Information processing apparatus, information processing method, and program
JP6635208B1 (en) Search device, search method, and program
US11042274B2 (en) Extracting demonstrations from in-situ video content
JP2019008684A (en) Information processor, information processing system, information processing method, and program
JP2001051579A (en) Method and device for displaying video and recording medium recording video display program
JP5554214B2 (en) Minutes system and program
US20200294552A1 (en) Recording device, recording method, reproducing device, reproducing method, and recording/reproducing device
JP7188478B2 (en) SEARCH DEVICE, SEARCH METHOD, AND PROGRAM
JP2009193145A (en) Handwritten data generation device, method, and program
US20230368396A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
JP2018084761A (en) Information processor, information processing system, method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190327

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191217

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200114

R151 Written notification of patent or utility model registration

Ref document number: 6648930

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151