JP6648930B2 - Editing device, editing method and program - Google Patents
Editing device, editing method and program Download PDFInfo
- Publication number
- JP6648930B2 JP6648930B2 JP2016071893A JP2016071893A JP6648930B2 JP 6648930 B2 JP6648930 B2 JP 6648930B2 JP 2016071893 A JP2016071893 A JP 2016071893A JP 2016071893 A JP2016071893 A JP 2016071893A JP 6648930 B2 JP6648930 B2 JP 6648930B2
- Authority
- JP
- Japan
- Prior art keywords
- work
- video
- partial
- partial video
- representative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、編集装置、編集方法及びプログラムに関する。 The present invention relates to an editing device, an editing method, and a program.
従来、複数の映像データを任意の区間毎に分割し、分割された各区間の部分映像を組み合わせたり、入れ替えたりして新たな映像データを作成する技術が知られている。特許文献1には、同じ事柄を説明した複数のニュース映像から共通のストーリーを作成し、そのストーリーに沿って再構成されたニュース映像を生成する技術が開示されている。また、特許文献2には、コンテンツの著作者達の元々の意図、つまりコンテンツの同一性をある程度保つようにコンテンツを入れ替え、映像データの編集を行う技術が開示されている。また、特許文献3には、放送コンテンツを受信する際にエラーが起きた場合、他の機器から受信したコンテンツを利用して修正を行う技術が開示されている。
2. Description of the Related Art Conventionally, a technique is known in which a plurality of pieces of video data is divided into arbitrary sections, and partial video in each of the divided sections is combined or replaced to create new video data.
しかしながら、作業の教育など特定の目的のための映像を作成する場合、目的に応じた映像を選択するのが難しいという問題がある。例えば、複数の映像を編集して、1つの作業の教育の映像を作成する場合には、アングルが望ましくなく作業対象物が作業員の陰に隠れた部分映像が採用されてしまうという問題がある。また、他に作業内容がわかり易い映像があるにも関わらず、それ以外の部分映像が採用されてしまうという問題がある。また、このような映像の編集を手動で行うのは手間がかかるという問題もある。 However, when creating a video for a specific purpose such as work education, there is a problem that it is difficult to select a video according to the purpose. For example, when a plurality of videos are edited to create a video for education of one work, there is a problem that an angle is not desirable and a partial video in which a work target is hidden behind a worker is employed. . In addition, there is a problem that, although there is another image whose work content is easy to understand, another partial image is adopted. In addition, there is also a problem that it is troublesome to manually edit such a video.
本発明はこのような問題点に鑑みなされたもので、ユーザによる煩雑な作業を要することなく、適切な映像データの編集を行うことを目的とする。 The present invention has been made in view of such problems, and has as its object to perform appropriate editing of video data without requiring a complicated operation by a user.
そこで、本発明は、作業映像を編集する編集装置であって、作業に含まれる各工程の作業時間に基づいて、同一の作業に係る複数の作業映像それぞれから、各工程の部分映像を抽出する抽出手段と、作業内容を示す作業情報と、前記部分映像と、に基づいて、前記複数の作業映像それぞれから抽出された複数の部分映像の中から、各工程の代表部分映像を選択する選択手段と、前記選択手段により選択された各工程の前記代表部分映像を連結し、編集映像を生成する再構成手段とを有することを特徴とする。 Therefore, the present invention is an editing apparatus for editing a work video, and extracts a partial video of each process from each of a plurality of work videos related to the same work based on a work time of each process included in the work. Selecting means for selecting a representative partial video of each step from a plurality of partial videos extracted from each of the plurality of work videos based on the extracting means, the work information indicating the work content, and the partial video And a reconstructing unit that connects the representative partial images of the respective steps selected by the selecting unit and generates an edited video.
本発明によれば、ユーザによる煩雑な作業を要することなく、適切な映像データの編集を行うことができる。 According to the present invention, it is possible to perform appropriate editing of video data without requiring a complicated operation by a user.
以下、本発明の実施形態について図面に基づいて説明する。
図1は、第1の実施形態に係る映像管理システムを示す図である。映像管理システムは、画像を編集する編集装置100と、編集装置100とネットワークを介して接続する複数台のカメラ110と、を有している。各カメラ110は、作業者が作業をしている様子120の映像、すなわち作業映像を撮影する。各カメラ110により得られた作業映像は、編集装置100に記録される。編集装置100は、各カメラ110により得られた作業映像それぞれを複数の部分映像に分割し、部分映像を繋ぎ合わせる編集処理を行うことにより、編集映像を作成する。本実施形態に係る編集装置100は、作業映像の編集により、物品の製造工場の作業員の作業を教育するための教育映像を生成する。なお、カメラ110としては、教育映像を生成する用途で設けられたものではなく、例えば作業の監視等他の目的で設置されたものを用いることできる。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram illustrating a video management system according to the first embodiment. The video management system includes an
図2は、編集装置100のハードウェア構成を示す図である。CPU201は、RAM206やROM207に格納されているコンピュータプログラムやデータを用いて処理を実行する。これによりCPU201は、編集装置100全体の動作制御を行うと共に、編集装置100が行うものとして後述する各処理を実行する。入力装置202は、ボタン群などのユーザインターフェースであり、ユーザが操作することで各種の入力を編集装置100に対して行うことができる。出力装置203は、液晶画面やスピーカなどにより構成されており、CPU201による処理結果を表示したり音声出力したりすることができる。なお、入力装置202によるユーザインターフェース機能と出力装置203による表示機能とを組み合わせてタッチパネル画面を構成しても構わない。
FIG. 2 is a diagram illustrating a hardware configuration of the
通信装置204は、外部からのデータの入出力を受け付けるためのUSBポート、LANポートなどのインターフェースにより構成されている。通信装置204には、カメラ110や、作業映像や記録映像を記録したメディア等が接続され、処理対象データの入出力が行われる。
The
記憶装置205は、ハードディスクドライブ装置やフラッシュメモリなどにより構成されている。記憶装置205には、OS(オペレーティングシステム)や、編集装置100が行うものとして後述する各処理をCPU201に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。以降の説明において、処理に用いる映像データや新たに作成した映像データの登録先は記憶装置205となる。記憶装置205に保存されているコンピュータプログラムやデータは、CPU201による制御に従って適宜RAM206にロードされ、CPU201による処理対象となる。
The
RAM206は、記憶装置205からロードされたコンピュータプログラムやデータを格納するためのエリアを有する。更にRAM206は、CPU201が各種の処理を実行する際に用いるワークエリアを有する。このようにRAM206は、各種のエリアを適宜提供することができる。ROM207には、編集装置100の設定データや起動プログラムなど、書き換え不要なコンピュータプログラムやデータが保存されている。なお、後述する編集装置100の機能や処理は、CPU201がROM207又は記憶装置205に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。CPU201、入力装置202、出力装置203、通信装置204、記憶装置205、RAM206、ROM207は何れもバス(BUS)208に接続されている。
The
図3は、編集装置100のソフトウェア構成を示す図である。文書取得部300は、文書を取得する。具体的には、文書取得部300は、編集装置100が作成対象とする編集映像、すなわち教育映像における教育内容となる作業の工程表と、作業標準書を文書として取得する。図4(a)は、工程表の一例を示す図である。工程表401には、工程番号(No)と、工程における作業内容と、工程の所要時間と、が記されている。また、図4(b)は、作業標準書の一例を示す図である。作業標準書は、工程毎の作業内容を示す文章の他、工程に係る写真や図等を含むデータである。作業標準書は、編集装置100が編集対象とする編集映像の視聴対象者となる学習者が一通りの作業を覚えるために読む文書である。なお、文書取得部300は、各文書が電子文書である場合には、そのまま取得すればよく、紙等をスキャンしたものである場合には、OCRによる文字認識によりその内容を取得する。なお、作業標準書は、作業内容を示す作業情報の一例である。
FIG. 3 is a diagram illustrating a software configuration of the
図3に戻り、解析部301は、文書取得部300が取得した文書データに記載された内容を解析する。解析部301は、例えば工程表に応じて、作業映像を工程に応じた部分映像に分割するための区間を決定する。解析部301はまた、作業標準書に応じて、各区間において教育に適した映像か否かの判断条件を定める。変更認識部302は、文書取得部300が取得した文書データの解析結果に応じて、工程表又は作業標準書に変更があったか否かを認識する。映像取得部303は、各カメラ110により撮影された映像をリアルタイムに取得する。なお、他の例としては、映像取得部303は、過去に撮影された映像をメディア等から取得してもよい。
Returning to FIG. 3, the
抽出部304は、工程表の解析結果に基づいて、各作業映像から作業に含まれる1工程に対応する区間を単位とする部分映像を抽出する。スコア算出部305は、抽出部304により得られた各部分映像のスコアを算出する。選択部306は、作業に含まれる各工程に対応する映像として再構成に用いる代表部分映像を選択する。再構成部307は、選択部306により得られた複数の代表部分映像を工程の実行順番に従って繋ぎ合わせることにより、作業内容を教示するための編集映像を生成する。
The extracting
図5は、編集装置100による編集映像の作成処理を示すフローチャートである。まず、S500において、文書取得部300は、工程表を取得し、その記載内容を解釈する。文書取得部300は、具体的には、撮影対象となる作業に含まれる工程数、各工程の内容、各工程の所要時間を特定する。次に、S501において、解析部301は、工程を1つ選択する。S501において選択された工程が処理対象として以下の処理が実行される。次に、S502において、解析部301は、作業標準書を取得し、その記載内容を解析し、選択中の工程の詳細な作業内容を特定する。解析部301は、例えば、選択中の工程で使用する部品や工具等のオブジェクト、選択中の工程で行われる作業員の動作内容、部品の動き、等を特定する。
FIG. 5 is a flowchart showing a process of creating an edited video by the
次に、S503において、映像取得部303は、1台のカメラ110により得られた1つの作業映像を取得する。そして、映像取得部303は、取得した作業映像から、S500において取得された工程表401に示される、選択中の工程の工程番号及び所要時間に基づいて、選択中の工程に対応する部分映像にマージンを設けて、部分映像を抽出する。そして、映像取得部303は、マージンを含む部分映像を対象に内容を解析する。なお、工程表から定まる選択中の工程の所要時間と、実際の作業時間との差が蓄積し、想定された時間からずれが生じている可能性がある。そこで、抽出部304は、想定される期間の前後に一定時間のマージンを設けて部分映像を抽出し、これを解析対象とする。
Next, in S503, the
映像取得部303は、例えば、選択中の工程で使用する部品、選択中の工程で行われる作業員の動作、等を特定する。なお、S503における映像の内容解析においては、映像取得部303は、例えばパターンマッチングや、局所的な特徴量を利用したマッチング等を利用する。なお、認識対象とする動きは画像から認識できる動きの大きなもの、例えばドライバでネジを留める、といったものとする。
The
次に、S504において、抽出部304は、映像取得部303により得られたマージンが設けられた部分映像からマージンを除いた部分映像を抽出する。S504においてマージンを除くのは、再構成(編集)に利用する部分映像を得るためである。マージンを残したままにすると、再構成後の映像において、手順毎のつなぎ目で内容の被りが生じ、見難くなる。これを避けるべく、マージンを取り除くこととする。
Next, in S504, the
また、抽出部304は、作業標準書402に記載された内容と、S503において映像から特定した作業者の動きや、工程で使用される部品等に基づいた対応付けを行うことにより、選択中の工程の開始位置を特定する。抽出部304は、認識可能な程度の大きな動きがない等、自動での判断に失敗した場合には、ユーザ操作に応じて、部分映像を抽出してもよい。S504の処理は、作業映像から、各工程の部分映像を抽出する抽出処理の一例である。
Further, the
次に、S505において、映像取得部303は、未処理の映像が存在するか否かを確認し、未処理の映像がある場合には(S505でYes)、処理をS503に進める。S503において、映像取得部303は、未処理の映像を取得し、以降の処理が継続する。例えば、3台のカメラ110の映像を対象とする場合には、3台のカメラ110の映像に対し、S503、S504の処理を繰り返す。映像取得部303は、すべての映像に対し、S503、S504の処理が完了すると(S505でNo)、処理をS506へ進める。
Next, in S505, the
S506において、スコア算出部305は、S504において、選択中の工程に対して各映像から抽出された部分映像それぞれのスコアを算出する。スコアは、各部分映像が生成対象の編集映像の、作業教育という目的に対して適した映像か否かの評価値である。スコア算出部305は、作業標準書に示される、工程で使用される物品、作業員の動作内容が、部分映像に含まれているかどうかの認識結果に基づいてスコアを算出する。さらに、本実施形態においては、スコア算出部305は、作業標準書402に示される画像と一定基準以上類似した映像が映っている時間を用いる。これは、類似している時間が長ければ、作業員や道具等によるオクルージョンが起きずに作業対象が映っている時間が長い可能性が高いと考えられるためである。
In S506, the
ここで、配慮が必要な点が2つある。1点目は作業者の手や画像に差し込まれたタグ・指示等によってオクルージョンが発生する可能性がある点、2点目は作業者映像内において類似したシーンが存在することがあるという点である。スコア算出部305は、1点目に対応すべく、認識時に同一と判断する類似度の閾値を、他の目的、例えば個人認証等で用いられる際の値よりも低くする。
Here, there are two points that need to be considered. The first point is that occlusion may occur due to the operator's hand or tags or instructions inserted in the image, and the second point is that similar scenes may exist in the worker image. is there. In order to correspond to the first point, the
また、スコア算出部305は、2点目に対応すべく、選択中の工程、すなわち処理対象の工程以外の他の工程に対応する画像と比較し、差異が大きいものを利用する。これにより、誤認識の確率を減らすことができる。基本的に作業標準書402の画像と、部分映像の内容は対応している。このため、作業標準書402内で他の工程の画像との差異が大きい画像であれば部分映像との比較においても、同様に対応する工程以外の工程の部分映像との差異が大きいと考えられるため、上記の方法を取ることができる。また、作業標準書402に掲載されている画像は、物品の一部の拡大画像の場合もある。この場合、部分映像の一部分がこの拡大画像に対応している場合があり得る。そこで、スコア算出部305は、画像のサイズ変化に頑健なマッチング手法、例えば局所特徴量を用いて映像中のマッチング部分を探索することとする。
In addition, the
次に、S507において、選択部306は、スコアに基づいて、各作業映像から抽出された複数の部分映像の中から、選択中の工程の代表部分映像を選択する(選択処理)。本実施形態においては、選択部306は、スコアが最高値を示す部分映像を、代表部分映像として選択する。選択部306は、同一スコアの部分映像が複数存在する場合、以下に示す複数の処理により部分映像が1つになるまで絞り込みを行う。すなわち、選択部306は、スコアが最高値を示す複数の部分映像の中から、一つ前の工程に対して選択された部分映像を含む作業映像から抽出された部分映像を選択する。次に、選択部306は、部分映像の選択の判断を保留し、次の工程に対して選択された部分映像を含む作業映像から抽出された部分映像を選択する。次に、選択部306は、処理対象の工程より前の工程で選ばれた回数が多い作業映像から抽出された部分映像を選択する。最後に、選択部306は、ランダムに、又はユーザ操作に応じて部分映像を選択する。
Next, in S507, the
次に、S508において、解析部301は、未処理の工程が存在するか否かを確認し、未処理の工程が存在する場合には(S508でYes)、処理をS501へ進める。S501において、解析部301は、未選択の工程を1つ選択し、以降の処理が継続する。例えば、作業に4つの工程が含まれる場合、4つの工程それぞれに対し、S501〜S507の処理が行われ、各工程に対し、代表部分映像が選択される。解析部301は、すべての工程に対する処理が完了すると(S508でNo)、処理をS509へ進める。
Next, in S508, the
S509において、再構成部307は、各工程に対して選択された代表部分映像を連結して編集映像を作成する。図6は、S509の処理の説明図である。各作業映像(候補映像A〜X)の部分映像に対し、ステップS506においてスコアが算出され、スコア最高値の部分映像が代表部分映像として選択される。図6においては、代表部分映像を太枠で示している。再構成部307は、太枠で示す代表部分映像を繋ぎ合わせることにより、編集映像を作成する。再構成部307はまたこの際、どの期間がどの工程に対応するかを、例えば編集データ中にメタデータとして記録しておく。
In step S <b> 509, the reconstructing
図5に戻り、S509の処理の後、S510において、再構成部307は、作成した編集映像を分割する。これは、作成した編集映像に含まれている作業を複数人物で行う場合に、映像の取り扱いをし易くするためのものである。再構成部307は、具体的には、工程表401に記載されている各作業員の担当範囲に基づいて、編集映像を分割する。なお、1人の作業員がすべての工程を行う場合には、S510の処理は不要である。また、分割する必要はないと作業員が判断する場合も考えられるので、その場合もこのS510の処理は不要である。すなわち、S510の処理は省略することができる。以上で、編集映像の作成処理が終了する。
Referring back to FIG. 5, after the processing of S509, in S510, the reconstructing
このように、編集装置100は、複数の映像それぞれを特定の区間に区切り、各区間において最も教育に向いていると判定された部分映像を代表部分映像として選択する。そして、編集装置100は、代表部分映像を繋ぎ合わせて編集映像を作成する。これにより、映像作成者の作業負担を減らすことができる。
As described above, the
図7は、編集映像の更新処理を示すフローチャートである。工場等の作業においては、作成製品の変更等により作業内容が頻繁に変わる可能性がある。しかし、全ての工程が変更されるわけではない。この場合に教育映像を一から作り直すのは手間がかかるので、必要な部分のみ更新するのが望ましい。更新処理は、この必要な部分を更新する処理である。 FIG. 7 is a flowchart showing the editing video update process. In a work in a factory or the like, the work content may frequently change due to a change in a product to be created. However, not all steps are changed. In this case, it is troublesome to recreate the educational video from scratch, so it is desirable to update only necessary parts. The update process is a process for updating this necessary part.
S700において、変更認識部302は、作業標準書402が更新されたか否かを認識する。変更認識部302は、文書取得部300が作業標準書402を取得すると、前回の作業標準書402の内容との差分を求めることにより、更新(変更)の有無を認識する。これは、作業が変更になれば必ず作業標準書402も変更されることを利用するものである。勿論、工程表401も更新および取得されるが、ページの入れ替えが発生する分更新されたことが分かりやすいと判断し、作業標準書402をトリガとすることとしている。
In S700, the
変更認識部302は、更新されたと認識した場合には(S700でYes)、処理を701へ進める。S701において、抽出部304は、編集映像において、変更認識部302により特定された更新に対応する工程を1つ選択する。以下、S701において選択された工程を更新対象工程と称する。次に、S702において、抽出部304は、編集映像から更新対象工程に対応する部分映像を抽出する。次に、S703において、CPU201は、S502〜S507の処理と同じ処理を行うことにより、部分映像を選択する。なお、S703において選択された部分映像は、編集映像の更新に用いられる。以下、S703において選択された部分映像を代替部分映像と称する。
If the
次に、S704において、CPU201は、更新に対応する工程のうち、S702、S703の処理が行われていない未処理の工程が存在するか否かを確認し、未処理の工程が存在する場合には(S704でYes)、処理をS701へ進める。CPU201は、更新に対応するすべての工程に対し処理が完了した場合には(S704でNo)、処理をS705へ進める。S705において、再構成部307は、代替部分映像を用いて新たな編集映像を作成する。
Next, in step S704, the
S705における基本的な処理は、S509の処理と同様である。但し、再構成部307は、更新のない部分については、元の映像をそのまま用い、更新した部分のみ新たに選択した代替部分映像を使用する。すなわち、再構成部307は、更新に係る区間の映像を代替部分映像に置き換える。また、再構成部307は、各工程に対応する期間が変更される可能性があるため、各工程の記録期間情報も合わせて更新する。その後、再構成部307は、S706において、編集映像の分割処理を行う。本処理は、S510の処理と同様の処理である。このように、編集装置100は、更新処理により、作業の更新に応じて、編集映像の一部だけを入れ替えることにより編集映像を更新することができる。これにより、映像作成者の作業負担を減らすことができる。
The basic processing in S705 is the same as the processing in S509. However, the reconstructing
以上のように、第1の実施形態に係る編集装置100は、ユーザによる煩雑な作業を要することなく、適切な映像データの編集を行うことができる。
As described above, the
(第2の実施形態)
次に、第2の実施形態に係る映像管理システムについて説明する。以下、第2の実施形態に係る映像管理システムについて、第1の実施形態に係る映像管理システムと異なる点について説明する。図8は、第2の実施形態に係る編集装置100による作成処理の一部を示すフローチャートである。第2の実施形態に係る更新処理は、図5に示すS500〜S506の処理の後、図8に示すS800〜S806の処理に続き、その後、図5に示すS508以降の処理に続く処理である。以下、第2の実施形態に係る編集装置100による更新処理について説明する。
(Second embodiment)
Next, a video management system according to a second embodiment will be described. Hereinafter, the differences between the video management system according to the second embodiment and the video management system according to the first embodiment will be described. FIG. 8 is a flowchart illustrating a part of the creation processing by the
S506の処理の後、CPU201は処理を図8のS800へ進める。S800において、CPU201は、スコアの最高値が閾値以上か否かを判定する。CPU201は、最高値が閾値未満の場合には(S800でNo)、処理を図5のS508へ進める。すなわち、CPU201は、処理対象の区間に対し代表部分映像の選択を行うことなく、次の工程についてのS501からの処理を開始する。一方、CPU201は、最高値が閾値以上の場合には(S800でYes)、処理をS801へ進める。
After the processing in S506, the
S801において、選択部306は、スコア最高値の部分映像を代表部分映像として選択する。本処理は、S507の処理と同様の処理である。次に、S802において、スコア算出部305は、処理対象の工程の直前の工程に対する代表部分映像が選択されているか否かを確認する。スコア算出部305は、直前の工程の代表部分映像が選択済みの場合には(S802でYes)、処理をS508へ進める。一方、スコア算出部305は、直前の工程の代表部分映像が選択されていない場合には(S802でNo)、処理をS803へ進める。
In S801, the
S803において、選択部306は、直前映像を処理対象とし、直前映像の前後の代表映像が同一作業映像から抽出されたものか否かを確認する。選択部306は、直前映像の前後の代表部分映像が同一作業映像から抽出されたものである場合には(S803でYes)、処理をS804へ進める。選択部306は、直前映像の前後の代表部分映像が同一作業映像から抽出されたものでない場合には(S803でNo)、処理をS805へ進める。
In step S <b> 803, the
S804において、選択部306は、直前の工程の前後の工程の代表部分映像に対応する作業映像から抽出された部分映像を、直前の工程に対する代表部分映像として選択し、その後処理をS508へ進める。一方、S805において、選択部306は、直前の工程の前の工程でスコアが最高値となった作業映像における、直前の工程の前の工程のスコアと、直前の工程の後の工程の部分映像のスコアと、の合計値を算出する。同様に、選択部306は、直前の工程の後の工程でスコアが最高となった作業映像における、直前の工程の後の工程のスコアと、直前の工程の前の工程のスコアと、の合計値を算出する。次に、S806において、選択部306は、S805において算出した合計値が大きい方の作業映像から抽出された部分映像を、直前の工程に対する代表部分映像として選択し、その後処理をS508へ進める。
In S804, the
例えば、図9(a)に示すように、直前の工程nに対し、前の工程「工程n−1」については、作業映像「候補映像D」の部分映像のスコア80が最高値となり、候補映像Dの部分映像が代表部分映像として選択されているとする。また、後の工程「工程n+1」についても、作業映像「候補映像D」の部分映像のスコア85が最高値となり、候補映像Dの部分映像が代表部分映像として選択されているとする。この場合、前後の工程の代表部分映像に対応する作業映像が同一となるため、直前の工程nに対しても、候補映像Dの部分映像が代表部分映像として選択される。
For example, as shown in FIG. 9A, the
一方、図9(b)の示すように、直前の工程nに対し、前の工程「n−1」については、作業映像「候補映像F」の部分映像のスコア80が最高値となり、候補映像Fの部分映像が代表部分映像として選択されているとする。また、後の工程「工程n+1」については、作業映像「候補映像G」の部分映像のスコア85が最高値となり、候補映像Gの部分映像が代表部分映像として選択されているとする。この場合、前後の工程の代表部分映像に対応する作業映像が異なるため、候補映像F及び候補映像Gそれぞれのスコア合計値が算出される。そして、図9(b)の例では、合計値が大きい作業映像は候補映像Fであるため、候補映像Fの部分映像が、直前の工程nの代表部分映像として選択される。
On the other hand, as shown in FIG. 9B, the
ここで、S803において、直前映像の前後の代表部分映像が同一作業映像から抽出されたものでない場合には(S803でNo)の他の例について説明する。この場合、選択部306は、ユーザ操作に応じて、前後の工程のうち何れか一方の工程の代表部分映像に対応する作業映像の部分映像を、直前の工程に対する代表部分映像として選択してもよい。なお、第2の実施形態に係る映像管理システムのこれ以外の構成及び処理は、第1の実施形態に係る映像管理システムの構成及び処理と同様である。
Here, in S803, if the representative partial images before and after the immediately preceding image are not extracted from the same work image (No in S803), another example will be described. In this case, the
また、本実施形態においては、処理対象の工程(直前の工程)の前後の工程の代表部分映像に基づいて、処理対象の工程の代表部分映像を選択したが、参照する工程は前後の工程に限定されるものではない。他の例としては、処理対象の工程以外の他の工程のうち、既に代表部分映像が選択されている工程を参照してもよい。 In the present embodiment, the representative partial video of the process to be processed is selected based on the representative partial video of the process before and after the process to be processed (the immediately preceding process). It is not limited. As another example, among other processes other than the process to be processed, a process in which the representative partial video has already been selected may be referred to.
第1の実施形態において説明したように、編集装置100は、スコア算出の際には、オクルージョンの発生等を考慮している。しかし、それでもすべての部分映像のスコアが一定基準を満たさない可能性もある。また、そもそも作業標準書402に基準とすべき画像がふくまれないことも考えられる。これに対し、第3の実施形態の編集装置100は、作業標準書402に記載の画像と同じ部分が作業映像群にほとんど映っていない場合や、作業標準書402においてある工程に対する画像が含まれていない場合でも、代表映像を適切に選択することができる。すなわち、第3の実施形態の編集装置100は、このような場合においても、適切な映像データの編集を行うことができる。
As described in the first embodiment, the
なお、第2の実施形態の変更例としては、S803〜S806の処理により処理対象の工程の代表部分映像を選択するケースは、実施形態に限定されない。他の例としては、処理対象の工程の前後の工程のスコアが決定されている場合に、処理対象の工程のスコアを算出することなく、S803〜S806の処理により、処理対象の工程の代表部分映像を選択してもよい。 As a modified example of the second embodiment, the case of selecting a representative partial image of a process to be processed by the processes of S803 to S806 is not limited to the embodiment. As another example, when the scores of the processes before and after the process to be processed have been determined, the representative portion of the process to be processed is calculated by the processes of S803 to S806 without calculating the score of the process to be processed. An image may be selected.
また、第1及び第2の実施形態の変更例としては、編集装置100は、編集映像の作成時に、編集映像の視聴者がより理解しやすいように追加情報を編集映像に付加してもよい。編集装置100は、例えば、作業標準書402の文章をテロップとして映像内に表示させたり、作業標準書402自体を編集映像の一部に表示させたりしてもよい。これにより、どの部分を説明しているかをマークしながら再生させるといったことを行うことができる。また、編集装置100は、作業標準書402で重要作業と指定されている場合には、そのマークを表示させる、文字の色を変えて目立たせるといったことを行ってもよい。また、作業標準書402をポータブルデバイスで撮影すると、そのページに対応する映像データが再生される、重畳表示される等してもよい。
As a modification of the first and second embodiments, the
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 As described above, the preferred embodiments of the present invention have been described in detail, but the present invention is not limited to the specific embodiments, and various modifications may be made within the scope of the present invention described in the appended claims.・ Change is possible.
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other Examples)
The present invention supplies a program for realizing one or more functions of the above-described embodiments to a system or an apparatus via a network or a storage medium, and one or more processors in a computer of the system or the apparatus read and execute the program. This processing can be realized. Further, it can be realized by a circuit (for example, an ASIC) that realizes one or more functions.
100 編集装置
300 文書取得部
304 抽出部
306 選択部
307 再構成部
100
Claims (10)
作業に含まれる各工程の作業時間に基づいて、同一の作業に係る複数の作業映像それぞれから、各工程の部分映像を抽出する抽出手段と、
作業内容を示す作業情報と、前記部分映像と、に基づいて、前記複数の作業映像それぞれから抽出された複数の部分映像の中から、各工程の代表部分映像を選択する選択手段と、
前記選択手段により選択された各工程の前記代表部分映像を連結し、編集映像を生成する再構成手段と
を有することを特徴とする編集装置。 An editing device for editing a work video,
Extracting means for extracting a partial video of each process from each of a plurality of work videos related to the same work, based on a work time of each process included in the work,
Work information indicating the work content, based on the partial video, from among the plurality of partial videos extracted from each of the plurality of work videos, selecting means for selecting a representative partial video of each step,
An editing apparatus comprising: a reconstructing unit that generates an edited video by connecting the representative partial video of each step selected by the selecting unit.
前記選択手段は、前記複数の部分映像における前記オブジェクトの認識結果に基づいて、前記代表部分映像を選択することを特徴とする請求項1に記載の編集装置。 The work information includes information indicating an object used for the work,
2. The editing apparatus according to claim 1, wherein the selection unit selects the representative partial image based on a recognition result of the object in the plurality of partial images.
前記選択手段は、前記複数の部分映像における前記動作内容の認識結果に基づいて、前記代表部分映像を選択することを特徴とする請求項1に記載の編集装置。 The work information includes an operation content of the worker,
2. The editing apparatus according to claim 1, wherein the selection unit selects the representative partial video based on a recognition result of the operation content in the plurality of partial videos. 3.
前記選択手段は、処理対象の工程の作業内容と、前記部分映像と、に基づいて、前記処理対象の工程の前記代表部分映像を選択することを特徴とする請求項1乃至3何れか1項に記載の編集装置。 The work information indicates work contents corresponding to each of a plurality of processes included in the work,
4. The method according to claim 1, wherein the selection unit selects the representative partial video of the process to be processed based on the work content of the process to be processed and the partial video. 5. An editing device according to item 1.
前記再構成手段は、前記代替部分映像が選択された場合に、前記編集映像の更新に係る工程に対応する区間の映像を前記代替部分映像に置き換えることを特徴とする請求項1乃至7何れか1項に記載の編集装置。 The selecting means, when the work information is updated, select an alternative partial video of the process related to the update,
8. The method according to claim 1, wherein when the alternative partial image is selected, the reconstructing unit replaces an image in a section corresponding to a process related to updating the edited image with the alternative partial image. 9. 2. The editing device according to claim 1.
作業に含まれる各工程の作業時間に基づいて、同一の作業に係る複数の作業映像それぞれから、各工程の部分映像を抽出する抽出ステップと、
作業内容を示す作業情報と、前記部分映像と、に基づいて、前記複数の作業映像それぞれから抽出された複数の部分映像の中から、各工程の代表部分映像を選択する選択ステップと、
前記選択ステップにおいて選択された各工程の前記代表部分映像を連結し、編集映像を生成する再構成ステップと
を含むことを特徴とする編集方法。 An editing method performed by an editing device that edits a work video,
An extraction step of extracting a partial video of each process from each of a plurality of work videos related to the same work, based on a work time of each process included in the work,
Work information indicating the work content, based on the partial video, from among the plurality of partial videos extracted from each of the plurality of work videos, a selection step of selecting a representative partial video of each process,
A reconstructing step of connecting the representative partial images of the respective steps selected in the selecting step to generate an edited image.
作業に含まれる各工程の作業時間に基づいて、同一の作業に係る複数の作業映像それぞれから、各工程の部分映像を抽出する抽出手段と、
作業内容を示す作業情報と、前記部分映像と、に基づいて、前記複数の作業映像それぞれから抽出された複数の部分映像の中から、各工程の代表部分映像を選択する選択手段と、
前記選択手段により選択された各工程の前記代表部分映像を連結し、編集映像を生成する再構成手段と
して機能させるためのプログラム。 Computer
Extracting means for extracting a partial video of each process from each of a plurality of work videos related to the same work, based on a work time of each process included in the work,
Work information indicating the work content, based on the partial video, from among the plurality of partial videos extracted from each of the plurality of work videos, selecting means for selecting a representative partial video of each step,
A program for linking the representative partial images of the respective steps selected by the selection unit and functioning as a reconstructing unit that generates an edited video.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016071893A JP6648930B2 (en) | 2016-03-31 | 2016-03-31 | Editing device, editing method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016071893A JP6648930B2 (en) | 2016-03-31 | 2016-03-31 | Editing device, editing method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017184139A JP2017184139A (en) | 2017-10-05 |
JP6648930B2 true JP6648930B2 (en) | 2020-02-14 |
Family
ID=60006502
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016071893A Active JP6648930B2 (en) | 2016-03-31 | 2016-03-31 | Editing device, editing method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6648930B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7440352B2 (en) | 2020-06-17 | 2024-02-28 | 株式会社日立製作所 | Educational content creation system and method |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3578167B2 (en) * | 1993-02-04 | 2004-10-20 | 松下電器産業株式会社 | Work status management device |
JP2004312511A (en) * | 2003-04-09 | 2004-11-04 | Nippon Telegr & Teleph Corp <Ntt> | Video image editing system, kindergartener monitoring system, welfare facilities monitoring system, commemoration video creation system, action monitoring system, and video image editing method |
JP5424852B2 (en) * | 2009-12-17 | 2014-02-26 | キヤノン株式会社 | Video information processing method and apparatus |
JP6717606B2 (en) * | 2016-01-28 | 2020-07-01 | 株式会社ブロードリーフ | Work analysis support device, work analysis support method, and computer program |
-
2016
- 2016-03-31 JP JP2016071893A patent/JP6648930B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017184139A (en) | 2017-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8280158B2 (en) | Systems and methods for indexing presentation videos | |
US10671662B2 (en) | Method and system for analyzing an image generated by at least one camera | |
KR102087882B1 (en) | Device and method for media stream recognition based on visual image matching | |
Rusiñol et al. | Augmented songbook: an augmented reality educational application for raising music awareness | |
JP2008257460A (en) | Information processor, information processing method, and program | |
JP2007129434A (en) | Information processor and method, and program | |
US10296539B2 (en) | Image extraction system, image extraction method, image extraction program, and recording medium storing program | |
US10586099B2 (en) | Information processing apparatus for tracking processing | |
US20130322758A1 (en) | Image processing apparatus, image processing method, and program | |
CN111881904A (en) | Blackboard writing recording method and system | |
US20130328767A1 (en) | Information processing apparatus, conference system, and information processing method | |
US10999513B2 (en) | Information processing apparatus having camera function, display control method thereof, and storage medium | |
JP6648930B2 (en) | Editing device, editing method and program | |
JP6948787B2 (en) | Information processing equipment, methods and programs | |
JP6669390B2 (en) | Information processing apparatus, information processing method, and program | |
JP6635208B1 (en) | Search device, search method, and program | |
US11042274B2 (en) | Extracting demonstrations from in-situ video content | |
JP2019008684A (en) | Information processor, information processing system, information processing method, and program | |
JP2001051579A (en) | Method and device for displaying video and recording medium recording video display program | |
JP5554214B2 (en) | Minutes system and program | |
US20200294552A1 (en) | Recording device, recording method, reproducing device, reproducing method, and recording/reproducing device | |
JP7188478B2 (en) | SEARCH DEVICE, SEARCH METHOD, AND PROGRAM | |
JP2009193145A (en) | Handwritten data generation device, method, and program | |
US20230368396A1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
JP2018084761A (en) | Information processor, information processing system, method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190327 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191211 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191217 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200114 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6648930 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |