JP7220861B1

JP7220861B1 - 情報処理方法、情報処理装置及びプログラム

Info

Publication number: JP7220861B1
Application number: JP2022069697A
Authority: JP
Inventors: 卓哉加藤
Original assignee: Exa Wizards Inc
Current assignee: Exa Wizards Inc
Priority date: 2022-04-20
Filing date: 2022-04-20
Publication date: 2023-02-13
Anticipated expiration: 2042-04-20
Also published as: JP2023159776A

Abstract

【課題】対象動画から適切なハイライト動画を作成する。【解決手段】一実施形態にかかる情報処理方法は、情報処理システムが実行する情報処理方法であって、動画を取得する取得処理と、前記動画を複数の部分動画に分割し、各部分動画から第１対象物及び第２対象物を検出する検出処理と、検出された前記第１対象物と前記第２対象物との間の距離を算出する距離算出処理と、前記距離に基づいて各部分動画の重要度を算出する重要度算出処理と、前記重要度に基づいて部分動画を選択する選択処理と、選択された部分動画を連結してハイライト動画を生成する生成処理と、を含む。【選択図】図６

Description

本発明は、情報処理方法、情報処理装置及びプログラムに関する。

近年、建設現場などにおいて、ウェアラブルカメラの導入が進められており、一人称視点動画の撮影が普及している。こうしたウェアラブルカメラを用いた現場の巡回点検が建設現場等で行われ、集積された動画を後から視聴し危険行動の監視や危険に繋がる行動の改善に生かされることが期待されている。

しかし、一度の巡回点検の所要時間は３０分から１時間半程度と長時間であり、撮影後に全点検箇所を視聴するには多くの時間を要する。また、将来的にウェアラブルカメラが多くの作業員や作業現場に導入された際には、膨大な量の動画を視聴及び保管する必要がある。

短時間で動画を視聴するための支援法として、ハイライト動画の自動生成が挙げられる。スポーツ動画などにおいては、様々なハイライト動画自動生成手法が研究され、長時間の動画の視聴効率を高めることに寄与している。

このような手法として、例えば、引用文献１には、スポーツ競技を含む動画、前記スポーツ競技で発生したイベントを順次に記録したログ情報および前記動画に係るキーワードを識別するステップと、前記動画に係る競技情報を前記動画にタギングするステップと、前記キーワードに対応する少なくとも１つのログ情報を抽出し、前記タギングされた動画から前記抽出されたログ情報に対応する少なくとも１つのフレームを決定するステップと、前記決定された少なくとも１つのフレームを組み合わせてハイライト動画を生成するステップと、を含むハイライト抽出方法が開示されている。

特開２０２０－６１７２９号公報

しかし、こうしたハイライト動画の自動生成手法では、対象とするジャンルに特化したダイジェスト映像生成手法が用いられることが多く、建設現場の一人称視点動画に適用可能な手法は少ない。用途に関わらずに適用可能な一人称視点動画の動画要約手法も提案されているが、ドメインに特化した動画データセットと熟練度の高いアノテーターによる重要シーンの膨大な教師データが必要であり、その準備には手間と時間を要する。

本発明は、上記の課題を鑑みてなされたものであり、対象動画から適切なハイライト動画を作成することを目的とする。

一実施形態にかかる情報処理方法は、情報処理システムが実行する情報処理方法であって、対象動画を取得する取得処理と、前記対象動画を複数の部分動画に分割し、各部分動画から第１対象物及び第２対象物を検出する検出処理と、検出された前記第１対象物と前記第２対象物との間の距離を算出する距離算出処理と、前記距離に基づいて各部分動画の重要度を算出する重要度算出処理と、前記重要度に基づいて部分動画を選択する選択処理と、選択された部分動画を連結してハイライト動画を生成する生成処理と、を含む。

一実施形態によれば、対象動画から適切なハイライト動画を作成することができる。

本実施形態に係る情報処理システムの構成の一例を示す図である。情報処理装置のハードウェア構成の一例を示す図である。情報処理装置の機能構成の一例を示す図である。部分動画情報の一例を示す図である。情報処理システムの処理の一例を示すフローチャートである。フレームの一例を示す図である。

以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に関して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。

＜システム構成＞
まず、本実施形態に係る情報処理システムの概要について説明する。本実施形態に係る情報処理システムは、対象動画から適切なハイライト動画を作成するために利用可能なシステムである。対象動画は、動画中におけるシーンの重要性が、動画中における２種類の対象物の間の距離に依存する任意の動画である。

対象動画は、例えば、建設現場、工事現場、又は監視動画であるが、これに限られない。建設現場は、建物、道路及び鉄道の建設現場を含む。工事現場は、水道管、ガス管、電柱及び道路標識の工事を含む。監視動画は、交差点、店舗、歩道及び道路の監視動画を含む。

また、対象動画は、視点固定動画及び一人称視点動画を含む。視点固定動画は、監視カメラなどの固定カメラにより撮影された動画である。一人称視点動画は、撮影者が所持した非固定カメラで撮影された動画である。非固定カメラは、例えば、ウェアラブルカメラ、デジタルカメラ、スマートフォン、又はタブレット端末であるが、これに限られない。

図１は、本実施形態に係る情報処理システムの構成の一例を示す図である。図１に示すように、本実施形態に係る情報処理システムは、ネットワークＮを介して相互に通信可能に接続された、ハイライト動画作成装置１（以下単に「作成装置１」という。）と、ユーザ端末２と、撮影装置３と、を備える。ネットワークＮは、例えば、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、インターネット、公衆回線網、モバイルデータ通信網、又はこれらの組み合わせである。図１の例では、情報処理システムは、作成装置１、ユーザ端末２、及び撮影装置３をそれぞれ１つずつ備えるが、それぞれ複数備えてもよい。

作成装置１は、対象動画からハイライト動画を作成する情報処理装置である。対象動画は、ハイライト動画を作成する対象となる動画である。対象動画は、例えば、ウェアラブルカメラにより建設現場を撮影した一人称視点動画であるが、これに限られない。ハイライト動画は、対象動画の重要な部分を切り出して連結した、対象動画より短い動画である。作成装置１は、対象動画から１又は複数の重要な部分を切り出して連結することにより、ハイライト動画を作成する。作成装置１は、例えば、ＰＣ（Personal Computer）、スマートフォン、タブレット端末、サーバ装置、又はマイクロコンピューであるが、これに限られない。作成装置１について、詳しくは後述する。

ユーザ端末２は、本実施形態に係る情報処理システムのユーザが利用する情報処理装置である。ユーザは、例えば、建設現場の管理者であるが、これに限られない。ユーザは、例えば、ユーザ端末２を介して作成装置１に対象動画を送信し、ユーザ端末２でハイライト動画を閲覧する。ユーザ端末２は、例えば、ＰＣ、スマートフォン、又はタブレット端末であるが、これに限られない。

撮影装置３は、対象動画を撮影するカメラを備えた情報処理装置である。撮影装置３は、ウェアラブルカメラなどの非固定カメラであってもよいし、建設現場などに設置された固定カメラであってもよい。以下では、ユーザが撮影装置３を利用して対象動画を撮影する場合を例に説明するが、撮影者はユーザ以外の人物（例えば、建設現場の作業員）であってもよい。撮影装置３は、撮影した対象動画を、ネットワークＮを介してユーザ端末２又は作成装置１に送信可能であってもよい。また、撮影装置３は、撮影した対象動画を、ＳＤカードなどの記録媒体を介してユーザ端末２に提供可能であってもよい。

＜ハードウェア構成＞
次に、情報処理装置１００のハードウェア構成について説明する。図２は、情報処理装置１００のハードウェア構成の一例を示す図である。図２に示すように、情報処理装置１００は、バスＢを介して相互に接続された、プロセッサ１０１と、メモリ１０２と、ストレージ１０３と、通信Ｉ／Ｆ１０４と、入出力Ｉ／Ｆ１０５と、ドライブ装置１０６と、を備える。

プロセッサ１０１は、ストレージ１０３に記憶されたＯＳ（Operating System）を含む各種のプログラムをメモリ１０２に展開して実行することにより、情報処理装置１００の各構成を制御し、情報処理装置１００の機能を実現する。プロセッサ１０１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、又はこれらの組み合わせである。

メモリ１０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、又はこれらの組み合わせである。ＲＯＭは、例えば、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、又はこれらの組み合わせである。ＲＡＭは、例えば、ＤＲＡＭ（Dynamic RAM）、ＳＲＡＭ（Static RAM）、又はこれらの組み合わせである。

ストレージ１０３は、ＯＳを含む各種のプログラム及びデータを記憶する。ストレージ１０３は、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＳＣＭ（Storage Class Memories）、又はこれらの組み合わせである。

通信Ｉ／Ｆ１０４は、情報処理装置１００を、ネットワークＮを介して外部装置に接続し、通信を制御するためのインタフェースである。通信Ｉ／Ｆ１０４は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、ＺｉｇＢｅｅ（登録商標）、Ｅｔｈｅｒｎｅｔ（登録商標）、又は光通信に準拠したアダプタであるが、これに限られない。

入出力Ｉ／Ｆ１０５は、作成装置１に入力装置１０７及び出力装置１０８を接続するためのインタフェースである。入力装置１０７は、例えば、マウス、キーボード、タッチパネル、マイク、スキャナ、カメラ、各種センサ、操作ボタン、又はこれらの組み合わせである。出力装置１０８は、例えば、ディスプレイ、プロジェクタ、プリンタ、スピーカ、バイブレータ、又はこれらの組み合わせである。

ドライブ装置１０６は、ディスクメディア１０９のデータを読み書きする。ドライブ装置１０６は、例えば、磁気ディスクドライブ、光学ディスクドライブ、光磁気ディスクドライブ、又はこれらの組み合わせである。ディスクメディア１０９は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＦＤ（Floppy Disk）、ＭＯ（Magneto-Optical disk）、ＢＤ（Blu-ray（登録商標） Disc）、又はこれらの組み合わせである。

なお、本実施形態において、プログラムは、情報処理装置１００の製造段階でメモリ１０２又はストレージ１０３に書き込まれてもよいし、ネットワークＮを介して情報処理装置１００に提供されてもよいし、ディスクメディア１０９などの非一時的でコンピュータ読み取り可能な記録媒体を介して情報処理装置１００に提供されてもよい。

＜機能構成＞
次に、作成装置１の機能構成について説明する。図３は、作成装置１の機能構成の一例を示す図である。図３に示すように、作成装置１は、通信部１１と、記憶部１２と、制御部１３と、を備える。

通信部１１は、通信Ｉ／Ｆ１０４により実現される。通信部１１は、ネットワークＮを介して、ユーザ端末２又は撮影装置３との間で情報の送受信を行う。通信部１１は、例えば、ユーザ端末２から対象動画を受信し、ユーザ端末２にハイライト動画を送信する。

記憶部１２は、メモリ１０２及びストレージ１０３により実現される。記憶部１２は、対象動画１２１と、部分動画情報１２２と、ハイライト動画１２３と、を記憶する。

対象動画１２１は、作成装置１がユーザ端末２又は撮影装置３から受信した対象動画の動画ファイルである。対象動画１２１は、例えば、ユーザが撮影装置３で建設現場を撮影した３０ｆｐｓの一人称視点動画であるが、これに限られない。

部分動画情報１２２は、部分動画に関する情報である。部分動画は、対象動画１２１を分割した各部分に相当する動画である。部分動画は、例えば、対象動画１２１を所定時間（所定フレーム数）ごとに均等に分割した動画であってもよいし、それぞれ異なる時間（フレーム数）で分割した動画であってもよい。

図４は、部分動画情報１２２の一例を示す図である。図４の部分動画情報１２２は、情報項目として、「部分動画ＩＤ」、「時間」、「第１対象物」、「第２対象物」、「距離」、「静止度」及び「重要度」を含む。

「部分動画ＩＤ」は、部分動画を一意に識別する識別情報である。

「時間」は、対象動画１２１における部分動画の時間範囲を示す情報である。部分動画情報１２２は、部分動画の時間範囲を示す情報の代わりに、又は部分動画の時間範囲を示す情報と共に、部分動画のフレーム数の範囲を示す情報を含んでもよい。

「第１対象物」は、部分動画における第１対象物の検出結果を示す情報である。第１対象物の検出結果は、例えば、検出された第１対象物の重心の座標であるが、これに限られない。第１対象物の検出結果は、検出された第１対象物の位置を示す任意の情報であり得る。部分動画から複数の第１対象物が検出された場合、その部分動画の部分動画情報１２２は、検出された各第１対象物の検出結果を含んでもよい。なお、第１対象物については後述する。

「第２対象物」は、部分動画における第２対象物の検出結果を示す情報である。第２対象物の検出結果は、例えば、検出された第２対象物の重心の座標であるが、これに限られない。第２対象物の検出結果は、検出された第２対象物の位置を示す任意の情報であり得る。部分動画から複数の第２対象物が検出された場合、その部分動画の部分動画情報１２２は、検出された各第２対象物の検出結果を含んでもよい。なお、第２対象物については後述する。

「距離Ｌ」は、部分動画において検出された第１対象物と第２対象物の間の距離を示す情報である。距離Ｌについて、詳しくは後述する。

「静止度Ｓ」は、部分動画の静止している度合いを示す情報である。言い換えると、「静止度Ｓ」は、部分動画のブレの度合いを示す情報である。静止度Ｓが大きいほど、部分動画が静止している（ブレが小さい）ことを意味する。静止度Ｓについて、詳しくは後述する。

「重要度Ｐ」は、部分動画の重要さを示す情報である。重要度Ｐは、距離Ｌ及び静止度Ｓに基づいて算出される。重要度Ｐについて、詳しくは後述する。

図４の例では、部分動画Ｍ００１は、「時間」が０～２であり、「第１対象物」が（ｘ１，ｙ１）であり、「第２対象物」が（ｘ２，ｙ２）であり、「距離Ｌ」が０.２であり、「静止度Ｓ」が１.０であり、「重要度Ｐ」が５.０である。これは、部分動画Ｍ００１は、対象動画１２１における０秒以上２秒未満の範囲の動画であり、第１対象物が座標（ｘ１，ｙ１）に検出され、第２対象物が座標（ｘ２，ｙ２）に検出され、第１対象物と第２対象物の間の距離Ｌが０.２と算出され、静止度Ｓが１.０と算出され、重要度Ｐが５.０と算出されたことを示している。

また、部分動画Ｍ００２は、「時間」が２～４であり、「第１対象物」が（ｘ３，ｙ３）であり、「第２対象物」が（ｘ４，ｙ４）であり、「距離Ｌ」が２.０であり、「静止度Ｓ」が１.２であり、「重要度Ｐ」が０.６である。これは、部分動画Ｍ００２は、対象動画１２１における２秒以上４秒未満の範囲の動画であり、第１対象物が座標（ｘ３，ｙ３）に検出され、第２対象物が座標（ｘ４，ｙ４）に検出され、第１対象物と第２対象物の間の距離Ｌが２.０と算出され、静止度Ｓが１.２と算出され、重要度Ｐが０.６と算出されたことを示している。

また、部分動画Ｍ００３は、「時間」が４～６であり、「第１対象物」が（ｘ５，ｙ５）であり、「第２対象物」が「－」であり、「距離Ｌ」が「－」であり、「静止度Ｓ」が「－」であり、「重要度Ｐ」が０である。これは、部分動画Ｍ００３は、対象動画１２１における４秒以上６秒未満の範囲の動画であり、第１対象物が座標（ｘ５，ｙ５）に検出され、距離Ｌ及び静止度Ｓが算出されず、重要度Ｐが０と算出されたことを示している。

また、部分動画Ｍ００４は、「時間」が６～８であり、「第１対象物」が（ｘ６，ｙ６）であり、「第２対象物」が（ｘ７，ｙ７）であり、「距離Ｌ」が０.４であり、「静止度Ｓ」が０.１であり、「重要度Ｐ」が０である。これは、部分動画Ｍ００４は、対象動画１２１における６秒以上８秒未満の範囲の動画であり、第１対象物が座標（ｘ６，ｙ６）に検出され、第２対象物が座標（ｘ７，ｙ７）に検出され、距離Ｌが０.４と算出され、静止度Ｓが０.１と算出され、重要度Ｐが０と算出されたことを示している。

なお、部分動画情報１２２は、図４の例に限られない。部分動画情報１２２は、上記の情報項目の一部を含まなくてもよいし、上記以外の情報項目を含んでもよい。

ハイライト動画１２３は、作成装置１が対象動画１２１から作成したハイライト動画の動画ファイルである。ハイライト動画１２３は、元となった対象動画１２１と対応づけて記憶される。ハイライト動画１２３は、対象動画１２１から重要な部分を切り出して連結した５分の動画であるが、これに限られない。

制御部１３は、プロセッサ１０１がメモリ１０２からプログラムを読み出して実行し、他のハードウェア構成と協働することにより実現される。制御部１３は、作成装置１の動作全体を制御する。制御部１３は、取得部１３１と、検出部１３２と、距離算出部１３３と、静止度算出部１３４と、重要度算出部１３５と、選択部１３６と、作成部１３７と、を備える。

取得部１３１は、ユーザ端末２又は撮影装置３から作成装置１の通信部１１が受信した対象動画１２１を取得し、記憶部１２に保存する。

検出部１３２は、対象動画１２１を複数の部分動画に分割し、各部分動画から第１対象物及び第２対象物を検出する。検出部１３２は、対象動画１２１を所定時間（所定フレーム数）ごとに均等に分割してもよいし、それぞれ異なる時間（フレーム数）で分割してもよい。より詳細には、検出部１３２は、各部分動画に対して第１対象物及び第２対象物の検出処理を実行し、検出結果（第１対象物及び第２対象物の位置）を部分動画情報１２２として記憶部１２に保存する。

検出部１３２は、第１対象物を検出可能な物体検出モデルと、第２対象物を検出可能な物体検出モデルと、をそれぞれ利用して検出処理を実行してもよいし、第１対象物及び第２対象物を検出可能な１つの物体検出モデルを利用して検出処理を実行してもよい。また、検出部１３２は。部分動画の最初のフレームに対して検出処理を実行し、その検出結果を部分動画に対する検出結果として記憶部１２に保存してもよいし、部分動画に含まれる複数のフレームに対して検出処理を実行し、複数のフレームに対する検出結果の平均を、部分動画に対する検出結果として記憶部１２に保存してもよい。

ここで、第１対象物及び第２対象物について説明する。第１対象物及び第２対象物は、対象動画１２１の撮影対象及び撮影目的に応じて予め設定された２種類の対象物であり、それらの間の距離が、対象動画１２１におけるシーンの重要性に影響する２種類の対象物の組み合わせの中から任意に選択され得る。

例えば、建設現場では、人と重機が接近するほど、事故が発生する可能性が高くなる。このため、建設現場の安全性を高める（建設現場における危険な場所を確認する）ために建設現場の様子を対象動画１２１として撮影する場合、人と重機の間の距離が小さいシーンほど、危険性が高く、重要なシーンとなる。そこで、このような場合には、第１対象物として人が選択され、第２対象物として重機が選択され得る。

同様に、交差点では、人と車両が接近するほど、事故が発生する可能性が高くなる。このため、交差点の安全性を高める（交差点における危険な車両、時間帯、歩行者を確認する）ために交差点の様子を対象動画１２１として撮影する場合、人と車両の間の距離が小さいシーンほど、危険性が高く、重要なシーンとなる。そこで、このような場合には、第１対象物として人が選択され、第２対象物として車両が選択され得る。

なお、第１対象物と第２対象物の組み合わせは上記の例に限られない。第１対象物と第２対象物は、対象動画１２１の撮影対象及び撮影目的に応じて任意に選択可能である。

距離算出部１３３は、各部分動画において検出された第１対象物と第２対象物の間の距離Ｌを算出し、算出した距離Ｌを部分動画情報１２２として記憶部１２に保存する。距離Ｌは、フレーム上のピクセル数であってもよいし、フレーム上のピクセル数に基づいて算出された値であってもよい。フレーム上のピクセル数に基づいて算出された値として、例えば、フレームのサイズを基準としたピクセル数の割合、ピクセル数から換算された現実の距離などが挙げられる。対象動画１２１中の奥行きを算出可能である場合には、距離Ｌは、奥行きを考慮した距離であってもよい。また、複数の第１対象物又は複数の第２対象物が検出された場合、距離Ｌは、複数算出される距離Ｌのうち、最小の距離であってもよいし、複数算出される距離Ｌの平均値であってもよい。なお、図４の部分動画Ｍ００４のように、第１対象物又は第２対象物が検出されなかった部分動画については、距離算出部１３３は、距離Ｌを算出しなくてもよい。

静止度算出部１３４は、各部分動画の静止度Ｓを算出し、算出した静止度Ｓを部分動画情報１２２として記憶部１２に保存する。静止度算出部１３４は、部分動画の最初のフレームに対して静止度Ｓの算出処理を実行し、算出された静止度Ｓを部分動画の静止度Ｓとして記憶部１２に保存してもよいし、部分動画の複数のフレームに対して静止度Ｓの算出処理を実行し、算出された複数の静止度Ｓの平均を部分動画の静止度Ｓとして記憶部１２に保存してもよいし、部分動画の複数のフレームに基づいて部分動画の静止度Ｓを算出して記憶部１２に保存してもよい。

一般に、画像のブレが大きいほど、画像の輪郭（エッジ）は不鮮明となり、画像のエッジ成分のばらつきが小さくなる。言い換えると、画像のエッジ成分のばらつきが大きいほど、画像のブレが小さい、すなわち、画像の静止の度合いが大きいことになる。そこで、静止度Ｓは、フレームにおけるエッジ成分のばらつき（分散、標準偏差など）に基づいて算出することができる。静止度Ｓは、フレームにおけるエッジ成分のばらつき自体であってもよいし、フレームにおけるエッジ成分のばらつきに加えて、画像の静止度合いを示す他の指標を考慮した値であってもよい。また、静止度Ｓは、画像の静止度合いを示す、フレームにおけるエッジ成分のばらつきとは異なる指標に基づいて算出されてもよい。

なお、対象動画１２１が固定カメラにより撮影された動画である場合、各部分動画の静止度Ｓにはほとんど差がつかないため、静止度算出部１３４は、静止度Ｓを算出しなくてもよい。

また、距離Ｌに基づいてハイライト動画を作成する場合、図４の部分動画Ｍ００３のように、距離Ｌが算出されていない部分動画は、重要な部分動画として選択されることはないため、静止度Ｓを算出しなくてもよい。これにより、作成装置１の計算量を削減できる。

重要度算出部１３５は、各部分動画の重要度Ｐを算出し、算出した重要度Ｐを部分動画情報１２２として記憶部１２に保存する。重要度算出部１３５は、部分動画の最初のフレームに対して重要度Ｐの算出処理を実行し、算出された重要度Ｐを部分動画の重要度Ｐとして記憶部１２に保存してもよいし、部分動画の複数のフレームに対して重要度Ｐの算出処理を実行し、算出された複数の重要度Ｐの平均を部分動画の静止度Ｓとして記憶部１２に保存してもよい。

重要度算出部１３５は、対象動画１２１が、第１対象物と第２対象物との間の距離Ｌが小さいシーンほど重要な動画である場合、距離Ｌが小さいほど重要度Ｐを大きく算出する。このような対象動画１２１として、安全管理のために撮影される建設現場、工事現場、及び交差点などの動画が挙げられる。

また、重要度算出部１３５は、対象動画１２１が、第１対象物と第２対象物との間の距離Ｌが大きいシーンほど重要な動画である場合、距離Ｌが大きいほど重要度Ｐを大きく算出する。

また、重要度算出部１３５は、対象動画１２１が一人称視点動画である場合、静止度Ｓが大きいほど重要度Ｐを大きく算出する。これは、一人称視点動画の場合、撮影者が静止して撮影しているシーン（静止度Ｓが大きいシーン）ほど、撮影者が注視している、すなわち、撮影者にとって重要なシーンであると考えられるためである。

例えば、対象動画１２１が建設現場を撮影した一人称視点動画である場合、距離Ｌが小さく、静止度Ｓが大きいほど、重要度Ｐは大きく算出される。このような算出方法として、図４の例のように、重要度Ｐを１／距離Ｌ×静止度Ｓで算出することが考えられる。

なお、重要度Ｐの算出方法は上記の例に限られない。また、静止度Ｓが小さすぎる部分動画は、ブレが大きすぎて重要な部分動画として選択されることはないため、図４の部分動画Ｍ００４のように、重要度Ｐを算出しなくてもよい。これにより、作成装置１の計算量を削減できる。

選択部１３６は、各部分動画の重要度Ｐに基づいて、ハイライト動画１２３に含める重要な部分動画を選択する。選択部１３６は、重要度Ｐが予め設定された閾値以上の部分動画を選択してもよい。例えば、閾値が１.０である場合、図４の例では、部分動画Ｍ００１は選択され、部分動画Ｍ００２～Ｍ００４は選択されない。また、選択部１３６は、ハイライト動画１２３の長さが予め設定された長さとなるように、重要度Ｐが高い順に部分動画を選択してもよい。例えば、ハイライト動画１２３の長さが１分である場合、図４の例では、重要度Ｐが高い順に３０個の部分動画が選択される。

作成部１３７は、選択部１３６が選択した部分動画を連結してハイライト動画１２３を作成し、元の対象動画１２１と対応づけて記憶部１２に保存する。

なお、作成装置１の機能構成は、上記の例に限られない。例えば、作成装置１は、上記の機能構成の一部を備え、残りをユーザ端末２が備えてもよい。また、作成装置１は、上記以外の機能構成を備えてもよい。また、作成装置１の各機能構成は、上記の通り、ソフトウェアにより実現されてもよいし、ＩＣチップ、ＳｏＣ（System on Chip）、ＬＳＩ（Large Scale Integration）、マイクロコンピュータ等のハードウェアによって実現されてもよい。

＜情報処理システムが実行する処理＞
次に、本実施形態に係る情報処理システムが実行する処理について説明する。図５は、情報処理システムが実行する処理の一例を示すフローチャートである。以下では、ユーザが所持した撮影装置３で建設現場を撮影し、得られた動画のハイライト動画をユーザ端末２で閲覧する場合を例に説明する。

（ステップＳ１０１）
撮影装置３を所持したユーザが、建設現場を歩き回って対象動画１２１を撮影する。対象動画１２１は、建設現場の一人称視点動画となる。撮影装置３は、対象動画１２１を、ネットワークＮを介して作成装置１に送信する。

（ステップＳ１０２）
作成装置１の通信部１１が撮影装置３から対象動画１２１を受信すると、取得部１３１は、受信した対象動画１２１を取得し、記憶部１２に保存する。

（ステップＳ１０３）
検出部１３２は、記憶部１２に保存された対象動画１２１を読み出し、対象動画１２１を複数の部分動画に分割し、各部分動画の最初のフレームに対して、人（第１対象物）と重機（第２対象物）の検出処理を実行し、検出結果を各部分動画の部分動画情報１２２として記憶部１２に保存する。

図６は、部分動画Ｍの最初のフレームの一例を示す図である。図６のフレームには、人ＨとクレーンＣが写っている。図６の例では、検出処理により、人ＨとクレーンＣが検出され、第１対象物の検出結果として人ＨのバウンディングボックスＢＢ１の重心の座標が、第２対象物の検出結果として人ＨのバウンディングボックスＢＢ２の重心の座標が、部分動画Ｍの部分動画情報１２２として記憶部１２に保存される。

（ステップＳ１０４）
距離算出部１３３は、部分動画情報１２２を参照して、各部分動画の距離Ｌを算出し、部分動画情報１２２として記憶部１２に保存する。図６の例では、バウンディングボックスＢＢ１の重心の座標と、バウンディングボックスＢＢ２の重心の座標と、の間の距離が部分動画Ｍの距離Ｌとして算出される。

（ステップＳ１０５）
静止度算出部１３４は、各部分動画の最初のフレームに対して静止度Ｓの算出処理を実行し、算出した静止度Ｓを各部分動画の部分動画情報１２２として記憶部１２に保存する。

（ステップＳ１０６）
重要度算出部１３５は、部分動画情報１２２を参照して、各部分動画の重要度Ｐを算出し、算出した重要度Ｐを各部分動画の部分動画情報１２２として記憶部１２に保存する。

（ステップＳ１０７）
選択部１３６は、部分動画情報１２２を参照して、重要度Ｐが閾値以上の部分動画を、ハイライト動画１２３に含める重要な部分動画として選択する。

（ステップＳ１０８）
作成部１３７は、ステップＳ１０７で選択部１３６が選択した部分動画を連結してハイライト動画１２３を作成し、元の対象動画１２１と対応づけて記憶部１２に保存する。通信部１１は、記憶部１２に保存されたハイライト動画１２３を、自動的に又はユーザ端末２からの要求に応じて、ネットワークＮを介してユーザ端末２に送信する。通信部１１は、ハイライト動画１２３と共に、元となった対象動画１２１をユーザ端末２に送信してもよい。

（ステップＳ１０９）
ユーザ端末２は、ネットワークＮを介して作成装置１からハイライト動画１２３を受信すると、ユーザからの要求に応じてハイライト動画１２３を再生する。ユーザは、ユーザ端末２でハイライト動画１２３を閲覧する。

＜まとめ＞
以上説明した通り、本実施形態によれば、対象動画１２１から、第１対象物と第２対象物との距離Ｌに依存した重要なシーンを切り出して連結したハイライト動画１２３を自動的に作成することができる。

また、本実施形態に係るハイライト動画１２３の作成方法は、第１対象物及び第２対象物を検出可能な物体検出モデルを変更するだけで、様々な撮影対象及び撮影目的の対象動画１２１に適用できるため、汎用的であり、かつ、対象動画１２１に容易に特化させることが可能なハイライト動画１２３の作成方法として利用することができる。

また、本実施形態によれば、静止度Ｓに基づいてハイライト動画１２３を作成することにより、一人称視点動画から、撮影者が注視したシーンを切り出して連結したハイライト動画１２３、すなわち、撮影者の関心を考慮したハイライト動画１２３を作成することができる。

＜付記＞
本実施形態は、以下の開示を含む。

（付記１）
情報処理システムが実行する情報処理方法であって、
対象動画を取得する取得処理と、
前記対象動画を複数の部分動画に分割し、各部分動画から第１対象物及び第２対象物を検出する検出処理と、
検出された前記第１対象物と前記第２対象物との間の距離を算出する距離算出処理と、
前記距離に基づいて各部分動画の重要度を算出する重要度算出処理と、
前記重要度に基づいて部分動画を選択する選択処理と、
選択された部分動画を連結してハイライト動画を生成する生成処理と、
を含む情報処理方法。

（付記２）
前記重要度算出処理は、前記距離が小さいほど前記重要度を大きく算出する
付記１に記載の情報処理方法。

（付記３）
各部分動画の静止度を算出する静止度算出処理を更に含み
前記重要度算出処理は、前記距離及び前記静止度に基づいて各部分動画の重要度を算出する
付記１に記載の情報処理方法。

（付記４）
前記重要度算出処理は、前記静止度が大きいほど前記重要度を大きく算出する
付記３に記載の情報処理方法。

（付記５）
前記選択処理は、前記重要度が高い順に所定数の部分動画を選択する
付記１に記載の情報処理方法。

（付記６）
前記選択処理は、前記重要度が閾値以上の部分動画を選択する
付記１に記載の情報処理方法。

（付記７）
前記対象動画は、非固定カメラにより撮影された動画である
付記１に記載の情報処理方法。

（付記８）
前記対象動画は、ウェアラブルカメラにより撮影された動画である
付記１に記載の情報処理方法。

（付記９）
前記第１対象物は、人である
付記１に記載の情報処理方法。

（付記１０）
前記第２対象物は、重機である
付記１に記載の情報処理方法。

（付記１１）
前記距離は、フレーム上のピクセル数に基づいて算出される
付記１に記載の情報処理方法。

（付記１２）
前記静止度は、フレームにおけるエッジ成分のばらつきに基づいて算出される
付記３に記載の情報処理方法。

（付記１３）
対象動画を取得する取得部と、
前記対象動画を複数の部分動画に分割し、各部分動画から第１対象物及び第２対象物を検出する検出部と、
検出された前記第１対象物と前記第２対象物との間の距離を算出する距離算出部と、
前記距離に基づいて各部分動画の重要度を算出する重要度算出部と、
前記重要度に基づいて部分動画を選択する選択部と、
選択された部分動画を連結してハイライト動画を生成する生成部と、
を含む情報処理装置。

（付記１４）
コンピュータに、
対象動画を取得する取得処理と、
前記対象動画を複数の部分動画に分割し、各部分動画から第１対象物及び第２対象物を検出する検出処理と、
検出された前記第１対象物と前記第２対象物との間の距離を算出する距離算出処理と、
前記距離に基づいて各部分動画の重要度を算出する重要度算出処理と、
前記重要度に基づいて部分動画を選択する選択処理と、
選択された部分動画を連結してハイライト動画を生成する生成処理と、
を含む情報処理方法を実行させるためのプログラム。

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１：ハイライト動画作成装置
２：ユーザ端末
３：撮影装置
１１：通信部
１２：記憶部
１３：制御部
１０１：プロセッサ
１０２：メモリ
１０３：ストレージ
１０４：通信Ｉ／Ｆ
１０５：入出力Ｉ／Ｆ
１０６：ドライブ装置
１０７：入力装置
１０８：出力装置
１０９：ディスクメディア
１２１：対象動画
１２２：部分動画情報
１２３：ハイライト動画
１３１：取得部
１３２：検出部
１３３：距離算出部
１３４：静止度算出部
１３５：重要度算出部
１３６：選択部
１３７：作成部

Claims

情報処理システムが実行する情報処理方法であって、
対象動画を取得する取得処理と、
前記対象動画を複数の部分動画に分割し、各部分動画から第１対象物及び第２対象物を検出する検出処理と、
検出された前記第１対象物と前記第２対象物との間の距離を算出する距離算出処理と、
前記距離に基づいて各部分動画の重要度を算出する重要度算出処理と、
前記重要度に基づいて部分動画を選択する選択処理と、
選択された部分動画を連結してハイライト動画を生成する生成処理と、
各部分動画の静止度を算出する静止度算出処理と、
を含み、
前記重要度算出処理は、前記距離及び前記静止度に基づいて各部分動画の重要度を算出する
情報処理方法。
前記重要度算出処理は、前記距離が小さいほど前記重要度を大きく算出する
請求項１に記載の情報処理方法。
前記重要度算出処理は、前記静止度が大きいほど前記重要度を大きく算出する
請求項１に記載の情報処理方法。
前記選択処理は、前記重要度が高い順に所定数の部分動画を選択する
請求項１に記載の情報処理方法。
前記選択処理は、前記重要度が閾値以上の部分動画を選択する
請求項１に記載の情報処理方法。
前記対象動画は、非固定カメラにより撮影された動画である
請求項１に記載の情報処理方法。
前記対象動画は、ウェアラブルカメラにより撮影された動画である
請求項１に記載の情報処理方法。
前記第１対象物は、人である
請求項１に記載の情報処理方法。
前記第２対象物は、重機である
請求項１に記載の情報処理方法。
前記距離は、フレーム上のピクセル数に基づいて算出される
請求項１に記載の情報処理方法。
前記静止度は、フレームにおけるエッジ成分のばらつきに基づいて算出される
請求項１に記載の情報処理方法。
対象動画を取得する取得部と、
前記対象動画を複数の部分動画に分割し、各部分動画から第１対象物及び第２対象物を検出する検出部と、
検出された前記第１対象物と前記第２対象物との間の距離を算出する距離算出部と、
前記距離に基づいて各部分動画の重要度を算出する重要度算出部と、
前記重要度に基づいて部分動画を選択する選択部と、
選択された部分動画を連結してハイライト動画を生成する生成部と、
各部分動画の静止度を算出する静止度算出部と、
を含み、
前記重要度算出部は、前記距離及び前記静止度に基づいて各部分動画の重要度を算出する
情報処理装置。
コンピュータに、
対象動画を取得する取得処理と、
前記対象動画を複数の部分動画に分割し、各部分動画から第１対象物及び第２対象物を検出する検出処理と、
検出された前記第１対象物と前記第２対象物との間の距離を算出する距離算出処理と、
前記距離に基づいて各部分動画の重要度を算出する重要度算出処理と、
前記重要度に基づいて部分動画を選択する選択処理と、
選択された部分動画を連結してハイライト動画を生成する生成処理と、
各部分動画の静止度を算出する静止度算出処理と、
を含み、
前記重要度算出処理は、前記距離及び前記静止度に基づいて各部分動画の重要度を算出する
情報処理方法を実行させるためのプログラム。