JP6618349B2 - Video search system - Google Patents
Video search system Download PDFInfo
- Publication number
- JP6618349B2 JP6618349B2 JP2015251686A JP2015251686A JP6618349B2 JP 6618349 B2 JP6618349 B2 JP 6618349B2 JP 2015251686 A JP2015251686 A JP 2015251686A JP 2015251686 A JP2015251686 A JP 2015251686A JP 6618349 B2 JP6618349 B2 JP 6618349B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- work
- frame
- search system
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、映像検索システムに関し、特に、監視カメラなどによって撮影された映像における重要シーンの検索に有効な技術に関する。 The present invention relates to a video search system, and more particularly to a technique effective for searching important scenes in video shot by a surveillance camera or the like.
Webカメラなどのネットワークに接続可能な撮影装置が普及することにより、IP(Internet Protocol)ネットワークなどを利用した広域で大規模な監視システムを構築することが可能となった。 With the widespread use of imaging devices that can be connected to a network such as a Web camera, it has become possible to construct a large-scale monitoring system over a wide area using an IP (Internet Protocol) network or the like.
このような監視システムでは、複数拠点に設置したカメラから大量の監視映像を取得することができ、多角的なモニタリングが可能となる。しかし、一人の監視者が目視で確認できる映像の量には限界がある。 In such a monitoring system, a large amount of monitoring images can be acquired from cameras installed at a plurality of locations, and multi-faceted monitoring is possible. However, there is a limit to the amount of video that can be visually confirmed by a single observer.
そのため、単純にカメラの台数を増やすだけは監視者が重要シーンを見落としてしまうなどの問題が発生する。したがって、効率的な広域監視を実現するためには、大量の映像を短時間で確認するための技術が必要である。 For this reason, simply increasing the number of cameras causes a problem such as an oversight of an important scene by a supervisor. Therefore, in order to realize efficient wide area monitoring, a technique for confirming a large amount of video in a short time is necessary.
この種の映像確認技術としては、監視映像における変化の少ない部分、すなわち重要度の低い部分を高速に閲覧して、長時間の監視映像を短時間で閲覧する技術がある(例えば特許文献1参照)。 As this type of video confirmation technology, there is a technology for browsing a portion of a monitoring video with little change, that is, a portion of low importance at a high speed and browsing a long monitoring video in a short time (see, for example, Patent Document 1). ).
この技術は、例えば映像の変化が大きい部分と変化が少ない部分とを識別して、変化が少ない部分は高速に再生し、変化が大きい部分は低速または通常の速度で再生するものである。 In this technique, for example, a part with a large change in video and a part with a small change are distinguished, a part with a small change is played back at high speed, and a part with a large change is played back at a low speed or a normal speed.
また、建設現場のように長期間にわたる作業を効率よく確認する技術として、例えば特許文献2が知られている。この特許文献2は、タイマ手段にて設定した時刻のみの画像を撮影するものである。
As a technique for efficiently confirming work over a long period of time as in a construction site, for example,
さらに、上記の特許文献2では、重要度が高い映像のみを撮影することにより、長期間の作業経過を短時間で確認することのできる技術が開示されている。これは、光学系センサにより人物や物の動きを検知し、動きが検知されたときのみに画像を撮影するものである。
Furthermore, the above-mentioned
上述した特許文献1や特許文献2の技術においては、映像の変化量や作業現場での動体の動きのみを用いて当該シーンが重要かどうかを判定している。そのため、利用する環境によっては、重要度の低いシーンを誤って重要と判定する可能性がある。あるいは、その逆に重要度の高いシーンを誤って重要度が低いと判定する可能性がある。
In the techniques of
例えば、プラント施設や建設現場などの作業を監視する監督者は、現場作業員が事前に作成した計画書通りに作業を進めているか、作業員が提出した作業報告書に記載ミスや虚偽の報告がないかなどを確認するために監視映像を利用することがある。 For example, a supervisor who monitors work at a plant facility, construction site, etc., is proceeding according to a plan prepared in advance by the site worker, or reports errors or false reports described in the work report submitted by the worker. There are cases where surveillance video is used to check whether there is any.
このような用途では、監視映像に映る様々なシーンの中で作業中のシーンのみを重要シーンと判定する必要がある。しかし、上記の技術では、作業以外の動きについても反応してしまう。 In such an application, it is necessary to determine only an active scene among the various scenes shown in the monitoring video as an important scene. However, the above-described technology reacts to movements other than work.
そのため、例えば作業員が休憩所に向かって歩行するだけのシーンなど、監督者にとって重要度の低いシーンが重要なシーンと誤判定される恐れがある。監視業務をさらに効率化するためには、動き以外の情報も考慮したシーンの抽出技術が必要となる。 Therefore, for example, a scene that is less important for the supervisor, such as a scene in which an operator walks toward a rest area, may be erroneously determined as an important scene. In order to further improve the efficiency of monitoring work, a scene extraction technique that takes into account information other than movement is required.
本発明の目的は、監視映像などの長期間記録された映像の中から、監督業務に重要なシーンのみを精度よく抽出することのできる技術を提供することにある。 An object of the present invention is to provide a technique capable of accurately extracting only a scene important for a supervisory operation from a video recorded for a long time such as a monitoring video.
本発明の前記ならびにその他の目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。 The above and other objects and novel features of the present invention will be apparent from the description of this specification and the accompanying drawings.
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。 Of the inventions disclosed in the present application, the outline of typical ones will be briefly described as follows.
すなわち、代表的な映像検索システムは、映像検索特定部を有する。この映像検索特定部は、外部入力される検索情報に基づいて、作業対象の機器を撮影する映像撮影装置が撮影した映像から抽出対象となる映像の検索起点となる起点映像フレームを設定し、設定した起点映像フレームを起点として映像撮影装置が撮影した映像を検索して映像対象シーンを特定する。 That is, a typical video search system has a video search specifying unit. The video search specifying unit sets and sets a start video frame that is a search start point of a video to be extracted from a video shot by a video shooting device that shoots a target device based on search information input from the outside. A video target scene is specified by searching for a video shot by the video shooting device using the starting video frame as a starting point.
また、映像検索特定部は、検索起点決定部および映像区間特定部を有する。検索起点決定部は、検索情報に基づいて、作業対象の機器を撮影した映像撮影装置および前記機器の作業日時からなる検索起点データを生成する。映像区間特定部は、検索起点決定部が生成した検索起点データに基づいて、作業対象の機器を撮影する映像撮影装置が撮影した映像から抽出対象となる映像の検索起点となる起点映像フレームを設定し、設定した起点映像フレームを起点として、映像撮影装置が撮影した映像を解析して検索し、映像対象シーンを特定する。 The video search specifying unit includes a search start point determining unit and a video section specifying unit. Based on the search information, the search start point determination unit generates search start point data including a video shooting apparatus that has shot the target device and the work date and time of the device. Based on the search start data generated by the search start point determination unit, the video section specifying unit sets a start video frame that is a search start point of the video to be extracted from the video shot by the video shooting device that captures the work target device. Then, starting from the set start video frame, the video taken by the video shooting device is analyzed and searched to specify the video target scene.
特に、検索起点決定部が生成する検索起点データは、機器に実施した作業日時を有し、映像区間特定部は、作業日時に合致する日時のフレーム画像を起点映像フレームとして設定する。 In particular, the search start data generated by the search start point determination unit has the work date and time performed on the device, and the video section specifying unit sets a frame image of the date and time that matches the work date and time as the start video frame.
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。 Among the inventions disclosed in the present application, effects obtained by typical ones will be briefly described as follows.
(1)監督業務に必要なシーンを短時間で高精度に抽出することができる。 (1) A scene necessary for supervision work can be extracted with high accuracy in a short time.
(2)上記(1)により、監督業務の効率を向上させることができる。 (2) According to the above (1), the efficiency of the supervisory work can be improved.
以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。 In the following embodiment, when it is necessary for the sake of convenience, the description will be divided into a plurality of sections or embodiments, but they are not irrelevant to each other unless otherwise specified. There are some or all of the modifications, details, supplementary explanations, and the like.
また、以下の実施の形態において、要素の数等(個数、数値、量、範囲等を含む)に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。 Further, in the following embodiments, when referring to the number of elements (including the number, numerical value, quantity, range, etc.), especially when clearly indicated and when clearly limited to a specific number in principle, etc. Except, it is not limited to the specific number, and may be more or less than the specific number.
さらに、以下の実施の形態において、その構成要素(要素ステップ等も含む)は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。 Further, in the following embodiments, the constituent elements (including element steps and the like) are not necessarily indispensable unless otherwise specified and apparently essential in principle. Needless to say.
同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。 Similarly, in the following embodiments, when referring to the shape, positional relationship, etc. of components, etc., the shape is substantially the same unless otherwise specified or otherwise apparent in principle. And the like are included. The same applies to the above numerical values and ranges.
また、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。 In all the drawings for explaining the embodiments, the same members are denoted by the same reference symbols in principle, and the repeated explanation thereof is omitted.
(実施の形態1)
〈概要〉
実施の形態の代表的な映像検索システムは、作業情報112を入力すると、施設内の映像撮影装置101にて撮影された大量の映像の中から作業情報112に関連する映像のみを検索し、その検索した映像を作業情報112と紐づけて、表示装置111に提示するシステムである。
(Embodiment 1)
<Overview>
The representative video search system of the embodiment, when the
〈映像検索システムの構成例〉
以下、実施の形態を詳細に説明する。
<Example of video search system configuration>
Hereinafter, embodiments will be described in detail.
図1は、本実施の形態1による映像検索システムにおける構成の一例を示す説明図である。 FIG. 1 is an explanatory diagram showing an example of the configuration of the video search system according to the first embodiment.
映像検索システムは、図1に示すように、映像撮影装置101、作業情報入力装置104、表示装置111、および映像検索装置100を有する構成からなる。映像撮影装置101は、例えばネットワークカメラやデジタルカメラなどであり、例えば施設内の様々な場所に設けられており、該施設内における映像を撮影する。
As shown in FIG. 1, the video search system has a configuration including a
作業情報入力装置104は、図4に示す作業情報112を保持する。作業情報入力装置104は、例えばUSB(Universal Serial Bus)メモリの外部記憶メモリなどであってもよいし、あるいはキーボードやマウスなどの入力装置であってもよい。作業情報112は、例えば施設内などにて実施される作業の内容や時間などの情報である。表示装置111は、例えば液晶ディスプレイなどであり、処理結果を提示する。
The work
映像検索装置100は、映像入力部102、映像蓄積部103、作業情報入力部105、検索起点決定部106、機器撮影データ格納部107、作業映像区間特定部108、作業時間帯情報蓄積部109、および表示内容生成部110を有する。
The
映像入力部102は、映像撮影装置101からの映像データを受け取り、フレーム画像、言い換えれば静止画像に変換する。そして、図5に示す映像撮影装置101を一意に特定する番号であるカメラID113と図7に示す映像の撮影日時701とを紐づけて映像蓄積部103に格納する。
The
作業情報入力部105は、作業情報入力装置104から作業情報112を受け取り、その後の処理に必要な情報のみを選択して検索起点決定部106に出力する。検索起点決定部106は、作業情報入力部105から入力されたデータに基づいて作業員が映る可能性が高い時刻とその作業を映しているカメラID113を求める。
The work
作業映像区間特定部108は、映像蓄積部103の映像を解析して、作業の開始時刻と終了時刻を特定する。また、検索起点決定部106および作業映像区間特定部108によって映像検索特定部が構成される。そして、特定した時間帯を作業時間帯情報蓄積部109に出力する。表示内容生成部110は、作業情報112と作業時間帯の映像とを関連付けた出力画面を生成する。
The work video
〈映像検索システムの適用例〉
続いて、図1の映像検索システムの適用例について説明する。
<Application example of video search system>
Next, an application example of the video search system in FIG. 1 will be described.
図2は、図1の映像検索システムにおける他の構成例を示す説明図である。この図2では、図1の映像検索システムが有する映像検索装置100を計算機であるパーソナルコンピュータを適用して構成した際の例を示したものである。図2における映像撮影装置101、作業情報入力装置104、および表示装置111は、図1と同様であるので、説明は省略する。
FIG. 2 is an explanatory diagram showing another configuration example of the video search system of FIG. FIG. 2 shows an example in which the
図2において、映像検索装置100は、上述したように一般的なパーソナルコンピュータなど計算機であり、プロセッサ251、メインメモリ252、映像入力インタフェース(I/F)253、文書入力インタフェース255、出力インタフェース256、および記憶装置257を有する。これらは、バスなどによって相互に接続された構成からなる。
In FIG. 2, the
プロセッサ251は、メインメモリ252に格納されたプログラムを実行する。メインメモリ252は、例えばフラッシュメモリなどに例示される半導体メモリなどからなり、プロセッサ251によって実行されるプログラムおよびプロセッサ251によって参照されるデータを格納する。
The
具体的には、記憶装置257に格納されたプログラムおよびデータの少なくとも一部が、必要に応じてメインメモリ252にコピーされる。映像入力インタフェース253は、映像を取得するためのインタフェースであり、映像撮影装置101が接続されている。
Specifically, at least a part of the program and data stored in the
文書入力インタフェース255は、作業情報を取得するためのインタフェースであり、作業情報入力装置104が接続される。出力インタフェース256は、表示装置111にて表示する画面を出力するインタフェースである。
The
記憶装置257は、例えばハードディスク装置(HDD)あるいはフラッシュメモリのような不揮発性の記憶装置である。図2における記憶装置257には、少なくとも図1の映像入力部102、作業情報入力部105、検索起点決定部106、作業映像区間特定部108、および表示内容生成部110による機能を実行するプログラム形式のソフトウェアが格納されている。
The
また、記憶装置257は、上述した映像蓄積部103に蓄積されるデータ、作業時間帯情報蓄積部109に蓄積されるデータ、および機器撮影データ格納部107に格納されるデータをそれぞれ格納する記憶領域をそれぞれ有している。特に、記憶装置257における機器撮影データ格納部107には、後述する図5に示す機器撮影データ115が格納される。
The
映像入力部102、作業情報入力部105、検索起点決定部106、作業映像区間特定部108、および表示内容生成部110の各機能を実行するプログラムは、プロセッサ251によって実行されるプログラムである。以下の説明において、これらの各機能が実行する処理は、プロセッサ251によって実行される。
A program that executes the functions of the
〈映像検索システムによる動作例〉
続いて、図2の映像検索システムによる動作について説明する。
<Operation example by video search system>
Next, the operation of the video search system in FIG. 2 will be described.
図3は、図2の映像検索システムにおける動作の一例を示すフローチャートである。この図3では、作業情報入力装置104として、例えばUSBメモリを想定している。
FIG. 3 is a flowchart showing an example of operation in the video search system of FIG. In FIG. 3, for example, a USB memory is assumed as the work
まず、作業監督者または現場作業員が作業情報入力装置104を映像検索装置100に接続すると、作業情報入力部105による作業情報入力処理が実行される(ステップS301)。
First, when the work supervisor or field worker connects the work
このステップS301の処理では、作業情報入力装置104に格納された作業情報112の中から、次ステップであるステップS302の処理にて利用するデータを取得する。
In the process of step S301, data used in the process of step S302, which is the next step, is acquired from the
〈作業情報の例〉
図4は、図2の映像検索システムが有する作業情報入力装置104に格納される作業情報の説明図である。図4(a)は、作業情報の一例を示しており、図4(b)は、作業情報入力部105が取得する作業リスト114の構成例を示している。
<Example of work information>
FIG. 4 is an explanatory diagram of work information stored in the work
検索情報である作業情報112は、作業計画書、作業マニュアル、あるいは作業報告書などの作業内容や作業工数が記載された文書であり、例えば電子データなどからなる作業報告データである。
The
この作業情報112は、定められた書式に沿って作成されており、図4(a)に示すように、項番201、機器ID202、機器名203、作業時刻204、および結果401を項目とする表がある。
This
その表の上方には、年月日からなる作業日205および作業員氏名206が記載されている。その他に、作業人数などを記載するようにしてもよい。
In the upper part of the table, a
機器ID202は、作業対象機器を一意に特定する情報である。機器名203は、作業対象となる機器の名称を示す。作業時刻204は、作業を行った時刻である。結果401は、作業時に撮影した写真などである。例えば、ある機器のメータを読み取る作業の場合には、読み取ったメータの写真データが添付される。
The
ステップS301における作業情報入力処理では、作業リスト114を生成する。作業リスト114は、項番201、機器ID202、および作業日時207から構成されており、図4(a)に示す作業情報から取得する。ここで、取得する作業日時207は、図4(a)の作業日205および作業時刻204である。この作業リスト114には、作業の個数だけレコードが追加される。
In the work information input process in step S301, a
なお、作業日時については、上記したように作業情報112の文書に記載された作業時刻204および作業日205をそのまま採用してもよいし、あるいは作業情報112における結果401に写真が添付されている場合には、写真の撮影日時のデータを取得するようにしてもよい。
As for the work date and time, as described above, the
この場合、デジタルカメラが付加した撮影情報であるExif(Exchangeable image file format)ファイルから、写真の撮影日時を取得する。これにより、作業員が作業日205、作業時刻204を誤って記入した場合、記入漏れがあった場合、または作業情報112に作業時刻を記載する欄がない場合でも、正しい作業日時を取得することができる。
In this case, the shooting date and time of the photograph is acquired from an Exif (Exchangeable image file format) file that is shooting information added by the digital camera. As a result, the correct work date and time can be obtained even if the worker incorrectly enters the
続いて、検索起点決定部106による検索起点決定処理が実行される(ステップS302)。このステップS302の処理では、ステップS301の処理にて作成した作業リスト114と機器撮影データ115とに基づいて、図6に示す検索起点データ610を生成する。検索起点データ610は、作業員が映る可能性が高い映像撮影装置101および作業日時のリストなどからなる。
Subsequently, a search start point determination process by the search start
ここで、機器撮影データ115とは、映像検索装置100の稼働前に監視者や作業員が監視映像を目視確認して作成したデータであり、施設内の機器一覧とその機器を監視できる映像撮影装置101との対応関係を示したものである。
Here, the
〈機器撮影データの構成例〉
図5は、図2の映像検索システムが有する記憶装置257に格納される機器撮影データ115におけるデータ構成の一例を示す説明図である。
<Configuration example of device shooting data>
FIG. 5 is an explanatory diagram showing an example of a data configuration in the
機器撮影データ115のデータ構成は、機器ID202、カメラID113、および位置座標501からなる。1つの作業対象機器に対して、複数の撮影可能な映像撮影装置101が存在する場合は、作業対象機器により近い位置の映像撮影装置101を1つ選択して、選択した映像撮影装置101のカメラID113を格納する。あるいは、複数のカメラID113を格納してもよい。
The data structure of the
また、監視画像における機器の映る領域を特定できている場合は、カメラID113に加えて位置座標501を追記する。位置座標501は、表示装置111に表示される画像平面上における監視機器の位置を示す。
In addition, when the area where the device appears in the monitoring image can be specified, the position coordinate 501 is additionally written in addition to the
これにより、後述する図3のステップS303の処理である検索処理にて行う人物検知の処理範囲を狭めることができるため、検索処理における処理時間を短縮することができる。 Thereby, since the processing range of the person detection performed in the search process which is the process of step S303 in FIG. 3 described later can be narrowed, the processing time in the search process can be shortened.
また、PTZ(パン、チルト、ズーム)機能を有する映像撮影装置101を用いる場合はPTZ機能の設定値によって作業対象の機器を撮影できない場合がある。そのため、作業対象機器を撮影することのできるPTZ値を予め確認し、機器撮影データ115にその値を含めるようにしてもよい。
In addition, when the
なお、機器撮影データ115は、映像検索装置100を初めて利用する際に一度作成すればよく、映像撮影装置101および機器の設置位置が変動しない限り、更新不要なデータである。
The
〈検索起点データの構成例〉
図6は、図3のステップS302の処理である検索起点決定処理にて作成される検索起点データ610の構成の一例を示す説明図である。
<Configuration example of search origin data>
FIG. 6 is an explanatory diagram showing an example of the configuration of the search
上述したように、検索起点データ610は、項番601、作業対象の機器ID602、作業日時604、および作業風景を撮影できる映像撮影装置101のカメラID605からから構成されている。
As described above, the search
このうち、機器ID602および作業日時604は、図4(b)の作業リスト114から機器ID202および作業日時207を取得して格納したものである。カメラID605は、機器撮影データ115を参照して、機器ID602に対応するカメラIDを求めたものである。
Among these, the
以上の作業により、作業員が映る可能性が高い時刻と映像撮影装置101とのリストを生成する。
Through the above-described operation, a list of the times when the worker is highly likely to appear and the
続いて、図3において、作業映像区間特定部108による作業映像区間特定処理が実行される(ステップS303)。この作業映像区間特定処理は、映像蓄積部103に蓄積されている映像の中から作業風景が映る映像を特定する区間特定処理である。その際、ステップS302の処理にて求めたカメラID602と作業日時604とを用いてシーン特定の精度を向上する。
Subsequently, in FIG. 3, a work video section specifying process is performed by the work video section specifying unit 108 (step S <b> 303). This work video section specifying process is a section specifying process for specifying a video in which a work scene is shown from videos stored in the
〈映像データの構成例〉
図7は、図2の映像検索システムが有する映像蓄積部103に蓄積されている映像データの構成における一例を示す説明図である。
<Example configuration of video data>
FIG. 7 is an explanatory diagram showing an example of the configuration of the video data stored in the
映像蓄積部103に蓄積されている映像データの構成は、図7に示すように、映像入力部102にて取得されたフレーム画像が映像撮影装置101毎、撮影日毎に整理されて格納されている。フレーム画像702には、撮影時刻のデータが付与されているため特定の時刻の画像を容易に取り出すことが可能である。
As shown in FIG. 7, the configuration of the video data stored in the
〈作業映像区間特定処理の概要〉
続いて、作業映像区間特定処理の概要について、図8を用いて説明する。
<Overview of work video section identification processing>
Next, an outline of the work video section specifying process will be described with reference to FIG.
図8は、図2の映像検索システムが有する作業映像区間特定部108による作業映像区間特定処理の概要を示す説明図である。
FIG. 8 is an explanatory diagram showing an outline of work video section specifying processing by the work video
図8に示す四角形801は、映像蓄積部103に蓄積されている映像データのフレーム画像702による連続フレーム画像を模式的に表したものである。これらのうち、ハッチングにて示す四角形は、作業員が映っている画像を示しており、白抜きにて示す四角形は、作業員が映っていない画像を示している。
A rectangle 801 illustrated in FIG. 8 schematically represents a continuous frame image by the
また、ハッチングにて示す四角形の1つである画像805は、図6に示す検索起点データ610に格納された作業日時604の時刻に撮影された起点画像である。作業映像区間特定処理は、起点画像である画像805と同時刻帯に撮影されたフレーム画像702を解析して作業員が映っている区間である作業区間803を求める。
An
これにより、起点画像である画像805のフレーム画像付近の映像のみを検索対象とすることによって、作業と関係のないシーンが誤抽出されることを防ぎ、高精度な映像検索を可能とすることができる。
As a result, by searching only the video near the frame image of the
図8(a)および図8(b)に示すように、画像805と作業区間803との位置関係は、2つのケースがある。1つ目は、図8(a)に示すように、作業区間803内に画像805、すなわち起点映像フレームとなる起点フレームを含む場合である。2つ目は、図8(b)に示すように、作業区間803内に起点フレームを含まない場合である。
As shown in FIGS. 8A and 8B, the positional relationship between the
図8(a)に示すケースでは、起点画像の画像805付近の狭い範囲のみを探索することで作業区間803を特定することができる。一方、図8(b)に示すケースでは、起点の画像805の前後に作業員が映っている区間、すなわち作業区間の候補となる区間が存在している。
In the case shown in FIG. 8A, the work section 803 can be specified by searching only a narrow range near the
これらのケースにおいては、いずれも起点フレームである画像805により近い区間を選択して、これを作業区間803とする。例えば図8(b)に示すケースの場合には、作業区間の候補1と作業区間の候補2とにそれぞれ作業員が映っている区間が存在するが、画像805により近い作業区間は、作業区間の候補2であるので、該作業区間の候補2を選択して作業区間803とする。
In these cases, a section closer to the
〈作業映像区間特定処理の処理例〉
続いて、作業映像区間特定処理について、図9を用いて詳細に説明する。
<Example of work video section identification processing>
Next, the work video section specifying process will be described in detail with reference to FIG.
図9は、図2の映像検索システムが有する作業映像区間特定部108による作業映像区間特定処理の一例を示すフローチャートである。
FIG. 9 is a flowchart showing an example of work video section specifying processing by the work video
まず、起点フレームF0を決定する(ステップS1021)。上述の通り、起点フレームF0には、映像蓄積部103に格納されたフレーム画像702のうち、カメラID602と作業日時604とに紐づいたフレーム、すなわち画像を設定する。
First, the starting frame F 0 is determined (step S1021). As described above, the start point frame F 0, of the
そして、起点フレームF0の画像に対して人物検知処理を実行する(ステップS1022)。この人物検知処理は、既存の人物検知処理を利用することが可能である。例えば、予め人が居ない状態にて撮影した背景画像と起点フレーム画像との画素値の差を取り、差が大きい領域が事前に決めたしきい値以上になった場合に人が映っていると判定する技術を利用することができる。あるいは、特開2013−92955公報に記載されているような、複数のテンプレート画像との照合結果に基づいた物体検出技術などが利用可能である。 Then, the person detection process is executed on the image of the starting frame F 0 (step S1022). This person detection process can use an existing person detection process. For example, the difference between the pixel values of the background image captured in the absence of a person in advance and the starting frame image is taken, and the person is shown when the area where the difference is greater than or equal to a predetermined threshold value. Can be used. Or the object detection technique based on the collation result with a some template image etc. which are described in Unexamined-Japanese-Patent No. 2013-92955 can be utilized.
この処理にて、起点フレームF0に人物が映ると判定された場合は、起点フレームF0が作業区間803内にあると判断する(ステップS1023)。これは、例えば図8(a)のケースとみなすことができる。その後、作業区間の両端のフレームを探す処理を実行する(ステップS1010)。 At this process, if it is determined that the person is reflected in the origin frame F 0, the origin frame F 0 is determined to be within the work section 803 (step S1023). This can be regarded as, for example, the case of FIG. Thereafter, a process for searching for frames at both ends of the work section is executed (step S1010).
一方、人が映っていないと判定した場合(ステップS1023)、起点フレームF0は、作業区間803以外の位置にあるとみなす。これは、図8(b)のケースとみなすことができる。その場合には、まず作業区間803のおおよその位置を求め(S1011)、その後、作業区間803の両端を求める(S1012)。 On the other hand, if it is determined that the person is not reflected (step S1023), the origin frame F 0 is considered to be in a position other than work section 803. This can be regarded as the case of FIG. In that case, first, an approximate position of the work section 803 is obtained (S1011), and then both ends of the work section 803 are obtained (S1012).
続いて、ステップS1010の処理である作業区間の両端のフレームを探す処理について説明する。 Next, processing for searching for frames at both ends of the work section, which is processing in step S1010, will be described.
まず、画像解析の対象となる注目フレームFiを1フレーム前であるF0−1に移すことからスタートする。その後注目フレームFiの画像対して人物検出処理を施す。 First, the process starts by moving the target frame F i subject to image analysis to F 0 −1 which is one frame before. Against subsequent image of the frame of interest F i subjected to a person detection process.
人が検知された場合は、さらに1フレーム前の画像を取得して人物検知を実施する。注目フレームの画像中に人が検知されなくなるまでこの処理を繰り返す。人が検知されなくなったフレームを作業区間803の開始フレームFsとする。この開始フレームFsは、図8における機器に対する作業開始の映像を示す作業開始フレーム804となる。
When a person is detected, an image one frame before is further acquired to perform person detection. This process is repeated until no person is detected in the image of the frame of interest. A frame in which no person is detected is set as a start frame F s of the work section 803. This start frame F s is a
続いて、作業区間803の終了フレームFeを求める。この終了フレームFeは、図8の機器に対する作業が終了したフレームを示す作業終了フレーム806となる。この処理は、開始フレームFsを算出した際と同様に起点フレームF0から順に画像を解析し、人が映っているか否かを判定して、人が映らなくなった最初のフレームを作業区間803の終了フレームFeとする。
Subsequently, an end frame F e of the work section 803 is obtained. The end frame F e is a
以上により、作業区間803の開始および終了のフレームを特定することができる。 As described above, the start and end frames of the work section 803 can be specified.
続いて、図9のステップS1011の処理について説明する。 Next, the process of step S1011 in FIG. 9 will be described.
これは、前述したように図9のステップS1023の処理において、図8(b)のケース、すなわち起点フレームF0が作業区間803以外の位置にあると判定された際の処理である。 As described above, this is processing in step S1023 of FIG. 9 when it is determined that the case of FIG. 8B, that is, the starting frame F 0 is at a position other than the work section 803.
まず、注目フレームFiを1フレームずつ前に動かしながら人物が検知される最初のフレームを探し、検出されたフレームを作業区間候補1の終了フレームFeとする。そして、注目フレームFiを1フレームずつ後ろに動かしながら人物が検知される最初のフレームを探し、これを作業区間候補2の開始フレームFsとする。
First, the first frame in which a person is detected is searched while moving the attention frame F i forward one frame at a time, and the detected frame is set as the end frame F e of the
その後、起点フレームである画像805から、図8(b)に示す作業区間候補1と作業区間候補2までの距離、言い換えれば画像フレーム数を算出し、フレーム数が少ない区間を作業区間803とする。この場合、画像フレーム数ではなく、起点フレームである画像805から、図8(b)に示す作業区間候補1と作業区間候補2までの時間であってもよい。
Thereafter, the distance from the
真の作業区間803が逆方向にあった場合は、上述で求めた作業区間候補1の終了フレームFeを起点とし、注目フレームを1フレームずつ前に移動させながら人物検知処理を行う。人が検出できなくなったフレームを作業区間803の開始フレームFsとする。
If true work section 803 was in the opposite direction, as a starting point the end frame F e of the working
一方、作業区間803が順方向にあると判定した場合、作業区間候補2の開始フレームFsを起点とし、注目フレームを1フレームずつ後ろに移動させながら人物検知処理を行う。人が検出できなくなったフレームを作業区間803の終了フレームFeとする。以上で、作業区間の開始と終了のフレームを特定することができる。
On the other hand, when it is determined that the work section 803 is in the forward direction, the person detection process is performed while starting the start frame F s of the
ここで、図3のフローチャートの説明に戻る。 Now, the description returns to the flowchart of FIG.
ステップS303の処理である作業映像区間特定処理を終了すると、表示内容生成部110が表示内容を生成して(ステップS304)、表示装置111に出力する。これはステップS301の処理にて取得した作業情報112に、ステップS303の処理にて検索した作業時の映像の関連付けを行う処理である。
When the work video section specifying process, which is the process of step S303, is finished, the display
〈表示装置の表示例〉
図10は、図3のステップS304の処理により表示装置に表示される表示内容の一例を示す説明図である。
<Display example of display device>
FIG. 10 is an explanatory diagram showing an example of display contents displayed on the display device by the process of step S304 of FIG.
ステップS304の処理により生成されるデータは、図10に示すように、項番201、機器ID202、機器名203、点検日時901、および映像902からなる。項番201、機器ID202、および機器名203については、図4(a)に示す作業情報112に記載されたデータを用いている。
As shown in FIG. 10, the data generated by the processing in step S304 includes an
点検日時901についても作業情報112に記載されている情報をそのまま利用することもできるが、図8(b)に示したように、作業情報112に記載された時刻と、監視映像中で人物が検知された時刻に差異が生じた場合は、監視映像から求めた時刻を併記してもよい。
Although the information described in the
これにより、監視者が、作業情報112の内容と監視映像とに差異があることに気づくことができ、その作業を優先的に閲覧することができる。それによって、差異の原因を調査するなどのその後の対策を迅速にとることが可能となる。
As a result, the supervisor can notice that there is a difference between the contents of the
以上により、大量の監視映像の中から監督業務に必要なシーンを短時間で正確に抽出することができる。それにより、監督者などによる監督業務の効率を向上させることができる。 As described above, it is possible to accurately extract scenes necessary for the supervision work from a large number of monitoring videos in a short time. As a result, the efficiency of supervisory work by supervisors and the like can be improved.
(実施の形態2)
〈概要〉
本実施の形態2では、作業情報112の内容と監視映像の作業内容との差異を評価して、その評価結果を監督者画面に出力する映像検索システムについて説明する。
(Embodiment 2)
<Overview>
In the second embodiment, a video search system that evaluates the difference between the content of the
〈映像検索システムの構成例〉
図11は、本実施の形態2による映像検索システムにおける構成の一例を示す説明図である。
<Example of video search system configuration>
FIG. 11 is an explanatory diagram showing an example of the configuration of the video search system according to the second embodiment.
図11の映像検索システムが、前記実施の形態1の図1の映像検索システムと異なるところは、作業内容評価部1101が新たに設けられた点である。その他の構成については、前記実施の形態1の図1と同様であるので、説明は省略する。
The video search system of FIG. 11 is different from the video search system of FIG. 1 of the first embodiment in that a work
また、図12は、図11の映像検索システムが有する作業情報入力部105が取得する作業リスト114における構成の一例を示す説明図である。
FIG. 12 is an explanatory diagram showing an example of a configuration in the
〈作業リストの例〉
図12に示す作業リスト114は、図4(b)の作業リスト114の内容に、作業を行う作業員の人数を示す作業員数1201が加えられた構成からなる。
<Example of work list>
The
作業映像区間特定部108は、前記実施の形態1にて説明した作業の開始時刻と終了時刻を特定する作業映像区間特定処理に加えて、映像蓄積部103内のフレーム画像702に対して人物検出処理を実行する機能を有する。この人物検出処理では、画像中に映っている人物の数を求めることが可能である。
The work video
また、作業映像区間を特定する過程においては、前記実施の形態1にて述べたように映像から各作業の開始および終了のフレームを求めているため、作業の開始時刻、終了時刻、および作業に要した時間を算出することも可能である。 In the process of specifying the work video section, since the start and end frames of each work are obtained from the video as described in the first embodiment, the work start time, the end time, and the work It is also possible to calculate the time required.
〈作業内容評価部の処理例〉
作業内容評価部1101は、作業映像区間特定部108による映像解析の結果得られた作業員数と作業開始時刻、作業終了時刻、および作業に要する時間の情報と、図12の作業リスト114に記載の情報とを比較する。
<Example of processing by the work content evaluation unit>
The work
比較した結果として、設定時間以上の遅れ、例えば作業開始が1時間以上遅れた、あるいは本来2名で実施予定の作業に対して、監視映像中には1名の作業員しか映っていないなど、差異が大きい場合は、その結果をアラートとして表示内容生成部110に出力して表示装置111に表示させる。
As a result of the comparison, a delay of more than a set time, for example, the start of work was delayed by more than 1 hour, or the work that was originally planned to be performed by two people, only one worker was shown in the monitoring video, etc. When the difference is large, the result is output as an alert to the display
〈表示装置の表示例〉
図13は、図11の作業内容評価部1101による差異が大きい際に表示装置111に表示される表示内容の一例を示す説明図である。
<Display example of display device>
FIG. 13 is an explanatory diagram illustrating an example of display content displayed on the
図13の表示例では、前記実施の形態1の図10における表示例に加えて、新たに作業員数を示す項目である作業員数903が付け加えられている。この作業員数903の項目には、映像解析の結果得られた作業員数と図12の作業リスト114の作業員数とを比較した結果、異なる人数である場合に、映像解析の結果得られた作業員数および作業員数が異なる旨のメッセージなどが記載される。
In the display example of FIG. 13, in addition to the display example in FIG. 10 of the first embodiment, the number of
例えば、図12の作業リスト114に示された作業員数が2人であり、映像解析の結果得られた作業員数が1人である場合には、図13の作業員数903の項目には、「1人(相違あり)」などと表示される。
For example, when the number of workers shown in the
また、表示内容生成部110は、差異が生じた部分が特に目立つように、差異がある部分のみ色を変える、文字を大きくするなどの処理を施して表示内容を生成するようにしてもよい。
In addition, the display
このように、図4(a)の作業情報112に記載された作業内容と、監視映像を解析して得られた作業内容の差異を評価して、結果を監視者に提示することによって、監視者が優先的に確認すべき事象を分かりやすくすることができる。その結果、監督者の監視業務の効率を向上させることができる。
In this way, the difference between the work content described in the
なお、前記実施の形態1においては、図3のステップS302の検索起点決定処理において、図9のステップS1022の処理にて起点フレームF0を決定する際に、作業日時604に対応するフレーム画像をそのまま利用する例を示した。 In the first embodiment, in the search start point determination process in step S302 in FIG. 3, when the start frame F 0 is determined in the process in step S1022 in FIG. An example of using it as it is is shown.
しかし、同一日に同一作業員が作業をする際は、先に実施した作業が遅れた場合、次の作業も遅れる可能性がある。よって、作業内容評価部1101にて差異を評価した結果、いずれかの作業の終了時刻の差異が大きいと判定した場合は、図8の検索起点データ610内の作業データのうち、遅延した可能性の高い作業の作業日時604のデータを更新して、再度、ステップS302の検索起点決定処理を実行する。
However, when the same worker works on the same day, if the work performed earlier is delayed, the next work may also be delayed. Therefore, as a result of evaluating the difference in the work
以上のように、映像監視を解析した結果を用いて図4(a)の作業情報112の内容を更新することによって、より正確なシーンの検索を可能にすることができる。
As described above, it is possible to search for a more accurate scene by updating the contents of the
(実施の形態3)
〈映像検索システムの構成例〉
図14は、本実施の形態3における映像検索システムによる構成の一例を示す説明図である。
(Embodiment 3)
<Example of video search system configuration>
FIG. 14 is an explanatory diagram showing an example of the configuration of the video search system according to the third embodiment.
本実施の形態3では、前記実施の形態1における図1の構成に、人物検知部1031が新たに設けられた構成からなる。人物検知部1031以外については、図1と同様であるので、説明は省略する。
The third embodiment has a configuration in which a
〈人物検知部の処理例〉
図14において、映像入力部102が取得したフレーム画像は、人物検知部1031に出力される。人物検知部1031は、入力された全ての画像に対して、前記実施の形態1の図9におけるステップS1022の処理、すなわち人物検知処理を行い、フレーム画像702と人物検知の結果とを紐付けて映像蓄積部103に出力する。このフレーム画像702と人物検知の結果とが紐付けられたデータは、人物検知データとなる。
<Processing example of person detection unit>
In FIG. 14, the frame image acquired by the
〈映像データの構成例〉
図15は、図14の映像検索システムが有する映像蓄積部103に蓄積されている映像データの構成における一例を示す説明図である。
<Example configuration of video data>
FIG. 15 is an explanatory diagram showing an example of the configuration of video data stored in the
映像蓄積部103に蓄積されている映像データの構成は、前記実施の形態1の図7に示す内容に加えて、人物検知部1031による人物検知の結果を示す人物検知結果1401が新たに付け加えられている。
The configuration of the video data stored in the
この人物検知の結果1401は、例えば各フレーム(画像)にて検知できた人物の人数を格納してもよいし、あるいは図示するように人物が存在するか否かを1,0などにて表記するようにしてもよい。
The
本実施の形態3においても、作業映像区間特定部108は、図9にて示す同様のフローに従って人物が映る区間を特定する。このとき、図9のステップS1022やS1010,S1011における人物検知の処理については、映像蓄積部103に蓄積されている人物検知結果1401を参照するのみでよい。
Also in the third embodiment, the work video
映像を蓄積するフローにて事前に人物検知を実施することにより、図3に示す作業映像区間特定処理、すなわち図3のステップS303の処理での画像解析を省略することができる。 By performing person detection in advance in the flow for storing video, the work video section specifying process shown in FIG. 3, that is, the image analysis in the process of step S303 in FIG. 3, can be omitted.
それにより、より高速な映像検索を実現することができ、監督者の監視業務の効率を一層向上させることができる。 As a result, a higher-speed video search can be realized, and the efficiency of supervisory monitoring work can be further improved.
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。 As mentioned above, the invention made by the present inventor has been specifically described based on the embodiment. However, the present invention is not limited to the embodiment, and various modifications can be made without departing from the scope of the invention. Needless to say.
なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。 In addition, this invention is not limited to above-described embodiment, Various modifications are included. For example, the above-described embodiment has been described in detail for easy understanding of the present invention, and is not necessarily limited to one having all the configurations described.
また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加、削除、置換をすることが可能である。 Further, a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment. . In addition, it is possible to add, delete, and replace other configurations for a part of the configuration of each embodiment.
100 映像検索装置
101 映像撮影装置
102 映像入力部
103 映像蓄積部
104 作業情報入力装置
105 作業情報入力部
106 検索起点決定部
107 機器撮影データ格納部
108 作業映像区間特定部
109 作業時間帯情報蓄積部
110 表示内容生成部
1101 作業内容評価部
111 表示装置
112 作業情報
114 作業リスト
115 機器撮影データ
251 プロセッサ
252 メインメモリ
253 映像入力インタフェース
255 文書入力インタフェース
255 文書入力インタフェース
256 出力インタフェース
257 記憶装置
DESCRIPTION OF
Claims (11)
外部入力される検索情報に基づいて、作業対象の機器を撮影する映像撮影装置が撮影した映像から抽出対象となる映像の検索起点となる起点映像フレームを設定し、設定した前記起点映像フレームを起点として前記映像撮影装置が撮影した映像を検索して前記映像対象シーンを特定する映像検索特定部を有する、映像検索システム。 A video search system that analyzes video and extracts video target scenes to be extracted,
Based on the search information input from the outside, a starting video frame is set as a search starting point for the video to be extracted from the video shot by the video shooting device that captures the work target device, and the set starting video frame is set as the starting point. As a video search system, the video search system includes:
前記映像検索特定部は、
前記検索情報に基づいて、作業対象の前記機器を撮影した映像撮影装置および前記機器の作業日時からなる検索起点データを生成する検索起点決定部と、
前記検索起点決定部が生成した検索起点データに基づいて、作業対象の機器を撮影する前記映像撮影装置が撮影した映像から抽出対象となる映像の検索起点となる起点映像フレームを設定し、設定した前記起点映像フレームを起点として前記映像撮影装置が撮影した映像を解析して検索し、前記映像対象シーンを特定する映像区間特定部と、
を有する、映像検索システム。 The video search system according to claim 1,
The video search specifying unit
Based on the search information, a video shooting device that images the device to be worked and a search start point determination unit that generates search start point data including the work date and time of the device;
Based on the search start point data generated by the search start point determination unit, a start point video frame serving as a search start point of the video to be extracted is set and set from the video shot by the video shooting device that captures the work target device. A video section specifying unit for analyzing and searching for a video shot by the video shooting device starting from the starting video frame, and specifying the video target scene;
A video search system.
前記検索起点決定部が生成する検索起点データは、前記機器に実施した作業日時を有し、
前記映像区間特定部は、前記作業日時に合致する日時のフレーム画像を前記起点映像フレームとして設定する、映像検索システム。 The video search system according to claim 2, wherein
The search starting point data generated by the search starting point determining unit has a work date and time performed on the device,
The video section specifying unit sets a frame image having a date and time that matches the work date and time as the starting video frame.
前記検索起点決定部は、前記検索情報が有する写真データに付属する撮影日時を前記検索起点データの作業日時として生成し、
前記写真データは、前記機器に対する作業が終了した際に撮影された写真データである、映像検索システム。 The video search system according to claim 3, wherein
The search start point determination unit generates a shooting date and time attached to the photo data included in the search information as a work date and time of the search start point data,
The video search system, wherein the photo data is photo data taken when work on the device is completed.
前記映像区間特定部は、前記起点映像フレームに人物が映っているか否かを判定し、前記起点映像フレームに人物が映っている場合、前記起点映像フレームを起点として抽出対象となる前記映像対象シーンを特定する区間特定処理を行い、
前記区間特定処理は、前記起点映像フレームよりも前のフレーム画像において人物が写っていない最初のフレーム画像を検索して作業開始フレームとして設定し、前記起点映像フレームよりも後ろのフレーム画像において人物が写っていない最初のフレーム画像を検索して作業終了フレームとして設定し、設定した前記作業開始フレームから前記作業終了フレームまでのフレーム画像を抽出対象となる前記映像対象シーンとする、映像検索システム。 The video search system according to any one of claims 2 to 4,
The video section specifying unit determines whether or not a person is reflected in the starting video frame, and when the person is reflected in the starting video frame, the video target scene to be extracted from the starting video frame as a starting point Perform the section identification process to identify
The section specifying process searches for a first frame image in which a person is not captured in a frame image before the start video frame, sets it as a work start frame, and sets a person in a frame image after the start video frame. A video search system in which a first frame image that is not captured is searched and set as a work end frame, and the set frame images from the work start frame to the work end frame are used as the video target scene to be extracted.
前記映像区間特定部は、前記起点映像フレームに人物が映っていないと判定した際に、前記起点映像フレームよりも前のフレーム画像において人物が写っている第1のフレーム画像および前記起点映像フレームよりも後ろのフレーム画像において人物が写っている第2のフレーム画像をそれぞれ検索し、前記起点映像フレームにより近い位置にある前記第1のフレーム画像または前記第2のフレーム画像のいずれかを前記起点映像フレームとして設定して前記区間特定処理を実行し、抽出対象となる前記映像対象シーンを特定する、映像検索システム。 The video search system according to claim 5, wherein
The video section identifying unit, when it is determined that the not a starting point video frame reflected a person, from the first frame image and the origin image frame that is reflected a person in a previous frame image than the starting point video frame Find the second frame image is reflected a person even after the frame image respectively, either the origin image of the first frame image and the second frame image in a position closer to the origin image frame A video search system that sets as a frame, executes the section specifying process, and specifies the video target scene to be extracted.
前記映像撮影装置が撮影したフレーム画像の人物検知を行う人物検知部と、
前記フレーム画像と前記人物検知部が実行した人物検知結果とが紐付けられた人物検知データを格納する映像蓄積部と、
を有し、
前記映像区間特定部は、前記映像蓄積部に格納されている前記人物検知データを参照して、前記映像対象シーンに人物が映っているか否かを判定する、映像検索システム。 The video search system according to claim 5 or 6,
A person detection unit for detecting a person in a frame image captured by the video imaging device;
A video storage unit for storing person detection data in which the frame image and the person detection result executed by the person detection unit are linked;
Have
The video search system, wherein the video section specifying unit refers to the person detection data stored in the video storage unit to determine whether or not a person is shown in the video target scene.
前記機器に対する作業内容を評価する作業内容評価部を有し、
前記作業内容評価部は、前記映像区間特定部が特定した前記作業開始フレームの日時と前記検索情報が有する前記機器に実施した作業日時とを比較し、設定値以上の時間差がある場合にアラートを出力する、映像検索システム。 The video search system according to any one of claims 5 to 7,
A work content evaluation unit for evaluating the work content for the device;
The work content evaluation unit compares the date and time of the work start frame identified by the video section identification unit with the work date and time performed on the device included in the search information, and alerts when there is a time difference greater than a set value. Video search system to output.
前記機器に対する作業内容を評価する作業内容評価部を有し、
前記映像区間特定部は、前記映像対象シーンに映っている人物数を検出し、
前記作業内容評価部は、前記検索情報から前記機器に対して作業する作業員数を取得し、取得した前記作業員数と映像区間特定部が検出した前記映像対象シーンに映っている人物数とを比較し、人数が一致しない場合にアラートを出力する、映像検索システム。 The video search system according to any one of claims 5 to 7,
A work content evaluation unit for evaluating the work content for the device;
The video section specifying unit detects the number of persons shown in the video target scene,
The work content evaluation unit obtains the number of workers working on the device from the search information, and compares the obtained number of workers with the number of persons shown in the video target scene detected by the video section specifying unit. A video search system that outputs an alert when the number of people does not match.
前記映像撮影装置が撮影したフレーム画像の人物検知を行い、前記フレーム画像に映っている人物数を検出する人物検知部と、
前記フレーム画像と前記人物検知部が実行した人物数とが紐付けられた人物検知データを格納する映像蓄積部と、
を有し、
前記映像区間特定部は、前記映像蓄積部に格納されている前記人物検知データを参照して、前記映像対象シーンに映っている人物数を判定する、映像検索システム。 The video search system according to claim 9, wherein
A person detection unit that detects a person in the frame image captured by the video imaging apparatus and detects the number of persons in the frame image;
A video storage unit for storing person detection data in which the frame image and the number of persons executed by the person detection unit are linked;
Have
The video search system, wherein the video section specifying unit refers to the person detection data stored in the video storage unit and determines the number of persons appearing in the video target scene.
前記検索情報は、前記機器に対する作業結果を報告する作業報告データである、映像検索システム。 The video search system according to any one of claims 1 to 10,
The video search system, wherein the search information is work report data for reporting a work result for the device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015251686A JP6618349B2 (en) | 2015-12-24 | 2015-12-24 | Video search system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015251686A JP6618349B2 (en) | 2015-12-24 | 2015-12-24 | Video search system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017118319A JP2017118319A (en) | 2017-06-29 |
JP6618349B2 true JP6618349B2 (en) | 2019-12-11 |
Family
ID=59232089
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015251686A Active JP6618349B2 (en) | 2015-12-24 | 2015-12-24 | Video search system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6618349B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109840649A (en) * | 2017-11-28 | 2019-06-04 | 株式会社日立制作所 | Operating personnel's evaluation system, operating personnel's evaluating apparatus and evaluation method |
JP6912094B2 (en) * | 2018-08-10 | 2021-07-28 | 株式会社ユニゾンシステムズ | Store management system and management server |
WO2020095424A1 (en) * | 2018-11-09 | 2020-05-14 | 三菱電機株式会社 | Elevator video output device and elevator apparatus |
JP7218198B2 (en) * | 2019-02-08 | 2023-02-06 | キヤノン株式会社 | Video playback device, video playback method and program |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2004233453B2 (en) * | 2003-12-03 | 2011-02-17 | Envysion, Inc. | Recording a sequence of images |
JP4474529B2 (en) * | 2004-11-29 | 2010-06-09 | 独立行政法人産業技術総合研究所 | Work status recording apparatus, recording method thereof, and recording program |
JP5251646B2 (en) * | 2009-03-18 | 2013-07-31 | 富士通株式会社 | Video confirmation apparatus, method thereof, and program |
JP2012222462A (en) * | 2011-04-05 | 2012-11-12 | Dainippon Printing Co Ltd | Monitoring system |
JP5743849B2 (en) * | 2011-10-27 | 2015-07-01 | 株式会社日立製作所 | Video analysis apparatus and system |
JP6020986B2 (en) * | 2012-04-17 | 2016-11-02 | 株式会社日立製作所 | Object identification system, object identification server, and object identification terminal |
JP6307892B2 (en) * | 2014-01-20 | 2018-04-11 | 富士通株式会社 | Extraction program, method, and apparatus, and baseball video meta information creation apparatus, method, and program |
-
2015
- 2015-12-24 JP JP2015251686A patent/JP6618349B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017118319A (en) | 2017-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5976237B2 (en) | Video search system and video search method | |
JP5227911B2 (en) | Surveillance video retrieval device and surveillance system | |
JP6618349B2 (en) | Video search system | |
JP6593742B2 (en) | In-facility person search support apparatus, in-facility person search support system, and in-facility person search support method | |
EP1873732A2 (en) | Image processing apparatus, image processing system and filter setting method | |
JP2015019250A (en) | Tracking support device, tracking support system, and tracking support method | |
JP2015019249A (en) | Tracking support device, tracking support system, and tracking support method | |
JP6841608B2 (en) | Behavior detection system | |
JP5803723B2 (en) | Structure inspection support method, structure inspection support program, and structure inspection support device | |
US10970551B2 (en) | Control apparatus and control method for determining relation of persons included in an image, and storage medium storing a program therefor | |
JP2008011056A (en) | Stored moving picture selection apparatus, method, and system, program thereof, and computer-readable recording medium with program recorded therein | |
TWI601425B (en) | A method for tracing an object by linking video sequences | |
JP6396682B2 (en) | Surveillance camera system | |
JP2016019249A (en) | Display control device | |
US20200013170A1 (en) | Information processing apparatus, rebar counting apparatus, and method | |
US10970876B2 (en) | Methods and apparatus for image locating relative to the global structure | |
JP7074174B2 (en) | Discriminator learning device, discriminator learning method and computer program | |
JP6410427B2 (en) | Information processing apparatus, information processing method, and program | |
JP2008299834A (en) | Photographic subject tracking program and photographic subject tracking device | |
JP2006332789A (en) | Video photographing method, apparatus, and program, and storage medium for storing the program | |
KR20180075506A (en) | Information processing apparatus, information processing method, and program | |
JP5499752B2 (en) | Camera state monitoring apparatus, camera state monitoring program, and camera state monitoring method | |
JP6443144B2 (en) | Information output device, information output program, information output method, and information output system | |
CN110909579A (en) | Video image processing method and device, electronic equipment and storage medium | |
WO2016098187A1 (en) | Image search device and image search method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181205 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190808 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190820 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191021 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191112 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6618349 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |