JP5762145B2 - 再生システム及びその処理方法及びプログラム - Google Patents

Description

本発明は、再生システム及びその処理方法及びプログラムに関する。

従来、監視する物体をカメラで撮影し、撮影した画像を録画し、その後、録画した画像を再生する監視用録画再生システムがある。このシステムでは、録画した画像から所望の画像を効率的に再生するために、動き検知やセンサーに連動したイベント情報を画像又はイベントの発生時刻に関連付けて記憶させている。そして、イベント情報をユーザが選択することで、イベント情報を元にイベント発生時に録画した画像を表示可能に構成されている。

また、イベント発生時から録画を開始するだけでなく、イベント発生前にも録画可能な監視用録画システムも存在し、後でイベント発生前の画像も必要に応じて表示可能に構成されている。更に、監視用録画システムでは、画像と共に音声の録音も可能であり、録画した画像を再生する際に、録音した音声を同期させて再生することが可能である。

近年、画像解析技術の進歩や画像解析処理を行う中央演算処理ユニットの高速化により、画像解析技術を用いたイベント生成が行われている。例えば、物品が持ち去られた時にイベントを発生させる持ち去り検知や、あるべきでない物品が置き去りにされた時にイベントを発生させる置き去り検知など、イベントの種類や目的が多様化してきている。

具体的には、録画した画像から所望の画像をより効率的に再生するために、イベントの種類により音声を同期して再生するか否か、また、音声を再生する場合、どの程度の音量で再生するかを決定する技術が開示されている（例えば、特許文献１）。また、録画した画像からサムネイル画像を生成して表示し、表示したサムネイル画像を選択することで、選択されたサムネイル画像に対応した画像から再生する技術も開示されている（例えば、特許文献２）。

特開２００６−１６６３２２号公報 特開２００５−２６０８６２号公報

上述のように、監視用に録画した画像はハードディスクドライブ等の記憶装置の大容量化に伴い膨大な量があり、更にイベントの多様化により、所望の画像を短時間に探し出す技術が求められている。特許文献１に開示された技術では、イベントの種類により、画像だけでなく音声も再生させることで、所望の画像を見つけ易くしている。また、特許文献２に開示された技術では、サムネイル画像を生成して表示することで、画像の時間的変化を把握しながら目的の画像から再生することが可能になっている。即ち、従来の技術は、何れもイベント発生時やサムネイル画像に対応した画像から時間が経過する方向に画像を再生する技術である。

しかしながら、近年見受けられるイベントの種類によってはイベント発生時以降の画像を見ても、ユーザが真に所望する画像がない場合がある。例えば、上述の置き去り検知の場合、置き去りにした人物を特定するためには、物品が置き去りにされたと検知した時点から過去に遡って画像を確認する必要があり、ユーザはイベントの種類に応じて、画像の再生方法を考えて操作する必要が生じている。

本発明は、ユーザの手を煩わせることなく短時間で所望の画像を再生する技術を提供する。

本発明は、録画装置によって録画されたカメラの撮影画像を再生する再生システムであって、
前記録画装置によって録画された撮影画像が再生される場合、前記撮影画像に関連付けられたイベントの種別に従って、前記撮影画像を再生するために順次処理されるべき複数の表示方法のシーケンスを決定する決定手段と、
前記決定された表示方法のシーケンスに従って前記撮影画像を表示装置に再生させる再生手段と、を有し、
前記再生手段は、前記決定手段によって決定されたシーケンスに基づいて、予め定められた時間の経過に対応する表示方法で前記撮影画像を前記表示装置に再生させることを特徴とする。

本発明によれば、ユーザの手を煩わせることなく短時間で所望の画像を再生することができる。

録画再生システムのシステム構成の一例を示す図。 録画装置のハードウェア構成の一例を示す図。 再生装置のハードウェア構成の一例を示す図。 録画装置の機能構成の一例を示す図。 第１の実施形態における再生装置の機能構成の一例を示す図。 イベント選択画面の一例を示す図。 イベント種別の表示方法の一例を示す図。 表示方法編集画面の一例を示す図。 第１の実施形態における再生装置の処理を示すフローチャート。 第２の実施形態における再生装置の機能構成の一例を示す図。 表示シーケンスの一例を示す図。 表示シーケンス編集画面の一例を示す図。 第２の実施形態における再生装置の処理を示すフローチャート。

以下、図面を参照しながら発明を実施するための形態について詳細に説明する。本実施形態では、撮影された画像を録画し、録画された画像を再生する録画再生システムを例に説明する。また、画像はイベントの種別や発生した時刻と関連付けて録画され、その画像を再生する際に、イベントの種別毎に表示方法又は表示シーケンスをユーザが選択可能とする場合を例に挙げて説明する。

［第１の実施形態］
まず、本発明に係る録画再生システムのシステム構成の一例を、図１を用いて説明する。録画再生システム１は、ネットワークカメラに代表されるカメラ７で撮影された画像を受信して録画を行う録画装置２と、カメラ７で撮影された画像や録画装置２に録画された画像を受信して再生する再生装置３とを含む。

更に、録画再生システム１は、ユーザが再生装置３で再生した画像や再生装置３を操作するためのグラフィカルユーザインタフェースが表示される表示装置８と、再生装置３を操作するための操作入力を行う操作入力装置９とを含む。

尚、図１に示すように、録画装置２の構成と再生装置３の構成を１つの録画再生装置４として構成し、録画再生装置４内に録画装置の機能と再生装置の機能を有するように構成してもよい。

次に、録画装置２及び再生装置３のハードウェア構成の一例を、図２及び図３を用いて説明する。図２に示す録画装置２のハードウェアは、ＣＰＵ（中央処理部）１１、ＲＯＭ（読み出し専用メモリ）１２、ＲＡＭ（ランダムアクセスメモリ）１３、ＨＤＤ（ハードディスクドライブ）等に代表される記憶媒体１４を含む。

ここで、ＣＰＵ１１は、ＲＯＭ１２、ＨＤＤ１４に格納された録画用制御ソフトウェアプログラムを実行し、各デバイスを制御する。また、ＲＯＭ１２及びＨＤＤ１４は、各種制御ソフトウェアプログラムや情報を保持する。ＲＡＭ１３は、ＣＰＵ１１が処理を実行時に使用する作業領域、エラー処理時の情報の退避領域、制御ソフトウェアプログラムのロード領域等を有する。

また、録画装置２は、ネットワークインタフェース（Ｎｅｔ−ＩＦ）１５を含み、再生装置３やカメラ７等と有線又は無線を介して通信を行うことができる。尚、Ｎｅｔ−ＩＦ１５を介して他の情報装置等から制御ソフトウェアプログラムや情報を取得してもよい。また、上述の各構成は、アドレスバス、情報バス及びコントロールバスを含むＣＰＵバス１９により接続されている。

そして、ＣＰＵ１１が上述の制御ソフトウェアプログラムに基づいて処理を実行する。このことにより、後述する録画装置２の機能の一部に係る処理が実現される。

次に、図３に示す再生装置３のハードウェアは、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、ＨＤＤ２４、Ｎｅｔ−ＩＦ２５、ＣＰＵバス２９を含む。これらは録画装置２のハードウェアと同様であるが、ＣＰＵ２１は、ＲＯＭ２２、ＨＤＤ２４に格納された再生用制御ソフトウェアプログラムを実行する点が異なる。

更に、再生装置３は、表示装置８にディスプレイ信号を出力するためのディスプレイインタフェース２６、操作入力装置９の操作入力を受信する操作入力インタフェース２７を含む。

そして、ＣＰＵ２１が上述の制御ソフトウェアプログラムに基づいて処理を実行する。このことにより、後述する再生装置３の機能の一部、又は後述するフローチャートに係る処理が実現される。

次に、録画装置２の機能構成の一例を、図４を用いて説明する。図４に示す録画装置２の機能として、後述する画像及びイベント情報を記憶部１０１に書き込む機能、その書き込む際に時刻を管理する機能、記憶部１０１から画像及びイベント情報を読み出す機能を有する。

具体的には、次の各部が上述の機能を実現する。イベント情報取得部１０２がイベント情報を受信し、イベント情報書込み部１０３がイベント情報取得部１０２で受信したイベント情報を記憶部１０１に書き込みを行う。画像受信部１０４がカメラ７から画像を受信し、画像書込み部１０５が画像受信部１０４で受信した画像を記憶部１０１に書き込みを行う。画像及びイベント情報が書き込まれる際に、録画装置２の時刻情報を管理する時計部１０６から時刻情報を取得し、イベント情報及び画像を時刻情報と関連付けて書き込みを行う。

ここで、イベント情報は、カメラ７から送られるセンサーイベントやカメラ７が行った画像解析や音声解析により得られた動き検知イベント、置き去り検知イベント、持ち去り検知イベント、音量検知イベントなどである。尚、カメラ７の画像を用いてカメラ以外の不図示の画像解析装置やその他の外部装置からのイベント情報を受信しても良い。また、録画装置２内に不図示の画像解析部を設け、画像受信部１０４で得たカメラ７からの画像を用いて画像解析を行って生成したイベント情報を受信しても構わない。

続いて、イベント情報読出し部１０７が記憶部１０１に記憶されたイベント情報を読み出し、イベント情報送信部１０８がイベント情報読出し部１０７で読み出されたイベント情報を再生装置３に送信する。画像読出し部１０９が再生装置３から画像送信要求を受け付けて記憶部１０１に記憶された画像を順次読み出し、画像送信部１１０が画像読出し部１０９で読み出された画像を再生装置３に送信する。尚、再生装置３からの画像送信要求とその要求の際に録画装置２で実行される処理の詳細に関しては、再生装置３の機能説明の際に説明する。

次に、再生装置３の機能構成の一例を、図５を用いて説明する。図５に示す再生装置３の機能として、イベント選択画面を生成する機能、表示方法の編集画面を生成する機能、表示方法に従って画像を再生する機能を有する。

具体的には、次の各部が上述の機能を実現する。表示出力部２０１が表示装置８に後述する各画面生成部で生成された画面を出力する。イベント情報受信部２１１が録画装置２から送信されたイベント情報を受信し、イベント選択画面生成部２１２がイベント情報受信部２１１で受信されたイベント情報をイベント一覧（リスト）にしてイベント選択用の画面を生成する。イベント選択受信部２１３がイベント選択画面生成部２１２で生成されたイベント選択画面からユーザが選択したイベント情報を特定する。

ここで、上述のイベント選択画面の一例を、図６を用いて説明する。図６に示すように、複数のイベントがイベント一覧としてイベント選択画面３００内にリスト表示される。各イベントのイベント情報は、イベントＩＤ、イベント発生カメラＩＤ、イベント種別、イベント発生時刻を例に示しているが、本発明はこれに限定されるものではない。また、イベント選択は、例えばマウス操作のダブルクリック等により可能であるが、選択方法はこれに限定されるものではない。

図５に示す再生装置３の機能の説明に戻る。表示方法読出し部２２２が表示方法記憶部２２１に記憶されたイベント種別毎の表示方法を読み出す。表示方法決定部２２３がイベント選択受信部２１３で受信した選択されたイベントのイベント種別に基づいて表示方法を決定する。画像要求部２２４が表示方法決定部２２３で決定された表示方法と、選択されたイベントのイベント情報又は表示開始時刻を指定して録画装置２に画像の配信要求を行う。

ここで、第１の実施形態におけるイベント種別の表示方法の一例を、図７を用いて説明する。図７に示す例では、便宜上リストにして表示した場合を示している。尚、イベント種別における表示方法は、一例として表示する順序及び表示する速度を示したが、上述の何れかだけでも、追加情報として、例えば表示する大きさや明るさ等の表示に係る情報を指定しても構わない。

図５に示す再生装置３の機能の説明に戻る。画像要求部２２４で録画装置２に表示画像を要求する際には、少なくとも表示方法と表示開始時刻を特定できる情報が必要となる。表示開始時刻を特定する方法としては、図６に示すイベントＩＤが録画装置２で管理されたイベント情報に含まれる一意の情報の場合、イベントＩＤを指定することで、録画装置２はイベント発生時刻を特定できる。また、イベント情報に含まれるイベント発生時刻に基づいて表示開始時刻を指定しても構わない。

録画装置２は表示開始時刻と上述の表示方法に基づいて、例えば表示開始時刻に従った画像から時系列に画像を読み出して実時間通りに再生装置３に画像を配信する処理が可能となる。また、録画装置２は表示開始時刻に従った画像から時間を遡る方向に画像を読み出して実時間の半分の速度で配信する処理が可能となる。

表示開始時刻決定部２２５が選択されたイベントのイベント発生時刻から表示開始時刻をオフセットさせる時間を決定する。表示方法決定部２２３で決定された表示方法とイベント種別によっては、イベント発生時刻より前の時刻から時系列に表示することが有用な場合や、イベント発生時刻より後の時刻から時間を遡る方向に表示することが有用な場合が存在する。例えば、物品が持ち去られた場合に発生する持ち去り検知イベントの場合、持ち去られた時点から時間を過去に遡って表示することにより、持ち去られる前から持ち去られ、更にどちらの方向に持ち去られたかを一連の画像を確認することが有用である。但し、表示開始時刻決定部２２５がなくとも、予めイベント種別毎に表示方法と共にオフセットさせる時間が決められており、画像要求部２２４で画像を要求する際にオフセット時間も指定することで同様の画像を受信することが可能である。

要求画像受信部２３１が録画装置２に要求した画像を受信する。そして、画像表示画面生成部２３２が要求画像受信部２３１で受信された画像を順次デコードし、レンダリングして画像表示画面を生成する。ここで、録画装置２から、例えばＪＰＥＧ画像のように、一枚一枚が独立したデータであり、録画装置２から表示順序に合わせて画像データが送られてくる場合は、順次表示を行えば良い。しかしながら、デコード処理を行う際に、前後の画像を必要とするような、例えばＭＰＥＧ−４のような画像データの場合は、順次表示処理を行うことができない。このような場合、画像表示画面生成部２３２は録画装置２から送られてきた画像データをＧＯＰ単位でデコード処理し、表示方法決定部２２３で決定だれた表示方法に従ってレンダリング処理を行う。

表示方法編集部２４１がイベント種別毎に表示方法を編集処理し、表示方法編集画面生成部２４２が表示方法編集部２４１に表示方法の編集を行わせるための表示方法編集画面を生成する。表示方法編集操作受信部２４３が表示方法編集画面を操作した際の編集操作を受信する。表示方法書込み部２４４が表示方法編集部２４１で編集した表示方法を表示方法記憶部２２１に保存する。

ここで、第１の実施形態における表示方法編集画面の一例を、図８を用いて説明する。この表示方法編集画面でイベント種別毎に表示方法を編集可能である。図８に示す例では、図７に示す表示方法のうち、表示する順序、表示する速度の他に表示開始時刻についてイベント発生時刻からのオフセットを編集できるように構成されている。また図８に示す画面４００は、表示方法ＩＤが１、イベント種別がセンサー、表示開始時刻のオフセットがイベント発生時刻の１０秒前、表示の順序が時系列、表示の速度が１倍になるよう編集した例である。

次に、第１の実施形態における再生装置３の起動時から終了するまでの処理の一例を、図９を用いて説明する。まず、再生装置３のイベント情報受信部２１１が録画装置２からイベント情報を受信し（Ｓ１）、イベント選択画面生成部２１２が受信されたイベント情報をリスト化して図６に示すイベント選択画面を表示装置８に表示する（Ｓ２）。次に、イベント選択受信部２１３がユーザによって終了操作が行われたか否かを監視し（Ｓ７）、更にイベントの選択が行われたか否かを監視する（Ｓ３）。ここで、終了操作が行われたら処理を終了する。

一方、イベントが選択されたら、表示方法読出し部２２２が表示方法記憶部２２１から表示方法を読出し、表示方法決定部２２３が選択されたイベントのイベント種別に係る表示方法を決定する（Ｓ４）。そして、決定された表示方法と表示開始時刻決定部２２５で決定された表示開始時刻を特定する情報を指定して画像要求部２２４が録画装置２に画像配信要求を送信する（Ｓ５）。その後、要求画像受信部２３１が要求画像を受信し、画像表示画面生成部２３２が表示方法に従い画像を生成して表示装置８に表示する（Ｓ６）。この際に、別スレッドで画像の受信と表示処理を行い、画像の受信を表示が開始されたら操作の監視状態に戻ることが望ましい。

以上のように構成することで、画像の再生方法をユーザが操作しなくても選択したイベントにより、所望の画像を短時間で表示を行うことができる。

［第２の実施形態］
次に、図面を参照しながら本発明に係る第２の実施形態を詳細に説明する。尚、上述の第１の実施形態に準ずる個所については、その説明を割愛する。また、第１の実施形態と第２の実施形態との大きな差異は、イベント種別によって表示シーケンスを決定することにある。

第２の実施形態の録画再生システムの構成、録画装置及び再生装置のハードウェア構成、録画装置の機能構成は、図１乃至図４に示す第１の実施形態と同様である。ここでは、再生装置の機能構成の一例を、図１０を用いて説明する。

図５に示す第１の実施形態では、表示方法に従って処理が行われていたが、第２の実施形態では表示シーケンスに従って処理が行われる。つまり、表示シーケンス記憶部５２１、表示シーケンス読出し部５２２、表示シーケンス決定部５２３、表示シーケンス編集部５４１、表示シーケンス編集画面生成部５４２、表示シーケンス編集操作受信部５４３、表示シーケンス書込み部５４４が図５と異なる。

表示シーケンス読出し部５２２は、表示シーケンス記憶部５２１に、イベント種別毎に記憶された表示シーケンスを読み出す。そして、表示シーケンス決定部５２３はイベント選択受信部５１３で受信した選択されたイベントのイベント種別に基づいて、表示シーケンスを決定する。画像要求部５２４が表示シーケンス決定部５２３で決定された表示シーケンスで規定された表示方法と、選択されたイベントのイベント情報又は表示開始時刻を指定して録画装置２に画像の配信要求を行う。

ここで、第２の実施形態における表示シーケンスの一例を、図１１を用いて説明する。図１１では、表示シーケンス記憶部５２１に記憶されたイベント種別の表示シーケンスの一例を、便宜上リストにして示している。イベント種別における表示シーケンスは、順次処理を行う１以上の表示方法から構成されている。例として、表示シーケンスは表示開始時刻をイベント発生時刻からオフセットする方向と時間間隔を、また、各々の表示方法は表示する順序、表示する速度及び表示時間を示している。

図１０に示す再生装置３の機能の説明に戻る。画像要求部５２４で録画装置２に最初に表示画像を要求する際には、少なくとも表示方法と表示開始時刻を特定できる情報が必要となる。表示開始時刻を特定する情報に関しては第１の実施形態に準ずる。

２以上の表示方法が表示シーケンスで規定されている場合、現在の表示方法の表示時間が図１１に示す表示時間経過した後、画像要求部５２４に表示方法のみを指定して録画装置２に画像の送信要求を行う。このように指定することにより、録画装置２は既に配信した画像の時刻を起点として新しい表示方法に準じた方法及び速度で画像の配信を行う。

表示開始時刻決定部５２５が選択されたイベントのイベント発生時刻から表示開始時刻をオフセットさせて表示開始時刻を決定する。要求画像受信部５３１が録画装置２に要求した画像を受信し、画像表示画面生成部５３２が要求画像受信部５３１で受信した画像を順次デコードし、レンダリングして画像表示画面を生成する。

表示シーケンス編集部５４１は、イベント種別毎に表示シーケンスを編集処理し、表示シーケンス編集画面生成部５４２は表示シーケンス編集部５４１で表示シーケンスの編集を行わせるための表示シーケンス編集画面を生成する。そして、表示シーケンス編集操作受信部５４３は表示シーケンス編集画面を操作した際の編集操作を受信し、表示シーケンス書込み部５４４は表示シーケンス編集部５４１で編集された表示シーケンスを表示シーケンス記憶部５２１に保存する。

ここで、第２の実施形態における表示シーケンス編集画面の一例を、図１２を用いて説明する。この表示シーケンス編集画面でイベント種別毎に表示シーケンスを編集可能である。図１２に示す例では、図１１に示す表示シーケンス内の表示開始時刻をイベント発生時刻からオフセットする方向と時間を、また、表示方法内の表示する順序、表示する速度及び指定した表示方法で表示する時間を編集できるように構成されている。

次に、第２の実施形態における再生装置３の起動時から終了するまでの処理の一例を、図１３を用いて説明する。まず、イベント情報を録画装置２から受信し（Ｓ２１）、受信したイベント情報をリスト化してイベント選択画面を表示する（Ｓ２２）。次に、ユーザによって終了操作が行われたか否かを監視し（Ｓ２７）、更にイベント選択が行われたか否かを監視する（Ｓ２３）。ここで、終了操作が行われたら処理を終了する。

一方、イベントが選択されたら、表示シーケンス記憶部５２１から表示シーケンスを読出し、イベント種別が一致する表示シーケンスを決定する（Ｓ２４）。表示シーケンスを参照して表示開始時の表示方法と表示開始時刻を特定する情報を指定して録画装置に画像配信要求を送信する（Ｓ２５）。その後、要求画像を受信し、表示方法に従い画像を表示する（Ｓ２６）。この際に、別スレッドで画像の受信と表示処理を行い、表示シーケンスに従い表示方法を変更する時間が経過したかを監視する（Ｓ２８）。このＳ２８で、時間経過の監視と共に、更に別スレッドで画像の受信と表示処理を行い、画像の受信を表示が開始されたら他の操作の監視状態に戻ることが望ましい。また、Ｓ２８で、現在使用している表示方法が表示時間を経過した場合、次の表示方法を指定して録画装置２に画像配信を要求し（Ｓ２９）、Ｓ２６の処理に戻る。

以上のように構成することで、画像の再生方法をユーザが操作しなくても選択したイベントにより、所望の画像を短時間で表示を行うことができるだけでなく、より大事な画像を的確に表示させることができる。

［他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. 録画装置によって録画されたカメラの撮影画像を再生する再生システムであって、
   前記録画装置によって録画された撮影画像が再生される場合、前記撮影画像に関連付けられたイベントの種別に従って、前記撮影画像を再生するために順次処理されるべき複数の表示方法のシーケンスを決定する決定手段と、
   前記決定された表示方法のシーケンスに従って前記撮影画像を表示装置に再生させる再生手段と、を有し、
   前記再生手段は、前記決定手段によって決定されたシーケンスに基づいて、予め定められた時間の経過に対応する表示方法で前記撮影画像を前記表示装置に再生させる
   ことを特徴とする再生システム。
2. 前記表示方法として、前記撮影画像に関連づけられたイベントの種別毎に前記撮影画像を表示装置に再生させる順序と速度とが決定されていることを特徴とする請求項１に記載の再生システム。
3. 前記表示方法は予め記憶装置に記憶されており、当該記憶装置から前記イベントの種別毎に表示方法を読み出して編集し、編集された表示方法を書き込む手段を更に有することを特徴とする請求項２に記載の再生システム。
4. 前記表示方法は、表示シーケンスとして、イベント毎に前記撮影画像の再生が開始されるオフセット時間と方向とが決定されていることを特徴とする請求項２又は３に記載の録画再生システム。
5. 前記決定手段は、前記撮影画像に関連付けられたイベントが置き去り検知あるいは持ち去り検知の場合、表示方法として逆時系列に前記撮影画像を再生することを決定することを特徴とする請求項１に記載の再生システム。
6. 前記決定手段は、前記撮影画像に関連付けられたイベントがセンサー検知、動き検知、あるいは音量検知のうちのいずれかの場合、表示方法として時系列に前記撮影画像を再生することを決定することを特徴とする請求項１に記載の再生システム。
7. 録画装置によって録画されたカメラの撮影画像を再生する再生システムの処理方法であって、
   決定手段が、前記録画装置によって録画された撮影画像が再生される場合、前記撮影画像に関連付けられたイベントの種別に従って、前記撮影画像を再生するために順次処理されるべき複数の表示方法のシーケンスを決定する決定工程と、
   再生手段が、前記決定された表示方法のシーケンスに従って前記撮影画像を表示装置に再生させる再生工程と、を有し、
   前記再生工程では、前記決定工程によって決定されたシーケンスに基づいて、予め定められた時間の経過に対応する表示方法で前記撮影画像を前記表示装置に再生させる
   ことを特徴とする再生システムの処理方法。
8. コンピュータを請求項１乃至６の何れか１項に記載の再生システムの各手段として機能させるためのプログラム。

Images