WO2016067749A1 - 映像音声記録装置および監視システム - Google Patents
映像音声記録装置および監視システム Download PDFInfo
- Publication number
- WO2016067749A1 WO2016067749A1 PCT/JP2015/075220 JP2015075220W WO2016067749A1 WO 2016067749 A1 WO2016067749 A1 WO 2016067749A1 JP 2015075220 W JP2015075220 W JP 2015075220W WO 2016067749 A1 WO2016067749 A1 WO 2016067749A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- data
- recording
- search
- metadata
- video
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/915—Television signal processing therefor for field- or frame-skip recording or reproducing
Abstract
撮像データとメタデータとに基づき、階層構造の最下位層においては、メタデータとメタデータが閾値を満たすかどうかに関する検索情報とメタデータに対応する撮像データとを含む記録データと、記録データをメタデータの識別単位ごとに管理するための情報を有する第1の管理テーブルとをグループ化して格納し、最下位層より上位の層においては、第1の管理テーブルの情報を連携し、上位の層が管理する下位のグループについて、メタデータが前記閾値を満たす記録データが格納される範囲を特定するための情報を有する第2の管理テーブルをグループ化して格納する検索用記録データの作成を行うデータ記録処理部を備えた。
Description
この発明は、映像監視分野において映像・音声記録装置に記録されているカメラから配信された膨大な映像データ、あるいは音声データから効率的にデータ抽出を行う映像・音声記録装置に関するものである。
近年、映像監視分野においては、映像データ、音声データの他、判別したいパラメータが増加している。加えて、映像監視分野で使用される映像・音声記録装置において大容量化が進み、映像・音声記録装置に記録されている映像データや音声データは非常に膨大なデータとなっている。
また、近年においてはクラウドサービスを提供するにあたり、映像データや音声データなどの膨大なデータの中から所望のデータの検索を、効率よく行わなくてはいけないという課題がある。
また、近年においてはクラウドサービスを提供するにあたり、映像データや音声データなどの膨大なデータの中から所望のデータの検索を、効率よく行わなくてはいけないという課題がある。
そこで、従来の技術では、監視対象となる事象情報を抽出して蓄積する時系列情報蓄積・再生装置において、新しいデータの中から、不要な比較的古いデータは削除しつつ、必要なデータに関しては事象ごとにまとめることで、新旧データを階層的に保存することが開示されている(例えば、特許文献1参照)。
また、映像・音声データを記録する過程において、事前に判別条件として登録していたパラメータに基づく解析結果をメタデータとして映像データとともに蓄積または他のサーバにて管理を行い、検索効率の改善を行う監視システムが開示されている(例えば、特許文献2・特許文献3参照)。
また、映像データや音声データの効率的な検索のために、上位の階層レベルで全体の概略に関する検索情報を設定し、下位になる程、詳細な検索情報を設定する技術、および、検索情報の種別ごとにまとめる技術が開示されている(例えば、特許文献4参照)。
また、メタデータを利用した画像の抽出方法について、メタデータの属性情報からユーザの利用傾向などを加味した検索結果の表示をする技術が開示されている(例えば、特許文献5)。
また、映像・音声データを記録する過程において、事前に判別条件として登録していたパラメータに基づく解析結果をメタデータとして映像データとともに蓄積または他のサーバにて管理を行い、検索効率の改善を行う監視システムが開示されている(例えば、特許文献2・特許文献3参照)。
また、映像データや音声データの効率的な検索のために、上位の階層レベルで全体の概略に関する検索情報を設定し、下位になる程、詳細な検索情報を設定する技術、および、検索情報の種別ごとにまとめる技術が開示されている(例えば、特許文献4参照)。
また、メタデータを利用した画像の抽出方法について、メタデータの属性情報からユーザの利用傾向などを加味した検索結果の表示をする技術が開示されている(例えば、特許文献5)。
特許文献1~5に開示されているような技術では、膨大な映像データ、あるいは音声データからデータ抽出を行う場合、非効率となる場合があるという課題があった。
この発明は上記のような課題を解決するためになされたもので、ユーザの検索要求に応じた映像・音声データをより効率よく抽出できるようにすることで、ユーザの多用な検索を可能とし、検索効率を高め、検索時間を短縮させることができる映像音声記録装置および当該映像音声記録装置を備えた監視システムを提供することを目的とする。
この発明に係る映像音声記録装置は、撮像データとメタデータとに基づき、複数の階層からなる階層構造で管理する検索用記録データを作成し、入力された検索要求に基づき、検索用記録データから、検索要求に応じた撮像データを抽出する映像音声記録装置であって、撮像データとメタデータとを受信するデータ受信部と、データ受信部が受信した撮像データとメタデータとに基づき、階層構造の最下位層においては、メタデータとメタデータが閾値により定められた条件を満たすかどうかに関する検索情報とメタデータに対応する撮像データとを含む記録データと、記録データをメタデータの識別単位ごとに管理するための情報を有する第1の管理テーブルとをグループ化して格納し、最下位層より上位の層においては、第1の管理テーブルの情報を連携し、上位の層が管理する下位のグループについて、メタデータが閾値により定められた条件を満たす記録データが格納される範囲を特定するための情報を有する第2の管理テーブルをグループ化して格納する検索用記録データの作成を行うデータ記録処理部とを備えるものである。
この発明によれば、ユーザの多用な検索を可能とし、検索効率を高め、検索時間を短縮させることができる映像音声記録装置および当該映像音声記録装置を備えた監視システムを提供することができる。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
ここで実施の形態1にて解決する課題について再度説明する。
特許文献1に開示されているような技術では、時刻情報やアラームの発生情報等から映像・音声データを再生するのに階層型にデータ管理ができるが、事前に登録していない情報を検索しようとすると、メタデータのような情報がないため、アラーム等のイベント有無以外の多値データを抽出出来ないことに加え、古いデータを削除するため、映像・音声データの再解析も不可能であるという課題があった。
また、特許文献2,3に開示されているような監視システムにおいては、映像・音声データの記録とともに検索用のパラメータをメタデータとして管理し、ユーザが必要とされるデータについて記録時に独自のアルゴリズムを用いて判別して、映像・音声データを抽出しているが、管理しているメタデータは固定された区分別の判別結果のみであるため、ユーザが抽出条件のパラメータを変更しようとすると、映像・音声データを再度データ解析しなくてはいけないという課題があった。また、特許文献2,3に開示されているような監視システムにおいては、不要なデータを削除はしないものの、階層構造等でデータ管理を行うような工夫はないため、検索が非効率となるという課題があった。
実施の形態1.
ここで実施の形態1にて解決する課題について再度説明する。
特許文献1に開示されているような技術では、時刻情報やアラームの発生情報等から映像・音声データを再生するのに階層型にデータ管理ができるが、事前に登録していない情報を検索しようとすると、メタデータのような情報がないため、アラーム等のイベント有無以外の多値データを抽出出来ないことに加え、古いデータを削除するため、映像・音声データの再解析も不可能であるという課題があった。
また、特許文献2,3に開示されているような監視システムにおいては、映像・音声データの記録とともに検索用のパラメータをメタデータとして管理し、ユーザが必要とされるデータについて記録時に独自のアルゴリズムを用いて判別して、映像・音声データを抽出しているが、管理しているメタデータは固定された区分別の判別結果のみであるため、ユーザが抽出条件のパラメータを変更しようとすると、映像・音声データを再度データ解析しなくてはいけないという課題があった。また、特許文献2,3に開示されているような監視システムにおいては、不要なデータを削除はしないものの、階層構造等でデータ管理を行うような工夫はないため、検索が非効率となるという課題があった。
また、特許文献4,5に開示されているような技術では、階層構造でデータ管理を行っているが、メタデータの識別単位自体を上位、下位の概念に分けた階層としているため、メタデータの解析結果が複雑な階層構造になってしまうという課題があった。
特に、特許文献4については、検索情報の種別ごと、すなわち、メタデータの識別単位ごとにまとめたデータを管理し、検索情報の種別ごとに検索場所が特定できるようにしているが、全ての階層における検索情報の種別についてまとめた情報を持つ必要があるため、データ量が大きくなり、必ずしも検索効率があがるとはいえないという課題があった。
特に、特許文献4については、検索情報の種別ごと、すなわち、メタデータの識別単位ごとにまとめたデータを管理し、検索情報の種別ごとに検索場所が特定できるようにしているが、全ての階層における検索情報の種別についてまとめた情報を持つ必要があるため、データ量が大きくなり、必ずしも検索効率があがるとはいえないという課題があった。
実施の形態1は、上記のような課題を解決するためになされたもので、2値化判定されていない動きベクトルデータ等のメタデータと、当該メタデータの判別パラメータにより定められた条件を満たすかどうかに関する情報と、当該メタデータに対応する映像・音声データとを最下位層で管理し、当該判別パラメータにより定められた情報を満たすメタデータが記録されている範囲を特定するための情報を上位層で管理する階層構造とした検索用記録データを作成し、当該検索用記録データを上位層から検索して、ユーザの検索要求に応じた映像・音声データを抽出できるようにすることで、ユーザの多用な検索を可能とし、検索効率を高め、検索時間を短縮させることができる映像音声記録装置および当該映像音声記録装置を備えた監視システムを提供することを目的とする。
図1は、この発明の実施の形態1に係る映像・音声記録装置2を備えた映像・音声監視システムの構成図である。
図1に示すように、映像・音声監視システムは、カメラ1と、映像・音声記録装置2と、映像・音声制御装置3と、アラーム通知装置4とが同一ネットワーク上に構成されたシステムである。
なお、図1では、カメラ1は3台としているが、これに限らず、1台以上であればよい。また、図1では、映像・音声記録装置2と、映像・音声制御装置3はそれぞれ1台としているが、これに限らず、1台以上であればよい。また、図1では、アラーム通知装置4は1台としているが、アラーム通知装置4を備えない構成としてもよいし、2台以上備えるものとしてもよい。
図1に示すように、映像・音声監視システムは、カメラ1と、映像・音声記録装置2と、映像・音声制御装置3と、アラーム通知装置4とが同一ネットワーク上に構成されたシステムである。
なお、図1では、カメラ1は3台としているが、これに限らず、1台以上であればよい。また、図1では、映像・音声記録装置2と、映像・音声制御装置3はそれぞれ1台としているが、これに限らず、1台以上であればよい。また、図1では、アラーム通知装置4は1台としているが、アラーム通知装置4を備えない構成としてもよいし、2台以上備えるものとしてもよい。
カメラ1は、映像、および、音声に関するメタデータ(1)を作成し、撮影した映像・音声データ(撮像データ)とともにネットワークに配信する機能を持った装置である。
ここで、図2は、カメラ1の構成を説明する図である。
カメラ1は、映像データ作成部13のメタデータ作成部132において、映像に関するメタデータ(1)を作成する。メタデータ作成部132は、顔検出部1321と、動きベクトル検出部1322と、物体検出部1323と、天候検出部1324と、特徴量検出部1325と備え、各検出部1321~1325において、撮像データから予め決められた、顔、動きベクトル、物体、天候などに関する特徴を検出し、メタデータ(1)を作成する。
映像符号化処理部131は、撮像された映像データの符号化処理を行う。
映像処理部11は、映像符号化処理部131で符号化された映像データと、メタデータ作成部132で作成された映像に関するメタデータ(1)とを、ネットワークに配信する。
また、カメラ1は、音声データ作成部14のメタデータ作成部142において、音声に関するメタデータを作成する。メタデータ作成部142は、音声特徴量検出部1421を備え、音声特徴量検出部1421において、撮像データから予め決められた音声に関する特徴を検出し、音声に関するメタデータ(1)を作成する。
音声符号化処理部141は、撮像データ中の音声データの符号化処理を行う。
音声処理部12は、音声符号化処理部141で符号化された音声データと、メタデータ作成部142で作成された音声に関するメタデータ(1)とを、ネットワークに配信する。
ここで、図2は、カメラ1の構成を説明する図である。
カメラ1は、映像データ作成部13のメタデータ作成部132において、映像に関するメタデータ(1)を作成する。メタデータ作成部132は、顔検出部1321と、動きベクトル検出部1322と、物体検出部1323と、天候検出部1324と、特徴量検出部1325と備え、各検出部1321~1325において、撮像データから予め決められた、顔、動きベクトル、物体、天候などに関する特徴を検出し、メタデータ(1)を作成する。
映像符号化処理部131は、撮像された映像データの符号化処理を行う。
映像処理部11は、映像符号化処理部131で符号化された映像データと、メタデータ作成部132で作成された映像に関するメタデータ(1)とを、ネットワークに配信する。
また、カメラ1は、音声データ作成部14のメタデータ作成部142において、音声に関するメタデータを作成する。メタデータ作成部142は、音声特徴量検出部1421を備え、音声特徴量検出部1421において、撮像データから予め決められた音声に関する特徴を検出し、音声に関するメタデータ(1)を作成する。
音声符号化処理部141は、撮像データ中の音声データの符号化処理を行う。
音声処理部12は、音声符号化処理部141で符号化された音声データと、メタデータ作成部142で作成された音声に関するメタデータ(1)とを、ネットワークに配信する。
映像・音声制御装置3は、カメラ1から配信される映像・音声データと、映像・音声記録装置2に記録されている映像・音声データを、ディスプレイ上に表示、または、スピーカに出力する機能を持った装置である。なお、図1においては、映像・音声制御装置3と映像・音声記録装置2とはそれぞれ独立したものとしているが、これに限らず、映像・音声制御装置3は、映像・音声記録装置2と一体の装置となっていてもよい。なお、映像・音声制御装置3と一体の装置とする場合、映像・音声記録装置2は、映像・音声記録装置2に記録されている映像・音声データを表示部(図示しない)に表示する、または、スピーカ(図示しない)から出力するが、表示部およびスピーカについては、映像・音声記録装置2が備えるものとしてもよいし、映像・音声記録装置2の外部に備えるものとしてもよい。
また、映像・音声制御装置3は、ユーザから、入力部(図示を省略する)を介して映像・音声データの検索要求を受け付け、映像・音声記録装置2に、記録された映像・音声データの検索要求を行い、映像・音声記録装置2から受信した検索結果を表示部(図示を省略する)に表示する。また、映像・音声制御装置3では、映像・音声記録装置2に記録するメタデータの設定を行うこともできる。なお、ユーザから入力される映像・音声データの検索要求とは、具体的には、当該映像・音声データに関するメタデータの識別単位と、メタデータの値に基づくものである。
また、映像・音声制御装置3は、ユーザから、入力部(図示を省略する)を介して映像・音声データの検索要求を受け付け、映像・音声記録装置2に、記録された映像・音声データの検索要求を行い、映像・音声記録装置2から受信した検索結果を表示部(図示を省略する)に表示する。また、映像・音声制御装置3では、映像・音声記録装置2に記録するメタデータの設定を行うこともできる。なお、ユーザから入力される映像・音声データの検索要求とは、具体的には、当該映像・音声データに関するメタデータの識別単位と、メタデータの値に基づくものである。
アラーム通知装置4は、異常の検知、もしくは、重要情報の検出により、メタデータ(2)を生成し、ネットワーク、もしくは、専用線を介して映像・音声記録装置2に通知する。例えば、顔認証用サーバやPOS端末などがあげられる。アラーム通知装置4は、メタデータ(2)を生成した時刻情報とともに通知するようにしてもよい。これにより、カメラ1から配信される同じ時刻の映像・音声データ、メタデータ(1)と合わせて処理することが可能になる。そのため、カメラ1とアラーム通知装置4とは、時間的同期を取るとよい。
映像・音声記録装置2は、カメラ1が配信した映像・音声データと、メタデータ(1)と、アラーム通知装置4が配信したメタデータ(2)とを、映像・音声データとメタデータ(1),(2)を関連づけて、常時記録、または、アラーム等の記録イベントがあった場合に記録する。また、映像・音声記録装置2は、映像・音声制御装置3からの映像・音声データの検索要求に基づき、後述する検索用記録データの検索を行い、検索条件に合致した映像・音声データを抽出し、配信する。
図3は、この発明の実施の形態1に係る映像・音声記録装置2の構成図である。
図3に示すように、映像・音声記録装置2は、データ検索制御部21と、データ記録制御部22と、記録部23とを備える。
データ検索制御部21は、要求制御部211と、データ検索部212と、データ配信部213とを備え、要求制御部211は、映像・音声制御装置3からの映像・音声データの検索要求を受け付ける。映像・音声データの検索要求とは、メタデータの種類と、メタデータの値を送信することで行われ、要求制御部211は、当該メタデータの種類とメタデータの値とを受信する。
データ検索部212は、要求制御部211が受け付けたメタデータの識別単位と、メタデータの値とに基づき、記録部23に記録している検索用記録データの検索を行い、検索要求に応じた映像・音声データの抽出を行う。また、データ配信部213は、データ検索部212が抽出した映像・音声データの配信を行う。データ配信部213は、抽出した映像・音声データを一覧表示するサムネイル画像や時刻情報、メタ情報などの表示用データを作成するようにすることもできる。
図3に示すように、映像・音声記録装置2は、データ検索制御部21と、データ記録制御部22と、記録部23とを備える。
データ検索制御部21は、要求制御部211と、データ検索部212と、データ配信部213とを備え、要求制御部211は、映像・音声制御装置3からの映像・音声データの検索要求を受け付ける。映像・音声データの検索要求とは、メタデータの種類と、メタデータの値を送信することで行われ、要求制御部211は、当該メタデータの種類とメタデータの値とを受信する。
データ検索部212は、要求制御部211が受け付けたメタデータの識別単位と、メタデータの値とに基づき、記録部23に記録している検索用記録データの検索を行い、検索要求に応じた映像・音声データの抽出を行う。また、データ配信部213は、データ検索部212が抽出した映像・音声データの配信を行う。データ配信部213は、抽出した映像・音声データを一覧表示するサムネイル画像や時刻情報、メタ情報などの表示用データを作成するようにすることもできる。
データ記録制御部22は、データ受信部221と、メタデータ生成部222と、データ記録処理部223とを備え、データ受信部221は、カメラ1が配信した映像・音声データ、メタデータ(1)と、アラーム通知装置4が配信したメタデータ(2)とを常時、または、アラーム等の記録イベントがあった場合に受信する。また、メタデータ生成部222は、カメラ1、アラーム通知装置4からメタデータ(1),(2)が送信されていない場合に、あるいはカメラ1、アラーム通知装置4から送信されたメタデータ(1),(2)に加えて、データ受信部221がカメラ1から受信した映像・音声データに基づき、メタデータを生成する。なお、生成されたメタデータは、データ受信部221に送られる。
また、データ記録処理部223は、データ受信部221がカメラ1、または、アラーム通知装置4から受信した映像・音声データとメタデータ(1),(2)とに基づき、検索用記録データの作成を行う。なお、データ記録制御部22が作成する検索用記録データは階層構造となっている。最下位層においては、メタデータ(1),(2)とメタデータ(1),(2)が閾値により定められた条件を満たすかどうかに関する検索情報とメタデータに対応する撮像データとを含む記録データと、記録データをメタデータ(1),(2)の識別単位ごとに管理するための情報を有するメタ情報用管理テーブル(第1の管理テーブル)とをグループ化して格納する。最下位層より上位の層においては、メタ情報用管理テーブル(第1の管理テーブル)の情報を連携し、上位の層が管理する下位のグループについて、メタデータ(1),(2)が閾値により定められた条件を満たす記録データが格納される範囲を特定するための情報を有するメタ情報用管理テーブル(第2の管理テーブル)をグループ化して格納する。検索用記録データの構造と作成方法の詳細については後述する。
データ記録制御部22は、作成した検索用記録データを記録部23に記録させる。
以下、メタデータ(1)とメタデータ(2)を総称してメタデータという。
データ記録制御部22は、作成した検索用記録データを記録部23に記録させる。
以下、メタデータ(1)とメタデータ(2)を総称してメタデータという。
なお、メタデータは、カメラ1にて映像や音声データに付随したデータとして送信されたものであり、一つもしくは複数のパラメータで構成されているものとする。また、メタデータは、フレーム単位または複数フレームをまとめたGOP(Group Of Pictures)単位で記録される。映像・音声記録装置2では、一定時間(T0~Tn)もしくは一定記録容量(X byte)ごとに蓄積した映像・音声データのまとまりと当該映像・音声データに関するメタデータ(1)(2)とを一つのグループとして記録部23にて管理する。
記録部23は、データ記録処理部223が作成した検索用記録データを記録する。
なお、ここでは、記録部23は、映像・音声記録装置2が備えるものとしたが、これに限らず、映像・音声記録装置2の外部に備えるものとしてもよい。
なお、ここでは、記録部23は、映像・音声記録装置2が備えるものとしたが、これに限らず、映像・音声記録装置2の外部に備えるものとしてもよい。
ここで、まず、映像・音声記録装置2のデータ記録制御部22が、カメラ1、または、アラーム通知装置4から受信した映像・音声データ、メタデータに基づき作成する検索用記録データの構造について説明する。
検索用記録データは、図4に示すような、多層的な木構造で作成され、各層でグループ化され管理されている。
ここでは、一例として、図4に示すように、検索用記録データは3層(Layer1~3)の木構造で作成され、最下層のLayer1には16のグループがあり、Layer2には、Layer1の4グループをそれぞれ管理するグループが4つあり、最上層のLayer3は、Layer2の4グループを管理するものとしている。
検索用記録データは、図4に示すような、多層的な木構造で作成され、各層でグループ化され管理されている。
ここでは、一例として、図4に示すように、検索用記録データは3層(Layer1~3)の木構造で作成され、最下層のLayer1には16のグループがあり、Layer2には、Layer1の4グループをそれぞれ管理するグループが4つあり、最上層のLayer3は、Layer2の4グループを管理するものとしている。
これらのグループは、初期化処理にて、映像・音声記録装置2をデータフォーマットする際に各セクタにユニークに割り付けられる。具体的には、初期化処理にて、Layer2以上で使用する管理領域用のセクタを確保した上で、残りの全セクタをLayer1のグループとして割り付けする(図5参照)。これは、HDD(Hard disk drive)のような記録媒体では、長期間使用すると、セクタ(例えば、Layer1に書き込むことを想定しているグループのデータサイズ)単位で劣化するので、グループID(グループIDについては後述する)を用いて不良セクタへのアクセスを回避するようにするためである(図6参照)。
Layer(n)ごとにグループがいくつ存在するかは、各Layerの1ノードで下位ノードをいくつ管理しているかにより算出される。例えば、セクタ数が21で、Layer1のグループ数が16とし、Layer数3とした3層構造とした場合、Layer2の1ノードが管理するLayer1のノード数を4、Layer3の1ノードが管理するLayer2のノード数を4とすると、Layer2以上のグループ数は次の通りとなる。
Layer2=16/4=4(Layer2は4個のグループがある)
Layer3=4/4=1(Layer3は1個のグループがある)
なお、階層の深さ(Layer)の数の上限については特に設けず、データ量に応じて増減させることができるものとする。
Layer2=16/4=4(Layer2は4個のグループがある)
Layer3=4/4=1(Layer3は1個のグループがある)
なお、階層の深さ(Layer)の数の上限については特に設けず、データ量に応じて増減させることができるものとする。
Layer1~3の各グループのデータ構造について説明する。なお、ここでは、まず、Layer1~3のデータ構造についてのみ説明し、どのような内容が編集されるのかの動作については後述する。
まず、Layer1、すなわち、最下層の各グループのデータ構造について説明する。
図7は、Layer1のグループのデータ構造を説明する図である。
図7に示すように、Layer1のグループは、グループ管理テーブル(グループID、開始時刻、終了時刻、前グループID、後グループID、メタ情報用管理テーブル#1~#k、映像・音声データ管理テーブル)と、記録データ#1~nとから構成される。
記録データは、カメラ1等から受け付けるデータ(映像・音声データ、メタデータ)であり、時刻Tnごとに記録できるデータの最小単位である。この記録データは記録デバイス(記録部23)への書き込み単位として定めたX byte以内の複数の記録データ(#1~n)を1つのグループとしてまとめて管理される。
この記録データのまとまりに、グループ管理テーブルを付加したデータのまとまりを、Layer1のグループと呼ぶ。
まず、Layer1、すなわち、最下層の各グループのデータ構造について説明する。
図7は、Layer1のグループのデータ構造を説明する図である。
図7に示すように、Layer1のグループは、グループ管理テーブル(グループID、開始時刻、終了時刻、前グループID、後グループID、メタ情報用管理テーブル#1~#k、映像・音声データ管理テーブル)と、記録データ#1~nとから構成される。
記録データは、カメラ1等から受け付けるデータ(映像・音声データ、メタデータ)であり、時刻Tnごとに記録できるデータの最小単位である。この記録データは記録デバイス(記録部23)への書き込み単位として定めたX byte以内の複数の記録データ(#1~n)を1つのグループとしてまとめて管理される。
この記録データのまとまりに、グループ管理テーブルを付加したデータのまとまりを、Layer1のグループと呼ぶ。
図8は、記録データの構成を説明する図である。
記録データは、時刻Tnごとに記録でき、図8に示すように、記録時刻Tnと、メタ情報と、記録用映像・音声データとから構成される。
図9は、メタ情報の構成を説明する図であり、図10は、記録用映像・音声データの構成を説明する図である。
図9に示すように、メタ情報は、メタデータと検索情報とから構成される。なお、メタデータは、一つもしくは複数のパラメータで構成されている。
記録データは、時刻Tnごとに記録でき、図8に示すように、記録時刻Tnと、メタ情報と、記録用映像・音声データとから構成される。
図9は、メタ情報の構成を説明する図であり、図10は、記録用映像・音声データの構成を説明する図である。
図9に示すように、メタ情報は、メタデータと検索情報とから構成される。なお、メタデータは、一つもしくは複数のパラメータで構成されている。
また、図10に示すように、記録用映像・音声データは、前方向記録アドレスと、後方向記録アドレスと、前方向記録時刻Tn-1と、後方向記録時刻Tn+1と、映像・音声データとから構成される。
図11は、メタ情報用管理テーブル内のデータを説明する図である。なお、メタ情報用管理テーブルは、メタデータの識別単位ごとに設けられ、メタデータの識別単位は予め設定されているものとする。
図11に示すように、メタ情報用管理テーブル内には、メタデータ識別単位と、メタ情報記録位置を示す記録開始時刻・終了時刻と、判別パラメータにより一次抽出された抽出データ開始・終了時刻と、記録開始・終了アドレスまたはIDと、抽出データ開始アドレスまたはIDとが格納されている。なお、判別パラメータによる一次抽出とは、検索用記録データを作成する際に、メタデータが判別パラメータ(閾値)により定められた条件を満たすかどうかを判定し、条件を満たす場合に、当該条件を満たす記録データの情報を有するメタ情報用管理テーブルを作成することを言うが、詳細については後述する。
図11に示すように、メタ情報用管理テーブル内には、メタデータ識別単位と、メタ情報記録位置を示す記録開始時刻・終了時刻と、判別パラメータにより一次抽出された抽出データ開始・終了時刻と、記録開始・終了アドレスまたはIDと、抽出データ開始アドレスまたはIDとが格納されている。なお、判別パラメータによる一次抽出とは、検索用記録データを作成する際に、メタデータが判別パラメータ(閾値)により定められた条件を満たすかどうかを判定し、条件を満たす場合に、当該条件を満たす記録データの情報を有するメタ情報用管理テーブルを作成することを言うが、詳細については後述する。
図12は、映像・音声データ管理テーブル内のデータを説明する図である。
映像・音声データ管理テーブルは、グループ内の記録データの開始と終了の情報を管理するためのものであり、開始・終了時刻と、開始・終了アドレスまたはIDとが格納されている。なお、データ位置が一意になることが確立していれば、時刻か、アドレスまたはIDのうちどちらか一方で管理するようにしても構わない。
映像・音声データ管理テーブルは、グループ内の記録データの開始と終了の情報を管理するためのものであり、開始・終了時刻と、開始・終了アドレスまたはIDとが格納されている。なお、データ位置が一意になることが確立していれば、時刻か、アドレスまたはIDのうちどちらか一方で管理するようにしても構わない。
次に、Layer2,3、すなわち、上位層の各グループのデータ構造について説明する。なお、ここでは図4をもとに、Layer1~3の3層のデータ構造を一例とし、上位層とはLayer2,3として説明するが、これに限らない。すなわち、上位層とはLayer(n)(n:2以上の自然数)のことをいう。
図13は、Layer2,3のグループのデータ構造を説明する図である。
図13において、図7を用いて説明したものと同様のデータ構造については、重複した説明を省略する。
図7で説明したLayer1のグループのデータ構造と、図13に示すLayer(n)のグループのデータ構造との差異は、Layer1が記録データとしてメタ情報と記録用映像・音声データを格納していたのに対し、Layer(n)は、下位LayerのグループIDを管理することが相違するのみである。Layer(n)のデータは、グループ管理テーブルとLayer n-1のグループIDとから構成され、グループ管理テーブルは、配下のLayer n-1のグループ管理テーブルをまとめて管理するための情報を有している。
図13は、Layer2,3のグループのデータ構造を説明する図である。
図13において、図7を用いて説明したものと同様のデータ構造については、重複した説明を省略する。
図7で説明したLayer1のグループのデータ構造と、図13に示すLayer(n)のグループのデータ構造との差異は、Layer1が記録データとしてメタ情報と記録用映像・音声データを格納していたのに対し、Layer(n)は、下位LayerのグループIDを管理することが相違するのみである。Layer(n)のデータは、グループ管理テーブルとLayer n-1のグループIDとから構成され、グループ管理テーブルは、配下のLayer n-1のグループ管理テーブルをまとめて管理するための情報を有している。
次に、この実施の形態1に係る映像・音声記録装置2の動作について説明する。
映像・音声記録装置2は、カメラ1が配信した映像・音声データ、メタデータ(1)と、アラーム通知装置4が配信したメタデータ(2)とから、検索用記録データを作成し、常時記録、または、アラーム等の記録イベントがあった場合に記録するデータ記録制御の機能と、映像・音声制御装置3からの映像・音声データの検索要求に基づき、記録している検索用記録データの検索を行い、検索の結果抽出した映像・音声データを配信するデータ検索制御の機能を持つものであるが、まず、データ記録制御の機能から説明する。なお、データ記録制御は、映像・音声記録装置2のデータ記録制御部22が行う。
映像・音声記録装置2は、カメラ1が配信した映像・音声データ、メタデータ(1)と、アラーム通知装置4が配信したメタデータ(2)とから、検索用記録データを作成し、常時記録、または、アラーム等の記録イベントがあった場合に記録するデータ記録制御の機能と、映像・音声制御装置3からの映像・音声データの検索要求に基づき、記録している検索用記録データの検索を行い、検索の結果抽出した映像・音声データを配信するデータ検索制御の機能を持つものであるが、まず、データ記録制御の機能から説明する。なお、データ記録制御は、映像・音声記録装置2のデータ記録制御部22が行う。
映像・音声記録装置2のデータ記録制御部22は、図7,図13で説明したような検索用記録データを作成し、記録部23に記録させる。
図14は、この発明の実施の形態1に係る映像・音声記録装置2のデータ記録制御部22によるデータ記録制御の動作を説明する図である。
データ記録制御部22は、まず、最下層、すなわち、Layer1のデータの編集を行い(ステップST141)、ステップST141において編集したLayer1のデータを管理する上位層のLayer(n)のデータの編集を行う(ステップST142)ことで、記録部23で記録する検索用記録データの作成を行っていく。なお、上位層のデータは、Layer1のグループを記録部23に書き込むタイミングでLayer2→Layer3・・・と更新される。すなわち、Layer1のグループを記録部23に書き込むタイミングでステップST142の処理に進む。以下、ステップST141,ステップST142の処理について詳細に説明する。
図14は、この発明の実施の形態1に係る映像・音声記録装置2のデータ記録制御部22によるデータ記録制御の動作を説明する図である。
データ記録制御部22は、まず、最下層、すなわち、Layer1のデータの編集を行い(ステップST141)、ステップST141において編集したLayer1のデータを管理する上位層のLayer(n)のデータの編集を行う(ステップST142)ことで、記録部23で記録する検索用記録データの作成を行っていく。なお、上位層のデータは、Layer1のグループを記録部23に書き込むタイミングでLayer2→Layer3・・・と更新される。すなわち、Layer1のグループを記録部23に書き込むタイミングでステップST142の処理に進む。以下、ステップST141,ステップST142の処理について詳細に説明する。
図15は、データ記録制御部22における、Layer1のデータ編集の動作を説明するフローチャートである。すなわち、図15は、図14のステップST141の処理を説明するフローチャートである。
データ受信部221は、カメラ1、または、アラーム通知装置4から、ネットワークを介して映像・音声データおよびメタデータを受信し、メタデータと映像・音声データとを分離する(ステップST151)。カメラ1またはアラーム通知装置4からの映像・音声データ、メタデータは、IPパケット単位に分割して配信される。データ受信部221は、IPパケット単位の映像・音声データ、メタデータを受信し、結合して1フレーム(または1GOP)分の映像データ、音声データ、メタデータを作成した上で、映像・音声データとメタ情報とに振り分ける。
なお、分離されたメタデータは、この後の処理で、記録データ(図8参照)のメタ情報に格納されるメタデータ(図9参照)として編集され、映像・音声データは、この後の処理で、記録データの記録用映像・音声データに格納される映像・音声データ(図10参照)として編集される。
また、カメラ1とアラーム通知装置4とから、メタデータが送信されていない場合は、データ受信部221がカメラ1、または、アラーム通知装置4から受信した映像データと音声データとに基づいて、メタデータ生成部222が、メタデータを作成するようにすることもできる。あるいは、カメラ1とアラーム通知装置4とから、メタデータが送信された場合も、カメラ1とアラーム通知装置4とから送信されたメタデータに加えて、メタデータ生成部222が、カメラ1、または、アラーム通知装置4から受信した映像データと音声データとに基づいて、メタデータを作成するようにすることもできる。
データ受信部221は、カメラ1、または、アラーム通知装置4から、ネットワークを介して映像・音声データおよびメタデータを受信し、メタデータと映像・音声データとを分離する(ステップST151)。カメラ1またはアラーム通知装置4からの映像・音声データ、メタデータは、IPパケット単位に分割して配信される。データ受信部221は、IPパケット単位の映像・音声データ、メタデータを受信し、結合して1フレーム(または1GOP)分の映像データ、音声データ、メタデータを作成した上で、映像・音声データとメタ情報とに振り分ける。
なお、分離されたメタデータは、この後の処理で、記録データ(図8参照)のメタ情報に格納されるメタデータ(図9参照)として編集され、映像・音声データは、この後の処理で、記録データの記録用映像・音声データに格納される映像・音声データ(図10参照)として編集される。
また、カメラ1とアラーム通知装置4とから、メタデータが送信されていない場合は、データ受信部221がカメラ1、または、アラーム通知装置4から受信した映像データと音声データとに基づいて、メタデータ生成部222が、メタデータを作成するようにすることもできる。あるいは、カメラ1とアラーム通知装置4とから、メタデータが送信された場合も、カメラ1とアラーム通知装置4とから送信されたメタデータに加えて、メタデータ生成部222が、カメラ1、または、アラーム通知装置4から受信した映像データと音声データとに基づいて、メタデータを作成するようにすることもできる。
データ記録処理部223は、記録データの編集を行う(ステップST152)。
図16は、図15のステップST152の動作を詳細に説明するフローチャートである。以下、図15のステップST152の動作について、図16に沿って説明する。
データ記録処理部223は、映像・音声記録装置2の記憶バッファにおけるLayer1の同一グループのバッファ内のデータに、カメラ1またはアラーム通知装置4から受信した(図15のステップST151参照)受信データに基づき作成された記録データを加算したデータ量が、同一グループの記憶容量の上限を超えているかどうかを判定する(ステップST1601)。
映像・音声記録装置2では、受信データに基づき作成された記録データが同一グループの記録データとして収録可能である間は、記録バッファに、記録データを溜め込み、記録バッファ上のデータが、記録データの上限を超えるため収録できないと判断すると、それまでに出来上がったグループのデータ、すなわち、これ以上記録データを収録できない、グループ管理データと記録データ#1~#nのデータ(図7参照)のまとまりをHDD等の記録媒体である記録部23に書き込む。
そこで、このステップST1601においては、図15のステップST151で受信した受信データに基づき作成された記録データが、記録バッファ内の同一グループの記録データとしてまだ記録できるかどうかを判定する。
図16は、図15のステップST152の動作を詳細に説明するフローチャートである。以下、図15のステップST152の動作について、図16に沿って説明する。
データ記録処理部223は、映像・音声記録装置2の記憶バッファにおけるLayer1の同一グループのバッファ内のデータに、カメラ1またはアラーム通知装置4から受信した(図15のステップST151参照)受信データに基づき作成された記録データを加算したデータ量が、同一グループの記憶容量の上限を超えているかどうかを判定する(ステップST1601)。
映像・音声記録装置2では、受信データに基づき作成された記録データが同一グループの記録データとして収録可能である間は、記録バッファに、記録データを溜め込み、記録バッファ上のデータが、記録データの上限を超えるため収録できないと判断すると、それまでに出来上がったグループのデータ、すなわち、これ以上記録データを収録できない、グループ管理データと記録データ#1~#nのデータ(図7参照)のまとまりをHDD等の記録媒体である記録部23に書き込む。
そこで、このステップST1601においては、図15のステップST151で受信した受信データに基づき作成された記録データが、記録バッファ内の同一グループの記録データとしてまだ記録できるかどうかを判定する。
ステップST1601において、同一グループのブロックサイズの上限を超えていない場合(ステップST1601の“NO”の場合)、すなわち、まだ同一グループ内の記録データに受信した受信データに基づき作成された記録データを記録できると判断した場合、データ記録処理部223は、映像・音声データ書き込みデータ位置を、Layer1の同一グループ内の次の記録データの書き込み位置に移動させる(ステップST1602)。
データ記録処理部223は、記録データの記録時刻Tn(図8参照)に、図15のステップST151でカメラ1またはアラーム通知装置4から受信データを受信した受信時刻を編集する(ステップST1603)。
データ記録処理部223は、記録データの記録用映像・音声データに格納している前方向記録時刻Tn-1(図10参照)に、内部的に保持している、前回カメラ1またはアラーム通知装置4からデータを受信した受信時刻を編集する(ステップST1604)。なお、Layer1の最初のグループの最初の記録データを記録する際は、前回の受信データが存在しないので、前方向記録時刻Tn-1には何も編集しない。
データ記録処理部223は、記録データの記録用映像・音声データに格納している前方向記録時刻Tn-1(図10参照)に、内部的に保持している、前回カメラ1またはアラーム通知装置4からデータを受信した受信時刻を編集する(ステップST1604)。なお、Layer1の最初のグループの最初の記録データを記録する際は、前回の受信データが存在しないので、前方向記録時刻Tn-1には何も編集しない。
データ記録処理部223は、記録データの記録用映像・音声データに格納している前方向記録アドレス(図10参照)に、内部的に保持している、前回カメラ1またはアラーム通知装置4から受信した受信データを記録したアドレスを編集する(ステップST1605)。なお、Layer1の最初のグループの最初の記録データを記録する際は、前回の受信データが存在しないので、前方向記録アドレスには何も編集しない。
データ記録処理部223は、前回記録した記録データ、すなわち、前回受信した受信データに基づき編集されている、一つ前の記録データの記録用映像・音声データの後方向記録時刻Tn+1に、図15のステップST151でカメラ1またはアラーム通知装置4から受信データを受信した受信時刻を編集する(ステップST1606)。なお、Layer1の最初のグループの最初の記録データを記録する際は、一つ前の記録データは存在しないので、当該処理は行われない。また、グループが変わって最初の記録データの場合、一つ前のグループは記録部23に記録されているので、記録部23を参照して、記録されている一つ前のグループの最後の記録データの記録用映像・音声データの後方向記録時刻Tn+1を受信時刻で更新するようにする。
データ記録処理部223は、前回記録した記録データ、すなわち、前回受信した受信データに基づき編集されている、一つ前の記録データの記録用映像・音声データの後方向記録アドレスに、現在のアドレスを編集する(ステップST1607)。なお、Layer1の最初のグループの最初の記録データを記録する際は、一つ前の記録データは存在しないので、当該処理は行われない。また、グループが変わって最初の記録データの場合、一つ前のグループは記録部23に記録されているので、記録部23を参照して、記録されている一つ前のグループの最後の記録データの記録用映像・音声データの後方向記録アドレスを現在のアドレスで更新するようにする。
データ記録処理部223は、ステップST151において分離したメタデータ、すなわち、カメラ1またはアラーム通知装置4から受信したメタデータを、記録データのメタ情報に格納されているメタデータ(図9参照)に編集する(ステップST1608)。なお、メタデータは、一つもしくは複数のパラメータで構成されている。例えば、カメラ1から受信したメタデータに「顔識別結果」として識別される情報を含むメタデータと「音声認識結果」として識別される情報を含むメタデータがあった場合、メタデータにはこの2つ(顔識別結果、音声認識結果)の情報が格納される。
データ記録処理部223は、ステップST151において分離した映像・音声データ、すなわち、カメラ1またはアラーム通知装置4から受信した映像・音声データを、記録データの記録用映像・音声データに格納されている映像・音声データ(図10参照)に編集する(ステップST1609)。
そして、図16の処理を終え、グループ関連項目と映像・音声データ管理テーブル編集の処理(図15のステップST153)、メタ情報用管理テーブル編集の処理(図15のステップST154)へと進む。
一方、ステップST1601において、同一グループのブロックサイズの上限を超えていた場合(ステップST1601の“YES”の場合)、すなわち、もう同一グループ内の記録データに今回受信した受信データに基づき作成された記録データを記録できないと判断した場合、データ記録処理部223は、次のグループを選択する(ステップST1610)。
データ記録処理部223は、ステップST1610で選択した次のグループのグループ管理テーブルのグループIDを、前回受信分までの受信データを編集していたグループのグループ管理テーブルの後グループIDに編集する(ステップST1611)。
データ記録処理部223は、記録バッファで編集した前回受信分までの受信データのグループ管理テーブルと記録データ#1~nとを、グループ単位で記録部23に書き込む(ステップST1612)。
そして、図19へ進む。
図19では、上位層、すなわち、Layer2以上の層のグループ管理テーブルの編集を行うが、詳細については後述する。
データ記録処理部223は、記録バッファで編集した前回受信分までの受信データのグループ管理テーブルと記録データ#1~nとを、グループ単位で記録部23に書き込む(ステップST1612)。
そして、図19へ進む。
図19では、上位層、すなわち、Layer2以上の層のグループ管理テーブルの編集を行うが、詳細については後述する。
図15に戻る。
図15のステップST152で、記録データの編集が終わると、次に、データ記録処理部223は、グループ管理テーブルのグループ関連項目(開始時刻、終了時刻、前グループID)と、映像・音声データ管理テーブルの編集を行う(ステップST153)。なお、グループ関連項目のグループIDは、初期化処理において機器をデータフォーマットする際にユニークに割り付けられるためここでは編集しない。また、後グループIDについては、グループ内の全ての記録データが編集されたとき、すなわち、これ以上同一グループ内に記録データが編集できないとして次のグループへ移った際に編集するので(図16のステップST1611参照)、ここでは編集しない。
図15のステップST152で、記録データの編集が終わると、次に、データ記録処理部223は、グループ管理テーブルのグループ関連項目(開始時刻、終了時刻、前グループID)と、映像・音声データ管理テーブルの編集を行う(ステップST153)。なお、グループ関連項目のグループIDは、初期化処理において機器をデータフォーマットする際にユニークに割り付けられるためここでは編集しない。また、後グループIDについては、グループ内の全ての記録データが編集されたとき、すなわち、これ以上同一グループ内に記録データが編集できないとして次のグループへ移った際に編集するので(図16のステップST1611参照)、ここでは編集しない。
図17は、図15のステップST153の動作を詳細に説明するフローチャートである。以下、図15のステップST153の動作について、図17に沿って説明する。
データ記録処理部223は、グループ管理テーブル(図7参照)の終了時刻に、図15のステップST151でカメラ1またはアラーム通知装置4から受信データを受信した受信時刻を編集する(ステップST1701)。
データ記録処理部223は、グループ管理テーブル(図7参照)の終了時刻に、図15のステップST151でカメラ1またはアラーム通知装置4から受信データを受信した受信時刻を編集する(ステップST1701)。
データ記録処理部223は、映像・音声データ管理テーブルの終了時刻(図12参照)に、図15のステップST151でカメラ1またはアラーム通知装置4から受信データを受信した受信時刻を編集する(ステップST1702)。
データ記録処理部223は、映像・音声データ管理テーブルの終了アドレスまたはID(図12参照)に、現在のアドレスまたはIDを編集する(ステップST1703)。
データ記録処理部223は、映像・音声データ管理テーブルの終了アドレスまたはID(図12参照)に、現在のアドレスまたはIDを編集する(ステップST1703)。
データ記録処理部223は、グループ管理テーブルの開始時刻(図7参照)が設定されているかどうかを判定する(ステップST1704)。
ステップST1704において、グループ管理テーブルの開始時刻が設定されている場合(ステップST1704の“YES”の場合)、以降の処理はスキップし、図17の処理を終える。
ステップST1704において、グループ管理テーブルの開始時刻が設定されている場合(ステップST1704の“YES”の場合)、以降の処理はスキップし、図17の処理を終える。
ステップST1704において、グループ管理テーブルの開始時刻(図7参照)が設定されていない場合(ステップST1704の“NO”の場合)、データ記録処理部223は、映像・音声データ管理テーブルの開始時刻(図12参照)に、図15のステップST151でカメラ1またはアラーム通知装置4から受信データを受信した受信時刻を編集する(ステップST1705)。
データ記録処理部223は、映像・音声データ管理テーブルの開始アドレスまたはIDに現在のアドレスまたはIDを編集する(ステップST1706)。
データ記録処理部223は、映像・音声データ管理テーブルの開始アドレスまたはIDに現在のアドレスまたはIDを編集する(ステップST1706)。
データ記録処理部223は、グループ管理テーブルの開始時刻(図7参照)に、図15のステップST151でカメラ1またはアラーム通知装置4から受信データを受信した受信時刻を編集する(ステップST1707)。
データ記録処理部223は、グループ管理テーブルの前グループID(図7参照)に、内部保持している前グループのグループIDを編集し(ステップST1708)、メタ情報用管理テーブル編集の処理(図15のステップST154)へと進む。なお、Layer1の最初のグループを記録する際は、前グループが存在しないので、前グループIDには何も編集しない。
データ記録処理部223は、グループ管理テーブルの前グループID(図7参照)に、内部保持している前グループのグループIDを編集し(ステップST1708)、メタ情報用管理テーブル編集の処理(図15のステップST154)へと進む。なお、Layer1の最初のグループを記録する際は、前グループが存在しないので、前グループIDには何も編集しない。
図15に戻る。
図15のステップST153で、グループ管理テーブルのグループ関連項目(開始時刻、終了時刻、前グループID)と、映像・音声データ管理テーブルの編集が終わると、データ記録処理部223は、グループ管理テーブルのメタ情報用管理テーブルの編集を行う(ステップST154)。
図15のステップST153で、グループ管理テーブルのグループ関連項目(開始時刻、終了時刻、前グループID)と、映像・音声データ管理テーブルの編集が終わると、データ記録処理部223は、グループ管理テーブルのメタ情報用管理テーブルの編集を行う(ステップST154)。
図18は、図15のステップST154の動作を詳細に説明するフローチャートである。以下、図15のステップST154の動作について、図18に沿って説明する。
なお、図18の処理は、図15のステップST151でカメラ1またはアラーム通知装置4から受信した受信データに対して、メタ情報用管理テーブル#1~#kの数だけ繰り返される。すなわち、予め設定された、メタデータの識別単位ごとに判別パラメータ(閾値)に基づく判定を行い、メタデータに関する情報を編集していく。なお、メタ情報用管理テーブル#1~#kのメタデータ識別単位には、メタデータの識別単位(例えば、顔識別結果や音声認識結果)が設定されており、これによって、検索対象となる識別単位を識別することができ、当該メタ情報用管理テーブルによって関連付けられた記録データのメタ情報に格納されているメタデータを特定することができる。
また、判別パラメータの設定は、GUI(Graphical User Interface)もしくは外部の設定ファイルにて行うなど、適宜設定可能とする。また、判別パラメータ(閾値)については、記録途中において追加および値の変更を行ってもよいものとする。
なお、図18の処理は、図15のステップST151でカメラ1またはアラーム通知装置4から受信した受信データに対して、メタ情報用管理テーブル#1~#kの数だけ繰り返される。すなわち、予め設定された、メタデータの識別単位ごとに判別パラメータ(閾値)に基づく判定を行い、メタデータに関する情報を編集していく。なお、メタ情報用管理テーブル#1~#kのメタデータ識別単位には、メタデータの識別単位(例えば、顔識別結果や音声認識結果)が設定されており、これによって、検索対象となる識別単位を識別することができ、当該メタ情報用管理テーブルによって関連付けられた記録データのメタ情報に格納されているメタデータを特定することができる。
また、判別パラメータの設定は、GUI(Graphical User Interface)もしくは外部の設定ファイルにて行うなど、適宜設定可能とする。また、判別パラメータ(閾値)については、記録途中において追加および値の変更を行ってもよいものとする。
データ記録処理部223は、メタ情報用管理テーブルの記録終了時刻(図11参照)に、図15のステップST151でカメラ1またはアラーム通知装置4からデータ(映像・音声データ、メタデータ)を受信した受信時刻を編集する(ステップST1801)。
データ記録処理部223は、メタ情報用管理テーブルの記録終了アドレスまたはID(図11参照)に、現在のアドレスまたはIDを編集する(ステップST1802)。
データ記録処理部223は、メタ情報用管理テーブルの記録終了アドレスまたはID(図11参照)に、現在のアドレスまたはIDを編集する(ステップST1802)。
データ記録処理部223は、メタ情報用管理テーブルの記録開始時刻(図11参照)が設定されているかどうかを判定する(ステップST1803)。
ステップST1803において、記録開始時刻が設定されている場合(ステップST1803の“YES”の場合)、ステップST1806へ進む。
ステップST1803において、記録開始時刻が設定されている場合(ステップST1803の“YES”の場合)、ステップST1806へ進む。
ステップST1803において、記録開始時刻が設定されていない場合(ステップST1803の“NO”の場合)、データ記録処理部223は、メタ情報用管理テーブルの記録開始時刻(図11参照)に、図15のステップST151でカメラ1またはアラーム通知装置4から受信データを受信した受信時刻を編集する(ステップST1804)。
データ記録処理部223は、メタ情報用管理テーブルの記録開始アドレスまたはIDに、現在のアドレスまたはIDを編集する(ステップST1805)。
データ記録処理部223は、メタ情報用管理テーブルの記録開始アドレスまたはIDに、現在のアドレスまたはIDを編集する(ステップST1805)。
データ記録処理部223は、図15のステップST151で受信したメタデータが、判別パラメータ(閾値)に基づく条件を満たしているかどうかを判定する(ステップST1806)。
ここで、メタデータと判別パラメータの例を以下に示す。
例えば、メタデータが「動きベクトル」である場合、判別パラメータは「動きベクトルの大きさ」、「閾値=3」というように設定できる。また、メタデータが「動きベクトル」である場合、判別パラメータを「動きベクトルの向き」、「閾値=右」と設定することもできる。
また、例えば、メタデータが「顔識別結果(値としては顔の数)」である場合、判別パラメータは「顔の数」、「閾値=3」、あるいは「顔の数=50」というように設定できる。
また、メタデータが「音の大きさ」である場合、判別パラメータは「音の大きさ」、「閾値=2」と設定できる。
また、メタデータが「POS情報」である場合、判別パラメータは「POS情報の有無」、「閾値=有」と設定できる。
また、メタデータが「POS情報中の購入金額」である場合、判別パラメータは「購入金額」、「閾値=1000」と設定できる。
また、メタデータが「音認識結果」である場合、判別パラメータは「言語」、「閾値=日本語」と設定できる。
ここで、メタデータと判別パラメータの例を以下に示す。
例えば、メタデータが「動きベクトル」である場合、判別パラメータは「動きベクトルの大きさ」、「閾値=3」というように設定できる。また、メタデータが「動きベクトル」である場合、判別パラメータを「動きベクトルの向き」、「閾値=右」と設定することもできる。
また、例えば、メタデータが「顔識別結果(値としては顔の数)」である場合、判別パラメータは「顔の数」、「閾値=3」、あるいは「顔の数=50」というように設定できる。
また、メタデータが「音の大きさ」である場合、判別パラメータは「音の大きさ」、「閾値=2」と設定できる。
また、メタデータが「POS情報」である場合、判別パラメータは「POS情報の有無」、「閾値=有」と設定できる。
また、メタデータが「POS情報中の購入金額」である場合、判別パラメータは「購入金額」、「閾値=1000」と設定できる。
また、メタデータが「音認識結果」である場合、判別パラメータは「言語」、「閾値=日本語」と設定できる。
ここで、判別パラメータ(閾値)の設定では、後の検索の際に検索が効率的になる値を設定するとよい。例えば、後の検索が人の混雑している画像の抽出である場合を考える。 小さい部屋の混雑している画像の抽出であれば、例えば判別パラメータは「顔の数」、「閾値=3」とすれば、後の検索の際の設定される検索条件の閾値が「3」以上であれば、判別パラメータを効果的に用いた検索が可能となる。
一方大きい部屋の混雑している画像の抽出であれば、例えば判別パラメータは「顔の数=50」とすれば、後の検索の際の設定される検索条件の閾値が「50」以上であれば、判別パラメータを効果的に用いた検索が可能となる。
メタデータだけでなく、この判別パラメータを設定し、判別パラメータを満たしているデータの管理をメタ情報用管理テーブルで実施することが本実施の形態の特徴の一つである。先行技術とは、この判別パラメータを持つ点において異なり、この特徴にて、より効率的な検索が可能となる。
一方大きい部屋の混雑している画像の抽出であれば、例えば判別パラメータは「顔の数=50」とすれば、後の検索の際の設定される検索条件の閾値が「50」以上であれば、判別パラメータを効果的に用いた検索が可能となる。
メタデータだけでなく、この判別パラメータを設定し、判別パラメータを満たしているデータの管理をメタ情報用管理テーブルで実施することが本実施の形態の特徴の一つである。先行技術とは、この判別パラメータを持つ点において異なり、この特徴にて、より効率的な検索が可能となる。
ステップST1806において、判別パラメータを満たしている場合(ステップST1806の“YES”の場合)、データ記録処理部223は、メタ情報の検索情報(図9参照)を更新する(ステップST1807)。具体的には、例えば、メタデータが「顔識別結果(値としては顔の数)」で、判別パラメータが「顔の数」、「閾値=3」であった場合、顔識別結果として顔の数が3以上であれば判別パラメータを満たしているとし、検索情報には、メタデータの閾値判定の結果、例えば、「閾値満」の情報を、メタデータ、例えば顔の数(3、4、5・・・など)の情報と紐付けて更新する。このように、検索結果の詳細な情報(具体的な顔の数など)に加え予め設定された判別パラメータを満たしているかどうかを示す検索情報をあわせて保有しておくことにより、顔の数=3以上の検索だけでなく、例えば、顔が5つであることなど、ユーザからの検索条件が変わった場合でも、改めて映像・音声データの解析を行わなくても、検索情報を参照しつつメタデータを抽出することで効率よく検索を行うことができる。なお、検索情報には、例えば、「閾値を満たさない」旨の情報が初期値として設定されているものとする。
メタデータに加えて、メタデータが、判別パラメータを満たしているかどうかを検索情報として管理することが本実施の形態に係る発明の特徴の一つである。事前に登録していない情報を検索しようとすると、映像・音声記録装置に記録された映像データを解析する必要がある先行技術とは異なる効果を得ることができる。具体例としては、「顔の数=6」の画像を検索する場合、先行技術では事前に「顔の数=6」を登録しなければ効率的な検索はできない。一方本実施の形態では、判別パラメータ「顔の数」、「閾値=6」が最も効率的な検索となる。なぜならば、閾値を満たさない「顔の数=5」以下については検索対象外とすることができるからである。しかし、本実施の形態では判別パラメータ「顔の数」、「閾値=3」であっても、検索の効率化が図れる。なぜならば、閾値を満たさない「顔の数=2」以下については検索対象外とすることができるからである。
データ記録処理部223は、該当の、すなわち、判別パラメータを満たしていると判断した識別単位のメタ情報用管理テーブルの抽出データ終了時刻(図11参照)に、図15のステップST151でカメラ1またはアラーム通知装置4からデータを受信した受信時刻を編集する(ステップST1808)。
データ記録処理部223は、該当のメタ情報用管理テーブルの抽出データ終了アドレスまたはIDに、現在のアドレスまたはIDを編集する(ステップST1809)。
データ記録処理部223は、該当のメタ情報用管理テーブルの抽出データ開始アドレスまたはIDが設定されているかどうかを判定する(ステップST1810)。
ステップST1810において、抽出開始アドレスまたはIDが設定されていない場合(ステップST1810の“NO”の場合)、データ記録処理部223は、該当のメタ情報用管理テーブルの抽出データ開始時刻に、図15のステップST151でカメラ1またはアラーム通知装置4から受信データを受信した受信時刻を編集する(ステップST1811)。
データ記録処理部223は、該当のメタ情報用管理テーブルの抽出データ開始アドレスまたはIDに、現在のアドレスまたはIDを編集し(ステップST1812)、ステップST1801に戻って次の識別単位のメタ情報用管理テーブルの編集を行う。
データ記録処理部223は、該当のメタ情報用管理テーブルの抽出データ終了アドレスまたはIDに、現在のアドレスまたはIDを編集する(ステップST1809)。
データ記録処理部223は、該当のメタ情報用管理テーブルの抽出データ開始アドレスまたはIDが設定されているかどうかを判定する(ステップST1810)。
ステップST1810において、抽出開始アドレスまたはIDが設定されていない場合(ステップST1810の“NO”の場合)、データ記録処理部223は、該当のメタ情報用管理テーブルの抽出データ開始時刻に、図15のステップST151でカメラ1またはアラーム通知装置4から受信データを受信した受信時刻を編集する(ステップST1811)。
データ記録処理部223は、該当のメタ情報用管理テーブルの抽出データ開始アドレスまたはIDに、現在のアドレスまたはIDを編集し(ステップST1812)、ステップST1801に戻って次の識別単位のメタ情報用管理テーブルの編集を行う。
なお、ステップST1806において、判別パラメータを満たしていない場合(ステップST1806の“NO”の場合)は、ステップST1807~ステップST1812の処理をスキップし、ステップST1801に戻って次のメタ情報用管理テーブルの編集を行う。
また、ステップST1810において、抽出開始アドレスまたはIDが設定されている場合(ステップST1810の“YES”の場合)は、ステップST1811,1812の処理をスキップし、ステップST1801に戻って次の識別単位のメタ情報用管理テーブルの編集を行う。
また、ステップST1810において、抽出開始アドレスまたはIDが設定されている場合(ステップST1810の“YES”の場合)は、ステップST1811,1812の処理をスキップし、ステップST1801に戻って次の識別単位のメタ情報用管理テーブルの編集を行う。
以上のように、メタ情報用管理テーブルの数だけ、すなわち、予め設定された、メタデータの識別単位ごとに、識別単位の数だけステップST1801~ステップST1812の処理を繰り返す。
図15に戻る。
ステップST154において、メタ情報用管理テーブルが編集されると、ステップST151に戻り、カメラ1またはアラーム通知装置4から新たにデータを受信し、受信したデータに基づき、グループ管理テーブルおよび記録データの編集を行う。
以上の処理を繰り返し、同一グループ内にこれ以上記録データが記録できなくなると(図16のステップST1601,1610~1612参照)、データ記録処理部223は、上位層、すなわち、Layer2以上の層のグループ管理テーブルの編集を行う。
すなわち、図14のステップST141の処理を終え、ステップST142の処理へと移る。
ステップST154において、メタ情報用管理テーブルが編集されると、ステップST151に戻り、カメラ1またはアラーム通知装置4から新たにデータを受信し、受信したデータに基づき、グループ管理テーブルおよび記録データの編集を行う。
以上の処理を繰り返し、同一グループ内にこれ以上記録データが記録できなくなると(図16のステップST1601,1610~1612参照)、データ記録処理部223は、上位層、すなわち、Layer2以上の層のグループ管理テーブルの編集を行う。
すなわち、図14のステップST141の処理を終え、ステップST142の処理へと移る。
図19は、映像・音声記録装置2における、Layer2以上のデータ編集の動作を説明するフローチャートである。すなわち、図19は、図14のステップST142の処理を説明するフローチャートである。
なお、Layer2以上のグループのレイアウトは、図13で説明したとおりである。
図19の処理は、Layer(n)、つまり、Layer2から最上位のLayerの編集を終えるまで、繰り返される。
データ記録処理部223は、Layer(n)の映像・音声データ管理テーブルの編集を行う(ステップST191)。
なお、Layer2以上のグループのレイアウトは、図13で説明したとおりである。
図19の処理は、Layer(n)、つまり、Layer2から最上位のLayerの編集を終えるまで、繰り返される。
データ記録処理部223は、Layer(n)の映像・音声データ管理テーブルの編集を行う(ステップST191)。
図20は、図19のステップST191の動作を詳細に説明するフローチャートである。以下、図20のステップST191の動作について、図20に沿って説明する。
データ記録処理部223は、Layer(n)のグループIDを算出する(ステップST2001)。なお、Layer(n)のグループIDは、初期化処理で機器をデータフォーマットする際にユニークに割り付けられており、Layer(n)のグループがいくつ存在するか、各Layerの1ノードで下位ノードをいくつ管理しているかは予め割り振りされているので、編集を終了した1つ下の下位のLayerのグループIDから、Layer(n)のグループIDを特定することができる。
また、図19のフローでは記載を省略しているが、データ記録処理部223は、Layer(n)のLayer(n-1)グループ#1~#mには、編集を終了した1つ下の下位のLayerのグループIDを順次編集する。
データ記録処理部223は、Layer(n)のグループIDを算出する(ステップST2001)。なお、Layer(n)のグループIDは、初期化処理で機器をデータフォーマットする際にユニークに割り付けられており、Layer(n)のグループがいくつ存在するか、各Layerの1ノードで下位ノードをいくつ管理しているかは予め割り振りされているので、編集を終了した1つ下の下位のLayerのグループIDから、Layer(n)のグループIDを特定することができる。
また、図19のフローでは記載を省略しているが、データ記録処理部223は、Layer(n)のLayer(n-1)グループ#1~#mには、編集を終了した1つ下の下位のLayerのグループIDを順次編集する。
データ記録処理部223は、Layer(n)の前グループのグループ管理テーブルの後グループID(図13参照)に、同Layer(n)において現在編集対象となっているグループのグループIDを編集する(ステップST2002)。なお、Layer(n)の最初のグループの記録データを編集する際は、一つ前のグループは存在しないので、当該処理は行われない。また、前グループのデータは記録部23に記録されているので、データ記録処理部223は、記録部23を参照して、記録されている前グループのグループ管理テーブルの後グループIDをLayer(n)において現在編集対象となっているグループのグループIDで更新するようにする。
データ記録処理部223は、Layer(n)の現在編集対象となっているグループにおける映像・音声データ管理テーブルの終了時刻(図12参照)に、図15のステップST151でカメラ1またはアラーム通知装置4からデータを受信した受信時刻を編集する(ステップST2003)。例えば、Layer2の編集を行っていたとすると、このときの受信時刻は、Layer1において、グループが変わる直前、すなわち、図16のステップST1612においてグループ単位で記録部23に書き込んだグループの、最後の記録データを受信したときの受信時刻である。
データ記録処理部223は、Layer(n)の現在編集対象となっているグループにおける映像・音声データ管理テーブルの終了アドレスまたはIDに、Layer(n-1)、すなわち、一つ下層のLayerのアドレスまたはIDを編集する(ステップST2004)。例えば、Layer2の編集を行っていたとすると、このときLayer2の映像・音声データ管理テーブルの終了アドレスまたはIDに編集されるアドレスまたはIDは、Layer1において、グループが変わる直前、すなわち、図16のステップST1612においてグループ単位で記録部23に書き込んだグループの、最後の記録データを受信したアドレスまたはIDである。
データ記録処理部223は、Layer(n)の現在編集対象となっているグループにおけるグループ管理テーブルの終了時刻(図13参照)に、図15のステップST151でカメラ1またはアラーム通知装置4から受信データを受信した受信時刻を編集する(ステップST2005)。例えば、Layer2の編集を行っていたとすると、このときの受信時刻は、Layer1において、グループが変わる直前、すなわち、図16のステップST1612においてグループ単位で記録部23に書き込んだグループの、最後の記録データを受信したときの受信時刻である。
データ記録処理部223は、Layer(n)の現在編集対象となっているグループにおける映像・音声データ管理テーブルの開始アドレスまたはID(図12参照)が設定されているかどうかを判定する(ステップST2006)。
ステップST2006において、Layer(n)の上記映像・音声データ管理テーブルの開始アドレスまたはIDが設定されていなかった場合(ステップST2006の“NO”の場合)、データ記録処理部223は、Layer(n)の現在編集対象となっているグループにおける映像・音声データ管理テーブルの開始時刻(図12参照)に、図15のステップST151でカメラ1またはアラーム通知装置4から受信データを受信した受信時刻を編集する(ステップST2007)。例えば、Layer2の編集を行っていたとすると、このときの受信時刻は、Layer1において、グループが変わる直前、すなわち、図16のステップST1612においてグループ単位で記録部23に書き込んだグループの、最初の記録データを受信したときの受信時刻である。
ステップST2006において、Layer(n)の上記映像・音声データ管理テーブルの開始アドレスまたはIDが設定されていなかった場合(ステップST2006の“NO”の場合)、データ記録処理部223は、Layer(n)の現在編集対象となっているグループにおける映像・音声データ管理テーブルの開始時刻(図12参照)に、図15のステップST151でカメラ1またはアラーム通知装置4から受信データを受信した受信時刻を編集する(ステップST2007)。例えば、Layer2の編集を行っていたとすると、このときの受信時刻は、Layer1において、グループが変わる直前、すなわち、図16のステップST1612においてグループ単位で記録部23に書き込んだグループの、最初の記録データを受信したときの受信時刻である。
データ記録処理部223は、Layer(n)の現在編集対象となっているグループにおける映像・音声データ管理テーブルの開始アドレスまたはID(図12参照)に、Layer(n-1)、すなわち、一つ下層のLayerのアドレスまたはIDを編集する(ステップST2008)。例えば、Layer2の編集を行っていたとすると、このときLayer2の映像・音声データ管理テーブルの終了アドレスまたはIDに編集されるアドレスまたはIDは、Layer1において、グループが変わる直前、すなわち、図16のステップST1612においてグループ単位で記録部23に書き込んだグループの、最初の記録データのアドレスまたはIDである。
データ記録処理部223は、Layer(n)の現在編集対象となっているグループにおけるグループ管理テーブルの開始時刻(図13参照)に、図15のステップST151でカメラ1またはアラーム通知装置4から受信データを受信した受信時刻を編集する(ステップST2009)。例えば、Layer2の編集を行っていたとすると、このときの受信時刻は、Layer1において、グループが変わる直前、すなわち、図16のステップST1612においてグループ単位で記録部23に書き込んだグループの、最初の記録データを受信したときの受信時刻である。
データ記録処理部223は、Layer(n)の現在編集対象となっているグループにおけるグループ管理テーブルの前グループID(図13参照)に、内部保持している、同一Layer(n)の前のグループのグループIDを編集し(ステップST2010)、図20の処理を終了し、Layer(n)のメタ情報用管理テーブルの編集処理(図19のステップST192)に進む。
ステップST2006において、Layer(n)の現在編集対象となっているグループにおける映像・音声データ管理テーブルの開始アドレスまたはIDが設定されていた場合(ステップST2006の“YES”の場合)、ステップST2007~ステップST2010の処理をスキップする。
ステップST2006において、Layer(n)の現在編集対象となっているグループにおける映像・音声データ管理テーブルの開始アドレスまたはIDが設定されていた場合(ステップST2006の“YES”の場合)、ステップST2007~ステップST2010の処理をスキップする。
図19に戻る。
図19のステップST191で、グループ管理テーブルのグループ関連項目(開始時刻、終了時刻、前グループID)と、映像・音声データ管理テーブルの編集が終わると、データ記録処理部223は、グループ管理テーブルのメタ情報用管理テーブルの編集を行う(ステップST192)。
図19のステップST191で、グループ管理テーブルのグループ関連項目(開始時刻、終了時刻、前グループID)と、映像・音声データ管理テーブルの編集が終わると、データ記録処理部223は、グループ管理テーブルのメタ情報用管理テーブルの編集を行う(ステップST192)。
図21は、図19のステップST192の動作を詳細に説明するフローチャートである。以下、図19のステップST192の動作について、図21に沿って説明する。
図21の処理は、一つ下の階層のグループのデータに対して、メタ情報用管理テーブル#1~kの数だけ繰り返される。すなわち、予め設定された、メタデータの識別単位ごとにメタデータに関する情報を編集していく。
図21の処理は、一つ下の階層のグループのデータに対して、メタ情報用管理テーブル#1~kの数だけ繰り返される。すなわち、予め設定された、メタデータの識別単位ごとにメタデータに関する情報を編集していく。
データ記録処理部223は、Layer(n)の現在編集対象となっているグループにおけるグループ管理テーブルのメタ情報用管理テーブルの記録終了時刻(図11参照)に、一つ下層のLayerの最新のグループのメタ情報用管理テーブルの、対応する識別単位のメタ情報用管理テーブルの記録終了時刻を編集する(ステップST2101)。例えば、Layer2の編集を行っていたとすると、このときの記録終了時刻は、Layer1において、グループが変わる直前、すなわち、図16のステップST1612においてグループ単位で記録部23に書き込んだグループ内の、対応する識別単位のメタ情報用管理テーブルの記録終了時刻である。
データ記録処理部223は、Layer(n)の現在編集対象となっているグループにおけるグループ管理テーブルのメタ情報用管理テーブルの抽出データ終了時刻(図11参照)に、一つ下層のLayerの最新のグループのメタ情報用管理テーブルの抽出データ終了時刻を編集する(ステップST2102)。例えば、Layer2の編集を行っていたとすると、このときの抽出データ終了時刻は、Layer1において、グループが変わる直前、すなわち、図16のステップST1612においてグループ単位で記録部23に書き込んだグループの、最後の記録データを受信したときに編集したメタ情報用管理テーブルの抽出データ終了時刻である。
データ記録処理部223は、Layer(n)の現在編集対象となっているグループにおけるグループ管理テーブルのメタ情報用管理テーブルの記録終了アドレスまたはID(図11参照)に、一つ下層のLayerの最新のグループのメタ情報用管理テーブルの記録終了アドレスまたはIDを編集する(ステップST2103)。例えば、Layer2の編集を行っていたとすると、このときの記録終了アドレスまたはIDは、Layer1において、グループが変わる直前、すなわち、図16のステップST1612においてグループ単位で記録部23に書き込んだグループ内の、対応する識別単位のメタ情報用管理テーブルの記録終了アドレスまたはIDである。
データ記録処理部223は、Layer(n)の現在編集対象となっているグループにおけるグループ管理テーブルのメタ情報用管理テーブルの抽出データ終了アドレスまたはID(図11参照)に、一つ下層のLayerの最新のグループのメタ情報用管理テーブルの抽出データ終了アドレスまたはIDを編集する(ステップST2104)。例えば、Layer2の編集を行っていたとすると、このときの抽出データ終了アドレスまたはIDは、Layer1において、グループが変わる直前、すなわち、図16のステップST1612においてグループ単位で記録部23に書き込んだグループ内の、対応する識別単位のメタ情報用管理テーブルの抽出データ終了アドレスまたはIDである。
データ記録処理部223は、上記グループ管理テーブルのメタ情報用管理テーブルの記録開始アドレスまたはIDが設定されているかどうかを判定する(ステップST2105)。
データ記録処理部223は、上記グループ管理テーブルのメタ情報用管理テーブルの記録開始アドレスまたはIDが設定されているかどうかを判定する(ステップST2105)。
ステップST2105において、メタ情報用管理テーブルの記録開始アドレスまたはIDが設定されていない場合(ステップST2105の“NO”の場合)、データ記録処理部223は、メタ情報用管理テーブルの記録開始時刻(図11参照)に、一つ下層のLayerの最新のグループ内の、対応する識別単位のメタ情報用管理テーブルの記録開始時刻を編集する(ステップST2106)。例えば、Layer2の編集を行っていたとすると、このときの記録開始時刻は、Layer1において、グループが変わる直前、すなわち、図16のステップST1612においてグループ単位で記録部23に書き込んだグループ内の、対応する識別単位のメタ情報用管理テーブルの記録開始時刻である。
データ記録処理部223は、メタ情報用管理テーブルの抽出データ開始時刻(図11参照)に、一つ下層のLayerの最新のグループ内の、対応する識別単位のメタ情報用管理テーブルの抽出データ開始時刻を編集する(ステップST2107)。例えば、Layer2の編集を行っていたとすると、このときの抽出データ開始時刻は、Layer1において、グループが変わる直前、すなわち、図16のステップST1612においてグループ単位で記録部23に書き込んだグループ内の、対応する識別単位のメタ情報用管理テーブルの抽出データ開始時刻である。
データ記録処理部223は、メタ情報用管理テーブルの記録開始アドレスまたはID(図11参照)に、一つ下層のLayerの最新のグループ内の、対応する識別単位のメタ情報用管理テーブルの記録開始アドレスまたはIDを編集する(ステップST2108)。例えば、Layer2の編集を行っていたとすると、このときの記録開始アドレスまたはIDは、Layer1において、グループが変わる直前、すなわち、図16のステップST1612においてグループ単位で記録部23に書き込んだグループ内の、対応する識別単位のメタ情報用管理テーブルの記録開始アドレスまたはIDである。
データ記録処理部223は、メタ情報用管理テーブルの抽出データ開始アドレスまたはID(図11参照)に、一つ下層のLayerの最新のグループ内の、対応する識別単位のメタ情報用管理テーブルの抽出データ開始アドレスまたはIDを編集し(ステップST2109)、図21の処理を終了する。例えば、Layer2の編集を行っていたとすると、このときの抽出データ開始アドレスまたはIDは、Layer1において、グループが変わる直前、すなわち、図16のステップST1612においてグループ単位で記録部23に書き込んだグループ内の、対応する識別単位のメタ情報用管理テーブルの抽出データ開始アドレスまたはIDである。
ステップST2105において、現在編集対象となっているグループにおけるメタ情報用管理テーブルの記録開始アドレスまたはIDが設定されていた場合(ステップST2105の“YES”の場合)、ステップST2106~ステップST2109の処理はスキップする。以上の処理を、メタ情報用管理テーブル#1~kの数だけ繰り返した後、図21の処理を終了する。
図19に戻る。
ステップST192において、上位層のメタ情報用管理テーブルの編集が終わると、データ記録処理部223は、Layer(n)のグループが終了したかどうかを判定する(ステップST193)。すなわち、Layer(n)に収録できる一つ下層のLayerのグループに関する情報の編集が終わったかどうか、つまり、これ以上同一グループへの編集ができなくなったかどうかを判定する。なお、各Layerの1ノードで下位ノードをいくつ管理しているかは予め割り振りされているので、Layer(n)が、いくつのLayer(n-1)のグループのデータを編集したかによって、データ記録処理部223は、これ以上同一グループへの編集ができなくなったかどうかを判断することができる。
ステップST192において、上位層のメタ情報用管理テーブルの編集が終わると、データ記録処理部223は、Layer(n)のグループが終了したかどうかを判定する(ステップST193)。すなわち、Layer(n)に収録できる一つ下層のLayerのグループに関する情報の編集が終わったかどうか、つまり、これ以上同一グループへの編集ができなくなったかどうかを判定する。なお、各Layerの1ノードで下位ノードをいくつ管理しているかは予め割り振りされているので、Layer(n)が、いくつのLayer(n-1)のグループのデータを編集したかによって、データ記録処理部223は、これ以上同一グループへの編集ができなくなったかどうかを判断することができる。
ステップST193において、グループが終了したと判断した場合(ステップST193の“YES”の場合)、データ記録処理部223は、Layer(n)の記録データをグループ単位で記録部23に書き込む(ステップST194)。
ステップST193において、グループが終了していないと判断した場合(ステップST193の“NO”の場合)、ステップST194の処理はスキップされる。
ステップST193において、グループが終了していないと判断した場合(ステップST193の“NO”の場合)、ステップST194の処理はスキップされる。
以上のように、図14~図21を用いて説明した動作によって、映像・音声記録装置2で記憶する検索用記録データが生成される。
次に、映像・音声記録装置2における、映像・音声制御装置3からの検索要求に基づき、映像・音声データの検索を行い、検索した映像・音声データを配信するデータ検索制御の機能について説明する。なお、データ検索制御は、映像・音声記録装置2のデータ検索制御部21が行う。
図22は、映像・音声記録装置2のデータ検索制御部21におけるデータ検索制御の動作を説明するフローチャートである。
ユーザが、映像・音声制御装置3からGUIを介して映像再生やデータ抽出の検索条件を入力すると、すなわち、ユーザが、映像・音声制御装置3から映像・音声データの検索要求を行うと、要求制御部211は、ユーザが入力した検索条件を受け付ける(ステップST2201)。なお、映像・音声データの検索要求は、具体的には、ユーザが、映像・音声制御装置3からメタデータの識別単位とメタデータの値とを検索条件として入力することで行われる。
検索条件の入力は、ユーザによって映像・音声制御装置3から入力されることに限らず、映像・音声記録装置2に内蔵している映像・音声制御部(図示を省略する)のGUIを介して入力するものであってもよい。
ユーザが、映像・音声制御装置3からGUIを介して映像再生やデータ抽出の検索条件を入力すると、すなわち、ユーザが、映像・音声制御装置3から映像・音声データの検索要求を行うと、要求制御部211は、ユーザが入力した検索条件を受け付ける(ステップST2201)。なお、映像・音声データの検索要求は、具体的には、ユーザが、映像・音声制御装置3からメタデータの識別単位とメタデータの値とを検索条件として入力することで行われる。
検索条件の入力は、ユーザによって映像・音声制御装置3から入力されることに限らず、映像・音声記録装置2に内蔵している映像・音声制御部(図示を省略する)のGUIを介して入力するものであってもよい。
データ検索部212は、ステップST2201において要求制御部211が受け付けた検索条件について、一次抽出対象データ(閾値以上)の値であるかどうかを判定する(ステップST2202)。具体的には、データ検索部212は、要求制御部211が受け付けた識別単位のメタデータの値が、検索用記録データの作成において、判別パラメータ(閾値)により定められた条件を満たすと判断した値(図18のステップST1806参照)であるかどうかを判定する。
ステップST2202において、要求制御部211が受け付けた識別単位のメタデータの値が、検索用記録データの作成において判別パラメータ(閾値)により定められた条件を満たすと判断した値であった場合(ステップST2202の“YES”の場合)、データ検索部212は、最上位のLayerから順にグループ管理テーブルの、該当のメタデータ識別単位のメタ情報用管理テーブルの抽出データ開始アドレスまたはIDを参照し、データ検索の開始位置と終了位置を特定する(ステップST2203)。なお、ここで、データ検索の開始位置と終了位置とは、データ検索の開始グループと終了グループのことであり、データ検索の対象となる、すなわち、判別パラメータを満たしているメタデータが格納されている最下位層の最初のグループと最後のグループのことをいう。
ステップST2202において、要求制御部211が受け付けた識別単位のメタデータの値が、検索用記録データの作成において判別パラメータ(閾値)により定められた条件を満たすと判断した値であった場合(ステップST2202の“YES”の場合)、データ検索部212は、最上位のLayerから順にグループ管理テーブルの、該当のメタデータ識別単位のメタ情報用管理テーブルの抽出データ開始アドレスまたはIDを参照し、データ検索の開始位置と終了位置を特定する(ステップST2203)。なお、ここで、データ検索の開始位置と終了位置とは、データ検索の開始グループと終了グループのことであり、データ検索の対象となる、すなわち、判別パラメータを満たしているメタデータが格納されている最下位層の最初のグループと最後のグループのことをいう。
データ検索部212は、ステップST2203で特定したデータ検索の開始位置から終了位置に達するまで、検索情報を参照して、検索条件を満たすメタデータであるかどうかを判断し(ステップST2204)、検索条件を満たすメタデータであれば(ステップST2204の“YES”の場合)、当該メタデータと対応付けられた映像・音声データの抽出を行い(ステップST2205)、検索条件を満たすメタデータでなければ(ステップST2204の“NO”の場合)、映像・音声データの抽出を行わない。なお、メタ情報の検索情報(図9参照)には、判別パラメータ(閾値)での判別結果の情報が格納されているため、データ検索部212は、当該検索情報を参照することで、検索条件を満たすメタデータかどうかを判断することができる。
一方、ステップST2202において、要求制御部211が受け付けた識別単位のメタデータの値が、検索用記録データの作成において判別パラメータ(閾値)により定められた条件を満たさない値であった場合(ステップST2202の“NO”の場合)、データ検索部212は、検索用記録データの記録先頭位置へ移動し(ステップST2206)、データの記録終了位置になるまで、検索条件を満たすメタデータであるかどうかを判断し(ステップST2207)、検索条件を満たすメタデータであれば(ステップST2207の“YES”の場合)、当該メタデータと対応付けられた映像・音声データの抽出を行い(ステップST2208)、検索条件を満たすメタデータでなければ(ステップST2207の“NO”の場合)、映像・音声データの抽出を行わない。
なお、ステップST2206~ステップST2208の処理は、従来どおりの全メタデータの条件探索である。あるいは、一次抽出対象データ、すなわち検索用記録データの作成において、判別パラメータ(閾値)により定められた条件を満たすと判断した記録データを除いた記録データを検索してもよい。
なお、ステップST2206~ステップST2208の処理は、従来どおりの全メタデータの条件探索である。あるいは、一次抽出対象データ、すなわち検索用記録データの作成において、判別パラメータ(閾値)により定められた条件を満たすと判断した記録データを除いた記録データを検索してもよい。
データ配信部213は、ステップST2205、ステップST2208で抽出されたデータを出力する(ステップST2209)。具体的には、例えば、データ配信部213は、映像再生やデータ抽出要求のあった映像・音声制御装置3に対して、抽出されたデータを配信し、映像・音声制御装置3の表示部においてリスト表示させる。また、例えば、顔情報を含むデータを抽出した場合などには、データ配信部213は、外部の顔認証用サーバに対して抽出されたデータを送付して、顔認証用サーバにおいて、認識を行うインプットデータとして使用するようにすることもできる。
ここで、ステップST2201~ステップST2205までの処理について、具体例を用いて詳細に説明する。
図23は、判別パラメータ(閾値)により定められた条件の一つを「顔があること」として作成した、管理領域が3層構造となっている検索用記録データの一例を説明する図である。
ここでは、映像・音声記録装置2は、カメラ1、または、アラーム通知装置4から映像・音声データとメタデータとを受信し、図23に示すように、3層構造(Layer1~3)となっている検索用記録データを記録部23に記録しており、検索用記録データ作成時に、識別単位が「判断条件「顔」」であるメタデータの判別パラメータ(閾値)により定められた条件を、顔があること、すなわち、顔が1以上であることとして一次抽出対象データの判定を行ったものとし、ユーザからの「顔があること」という検索条件を受け付けて、検索用記録データから、顔のある(顔が1個以上)データを検索するものとして以下説明する。
なお、図23は、3層構造を説明するものであり、それぞれのデータ内容の詳細については図示を省略し、簡略化して示している。
図23は、判別パラメータ(閾値)により定められた条件の一つを「顔があること」として作成した、管理領域が3層構造となっている検索用記録データの一例を説明する図である。
ここでは、映像・音声記録装置2は、カメラ1、または、アラーム通知装置4から映像・音声データとメタデータとを受信し、図23に示すように、3層構造(Layer1~3)となっている検索用記録データを記録部23に記録しており、検索用記録データ作成時に、識別単位が「判断条件「顔」」であるメタデータの判別パラメータ(閾値)により定められた条件を、顔があること、すなわち、顔が1以上であることとして一次抽出対象データの判定を行ったものとし、ユーザからの「顔があること」という検索条件を受け付けて、検索用記録データから、顔のある(顔が1個以上)データを検索するものとして以下説明する。
なお、図23は、3層構造を説明するものであり、それぞれのデータ内容の詳細については図示を省略し、簡略化して示している。
要求制御部211が、ユーザが入力した「顔があること」という検索条件を受け付けると(ステップST2201)、「顔があること」、すなわち、顔が1個以上は、検索用記録データ作成時の一次抽出対象データとなる(判別パラメータ(閾値)を満たしている)値であるので(ステップST2202の“YES”)、データ検索部212は、最上位のLayer3から下位のLayerの順に、グループ管理テーブルのメタ情報用管理テーブルを参照する。なお、「顔があること」という検索条件は、メタデータの識別単位「判断条件「顔」」と対応付けられているものとする。このように、検索条件と、メタ情報用管理テーブルとは関連付けられており、検索条件の内容によって、どのメタ情報用管理テーブルを参照するかということは予め設定されている。
ここで、Layer3のグループID(A)、Layer2のグループID(1)~(3)、Layer1のグループID4~6のグループ管理テーブルに格納されているデータ内容を図24に示す。Layer3のグループID(A)、Layer2のグループID(1)~(3)、Layer3のグループID4~6のグループ管理テーブルに格納されているデータの内容は、それぞれ、図24の(a)~(g)に対応している。なお、ここでは、各Layerの各グループに格納されているデータの内容について、説明に必要なグループ、および、説明に必要な項目に絞って図示するようにしている。例えば、図24において、Layer1のグループID1~3、7~9のグループ管理テーブルに格納されているデータの内容については省略する。
Layer3の判断条件「顔」の識別単位のメタ情報用管理テーブルを参照すると、図24のように、顔データがあり、抽出データ開始アドレスまたはIDにはLayer2のID(2)、抽出データ終了アドレスまたはIDにもLayer2のID(2)が編集されている。従って、Layer2のID(2)の管理下のグループに検索条件を満たす、すなわち「顔がある」記録データがあることがわかる。また、この時点で、Layer2のID(1)、(3)の管理下のグループには検索条件を満たす、すなわち「顔がある」記録データはないことがわかる。
そこで、データ検索部212は、次にLayer2のID(2)の、判断条件「顔」に関するメタ情報用管理テーブルを参照すると、図24の内容から、抽出データ開始アドレスまたはIDがLayer1のID5、抽出データ終了アドレスまたはIDがLayer1のID6となっているので、Layer1のID5~Layer1のID6のグループの管理下に顔関連のデータがあり、最下位層のLayer1のID5がデータ検索の開始位置であり、Layer1のID6がデータ検索の終了位置であることが特定できる(ステップST2203)。
続いて、データ検索部212は、まず、開始位置であるLayer1のID5の、判断条件「顔」に関するメタ情報用管理テーブルを参照すると、図24の内容から、抽出データ開始時刻,抽出データ終了時刻がともにT54となっており、記録時刻T54の記録データに顔関連のデータがあることがわかる。そこで、記録時刻T54の記録データの記録用映像・音声データを抽出する。
続いて、データ検索部212は、まず、開始位置であるLayer1のID5の、判断条件「顔」に関するメタ情報用管理テーブルを参照すると、図24の内容から、抽出データ開始時刻,抽出データ終了時刻がともにT54となっており、記録時刻T54の記録データに顔関連のデータがあることがわかる。そこで、記録時刻T54の記録データの記録用映像・音声データを抽出する。
ここで、Layer1のグループID4~6の管理下の記録データの内容を図25に示す。図25において、グループID4の管理下の記録データの内容を(h)、グループID5の管理下の記録データの内容を(i)、グループID6の管理下の記録データの内容を(j)に示す。なお、図25においては、説明に必要な項目だけを抜粋して示している。
データ検索部212は、記録時刻T54の記録データから、検索条件が「閾値満」となっている、顔の数が1のメタデータに対応づけられた映像・音声データ(顔あり(1人)映像データ)を抽出する。なお、ここでは、検索用記録データ作成時に、識別単位が「判断条件「顔」」であるメタデータの判別パラメータ(閾値)により定められた条件と、ユーザからの検索条件が、ともに「顔があること」であるので、検索条件が「閾値満」となっていれば、検索条件に合致するメタデータであると判断できる。
データ検索部212は、記録時刻T54の記録データから、検索条件が「閾値満」となっている、顔の数が1のメタデータに対応づけられた映像・音声データ(顔あり(1人)映像データ)を抽出する。なお、ここでは、検索用記録データ作成時に、識別単位が「判断条件「顔」」であるメタデータの判別パラメータ(閾値)により定められた条件と、ユーザからの検索条件が、ともに「顔があること」であるので、検索条件が「閾値満」となっていれば、検索条件に合致するメタデータであると判断できる。
次に、データ検索部212は、Layer1のID5のグループ管理テーブルの後グループIDを参照すると、図24の内容から、Layer1のID6が次のグループであることがわかる。また、Layer1のID6の、判断条件「顔」に関するメタ情報用管理テーブルの抽出データ開始時刻がT61,抽出データ終了時刻がT63となっていることから、記録時刻T61~T63の記録データに顔関連のデータがあることがわかる。データ検索部212は、記録データの記録時刻がT61~T63の記録データの記録用映像・音声データを抽出する。
すなわち、データ検索部212は、記録時刻T61の記録データから、検索条件が「閾値満」となっている、顔の数が5のメタデータに対応づけられた映像・音声データ(顔あり(5人)映像データ)と、記録時刻T63の記録データから、検索条件が「閾値満」となっている、顔の数が3のメタデータに対応づけられた映像・音声データ(顔あり(3人)映像データ)を抽出する。なお、記録時刻T62の記録データについては、参照するが、検索条件が「閾値を満たさない」となっているため、映像・音声データの抽出対象外となる。
記録時刻T63まで参照すると、データ検索の終了位置なので、ここで検索を終了する。(ステップST2204~ステップST2205)
記録時刻T63まで参照すると、データ検索の終了位置なので、ここで検索を終了する。(ステップST2204~ステップST2205)
このように、中間層(Layer2)のID(1)およびID(3)の参照を省略することで、最下位層(Layer1)のID1~3、および、ID7~9の参照を省略する。さらに、中間層(Layer2)においても、その下の最下位層(Layer1)のID4の参照を省略する。これにより、抽出対象のデータが存在するLayer1のID5,6から効率よく映像・音声データの検索を行うことができる。
なお、ここでは、Layer2のID(2)のみに抽出対象のデータがある場合、すなわち、中間層(Layer2)の1グループのみに抽出対象のデータがある場合を例に説明したが、例えば、Layer2のID(2)にもID(3)にも抽出対象のデータがある場合には、Layer2のID(2)の配下のLayer1の該当のグループの映像・音声データを抽出後、Layer2のID(2)のグループ管理テーブルからLayer2のID(3)を特定し、さらに、Layer2のID(3)の配下のLayer1のグループを参照することで、管理する上位層が異なる最下位層の映像・音声データから、抽出対象のデータを抽出することができる(図26参照)。
また、ここでは、「顔があること」、すなわち、顔の数が1以上という検索条件としたが、これに限らず、例えば、顔の数が5個以上など、顔の数で検索をかけたい場合でも、記録データのメタ情報に格納されている検索情報を参照し、「閾値満」となっている、すなわち、判別パラメータ(閾値)により定められた条件による一次抽出対象データとなっている検索情報のメタデータを参照すれば、検索条件に合致した映像・音声データを抽出することができる。
つまり、ここでは、検索用記録データ作成時に、識別単位が「判断条件「顔」」であるメタデータの判別パラメータ(閾値)により定められた条件を、顔があること、すなわち、顔が1以上であることとして一次抽出対象データの判定を行ったので、顔の数が1以上という検索条件であれば、記録データのメタ情報に格納された検索情報が「閾値満」となっているメタデータが全て検索条件に該当するものとなり、当該メタデータに関連付けられた映像・音声データを抽出したが、例えば、同じように、検索用記録データ作成時に、識別単位が「判断条件「顔」」であるメタデータの判別パラメータ(閾値)により定められた条件を、顔があることとして一次抽出対象データの判定を行った検索用記録データから、検索条件を、顔の数が5以上であることとして、映像・音声データの検索を行った場合は、記録データのメタ情報に格納されている検索情報が「閾値満」となっているメタデータを参照し、当該メタデータに含まれる顔の数を抽出して、検索条件(顔の数が5以上)に該当するメタデータであるかどうかを判断し、検索条件に該当するメタデータであった場合、当該メタデータに対応付けられた映像・音声データが、検索条件に合致する映像・音声データであると特定し、当該特定した映像・音声データを抽出することができる。
このように、検索条件の詳細なケースを想定しても、顔のない領域を読み飛ばし、顔情報のある位置で条件に合うものを検索することが可能となり、効率的な検索が行える。
つまり、ここでは、検索用記録データ作成時に、識別単位が「判断条件「顔」」であるメタデータの判別パラメータ(閾値)により定められた条件を、顔があること、すなわち、顔が1以上であることとして一次抽出対象データの判定を行ったので、顔の数が1以上という検索条件であれば、記録データのメタ情報に格納された検索情報が「閾値満」となっているメタデータが全て検索条件に該当するものとなり、当該メタデータに関連付けられた映像・音声データを抽出したが、例えば、同じように、検索用記録データ作成時に、識別単位が「判断条件「顔」」であるメタデータの判別パラメータ(閾値)により定められた条件を、顔があることとして一次抽出対象データの判定を行った検索用記録データから、検索条件を、顔の数が5以上であることとして、映像・音声データの検索を行った場合は、記録データのメタ情報に格納されている検索情報が「閾値満」となっているメタデータを参照し、当該メタデータに含まれる顔の数を抽出して、検索条件(顔の数が5以上)に該当するメタデータであるかどうかを判断し、検索条件に該当するメタデータであった場合、当該メタデータに対応付けられた映像・音声データが、検索条件に合致する映像・音声データであると特定し、当該特定した映像・音声データを抽出することができる。
このように、検索条件の詳細なケースを想定しても、顔のない領域を読み飛ばし、顔情報のある位置で条件に合うものを検索することが可能となり、効率的な検索が行える。
以上のように、実施の形態1によれば、2値化判定されていない動きベクトルデータ等のメタデータと、当該メタデータの判別パラメータにより定められた条件を満たすかどうかに関する情報と、当該メタデータに対応する映像・音声データとを最下位層で管理し、当該判別パラメータにより定められた情報を満たすメタデータが記録されている範囲を特定するための情報を上位層で管理する階層構造とした検索用記録データを作成し、当該検索用記録データを上位層から検索して、ユーザの検索要求に応じた映像・音声データを抽出できるようにすることで、ユーザの多用な検索を可能とし、検索効率を高め、検索時間を短縮させることができる映像・音声記録装置2および当該映像・音声記録装置2を備えた監視システムを提供することができる。
また、実施の形態1によれば、映像・音声データ(撮像データ)とメタデータとを受信するデータ受信部221と、データ受信部221が受信した撮像データとメタデータとに基づき、階層構造の最下位層においては、メタデータとメタデータが閾値を満たすかどうかに関する検索情報とメタデータに対応する撮像データとを含む記録データと、記録データをメタデータの識別単位ごとに管理するための情報を有するメタ情報用管理テーブル(第1の管理テーブル)とをグループ化して格納し、最下位層より上位の層においては、第1の管理テーブルの情報を連携し、上位の層が管理する下位のグループについて、メタデータが閾値を満たす記録データが格納される範囲を特定するための情報を有する第2の管理テーブルをグループ化して格納する検索用記録データの作成を行うデータ記録処理部223とを備えるように構成したので、検索情報を付与したメタデータと映像・音声データとを関連付けて最下層に格納し、下位層が格納するメタデータの情報をもとに上位層を構築する階層的な構造として記録データを作成でき、映像・音声データの検索の際には、上位層から、不要なデータの参照を省略して、最下位層に格納された抽出対象となる映像・音声データを効率よく検索することができる。また、メタデータには検索の際に用いることができる検索情報を付与して格納しておくことで、検索条件が変更になったり、詳細なケースを想定しても、検索情報を参照して検索条件を満たすメタデータであるかどうかを判断して、検索条件を満たす映像・音声データを抽出することができるので、効率よく映像・音声データの検索を行うことができる。
実施の形態2.
実施の形態1においては、図26に示すようなデータ検索を行っていた。すなわち、例えば、Layer(n)において、データ抽出開始IDがLayer(n-1)のID1、データ抽出終了IDがLayer(n-1)のID3と示されているような場合、Layer(n-1)のID2には判定パラメータ(閾値)を超えるメタデータがない場合であっても、ID1、ID2、ID3の順番で検索を行うため、ID2についても不要な検索が行われていた。
そこで、この実施の形態2では、判定パラメータ(閾値)を超えるメタデータが前後方向のどの位置の記録データに存在するかを示す情報を付与したデータ構成とし、不必要なデータについては、一切アクセスしないことによって、さらに効率的な検索を可能とする実施の形態について説明する。
実施の形態1においては、図26に示すようなデータ検索を行っていた。すなわち、例えば、Layer(n)において、データ抽出開始IDがLayer(n-1)のID1、データ抽出終了IDがLayer(n-1)のID3と示されているような場合、Layer(n-1)のID2には判定パラメータ(閾値)を超えるメタデータがない場合であっても、ID1、ID2、ID3の順番で検索を行うため、ID2についても不要な検索が行われていた。
そこで、この実施の形態2では、判定パラメータ(閾値)を超えるメタデータが前後方向のどの位置の記録データに存在するかを示す情報を付与したデータ構成とし、不必要なデータについては、一切アクセスしないことによって、さらに効率的な検索を可能とする実施の形態について説明する。
この実施の形態2に係る映像・音声記録装置2の構成、および、映像・音声記録装置2を備えた映像・音声監視システムの構成については、実施の形態1において、図3、図1で説明したものと同様であるため、重複した説明を省略する。
実施の形態1と実施の形態2では、記録部23に記録する検索用記録データの構造が異なる。具体的には、実施の形態1では、記録データのメタ情報には、図9で示したように、メタデータと検索情報とが格納されていたのに対し、実施の形態2では、記録データのメタ情報には、図27に示すように、メタデータと、検索情報と、抽出データ前方向記録時刻と、抽出データ後方向記録時刻とが格納される点が異なる。その他の検索用記録データの構造については、実施の形態1において説明したものと同様であるため、重複した説明を省略する。
実施の形態1と実施の形態2では、記録部23に記録する検索用記録データの構造が異なる。具体的には、実施の形態1では、記録データのメタ情報には、図9で示したように、メタデータと検索情報とが格納されていたのに対し、実施の形態2では、記録データのメタ情報には、図27に示すように、メタデータと、検索情報と、抽出データ前方向記録時刻と、抽出データ後方向記録時刻とが格納される点が異なる。その他の検索用記録データの構造については、実施の形態1において説明したものと同様であるため、重複した説明を省略する。
動作について説明する。
まず、データ記録制御部22によるデータ記録制御の動作について説明する。
図28は、実施の形態2に係る映像・音声記録装置2のデータ記録制御部22によるメタ情報用管理テーブル編集の動作を説明するフローチャートである。
この実施の形態2では、実施の形態1で図18を用いて説明したメタ情報用管理テーブルの編集の動作が、図28に変わる点が異なるのみで、その他の動作については、実施の形態1で説明した動作と同様であるため、重複した説明を省略する。
図28のステップST2801~ステップST2807、ステップST2811~ステップST2815は、それぞれ、図18のステップST1801~ステップST1807、ステップST1808~ステップST1812と同様であるため重複した説明を省略する。
この実施の形態2では、図28のステップST2808~ステップST2810の処理が追加になっている点が異なるのみである。
まず、データ記録制御部22によるデータ記録制御の動作について説明する。
図28は、実施の形態2に係る映像・音声記録装置2のデータ記録制御部22によるメタ情報用管理テーブル編集の動作を説明するフローチャートである。
この実施の形態2では、実施の形態1で図18を用いて説明したメタ情報用管理テーブルの編集の動作が、図28に変わる点が異なるのみで、その他の動作については、実施の形態1で説明した動作と同様であるため、重複した説明を省略する。
図28のステップST2801~ステップST2807、ステップST2811~ステップST2815は、それぞれ、図18のステップST1801~ステップST1807、ステップST1808~ステップST1812と同様であるため重複した説明を省略する。
この実施の形態2では、図28のステップST2808~ステップST2810の処理が追加になっている点が異なるのみである。
ステップST2806において、記録データのメタ情報に格納されている該当のメタデータの検索情報を編集すると(ステップST2806)の“YES”の場合)、データ記録処理部223は、メタ情報の検索情報を更新した(ステップST2807)後、メタ情報に格納されている該当のメタデータの抽出データ前方向記録時刻(図27参照)に、内部的に保持している抽出データ前方向記録時刻を編集する(ステップST2808)。受信したデータに、判別パラメータを満たすメタデータがあった場合には、識別単位ごとに、その判別パラメータ満たすメタデータを含む記録データの記録時刻Tnを抽出データ前方向記録時刻として内部的に記憶しており、次の受信データ以降で、判別パラメータを満たす同じ識別単位のメタデータがあった場合に、この処理(ステップST2808)において、今回の該当のメタデータの抽出データ前方向記録時刻に、前回のメタデータ抽出時に記憶していた抽出データ前方向記録時刻を編集する。なお、初めて該当の判別パラメータを満たすメタデータである場合は、内部的に保持している抽出データ前方向記録時刻もないため、抽出データ前方向記録時刻は「なし」と編集される。
データ記録処理部223は、内部的に保持している抽出データ前方向記録時刻から特定される記録時刻Tnのメタ情報に格納されている同じ識別単位のメタデータの抽出データ後方向記録時刻に、今回の記録データの記録時刻Tn、すなわち、図15のステップST151でカメラ1またはアラーム通知装置4からデータを受信した受信時刻を編集する(ステップST2809)。なお、一つ以上前のグループは記録部23に記録されているので、一つ以上前のグループの記録データの抽出データ後方向記録時刻を編集する場合は、データ記録処理部223は記録部23を参照して、該当の記録データを特定し、抽出データ後方記録時刻を更新するようにする。
データ記録処理部223は、内部的に保持している該当の識別単位の抽出データ前方向記録時刻を、現在の記録時刻Tn、すなわち、図15のステップST151でカメラ1またはアラーム通知装置4からデータを受信した受信時刻に更新する(ステップST2810)。
以上のようにして、判定パラメータ(閾値)を超える同じ識別単位のメタデータが前後方向のどの位置の記録データに存在するかを示す情報(抽出データ前方向記録時刻,抽出データ後方向記録時刻)を付与したメタデータが記録される。
次に、この発明の実施の形態2の映像・音声記録装置2のデータ検索制御部21によるデータ検索制御の動作について説明する。
図29は、この発明の実施の形態2の映像・音声記録装置2のデータ検索制御部21におけるデータ検索制御の動作を説明するフローチャートである。
図29のステップST2901~ステップST2909の処理は、実施の形態1で説明した図22のステップST2201~ステップST2209の処理と同様の処理である。
図29は、この発明の実施の形態2の映像・音声記録装置2のデータ検索制御部21におけるデータ検索制御の動作を説明するフローチャートである。
図29のステップST2901~ステップST2909の処理は、実施の形態1で説明した図22のステップST2201~ステップST2209の処理と同様の処理である。
実施の形態1において、データ検索部212は、ステップST2203で特定したデータ検索の開始位置から終了位置に達するまで、ステップST2204~ステップST2205、または、ステップST2207~ステップST2208の処理を行っていたのに対し、この実施の形態2では、データ検索部212は、ステップST2903で検索したデータ検索の開始位置に移動すると、開始位置から、該当のメタ情報用管理テーブルの抽出データ後方向記録時刻に基づきデータ参照を行い、該当する後データ方向のデータがなくなるまで、ステップST2904~ステップST2905、または、ステップST2907~ステップST2908の処理を行う点が異なる。該当する後データ方向のデータがなくなるまで、とは、具体的には、メタ情報用管理テーブルの抽出データ後方向IDと、記録データの抽出データ後方向記録時刻とから特定される後方向の、検索条件に該当する映像・音声データがなくなるまで、である。
ここで、ステップST2901~ステップST2905までの処理について、具体例を用いて詳細に説明する。
ここでも、実施の形態1同様、検索用記録データは、一例として、図23のように、判別パラメータの一つを「顔があること」として作成した、管理領域が3層構造となっているものとして説明する。
映像・音声記録装置2は、カメラ1、または、アラーム通知装置4から映像・音声データとメタデータとを受信し、図23に示すように3層構造(Layer1~3)となっている検索用記録データを記録部23に記録しており、検索用記録データ作成時に、識別単位が「判断条件「顔」」であるメタデータの判別パラメータ(閾値)により定められた条件を、顔があること、すなわち、顔が1以上であることとして一次抽出対象データの判定を行ったものとし、ユーザからの「顔があること」という検索条件を受け付けて、検索用記録データから、顔のある(顔が1個以上)データを検索するものとして以下説明する。なお、ここでも、「顔があること」という検索条件は、メタデータの識別単位「判断条件「顔」」と対応付けられているものとする。
ここでも、実施の形態1同様、検索用記録データは、一例として、図23のように、判別パラメータの一つを「顔があること」として作成した、管理領域が3層構造となっているものとして説明する。
映像・音声記録装置2は、カメラ1、または、アラーム通知装置4から映像・音声データとメタデータとを受信し、図23に示すように3層構造(Layer1~3)となっている検索用記録データを記録部23に記録しており、検索用記録データ作成時に、識別単位が「判断条件「顔」」であるメタデータの判別パラメータ(閾値)により定められた条件を、顔があること、すなわち、顔が1以上であることとして一次抽出対象データの判定を行ったものとし、ユーザからの「顔があること」という検索条件を受け付けて、検索用記録データから、顔のある(顔が1個以上)データを検索するものとして以下説明する。なお、ここでも、「顔があること」という検索条件は、メタデータの識別単位「判断条件「顔」」と対応付けられているものとする。
要求制御部211が、ユーザが入力した「顔があること」という検索条件を受け付けると(ステップST2901)、「顔があること」、すなわち、顔が1個以上は、検索用記録データ作成時の一次抽出対象データとなる(判別パラメータ(閾値)を満たしている)値であるので(ステップST2902の“YES”)、データ検索部212は、最上位のLayer3から、グループ管理テーブルの、メタデータ識別単位が「判断条件「顔」」であるメタ情報用管理テーブルを参照する。
ここで、Layer3のグループID(A)、Layer2のグループID(1)~(3)、Layer1のグループID4~6のグループ管理テーブルに格納されているデータ内容を図30に示す。Layer3のグループID(A)、Layer2のグループID(1)~(3)、Layer3のグループID4~6のグループ管理テーブルに格納されているデータの内容は、それぞれ、図30の(a)~(g)に対応している。なお、ここでは、各Layerの各グループに格納されているデータの内容について、説明に必要なグループ、および、説明に必要な項目に絞って図示するようにしている。例えば、図30において、Layer1のグループID1~3、7~9のグループ管理テーブルに格納されているデータの内容については省略する。
Layer3の判断条件「顔」の識別単位のメタ情報用管理テーブルを参照すると、図30のように、顔データがあり、抽出データ開始アドレスまたはIDにはLayer2のID(2)、抽出データ終了アドレスまたはIDにもLayer2のID(2)が編集されている。従って、Layer2のID(2)の管理下のグループに検索条件を満たす、すなわち「顔がある」記録データがあることがわかる。また、この時点で、Layer2のID(1)、(3)の管理下のグループには検索条件を満たす、すなわち「顔がある」記録データはないことがわかる。
そこで、データ検索部212は、次にLayer2のID(2)の判断条件「顔」に関するメタ情報用管理テーブルを参照すると、図30の内容から、抽出データ開始アドレスまたはIDがLayer1のID4、抽出データ終了アドレスまたはIDがLayer1のID6となっているので、Layer1のID4~Layer1のID6のグループの管理下に顔関連のデータがあり、最下位層のLayer1のID4がデータ検索の開始位置であり、Layer1のID6がデータ検索の終了位置であることが特定できる(ステップST2903)。
続いて、データ検索部212は、まず、開始位置であるLayer1のID4の、判断条件「顔」に関するメタ情報用管理テーブルを参照すると、図30の内容から、抽出データ開始時刻,抽出データ終了時刻がともにT44となっており、記録時刻T44の記録データに顔関連のデータがあることがわかる。そこで、記録時刻T44の記録データの記録用映像・音声データを抽出する。
続いて、データ検索部212は、まず、開始位置であるLayer1のID4の、判断条件「顔」に関するメタ情報用管理テーブルを参照すると、図30の内容から、抽出データ開始時刻,抽出データ終了時刻がともにT44となっており、記録時刻T44の記録データに顔関連のデータがあることがわかる。そこで、記録時刻T44の記録データの記録用映像・音声データを抽出する。
ここで、Layer1のグループID4~6の管理下の記録データの内容を図31に示す。図31において、グループID4の管理下の記録データの内容を(h)、グループID5の管理下の記録データの内容を(i)、グループID6の管理下の記録データの内容を(j)に示す。なお、図31においては、説明に必要な項目だけを抜粋して示している。
データ検索部212は、記録時刻T44の記録データから、検索条件が「閾値満」となっている、顔の数が1のメタデータに対応づけられた映像・音声データ(顔あり(1人)映像データ)を抽出する。なお、ここでは、検索用記録データ作成時に、識別単位が「判断条件「顔」」であるメタデータの判別パラメータ(閾値)により定められた条件と、ユーザからの検索条件が、ともに「顔があること」であるので、検索条件が「閾値満」となっていれば、検索条件に合致するメタデータであると判断できる。
データ検索部212は、記録時刻T44の記録データから、検索条件が「閾値満」となっている、顔の数が1のメタデータに対応づけられた映像・音声データ(顔あり(1人)映像データ)を抽出する。なお、ここでは、検索用記録データ作成時に、識別単位が「判断条件「顔」」であるメタデータの判別パラメータ(閾値)により定められた条件と、ユーザからの検索条件が、ともに「顔があること」であるので、検索条件が「閾値満」となっていれば、検索条件に合致するメタデータであると判断できる。
次に、この実施の形態2では、データ検索部212は、記録時刻T44の判断条件「顔」のメタデータに対応するデータ抽出後方向記録時刻を参照する。ここでは、図31の内容から、該当のデータ抽出後方向記録時刻はT61となっているため、データ検索部212は、記録時刻T61の記録データを検索し、記録データの記録時刻がT61の記録データの記録用映像・音声データを抽出する。
すなわち、顔が検出されなかった記録時刻T51~T54の記録データを格納するグループID5のグループについてはスキップし、グループID6のグループの記録時刻T61の記録データを参照し、映像・音声データを抽出する。
その後、同様に、データ検索部212は、記録時刻T61の判断条件「顔」のメタデータに対応するデータ抽出後方向記録時刻を参照し、次に参照すべき記録データは、記録時刻T63の記録データであることを特定し、記録時刻T63の記録データを参照し、記録用映像・音声データを抽出する。
すなわち、顔が検出されなかった記録時刻T62の記録データについてはスキップする。
その後、同様に、データ検索部212は、記録時刻T61の判断条件「顔」のメタデータに対応するデータ抽出後方向記録時刻を参照し、次に参照すべき記録データは、記録時刻T63の記録データであることを特定し、記録時刻T63の記録データを参照し、記録用映像・音声データを抽出する。
すなわち、顔が検出されなかった記録時刻T62の記録データについてはスキップする。
つまり、データ検索部212は、グループID6の記録データのグループについて、記録時刻T61と記録時刻T63の記録データのみを参照し、記録時刻T61の記録データから、検索条件が「閾値満」となっている、顔の数が5のメタデータに対応づけられた映像・音声データ(顔あり(5人)映像データ)と、記録時刻T63の記録データから、検索条件が「閾値満」となっている、顔の数が3のメタデータに対応づけられた映像・音声データ(顔あり(3人)映像データ)を抽出する。
記録時刻T63まで参照すると、検索の終了位置なので、ここで検索を終了する。(ステップST2904~ステップST2905)
記録時刻T63まで参照すると、検索の終了位置なので、ここで検索を終了する。(ステップST2904~ステップST2905)
このように、中間層(Layer2)のID(1)およびID(3)の参照を省略することで、最下位層(Layer1)のID1~3、および、ID7~9の参照を省略する。さらに、中間層(Layer2)においても、その下の最下位層(Layer1)のID5の参照を省略し、ID4とID6のみ参照する。これにより、抽出対象のデータが存在するLayer1のID4およびID6から、抽出対象のデータが存在しない記録時刻のデータ参照を省略して、効率よく映像・音声データの検索を行うことができる。
なお、ここでは、Layer2のID(2)のみに抽出対象のデータがある場合、すなわち、中間層(Layer2)の1グループのみに抽出対象のデータがある場合を例に説明したが、例えば、Layer2のID(2)にもID(3)にも抽出対象のデータがある場合には、Layer2のID(2)の配下のLayer1の該当のグループの映像・音声データを抽出後、メタデータに格納されている抽出データ後方向記録時刻から、次に参照すべき記録データを特定することで、管理する上位層が異なる場合であっても、最下層の記録データから、抽出対象の記録用映像・音声データを抽出することができる(図32参照)。
また、実施の形態1同様、ここでは、「顔があること」、すなわち、顔の数が1以上という検索条件としたが、これに限らず、例えば、顔の数が5個以上など、顔の数で検索をかけたい場合でも、記録データのメタ情報に格納されている検索情報を参照し、「閾値満」となっている、すなわち、判別パラメータ(閾値)により定められた条件による一次抽出対象データとなっている検索情報のメタデータを参照すれば、検索条件に合致した映像・音声データを抽出することができる。
以上のように、この実施の形態2によれば、データ記録処理部223は、最下位層において、識別単位ごとにメタデータが閾値を満たした他の記録データを特定するための情報をさらに含む記録データとメタ情報用管理テーブル(第1の管理テーブル)とをグループ化して格納する検索用記録データの作成を行い、データ検索部212は、最下位層における、映像・音声データ(撮像データ)検索の開始グループと終了グループとを特定すると、開始グループの第1の管理テーブルが有する記録データから終了グループの第1の管理テーブルが有する記録データまで、メタデータが閾値を満たした他の記録データを特定するための情報に基づき、次に参照する記録データを特定し、当該特定した記録データの検索情報を参照し、検索情報に対応するメタデータを参照して、検索条件を満たすメタデータに対応する撮像データを抽出するように構成したので、不必要なデータには一切アクセスしないことにより、より効率的な検索が可能となる。
なお、実施の形態1,2における記録部23について、HDDやSSD等の不揮発性記録装置としてもよい。なお、不揮発性記録装置である記録部23に記録する際には、HDDやSSDの書き込みや読み出しのH/W特性の観点から、HDDのセクタ単位などのデータサイズ単位での書き込み、または、読み出しを行うようにする。
また、実施の形態1,2においては、メタデータが閾値により定められた条件を満たす記録データの情報を有するメタ情報用管理テーブルを作成するようにしたが、これに加え、メタデータが閾値により定められた条件を満たさない記録データの情報を有するメタ情報用管理テーブルを作成するようにしてもよい。
なお、この実施の形態1において、映像・音声記録装置2は、図3に示すような構成としたが、これに限らず、映像・音声記録装置2は、データ受信部221と、データ記録処理部223とを備えるようにすることで上述した効果を得られる。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
また、実施の形態1における映像・記録装置2の制御に用いられる各部は、ソフトウェアに基づくCPUを用いたプログラム処理によって実行される。
また、実施の形態1における映像・記録装置2の制御に用いられる各部は、ソフトウェアに基づくCPUを用いたプログラム処理によって実行される。
この発明に係る映像音声記録装置および監視システムは、データ受信部が受信した撮像データとメタデータとに基づき、データ記録処理部が複数の階層からなる階層構造で管理する検索用記録データを作成し、入力された検索要求に基づき、検索用記録データから検索要求に応じた撮像データを抽出することにより、ユーザの多用な検索が可能となって検索効率が高められ、検索時間も短縮させることができるため、映像監視分野に適用している。
1 カメラ、2 映像・音声記録装置、3 映像・音声制御装置、4 アラーム通知装置、11 映像処理部、12 音声処理部、13 映像データ作成部、14 音声データ作成部、21 データ検索制御部、22 データ記録制御部、23 記録部、131 映像符号化処理部、132,142 メタデータ作成部、141 音声符号化処理部、211 要求制御部、212 データ検索部、213 データ配信部、221 データ受信部、222 メタデータ生成部、223 データ記録処理部、1321 顔検出部、1322 動きベクトル検出部、1323 物体検出部、1324 天候検出部、1325 特徴量検出部、1421 音声特徴量検出部。
Claims (9)
- 撮像データとメタデータとに基づき、複数の階層からなる階層構造で管理する検索用記録データを作成し、入力された検索要求に基づき、前記検索用記録データから、前記検索要求に応じた前記撮像データを抽出する映像音声記録装置であって、
前記撮像データと前記メタデータとを受信するデータ受信部と、
前記データ受信部が受信した前記撮像データと前記メタデータとに基づき、前記階層構造の最下位層においては、前記メタデータと前記メタデータが閾値により定められた条件を満たすかどうかに関する検索情報と前記メタデータに対応する前記撮像データとを含む記録データと、前記記録データを前記メタデータの識別単位ごとに管理するための情報を有する第1の管理テーブルとをグループ化して格納し、前記最下位層より上位の層においては、前記第1の管理テーブルの情報を連携し、前記上位の層が管理する下位のグループについて、前記メタデータが前記閾値により定められた条件を満たす記録データが格納される範囲を特定するための情報を有する第2の管理テーブルをグループ化して格納する前記検索用記録データの作成を行うデータ記録処理部
とを備えた映像音声記録装置。 - 撮像データとメタデータとに基づき、複数の階層からなる階層構造で管理する検索用記録データを作成し、入力された検索要求に基づき、前記検索用記録データから、前記検索要求に応じた前記撮像データを抽出する映像音声記録装置であって、
前記撮像データと前記メタデータとを受信するデータ受信部と、
前記データ受信部が受信した前記撮像データと前記メタデータとに基づき、前記階層構造の最下位層において、前記メタデータと前記撮像データとを含む記録データをセクタ単位にグループ化して格納するデータ記録処理部
とを備えた映像音声記録装置。 - 前記データ記録処理部は、
前記検索用記録データにおける前記グループをセクタ単位とする
ことを特徴とする請求項1記載の映像音声記録装置。 - 前記検索要求の入力を受け付ける要求制御部と、
前記要求制御部が受け付けた前記検索要求に基づく検索条件が前記閾値により定められた条件を満たす場合、前記検索用記録データの最上位層から順に前記第2の管理テーブルを参照して、前記検索用記録データの前記最下位層における、撮像データ検索の開始グループと終了グループとを特定し、前記開始グループの前記第1の管理テーブルが有する前記記録データから前記終了グループの前記第1の管理テーブルが有する前記記録データまで前記検索情報を参照し、前記検索情報に対応する前記メタデータを参照して、前記検索条件を満たす前記メタデータに対応する前記撮像データを抽出するデータ検索部と、
前記データ検索部が抽出した前記撮像データを配信するデータ配信部
とをさらに備えた請求項1から請求項3のうちのいずれか1項記載の映像音声記録装置。 - 前記データ記録処理部は、
前記最下位層において、前記識別単位ごとに前記メタデータが前記閾値により定められた条件を満たした他の記録データを特定するための情報をさらに含む前記記録データと前記第1の管理テーブルとをグループ化して格納する前記検索用記録データの作成を行い、
前記データ検索部は、
前記最下位層における、撮像データ検索の開始グループと終了グループとを特定すると、前記開始グループの前記第1の管理テーブルが有する前記記録データから前記終了グループの前記第1の管理テーブルが有する前記記録データまで、前記メタデータが前記閾値により定められた条件を満たした他の記録データを特定するための情報に基づき、次に参照する記録データを特定し、当該特定した記録データの前記検索情報を参照し、前記検索情報に対応する前記メタデータを参照して、前記検索条件を満たす前記メタデータに対応する前記撮像データを抽出する
ことを特徴とする請求項4記載の映像音声記録装置。 - 撮像データと、メタデータと、前記メタデータが予め決められた条件を満たすかに関する検索情報とを対応付けて記録する記録部と、
検索条件を受信する要求制御部と、
前記検索条件に基づき前記検索情報の検索を行い、前記検索条件に応じた撮像データの抽出を行うデータ検索部と
を備えた映像音声記録装置。 - 前記データ検索部は、前記検索条件が前記予め決められた条件を満たす場合、前記検索情報のうち予め決められた条件を満たすことを示す検索情報に対応付けられた撮像データの抽出を行う
ことを特徴とする請求項6記載の映像音声記録装置。 - 撮像データとメタデータとを配信するカメラと、映像音声記録装置に対して検索要求を送信し、前記映像音声記録装置から受信した前記撮像データを表示する映像音声制御装置と、前記カメラから配信される撮像データとメタデータとに基づき、複数の階層構造で管理する検索用記録データを作成し、前記映像音声制御装置から入力された前記検索要求に応じた前記撮像データの抽出を行う前記映像音声記録装置とを備えた監視システムであって、
前記映像音声記録装置は、
前記撮像データと前記メタデータとを受信するデータ受信部と、
前記データ受信部が受信した前記撮像データと前記メタデータとに基づき、前記階層構造の最下位層においては、前記メタデータと前記メタデータが閾値により定められた条件を満たすかどうかに関する検索情報と前記メタデータに対応する前記撮像データとを含む記録データと、前記記録データを前記メタデータの識別単位ごとに管理するための情報を有する第1の管理テーブルとをグループ化して格納し、前記最下位層より上位の層においては、前記第1の管理テーブルの情報を連携し、前記上位の層が管理する下位のグループについて、前記メタデータが前記閾値により定められた条件を満たす記録データが格納される範囲を特定するための情報を有する第2の管理テーブルをグループ化して格納する前記検索用記録データの作成を行うデータ記録処理部
とを備えたことを特徴とする監視システム。 - 撮像データとメタデータとを配信するカメラと、映像音声記録装置に対して検索要求を送信し、前記映像音声記録装置から受信した前記撮像データを表示する映像音声制御装置と、前記カメラから配信される撮像データとメタデータとに基づき、複数の階層構造で管理する検索用記録データを作成し、前記映像音声制御装置から入力された前記検索要求に応じた前記撮像データの抽出を行う前記映像音声記録装置とを備えた監視システムであって、
前記映像音声記録装置は、
前記撮像データと前記メタデータとを受信するデータ受信部と、
前記データ受信部が受信した前記撮像データと前記メタデータとに基づき、前記階層構造の最下位層においては、前記メタデータと前記撮像データとを含む記録データをセクタ単位にグループ化して格納するデータ記録処理部
とを備えたことを特徴とする監視システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016556420A JP6203424B2 (ja) | 2014-10-29 | 2015-09-04 | 映像音声記録装置および監視システム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014-220552 | 2014-10-29 | ||
JP2014220552 | 2014-10-29 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2016067749A1 true WO2016067749A1 (ja) | 2016-05-06 |
Family
ID=55857095
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2015/075220 WO2016067749A1 (ja) | 2014-10-29 | 2015-09-04 | 映像音声記録装置および監視システム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6203424B2 (ja) |
WO (1) | WO2016067749A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108632568A (zh) * | 2017-03-17 | 2018-10-09 | 北京京东尚科信息技术有限公司 | 回看监控视频的方法、装置、电子设备和可读存储介质 |
WO2019078164A1 (ja) * | 2017-10-16 | 2019-04-25 | 日本電気株式会社 | 検索装置、端末装置、解析装置、検索方法、端末装置の動作方法、解析方法及びプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011142026A1 (ja) * | 2010-05-14 | 2011-11-17 | 株式会社日立製作所 | 時系列データ管理装置、システム、方法、およびプログラム |
JP2014059660A (ja) * | 2012-09-14 | 2014-04-03 | Canon Inc | 情報処理装置およびその方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140047210A1 (en) * | 2012-08-08 | 2014-02-13 | Lsi Corporation | Trim mechanism using multi-level mapping in a solid-state media |
-
2015
- 2015-09-04 JP JP2016556420A patent/JP6203424B2/ja active Active
- 2015-09-04 WO PCT/JP2015/075220 patent/WO2016067749A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011142026A1 (ja) * | 2010-05-14 | 2011-11-17 | 株式会社日立製作所 | 時系列データ管理装置、システム、方法、およびプログラム |
JP2014059660A (ja) * | 2012-09-14 | 2014-04-03 | Canon Inc | 情報処理装置およびその方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108632568A (zh) * | 2017-03-17 | 2018-10-09 | 北京京东尚科信息技术有限公司 | 回看监控视频的方法、装置、电子设备和可读存储介质 |
CN108632568B (zh) * | 2017-03-17 | 2021-09-17 | 北京京东尚科信息技术有限公司 | 回看监控视频的方法、装置、电子设备和可读存储介质 |
WO2019078164A1 (ja) * | 2017-10-16 | 2019-04-25 | 日本電気株式会社 | 検索装置、端末装置、解析装置、検索方法、端末装置の動作方法、解析方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6203424B2 (ja) | 2017-09-27 |
JPWO2016067749A1 (ja) | 2017-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6116168B2 (ja) | 情報処理装置およびその方法 | |
JP2009272873A (ja) | 情報処理装置、情報処理方法およびプログラム | |
US20130232178A1 (en) | Connecting storyboard system to editorial system | |
CN111095939A (zh) | 识别媒体项目的先前流传输部分以避免重复重放 | |
KR101293332B1 (ko) | 영상 파일 작성 장치 및 영상 파일 작성 방법 | |
JP2007020195A (ja) | 映像の検索方法および装置 | |
JP6203424B2 (ja) | 映像音声記録装置および監視システム | |
JP5135733B2 (ja) | 情報記録装置及び情報記録方法、並びにコンピュータ・プログラム | |
JP2006163604A (ja) | 記憶装置およびコンピュータ読取り可能な記録媒体 | |
JP4169049B2 (ja) | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム | |
JP2015073251A (ja) | 記録制御装置、記録制御方法、及び、プログラム | |
JP4333808B2 (ja) | 映像の検索方法および装置 | |
WO2014103374A1 (ja) | 情報管理装置、サーバ及び制御方法 | |
JP2007026329A (ja) | コンテンツ送受信システム | |
JP5949040B2 (ja) | ネットワークストレージ装置、および録画データ蓄積プログラム | |
JP4256401B2 (ja) | 映像情報処理装置およびデジタル情報記録媒体、映像情報処理方法、映像情報処理プログラム | |
JP7185133B2 (ja) | 情報処理装置、情報処理プログラムおよび分析方法 | |
JP4670809B2 (ja) | 記録装置、記録方法および記録プログラム | |
KR102141411B1 (ko) | 콘텐츠 기반 클린 클라우드 시스템 및 그 방법 | |
US20140189769A1 (en) | Information management device, server, and control method | |
US8837903B2 (en) | Method and apparatus for generating movie-in-short of contents | |
JP4334545B2 (ja) | 記憶装置およびコンピュータ読取り可能な記録媒体 | |
JP4021449B2 (ja) | 動画像編集方法および動画像編集装置 | |
JP2004348553A (ja) | メタデータ編集方法、装置、及びプログラム | |
JP2007265010A (ja) | ファイル再生装置およびファイル再生方法ならびにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15854556 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2016556420 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 15854556 Country of ref document: EP Kind code of ref document: A1 |