JP4099973B2 - 映像データ送信方法及び映像データ受信方法、並びに映像監視システム - Google Patents
映像データ送信方法及び映像データ受信方法、並びに映像監視システム Download PDFInfo
- Publication number
- JP4099973B2 JP4099973B2 JP2001332220A JP2001332220A JP4099973B2 JP 4099973 B2 JP4099973 B2 JP 4099973B2 JP 2001332220 A JP2001332220 A JP 2001332220A JP 2001332220 A JP2001332220 A JP 2001332220A JP 4099973 B2 JP4099973 B2 JP 4099973B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- metadata
- video data
- scene
- partial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4334—Recording operations
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19654—Details concerning communication with a camera
- G08B13/19656—Network used to communicate with a camera, e.g. WAN, LAN, Internet
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19665—Details related to the storage of video surveillance data
- G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/482—End-user interface for program selection
- H04N21/4828—End-user interface for program selection for searching program descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Description
【０００１】
【発明の属する技術分野】
本発明は、映像データの送受信を行う映像データ送信方法及び映像データ受信方法、並びに映像監視システムに関するものである。
【０００２】
【従来の技術】
侵入者監視などを目的とする映像監視システムにおいては、従来からタイム・ラプス・ＶＴＲなどが使用されている。このタイム・ラプス・ＶＴＲとは、ビデオカメラから入力された映像信号を数秒から数十秒の一定間隔で１フレームずつ記録することを数十時間連続して実行することができるものである。
【０００３】
タイム・ラプス・ＶＴＲでは、アナログビデオテープの記録可能時間の制限から、コマ送り的な映像記録を行うことによって記録時間を伸ばしている。しかしながら、記録した映像を例えば、犯罪捜査などに活用する場合には、コマ送り映像ではなく、侵入者の挙動の詳細を確認できる高いフレームレートの映像が要求される場合がある。
【０００４】
以下に示す従来例は、このような要求に応えるものである。
特開平8-77468号公報（監視装置）は、重要な事象が発生した前後の情報をリアルタイムで連続的に記録する監視装置である。
【０００５】
特開平2000-253390号公報（監視記録装置）は、画像認識による侵入者等の検出を行い、侵入者が検出されている間の画像データのみ記録を行う機能を設けた監視記録装置である。
【０００６】
特開平2000-20857号公報（監視装置）は、符号化映像データの経時的な差分成分を利用して監視映像の変化を判定し、この変化に基づいて監視映像を伝送するか否かを判定する映像伝送装置を組み込んだ映像監視システムである。
【０００７】
これらの従来例の共通項は、監視カメラを有する映像送信側システムに映像解析手段を設け、映像中に有意情報（例えば、動きのある物体）が含まれる場合に限り、映像伝送を実行するという点であり、コマ送り映像によって記録時間を延ばすのではなく、有意情報を含む映像のみを記録することによって記録時間の伸張を図っている。
【０００８】
また、特開平11-32321号公報（画像認識機能を有する監視システム）は、画像認識によって異常発生時の映像を検出し、映像の記録と同時に異常情報も記録し、この異常情報の一覧を参照することにより、異常発生時の映像を素早く検索することができるようにした監視システムである。この従来例では、映像データと共に記録した画像認識の結果（＝有意情報の有無に関する情報）を、映像検索に利用している。
【０００９】
【発明が解決しようとする課題】
先に示した従来例では、映像解析によって有意情報が検知された映像データのみを送信するものであるが、コンピュータによる映像認識処理には少なからず認識誤りが存在する。すなわち、従来例の映像監視システムでは、映像観察者が映像中の有意情報を見逃し、かつ、記録にも残らないという事態が発生する恐れがある。また、従来例では、映像データの受信処理および蓄積処理と並行して、同一映像データのデータファイルに安全に検索・再生する方法が提示されていない。
【００１０】
近年の映像記録のディジタル化と記録媒体の大容量化により、映像記録装置の録画時間に関する制約は、比較的弱くなってきており、長時間、例えば、数日分の映像データを連続記録することが可能な映像監視システムを構築することは不可能ではない。
【００１１】
しかし、映像監視システムにおいて、長時間連続送信されてくる映像データを蓄積する場合には、映像データの蓄積処理と映像データの検索・再生処理とが並行して実行できる必要があるので、映像データのファイル管理方法、アクセス方法に工夫を加える必要がある。
【００１２】
さらに、映像監視システムでは、従来例の一つとして示した映像監視装置のように、映像監視者の負担を軽減するために、映像解析によって侵入者を自動的に検知し、大容量の映像データから必要な情報を容易に検索できる仕組みも併せて必要である。
【００１３】
本発明は、複数の映像送信装置と映像データの受信、再生、蓄積を行う映像受信装置から構成される映像監視システムにおいて、映像データの長時間記録と大容量映像データの検索処理の容易化、同一映像データの蓄積処理と検索処理の並行実行、並びに、映像監視者の負担軽減を兼ね備えた映像監視システムを提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明は、外部から入力される映像データをリアルタイム送信する映像データ送信方法において、ストリームデータとして入力されてくる映像データを符号化処理する際に、所定時間毎に符号化処理の開始と終了を繰り返すことによってデータ分割処理を行い、時間的な連続性がある複数の映像データを生成し、これを部分映像データとして出力する映像符号化処理ステップと、前記部分映像データのリアルタイム送信を行う映像データ送信ステップと、前記部分映像データのメタデータを生成し、これを部分映像メタデータとして出力するメタデータ生成ステップと、前記部分映像メタデータを送信するメタデータ送信ステップとを有することを特徴とする映像データ送信方法である。
【００１５】
この発明によれば、映像データを長時間に亘り連続送信する場合に、映像データを一本のストリームデータとして送信するのではなく、全体映像データを所定時間間隔毎に区切って、複数の部分映像データしながら送信するので、受信側システムにおいては、複雑な映像データ解析を実行すること無く、長時間の映像データを容易に複数の部分映像データファイルに分割して蓄積することができ、映像データのデータファイル管理が容易になるという作用を有し、かつ、映像データの送信と平行して、部分映像データに対応した部分映像メタデータを送信するので、受信側システムにおいて、受信済みのメタデータのみを利用して、受信処理進行中である全体映像データの受信済みの部分映像データを検索することができるという作用を有する。
【００１６】
【発明の実施の形態】
本発明の請求項１記載の発明は、映像データとその映像データのメタデータを送信する分散配置された複数の映像送信装置と、前記映像送信装置から受信した映像データとメタデータをデータベースに蓄積すると共に集中監視する映像受信端末からなる映像監視システムの映像データ送信方法において、ストリームデータとして入力されてくる映像データを符号化処理する際に、所定時間毎に符号化処理の開始と終了を繰り返すことによってデータ分割処理を行い、時間的な連続性がある複数の映像データを生成し、これを部分映像データとして出力する映像符号化処理ステップと、前記部分映像データのリアルタイム送信を行う映像データ送信ステップと、前記部分映像データに関連し単独で利用可能な部分メタデータを生成し、少なくとも、前記部分映像メタデータの識別子と、時間的な連続関係がある前後の前記部分映像メタデータへのリンク情報と、前記部分映像データへのリンク情報とを含む部分映像メタデータを出力するメタデータ生成ステップと、前記部分映像メタデータを送信するメタデータ送信ステップとを有することを特徴とすることを特徴とするものである。
【００１７】
この発明によれば、映像データを長時間に亘り連続送信する場合に、映像データを一本のストリームデータとして送信するのではなく、全体映像データを所定時間間隔毎に区切って、複数の部分映像データしながら送信するので、受信側システムにおいては、複雑な映像データ解析を実行すること無く、長時間の映像データを容易に複数の部分映像データファイルに分割して蓄積することができ、映像データのデータファイル管理が容易になるという作用を有し、かつ、部分映像メタデータに記述されているリンク情報によって、部分映像メタデータ間の論理的な連続関係と、部分映像メタデータと部分映像データとの対応関係が定義されているので、受信側システムにおいて、複数の部分映像メタデータを連結して一つの全体映像メタデータを再構成し、これを全体映像データの検索処理に利用することができるという作用を有する。
【００２０】
請求項２記載の発明は、請求項１記載の映像データ送信方法において、前記メタデータ生成ステップは、全体映像メタデータの先頭に位置する前記部分映像メタデータを出力する前に、先頭の前記部分映像メタデータへのリンク情報を含むヘッダファイルを出力し、全体映像メタデータの終端に位置する前記部分映像メタデータを出力した後に、終端の前記部分映像メタデータへのリンク情報を含むフッタファイルを出力することを特徴とするものである。
【００２１】
この発明によれば、全体映像メタデータに対して、先頭の部分映像メタデータへのリンク情報を持つヘッダファイルと、終端の部分映像メタデータへのリンク情報を持つフッタファイルを付加するので、受信側システムにおいて、全体映像メタデータのヘッダファイル、もしくは、フッタファイルを起点として、順番に部分映像メタデータを辿っていくことによって全体映像メタデータを検索することができるという作用を有する。
【００２２】
請求項３記載の発明は、請求項１または請求項２に記載の映像データ送信方法において、前記映像データの映像解析を行い、所定時間毎に映像解析結果を出力する映像解析処理ステップと、所定のシーン分割条件に基づいた前記部分映像データのシーン分割処理を行い、シーン分割結果を出力するシーン分割処理ステップとを有し、前記メタデータ生成ステップは、前記部分映像メタデータを複数のシーンメタデータから構成されるものとして管理し、前記シーン分割結果に基づいて、前記部分映像データのシーン単位のメタデータを生成し、そのメタデータに前記映像解析結果を記述して、これをシーンメタデータとして出力することを特徴とするものである。
【００２３】
この発明によれば、部分映像データをシーンデータに細分化すると共に、部分映像メタデータもシーンメタデータに細分化するので、メタデータを利用した映像データ検索の利便性が向上し、所望する映像シーンを効率良く見つけ出すことができるという作用を有する。
【００２４】
請求項４記載の発明は、請求項３記載の映像データ送信方法において、前記部分映像メタデータを前記シーンメタデータに分割して扱い、少なくとも一つ以上の前記シーンメタデータをまとめて送信することを特徴とするものである。
【００２５】
この発明によれば、部分映像データに対応する部分映像メタデータが完全に生成された後に部分映像メタデータの送信を実行するのではなく、部分映像メタデータを構成する各シーンメタデータを基準単位としてメタデータ送信を実行するので、映像データの送受信処理が進行中の状態にあっても、受信側システムに受信済みの映像シーンに関しては、シーンメタデータを利用した映像データ検索を実行することができるという作用を有する。
【００２６】
請求項５記載の発明は、請求項４記載の映像データ送信方法において、前記シーン分割処理ステップは、前記シーン分割判定条件として、所定時刻間隔で出力されてくる前記映像解析結果の類似性を判定する条件を設定し、類似性が認められる映像解析結果を持ち、かつ、時間的な連続関係がある映像データ部分を一つのシーンとして判定し、前記映像解析結果に類似性が無くなった部分をシーンの境界と判定してシーン分割処理を実行することを特徴とするものである。
【００２７】
この発明によれば、単純に一定時間間隔で部分映像データのシーン分割を行い、各シーンメタデータに映像解析結果を記述するのではなく、映像解析結果に類似性がある映像データ部分を一つのシーンとしてまとめて、各シーンメタデータにそのシーンに対応する映像解析結果を記述するので、映像解析結果、すなわち、映像データの特徴量を検索キーとした映像検索処理を効率よく実行することができるという作用を有する。
【００２８】
請求項６記載の発明は、請求項４記載の映像データ送信方法において、前記映像解析処理ステップは、映像中の動物体を検出する処理を行い、検出した動物体の特徴量を含む動物体検出結果を出力し、前記シーン分割処理ステップは、前記動物体検出結果により確認可能な動物体の有無を前記シーン分割判定条件として設定し、動物体が存在しない映像データ部分と動物体が存在する映像データ部分とを分割するシーン分割処理を実行し、前記メタデータ生成ステップは、前記シーンメタデータ中に、そのシーンの動物体検出の有無を示す数値を記述することを特徴とするものである。
【００２９】
この発明によれば、単純に一定時間間隔で部分映像データのシーン分割を行い、各シーンメタデータに映像解析結果を記述するのではなく、映像中の動物体の有無を基準としてシーン分割を行い、各映像シーンに対応するシーンメタデータを生成するので、例えば、侵入者検知を目的とした映像監視システムの映像データ検索手段に応用することができるという作用を有する。
【００３０】
請求項７記載の発明は、請求項５または請求項６に記載の映像データ送信方法において、前記シーン分割処理ステップは、前回のシーン分割処理を実行してから所定時間が経過した場合には、暫定的な前記シーン分割処理結果を出力し、前記シーン分割判定条件に基づく正規のシーン分割処理が実行されるまで、暫定的なシーン分割処理結果の出力を定期的に繰り返し、前記メタデータ生成ステップは、暫定的なシーン分割処理により生成されたシーンに対応する前記シーンメタデータを暫定シーンメタデータとして、確定的なシーン分割処理により生成されたシーンに対応する前記シーンメタデータを確定シーンメタデータとして扱い、前記シーンメタデータの構成要素として、少なくとも、前記２種類のシーンメタデータを識別するための情報であるシーン確定情報と、前記全体映像データに含まれる全シーンに対して割り当てるシーケンシャル番号であるシーン番号と、シーンの記録開始日時と記録終了日時を示す記録日時情報と、前記映像解析結果とを含むことを特徴とするものである。
【００３１】
この発明によれば、長時間に亘り映像解析結果に変化が無いために一つのシーンの時間が長くなり、その結果、長時間に亘ってシーンメタデータが送信されない状態になることを回避するために、映像解析結果に変化が無い状態であっても暫定的なシーンメタデータを送信するので、受信側システムにおける、映像データのシーンメタデータ利用の即時性を向上することができるという作用を有し、また、シーンメタデータ中には、シーン確定情報とシーン番号が記述されており、暫定シーンメタデータと確定シーンメタデータとを区別可能で、かつ、両者の対応関係を把握できるデータ構造になっているので、受信側システムにおいて、シーンメタデータを連結して、部分映像メタデータを容易に再構成することができるという作用を有する。
【００４５】
請求項８記載の発明は、映像データとその映像データのメタデータを送信する分散配置された複数の映像送信装置と、前記映像送信装置から受信した映像データとメタデータをデータベースに蓄積すると共に集中監視する映像受信端末からなる映像監視システムにおいて、
コンピュータを、ストリームデータとして入力されてくる映像データを符号化処理する際に、所定時間毎に符号化処理の開始と終了を繰り返すことによってデータ分割処理を行い、時間的な連続性がある複数の部分映像データを生成し、これを部分映像データとして出力する映像符号化処理ステップと、前記部分映像データのリアルタイム送信を行う映像データ送信ステップと、前記部分映像データに関連し単独で利用可能な部分メタデータを生成し、少なくとも、前記部分映像メタデータの識別子と、時間的な連続関係がある前後の前記部分映像メタデータへのリンク情報と、前記部分映像データへのリンク情報とを含む部分映像メタデータを出力するメタデータ生成ステップと、前記部分映像メタデータを送信するメタデータ送信ステップとを実行させ、前記映像送信装置として機能させることを特徴とするものである。
【００４６】
この発明によれば、請求項１乃至請求項７のいずれかに記載の発明と同様の作用を有する。
【００６３】
以下、本発明の実施の形態について、図を用いて説明する。
【００６４】
（実施の形態１）
図１は、本発明の実施の形態１における映像監視システムのシステム構成図である。
【００６５】
図１の１０１は映像送信装置、１０２は映像受信装置、１０３は、映像送信装置１０１と映像受信装置１０２とを接続する通信ネットワークである。なお、図１においては、３台の映像送信装置１０１に対して１０１ａ〜１０１ｃと表記している。
【００６６】
映像送信装置１０１は、ビデオカメラから取得した映像データをストリームデータとして映像受信装置１０２へリアルタイム送信する映像送信装置であり、映像データ送信と同時に、映像データのメタデータも送信することができる。
【００６７】
映像送信装置１０１は、ハードウェアのみで構成される監視カメラであってもよいし、あるいは、ソフトウェアプログラムの実行環境、映像データの入力手段、映像データ送信手段などを有するパーソナルコンピュータやＰＤＡ（Personal Digital Assistant）、携帯電話などの任意の端末でよい。
【００６８】
映像受信装置１０２は、複数の映像送信装置１０１からリアルタイム送信されてくる映像ストリーム、および、その映像データのメタデータを受信し、それらのデータを蓄積する映像受信装置であり、受信中の映像データを再生表示する機能や、蓄積されたメタデータを利用して映像データを検索する機能を併せ持つ。
【００６９】
映像受信装置１０２は、ハードウェアのみで構成される装置であってもよいし、あるいは、ソフトウェアプログラムの実行環境、映像データを再生表示する手段、映像データを管理するデータベースなどから構成されるコンピュータシステムでも構わない。
【００７０】
通信ネットワーク１０３は、少なくとも１台以上の映像送信装置１０１と映像受信装置１０２を接続するネットワークであり、映像送信装置１０１と映像受信装置１０２との間で相互通信可能であれば、ＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）、無線ネットワーク、あるいは、それらを複合したネットワークなど、任意のネットワークで構わない。
【００７１】
図１の映像監視システムの動作を説明する。
映像送信装置１０１は、ビデオカメラから入力した映像データを映像受信装置１０２へリアルタイム送信する。映像送信装置１０１が出力する映像データは、ＭＰＥＧ４やＨ.２６３などの任意の符号化方式によって符号化され、データ欠落が発生しない通信経路、すなわち、ネットワークリソースが確保された通信経路を利用して送信される。もちろん、映像送信にデータ欠落が発生する通信経路を利用しても構わないが、データ欠落に対する何らかの対処が必要である。
【００７２】
また、映像送信装置１０１は、映像データ解析を行う手段を有し、映像データ中の有意情報の検出処理と映像データのシーン分割処理を実行し、これらのデータ解析結果を基にしてシーン単位のメタデータを生成し、これを映像受信装置１０２に送信する。このメタデータの送信は、緩い同期をとりながら映像データの送信と並行して実行される。
【００７３】
映像受信装置１０２は、映像送信装置１０１が送信してくる映像データを受信し、受信した映像データのリアルタイム再生処理とデータベースへの蓄積処理を行う。映像受信装置１０２のユーザ、すなわち、映像監視者は、複数の映像送信装置１０１から送信されてくる映像データ中に、有意情報が含まれているか否かを監視する。
【００７４】
映像受信装置１０２は、メタデータ解析処理によって、有意情報を含む映像データ領域を映像監視者に対して通知する機能を有し、映像監視者の負担を軽減することができる。また、データベースに蓄積されているメタデータを利用することによって、映像シーンを即座に検索することも可能である。
【００７５】
ここで、「有意情報」、「シーン分割」、［メタデータ］について説明を加える。
【００７６】
「有意情報」とは、映像受信装置１０２の映像監視者が検知することを求めている情報を指し、例えば、映像データにおいて、平時には存在していないはずの物体が存在している映像データ部分を「有意情報を含む映像データ領域」と呼ぶ。
【００７７】
「シーン分割」とは、時間的に連続する映像データを何らかの判断基準に従って複数の映像データ領域に分割する処理を指し、例えば、動物体が存在する部分と動物体が存在しない部分に映像データを領域分割する処理がこれに相当する。また、単純に基準単位時間ごとに映像データを分割する処理も「シーン分割」である。
【００７８】
「メタデータ」とは、一般にデータのデータを意味し、ここでは、映像データに付随する各種情報やデータ解析結果を記述したデータ指す。また、「メタデータ」は、「映像データ」とは分離独立したデータである。本実施の形態においては、ＸＭＬ（eXtensible Markup Language）に類するデータ記述言語やＭＰＥＧ７のようなマルチメディアコンテンツ記述仕様に従って、映像データのファイル名（識別子）、符号化方式の種別、画像サイズ、録画開始時刻、録画終了時刻、各シーンの開始時刻と終了時刻、シーン中の動物体の有無、映像データファイル間のリンク関係などをメタデータとして記述する。
【００７９】
次に、映像送信装置１０１が送信する映像データのフォーマットについて説明する。
映像送信装置１０１は、映像受信装置１０２へ長時間に亘り映像データを連続送信する。一方、映像受信装置１０２は、映像送信装置１０１が送信してくる映像データを受信し、これを蓄積する。ここで、「長時間」とは数時間から数日、あるいは、映像送信装置１０１が起動されてから停止されるまでの期間という時間を想定している。
【００８０】
この時、送受信する映像データを単純な一本のストリームデータとして扱ってしまうと、映像受信装置１０２に蓄積される映像データファイルは、ファイルがオープンされたまま、長時間に亘ってデータ書き込み処理が継続し、データサイズが増大し続けるファイルになってしまう。この様な映像データファイルは、データ管理の上で扱いにくく、検索、再生、複製などのデータ処理方法が問題となる。
【００８１】
この問題を回避する一つの方法としては、映像受信装置１０２において適度なデータサイズに分割しながら映像データを蓄積する方法を挙げるころができる。しかし、任意の符号化方式で符号化された映像データを対象とする場合には、ファイル分割方法が符号化方式に依存することになるので、映像受信装置１０２の内部構成が複雑になってしまうという問題が発生する。
【００８２】
そこで、映像送信装置１０１は、映像データを単純に連続送信するのではなく、映像データに階層構造を与え、適度な時間間隔毎に映像データを区切りながら送信するものとする。本実施の形態の映像監視システムにおいては、映像データの階層構造は、「全体映像データ」、「部分映像データ」、「シーンデータ」の３階層とする。
【００８３】
図１０は、全体映像データと部分映像データ、シーンデータの関係を図示したものである。
【００８４】
「全体映像データ」とは、１台の映像送信装置１０１が連続送信する映像データ全体を指す。これに対し、「部分映像データ」は、適当な長さで分割された全体映像データの一部である。個々の部分映像データは、単独で復号再生可能な独立した映像データでもある。言い換えると、全体映像データは、時間的な連続性がある複数の部分映像データファイルから構成される。例えば、映像送信装置１０１が、月曜日から金曜日まで連続稼動し、土曜日と日曜日は停止され、稼動中は、１時間毎に映像データの分割処理を行う（映像符号化処理の開始、終了を繰り返す）場合は、月曜日から金曜日の一連の映像データが「全体映像データ」であり、１時間毎に区切った映像データが「部分映像データ」である。
【００８５】
この様に、映像送信装置１０１は、全体映像データを部分映像データに区切りながら送信するので、映像受信装置１０２は、受信した映像データを一つの映像データファイルとして蓄積するのではなく、時間的な連続性のある複数個の映像データファイルとして蓄積することができる。
【００８６】
なお、これ以降、あえて「全体映像データ」と「部分映像データ」を特に区別する必要が無い場合は、両者を単に「映像データ」と呼ぶこととする。
次に「シーンデータ」について説明する。
【００８７】
前述のように、映像送信装置１０１は映像データ解析を行う手段を有しており、映像データのシーン分割処理を行う。すなわち、第２階層の部分映像データは、さらにシーンデータに分割される。ただし、各シーンデータは、個別のデータファイルとして分離独立したデータではなく、部分映像データの論理的なセグメントを意味する。また、部分映像データ自身には、シーンデータに関する情報は含まれておらず、部分映像データのシーン構造に関する情報は、部分映像データのメタデータに記述される。
【００８８】
これ以降、「部分映像データのメタデータ」のことを「部分映像メタデータ」と呼ぶ。また、部分映像データがメタデータを有するのと同様に、全体映像データもメタデータを有するので、「全体映像メタデータのメタデータ」を「全体映像メタデータ」と呼ぶ。
【００８９】
図１１は、全体映像メタデータと部分映像メタデータ、部分映像データの関係を図示したものである。
【００９０】
一つの部分映像データは、必ず一つの部分映像メタデータを有し、部分映像メタデータには、部分映像データとのリンク関係が記述されている。一方、全体映像メタデータは、時間的な連続性がある、複数の部分映像メタデータから構成され、個々の部分映像メタデータには、前後の部分映像メタデータとのリンク関係が記述されている。
【００９１】
具体的には、部分映像メタデータは、その記述要素の一つとして、前の部分映像メタデータのファイル名（＝データ所在を特定するためのアドレス情報）と、後の部分映像メタデータのファイル名を持っている。
【００９２】
この様なデータ構造にすれば、データファイルとして分離独立している部分映像メタデータの時間的な連続関係を維持できるので、「部分映像メタデータの集合体」が「全体映像メタデータ」としても機能し、かつ、「部分映像データ」と「部分映像メタデータ」の対応も取りやすく、映像受信装置１０２におけるデータファイル管理が容易になる。
【００９３】
しかし、部分映像メタデータの中に、前後の部分映像メタデータのファイル名を記述するには、映像送信装置１０１において事前に部分映像メタデータのファイル名を決定しなければならない。そこで、映像送信装置１０１は、メタデータ生成時に、部分映像メタデータのファイル名を定め、部分映像メタデータの記述要素の中に、その部分映像メタデータ自身のファイル名も記述する。すなわち、部分映像メタデータには、自分自身と前後の、合計３種類の部分映像メタデータファイル名が記述される。
【００９４】
従って、映像受信装置１０２は、受信した部分映像メタデータの中に記述されているファイル名を確認し、そのファイル名でデータファイルをオープンして、部分映像メタデータを書き込むことになる。
【００９５】
整理すると、部分映像メタデータは、その記述要素として、前の部分映像メタデータのファイル名と、後の部分映像メタデータのファイル名と、自分自身の部分映像メタデータのファイル名と、自分自身の対応する部分映像データのファイル名とを有している。
【００９６】
ここで、映像受信装置１０２に蓄積された映像データを検索する場合のことを考えてみる。
【００９７】
映像受信装置１０２には、複数の映像送信装置１０１から受信した全ての全体映像データが蓄積されており、各々の全体映像データは、複数の部分映像データファイルに分割されている。同様に、全体映像メタデータも、複数の部分映像メタデータファイルに分割されている。
【００９８】
映像データ検索を行う際には、まず、メタデータを検索することになるが、大量にある部分映像メタデータにランダムにアクセスして、検索条件に合致する部分映像メタデータを見つけ出すのでは非常に効率が悪い。そこで、検索条件を満たす全体映像メタデータを絞り込み、その後に、抽出された全体映像メタデータに属する部分映像メタデータのみを検索できるようにするため、全体映像メタデータにヘッダファイルとフッタファイルを追加することとした。
【００９９】
全体映像メタデータのヘッダファイルは、部分映像メタデータファイルとは分離独立したファイルであり、少なくとも全体映像メタデータの先頭に位置する部分映像メタデータのファイル名が記述されている。同様に、全体映像メタデータのフッタファイルは、部分映像メタデータファイルとは分離独立したファイルであり、少なくとも全体映像メタデータの終端に位置する部分映像データのファイル名が記述されている。
【０１００】
また、本実施の形態においては、全体映像メタデータのヘッダファイルは、フッタファイルへのリンク情報を持ち、全体映像メタデータのフッタファイルは、ヘッダファイルへのリンク情報を持つこととした。これは、部分映像メタデータファイル群を循環リスト構造にするためのものである。
【０１０１】
一方、全体映像メタデータの先頭の部分映像メタデータは、ヘッダファイルへのリンク情報を持たず、全体映像メタデータの終端の部分映像メタデータは、フッタファイルへのリンク情報を持たない。この理由は、ヘッダ/フッタファイルは、全体映像メタデータに属するものであり、個々の部分映像メタデータファイルとは階層が異なるデータであると定義しているためである。
【０１０２】
前述のように、映像受信装置１０２は、大量の映像データファイル、および、そのメタデータファイルを蓄積する。この様な大量のデータファイルを管理するシステムでは、ファイル名の命名規則が重要である。
【０１０３】
図１２は、部分映像データおよび部分映像メタデータのファイル名の命名規則の一例を示したものである。
【０１０４】
この例では、ファイル名は、映像データ送信元の映像送信端末１０１を識別する固体識別番号と、全体映像データの識別番号、部分映像データの識別番号（＝シーケンス番号）から構成され、部分映像データファイルと部分映像メタデータファイル、および、そのヘッダ/フッタファイルとでは異なる拡張子を与えている。このように、全体映像メタデータのヘッダ/フッタファイルには、部分映像メタデータファイルとは容易に区別できるファイル名を付けるものとする。
【０１０５】
次に、図１３〜図１５を用いて、メタデータのフォーマットについて説明する。
【０１０６】
図１３は、部分映像メタデータの記述例である。
この部分映像メタデータは、XMLに類する架空のデータ記述言語で記述したものであり、「リンク情報」、「先頭パラメータ」、「シーンメタデータ」、「終端パラメータ」から構成されている。
【０１０７】
リンク情報には、関連データファイルのファイル名、すなわち、前の部分映像メタデータのファイル名、自分自身の部分映像メタデータのファイル名、後の部分映像メタデータのファイル名、そして、部分映像データのファイル名が記述する。
【０１０８】
先頭パラメータ、および、終端パラメータには、部分映像データの記録日時やシーン番号などの情報を記述する。
【０１０９】
シーンメタデータには、そのシーンに関連する各種情報、例えば、シーン番号、シーン確定情報（詳細は後述）、シーン中のフレーム数、記録日時、映像解析結果などを含む。また、シーンメタデータは、分割されたシーンの個数分だけ部分映像メタデータの中に含まれている。
【０１１０】
このような部分映像メタデータは、映像送信装置１０１において生成され、映像受信装置１０２へ送信される。
【０１１１】
映像送信装置１０１は、部分映像メタデータの送信に先立ち、全体映像メタデータのヘッダファイルを生成し、これを映像受信装置１０２へ送信する。また、映像送信装置１０１は、全体映像メタデータを構成する全ての部分映像メタデータを送信し終わった後、これに引き続いて、全体映像メタデータのフッタファイルを生成し、これを映像受信装置１０２へ送信する。
【０１１２】
図１４は、全体映像メタデータのヘッダファイルの記述例であり、図１５は、全体映像メタデータのフッタファイルの記述例である。
【０１１３】
これらのヘッダ/フッタファイルは、部分映像メタデータと同様に、XMLに類する架空のデータ記述言語で記述され、関連データファイルへのリンク情報と、全体映像データに共通する各種情報、例えば、記録日時や映像を撮影した端末の識別子、映像符号化方式の種別、画像サイズ、フレームレート(fps)やビットレート(bps)などが記述される。
【０１１４】
ここで、部分映像メタデータの送信方法について補足する。
前述のように、映像送信装置１０１は、単純に映像データを送信するのではなく、映像データを複数の部分映像データに分割し、映像受信装置１０２へ部分映像データと部分映像メタデータを送信する。また、映像送信装置１０１は、部分映像データを複数のシーンに分割し、部分映像メタデータの中に、部分映像のシーン分割に関する情報を記述する。
【０１１５】
部分映像データは、リアルタイム送受信可能なストリームデータであるのに対し、部分映像メタデータは、図１３の例のようなテキストファイルである。
【０１１６】
一つの部分映像データの記録時間は任意である。例えば、全体映像データの記録時間が２４時間であり、部分映像データの記録時間が１時間であるとすると、映像受信装置１０２では、部分映像データの受信を開始してから１時間が経過しないと、その部分映像データのメタデータを利用することができない。
【０１１７】
すなわち、映像送信装置１０１において、完全な部分映像メタデータファイルを生成し、これを映像受信装置１０２へ送信する場合には、映像受信装置１０２では、部分映像データの受信が完了するまで、部分映像メタデータを参照することができない。
【０１１８】
しかしながら、映像監視システムはリアルタイム性が重要であり、送受信中の部分映像データについてもメタデータを利用できることが望ましい。そこで、映像送信装置１０１は、部分映像メタデータを一つのデータファイルとして送信するのではなく、部分映像メタデータをシーンメタデータ単位に分割して送信する。
映像送信装置１０１が、図１３に示す部分映像メタデータを送信する手順を示す。
【０１１９】
（１）部分映像データの送信に先立って、部分映像メタデータのリンク情報と先頭パラメータを送信する。
【０１２０】
（２）部分映像データの送信と並行して、部分映像データのシーン分割処理を実行する。
【０１２１】
（３）シーン分割結果が出力される度にシーンメタデータを生成し、シーンメタデータを送信する。
【０１２２】
（４）部分映像データの終端に達したら、終端パラメータを送信する。
【０１２３】
すなわち、映像送信装置１０１は、映像データのシーン分割処理に同期して、シーンメタデータを生成し、これを映像受信装置１０２へ送信する。一方、映像受信装置１０２は、映像送信装置１０１から送信されてくるリンク情報、先頭パラメータ、複数のシーンメタデータ、終端パラメータを連結して、部分映像メタデータを生成し、これを一つのデータファイルとして蓄積する。
【０１２４】
次に、シーンメタデータに含まれる「シーン確定情報」について説明する。シーンメタデータの「シーン確定情報」とは、そのシーンメタデータが暫定的なものであるか、確定的なものであるかを示す情報である。
【０１２５】
映像送信装置１０１は、映像解析に基づいて部分映像データのシーン分割を実行するが、長時間に亘り映像データに変化が無いと一つのシーンの時間が長くなる。場合によっては、部分映像データが複数のシーンに分割されず、ただ一つのシーンしか持たない場合もあり得る。このような状況になると、映像送信装置１０１がシーンメタデータを送信する時間間隔が長くなり、映像受信装置１０２におけるメタデータ検索の利便性が低下する。
【０１２６】
そこで、映像送信装置１０１は、映像解析によるシーン分割の結果に関わらず、定期的に暫定的なシーン分割を行い、映像受信装置１０２へシーンメタデータを送信するようにする。
【０１２７】
これ以降、シーン分割が暫定的なシーンメタデータを「暫定シーンメタデータ」と呼び、シーン分割が確定的なシーンメタデータを「確定シーンメタデータ」と呼ぶことにする。
【０１２８】
映像送信装置１０１は、シーン分割が確定していない状態でシーンメタデータを送信する際には、シーンメタデータ中のシーン確定情報に暫定シーンメタデータであることを記述した上で、映像受信装置１０２へシーンメタデータを送信する。その後、シーン分割が確定したら、映像送信装置１０１は、改めてシーン分割が確定したシーンメタデータを映像受信装置１０２へ送信する。
【０１２９】
図１６は、暫定シーンメタデータと確定シーンメタデータの一例を示したものである。
【０１３０】
ここでは、映像送信装置１０１は、映像解析による動物体検出を行い、検出したシーン中の動物体の個数と、シーン番号、シーン確定情報をシーンデータ中に記録するものとする。
【０１３１】
まず、映像送信装置１０１は、映像解析によるシーン分割判定が進行中である映像部分のシーンメタデータ、すなわち、暫定シーンメタデータを送信する。
図１６（Ａ）が暫定シーンメタデータの例である。この例では、「シーン番号」は"100"、「シーン確定情報」は"暫定"、「動物体個数」は"0"である。また、シーンメタデータ中の「記録終了日時の時刻」は暫定的な値であり、"15:02:30"である。
【０１３２】
映像解析処理が進み、映像中に動物体が検出されると、映像送信装置１０１は動物体を検出した部分を境界にしてシーン分割を実行する。ここでは、映像中に動物体が１個検出され、動物体個数が"0"であるシーン（＝確定シーン）と動物体個数が"1"であるシーン（暫定シーン）に分割されるものとする。
【０１３３】
まず、映像送信装置１０１は、動物体個数が"0"であるシーンに関して、図１６（Ｂ）のような確定シーンメタデータを生成し、これを映像受信装置１０２へ送信する。この確定シーンメタデータは、「シーン番号」は"100"、「シーン確定情報」は"確定"、「記録終了日時の時刻」は"15:05:00"、「動物体個数」は"0"である。
【０１３４】
これに引き続き、映像送信装置１０１は、図１６（Ｂ）の確定シーンの後の映像データ部分、すなわち、まだ終端が確定していない映像データ部分に関して、図１６（Ｃ）のような暫定シーンメタデータを生成し、これを映像受信装置１０２へ送信する。この暫定シーンメタデータは、直前に送信したシーン番号が"100"の確定シーンメタデータに連続するものであり、「シーン番号」は"101"、「シーン確定情報」は"暫定"、「動物体個数」は"1"である。
【０１３５】
さらに、映像送信装置１０１におけるシーン分割処理が進むと、図１６（Ｃ）の暫定シーンメタデータに対応する暫定シーンも、シーン終端が確定して、確定シーンとなる。
【０１３６】
図１７は、映像受信装置１０２における部分映像メタデータの生成過程を示したものである。
【０１３７】
映像受信装置１０２は、受信したシーンメタデータを結合することによって部分映像メタデータを生成するが、その際に、暫定シーンメタデータと確定シーンメタデータを区別する。
【０１３８】
すなわち、暫定シーンメタデータは、あくまで暫定的なシーンメタデータであるので、図１７に示すように、映像受信装置１０２は、受信済みの暫定シーンメタデータと同じシーン番号を持つ確定シーンメタデータを受信したら、暫定シーンメタデータを破棄した後に、新たに受信した確定シーンメタデータを部分映像メタデータに追加する。
【０１３９】
このように、本実施の形態の映像監視システムは、映像送信装置１０１では、シーン分割が未確定な状態にあっても所定時間毎に暫定シーンメタデータを送信し、シーン分割確定後に、改めて確定シーンメタデータを送信する処理を繰り返し、送信受信装置１０２では、受信したシーンメタデータを連結して部分映像メタデータを生成する際に、暫定シーンメタデータを確定シーンメタデータに適宜、置き換えていくというメタデータ送受信処理を行う。
【０１４０】
メタデータ送受信処理への確定/暫定シーンメタデータの導入は、リアルタイム送受信中である映像データの受信済みデータ部分の検索可能範囲を広げ、映像受信装置１０２における映像データ検索の利便性、リアルタイム性の向上という効果をもたらす。
【０１４１】
次に、映像受信装置１０２における映像データ検索について説明する。
図１８は、映像受信装置１０２における映像データ検索時のファイル参照方法を示したものである。
【０１４２】
ここでは、ある特定の映像送信装置１０１から受信した映像データについて、ある特定の時刻範囲に記録された映像データを再生すると仮定する。この場合、まず、映像受信装置１０２に蓄積されている全体映像データヘッダファイルを検索し（図１８の(1)）、検索対象の全体映像データを特定する。
【０１４３】
このヘッダファイル検索では、メタデータ中の端末固体番号と記録開始時刻を参照する（記録終了時刻はフッタファイルを参照）。部分映像メタデータのヘッダファイルが特定されたら、その中に記述されている最初の部分映像メタデータのファイル名を基点として、部分映像メタデータファイルを辿っていき、検索対象の時刻範囲を含む部分映像メタデータを特定する（図１８の(2)）。
そして、選択した部分映像メタデータに記述されている部分映像データのファイル名を取得し、そのファイル名が示す部分映像データファイルにアクセスする（図１８の(3)）。
【０１４４】
この様な検索手順を踏むと、複数ファイルに分割されている時間的な連続性のある映像データファイル群から、所望のシーンを含む部分映像データファイルを効率よく検索することができる。
【０１４５】
次に、映像送信装置１０１と映像受信装置１０２の構成、および、動作の詳細を示す。
【０１４６】
図２は、映像送信装置１０１のブロック構成図である。
図２の各部について順に説明する。
図２において、２０１は映像データを取得するビデオカメラ、２０２はビデオカメラ２０１において取得した映像データを画像メモリに保持する映像データ入力部、２０３は映像データ入力部２０２から取得した映像データを符号化する映像符号化部であり、符号化した映像データ、および、符号化処理時の各種パラメータを出力する。２０４は、映像符号化部２０３において符号化した映像データを送信する映像データ送信部であり、符号化映像データのビットストリームを適切なサイズに分割し、これにデータ送信用ヘッダを付加したパケットデータを出力する。２０５は、映像データ入力部２０２に保持されている映像データに対して任意のデータ解析処理を行い、データ解析結果を外部へ出力する映像データ解析部、２０６は映像データ解析部２０５が出力するデータ解析結果をメタデータに整形するメタデータ生成部、２０７はメタデータ生成部２０６において生成されたメタデータを送信するメタデータ送信部であり、メタデータを適切なサイズに分割し、これにデータ送信用ヘッダを付加したパケットデータを出力する。２０８は、映像データ送信部２０４、および、メタデータ送信部２０７が出力するパケットデータや、通信制御用パケットデータをネットワークに送出する通信部、２０９は映像データ受信装置１０２との間の通信制御を行う通信制御部であり、通信制御のほかに、映像送信装置１０１内の各部（２０１〜２０８）の制御や、映像符号化処理の各種パラメータ設定も実行する。映像送信装置１０１は、前述のように、専用のハードウェアであっても良いし、パーソナルコンピュータと周辺機器から構成され、一部の処理をソフトウェアプログラムで実現したものであっても良い。
【０１４７】
例えば、図２の２１０の部分（２０４〜２０７に相当する機能）をソフトウェアプログラムとして実装し、映像送信装置１０１の有するハードウェア資源（例：ＣＰＵ、メモリ）を用いて、映像送信処理を実行するものとして良い。さらには、映像符号化部２０３や通信制御部２０９も、ソフトウェアプログラムとして実装するものとしても構わない。
【０１４８】
次に、映像送信装置１０１の動作を、映像データ送信処理とメタデータ生成処理、および、メタデータ送信処理とに分けて説明する。図４は、映像送信装置１０１における映像データ送信処理手順の一例を示すフローチャートである。
【０１４９】
このフローチャートは、映像送信装置１０１が映像データをビデオカメラから入力し、その映像データをネットワーク経由で映像受信装置１０２へ送信するまでの処理の流れを示したものである。
【０１５０】
ステップＳ４０１は、映像データの先頭判定処理である。映像送信装置１０１は、ビデオカメラから入力した映像データを符号化し、符号化映像データを長時間に亘り連続送信する。ただし、映像送信装置１０１は、一本のストリームデータとして映像データを送信するのではなく、適度に区切りながら映像データを送信する。すなわち、映像送信装置１０１は、所定時間毎に符号化処理の開始/終了を繰り返しながら映像データストリームを送信する。当ステップでは、分割された映像データの先頭であるか否かを判定し、映像データの先頭である場合は次のステップＳ４０２へ移行し、映像データの先頭ではない場合は、ステップＳ４０２をスキップして、ステップＳ４０３へ移行する。
【０１５１】
ステップＳ４０２は、映像データ先頭処理であり、映像データの符号化処理に関わる初期化処理を行う。また、当ステップでは、全体映像メタデータのヘッダファイルの出力修理も行う。
【０１５２】
全体映像メタデータのヘッダファイルには、図１４のように、部分映像データへのリンク情報や、映像データを撮像した映像送信装置１０１を特定する端末固体識別子、画像サイズ、符号化方式の種別、記録開始日時などを記述する。
【０１５３】
全体映像メタデータのヘッダファイルは、メタデータ生成部２０６において生成され、メタデータ送信部２０７および通信部２０８を経由して、映像受信装置１０２へ送信される。ただし、このヘッダファイル出力は、当ステップにおいて毎回実行するのではなく、全体映像データの先頭の部分映像データを送信する直前に限り実行される。
【０１５４】
ステップＳ４０３は、映像データ入力処理であり、ビデオカメラ２０１から映像データ入力部２０２へ所定のフレームレートで映像データを入力する。映像データ入力部２０２は、ダブルバッファ形式の画像メモリを有しており、画像メモリに取り込まれた画像データは、映像符号化部２０３や映像データ解析部２０５がアクセスすることができる。
【０１５５】
ステップＳ４０４は、映像データの符号化処理であり、映像符号化部２０３が映像データ入力部２０２に保持されている画像データを取得し、その画像データに対して符号化処理を行う。映像データの符号化方式は、ＭＰＥＧ４やＨ．２６３などの任意の符号化方式で構わない。
【０１５６】
ステップＳ４０５は、符号化情報出力処理であり、ステップＳ４０４の符号化処理実行時の各種符号化パラメータを映像データ解析部２０５へ出力する。
ここで、各種符号化パラメータは、１フレームの画像データのデータ長や、符号化処理を実行した時刻、符号化処理の中間情報（例：ＭＰＥＧ４のＤＣＴ係数や動きベクトル情報）など、符号化処理に関わる任意の情報を指す。
【０１５７】
これらの情報を映像データ解析部２０５へ出力するのは、映像データ解析部で２０５において、映像符号化部２０３で実行される処理と類似するデータ解析を実行することを回避するためである。ただし、当ステップは必須の処理ではなく、映像データ解析に有用な情報を出力可能な場合に限り実行すればよい。
【０１５８】
ステップＳ４０６は、符号化データ出力処理であり、映像符号化部２０３において符号化した映像データを、映像データ送信部２０４を介して通信部２０８へ出力し、映像受信装置１０２へ送信する。
【０１５９】
映像送信装置１０１は、前述のように、部分映像データの先頭や終端を意識せずに、一本の連続した映像データであるかのように送信するが、映像データの送信に使用する通信チャネルは同一のものを使用する。すなわち、映像データの分割処理の度に、ネットワークリソースの再確保や、映像送信装置１０１と映像受信装置１０２との間のネゴシエーションの再実行を行わず、部分映像データを連続送信する。
【０１６０】
ステップＳ４０７は、映像符号化部２０３において実行される映像データの終端判定処理である。当ステップでは、所定条件に基づいて、部分映像データの終端処理、すなわち、映像データの分割処理を実行するか否かを判定する。例えば、一定時間毎に映像データの分割処理を実行し、映像解析部２０５が出力する映像データ解析結果が大きく変化した場合には、映像データの分割処理を実行すると判定し、映像データ解析結果に変化が見られない場合には、映像データの分割処理を実行しないと判定する。
【０１６１】
ステップＳ４０７において、映像データの終端処理を実行すると判定した場合は、次のステップＳ４０８へ移行し、映像データの終端処理を実行しないと判定した場合は、ステップＳ４０８をスキップして、ステップＳ４０９へ移行する。
【０１６２】
ステップＳ４０８は、映像データの終端処理であり、映像データの符号化処理の終了処理を行う。当ステップにおいて、一度、映像データの符号化処理を終了させるのは、次のフレームから改めて映像データの符号化処理を開始するためである。すなわち、当ステップの処理は、時間的に連続した映像データを複数の部分映像データファイルに分割する処理である。また、当ステップにおいては、全体映像メタデータのフッタファイルの出力処理も行う。
【０１６３】
全体映像メタデータのフッタファイルには、図１５のように、全体映像データの終端に位置する部分映像データへのリンク情報や、記録終了時刻などを記述する。ただし、このフッタファイル出力は、当ステップにおいて毎回実行するのではなく、全体映像データの終端の部分映像データを送信した直後に限り実行される。
【０１６４】
ステップＳ４０９は、終了判定処理であり、所定の終了条件を満たすか否かを判定し、終了条件を満たさない場合には、ステップＳ４０１へ戻って一連の処理を繰り返し、終了条件を満たす場合には、映像データ送信処理を終了する。ここで、終了条件を満たす場合とは、映像データの送信を中断する、あるいは、映像送信装置１０１を停止することに相当する。
【０１６５】
以上のように、ステップＳ４０１からステップＳ４０９の一連の手順により、映像送信装置１０１から映像受信装置１０２への映像データの送信処理が実行される。
【０１６６】
図５は、映像送信装置１０１におけるシーンメタデータ生成処理手順の一例を示すフローチャートである。このフローチャートでは、図１の映像データ入力部２０２に保持されているフレーム画像データのデータ解析処理を行い、そのデータ解析結果と映像符号化部２０３が出力する符号化情報を基にしてシーンメタデータを生成する処理の流れを示している。
【０１６７】
ステップＳ５０１は、映像データ解析部２０５において実行される、映像データのパラメータ取得処理であり、映像データ入力部２０２や通信制御部２０９から映像データに関する各種パラメータを取得する。取得パラメータの例は、画像サイズ（幅、高さ）や映像送信装置１０１の固体識別子などである。
【０１６８】
ステップＳ５０２は、映像データ解析部２０５において実行される符号化情報取得処理である。ここで、符号化情報とは、図４のステップＳ４０５において出力される情報であり、具体的には、符号化方式の種別、１フレームの符号量、あるいは、符号化処理の中間データの値など、映像符号化処理に関わる各種パラメータである。
【０１６９】
なお、符号化処理の中間データとは、符号化方式がＭＰＥＧ４やＨ.２６３などの場合、各マクロブロックの動きベクトル量やＤＣＴ（離散コサイン変換）の直流線分の値など、映像符号化部２０３より取得可能であり、かつ、映像データ解析部２０５において有効利用できる情報のことを指す。
【０１７０】
ステップＳ５０３は、映像データ入力処理であり、映像データ解析部２０５が、映像データ入力部２０２に保持されているフレーム画像データを取得する。なお、映像データ入力部２０２のフレーム画像データに適宜アクセスしながら、映像データ解析を実行できる場合には、当ステップは省略してもよい。
【０１７１】
ステップＳ５０４は、映像データ解析部２０５において実行される映像データ解析処理であり、ステップＳ５０３で取得したフレーム画像データのデータ解析を行う。
【０１７２】
この映像データ解析処理は、メタデータとして記述する任意情報を算出する処理であり、例えば、映像データ中に動物体が存在するか否かを示す値、映像データ中に存在する動物体の個数、映像データ中に存在する動物体の面積（＝フレーム画像データの全画素に対する動物体領域の画素の割合）や、映像データの明るさを示す値などを算出する。
【０１７３】
なお、当ステップの映像データ解析においては、ステップＳ５０２において取得される符号化情報を利用してもよい。当ステップにおいて、ステップＳ５０２で取得される符号化情報を映像データ解析処理に利用しない場合には、ステップＳ５０２は省略することができる。逆に、ステップＳ５０２において取得される符号化情報が、そのまま映像データ解析結果として使用できる場合には、ステップＳ５０３、および、ステップＳ５０４は省略することができる。
【０１７４】
ステップＳ５０５は、映像データ解析部２０５において実行される暫定シーン情報更新処理である。暫定シーン情報とは、ステップＳ５０４において取得したデータ解析結果を蓄積した情報である。すなわち、ステップＳ５０５では、シーン分割が確定していないフレーム画像データのデータ解析結果を保持し、これを更新していく。
【０１７５】
ステップＳ５０６は、映像解析部２０５において実行されるシーン分割判定処理である。当ステップでは、ステップＳ５０５で取得した暫定シーン情報を所定のシーン分割判定基準に照らし合わせ、シーン分割を実行するか否かを判定する。
例えば、データ解析結果の変動量やデータ解析結果の連続性などに関するシーン分割判定基準を設定し、時間的に連続しており、かつ、データ解析結果に共通項が存在する複数のフレーム画像データを一つのシーンとして判定する。
【０１７６】
具体例としては、映像データ中の動物体の有無をシーン分割判定基準として採用し、映像データ中の動物体の有無が変化した部分をシーンの境界として定める。このようなシーン分割判定を行うと、映像中に動物体が存在しない部分と動物体が存在する部分が別々のシーンとして分割されることになる。
【０１７７】
ステップＳ５０６において、シーン分割を実行すると判定した場合には次のステップであるステップＳ５０７に移行し、シーン分割を実行しないと判定した場合には、ステップＳ５０１に戻って一連の処理を継続する。
【０１７８】
ステップＳ５０７は、メタデータ生成部２０６において実行されるシーンメタデータ生成処理である。当ステップでは、ステップＳ５０６のシーン分割判定によって、１つのシーンと判定された映像データ部分に対応するシーンメタデータを生成する。このシーンメタデータには、そのシーンに対応する映像データ解析結果、例えば、そのシーンの動物体の有無や個数や、シーン先頭および終端の時刻情報などが記述される。
【０１７９】
図１６は、シーンメタデータの一例を示したものである。
ステップＳ５０８は、シーンメタデータ出力処理であり、ステップＳ５０７において生成されたシーンメタデータをメタデータ送信部２０７へ出力する。メタデータ送信部２０７に出力されたシーンメタデータは、通信部２０８を介して映像受信装置１０２へ送信されることになるが、そのメタデータ送信手順については後述する。
【０１８０】
ステップＳ５０９は、終了判定処理であり、所定の終了条件を満たすか否かを判定する。終了条件を満たさない場合には、ステップＳ５０１へ戻って一連の処理を繰り返し、終了条件を満たす場合には、映像データ送信処理を終了する。ここで、終了条件を満たす場合とは、映像データの送信を中断する、あるいは、映像送信装置１０１を停止することに相当する。
【０１８１】
以上のように、ステップＳ５０１からステップＳ５０９の一連の手順により、映像送信装置１０１におけるシーンメタデータ生成処理が実行される。
【０１８２】
図６は、映像送信装置１０１におけるシーンメタデータ送信処理手順の一例を示すフローチャートである。このフローチャートでは、メタデータ生成部２０６で生成されたシーンメタデータを送信用パケットに整形し、そのパケットを映像受信装置１０２へ送信する処理の流れを示している。
【０１８３】
ステップＳ６０１は、メタデータ送信部２０７において実行されるシーンメタデータ取得処理であり、メタデータ生成部２０６から出力されるシーンメタデータを取得する。
【０１８４】
ステップＳ６０２は、メタデータ送信部２０７において実行されるシーンメタデータ結合処理であり、ステップＳ６０１で取得したシーンメタデータを時系列に結合していく。当ステップの処理は、（映像データと比較すると、個々のシーンメタデータのデータサイズは非常に小さいので、）いくつかのシーンメタデータを一つのパケットにまとめて送信するためのものである。
【０１８５】
ただし、前述のようにシーンメタデータには、暫定/確定シーンメタデータがあるので、当ステップにおいて、暫定シーンメタデータと同じシーン番号を持つ確定シーンメタデータを連結する際には、暫定シーンメタデータは必ず削除するものとする。
【０１８６】
ステップＳ６０３は、メタデータ送信部２０７において実行されるメタデータ送信判定であり、所定の送信判定条件に基づいてメタデータ送信の実行の可否を判定する。
【０１８７】
ここで、所定の送信判定条件とは、送信時刻やデータサイズに関する条件である。例えば、データ送信の最長時間間隔 Tmax、および、最大データ長 Lmaxを定義しておき、前回のデータ送信時刻 Tprev から現時刻Tnow までの時間がTmaxを超えるか、もしくは、複数のシーンメタデータを結合したパケットデータのデータサイズL がLmaxより大きくなった場合に、メタデータを送信すると判定する。当ステップにおいて、メタデータを送信すると判定した場合には、次のステップに移行し、まだメタデータを送信しないと判定した場合には、ステップＳ６０１へ戻り、シーンメタデータの取得および結合を繰り返す。
【０１８８】
ステップＳ６０４は、メタデータ送信部２０７において実行されるメタデータパケット送信処理であり、複数のシーンメタデータを含むパケットデータを映像受信装置１０２へ送信する。このパケットデータの送信処理では、信頼性のあるトランスポートプロトコルを使用するなどの措置を取り、映像受信装置１０２においてパケットデータの受信漏れが無いようにする。
【０１８９】
なお、複数のシーンメタデータを結合して１つのパケットデータとして送信するのではなく、個々のシーンメタデータ単位で送信することとしても良い。この場合は、ステップＳ６０２およびステップＳ６０３を省略して、ステップＳ６０１において取得したシーンメタデータをそのまま送信することとしても構わない。
【０１９０】
ステップＳ６０５は、通信制御部２０９において実行される終了判定処理であり、所定の終了条件を満たすか否かを判定する。終了条件を満たさない場合には、ステップＳ６０１へ戻って一連の処理を繰り返し、終了条件を満たす場合には、メタデータ送信処理を終了する。ここで、終了条件を満たす場合とは、映像データの送信を中断する、あるいは、映像送信装置１０１を停止することに相当する。
【０１９１】
以上のように、ステップＳ６０１からステップＳ６０５の一連の手順により、映像送信装置１０１から映像受信装置１０２へのシーンメタデータ送信処理が実行される。
【０１９２】
図４〜図６によって、映像送信装置１０１における映像データ、および、シーンメタデータの送信処理を説明した。
【０１９３】
次に、映像受信装置１０２の処理について説明する。
図３は、映像受信装置１０２のブロック構成図である。
【０１９４】
３０１は、映像送信装置１０１との相互通信を行い、映像送信装置１０１が送信してくる映像データ、および、その映像データのメタデータを受信する通信部である。通信部３０１では、映像データとメタデータを個別のチャネルを使用して受信し、後段部へ映像データとメタデータを出力する。
【０１９５】
３０２は、通信部３０１より映像データを受信する映像データ受信部である。ここでは、映像データの符号化方式の種別は特に規定しない。映像送信装置１０１と映像受信装置１０２が同一の符号化方式を採用していれば、任意の符号化方式でよいものとする。
【０１９６】
３０３は、映像データ受信部３０２から映像データを受信し、その映像データの復号処理を行う映像復号部である。復号した映像データは、後段のコンテンツ表示部３０４へ出力する。なお、映像復号部３０３は、複数個の部分映像データから構成される全体映像データを復号再生する能力を有するものとする。すなわち、映像復号部３０３は、時間的な連続性がある、複数個の部分映像データファイルを復号処理する場合、時間的な途切れの無い一つの連続したストリームデータとして処理することができる。
【０１９７】
３０４は、映像復号部３０３から復号された映像データを受け取り、映像データの表示処理を行うコンテンツ表示部である。コンテンツ表示部３０４は、メタデータをユーザ可読なフォーマットに変換する機能も有する。また、コンテンツ表示部３０４は、表示処理を行った映像データやメタデータをコンテンツ表示デバイス３１２（例：ディスプレイ）に出力する。
【０１９８】
３０５は、通信部３０１よりシーンメタデータを受信するシーンメタデータ受信部である。映像送信装置１０１は、少なくとも１個以上のシーンメタデータを含むパケットを送信してくる。シーンメタデータ受信部３０５は、受信したシーンメタデータを後段部へ出力する。
【０１９９】
３０６は、シーンメタデータ受信部３０５から取得したシーンメタデータを連結し、部分映像メタデータを生成する映像メタデータ生成部である。
シーンメタデータには、確定シーンメタデータと暫定シーンメタデータがある。映像メタデータ生成部３０６では、映像送信装置１０１から順次送信されてくるシーンメタデータを連結して映像メタデータを生成するが、確定シーンメタデータと暫定シーンメタデータとを区別して連結処理を行う。
【０２００】
すなわち、映像メタデータ生成部３０６は、既に処理済みの暫定シーンメタデータと置き換えるべき確定シーンメタデータを受信したら、暫定シーンメタデータを破棄した上で、確定シーンメタデータを部分映像メタデータに連結する。
３０７は、最新のシーンメタデータを解析し、シーンメタデータ中に有意情報が含まれているか否かの判定を行うメタデータ解析部である。シーンメタデータには、映像送信装置１０１において実行された映像解析結果が含まれており、このシーンメタデータ中の映像解析結果を参照することによって、平時とは異なる状況の映像データを受信中であることを即座に検知することができる。
【０２０１】
メタデータ解析部３０７は、映像メタデータ生成部３０６より受信したシーンメタデータを解析し、所定の判定条件に合致するシーンメタデータを検出したら、後段の警告部３１１へ通知する。
【０２０２】
３０８は、映像データおよびメタデータの蓄積処理や検索処理、ファイル管理処理を行うデータ管理部である。データ管理部３０８は、映像データ受信部３０２から出力されてくる映像データを記憶装置３１４に蓄積したり、記憶装置３１４に蓄積されている映像データを読み出す処理を行う。
【０２０３】
また、映像メタデータ生成部３０６から出力されてくるデータを記憶装置３１４に蓄積し、記憶装置３１４に蓄積されているメタデータを読み出す処理を行う。すなわち、データ管理部３０８は、映像データ、および、メタデータを管理するデータベースとして機能する。
【０２０４】
３０９は、映像送信装置１０１との間の通信制御を行う通信制御部であり、通信制御のほかに、映像受信装置１０２内部の各部の制御も実行する。
【０２０５】
３１０は、蓄積済みの映像データおよびメタデータの検索処理を行う検索部である。
【０２０６】
３１１は、映像受信装置１０２のユーザ（=映像監視者）に対して任意手段で警告する警告部である。警告部３１１は、メタデータ解析部３０７からの指示を受けて、所定の警告処理を実行する。ここで、所定の警告処理とは、例えば、受信映像の再生表示と共に、警報ランプを点灯する処理や、警報ブザーを鳴らす処理である。
【０２０７】
３１２は、映像表示部３０４が出力する映像を表示するコンテンツ表示デバイスである。コンテンツ表示デバイス３１２には、受信した映像データをリアルタイム表示する他に、蓄積されている映像データの再生表示にも使用される。また、コンテンツ表示デバイス３１２は、映像表示用の専用ハードウェアである必要は無く、パソコンのウィンドウ画面にオーバーレイ表示してよい。
【０２０８】
３１３は、映像データを検索するためのデータ入力インタフェースである。データ入力インタフェース３１３を介して入力された情報は検索部３１０に出力され、この情報に基づいて、映像データの検索処理が実行される。
【０２０９】
３１４は、受信した映像データおよび映像メタデータを蓄積する記憶装置である。記憶装置３１４はデータ管理部３０８の管理下にあり、データ管理部３０８を介して、映像データ、および、メタデータの入出力処理が実行される。
【０２１０】
映像受信装置１０２は、前述のように、専用のハードウェアであっても良いし、パーソナルコンピュータと周辺機器から構成され、一部の処理をソフトウェアプログラムで実現したものであっても良い。
【０２１１】
例えば、図３の３１５（３０２〜３０８に相当する機能）をソフトウェアプログラムとして実装し、映像受信装置１０２の有するハードウェア資源（例：ＣＰＵ、メモリ）を用いて、映像受信処理を実行するものとして良い。さらには、映像復号部３０３や通信制御部３０９、検索部３１０も、ソフトウェアプログラムとして実装するものとしても構わない。
【０２１２】
本実施の形態においては、映像受信装置１０２は、１台の映像送信装置１０１から映像データを受信すると仮定して説明する。ただし、映像受信装置１０２は、複数の映像送信装置１０１からの映像データを受信する構成に容易に機能拡張することができる。
【０２１３】
例えば、映像復号部３０３や、映像表示部３０４、ディスプレイ３１２は、受信する映像データの本数と同じ数だけ用意し、映像データ受信部３０２やメタデータ生成部は、映像送信元を区別してデータ処理を実行できるようにすれば良い。あるいは、映像データ受信部３０３や映像復号部３０４が受け持つ処理をマルチスレッド対応のソフトウェアプログラムとして実装することでも複数映像データの同時受信に対応することができる。
【０２１４】
次に、映像受信装置１０２の動作について説明する。図７は、映像受信装置１０２における映像データ受信処理手順を示すフローチャートの一例である。このフローチャートは、映像受信装置１０２が映像データを受信し、その映像データを再生表示し、データベースへ蓄積する処理の流れを示したものである。
【０２１５】
ステップＳ７０１は、映像送信装置１０１が送信してくる映像データを受信する映像データ受信処理である。当ステップは、通信部３０１および映像データ受信部３０２において実行される。
【０２１６】
ステップＳ７０２は、映像データ受信部３０２において実行される映像データの先頭判定処理である。前述のように、映像送信装置１０１が長時間に亘り連続送信してくる映像データは、部分映像データに分割されている。映像受信装置１０２では、部分映像データを個々に独立した映像データファイルとして管理する。
ここで、「映像データの先頭」とは、部分映像データの先頭を指し、「映像データの先頭判定処理」とは、部分映像データの先頭を検出する処理を指す。例えば、MPEG4やH.263などの映像データでは、スタートコードと呼ばれる特定のビット列を検出することによって、映像データの先頭を検知することができる。
【０２１７】
当ステップにおいて、部分映像データの先頭を検知したら次のステップＳ７０３へ移行し、それ以外の場合はステップＳ７０３をスキップする。
【０２１８】
ステップＳ７０３は、データ管理部３０８において実行される映像データファイルの先頭処理である。前のステップＳ７０２において部分映像データの先頭が検知されたということは、その直前に１つの部分映像データの受信が完了し、新たな部分映像データの受信が開始されることを意味する。
【０２１９】
ステップＳ７０３では、データ管理部３０８において、部分映像データのデータベースへの蓄積を開始するための処理（例えば、映像データファイルのオープン）を行う。また、必要ならば、映像データの復号処理の初期化処理も当ステップにおいて実行する。
【０２２０】
ステップＳ７０４は、データ管理部３０８で実行される映像データ蓄積処理である。映像受信装置１０２では、部分映像データを個々に独立した映像データファイルとして管理する。
【０２２１】
映像送信装置１０１は、部分映像データを一つのファイルとして一括してファイル転送するのではなく、ストリームデータとして送信してくる。すなわち、ステップＳ７０１において一回に受信するデータは、部分映像データの一部である。当ステップでは、ステップ７０１で受信したデータを連結していくことによって、部分映像データを再構成する。
【０２２２】
ステップＳ７０５は、映像データ受信部３０２において実行される映像データの終端判定処理である。当ステップでは、部分映像データの終端を検知する処理を行い、部分映像データの終端を検知した場合には、次のステップＳ７０６に移行し、それ以外の場合は、ステップＳ７０６をスキップする。
【０２２３】
ステップＳ７０６は、データ管理部３０８において実行される映像データファイルの終端処理である。ステップＳ７０５において、部分映像データの終端が検知された場合、ステップＳ７０６において、部分映像データのデータファイルを閉じ、次の部分映像データの受信に備える。
【０２２４】
なお、部分映像データがデータ終端を検知できないフォーマットである場合には、ステップＳ７０３の映像データファイル先頭処理において、前の部分映像データの終端処理を実行することも可能である。
【０２２５】
ステップＳ７０７は、受信した映像データの復号処理、および、表示処理を行う映像データ再生処理である。当ステップの実行には、映像復号部３０３、コンテンツ表示部３０４、コンテンツ表示デバイス３１２などが関与する。映像データ受信時に映像表示を行う必要が無い場合は、当ステップは省略してよい。
【０２２６】
ステップＳ７０８は、通信制御部３０９において実行される終了判定処理であり、所定のデータ受信終了条件を満たすか否かを判定する。終了条件を満たさない場合には、ステップＳ７０１へ戻って一連の処理を繰り返し、終了条件を満たす場合には、映像データの受信処理を終了する。ここで、終了条件を満たす場合とは、映像データの受信を中断する、あるいは、映像受信装置１０２を停止することに相当する。
【０２２７】
以上のように、ステップＳ７０１からステップＳ７０８の一連の手順により、映像受信装置１０２の映像データ受信処理が実行される。
【０２２８】
図８は、映像受信装置１０２におけるシーンメタデータ受信処理手順の一例を示すフローチャートである。このフローチャートは、映像送信装置１０１から受信したシーンメタデータを連結して部分映像メタデータを生成し、これを蓄積する処理の流れを示したものである。
【０２２９】
ステップＳ８０１は、映像送信装置１０１が送信してくるシーンメタデータを受信するシーンメタデータ受信処理である。当ステップは、通信部３０１およびシーンメタデータ受信部３０５において実行される。映像送信装置１０１は、部分映像データを構成する各シーンのメタデータをパケットデータとして送信する。このパケットデータには、少なくとも１個以上のシーンメタデータが含まれている。
【０２３０】
ステップＳ８０２は、映像メタデータ生成部３０６において実行される部分映像メタデータの先頭判定処理である。映像受信装置１０２は、映像送信装置１０１が送信してくるシーンメタデータを連結して部分映像メタデータを生成する。当ステップでは、処理対象のシーンメタデータが、部分映像メタデータの先頭のシーンメタデータであるか否かを判定する。部分映像メタデータの先頭のシーンメタデータである場合は、次のステップＳ８０３に移行し、そうではない場合は、ステップＳ８０３をスキップしてステップＳ８０４に移行する。
【０２３１】
ステップＳ８０３は、部分映像メタデータの先頭処理である。シーンメタデータ、および、部分映像メタデータは、それぞれ単独でメタデータとして機能するが、メタデータをデータベースに蓄積する際には、シーンメタデータを連結した部分映像メタデータを１つのデータファイルとして扱う。前のステップＳ８０２において部分映像メタデータの先頭が検知されたということは、その直前に１つの部分映像メタデータの受信が完了し、新たな部分映像メタデータの受信が開始されることを意味する。当ステップでは、データ管理部３０８において、新たな部分映像メタデータのデータベースへの蓄積を開始するための処理（例えば、部分映像メタデータファイルのオープン）を行う。
【０２３２】
ステップＳ８０４は、メタデータ解析部３０７において実行されるシーンメタデータ解析処理である。シーンメタデータは、部分映像データを構成する１つのシーンに対応するメタデータである。このシーンメタデータには、そのシーンの時刻情報や映像解析結果などの情報が含まれている。シーンメタデータの記述内容は、映像送信装置１０１において、どのような映像解析を行い、どのような情報をメタデータとして記述するかとういことに依存する。当ステップでは、シーンメタデータ毎に内容解析を行い、必要に応じて映像受信装置１０２のユーザ（＝映像監視者）に対して、シーンメタデータに記述されている情報を提示する。
【０２３３】
ステップＳ８０５は、メタデータ解析部３０７において実行される有意情報判定処理である。ここで、有意情報の「有意」とは、映像監視の目的によって変化する。本実施の形態は、防犯目的の映像監視システムであり、「有意情報」を「平時とは状況が異なる映像」、具体的には、「動物体が存在する映像」と定義し、シーンメタデータには、映像送信装置１０１における動物体検出処理の結果が含まれているものとしている。
【０２３４】
すなわち、ステップＳ８０５では、各シーンメタデータに記述されている動物体検出処理の結果を読み取り、動物体を含む映像を受信中であるか否かを判定する。当ステップにおいて、有意情報を含むと判定された場合は、次のステップＳ８０６へ移行し、有意情報を含まないと判定された場合には、ステップＳ８０６はスキップしてステップＳ８０７へジャンプする。
【０２３５】
なお、当ステップの実行に際しては、事前に「有意情報」が何を意味するかを規定しておく必要がある。この「有意情報の設定」は、データ入力インタフェース３１３、および、検索部３１０を介して、メタデータ解析部３０７に伝えられるものとする。
【０２３６】
ステップＳ８０６は、有意情報表示処理である。前のステップＳ８０５においてシーンメタデータ中に有意情報が含まれていることを検知した場合、これを映像監視者に通知する。
【０２３７】
受信中の映像データを再生表示していない場合は、記憶装置３１４に蓄積した映像データを読み出して、有意情報を含むシーンから再生表示し、これと同時に警告ランプの点灯や、警告音の出力を行い、映像監視者に異常が発生していることを警告する。本ステップの実行には、メタデータ解析部３０７、コンテンツ表示部３０４、警告部３１１、コンテンツ表示デバイス３１２などが関与する。
【０２３８】
ステップＳ８０７は、データ管理部３０８において実行される部分映像メタデータ蓄積処理である。当ステップでは、記憶装置３１４に蓄積済みの部分映像メタデータファイルに新たに受信したシーンメタデータを追加書き込みする。
ただし、実際のシーンメタデータ追加書き込み処理は、シーンメタデータ受信の度に実行する必要は無く、データ管理部３０８において、ある程度の個数のシーンメタデータを保持しておき、それらを一括して追加書き込みすることにしても良い。
【０２３９】
また、シーンメタデータの追加書き込みの際には、確定シーンメタデータと暫定シーンメタデータとを区別して処理を実行する。すなわち、ステップＳ８０７の部分映像メタデータの蓄積処理においては、暫定シーンメタデータと同一のシーン番号を持つ確定シーンメタデータを検知したら、暫定シーンメタデータを破棄した後に、その確定シーンメタデータを追加書き込みする。
【０２４０】
なお、暫定シーンメタデータは、記憶装置３１４に蓄積せずにデータ管理部３０８に保持しておき、確定シーンメタデータとの置き換え処理を実行するものとしても良い。
【０２４１】
ステップＳ８０８は、メタデータ生成部３０６において実行される部分映像メタデータの終端判定処理である。当ステップでは、処理対象のシーンメタデータが、部分映像メタデータの終端のシーンメタデータであるか否かを判定する。部分映像メタデータの終端である場合には、次のステップＳ８０９へ移行し、部分映像メタデータの終端ではない場合は、ステップＳ８０９をスキップして、ステップＳ８１０へ移行する。
【０２４２】
ステップＳ８０９は、データ管理部３０８において実行される部分映像メタデータの終端処理である。ステップＳ８０８において映像メタデータの終端が検知された場合、当ステップでは、部分映像メタデータのデータファイルを閉じ、次の部分映像メタデータの受信準備を行う。
【０２４３】
ステップＳ８１０は、通信制御部３０９において実行される終了判定処理であり、所定の終了条件を満たすか否かを判定する。終了条件を満たさない場合には、ステップＳ８０１へ戻って一連の処理を繰り返し、終了条件を満たす場合には、映像データの受信処理を終了する。ここで、終了条件を満たす場合とは、映像データの受信を中断する、あるいは、映像受信装置１０２を停止することに相当する。
【０２４４】
以上のように、ステップＳ８０１からステップＳ８１０の一連の手順により、映像受信装置１０２のシーンメタデータ受信処理が実行される。
【０２４５】
なお、映像送信装置１０１は、部分映像データとシーンメタデータの他に、全体映像メタデータのヘッダ/フッタファイルも映像受信装置１０２へ送信してくる。これらのヘッダ/フッタファイルは、映像受信装置１０２において、それぞれ独立したデータファイルとして蓄積すればよいだけので、受信処理手順は省略した。
【０２４６】
図９は、映像受信装置１０２におけるデータ検索処理手順を示すフローチャートの一例である。このフローチャートは、映像受信装置１０２において、ユーザが提示した検索条件に合致する部分映像データを読み出し、その部分映像データに含まれる映像シーンを復号再生する処理の流れを示したものである。
【０２４７】
ステップＳ９０１は、データ入力インタフェース３１３において実行される検索条件取得処理である。当ステップでは、データ入力インタフェース３１３から入力される映像データ検索のための映像検索情報を取得し、取得した情報を検索部３１０へ出力する。映像検索条件としては、映像メタデータに記述されている情報、例えば、映像記録時刻、映像記録場所（映像送信装置１０１を識別する固体識別子）、映像解析結果に関する条件などを設定する。
【０２４８】
ステップＳ９０２は、データ管理部３０８において実行される部分映像メタデータ取得処理である。部分映像メタデータは、全体映像メタデータの一部であり、各部分映像メタデータには、前後の部分映像メタデータへのリンク情報と、部分映像データへのリンク情報が記述されている。また、部分映像メタデータを連結した全体映像メタデータには、ヘッダファイルとフッタファイルが存在する。これらのデータファイルの関係を示したものが図１１である。
【０２４９】
まず、記憶装置３１４に蓄積されている全ての全体映像データのヘッダファイルを検索し、ステップＳ９０１で取得した検索条件に合致するヘッダファイルを選び出す。そのヘッダファイルには、全体映像メタデータの先頭に位置する部分映像メタデータファイルへのリンク情報が記述されているので、これを参照して、順番に部分映像メタデータを辿っていき、検索条件に合致する部分映像メタデータを見つけたら、その部分映像メタデータをデータ管理部３０８に保持する。
【０２５０】
ステップＳ９０３は、シーンメタデータ検索処理である。当ステップには、検索部３１０、データ管理部３０８、および、記憶装置３１１が関与する。当ステップでは、記憶装置３１４から読み出した部分映像メタデータを解析し、ステップＳ９０１において取得した検索条件に合致するシーンメタデータを特定する。このシーンメタデータには、部分映像データの時刻範囲に関する情報が記述されているので、これを映像シーン情報として保持する。また、部分映像メタデータには、その部分映像メタデータに対応する部分映像データのファイル名が記述されているので、当ステップにおいてこのファイル名も取得する。
【０２５１】
ステップ９０４は、データ管理部３０８において実行されるシーンメタデータ検索の終了判定処理である。シーンメタデータ検索処理では、ただ一つのシーンメタデータが検出されるのではなく、複数個のシーンメタデータが検出される場合もある。これに該当するのは、ある程度の時刻範囲を持った映像シーンを検索する場合などである。当ステップでは、ステップＳ９０１において取得した検索条件に合致する全てのシーンメタデータを取得したか否かを判定する。全てのシーンメタデータを取得してシーンメタデータ検索が終了した場合には、次のステップに移行し、検索条件に合致するシーンメタデータが残っている場合には、ステップＳ９０３に戻り、次のシーンメタデータの検索処理を行う。
【０２５２】
ステップＳ９０５は、データ管理部３０８において実行されるデータアクセス制限設定処理である。部分映像メタデータ中の各シーンメタデータには、シーンメタデータの種別を示すシーン確定情報が含まれている。検索対象の部分映像データが受信処理中である場合、部分映像データのファイル終端は確定していない。すなわち、部分映像メタデータの終端のシーンメタデータは暫定シーンメタデータとなっている。当ステップでは、各シーンメタデータのシーン確定情報を参照することによって、ステップＳ９０２において検出された部分映像メタデータが、暫定シーンメタデータを含むか否か確認し、暫定シーンメタデータを含む場合には、部分映像データへのデータアクセス制限を設定する。具体的には、映像データの検索・再生時に、暫定シーンメタデータに対応する映像シーンよりも後ろの映像シーンにデータアクセスすることがないように制限する。
【０２５３】
このような措置をとる理由を以下に説明する。
前述のように、部分映像メタデータの終端が暫定シーンメタデータであることは、その部分映像メタデータは、受信・蓄積処理であることを意味する。すなわち、部分映像データの検索処理中も、検索対象の部分映像データファイルへのデータの追加書き込みが進行している。この部分映像データファイルに対して、自由に検索、再生の許可を与えてしまうと、暫定シーンメタデータに対応する映像シーンよりも後ろのデータ領域にもアクセスしてしまい、映像データ受信処理（＝部分映像データファイルへのデータ追加書き込み）に支障を与え、データファイルを破損してしまう恐れがある。そこで、上記のようなデータアクセス制限を設定している。
もちろん、映像データファイルを破損するようなデータアクセスを禁止する手段が別に設けられている場合には、ステップＳ９０５は省略しても構わない。また、検索対象が蓄積済みの部分映像データである場合には、当ステップのデータアクセス制限設定は不要である。
【０２５４】
ステップＳ９０６は、検索部３１０において実行される映像データ検索処理である。この映像データ検索処理では、ステップＳ９０２において検索された部分映像メタデータを使用する。部分映像メタデータには、部分映像データへのリンク情報が含まれている。このリンク情報を参照して部分映像データファイルにアクセスし、部分映像データの中から、ステップＳ９０３において検索したシーンメタデータに対応するシーン部分を見つけ出す。検出した映像シーンデータは、データ管理部３０８を介して、映像復号部３０３へ出力される。なお、ステップＳ９０５において、アクセス制限が設定されたシーンについては、検索対象から除外される。
【０２５５】
ステップＳ９０７は、映像復号部３０３において実行される映像シーンデータ再生処理である。当ステップにおいて再生される映像シーンデータは、ステップＳ９０６で検索された映像シーンデータである。映像復号部３０３は、データ管理部３０８より受け取った映像データのシーンデータを復号し、復号された映像データは、コンテンツ表示部３０４を介してコンテンツ表示デバイス３１２に表示される。また、当ステップにおいて、復号再生した映像シーンに対応するシーンメタデータに記述されている情報をコンテンツ表示デバイス３１２に表示してもよい。
【０２５６】
ステップＳ９０８は、検索部３１０において実行される映像シーン再生の終了判定処理である。前述のように、ステップＳ９０３におけるシーンメタデータ検索では、複数個のシーンが検索されることがある。したがって、検索された各シーンデータを再生表示するためには、シーンの個数だけ映像データのシーンデータの読み出し、および、復号再生を実行しなければならない。当ステップでは、検索されたシーンが全て再生されたか否かを判定し、シーン再生が完了した場合は、次のステップＳ９０９へ移行し、シーン再生が完了していない場合は、ステップＳ９０６へ戻り、残りのシーンの復号再生を繰り返す。
【０２５７】
なお、当ステップにおいて、ユーザ（＝映像データの検索者）が部分映像データのシーン再生区間を再設定し、自由に部分映像データを再生制御できるようにしても良い。これは、検索した映像シーンを繰り返し再生し、検索した映像シーンの前後の映像シーンも含めて再生するといった、映像監視システムに要求される一つの機能である。この場合、データ入力インタフェース３１３、もしくは、検索部３１０に再生、停止、早送り、巻き戻し、スロー再生機能等を持つ再生制御手段を設け、ユーザからの再生制御命令がデータ管理部３０８に伝わるようにして、ステップＳ９０６からステップＳ９０８の制御ループにおいて、部分映像データの再生制御を行う。ただし、部分映像データにアクセス制限が設定されている場合には、このアクセス制限を守った再生制御のみを許可するものとする。
【０２５８】
ステップＳ９０９は、検索部３１０において実行される検索終了判定処理である。ユーザから検索終了の指示がある場合は、検索処理を終了し、ユーザから検索終了の指示がない場合は、ステップＳ９０１へ戻って一連の処理を繰り返す。以上のように、ステップＳ９０１からステップＳ９０９の一連の手順により、映像受信装置１０２における映像データの検索処理が実行される。
【０２５９】
なお、本実施の形態では、全体映像データ検索方法については、フローチャートによる説明を省略している。全体映像データ検索、すなわち、複数の部分映像データをまたがる映像データ検索は、部分映像メタデータ間のリンク情報を用いれば、容易に実現することができる。
【０２６０】
【発明の効果】
以上のように本発明によれば、映像データを長時間に亘り連続送信する場合に、映像データを一本のストリームデータとして送信するのではなく、全体映像データを所定時間間隔毎に区切って、複数の部分映像データしながら送信するので、受信側システムにおいては、複雑な映像データ解析を実行すること無く、長時間の映像データを容易に複数の部分映像データファイルに分割して蓄積することができ、映像データのデータファイル管理が容易になるという作用を有し、かつ、映像データの送信と平行して、部分映像データに対応した部分映像メタデータを送信するので、受信側システムにおいて、受信済みのメタデータのみを利用して、受信処理進行中である全体映像データの受信済みの部分映像データを検索することができるという有利な効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における映像監視システムのシステム構成図
【図２】本発明の実施の形態１における映像送信装置のブロック図
【図３】本発明の実施の形態１における映像受信装置のブロック図
【図４】映像送信装置における映像データ送信処理手順を示すフローチャート
【図５】映像送信装置におけるシーンメタデータ生成処理手順を示すフローチャート
【図６】映像送信装置におけるシーンメタデータ送信処理手順を示すフローチャート
【図７】映像受信装置における映像データ受信処理手順を示すフローチャート
【図８】映像受信装置におけるシーンメタデータ受信処理手順を示すフローチャート
【図９】映像受信装置におけるデータ検索処理手順を示すフローチャート
【図１０】全体映像データと部分映像データの関係を示す図
【図１１】全体映像メタデータと全体映像データの関係を示す図
【図１２】ファイル名の命名規則の一例を示す図
【図１３】部分映像メタデータの記述例を示す図
【図１４】全体映像メタデータのヘッダファイルの記述例を示す図
【図１５】全体映像メタデータのフッタファイルの記述例を示す図
【図１６】映像データ検索時のファイル参照方法を説明する図
【図１７】暫定シーンメタデータと確定シーンメタデータを説明する図
【図１８】映像データ検索時のファイル参照方法を説明する図
【符号の説明】
１０１ａ〜１０１ｃ 映像送信装置
１０２ 映像受信装置
１０３ 通信ネットワーク
２０１ カメラ
２０２ 映像データ入力部
２０３ 映像符号化部
２０４ 映像データ送信部
２０５ 映像データ解析部
２０６ メタデータ生成部
２０７ メタデータ送信部
２０８ 通信部
２０９ 通信制御部
２１０ 映像送信プログラム相当部
３０１ 通信部
３０２ 映像データ受信部
３０３ 映像復号部
３０４ コンテンツ表示部
３０５ シーンメタデータ受信部
３０６ 映像メタデータ生成部
３０７ メタデータ解析部
３０８ データ管理部
３０９ 通信制御部
３１０ 検索部
３１１ 警告部
３１２ コンテンツ表示デバイス
３１３ データ入力インタフェース
３１４ 記憶装置
３１５ 映像受信プログラム相当部
【発明の属する技術分野】
本発明は、映像データの送受信を行う映像データ送信方法及び映像データ受信方法、並びに映像監視システムに関するものである。
【０００２】
【従来の技術】
侵入者監視などを目的とする映像監視システムにおいては、従来からタイム・ラプス・ＶＴＲなどが使用されている。このタイム・ラプス・ＶＴＲとは、ビデオカメラから入力された映像信号を数秒から数十秒の一定間隔で１フレームずつ記録することを数十時間連続して実行することができるものである。
【０００３】
タイム・ラプス・ＶＴＲでは、アナログビデオテープの記録可能時間の制限から、コマ送り的な映像記録を行うことによって記録時間を伸ばしている。しかしながら、記録した映像を例えば、犯罪捜査などに活用する場合には、コマ送り映像ではなく、侵入者の挙動の詳細を確認できる高いフレームレートの映像が要求される場合がある。
【０００４】
以下に示す従来例は、このような要求に応えるものである。
特開平8-77468号公報（監視装置）は、重要な事象が発生した前後の情報をリアルタイムで連続的に記録する監視装置である。
【０００５】
特開平2000-253390号公報（監視記録装置）は、画像認識による侵入者等の検出を行い、侵入者が検出されている間の画像データのみ記録を行う機能を設けた監視記録装置である。
【０００６】
特開平2000-20857号公報（監視装置）は、符号化映像データの経時的な差分成分を利用して監視映像の変化を判定し、この変化に基づいて監視映像を伝送するか否かを判定する映像伝送装置を組み込んだ映像監視システムである。
【０００７】
これらの従来例の共通項は、監視カメラを有する映像送信側システムに映像解析手段を設け、映像中に有意情報（例えば、動きのある物体）が含まれる場合に限り、映像伝送を実行するという点であり、コマ送り映像によって記録時間を延ばすのではなく、有意情報を含む映像のみを記録することによって記録時間の伸張を図っている。
【０００８】
また、特開平11-32321号公報（画像認識機能を有する監視システム）は、画像認識によって異常発生時の映像を検出し、映像の記録と同時に異常情報も記録し、この異常情報の一覧を参照することにより、異常発生時の映像を素早く検索することができるようにした監視システムである。この従来例では、映像データと共に記録した画像認識の結果（＝有意情報の有無に関する情報）を、映像検索に利用している。
【０００９】
【発明が解決しようとする課題】
先に示した従来例では、映像解析によって有意情報が検知された映像データのみを送信するものであるが、コンピュータによる映像認識処理には少なからず認識誤りが存在する。すなわち、従来例の映像監視システムでは、映像観察者が映像中の有意情報を見逃し、かつ、記録にも残らないという事態が発生する恐れがある。また、従来例では、映像データの受信処理および蓄積処理と並行して、同一映像データのデータファイルに安全に検索・再生する方法が提示されていない。
【００１０】
近年の映像記録のディジタル化と記録媒体の大容量化により、映像記録装置の録画時間に関する制約は、比較的弱くなってきており、長時間、例えば、数日分の映像データを連続記録することが可能な映像監視システムを構築することは不可能ではない。
【００１１】
しかし、映像監視システムにおいて、長時間連続送信されてくる映像データを蓄積する場合には、映像データの蓄積処理と映像データの検索・再生処理とが並行して実行できる必要があるので、映像データのファイル管理方法、アクセス方法に工夫を加える必要がある。
【００１２】
さらに、映像監視システムでは、従来例の一つとして示した映像監視装置のように、映像監視者の負担を軽減するために、映像解析によって侵入者を自動的に検知し、大容量の映像データから必要な情報を容易に検索できる仕組みも併せて必要である。
【００１３】
本発明は、複数の映像送信装置と映像データの受信、再生、蓄積を行う映像受信装置から構成される映像監視システムにおいて、映像データの長時間記録と大容量映像データの検索処理の容易化、同一映像データの蓄積処理と検索処理の並行実行、並びに、映像監視者の負担軽減を兼ね備えた映像監視システムを提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明は、外部から入力される映像データをリアルタイム送信する映像データ送信方法において、ストリームデータとして入力されてくる映像データを符号化処理する際に、所定時間毎に符号化処理の開始と終了を繰り返すことによってデータ分割処理を行い、時間的な連続性がある複数の映像データを生成し、これを部分映像データとして出力する映像符号化処理ステップと、前記部分映像データのリアルタイム送信を行う映像データ送信ステップと、前記部分映像データのメタデータを生成し、これを部分映像メタデータとして出力するメタデータ生成ステップと、前記部分映像メタデータを送信するメタデータ送信ステップとを有することを特徴とする映像データ送信方法である。
【００１５】
この発明によれば、映像データを長時間に亘り連続送信する場合に、映像データを一本のストリームデータとして送信するのではなく、全体映像データを所定時間間隔毎に区切って、複数の部分映像データしながら送信するので、受信側システムにおいては、複雑な映像データ解析を実行すること無く、長時間の映像データを容易に複数の部分映像データファイルに分割して蓄積することができ、映像データのデータファイル管理が容易になるという作用を有し、かつ、映像データの送信と平行して、部分映像データに対応した部分映像メタデータを送信するので、受信側システムにおいて、受信済みのメタデータのみを利用して、受信処理進行中である全体映像データの受信済みの部分映像データを検索することができるという作用を有する。
【００１６】
【発明の実施の形態】
本発明の請求項１記載の発明は、映像データとその映像データのメタデータを送信する分散配置された複数の映像送信装置と、前記映像送信装置から受信した映像データとメタデータをデータベースに蓄積すると共に集中監視する映像受信端末からなる映像監視システムの映像データ送信方法において、ストリームデータとして入力されてくる映像データを符号化処理する際に、所定時間毎に符号化処理の開始と終了を繰り返すことによってデータ分割処理を行い、時間的な連続性がある複数の映像データを生成し、これを部分映像データとして出力する映像符号化処理ステップと、前記部分映像データのリアルタイム送信を行う映像データ送信ステップと、前記部分映像データに関連し単独で利用可能な部分メタデータを生成し、少なくとも、前記部分映像メタデータの識別子と、時間的な連続関係がある前後の前記部分映像メタデータへのリンク情報と、前記部分映像データへのリンク情報とを含む部分映像メタデータを出力するメタデータ生成ステップと、前記部分映像メタデータを送信するメタデータ送信ステップとを有することを特徴とすることを特徴とするものである。
【００１７】
この発明によれば、映像データを長時間に亘り連続送信する場合に、映像データを一本のストリームデータとして送信するのではなく、全体映像データを所定時間間隔毎に区切って、複数の部分映像データしながら送信するので、受信側システムにおいては、複雑な映像データ解析を実行すること無く、長時間の映像データを容易に複数の部分映像データファイルに分割して蓄積することができ、映像データのデータファイル管理が容易になるという作用を有し、かつ、部分映像メタデータに記述されているリンク情報によって、部分映像メタデータ間の論理的な連続関係と、部分映像メタデータと部分映像データとの対応関係が定義されているので、受信側システムにおいて、複数の部分映像メタデータを連結して一つの全体映像メタデータを再構成し、これを全体映像データの検索処理に利用することができるという作用を有する。
【００２０】
請求項２記載の発明は、請求項１記載の映像データ送信方法において、前記メタデータ生成ステップは、全体映像メタデータの先頭に位置する前記部分映像メタデータを出力する前に、先頭の前記部分映像メタデータへのリンク情報を含むヘッダファイルを出力し、全体映像メタデータの終端に位置する前記部分映像メタデータを出力した後に、終端の前記部分映像メタデータへのリンク情報を含むフッタファイルを出力することを特徴とするものである。
【００２１】
この発明によれば、全体映像メタデータに対して、先頭の部分映像メタデータへのリンク情報を持つヘッダファイルと、終端の部分映像メタデータへのリンク情報を持つフッタファイルを付加するので、受信側システムにおいて、全体映像メタデータのヘッダファイル、もしくは、フッタファイルを起点として、順番に部分映像メタデータを辿っていくことによって全体映像メタデータを検索することができるという作用を有する。
【００２２】
請求項３記載の発明は、請求項１または請求項２に記載の映像データ送信方法において、前記映像データの映像解析を行い、所定時間毎に映像解析結果を出力する映像解析処理ステップと、所定のシーン分割条件に基づいた前記部分映像データのシーン分割処理を行い、シーン分割結果を出力するシーン分割処理ステップとを有し、前記メタデータ生成ステップは、前記部分映像メタデータを複数のシーンメタデータから構成されるものとして管理し、前記シーン分割結果に基づいて、前記部分映像データのシーン単位のメタデータを生成し、そのメタデータに前記映像解析結果を記述して、これをシーンメタデータとして出力することを特徴とするものである。
【００２３】
この発明によれば、部分映像データをシーンデータに細分化すると共に、部分映像メタデータもシーンメタデータに細分化するので、メタデータを利用した映像データ検索の利便性が向上し、所望する映像シーンを効率良く見つけ出すことができるという作用を有する。
【００２４】
請求項４記載の発明は、請求項３記載の映像データ送信方法において、前記部分映像メタデータを前記シーンメタデータに分割して扱い、少なくとも一つ以上の前記シーンメタデータをまとめて送信することを特徴とするものである。
【００２５】
この発明によれば、部分映像データに対応する部分映像メタデータが完全に生成された後に部分映像メタデータの送信を実行するのではなく、部分映像メタデータを構成する各シーンメタデータを基準単位としてメタデータ送信を実行するので、映像データの送受信処理が進行中の状態にあっても、受信側システムに受信済みの映像シーンに関しては、シーンメタデータを利用した映像データ検索を実行することができるという作用を有する。
【００２６】
請求項５記載の発明は、請求項４記載の映像データ送信方法において、前記シーン分割処理ステップは、前記シーン分割判定条件として、所定時刻間隔で出力されてくる前記映像解析結果の類似性を判定する条件を設定し、類似性が認められる映像解析結果を持ち、かつ、時間的な連続関係がある映像データ部分を一つのシーンとして判定し、前記映像解析結果に類似性が無くなった部分をシーンの境界と判定してシーン分割処理を実行することを特徴とするものである。
【００２７】
この発明によれば、単純に一定時間間隔で部分映像データのシーン分割を行い、各シーンメタデータに映像解析結果を記述するのではなく、映像解析結果に類似性がある映像データ部分を一つのシーンとしてまとめて、各シーンメタデータにそのシーンに対応する映像解析結果を記述するので、映像解析結果、すなわち、映像データの特徴量を検索キーとした映像検索処理を効率よく実行することができるという作用を有する。
【００２８】
請求項６記載の発明は、請求項４記載の映像データ送信方法において、前記映像解析処理ステップは、映像中の動物体を検出する処理を行い、検出した動物体の特徴量を含む動物体検出結果を出力し、前記シーン分割処理ステップは、前記動物体検出結果により確認可能な動物体の有無を前記シーン分割判定条件として設定し、動物体が存在しない映像データ部分と動物体が存在する映像データ部分とを分割するシーン分割処理を実行し、前記メタデータ生成ステップは、前記シーンメタデータ中に、そのシーンの動物体検出の有無を示す数値を記述することを特徴とするものである。
【００２９】
この発明によれば、単純に一定時間間隔で部分映像データのシーン分割を行い、各シーンメタデータに映像解析結果を記述するのではなく、映像中の動物体の有無を基準としてシーン分割を行い、各映像シーンに対応するシーンメタデータを生成するので、例えば、侵入者検知を目的とした映像監視システムの映像データ検索手段に応用することができるという作用を有する。
【００３０】
請求項７記載の発明は、請求項５または請求項６に記載の映像データ送信方法において、前記シーン分割処理ステップは、前回のシーン分割処理を実行してから所定時間が経過した場合には、暫定的な前記シーン分割処理結果を出力し、前記シーン分割判定条件に基づく正規のシーン分割処理が実行されるまで、暫定的なシーン分割処理結果の出力を定期的に繰り返し、前記メタデータ生成ステップは、暫定的なシーン分割処理により生成されたシーンに対応する前記シーンメタデータを暫定シーンメタデータとして、確定的なシーン分割処理により生成されたシーンに対応する前記シーンメタデータを確定シーンメタデータとして扱い、前記シーンメタデータの構成要素として、少なくとも、前記２種類のシーンメタデータを識別するための情報であるシーン確定情報と、前記全体映像データに含まれる全シーンに対して割り当てるシーケンシャル番号であるシーン番号と、シーンの記録開始日時と記録終了日時を示す記録日時情報と、前記映像解析結果とを含むことを特徴とするものである。
【００３１】
この発明によれば、長時間に亘り映像解析結果に変化が無いために一つのシーンの時間が長くなり、その結果、長時間に亘ってシーンメタデータが送信されない状態になることを回避するために、映像解析結果に変化が無い状態であっても暫定的なシーンメタデータを送信するので、受信側システムにおける、映像データのシーンメタデータ利用の即時性を向上することができるという作用を有し、また、シーンメタデータ中には、シーン確定情報とシーン番号が記述されており、暫定シーンメタデータと確定シーンメタデータとを区別可能で、かつ、両者の対応関係を把握できるデータ構造になっているので、受信側システムにおいて、シーンメタデータを連結して、部分映像メタデータを容易に再構成することができるという作用を有する。
【００４５】
請求項８記載の発明は、映像データとその映像データのメタデータを送信する分散配置された複数の映像送信装置と、前記映像送信装置から受信した映像データとメタデータをデータベースに蓄積すると共に集中監視する映像受信端末からなる映像監視システムにおいて、
コンピュータを、ストリームデータとして入力されてくる映像データを符号化処理する際に、所定時間毎に符号化処理の開始と終了を繰り返すことによってデータ分割処理を行い、時間的な連続性がある複数の部分映像データを生成し、これを部分映像データとして出力する映像符号化処理ステップと、前記部分映像データのリアルタイム送信を行う映像データ送信ステップと、前記部分映像データに関連し単独で利用可能な部分メタデータを生成し、少なくとも、前記部分映像メタデータの識別子と、時間的な連続関係がある前後の前記部分映像メタデータへのリンク情報と、前記部分映像データへのリンク情報とを含む部分映像メタデータを出力するメタデータ生成ステップと、前記部分映像メタデータを送信するメタデータ送信ステップとを実行させ、前記映像送信装置として機能させることを特徴とするものである。
【００４６】
この発明によれば、請求項１乃至請求項７のいずれかに記載の発明と同様の作用を有する。
【００６３】
以下、本発明の実施の形態について、図を用いて説明する。
【００６４】
（実施の形態１）
図１は、本発明の実施の形態１における映像監視システムのシステム構成図である。
【００６５】
図１の１０１は映像送信装置、１０２は映像受信装置、１０３は、映像送信装置１０１と映像受信装置１０２とを接続する通信ネットワークである。なお、図１においては、３台の映像送信装置１０１に対して１０１ａ〜１０１ｃと表記している。
【００６６】
映像送信装置１０１は、ビデオカメラから取得した映像データをストリームデータとして映像受信装置１０２へリアルタイム送信する映像送信装置であり、映像データ送信と同時に、映像データのメタデータも送信することができる。
【００６７】
映像送信装置１０１は、ハードウェアのみで構成される監視カメラであってもよいし、あるいは、ソフトウェアプログラムの実行環境、映像データの入力手段、映像データ送信手段などを有するパーソナルコンピュータやＰＤＡ（Personal Digital Assistant）、携帯電話などの任意の端末でよい。
【００６８】
映像受信装置１０２は、複数の映像送信装置１０１からリアルタイム送信されてくる映像ストリーム、および、その映像データのメタデータを受信し、それらのデータを蓄積する映像受信装置であり、受信中の映像データを再生表示する機能や、蓄積されたメタデータを利用して映像データを検索する機能を併せ持つ。
【００６９】
映像受信装置１０２は、ハードウェアのみで構成される装置であってもよいし、あるいは、ソフトウェアプログラムの実行環境、映像データを再生表示する手段、映像データを管理するデータベースなどから構成されるコンピュータシステムでも構わない。
【００７０】
通信ネットワーク１０３は、少なくとも１台以上の映像送信装置１０１と映像受信装置１０２を接続するネットワークであり、映像送信装置１０１と映像受信装置１０２との間で相互通信可能であれば、ＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）、無線ネットワーク、あるいは、それらを複合したネットワークなど、任意のネットワークで構わない。
【００７１】
図１の映像監視システムの動作を説明する。
映像送信装置１０１は、ビデオカメラから入力した映像データを映像受信装置１０２へリアルタイム送信する。映像送信装置１０１が出力する映像データは、ＭＰＥＧ４やＨ.２６３などの任意の符号化方式によって符号化され、データ欠落が発生しない通信経路、すなわち、ネットワークリソースが確保された通信経路を利用して送信される。もちろん、映像送信にデータ欠落が発生する通信経路を利用しても構わないが、データ欠落に対する何らかの対処が必要である。
【００７２】
また、映像送信装置１０１は、映像データ解析を行う手段を有し、映像データ中の有意情報の検出処理と映像データのシーン分割処理を実行し、これらのデータ解析結果を基にしてシーン単位のメタデータを生成し、これを映像受信装置１０２に送信する。このメタデータの送信は、緩い同期をとりながら映像データの送信と並行して実行される。
【００７３】
映像受信装置１０２は、映像送信装置１０１が送信してくる映像データを受信し、受信した映像データのリアルタイム再生処理とデータベースへの蓄積処理を行う。映像受信装置１０２のユーザ、すなわち、映像監視者は、複数の映像送信装置１０１から送信されてくる映像データ中に、有意情報が含まれているか否かを監視する。
【００７４】
映像受信装置１０２は、メタデータ解析処理によって、有意情報を含む映像データ領域を映像監視者に対して通知する機能を有し、映像監視者の負担を軽減することができる。また、データベースに蓄積されているメタデータを利用することによって、映像シーンを即座に検索することも可能である。
【００７５】
ここで、「有意情報」、「シーン分割」、［メタデータ］について説明を加える。
【００７６】
「有意情報」とは、映像受信装置１０２の映像監視者が検知することを求めている情報を指し、例えば、映像データにおいて、平時には存在していないはずの物体が存在している映像データ部分を「有意情報を含む映像データ領域」と呼ぶ。
【００７７】
「シーン分割」とは、時間的に連続する映像データを何らかの判断基準に従って複数の映像データ領域に分割する処理を指し、例えば、動物体が存在する部分と動物体が存在しない部分に映像データを領域分割する処理がこれに相当する。また、単純に基準単位時間ごとに映像データを分割する処理も「シーン分割」である。
【００７８】
「メタデータ」とは、一般にデータのデータを意味し、ここでは、映像データに付随する各種情報やデータ解析結果を記述したデータ指す。また、「メタデータ」は、「映像データ」とは分離独立したデータである。本実施の形態においては、ＸＭＬ（eXtensible Markup Language）に類するデータ記述言語やＭＰＥＧ７のようなマルチメディアコンテンツ記述仕様に従って、映像データのファイル名（識別子）、符号化方式の種別、画像サイズ、録画開始時刻、録画終了時刻、各シーンの開始時刻と終了時刻、シーン中の動物体の有無、映像データファイル間のリンク関係などをメタデータとして記述する。
【００７９】
次に、映像送信装置１０１が送信する映像データのフォーマットについて説明する。
映像送信装置１０１は、映像受信装置１０２へ長時間に亘り映像データを連続送信する。一方、映像受信装置１０２は、映像送信装置１０１が送信してくる映像データを受信し、これを蓄積する。ここで、「長時間」とは数時間から数日、あるいは、映像送信装置１０１が起動されてから停止されるまでの期間という時間を想定している。
【００８０】
この時、送受信する映像データを単純な一本のストリームデータとして扱ってしまうと、映像受信装置１０２に蓄積される映像データファイルは、ファイルがオープンされたまま、長時間に亘ってデータ書き込み処理が継続し、データサイズが増大し続けるファイルになってしまう。この様な映像データファイルは、データ管理の上で扱いにくく、検索、再生、複製などのデータ処理方法が問題となる。
【００８１】
この問題を回避する一つの方法としては、映像受信装置１０２において適度なデータサイズに分割しながら映像データを蓄積する方法を挙げるころができる。しかし、任意の符号化方式で符号化された映像データを対象とする場合には、ファイル分割方法が符号化方式に依存することになるので、映像受信装置１０２の内部構成が複雑になってしまうという問題が発生する。
【００８２】
そこで、映像送信装置１０１は、映像データを単純に連続送信するのではなく、映像データに階層構造を与え、適度な時間間隔毎に映像データを区切りながら送信するものとする。本実施の形態の映像監視システムにおいては、映像データの階層構造は、「全体映像データ」、「部分映像データ」、「シーンデータ」の３階層とする。
【００８３】
図１０は、全体映像データと部分映像データ、シーンデータの関係を図示したものである。
【００８４】
「全体映像データ」とは、１台の映像送信装置１０１が連続送信する映像データ全体を指す。これに対し、「部分映像データ」は、適当な長さで分割された全体映像データの一部である。個々の部分映像データは、単独で復号再生可能な独立した映像データでもある。言い換えると、全体映像データは、時間的な連続性がある複数の部分映像データファイルから構成される。例えば、映像送信装置１０１が、月曜日から金曜日まで連続稼動し、土曜日と日曜日は停止され、稼動中は、１時間毎に映像データの分割処理を行う（映像符号化処理の開始、終了を繰り返す）場合は、月曜日から金曜日の一連の映像データが「全体映像データ」であり、１時間毎に区切った映像データが「部分映像データ」である。
【００８５】
この様に、映像送信装置１０１は、全体映像データを部分映像データに区切りながら送信するので、映像受信装置１０２は、受信した映像データを一つの映像データファイルとして蓄積するのではなく、時間的な連続性のある複数個の映像データファイルとして蓄積することができる。
【００８６】
なお、これ以降、あえて「全体映像データ」と「部分映像データ」を特に区別する必要が無い場合は、両者を単に「映像データ」と呼ぶこととする。
次に「シーンデータ」について説明する。
【００８７】
前述のように、映像送信装置１０１は映像データ解析を行う手段を有しており、映像データのシーン分割処理を行う。すなわち、第２階層の部分映像データは、さらにシーンデータに分割される。ただし、各シーンデータは、個別のデータファイルとして分離独立したデータではなく、部分映像データの論理的なセグメントを意味する。また、部分映像データ自身には、シーンデータに関する情報は含まれておらず、部分映像データのシーン構造に関する情報は、部分映像データのメタデータに記述される。
【００８８】
これ以降、「部分映像データのメタデータ」のことを「部分映像メタデータ」と呼ぶ。また、部分映像データがメタデータを有するのと同様に、全体映像データもメタデータを有するので、「全体映像メタデータのメタデータ」を「全体映像メタデータ」と呼ぶ。
【００８９】
図１１は、全体映像メタデータと部分映像メタデータ、部分映像データの関係を図示したものである。
【００９０】
一つの部分映像データは、必ず一つの部分映像メタデータを有し、部分映像メタデータには、部分映像データとのリンク関係が記述されている。一方、全体映像メタデータは、時間的な連続性がある、複数の部分映像メタデータから構成され、個々の部分映像メタデータには、前後の部分映像メタデータとのリンク関係が記述されている。
【００９１】
具体的には、部分映像メタデータは、その記述要素の一つとして、前の部分映像メタデータのファイル名（＝データ所在を特定するためのアドレス情報）と、後の部分映像メタデータのファイル名を持っている。
【００９２】
この様なデータ構造にすれば、データファイルとして分離独立している部分映像メタデータの時間的な連続関係を維持できるので、「部分映像メタデータの集合体」が「全体映像メタデータ」としても機能し、かつ、「部分映像データ」と「部分映像メタデータ」の対応も取りやすく、映像受信装置１０２におけるデータファイル管理が容易になる。
【００９３】
しかし、部分映像メタデータの中に、前後の部分映像メタデータのファイル名を記述するには、映像送信装置１０１において事前に部分映像メタデータのファイル名を決定しなければならない。そこで、映像送信装置１０１は、メタデータ生成時に、部分映像メタデータのファイル名を定め、部分映像メタデータの記述要素の中に、その部分映像メタデータ自身のファイル名も記述する。すなわち、部分映像メタデータには、自分自身と前後の、合計３種類の部分映像メタデータファイル名が記述される。
【００９４】
従って、映像受信装置１０２は、受信した部分映像メタデータの中に記述されているファイル名を確認し、そのファイル名でデータファイルをオープンして、部分映像メタデータを書き込むことになる。
【００９５】
整理すると、部分映像メタデータは、その記述要素として、前の部分映像メタデータのファイル名と、後の部分映像メタデータのファイル名と、自分自身の部分映像メタデータのファイル名と、自分自身の対応する部分映像データのファイル名とを有している。
【００９６】
ここで、映像受信装置１０２に蓄積された映像データを検索する場合のことを考えてみる。
【００９７】
映像受信装置１０２には、複数の映像送信装置１０１から受信した全ての全体映像データが蓄積されており、各々の全体映像データは、複数の部分映像データファイルに分割されている。同様に、全体映像メタデータも、複数の部分映像メタデータファイルに分割されている。
【００９８】
映像データ検索を行う際には、まず、メタデータを検索することになるが、大量にある部分映像メタデータにランダムにアクセスして、検索条件に合致する部分映像メタデータを見つけ出すのでは非常に効率が悪い。そこで、検索条件を満たす全体映像メタデータを絞り込み、その後に、抽出された全体映像メタデータに属する部分映像メタデータのみを検索できるようにするため、全体映像メタデータにヘッダファイルとフッタファイルを追加することとした。
【００９９】
全体映像メタデータのヘッダファイルは、部分映像メタデータファイルとは分離独立したファイルであり、少なくとも全体映像メタデータの先頭に位置する部分映像メタデータのファイル名が記述されている。同様に、全体映像メタデータのフッタファイルは、部分映像メタデータファイルとは分離独立したファイルであり、少なくとも全体映像メタデータの終端に位置する部分映像データのファイル名が記述されている。
【０１００】
また、本実施の形態においては、全体映像メタデータのヘッダファイルは、フッタファイルへのリンク情報を持ち、全体映像メタデータのフッタファイルは、ヘッダファイルへのリンク情報を持つこととした。これは、部分映像メタデータファイル群を循環リスト構造にするためのものである。
【０１０１】
一方、全体映像メタデータの先頭の部分映像メタデータは、ヘッダファイルへのリンク情報を持たず、全体映像メタデータの終端の部分映像メタデータは、フッタファイルへのリンク情報を持たない。この理由は、ヘッダ/フッタファイルは、全体映像メタデータに属するものであり、個々の部分映像メタデータファイルとは階層が異なるデータであると定義しているためである。
【０１０２】
前述のように、映像受信装置１０２は、大量の映像データファイル、および、そのメタデータファイルを蓄積する。この様な大量のデータファイルを管理するシステムでは、ファイル名の命名規則が重要である。
【０１０３】
図１２は、部分映像データおよび部分映像メタデータのファイル名の命名規則の一例を示したものである。
【０１０４】
この例では、ファイル名は、映像データ送信元の映像送信端末１０１を識別する固体識別番号と、全体映像データの識別番号、部分映像データの識別番号（＝シーケンス番号）から構成され、部分映像データファイルと部分映像メタデータファイル、および、そのヘッダ/フッタファイルとでは異なる拡張子を与えている。このように、全体映像メタデータのヘッダ/フッタファイルには、部分映像メタデータファイルとは容易に区別できるファイル名を付けるものとする。
【０１０５】
次に、図１３〜図１５を用いて、メタデータのフォーマットについて説明する。
【０１０６】
図１３は、部分映像メタデータの記述例である。
この部分映像メタデータは、XMLに類する架空のデータ記述言語で記述したものであり、「リンク情報」、「先頭パラメータ」、「シーンメタデータ」、「終端パラメータ」から構成されている。
【０１０７】
リンク情報には、関連データファイルのファイル名、すなわち、前の部分映像メタデータのファイル名、自分自身の部分映像メタデータのファイル名、後の部分映像メタデータのファイル名、そして、部分映像データのファイル名が記述する。
【０１０８】
先頭パラメータ、および、終端パラメータには、部分映像データの記録日時やシーン番号などの情報を記述する。
【０１０９】
シーンメタデータには、そのシーンに関連する各種情報、例えば、シーン番号、シーン確定情報（詳細は後述）、シーン中のフレーム数、記録日時、映像解析結果などを含む。また、シーンメタデータは、分割されたシーンの個数分だけ部分映像メタデータの中に含まれている。
【０１１０】
このような部分映像メタデータは、映像送信装置１０１において生成され、映像受信装置１０２へ送信される。
【０１１１】
映像送信装置１０１は、部分映像メタデータの送信に先立ち、全体映像メタデータのヘッダファイルを生成し、これを映像受信装置１０２へ送信する。また、映像送信装置１０１は、全体映像メタデータを構成する全ての部分映像メタデータを送信し終わった後、これに引き続いて、全体映像メタデータのフッタファイルを生成し、これを映像受信装置１０２へ送信する。
【０１１２】
図１４は、全体映像メタデータのヘッダファイルの記述例であり、図１５は、全体映像メタデータのフッタファイルの記述例である。
【０１１３】
これらのヘッダ/フッタファイルは、部分映像メタデータと同様に、XMLに類する架空のデータ記述言語で記述され、関連データファイルへのリンク情報と、全体映像データに共通する各種情報、例えば、記録日時や映像を撮影した端末の識別子、映像符号化方式の種別、画像サイズ、フレームレート(fps)やビットレート(bps)などが記述される。
【０１１４】
ここで、部分映像メタデータの送信方法について補足する。
前述のように、映像送信装置１０１は、単純に映像データを送信するのではなく、映像データを複数の部分映像データに分割し、映像受信装置１０２へ部分映像データと部分映像メタデータを送信する。また、映像送信装置１０１は、部分映像データを複数のシーンに分割し、部分映像メタデータの中に、部分映像のシーン分割に関する情報を記述する。
【０１１５】
部分映像データは、リアルタイム送受信可能なストリームデータであるのに対し、部分映像メタデータは、図１３の例のようなテキストファイルである。
【０１１６】
一つの部分映像データの記録時間は任意である。例えば、全体映像データの記録時間が２４時間であり、部分映像データの記録時間が１時間であるとすると、映像受信装置１０２では、部分映像データの受信を開始してから１時間が経過しないと、その部分映像データのメタデータを利用することができない。
【０１１７】
すなわち、映像送信装置１０１において、完全な部分映像メタデータファイルを生成し、これを映像受信装置１０２へ送信する場合には、映像受信装置１０２では、部分映像データの受信が完了するまで、部分映像メタデータを参照することができない。
【０１１８】
しかしながら、映像監視システムはリアルタイム性が重要であり、送受信中の部分映像データについてもメタデータを利用できることが望ましい。そこで、映像送信装置１０１は、部分映像メタデータを一つのデータファイルとして送信するのではなく、部分映像メタデータをシーンメタデータ単位に分割して送信する。
映像送信装置１０１が、図１３に示す部分映像メタデータを送信する手順を示す。
【０１１９】
（１）部分映像データの送信に先立って、部分映像メタデータのリンク情報と先頭パラメータを送信する。
【０１２０】
（２）部分映像データの送信と並行して、部分映像データのシーン分割処理を実行する。
【０１２１】
（３）シーン分割結果が出力される度にシーンメタデータを生成し、シーンメタデータを送信する。
【０１２２】
（４）部分映像データの終端に達したら、終端パラメータを送信する。
【０１２３】
すなわち、映像送信装置１０１は、映像データのシーン分割処理に同期して、シーンメタデータを生成し、これを映像受信装置１０２へ送信する。一方、映像受信装置１０２は、映像送信装置１０１から送信されてくるリンク情報、先頭パラメータ、複数のシーンメタデータ、終端パラメータを連結して、部分映像メタデータを生成し、これを一つのデータファイルとして蓄積する。
【０１２４】
次に、シーンメタデータに含まれる「シーン確定情報」について説明する。シーンメタデータの「シーン確定情報」とは、そのシーンメタデータが暫定的なものであるか、確定的なものであるかを示す情報である。
【０１２５】
映像送信装置１０１は、映像解析に基づいて部分映像データのシーン分割を実行するが、長時間に亘り映像データに変化が無いと一つのシーンの時間が長くなる。場合によっては、部分映像データが複数のシーンに分割されず、ただ一つのシーンしか持たない場合もあり得る。このような状況になると、映像送信装置１０１がシーンメタデータを送信する時間間隔が長くなり、映像受信装置１０２におけるメタデータ検索の利便性が低下する。
【０１２６】
そこで、映像送信装置１０１は、映像解析によるシーン分割の結果に関わらず、定期的に暫定的なシーン分割を行い、映像受信装置１０２へシーンメタデータを送信するようにする。
【０１２７】
これ以降、シーン分割が暫定的なシーンメタデータを「暫定シーンメタデータ」と呼び、シーン分割が確定的なシーンメタデータを「確定シーンメタデータ」と呼ぶことにする。
【０１２８】
映像送信装置１０１は、シーン分割が確定していない状態でシーンメタデータを送信する際には、シーンメタデータ中のシーン確定情報に暫定シーンメタデータであることを記述した上で、映像受信装置１０２へシーンメタデータを送信する。その後、シーン分割が確定したら、映像送信装置１０１は、改めてシーン分割が確定したシーンメタデータを映像受信装置１０２へ送信する。
【０１２９】
図１６は、暫定シーンメタデータと確定シーンメタデータの一例を示したものである。
【０１３０】
ここでは、映像送信装置１０１は、映像解析による動物体検出を行い、検出したシーン中の動物体の個数と、シーン番号、シーン確定情報をシーンデータ中に記録するものとする。
【０１３１】
まず、映像送信装置１０１は、映像解析によるシーン分割判定が進行中である映像部分のシーンメタデータ、すなわち、暫定シーンメタデータを送信する。
図１６（Ａ）が暫定シーンメタデータの例である。この例では、「シーン番号」は"100"、「シーン確定情報」は"暫定"、「動物体個数」は"0"である。また、シーンメタデータ中の「記録終了日時の時刻」は暫定的な値であり、"15:02:30"である。
【０１３２】
映像解析処理が進み、映像中に動物体が検出されると、映像送信装置１０１は動物体を検出した部分を境界にしてシーン分割を実行する。ここでは、映像中に動物体が１個検出され、動物体個数が"0"であるシーン（＝確定シーン）と動物体個数が"1"であるシーン（暫定シーン）に分割されるものとする。
【０１３３】
まず、映像送信装置１０１は、動物体個数が"0"であるシーンに関して、図１６（Ｂ）のような確定シーンメタデータを生成し、これを映像受信装置１０２へ送信する。この確定シーンメタデータは、「シーン番号」は"100"、「シーン確定情報」は"確定"、「記録終了日時の時刻」は"15:05:00"、「動物体個数」は"0"である。
【０１３４】
これに引き続き、映像送信装置１０１は、図１６（Ｂ）の確定シーンの後の映像データ部分、すなわち、まだ終端が確定していない映像データ部分に関して、図１６（Ｃ）のような暫定シーンメタデータを生成し、これを映像受信装置１０２へ送信する。この暫定シーンメタデータは、直前に送信したシーン番号が"100"の確定シーンメタデータに連続するものであり、「シーン番号」は"101"、「シーン確定情報」は"暫定"、「動物体個数」は"1"である。
【０１３５】
さらに、映像送信装置１０１におけるシーン分割処理が進むと、図１６（Ｃ）の暫定シーンメタデータに対応する暫定シーンも、シーン終端が確定して、確定シーンとなる。
【０１３６】
図１７は、映像受信装置１０２における部分映像メタデータの生成過程を示したものである。
【０１３７】
映像受信装置１０２は、受信したシーンメタデータを結合することによって部分映像メタデータを生成するが、その際に、暫定シーンメタデータと確定シーンメタデータを区別する。
【０１３８】
すなわち、暫定シーンメタデータは、あくまで暫定的なシーンメタデータであるので、図１７に示すように、映像受信装置１０２は、受信済みの暫定シーンメタデータと同じシーン番号を持つ確定シーンメタデータを受信したら、暫定シーンメタデータを破棄した後に、新たに受信した確定シーンメタデータを部分映像メタデータに追加する。
【０１３９】
このように、本実施の形態の映像監視システムは、映像送信装置１０１では、シーン分割が未確定な状態にあっても所定時間毎に暫定シーンメタデータを送信し、シーン分割確定後に、改めて確定シーンメタデータを送信する処理を繰り返し、送信受信装置１０２では、受信したシーンメタデータを連結して部分映像メタデータを生成する際に、暫定シーンメタデータを確定シーンメタデータに適宜、置き換えていくというメタデータ送受信処理を行う。
【０１４０】
メタデータ送受信処理への確定/暫定シーンメタデータの導入は、リアルタイム送受信中である映像データの受信済みデータ部分の検索可能範囲を広げ、映像受信装置１０２における映像データ検索の利便性、リアルタイム性の向上という効果をもたらす。
【０１４１】
次に、映像受信装置１０２における映像データ検索について説明する。
図１８は、映像受信装置１０２における映像データ検索時のファイル参照方法を示したものである。
【０１４２】
ここでは、ある特定の映像送信装置１０１から受信した映像データについて、ある特定の時刻範囲に記録された映像データを再生すると仮定する。この場合、まず、映像受信装置１０２に蓄積されている全体映像データヘッダファイルを検索し（図１８の(1)）、検索対象の全体映像データを特定する。
【０１４３】
このヘッダファイル検索では、メタデータ中の端末固体番号と記録開始時刻を参照する（記録終了時刻はフッタファイルを参照）。部分映像メタデータのヘッダファイルが特定されたら、その中に記述されている最初の部分映像メタデータのファイル名を基点として、部分映像メタデータファイルを辿っていき、検索対象の時刻範囲を含む部分映像メタデータを特定する（図１８の(2)）。
そして、選択した部分映像メタデータに記述されている部分映像データのファイル名を取得し、そのファイル名が示す部分映像データファイルにアクセスする（図１８の(3)）。
【０１４４】
この様な検索手順を踏むと、複数ファイルに分割されている時間的な連続性のある映像データファイル群から、所望のシーンを含む部分映像データファイルを効率よく検索することができる。
【０１４５】
次に、映像送信装置１０１と映像受信装置１０２の構成、および、動作の詳細を示す。
【０１４６】
図２は、映像送信装置１０１のブロック構成図である。
図２の各部について順に説明する。
図２において、２０１は映像データを取得するビデオカメラ、２０２はビデオカメラ２０１において取得した映像データを画像メモリに保持する映像データ入力部、２０３は映像データ入力部２０２から取得した映像データを符号化する映像符号化部であり、符号化した映像データ、および、符号化処理時の各種パラメータを出力する。２０４は、映像符号化部２０３において符号化した映像データを送信する映像データ送信部であり、符号化映像データのビットストリームを適切なサイズに分割し、これにデータ送信用ヘッダを付加したパケットデータを出力する。２０５は、映像データ入力部２０２に保持されている映像データに対して任意のデータ解析処理を行い、データ解析結果を外部へ出力する映像データ解析部、２０６は映像データ解析部２０５が出力するデータ解析結果をメタデータに整形するメタデータ生成部、２０７はメタデータ生成部２０６において生成されたメタデータを送信するメタデータ送信部であり、メタデータを適切なサイズに分割し、これにデータ送信用ヘッダを付加したパケットデータを出力する。２０８は、映像データ送信部２０４、および、メタデータ送信部２０７が出力するパケットデータや、通信制御用パケットデータをネットワークに送出する通信部、２０９は映像データ受信装置１０２との間の通信制御を行う通信制御部であり、通信制御のほかに、映像送信装置１０１内の各部（２０１〜２０８）の制御や、映像符号化処理の各種パラメータ設定も実行する。映像送信装置１０１は、前述のように、専用のハードウェアであっても良いし、パーソナルコンピュータと周辺機器から構成され、一部の処理をソフトウェアプログラムで実現したものであっても良い。
【０１４７】
例えば、図２の２１０の部分（２０４〜２０７に相当する機能）をソフトウェアプログラムとして実装し、映像送信装置１０１の有するハードウェア資源（例：ＣＰＵ、メモリ）を用いて、映像送信処理を実行するものとして良い。さらには、映像符号化部２０３や通信制御部２０９も、ソフトウェアプログラムとして実装するものとしても構わない。
【０１４８】
次に、映像送信装置１０１の動作を、映像データ送信処理とメタデータ生成処理、および、メタデータ送信処理とに分けて説明する。図４は、映像送信装置１０１における映像データ送信処理手順の一例を示すフローチャートである。
【０１４９】
このフローチャートは、映像送信装置１０１が映像データをビデオカメラから入力し、その映像データをネットワーク経由で映像受信装置１０２へ送信するまでの処理の流れを示したものである。
【０１５０】
ステップＳ４０１は、映像データの先頭判定処理である。映像送信装置１０１は、ビデオカメラから入力した映像データを符号化し、符号化映像データを長時間に亘り連続送信する。ただし、映像送信装置１０１は、一本のストリームデータとして映像データを送信するのではなく、適度に区切りながら映像データを送信する。すなわち、映像送信装置１０１は、所定時間毎に符号化処理の開始/終了を繰り返しながら映像データストリームを送信する。当ステップでは、分割された映像データの先頭であるか否かを判定し、映像データの先頭である場合は次のステップＳ４０２へ移行し、映像データの先頭ではない場合は、ステップＳ４０２をスキップして、ステップＳ４０３へ移行する。
【０１５１】
ステップＳ４０２は、映像データ先頭処理であり、映像データの符号化処理に関わる初期化処理を行う。また、当ステップでは、全体映像メタデータのヘッダファイルの出力修理も行う。
【０１５２】
全体映像メタデータのヘッダファイルには、図１４のように、部分映像データへのリンク情報や、映像データを撮像した映像送信装置１０１を特定する端末固体識別子、画像サイズ、符号化方式の種別、記録開始日時などを記述する。
【０１５３】
全体映像メタデータのヘッダファイルは、メタデータ生成部２０６において生成され、メタデータ送信部２０７および通信部２０８を経由して、映像受信装置１０２へ送信される。ただし、このヘッダファイル出力は、当ステップにおいて毎回実行するのではなく、全体映像データの先頭の部分映像データを送信する直前に限り実行される。
【０１５４】
ステップＳ４０３は、映像データ入力処理であり、ビデオカメラ２０１から映像データ入力部２０２へ所定のフレームレートで映像データを入力する。映像データ入力部２０２は、ダブルバッファ形式の画像メモリを有しており、画像メモリに取り込まれた画像データは、映像符号化部２０３や映像データ解析部２０５がアクセスすることができる。
【０１５５】
ステップＳ４０４は、映像データの符号化処理であり、映像符号化部２０３が映像データ入力部２０２に保持されている画像データを取得し、その画像データに対して符号化処理を行う。映像データの符号化方式は、ＭＰＥＧ４やＨ．２６３などの任意の符号化方式で構わない。
【０１５６】
ステップＳ４０５は、符号化情報出力処理であり、ステップＳ４０４の符号化処理実行時の各種符号化パラメータを映像データ解析部２０５へ出力する。
ここで、各種符号化パラメータは、１フレームの画像データのデータ長や、符号化処理を実行した時刻、符号化処理の中間情報（例：ＭＰＥＧ４のＤＣＴ係数や動きベクトル情報）など、符号化処理に関わる任意の情報を指す。
【０１５７】
これらの情報を映像データ解析部２０５へ出力するのは、映像データ解析部で２０５において、映像符号化部２０３で実行される処理と類似するデータ解析を実行することを回避するためである。ただし、当ステップは必須の処理ではなく、映像データ解析に有用な情報を出力可能な場合に限り実行すればよい。
【０１５８】
ステップＳ４０６は、符号化データ出力処理であり、映像符号化部２０３において符号化した映像データを、映像データ送信部２０４を介して通信部２０８へ出力し、映像受信装置１０２へ送信する。
【０１５９】
映像送信装置１０１は、前述のように、部分映像データの先頭や終端を意識せずに、一本の連続した映像データであるかのように送信するが、映像データの送信に使用する通信チャネルは同一のものを使用する。すなわち、映像データの分割処理の度に、ネットワークリソースの再確保や、映像送信装置１０１と映像受信装置１０２との間のネゴシエーションの再実行を行わず、部分映像データを連続送信する。
【０１６０】
ステップＳ４０７は、映像符号化部２０３において実行される映像データの終端判定処理である。当ステップでは、所定条件に基づいて、部分映像データの終端処理、すなわち、映像データの分割処理を実行するか否かを判定する。例えば、一定時間毎に映像データの分割処理を実行し、映像解析部２０５が出力する映像データ解析結果が大きく変化した場合には、映像データの分割処理を実行すると判定し、映像データ解析結果に変化が見られない場合には、映像データの分割処理を実行しないと判定する。
【０１６１】
ステップＳ４０７において、映像データの終端処理を実行すると判定した場合は、次のステップＳ４０８へ移行し、映像データの終端処理を実行しないと判定した場合は、ステップＳ４０８をスキップして、ステップＳ４０９へ移行する。
【０１６２】
ステップＳ４０８は、映像データの終端処理であり、映像データの符号化処理の終了処理を行う。当ステップにおいて、一度、映像データの符号化処理を終了させるのは、次のフレームから改めて映像データの符号化処理を開始するためである。すなわち、当ステップの処理は、時間的に連続した映像データを複数の部分映像データファイルに分割する処理である。また、当ステップにおいては、全体映像メタデータのフッタファイルの出力処理も行う。
【０１６３】
全体映像メタデータのフッタファイルには、図１５のように、全体映像データの終端に位置する部分映像データへのリンク情報や、記録終了時刻などを記述する。ただし、このフッタファイル出力は、当ステップにおいて毎回実行するのではなく、全体映像データの終端の部分映像データを送信した直後に限り実行される。
【０１６４】
ステップＳ４０９は、終了判定処理であり、所定の終了条件を満たすか否かを判定し、終了条件を満たさない場合には、ステップＳ４０１へ戻って一連の処理を繰り返し、終了条件を満たす場合には、映像データ送信処理を終了する。ここで、終了条件を満たす場合とは、映像データの送信を中断する、あるいは、映像送信装置１０１を停止することに相当する。
【０１６５】
以上のように、ステップＳ４０１からステップＳ４０９の一連の手順により、映像送信装置１０１から映像受信装置１０２への映像データの送信処理が実行される。
【０１６６】
図５は、映像送信装置１０１におけるシーンメタデータ生成処理手順の一例を示すフローチャートである。このフローチャートでは、図１の映像データ入力部２０２に保持されているフレーム画像データのデータ解析処理を行い、そのデータ解析結果と映像符号化部２０３が出力する符号化情報を基にしてシーンメタデータを生成する処理の流れを示している。
【０１６７】
ステップＳ５０１は、映像データ解析部２０５において実行される、映像データのパラメータ取得処理であり、映像データ入力部２０２や通信制御部２０９から映像データに関する各種パラメータを取得する。取得パラメータの例は、画像サイズ（幅、高さ）や映像送信装置１０１の固体識別子などである。
【０１６８】
ステップＳ５０２は、映像データ解析部２０５において実行される符号化情報取得処理である。ここで、符号化情報とは、図４のステップＳ４０５において出力される情報であり、具体的には、符号化方式の種別、１フレームの符号量、あるいは、符号化処理の中間データの値など、映像符号化処理に関わる各種パラメータである。
【０１６９】
なお、符号化処理の中間データとは、符号化方式がＭＰＥＧ４やＨ.２６３などの場合、各マクロブロックの動きベクトル量やＤＣＴ（離散コサイン変換）の直流線分の値など、映像符号化部２０３より取得可能であり、かつ、映像データ解析部２０５において有効利用できる情報のことを指す。
【０１７０】
ステップＳ５０３は、映像データ入力処理であり、映像データ解析部２０５が、映像データ入力部２０２に保持されているフレーム画像データを取得する。なお、映像データ入力部２０２のフレーム画像データに適宜アクセスしながら、映像データ解析を実行できる場合には、当ステップは省略してもよい。
【０１７１】
ステップＳ５０４は、映像データ解析部２０５において実行される映像データ解析処理であり、ステップＳ５０３で取得したフレーム画像データのデータ解析を行う。
【０１７２】
この映像データ解析処理は、メタデータとして記述する任意情報を算出する処理であり、例えば、映像データ中に動物体が存在するか否かを示す値、映像データ中に存在する動物体の個数、映像データ中に存在する動物体の面積（＝フレーム画像データの全画素に対する動物体領域の画素の割合）や、映像データの明るさを示す値などを算出する。
【０１７３】
なお、当ステップの映像データ解析においては、ステップＳ５０２において取得される符号化情報を利用してもよい。当ステップにおいて、ステップＳ５０２で取得される符号化情報を映像データ解析処理に利用しない場合には、ステップＳ５０２は省略することができる。逆に、ステップＳ５０２において取得される符号化情報が、そのまま映像データ解析結果として使用できる場合には、ステップＳ５０３、および、ステップＳ５０４は省略することができる。
【０１７４】
ステップＳ５０５は、映像データ解析部２０５において実行される暫定シーン情報更新処理である。暫定シーン情報とは、ステップＳ５０４において取得したデータ解析結果を蓄積した情報である。すなわち、ステップＳ５０５では、シーン分割が確定していないフレーム画像データのデータ解析結果を保持し、これを更新していく。
【０１７５】
ステップＳ５０６は、映像解析部２０５において実行されるシーン分割判定処理である。当ステップでは、ステップＳ５０５で取得した暫定シーン情報を所定のシーン分割判定基準に照らし合わせ、シーン分割を実行するか否かを判定する。
例えば、データ解析結果の変動量やデータ解析結果の連続性などに関するシーン分割判定基準を設定し、時間的に連続しており、かつ、データ解析結果に共通項が存在する複数のフレーム画像データを一つのシーンとして判定する。
【０１７６】
具体例としては、映像データ中の動物体の有無をシーン分割判定基準として採用し、映像データ中の動物体の有無が変化した部分をシーンの境界として定める。このようなシーン分割判定を行うと、映像中に動物体が存在しない部分と動物体が存在する部分が別々のシーンとして分割されることになる。
【０１７７】
ステップＳ５０６において、シーン分割を実行すると判定した場合には次のステップであるステップＳ５０７に移行し、シーン分割を実行しないと判定した場合には、ステップＳ５０１に戻って一連の処理を継続する。
【０１７８】
ステップＳ５０７は、メタデータ生成部２０６において実行されるシーンメタデータ生成処理である。当ステップでは、ステップＳ５０６のシーン分割判定によって、１つのシーンと判定された映像データ部分に対応するシーンメタデータを生成する。このシーンメタデータには、そのシーンに対応する映像データ解析結果、例えば、そのシーンの動物体の有無や個数や、シーン先頭および終端の時刻情報などが記述される。
【０１７９】
図１６は、シーンメタデータの一例を示したものである。
ステップＳ５０８は、シーンメタデータ出力処理であり、ステップＳ５０７において生成されたシーンメタデータをメタデータ送信部２０７へ出力する。メタデータ送信部２０７に出力されたシーンメタデータは、通信部２０８を介して映像受信装置１０２へ送信されることになるが、そのメタデータ送信手順については後述する。
【０１８０】
ステップＳ５０９は、終了判定処理であり、所定の終了条件を満たすか否かを判定する。終了条件を満たさない場合には、ステップＳ５０１へ戻って一連の処理を繰り返し、終了条件を満たす場合には、映像データ送信処理を終了する。ここで、終了条件を満たす場合とは、映像データの送信を中断する、あるいは、映像送信装置１０１を停止することに相当する。
【０１８１】
以上のように、ステップＳ５０１からステップＳ５０９の一連の手順により、映像送信装置１０１におけるシーンメタデータ生成処理が実行される。
【０１８２】
図６は、映像送信装置１０１におけるシーンメタデータ送信処理手順の一例を示すフローチャートである。このフローチャートでは、メタデータ生成部２０６で生成されたシーンメタデータを送信用パケットに整形し、そのパケットを映像受信装置１０２へ送信する処理の流れを示している。
【０１８３】
ステップＳ６０１は、メタデータ送信部２０７において実行されるシーンメタデータ取得処理であり、メタデータ生成部２０６から出力されるシーンメタデータを取得する。
【０１８４】
ステップＳ６０２は、メタデータ送信部２０７において実行されるシーンメタデータ結合処理であり、ステップＳ６０１で取得したシーンメタデータを時系列に結合していく。当ステップの処理は、（映像データと比較すると、個々のシーンメタデータのデータサイズは非常に小さいので、）いくつかのシーンメタデータを一つのパケットにまとめて送信するためのものである。
【０１８５】
ただし、前述のようにシーンメタデータには、暫定/確定シーンメタデータがあるので、当ステップにおいて、暫定シーンメタデータと同じシーン番号を持つ確定シーンメタデータを連結する際には、暫定シーンメタデータは必ず削除するものとする。
【０１８６】
ステップＳ６０３は、メタデータ送信部２０７において実行されるメタデータ送信判定であり、所定の送信判定条件に基づいてメタデータ送信の実行の可否を判定する。
【０１８７】
ここで、所定の送信判定条件とは、送信時刻やデータサイズに関する条件である。例えば、データ送信の最長時間間隔 Tmax、および、最大データ長 Lmaxを定義しておき、前回のデータ送信時刻 Tprev から現時刻Tnow までの時間がTmaxを超えるか、もしくは、複数のシーンメタデータを結合したパケットデータのデータサイズL がLmaxより大きくなった場合に、メタデータを送信すると判定する。当ステップにおいて、メタデータを送信すると判定した場合には、次のステップに移行し、まだメタデータを送信しないと判定した場合には、ステップＳ６０１へ戻り、シーンメタデータの取得および結合を繰り返す。
【０１８８】
ステップＳ６０４は、メタデータ送信部２０７において実行されるメタデータパケット送信処理であり、複数のシーンメタデータを含むパケットデータを映像受信装置１０２へ送信する。このパケットデータの送信処理では、信頼性のあるトランスポートプロトコルを使用するなどの措置を取り、映像受信装置１０２においてパケットデータの受信漏れが無いようにする。
【０１８９】
なお、複数のシーンメタデータを結合して１つのパケットデータとして送信するのではなく、個々のシーンメタデータ単位で送信することとしても良い。この場合は、ステップＳ６０２およびステップＳ６０３を省略して、ステップＳ６０１において取得したシーンメタデータをそのまま送信することとしても構わない。
【０１９０】
ステップＳ６０５は、通信制御部２０９において実行される終了判定処理であり、所定の終了条件を満たすか否かを判定する。終了条件を満たさない場合には、ステップＳ６０１へ戻って一連の処理を繰り返し、終了条件を満たす場合には、メタデータ送信処理を終了する。ここで、終了条件を満たす場合とは、映像データの送信を中断する、あるいは、映像送信装置１０１を停止することに相当する。
【０１９１】
以上のように、ステップＳ６０１からステップＳ６０５の一連の手順により、映像送信装置１０１から映像受信装置１０２へのシーンメタデータ送信処理が実行される。
【０１９２】
図４〜図６によって、映像送信装置１０１における映像データ、および、シーンメタデータの送信処理を説明した。
【０１９３】
次に、映像受信装置１０２の処理について説明する。
図３は、映像受信装置１０２のブロック構成図である。
【０１９４】
３０１は、映像送信装置１０１との相互通信を行い、映像送信装置１０１が送信してくる映像データ、および、その映像データのメタデータを受信する通信部である。通信部３０１では、映像データとメタデータを個別のチャネルを使用して受信し、後段部へ映像データとメタデータを出力する。
【０１９５】
３０２は、通信部３０１より映像データを受信する映像データ受信部である。ここでは、映像データの符号化方式の種別は特に規定しない。映像送信装置１０１と映像受信装置１０２が同一の符号化方式を採用していれば、任意の符号化方式でよいものとする。
【０１９６】
３０３は、映像データ受信部３０２から映像データを受信し、その映像データの復号処理を行う映像復号部である。復号した映像データは、後段のコンテンツ表示部３０４へ出力する。なお、映像復号部３０３は、複数個の部分映像データから構成される全体映像データを復号再生する能力を有するものとする。すなわち、映像復号部３０３は、時間的な連続性がある、複数個の部分映像データファイルを復号処理する場合、時間的な途切れの無い一つの連続したストリームデータとして処理することができる。
【０１９７】
３０４は、映像復号部３０３から復号された映像データを受け取り、映像データの表示処理を行うコンテンツ表示部である。コンテンツ表示部３０４は、メタデータをユーザ可読なフォーマットに変換する機能も有する。また、コンテンツ表示部３０４は、表示処理を行った映像データやメタデータをコンテンツ表示デバイス３１２（例：ディスプレイ）に出力する。
【０１９８】
３０５は、通信部３０１よりシーンメタデータを受信するシーンメタデータ受信部である。映像送信装置１０１は、少なくとも１個以上のシーンメタデータを含むパケットを送信してくる。シーンメタデータ受信部３０５は、受信したシーンメタデータを後段部へ出力する。
【０１９９】
３０６は、シーンメタデータ受信部３０５から取得したシーンメタデータを連結し、部分映像メタデータを生成する映像メタデータ生成部である。
シーンメタデータには、確定シーンメタデータと暫定シーンメタデータがある。映像メタデータ生成部３０６では、映像送信装置１０１から順次送信されてくるシーンメタデータを連結して映像メタデータを生成するが、確定シーンメタデータと暫定シーンメタデータとを区別して連結処理を行う。
【０２００】
すなわち、映像メタデータ生成部３０６は、既に処理済みの暫定シーンメタデータと置き換えるべき確定シーンメタデータを受信したら、暫定シーンメタデータを破棄した上で、確定シーンメタデータを部分映像メタデータに連結する。
３０７は、最新のシーンメタデータを解析し、シーンメタデータ中に有意情報が含まれているか否かの判定を行うメタデータ解析部である。シーンメタデータには、映像送信装置１０１において実行された映像解析結果が含まれており、このシーンメタデータ中の映像解析結果を参照することによって、平時とは異なる状況の映像データを受信中であることを即座に検知することができる。
【０２０１】
メタデータ解析部３０７は、映像メタデータ生成部３０６より受信したシーンメタデータを解析し、所定の判定条件に合致するシーンメタデータを検出したら、後段の警告部３１１へ通知する。
【０２０２】
３０８は、映像データおよびメタデータの蓄積処理や検索処理、ファイル管理処理を行うデータ管理部である。データ管理部３０８は、映像データ受信部３０２から出力されてくる映像データを記憶装置３１４に蓄積したり、記憶装置３１４に蓄積されている映像データを読み出す処理を行う。
【０２０３】
また、映像メタデータ生成部３０６から出力されてくるデータを記憶装置３１４に蓄積し、記憶装置３１４に蓄積されているメタデータを読み出す処理を行う。すなわち、データ管理部３０８は、映像データ、および、メタデータを管理するデータベースとして機能する。
【０２０４】
３０９は、映像送信装置１０１との間の通信制御を行う通信制御部であり、通信制御のほかに、映像受信装置１０２内部の各部の制御も実行する。
【０２０５】
３１０は、蓄積済みの映像データおよびメタデータの検索処理を行う検索部である。
【０２０６】
３１１は、映像受信装置１０２のユーザ（=映像監視者）に対して任意手段で警告する警告部である。警告部３１１は、メタデータ解析部３０７からの指示を受けて、所定の警告処理を実行する。ここで、所定の警告処理とは、例えば、受信映像の再生表示と共に、警報ランプを点灯する処理や、警報ブザーを鳴らす処理である。
【０２０７】
３１２は、映像表示部３０４が出力する映像を表示するコンテンツ表示デバイスである。コンテンツ表示デバイス３１２には、受信した映像データをリアルタイム表示する他に、蓄積されている映像データの再生表示にも使用される。また、コンテンツ表示デバイス３１２は、映像表示用の専用ハードウェアである必要は無く、パソコンのウィンドウ画面にオーバーレイ表示してよい。
【０２０８】
３１３は、映像データを検索するためのデータ入力インタフェースである。データ入力インタフェース３１３を介して入力された情報は検索部３１０に出力され、この情報に基づいて、映像データの検索処理が実行される。
【０２０９】
３１４は、受信した映像データおよび映像メタデータを蓄積する記憶装置である。記憶装置３１４はデータ管理部３０８の管理下にあり、データ管理部３０８を介して、映像データ、および、メタデータの入出力処理が実行される。
【０２１０】
映像受信装置１０２は、前述のように、専用のハードウェアであっても良いし、パーソナルコンピュータと周辺機器から構成され、一部の処理をソフトウェアプログラムで実現したものであっても良い。
【０２１１】
例えば、図３の３１５（３０２〜３０８に相当する機能）をソフトウェアプログラムとして実装し、映像受信装置１０２の有するハードウェア資源（例：ＣＰＵ、メモリ）を用いて、映像受信処理を実行するものとして良い。さらには、映像復号部３０３や通信制御部３０９、検索部３１０も、ソフトウェアプログラムとして実装するものとしても構わない。
【０２１２】
本実施の形態においては、映像受信装置１０２は、１台の映像送信装置１０１から映像データを受信すると仮定して説明する。ただし、映像受信装置１０２は、複数の映像送信装置１０１からの映像データを受信する構成に容易に機能拡張することができる。
【０２１３】
例えば、映像復号部３０３や、映像表示部３０４、ディスプレイ３１２は、受信する映像データの本数と同じ数だけ用意し、映像データ受信部３０２やメタデータ生成部は、映像送信元を区別してデータ処理を実行できるようにすれば良い。あるいは、映像データ受信部３０３や映像復号部３０４が受け持つ処理をマルチスレッド対応のソフトウェアプログラムとして実装することでも複数映像データの同時受信に対応することができる。
【０２１４】
次に、映像受信装置１０２の動作について説明する。図７は、映像受信装置１０２における映像データ受信処理手順を示すフローチャートの一例である。このフローチャートは、映像受信装置１０２が映像データを受信し、その映像データを再生表示し、データベースへ蓄積する処理の流れを示したものである。
【０２１５】
ステップＳ７０１は、映像送信装置１０１が送信してくる映像データを受信する映像データ受信処理である。当ステップは、通信部３０１および映像データ受信部３０２において実行される。
【０２１６】
ステップＳ７０２は、映像データ受信部３０２において実行される映像データの先頭判定処理である。前述のように、映像送信装置１０１が長時間に亘り連続送信してくる映像データは、部分映像データに分割されている。映像受信装置１０２では、部分映像データを個々に独立した映像データファイルとして管理する。
ここで、「映像データの先頭」とは、部分映像データの先頭を指し、「映像データの先頭判定処理」とは、部分映像データの先頭を検出する処理を指す。例えば、MPEG4やH.263などの映像データでは、スタートコードと呼ばれる特定のビット列を検出することによって、映像データの先頭を検知することができる。
【０２１７】
当ステップにおいて、部分映像データの先頭を検知したら次のステップＳ７０３へ移行し、それ以外の場合はステップＳ７０３をスキップする。
【０２１８】
ステップＳ７０３は、データ管理部３０８において実行される映像データファイルの先頭処理である。前のステップＳ７０２において部分映像データの先頭が検知されたということは、その直前に１つの部分映像データの受信が完了し、新たな部分映像データの受信が開始されることを意味する。
【０２１９】
ステップＳ７０３では、データ管理部３０８において、部分映像データのデータベースへの蓄積を開始するための処理（例えば、映像データファイルのオープン）を行う。また、必要ならば、映像データの復号処理の初期化処理も当ステップにおいて実行する。
【０２２０】
ステップＳ７０４は、データ管理部３０８で実行される映像データ蓄積処理である。映像受信装置１０２では、部分映像データを個々に独立した映像データファイルとして管理する。
【０２２１】
映像送信装置１０１は、部分映像データを一つのファイルとして一括してファイル転送するのではなく、ストリームデータとして送信してくる。すなわち、ステップＳ７０１において一回に受信するデータは、部分映像データの一部である。当ステップでは、ステップ７０１で受信したデータを連結していくことによって、部分映像データを再構成する。
【０２２２】
ステップＳ７０５は、映像データ受信部３０２において実行される映像データの終端判定処理である。当ステップでは、部分映像データの終端を検知する処理を行い、部分映像データの終端を検知した場合には、次のステップＳ７０６に移行し、それ以外の場合は、ステップＳ７０６をスキップする。
【０２２３】
ステップＳ７０６は、データ管理部３０８において実行される映像データファイルの終端処理である。ステップＳ７０５において、部分映像データの終端が検知された場合、ステップＳ７０６において、部分映像データのデータファイルを閉じ、次の部分映像データの受信に備える。
【０２２４】
なお、部分映像データがデータ終端を検知できないフォーマットである場合には、ステップＳ７０３の映像データファイル先頭処理において、前の部分映像データの終端処理を実行することも可能である。
【０２２５】
ステップＳ７０７は、受信した映像データの復号処理、および、表示処理を行う映像データ再生処理である。当ステップの実行には、映像復号部３０３、コンテンツ表示部３０４、コンテンツ表示デバイス３１２などが関与する。映像データ受信時に映像表示を行う必要が無い場合は、当ステップは省略してよい。
【０２２６】
ステップＳ７０８は、通信制御部３０９において実行される終了判定処理であり、所定のデータ受信終了条件を満たすか否かを判定する。終了条件を満たさない場合には、ステップＳ７０１へ戻って一連の処理を繰り返し、終了条件を満たす場合には、映像データの受信処理を終了する。ここで、終了条件を満たす場合とは、映像データの受信を中断する、あるいは、映像受信装置１０２を停止することに相当する。
【０２２７】
以上のように、ステップＳ７０１からステップＳ７０８の一連の手順により、映像受信装置１０２の映像データ受信処理が実行される。
【０２２８】
図８は、映像受信装置１０２におけるシーンメタデータ受信処理手順の一例を示すフローチャートである。このフローチャートは、映像送信装置１０１から受信したシーンメタデータを連結して部分映像メタデータを生成し、これを蓄積する処理の流れを示したものである。
【０２２９】
ステップＳ８０１は、映像送信装置１０１が送信してくるシーンメタデータを受信するシーンメタデータ受信処理である。当ステップは、通信部３０１およびシーンメタデータ受信部３０５において実行される。映像送信装置１０１は、部分映像データを構成する各シーンのメタデータをパケットデータとして送信する。このパケットデータには、少なくとも１個以上のシーンメタデータが含まれている。
【０２３０】
ステップＳ８０２は、映像メタデータ生成部３０６において実行される部分映像メタデータの先頭判定処理である。映像受信装置１０２は、映像送信装置１０１が送信してくるシーンメタデータを連結して部分映像メタデータを生成する。当ステップでは、処理対象のシーンメタデータが、部分映像メタデータの先頭のシーンメタデータであるか否かを判定する。部分映像メタデータの先頭のシーンメタデータである場合は、次のステップＳ８０３に移行し、そうではない場合は、ステップＳ８０３をスキップしてステップＳ８０４に移行する。
【０２３１】
ステップＳ８０３は、部分映像メタデータの先頭処理である。シーンメタデータ、および、部分映像メタデータは、それぞれ単独でメタデータとして機能するが、メタデータをデータベースに蓄積する際には、シーンメタデータを連結した部分映像メタデータを１つのデータファイルとして扱う。前のステップＳ８０２において部分映像メタデータの先頭が検知されたということは、その直前に１つの部分映像メタデータの受信が完了し、新たな部分映像メタデータの受信が開始されることを意味する。当ステップでは、データ管理部３０８において、新たな部分映像メタデータのデータベースへの蓄積を開始するための処理（例えば、部分映像メタデータファイルのオープン）を行う。
【０２３２】
ステップＳ８０４は、メタデータ解析部３０７において実行されるシーンメタデータ解析処理である。シーンメタデータは、部分映像データを構成する１つのシーンに対応するメタデータである。このシーンメタデータには、そのシーンの時刻情報や映像解析結果などの情報が含まれている。シーンメタデータの記述内容は、映像送信装置１０１において、どのような映像解析を行い、どのような情報をメタデータとして記述するかとういことに依存する。当ステップでは、シーンメタデータ毎に内容解析を行い、必要に応じて映像受信装置１０２のユーザ（＝映像監視者）に対して、シーンメタデータに記述されている情報を提示する。
【０２３３】
ステップＳ８０５は、メタデータ解析部３０７において実行される有意情報判定処理である。ここで、有意情報の「有意」とは、映像監視の目的によって変化する。本実施の形態は、防犯目的の映像監視システムであり、「有意情報」を「平時とは状況が異なる映像」、具体的には、「動物体が存在する映像」と定義し、シーンメタデータには、映像送信装置１０１における動物体検出処理の結果が含まれているものとしている。
【０２３４】
すなわち、ステップＳ８０５では、各シーンメタデータに記述されている動物体検出処理の結果を読み取り、動物体を含む映像を受信中であるか否かを判定する。当ステップにおいて、有意情報を含むと判定された場合は、次のステップＳ８０６へ移行し、有意情報を含まないと判定された場合には、ステップＳ８０６はスキップしてステップＳ８０７へジャンプする。
【０２３５】
なお、当ステップの実行に際しては、事前に「有意情報」が何を意味するかを規定しておく必要がある。この「有意情報の設定」は、データ入力インタフェース３１３、および、検索部３１０を介して、メタデータ解析部３０７に伝えられるものとする。
【０２３６】
ステップＳ８０６は、有意情報表示処理である。前のステップＳ８０５においてシーンメタデータ中に有意情報が含まれていることを検知した場合、これを映像監視者に通知する。
【０２３７】
受信中の映像データを再生表示していない場合は、記憶装置３１４に蓄積した映像データを読み出して、有意情報を含むシーンから再生表示し、これと同時に警告ランプの点灯や、警告音の出力を行い、映像監視者に異常が発生していることを警告する。本ステップの実行には、メタデータ解析部３０７、コンテンツ表示部３０４、警告部３１１、コンテンツ表示デバイス３１２などが関与する。
【０２３８】
ステップＳ８０７は、データ管理部３０８において実行される部分映像メタデータ蓄積処理である。当ステップでは、記憶装置３１４に蓄積済みの部分映像メタデータファイルに新たに受信したシーンメタデータを追加書き込みする。
ただし、実際のシーンメタデータ追加書き込み処理は、シーンメタデータ受信の度に実行する必要は無く、データ管理部３０８において、ある程度の個数のシーンメタデータを保持しておき、それらを一括して追加書き込みすることにしても良い。
【０２３９】
また、シーンメタデータの追加書き込みの際には、確定シーンメタデータと暫定シーンメタデータとを区別して処理を実行する。すなわち、ステップＳ８０７の部分映像メタデータの蓄積処理においては、暫定シーンメタデータと同一のシーン番号を持つ確定シーンメタデータを検知したら、暫定シーンメタデータを破棄した後に、その確定シーンメタデータを追加書き込みする。
【０２４０】
なお、暫定シーンメタデータは、記憶装置３１４に蓄積せずにデータ管理部３０８に保持しておき、確定シーンメタデータとの置き換え処理を実行するものとしても良い。
【０２４１】
ステップＳ８０８は、メタデータ生成部３０６において実行される部分映像メタデータの終端判定処理である。当ステップでは、処理対象のシーンメタデータが、部分映像メタデータの終端のシーンメタデータであるか否かを判定する。部分映像メタデータの終端である場合には、次のステップＳ８０９へ移行し、部分映像メタデータの終端ではない場合は、ステップＳ８０９をスキップして、ステップＳ８１０へ移行する。
【０２４２】
ステップＳ８０９は、データ管理部３０８において実行される部分映像メタデータの終端処理である。ステップＳ８０８において映像メタデータの終端が検知された場合、当ステップでは、部分映像メタデータのデータファイルを閉じ、次の部分映像メタデータの受信準備を行う。
【０２４３】
ステップＳ８１０は、通信制御部３０９において実行される終了判定処理であり、所定の終了条件を満たすか否かを判定する。終了条件を満たさない場合には、ステップＳ８０１へ戻って一連の処理を繰り返し、終了条件を満たす場合には、映像データの受信処理を終了する。ここで、終了条件を満たす場合とは、映像データの受信を中断する、あるいは、映像受信装置１０２を停止することに相当する。
【０２４４】
以上のように、ステップＳ８０１からステップＳ８１０の一連の手順により、映像受信装置１０２のシーンメタデータ受信処理が実行される。
【０２４５】
なお、映像送信装置１０１は、部分映像データとシーンメタデータの他に、全体映像メタデータのヘッダ/フッタファイルも映像受信装置１０２へ送信してくる。これらのヘッダ/フッタファイルは、映像受信装置１０２において、それぞれ独立したデータファイルとして蓄積すればよいだけので、受信処理手順は省略した。
【０２４６】
図９は、映像受信装置１０２におけるデータ検索処理手順を示すフローチャートの一例である。このフローチャートは、映像受信装置１０２において、ユーザが提示した検索条件に合致する部分映像データを読み出し、その部分映像データに含まれる映像シーンを復号再生する処理の流れを示したものである。
【０２４７】
ステップＳ９０１は、データ入力インタフェース３１３において実行される検索条件取得処理である。当ステップでは、データ入力インタフェース３１３から入力される映像データ検索のための映像検索情報を取得し、取得した情報を検索部３１０へ出力する。映像検索条件としては、映像メタデータに記述されている情報、例えば、映像記録時刻、映像記録場所（映像送信装置１０１を識別する固体識別子）、映像解析結果に関する条件などを設定する。
【０２４８】
ステップＳ９０２は、データ管理部３０８において実行される部分映像メタデータ取得処理である。部分映像メタデータは、全体映像メタデータの一部であり、各部分映像メタデータには、前後の部分映像メタデータへのリンク情報と、部分映像データへのリンク情報が記述されている。また、部分映像メタデータを連結した全体映像メタデータには、ヘッダファイルとフッタファイルが存在する。これらのデータファイルの関係を示したものが図１１である。
【０２４９】
まず、記憶装置３１４に蓄積されている全ての全体映像データのヘッダファイルを検索し、ステップＳ９０１で取得した検索条件に合致するヘッダファイルを選び出す。そのヘッダファイルには、全体映像メタデータの先頭に位置する部分映像メタデータファイルへのリンク情報が記述されているので、これを参照して、順番に部分映像メタデータを辿っていき、検索条件に合致する部分映像メタデータを見つけたら、その部分映像メタデータをデータ管理部３０８に保持する。
【０２５０】
ステップＳ９０３は、シーンメタデータ検索処理である。当ステップには、検索部３１０、データ管理部３０８、および、記憶装置３１１が関与する。当ステップでは、記憶装置３１４から読み出した部分映像メタデータを解析し、ステップＳ９０１において取得した検索条件に合致するシーンメタデータを特定する。このシーンメタデータには、部分映像データの時刻範囲に関する情報が記述されているので、これを映像シーン情報として保持する。また、部分映像メタデータには、その部分映像メタデータに対応する部分映像データのファイル名が記述されているので、当ステップにおいてこのファイル名も取得する。
【０２５１】
ステップ９０４は、データ管理部３０８において実行されるシーンメタデータ検索の終了判定処理である。シーンメタデータ検索処理では、ただ一つのシーンメタデータが検出されるのではなく、複数個のシーンメタデータが検出される場合もある。これに該当するのは、ある程度の時刻範囲を持った映像シーンを検索する場合などである。当ステップでは、ステップＳ９０１において取得した検索条件に合致する全てのシーンメタデータを取得したか否かを判定する。全てのシーンメタデータを取得してシーンメタデータ検索が終了した場合には、次のステップに移行し、検索条件に合致するシーンメタデータが残っている場合には、ステップＳ９０３に戻り、次のシーンメタデータの検索処理を行う。
【０２５２】
ステップＳ９０５は、データ管理部３０８において実行されるデータアクセス制限設定処理である。部分映像メタデータ中の各シーンメタデータには、シーンメタデータの種別を示すシーン確定情報が含まれている。検索対象の部分映像データが受信処理中である場合、部分映像データのファイル終端は確定していない。すなわち、部分映像メタデータの終端のシーンメタデータは暫定シーンメタデータとなっている。当ステップでは、各シーンメタデータのシーン確定情報を参照することによって、ステップＳ９０２において検出された部分映像メタデータが、暫定シーンメタデータを含むか否か確認し、暫定シーンメタデータを含む場合には、部分映像データへのデータアクセス制限を設定する。具体的には、映像データの検索・再生時に、暫定シーンメタデータに対応する映像シーンよりも後ろの映像シーンにデータアクセスすることがないように制限する。
【０２５３】
このような措置をとる理由を以下に説明する。
前述のように、部分映像メタデータの終端が暫定シーンメタデータであることは、その部分映像メタデータは、受信・蓄積処理であることを意味する。すなわち、部分映像データの検索処理中も、検索対象の部分映像データファイルへのデータの追加書き込みが進行している。この部分映像データファイルに対して、自由に検索、再生の許可を与えてしまうと、暫定シーンメタデータに対応する映像シーンよりも後ろのデータ領域にもアクセスしてしまい、映像データ受信処理（＝部分映像データファイルへのデータ追加書き込み）に支障を与え、データファイルを破損してしまう恐れがある。そこで、上記のようなデータアクセス制限を設定している。
もちろん、映像データファイルを破損するようなデータアクセスを禁止する手段が別に設けられている場合には、ステップＳ９０５は省略しても構わない。また、検索対象が蓄積済みの部分映像データである場合には、当ステップのデータアクセス制限設定は不要である。
【０２５４】
ステップＳ９０６は、検索部３１０において実行される映像データ検索処理である。この映像データ検索処理では、ステップＳ９０２において検索された部分映像メタデータを使用する。部分映像メタデータには、部分映像データへのリンク情報が含まれている。このリンク情報を参照して部分映像データファイルにアクセスし、部分映像データの中から、ステップＳ９０３において検索したシーンメタデータに対応するシーン部分を見つけ出す。検出した映像シーンデータは、データ管理部３０８を介して、映像復号部３０３へ出力される。なお、ステップＳ９０５において、アクセス制限が設定されたシーンについては、検索対象から除外される。
【０２５５】
ステップＳ９０７は、映像復号部３０３において実行される映像シーンデータ再生処理である。当ステップにおいて再生される映像シーンデータは、ステップＳ９０６で検索された映像シーンデータである。映像復号部３０３は、データ管理部３０８より受け取った映像データのシーンデータを復号し、復号された映像データは、コンテンツ表示部３０４を介してコンテンツ表示デバイス３１２に表示される。また、当ステップにおいて、復号再生した映像シーンに対応するシーンメタデータに記述されている情報をコンテンツ表示デバイス３１２に表示してもよい。
【０２５６】
ステップＳ９０８は、検索部３１０において実行される映像シーン再生の終了判定処理である。前述のように、ステップＳ９０３におけるシーンメタデータ検索では、複数個のシーンが検索されることがある。したがって、検索された各シーンデータを再生表示するためには、シーンの個数だけ映像データのシーンデータの読み出し、および、復号再生を実行しなければならない。当ステップでは、検索されたシーンが全て再生されたか否かを判定し、シーン再生が完了した場合は、次のステップＳ９０９へ移行し、シーン再生が完了していない場合は、ステップＳ９０６へ戻り、残りのシーンの復号再生を繰り返す。
【０２５７】
なお、当ステップにおいて、ユーザ（＝映像データの検索者）が部分映像データのシーン再生区間を再設定し、自由に部分映像データを再生制御できるようにしても良い。これは、検索した映像シーンを繰り返し再生し、検索した映像シーンの前後の映像シーンも含めて再生するといった、映像監視システムに要求される一つの機能である。この場合、データ入力インタフェース３１３、もしくは、検索部３１０に再生、停止、早送り、巻き戻し、スロー再生機能等を持つ再生制御手段を設け、ユーザからの再生制御命令がデータ管理部３０８に伝わるようにして、ステップＳ９０６からステップＳ９０８の制御ループにおいて、部分映像データの再生制御を行う。ただし、部分映像データにアクセス制限が設定されている場合には、このアクセス制限を守った再生制御のみを許可するものとする。
【０２５８】
ステップＳ９０９は、検索部３１０において実行される検索終了判定処理である。ユーザから検索終了の指示がある場合は、検索処理を終了し、ユーザから検索終了の指示がない場合は、ステップＳ９０１へ戻って一連の処理を繰り返す。以上のように、ステップＳ９０１からステップＳ９０９の一連の手順により、映像受信装置１０２における映像データの検索処理が実行される。
【０２５９】
なお、本実施の形態では、全体映像データ検索方法については、フローチャートによる説明を省略している。全体映像データ検索、すなわち、複数の部分映像データをまたがる映像データ検索は、部分映像メタデータ間のリンク情報を用いれば、容易に実現することができる。
【０２６０】
【発明の効果】
以上のように本発明によれば、映像データを長時間に亘り連続送信する場合に、映像データを一本のストリームデータとして送信するのではなく、全体映像データを所定時間間隔毎に区切って、複数の部分映像データしながら送信するので、受信側システムにおいては、複雑な映像データ解析を実行すること無く、長時間の映像データを容易に複数の部分映像データファイルに分割して蓄積することができ、映像データのデータファイル管理が容易になるという作用を有し、かつ、映像データの送信と平行して、部分映像データに対応した部分映像メタデータを送信するので、受信側システムにおいて、受信済みのメタデータのみを利用して、受信処理進行中である全体映像データの受信済みの部分映像データを検索することができるという有利な効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における映像監視システムのシステム構成図
【図２】本発明の実施の形態１における映像送信装置のブロック図
【図３】本発明の実施の形態１における映像受信装置のブロック図
【図４】映像送信装置における映像データ送信処理手順を示すフローチャート
【図５】映像送信装置におけるシーンメタデータ生成処理手順を示すフローチャート
【図６】映像送信装置におけるシーンメタデータ送信処理手順を示すフローチャート
【図７】映像受信装置における映像データ受信処理手順を示すフローチャート
【図８】映像受信装置におけるシーンメタデータ受信処理手順を示すフローチャート
【図９】映像受信装置におけるデータ検索処理手順を示すフローチャート
【図１０】全体映像データと部分映像データの関係を示す図
【図１１】全体映像メタデータと全体映像データの関係を示す図
【図１２】ファイル名の命名規則の一例を示す図
【図１３】部分映像メタデータの記述例を示す図
【図１４】全体映像メタデータのヘッダファイルの記述例を示す図
【図１５】全体映像メタデータのフッタファイルの記述例を示す図
【図１６】映像データ検索時のファイル参照方法を説明する図
【図１７】暫定シーンメタデータと確定シーンメタデータを説明する図
【図１８】映像データ検索時のファイル参照方法を説明する図
【符号の説明】
１０１ａ〜１０１ｃ 映像送信装置
１０２ 映像受信装置
１０３ 通信ネットワーク
２０１ カメラ
２０２ 映像データ入力部
２０３ 映像符号化部
２０４ 映像データ送信部
２０５ 映像データ解析部
２０６ メタデータ生成部
２０７ メタデータ送信部
２０８ 通信部
２０９ 通信制御部
２１０ 映像送信プログラム相当部
３０１ 通信部
３０２ 映像データ受信部
３０３ 映像復号部
３０４ コンテンツ表示部
３０５ シーンメタデータ受信部
３０６ 映像メタデータ生成部
３０７ メタデータ解析部
３０８ データ管理部
３０９ 通信制御部
３１０ 検索部
３１１ 警告部
３１２ コンテンツ表示デバイス
３１３ データ入力インタフェース
３１４ 記憶装置
３１５ 映像受信プログラム相当部
Claims (8)
- 映像データとその映像データのメタデータを送信する分散配置された複数の映像送信装置と、前記映像送信装置から受信した映像データとメタデータをデータベースに蓄積すると共に集中監視する映像受信端末からなる映像監視システムの映像データ送信方法において、ストリームデータとして入力されてくる映像データを符号化処理する際に、所定時間毎に符号化処理の開始と終了を繰り返すことによってデータ分割処理を行い、時間的な連続性がある複数の映像データを生成し、これを部分映像データとして出力する映像符号化処理ステップと、前記部分映像データのリアルタイム送信を行う映像データ送信ステップと、前記部分映像データに関連し単独で利用可能な部分メタデータを生成し、少なくとも、前記部分映像メタデータの識別子と、時間的な連続関係がある前後の前記部分映像メタデータへのリンク情報と、前記部分映像データへのリンク情報とを含む部分映像メタデータを出力するメタデータ生成ステップと、前記部分映像メタデータを送信するメタデータ送信ステップとを有することを特徴とする映像データ送信方法。
- 前記メタデータ生成ステップは、全体映像メタデータの先頭に位置する前記部分映像メタデータを出力する前に、先頭の前記部分映像メタデータへのリンク情報を含むヘッダファイルを出力し、全体映像メタデータの終端に位置する前記部分映像メタデータを出力した後に、終端の前記部分映像メタデータへのリンク情報を含むフッタファイルを出力することを特徴とする請求項１記載の映像データ送信方法。
- 前記映像データの映像解析処理を行い、所定時間毎に映像解析結果を出力する映像解析処理ステップと、所定のシーン分割判定条件に基づいた前記部分映像データのシーン分割処理を行い、シーン分割結果を出力するシーン分割処理ステップとを有し、前記メタデータ生成ステップは、前記部分映像メタデータを複数のシーンメタデータから構成されるものとして管理し、前記シーン分割結果に基づいて、前記部分映像データのシーン単位のメタデータを生成し、そのメタデータに前記映像解析結果を記述して、これをシーンメタデータとして出力することを特徴とする請求項１または請求項２に記載の映像データ送信方法。
- 前記メタデータ送信ステップは、前記部分映像メタデータを前記シーンメタデータに分割して扱い、少なくとも一つ以上の前記シーンメタデータをまとめて送信することを特徴とする請求項３記載の映像データ送信方法。
- 前記シーン分割処理ステップは、前記シーン分割判定条件として、所定時刻間隔で出力されてくる前記映像解析結果の類似性を判定する条件を設定し、類似性が
認められる映像解析結果を持ち、かつ、時間的な連続関係がある映像データ部分を一つのシーンとして判定し、前記映像解析結果に類似性が無くなった部分をシーンの境界と判定してシーン分割処理を実行することを特徴とする請求項４記載の映像データ送信方法。 - 前記映像解析処理ステップは、映像中の動物体を検出する処理を行い、検出した動物体の特徴量を含む動物体検出結果を出力し、前記シーン分割処理ステップは、前記動物体検出結果により確認可能な動物体の有無を前記シーン分割判定条件として設定し、動物体が存在しない映像データ部分と動物体が存在する映像データ部分とを分割するシーン分割処理を実行し、前記メタデータ生成ステップは、前記シーンメタデータ中に、そのシーンの動物体検出の有無を示す数値を記述することを特徴とする請求項４記載の映像データ送信方法。
- 前記シーン分割処理ステップは、前回のシーン分割処理を実行してから所定時間が経過した場合には、暫定的な前記シーン分割処理結果を出力し、前記シーン分割判定条件に基づく正規のシーン分割処理が実行されるまで、暫定的なシーン分割処理結果の出力を定期的に繰り返し、前記メタデータ生成ステップは、暫定的なシーン分割処理により生成されたシーンに対応する前記シーンメタデータを暫定シーンメタデータとして、確定的なシーン分割処理により生成されたシーンに対応する前記シーンメタデータを確定シーンメタデータとして扱い、前記シーンメタデータの構成要素として、少なくとも、２種類の前記シーンメタデータを識別するための情報であるシーン確定情報と、前記全体映像データに含まれる全シーンに対して割り当てるシーケンシャル番号であるシーン番号と、シーンの記録開始日時と記録終了日時を示す記録日時情報と、前記映像解析結果とを含むことを特徴とする請求項５または請求項６に記載の映像データ送信方法。
- 映像データとその映像データのメタデータを送信する分散配置された複数の映像送信装置と、前記映像送信装置から受信した映像データとメタデータをデータベースに蓄積すると共に集中監視する映像受信端末からなる映像監視システムにおいて、
コンピュータを、
ストリームデータとして入力されてくる映像データを符号化処理する際に、所定時間毎に符号化処理の開始と終了を繰り返すことによってデータ分割処理を行い、時間的な連続性がある複数の部分映像データを生成し、これを部分映像データとして出力する映像符号化処理ステップと、
前記部分映像データのリアルタイム送信を行う映像データ送信ステップと、
前記部分映像データに関連し単独で利用可能な部分メタデータを生成し、少なくとも、前記部分映像メタデータの識別子と、時間的な連続関係がある前後の前記部分映像メタデータへのリンク情報と、前記部分映像データへのリンク情報とを含む部分映像メタデータを出力するメタデータ生成ステップと、
前記部分映像メタデータを送信するメタデータ送信ステップと、
を実行させ、前記映像送信装置として機能させるための映像データ送信プログラム。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001332220A JP4099973B2 (ja) | 2001-10-30 | 2001-10-30 | 映像データ送信方法及び映像データ受信方法、並びに映像監視システム |
| EP02023926A EP1326448A3 (en) | 2001-10-30 | 2002-10-25 | Video data transmitting/receiving method and video monitor system |
| US10/282,599 US7460601B2 (en) | 2001-10-30 | 2002-10-29 | Video data transmitting/receiving method and video monitor system |
| CNB02148242XA CN1278560C (zh) | 2001-10-30 | 2002-10-30 | 视频数据发送/接收方法和视频监督系统 |
| CNB2006101215133A CN100527832C (zh) | 2001-10-30 | 2002-10-30 | 视频数据发送/接收方法和视频监督系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001332220A JP4099973B2 (ja) | 2001-10-30 | 2001-10-30 | 映像データ送信方法及び映像データ受信方法、並びに映像監視システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003134435A JP2003134435A (ja) | 2003-05-09 |
| JP4099973B2 true JP4099973B2 (ja) | 2008-06-11 |
Family
ID=19147668
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001332220A Expired - Lifetime JP4099973B2 (ja) | 2001-10-30 | 2001-10-30 | 映像データ送信方法及び映像データ受信方法、並びに映像監視システム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7460601B2 (ja) |
| EP (1) | EP1326448A3 (ja) |
| JP (1) | JP4099973B2 (ja) |
| CN (2) | CN100527832C (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9607013B2 (en) | 2012-09-14 | 2017-03-28 | Canon Kabushiki Kaisha | Image management apparatus, management method, and storage medium |
Families Citing this family (110)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1206828C (zh) * | 1999-07-14 | 2005-06-15 | 松下电器产业株式会社 | 信息提供装置、信息提供方法以及信息通信系统 |
| US7493645B1 (en) | 2000-10-27 | 2009-02-17 | Audiovox Corporation | Console with monitor and wireless receiver |
| US9317241B2 (en) * | 2000-10-27 | 2016-04-19 | Voxx International Corporation | Vehicle console capable of wireless reception and transmission of audio and video data |
| CN1714346A (zh) * | 2002-11-20 | 2005-12-28 | 诺基亚公司 | 用于数据传输和接收的系统和方法 |
| US8068519B2 (en) * | 2002-12-20 | 2011-11-29 | Britesmart Llc | Method and system to use, share and manage digital content by assigning MAC and IP adress to each device and peripheral |
| WO2004061699A1 (en) | 2002-12-27 | 2004-07-22 | Nielsen Media Research, Inc. | Methods and apparatus for transcoding metadata |
| US20040189871A1 (en) | 2003-03-31 | 2004-09-30 | Canon Kabushiki Kaisha | Method of generating moving picture information |
| JP4228288B2 (ja) * | 2003-06-11 | 2009-02-25 | ソニー株式会社 | 記録制御装置および方法、プログラム、並びにデータ記録方法 |
| US20050001903A1 (en) * | 2003-07-02 | 2005-01-06 | Endler Sean Christopher | Methods and apparatuses for displaying and rating content |
| WO2005041109A2 (en) * | 2003-10-17 | 2005-05-06 | Nielsen Media Research, Inc. | Methods and apparatus for identifiying audio/video content using temporal signal characteristics |
| US8549345B1 (en) | 2003-10-31 | 2013-10-01 | Oracle America, Inc. | Methods and apparatus for recovering from a failed network interface card |
| US7689702B1 (en) * | 2003-10-31 | 2010-03-30 | Sun Microsystems, Inc. | Methods and apparatus for coordinating processing of network connections between two network protocol stacks |
| JP2005150808A (ja) * | 2003-11-11 | 2005-06-09 | Ntt Data Corp | 監視映像記録システム |
| AU2004233453B2 (en) | 2003-12-03 | 2011-02-17 | Envysion, Inc. | Recording a sequence of images |
| US7664292B2 (en) | 2003-12-03 | 2010-02-16 | Safehouse International, Inc. | Monitoring an output from a camera |
| GB2408881B (en) * | 2003-12-03 | 2009-04-01 | Safehouse Internat Inc | Monitoring an environment to produce graphical output data representing events of interest |
| NZ536913A (en) | 2003-12-03 | 2006-09-29 | Safehouse Internat Inc | Displaying graphical output representing the topographical relationship of detectors and their alert status |
| JP4461875B2 (ja) * | 2004-03-31 | 2010-05-12 | 株式会社日立製作所 | 映像配信システム及び方法 |
| TW200603632A (en) * | 2004-05-14 | 2006-01-16 | Nielsen Media Res Inc | Methods and apparatus for identifying media content |
| JP2005354217A (ja) * | 2004-06-08 | 2005-12-22 | Sony Corp | 情報出力処理装置、情報入力処理装置、情報処理システム及び情報処理方法 |
| US7649937B2 (en) * | 2004-06-22 | 2010-01-19 | Auction Management Solutions, Inc. | Real-time and bandwidth efficient capture and delivery of live video to multiple destinations |
| US8156123B2 (en) * | 2004-06-25 | 2012-04-10 | Apple Inc. | Method and apparatus for processing metadata |
| JP4088274B2 (ja) * | 2004-06-28 | 2008-05-21 | 株式会社東芝 | メタデータの構造及びその編集方法 |
| JP2006245686A (ja) * | 2005-02-28 | 2006-09-14 | D Glatt:Kk | 画像記録装置及び画像記録再生方法 |
| JP4548226B2 (ja) * | 2005-05-30 | 2010-09-22 | ソニー株式会社 | データ処理方法、その装置およびプログラム |
| US8244796B1 (en) | 2005-05-31 | 2012-08-14 | Adobe Systems Incorporated | Method and apparatus for customizing presentation of notification lists |
| JP2007060446A (ja) * | 2005-08-26 | 2007-03-08 | Sony Corp | メタデータ生成装置、情報処理装置、撮像装置、テレビ会議システム、セキュリティシステム、メタデータ生成方法及びプログラム |
| DE102005057568B4 (de) * | 2005-12-02 | 2021-06-17 | Robert Bosch Gmbh | Sendeeinrichtung und Empfangseinrichtung |
| JP2007281616A (ja) * | 2006-04-03 | 2007-10-25 | Sony Corp | 監視システムと監視装置および監視端末制御方法 |
| JP4321541B2 (ja) * | 2006-04-03 | 2009-08-26 | ソニー株式会社 | 監視装置と監視方法 |
| JP2007288299A (ja) * | 2006-04-13 | 2007-11-01 | Hitachi Ltd | 配信システム、情報処理装置、配信方法及びプログラム |
| JP4872490B2 (ja) * | 2006-06-30 | 2012-02-08 | ソニー株式会社 | 監視装置、監視システム及び監視方法 |
| JP4453684B2 (ja) * | 2006-06-30 | 2010-04-21 | ソニー株式会社 | 監視システム、監視装置、検索方法及び検索プログラム |
| JP4363421B2 (ja) * | 2006-06-30 | 2009-11-11 | ソニー株式会社 | 監視システム、監視システム用サーバ及び監視方法 |
| JP5228290B2 (ja) * | 2006-06-30 | 2013-07-03 | ソニー株式会社 | 監視システム、監視装置及び監視方法 |
| US7769363B2 (en) * | 2006-08-01 | 2010-08-03 | Chew Gregory T H | User-initiated communications during multimedia content playback on a mobile communications device |
| EP2063635A4 (en) | 2006-09-12 | 2009-12-09 | Panasonic Corp | CONTENT IMAGE FORMATION DEVICE |
| US7631260B1 (en) * | 2006-10-23 | 2009-12-08 | Adobe Systems Inc. | Application modification based on feed content |
| US7890556B2 (en) | 2007-04-04 | 2011-02-15 | Sony Corporation | Content recording apparatus, content playback apparatus, content playback system, image capturing apparatus, processing method for the content recording apparatus, the content playback apparatus, the content playback system, and the image capturing apparatus, and program |
| JP4462290B2 (ja) * | 2007-04-04 | 2010-05-12 | ソニー株式会社 | コンテンツ管理情報記録装置、コンテンツ再生装置、コンテンツ再生システム、撮像装置、コンテンツ管理情報記録方法およびプログラム |
| US20080320538A1 (en) * | 2007-04-16 | 2008-12-25 | Gad Liwerant | Methods and systems for transmitting and accessing video data |
| JP4733068B2 (ja) * | 2007-05-17 | 2011-07-27 | 富士フイルム株式会社 | 撮影装置および方法並びにプログラム |
| KR20080108819A (ko) * | 2007-06-11 | 2008-12-16 | 삼성전자주식회사 | 채널 전환 방법, 상기 방법을 수행하기 위한 장치 및 방법 |
| DE102007045741A1 (de) * | 2007-06-27 | 2009-01-08 | Siemens Ag | Verfahren und Vorrichtung zum Codieren und Decodieren von Multimediadaten |
| KR100935862B1 (ko) * | 2007-07-06 | 2010-01-07 | 드리머 | 매체 재생 장치 기반 컨텐츠 제공 시스템 |
| US20090037965A1 (en) * | 2007-07-31 | 2009-02-05 | Leonard Tsai | Portal based video indexing |
| US8990400B2 (en) * | 2007-08-17 | 2015-03-24 | The Invention Science Fund I, Llc | Facilitating communications among message recipients |
| US8583267B2 (en) | 2007-08-17 | 2013-11-12 | The Invention Science Fund I, Llc | Selective invocation of playback content supplementation |
| US20090136216A1 (en) * | 2007-11-28 | 2009-05-28 | Kourosh Soroushian | System and Method for Playback of Partially Available Multimedia Content |
| JP5213105B2 (ja) * | 2008-01-17 | 2013-06-19 | 株式会社日立製作所 | 映像ネットワークシステム及び映像データ管理方法 |
| WO2009114111A2 (en) * | 2008-03-12 | 2009-09-17 | Packetvideo Corp. | System and method for reformatting digital broadcast multimedia for a mobile device |
| US8542702B1 (en) * | 2008-06-03 | 2013-09-24 | At&T Intellectual Property I, L.P. | Marking and sending portions of data transmissions |
| US8819014B2 (en) | 2008-08-15 | 2014-08-26 | Apple Inc. | Digital slate |
| JP4748204B2 (ja) * | 2008-11-05 | 2011-08-17 | ソニー株式会社 | 撮像装置、撮像装置の表示制御方法 |
| US8244663B2 (en) * | 2009-05-27 | 2012-08-14 | Sandisk Technologies Inc. | Method and host device for enforcing a rule associated with a media file |
| JP5428565B2 (ja) * | 2009-06-19 | 2014-02-26 | ソニー株式会社 | 情報再生装置、および情報再生方法、並びにプログラム |
| KR101611531B1 (ko) | 2009-11-13 | 2016-04-12 | 삼성전자주식회사 | 촬영장치 및 촬영영상 제공방법 |
| TWI419519B (zh) * | 2009-12-22 | 2013-12-11 | Ind Tech Res Inst | 適用於多媒體串流的網路封包傳送系統與方法 |
| US8914539B2 (en) | 2010-03-12 | 2014-12-16 | Salesforce.Com, Inc. | Service cloud console |
| US9271052B2 (en) * | 2010-05-10 | 2016-02-23 | Comcast Cable Communications, Llc | Grid encoded media asset data |
| WO2011142031A1 (ja) * | 2010-05-14 | 2011-11-17 | 株式会社日立製作所 | リソース管理方法、リソース管理装置およびプログラム |
| EP2407943B1 (en) * | 2010-07-16 | 2016-09-28 | Axis AB | Method for event initiated video capturing and a video camera for capture event initiated video |
| WO2012027891A1 (en) * | 2010-09-02 | 2012-03-08 | Intersil Americas Inc. | Video analytics for security systems and methods |
| US20120057629A1 (en) | 2010-09-02 | 2012-03-08 | Fang Shi | Rho-domain Metrics |
| WO2012027893A1 (en) * | 2010-09-02 | 2012-03-08 | Intersil Americas Inc. | Systems and methods for video content analysis |
| US8762488B2 (en) | 2010-11-18 | 2014-06-24 | Opera Software Ireland Limited | Client-selected network services |
| US8515990B2 (en) * | 2010-11-19 | 2013-08-20 | Lg Electronics Inc. | Mobile terminal and method of managing video using metadata therein |
| US9380356B2 (en) | 2011-04-12 | 2016-06-28 | The Nielsen Company (Us), Llc | Methods and apparatus to generate a tag for media content |
| EP2697968A4 (en) | 2011-04-15 | 2014-12-10 | Opera Software Ireland Ltd | REAL TIME VIDEO ENHANCER |
| US9209978B2 (en) | 2012-05-15 | 2015-12-08 | The Nielsen Company (Us), Llc | Methods and apparatus to measure exposure to streaming media |
| US9515904B2 (en) | 2011-06-21 | 2016-12-06 | The Nielsen Company (Us), Llc | Monitoring streaming media content |
| US9215096B2 (en) | 2011-08-26 | 2015-12-15 | Salesforce.Com, Inc. | Computer implemented methods and apparatus for providing communication between network domains in a service cloud |
| US9525900B2 (en) * | 2011-09-15 | 2016-12-20 | Google Inc. | Video management system |
| US20130089301A1 (en) * | 2011-10-06 | 2013-04-11 | Chi-cheng Ju | Method and apparatus for processing video frames image with image registration information involved therein |
| JP5882683B2 (ja) * | 2011-11-02 | 2016-03-09 | キヤノン株式会社 | 情報処理装置およびその方法 |
| JP5845875B2 (ja) * | 2011-12-19 | 2016-01-20 | ソニー株式会社 | 携帯機器、情報処理方法、およびプログラム |
| TWI450207B (zh) | 2011-12-26 | 2014-08-21 | Ind Tech Res Inst | 物件追蹤的方法、系統、電腦程式產品與記錄媒體 |
| KR20140111280A (ko) * | 2012-01-09 | 2014-09-18 | 톰슨 라이센싱 | 시간-시프트 데이터의 관리 |
| KR20150106326A (ko) * | 2012-01-09 | 2015-09-21 | 톰슨 라이센싱 | 서브-기록을 생성 및 관리 |
| US9930379B2 (en) * | 2012-01-31 | 2018-03-27 | Comcast Cable Communications, Llc | System and method for data stream fragmentation |
| JP6153298B2 (ja) * | 2012-04-24 | 2017-06-28 | シャープ株式会社 | 配信装置、再生装置、データ構造、配信方法、制御プログラム、および記録媒体 |
| GB2503711B (en) * | 2012-07-05 | 2014-10-15 | Quixel Holdings Ltd | Video data communication |
| US9154856B2 (en) * | 2013-01-17 | 2015-10-06 | Hewlett-Packard Development Company, L.P. | Video segmenting |
| US9313544B2 (en) | 2013-02-14 | 2016-04-12 | The Nielsen Company (Us), Llc | Methods and apparatus to measure exposure to streaming media |
| JP6011421B2 (ja) * | 2013-03-29 | 2016-10-19 | 富士通株式会社 | ストレージシステム、情報処理装置の制御プログラム及びストレージシステムの制御方法 |
| WO2014183004A1 (en) * | 2013-05-10 | 2014-11-13 | Robert Bosch Gmbh | System and method for object and event identification using multiple cameras |
| US9508390B2 (en) | 2013-07-12 | 2016-11-29 | Apple Inc. | Trick play in digital video streaming |
| JPWO2015008775A1 (ja) * | 2013-07-19 | 2017-03-02 | ソニー株式会社 | 情報処理装置および方法 |
| US9332035B2 (en) | 2013-10-10 | 2016-05-03 | The Nielsen Company (Us), Llc | Methods and apparatus to measure exposure to streaming media |
| US10061791B2 (en) * | 2013-10-30 | 2018-08-28 | Microsoft Technology Licensing, Llc | Data management for connected devices |
| TWI524756B (zh) * | 2013-11-05 | 2016-03-01 | 財團法人工業技術研究院 | 儲存影音資料的方法與裝置 |
| US10769446B2 (en) | 2014-02-28 | 2020-09-08 | Second Spectrum, Inc. | Methods and systems of combining video content with one or more augmentations |
| US11120271B2 (en) | 2014-02-28 | 2021-09-14 | Second Spectrum, Inc. | Data processing systems and methods for enhanced augmentation of interactive video content |
| US11861906B2 (en) | 2014-02-28 | 2024-01-02 | Genius Sports Ss, Llc | Data processing systems and methods for enhanced augmentation of interactive video content |
| US10713494B2 (en) | 2014-02-28 | 2020-07-14 | Second Spectrum, Inc. | Data processing systems and methods for generating and interactive user interfaces and interactive game systems based on spatiotemporal analysis of video content |
| US10521671B2 (en) | 2014-02-28 | 2019-12-31 | Second Spectrum, Inc. | Methods and systems of spatiotemporal pattern recognition for video content development |
| KR101427552B1 (ko) * | 2014-03-31 | 2014-08-07 | (주) 넥스트칩 | 영상 신호 전송 방법 및 장치 |
| CN104270605B (zh) * | 2014-09-23 | 2017-08-25 | 浪潮(北京)电子信息产业有限公司 | 一种视频监控数据的处理方法及装置 |
| JP6796376B2 (ja) * | 2014-11-28 | 2020-12-09 | 日本放送協会 | 分割装置および解析装置、ならびにプログラム |
| US9762965B2 (en) | 2015-05-29 | 2017-09-12 | The Nielsen Company (Us), Llc | Methods and apparatus to measure exposure to streaming media |
| US9966110B2 (en) * | 2015-10-16 | 2018-05-08 | Tribune Broadcasting Company, Llc | Video-production system with DVE feature |
| KR101676400B1 (ko) * | 2015-10-27 | 2016-11-15 | 삼성전자주식회사 | 촬영장치 및 촬영영상 제공방법 |
| EP3513566A4 (en) * | 2016-09-16 | 2019-09-11 | Second Spectrum, Inc. | METHODS AND SYSTEMS FOR SPATIOTEMPOREL PATTERN RECOGNITION FOR VIDEO CONTENT DEVELOPMENT |
| EP3482347B1 (en) | 2016-10-25 | 2021-02-17 | Owl Cameras, Inc. | Video-based data collection, image capture and analysis configuration |
| EP3619684A4 (en) | 2017-05-04 | 2021-06-09 | Second Spectrum, Inc. | METHOD AND DEVICE FOR AUTOMATIC INTRINSIC CAMERA CALIBRATION USING IMAGES OF A PLANAR CALIBRATION PATTERN |
| US10820034B2 (en) | 2017-05-26 | 2020-10-27 | At&T Intellectual Property I, L.P. | Providing streaming video from mobile computing nodes |
| CN109525627B (zh) * | 2017-09-20 | 2022-02-25 | 腾讯科技（上海）有限公司 | 数据传输方法、装置、存储介质及电子装置 |
| JP7185133B2 (ja) * | 2018-11-21 | 2022-12-07 | 富士通株式会社 | 情報処理装置、情報処理プログラムおよび分析方法 |
| WO2020194473A1 (ja) * | 2019-03-25 | 2020-10-01 | 日本電気株式会社 | 制御装置、制御方法、及びプログラムが格納された非一時的なコンピュータ可読媒体 |
| US11113535B2 (en) | 2019-11-08 | 2021-09-07 | Second Spectrum, Inc. | Determining tactical relevance and similarity of video sequences |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0877468A (ja) | 1994-09-08 | 1996-03-22 | Ono Denki Kk | 監視装置 |
| JP3635710B2 (ja) * | 1995-04-05 | 2005-04-06 | ソニー株式会社 | ニュース素材を伝送する方法及び装置 |
| US5969755A (en) * | 1996-02-05 | 1999-10-19 | Texas Instruments Incorporated | Motion based event detection system and method |
| JPH1132321A (ja) | 1997-07-09 | 1999-02-02 | Hitachi Ltd | 画像認識機能を有する監視システム |
| JP3410662B2 (ja) | 1998-07-06 | 2003-05-26 | 株式会社メガチップス | 監視装置 |
| US6357042B2 (en) * | 1998-09-16 | 2002-03-12 | Anand Srinivasan | Method and apparatus for multiplexing separately-authored metadata for insertion into a video data stream |
| JP2000299841A (ja) * | 1998-11-13 | 2000-10-24 | Seiko Epson Corp | 画像処理装置および画像処理方法ならびに情報記録媒体 |
| JP2000201343A (ja) * | 1999-01-05 | 2000-07-18 | Toshiba Corp | 動画像デ―タ再生装置及び動画像デ―タ分割装置並びにプログラムを記録したコンピュ―タ読み取り可能な記録媒体 |
| EP1170943A1 (en) * | 1999-01-26 | 2002-01-09 | Sony Corporation | Transmission method and reception method for image information, transmission device and reception device and transmission/reception method and transmission/reception system, and information recording medium |
| JP4574771B2 (ja) | 1999-01-28 | 2010-11-04 | 株式会社東芝 | 画像情報記述方法 |
| JP3434232B2 (ja) | 1999-03-08 | 2003-08-04 | 株式会社次世代情報放送システム研究所 | 受信装置および方法 |
| JP3780142B2 (ja) | 1999-03-26 | 2006-05-31 | 松下電器産業株式会社 | 映像記録再生装置 |
| JP2000353390A (ja) | 1999-06-09 | 2000-12-19 | Denso Corp | 電子制御装置 |
| GB2354105A (en) * | 1999-09-08 | 2001-03-14 | Sony Uk Ltd | System and method for navigating source content |
| JP2002064789A (ja) * | 2000-08-22 | 2002-02-28 | Hitachi Ltd | 画像圧縮記録送信装置及び画像圧縮送信装置 |
| US7149755B2 (en) * | 2002-07-29 | 2006-12-12 | Hewlett-Packard Development Company, Lp. | Presenting a collection of media objects |
-
2001
- 2001-10-30 JP JP2001332220A patent/JP4099973B2/ja not_active Expired - Lifetime
-
2002
- 2002-10-25 EP EP02023926A patent/EP1326448A3/en not_active Withdrawn
- 2002-10-29 US US10/282,599 patent/US7460601B2/en active Active
- 2002-10-30 CN CNB2006101215133A patent/CN100527832C/zh not_active Expired - Fee Related
- 2002-10-30 CN CNB02148242XA patent/CN1278560C/zh not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9607013B2 (en) | 2012-09-14 | 2017-03-28 | Canon Kabushiki Kaisha | Image management apparatus, management method, and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1913625A (zh) | 2007-02-14 |
| US7460601B2 (en) | 2008-12-02 |
| EP1326448A3 (en) | 2003-12-03 |
| JP2003134435A (ja) | 2003-05-09 |
| CN1418012A (zh) | 2003-05-14 |
| US20030093810A1 (en) | 2003-05-15 |
| CN100527832C (zh) | 2009-08-12 |
| CN1278560C (zh) | 2006-10-04 |
| EP1326448A2 (en) | 2003-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4099973B2 (ja) | 映像データ送信方法及び映像データ受信方法、並びに映像監視システム | |
| KR102146042B1 (ko) | 녹화된 비디오를 재생하기 위한 방법 및 시스템 | |
| CN106411927B (zh) | 一种监控录像方法和装置 | |
| JP5984707B2 (ja) | 映像データ配信装置、映像データ配信システム及びプログラム | |
| KR101192564B1 (ko) | 비디오 데이터를 저장하는 장치 및 방법 | |
| KR102010513B1 (ko) | 레코딩된 비디오를 재생하기 위한 방법 및 장치 | |
| CN101860731A (zh) | 视频信息处理方法、系统及服务器 | |
| JPH11150700A (ja) | 連続録画システム及び方法並びに長時間録画プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| WO2005074274A1 (ja) | 画像表示方法及び画像表示装置並びに画像表示プログラム | |
| US10129592B2 (en) | Audience measurement and feedback system | |
| CN111866457B (zh) | 监控图像处理方法、电子设备、存储介质及系统 | |
| WO2011127859A2 (zh) | 视频数据处理方法、视频图像展示方法和装置 | |
| CN111277800A (zh) | 监控视频编码及播放方法、装置、电子设备及存储介质 | |
| JP4361504B2 (ja) | 映像情報記録再生方法および映像情報処理方法および映像情報記録再生装置および映像情報処理装置 | |
| JP2009239855A (ja) | メタデータ管理装置 | |
| JP2004145564A (ja) | 映像検索装置 | |
| KR101017155B1 (ko) | Ｄｖｒ시스템 녹화 및 재생 방법 | |
| JP2003009085A (ja) | デジタル信号記録装置および方法、デジタル信号再生装置および方法 | |
| EP1777959A1 (en) | System and method for capturing audio/video material | |
| JP2006139682A (ja) | 映像検索システム、映像検索方法及びプログラム | |
| JP4438945B2 (ja) | 監視システム | |
| JP2005080172A (ja) | 動画像の蓄積管理方法及び蓄積管理装置 | |
| US20220286642A1 (en) | Event-oriented multi-channel video backup apparatus and method, and network surveillance camera system including the same | |
| JP2005197839A (ja) | トランスポートストリームの特殊再生方法及びトランスポートストリームの記録再生装置 | |
| KR20230032202A (ko) | 이벤트 상황을 찾기 위한 효율적 영상 검색 방법 및 그 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040805 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050701 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070313 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070425 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070626 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070808 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071113 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071210 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080115 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080128 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080226 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080310 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110328 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4099973 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110328 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120328 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130328 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130328 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140328 Year of fee payment: 6 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |