JP6641448B2 - 監視カメラシステム - Google Patents

Description

この発明は、監視カメラにより撮像された映像を解析して監視対象物の動きを認識する機能を有した監視カメラシステムに関する。

従来から、監視カメラにより撮像された映像を解析して監視対象物の動きを認識する機能（以下、映像認識機能と記載する）が知られている。例えば、特許文献１には、映像認識機能を有した人工知能を備えた監視カメラが記載されている。

国際公開第２０１６／１９９１９２号

特許文献１に記載される監視カメラは、カメラ自体に映像認識機能が実装されている。このため、映像認識機能が実装されていない監視カメラシステムに対して、特許文献１に記載される監視カメラを用いて映像認識機能を追加する場合、監視カメラシステムが備えていた全ての監視カメラを特許文献１に記載される監視カメラに置き換える必要がある。この場合、監視カメラシステムが備えていた監視カメラの台数に応じて、映像認識機能の追加に要するコストがアップするという課題があった。

また、特許文献１に記載される監視カメラを備える監視カメラシステムでは、映像認識性能を向上させるためのバージョンアップを行う場合、監視カメラごとにバージョンアップを行う必要がある。このため、監視カメラの台数に応じてバージョンアップの作業量が増加し、バージョンアップに要するコストがアップする。

この発明は上記の課題を解決するものであり、監視業務に対する利便性が高く、かつ、映像認識機能の追加とバージョンアップを容易に行うことができる監視カメラシステムを得ることを目的とする。

この発明に係る監視カメラシステムは、監視カメラ、映像記憶装置と、映像認識装置および監視端末を備える。監視カメラは、撮像した映像データを、動画の表示に適した符号化方法と映像認識の処理負荷が少ない符号化方法とを含む複数の異なる符号化方法のそれぞれで符号化してネットワークに同時に配信する。映像記憶装置は、監視カメラから同時に配信され、ネットワークを介して受信された複数の符号化データを、互いに対応付けて記憶する。映像認識装置は、監視カメラとは独立に設けられて、ネットワークから、映像記憶装置に記憶された複数の符号化データのうち、要求した映像認識の処理負荷が少ない符号化方法で符号化された符号化データを受信し、受信した符号化データを復号した映像を人工知能で解析して監視対象物の動きを認識する。監視端末は、ネットワークを介して受信された、監視カメラから同時に配信された符号化データのうち動画の表示に適した符号化方法で符号化された符号化データを復号した映像を提示し、ネットワークを介して受信された、映像認識装置が認識した監視対象物の動きの認識結果を提示する。

この発明によれば、監視カメラが、撮像した映像データを、動画の表示に適した符号化方法と映像認識の処理負荷が少ない符号化方法を含む複数の異なる符号化方法のそれぞれで符号化してネットワークに配信する。映像認識装置は、映像認識の処理負荷が少ない符号化方法で符号化された符号化データから監視対象物の動きを認識し、監視端末が、動画の表示に適した符号化方法で符号化された符号化データを復号した映像を提示する。これにより、監視業務に対する利便性を高めることができる。また、監視カメラとは独立して設けられた映像認識装置が映像認識を行うので、監視カメラシステムに映像認識装置を設けるか、映像認識装置のバージョンアップを行うだけで、映像認識機能の追加とそのバージョンアップを容易に行うことができる。

この発明の実施の形態１に係る監視カメラシステムの構成を示すブロック図である。 この発明の実施の形態２に係る監視カメラシステムの構成を示すブロック図である。 この発明の実施の形態３に係る監視カメラシステムの構成を示すブロック図である。 この発明の実施の形態４に係る監視カメラシステムの構成を示すブロック図である。 実施の形態４に係る監視端末の構成を示すブロック図である。 実施の形態４に係る監視カメラによる顔切り出し機能の概要を示す説明図である。

実施の形態１．
図１は、この発明の実施の形態１に係る監視カメラシステム１の構成を示すブロック図である。監視カメラシステム１は、監視カメラ２−１〜２−Ｎによって撮像された映像に基づいて被監視場所の様子を監視する。監視カメラシステム１は、ネットワーク３に接続された、監視カメラ２−１〜２−Ｎ、映像認識装置４、監視端末５および映像記憶装置６から構成される。Ｎは監視カメラの台数であり、２以上の整数である。

監視カメラ２−１〜２−Ｎのそれぞれは、被監視場所を撮像した映像データを、複数の異なる符号化方法のそれぞれで符号化した複数の符号化データを生成する。複数の異なる符号化方法には、少なくとも、動画の表示に適した符号化方法と、映像認識の処理負荷が少ない符号化方法とが含まれる。監視カメラ２−１〜２−Ｎのそれぞれは、符号化データをインターネットプロトコル（以下、ＩＰと記載する）データに変換して、ネットワーク３に配信する。ネットワーク３は、インターネットまたはＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）といったＩＰネットワークである。

動画の表示に適した符号化方法には、映像のライブ配信に向いた、圧縮率の高い符号化方法が採用される。例えば、Ｈ．２６４形式の符号化方法を採用してもよい。
また、映像認識の処理負荷が少ない符号化方法として、例えば、ＪＰＥＧ形式の符号化方法を採用してもよい。ＪＰＥＧ形式の符号化方法では、Ｈ．２６４形式の符号化方法とは異なって１フレームの画像がその前後のフレーム画像の相関から圧縮されず、１フレームの画像がその前後のフレーム画像から影響を受けない。これにより、処理負荷の少ない映像認識を行うことができる。

なお、動画の表示に適した符号化方法として、Ｈ．２６４形式の符号化方法を例に挙げたが、動画の表示に適した符号化方法であれば、Ｈ．２６４形式以外の符号化方法であってもよい。同様に、映像認識の処理負荷が少ない符号化方法として、ＪＰＥＧ形式の符号化方法を例に挙げたが、映像認識の処理負荷が少ない符号化方法であれば、ＪＰＥＧ形式以外の符号化方法であってもよい。

監視カメラ２−１〜２−Ｎのそれぞれが、ＪＰＥＧ形式の符号化方法で映像データを符号化したＩＰデータａと、Ｈ．２６４形式の符号化方法で同一の映像データを符号化したＩＰデータｂとを生成して、ネットワーク３に同時に配信する。
なお、図１では、監視カメラ２−１のみがＩＰデータａおよびＩＰデータｂを配信しているが、監視カメラ２−２〜２−Ｎからも同様にＩＰデータａおよびＩＰデータｂが配信されているものとする。

また、監視カメラ２−１〜２−Ｎは、撮像部２０、符号化部２１、記憶部２２および通信部２３を備える。撮像部２０は、視野内の光が入力される光学系を有しており、光学系に入力された光を画像データに変換して被監視場所の映像データを生成する。符号化部２１は、撮像部２０により撮像された映像データを符号化する。符号化部２１により映像データに施される符号化方法は、前述したように、ＪＰＥＧ形式の符号化方法およびＨ．２６４形式の符号化方法が挙げられる。

記憶部２２は、撮像部２０により撮像された映像データまたは符号化部２１により生成された符号化データを記憶する。記憶部２２には、その記憶容量に応じた期間分の映像が記憶される。通信部２３は、符号化部２１により符号化された符号化データをＩＰデータに変換してネットワーク３に送出する。

映像認識装置４は、監視カメラ２−１〜２−Ｎにより撮像された映像から監視対象物の動きを認識する機能（映像認識機能）を有した装置であり、監視カメラ２−１〜２−Ｎのそれぞれとは独立して設けられる。監視カメラシステム１において、監視カメラ２−１〜２−Ｎは、映像認識機能を有しておらず、映像認識装置４が、監視カメラ２−１〜２−Ｎのそれぞれで撮像された映像から監視対象物の動きを認識する。

また、映像認識装置４は、通信部４０、認識部４１および記憶部４２を備える。通信部４０は、ネットワーク３を介して、監視カメラ２−１〜２−Ｎと通信し、監視端末５と通信し、映像記憶装置６と通信する。例えば、通信部４０は、監視カメラ２−１〜２−Ｎのそれぞれから、ネットワーク３に配信されたＩＰデータａおよびＩＰデータｂのうちから、映像認識の処理負荷が少ないＩＰデータａを受信する。

認識部４１は、通信部４０により監視カメラ２−１〜２−Ｎのそれぞれから受信された符号化データ（ＩＰデータａ）から映像を復号し、復号した映像を人工知能で解析して監視対象物の動きを認識する。監視対象物は、被監視場所に存在する移動物体であり、例えば、人間、車両が挙げられる。人工知能は、認識部４１に設けられて、被監視場所における監視対象物の動き（例えば、人間の行動の特徴）を認識する。

記憶部４２は、認識部４１による監視対象物の動きの認識結果を記憶する。記憶部４２には、その記憶容量に応じた期間分の認識結果が記憶されることになる。例えば、記憶部４２は、監視対象物の動きの認識結果であるイベント情報をイベント発生時刻および認識対象の映像データと併せて記憶してもよい。これにより、監視対象物の動きが発生した時刻（イベント発生時刻）、その動きの認識結果および認識対象の映像データを、監視者に提示することが可能となり、監視業務に対する利便性が向上する。

記憶部４２の記憶容量を、監視カメラ２−１〜２−Ｎのそれぞれが有する記憶部２２の記憶容量の合計よりも多くし、さらに、記憶部４２における、個々の監視カメラからの符号化データを記憶する記憶容量を、個々の監視カメラが有する記憶部２２の記憶容量よりも多くする。これにより、映像認識装置４は、監視カメラ２−１〜２−Ｎよりも記憶可能な映像の期間が長くなり、その分、監視対象物の動きを認識できる期間も長くなるので、監視業務に対する利便性の高い監視カメラシステム１を提供することができる。

映像認識装置４による映像認識は、監視カメラ２−１〜２−Ｎの映像の解像度、符号化速度および符号化データの送信速度に応じてその処理負荷が変化する。
そこで、映像認識装置４からの指示に従って、映像の解像度、映像データの符号化速度および符号化データの送信速度を調整する機能を監視カメラ２−１〜２−Ｎに持たせてもよい。

例えば、認識部４１が、映像認識の処理負荷が演算処理能力または処理環境に応じた値となる解像度、符号化速度および送信速度を決定する。通信部４０は、認識部４１により決定された解像度、符号化速度および送信速度を、監視カメラ２−１〜２−Ｎのそれぞれに送信する。監視カメラ２−１〜２−Ｎにおいて、撮像部２０が、映像認識装置４から指定された映像の解像度に調整し、符号化部２１が、映像認識装置４から指定された符号化速度に調整し、通信部２３が、映像認識装置４から指定された送信速度に調整する。これにより、映像認識の処理負荷を低減させることができる。この場合、映像認識装置４を演算処理能力が低い安価な計算機で実現でき、監視カメラシステム１を安価に提供することができる。

監視カメラ２−１〜２−Ｎのそれぞれは、撮像した映像を補正する映像補正機能を有してもよい。例えば、監視カメラ２−１〜２−Ｎが、夜間または暗所で撮像するための照明を有する場合、照明の明暗に追随して自動ゲイン制御を行う機能、および、逆光で人物の顔が黒く撮像されないよう逆光補正する機能を撮像部２０に持たせる。撮像部２０は、映像認識装置４からの指示に応じて上記映像補正を実行する。これにより、映像補正により精細化された映像が認識処理の対象となるので、映像認識の性能が向上する。

監視端末５は、ネットワーク３を介して、監視カメラ２−１〜２−Ｎから符号化データを受信し、映像認識装置４から監視対象物の動きの認識結果を受信して、符号化データを復号した映像および認識結果を提示する。表示部５ａは、監視端末５が備える表示装置であり、映像および認識結果は、例えば、表示部５ａに表示される。

また、監視端末５は、通信部５０、処理部５１および提示部５２を備える。通信部５０は、ネットワーク３を介して、監視カメラ２−１〜２−Ｎ、映像認識装置４、および映像記憶装置６のそれぞれと通信する。例えば、通信部５０は、監視カメラ２−１〜２−Ｎのそれぞれからネットワーク３に配信された符号化データを受信する。

処理部５１は、通信部５０により受信された符号化データから映像を復号して、復号した映像を提示部５２に出力する。また、処理部５１は、通信部５０によって映像認識装置４から受信された監視対象物の動きの認識結果を提示部５２に出力する。

提示部５２は、処理部５１により復号された映像または監視対象物の動きの認識結果を監視者に視覚的または聴覚的に提示する。例えば、提示部５２は、表示部５ａを制御して映像データを表示させる。また、提示部５２は、提示すべきデータに関する音声を、不図示のスピーカから出力させてもよい。

処理部５１は、監視カメラ２−１〜２−Ｎのそれぞれから配信されている複数の符号化データのうちから、受信対象の符号化データを選択する。例えば、処理部５１は、通信部５０に対し、ネットワーク３に配信されたＩＰデータａおよびＩＰデータｂのうち、監視者から指定された監視カメラのＩＰデータｂを受信するように指示する。通信部５０は、処理部５１からの指示に従い、受信対象の監視カメラから送信された符号化データを選択的に受信する。これにより、被監視場所のうち、監視者が要求した場所の映像が提示されるので、監視業務に対する利便性が向上する。

映像記憶装置６は、通信部６０、処理部６１および記憶部６２を備えており、監視カメラ２−１〜２−Ｎのそれぞれから配信された複数の符号化データを記憶する。
通信部６０は、ネットワーク３を介して、監視カメラ２−１〜２−Ｎと通信し、映像認識装置４と通信し、監視端末５と通信する。例えば、通信部６０は、監視カメラ２−１〜２−Ｎのそれぞれから配信された符号化データを受信する。

処理部６１は、記憶部６２に対する符号化データの読み出しと書き込みとを管理する。例えば、処理部６１は、通信部６０によって受信された符号化データを記憶部６２に書き込み、要求された符号化データを記憶部６２から読み出して通信部６０に送信させる。

記憶部６２は、通信部６０により監視カメラ２−１〜２−Ｎから受信された符号化データを記憶する。記憶部６２の記憶容量は、映像認識装置４が備える記憶部４２の記憶容量よりも多い。これにより、映像記憶装置６は、映像認識装置４よりも長期間の映像データを記憶することができる。

次に動作について説明する。
まず、監視カメラ２−１〜２−Ｎのそれぞれは、被監視場所を撮像した映像データを、ＪＰＥＧ形式の符号化方法で符号化したＩＰデータａと、Ｈ．２６４形式の符号化方法で符号化したＩＰデータｂとを生成して、ネットワーク３に同時に配信する。
映像認識装置４が備える通信部４０は、監視カメラ２−１〜２−Ｎのそれぞれから配信されたＩＰデータａとＩＰデータｂのうち、映像認識の処理負荷が少ないＩＰデータａを選択的に受信する。

映像認識装置４が備える認識部４１は、通信部４０により監視カメラ２−１〜２−Ｎのそれぞれから受信されたＩＰデータａから映像を復号し、映像を人工知能で解析して監視対象物の動きを認識する。例えば、認識部４１が備える人工知能は、符号化データから復号された映像データを多層構造で演算して、映像に映っている監視対象物の動きを認識する。多層構造で演算する方法には、多層ニューラルネットワークを用いてもよい。映像から監視対象物の特徴量を抽出する方法には深層学習を用いてもよい。

深層学習の代表的な手法として、コンボリューショナル・ニューラル・ネットワーク（以下、ＣＮＮと記載する）と呼ばれる手法がある。ＣＮＮでは、多層ニューラルネットワークを用いた多段階の演算が実行される。それぞれの段階で畳み込み演算を行うことにより映像の局所の特徴を空間的に統合して、次の段階の中間層のニューロンへ入力する。さらに、プーリングあるいはサブサンプリングと呼ばれる、特徴量を空間方向へ圧縮する操作が行われる。ＣＮＮでは、このような多段階の演算によって監視対象物の動きを精度よく認識することができる。

次に、記憶部４２は、監視対象物の動きの認識結果であるイベント情報をイベント発生時刻および認識対象の映像データと併せて、監視カメラごとに記憶する。
監視端末５が備える処理部５１は、監視端末５が備える通信部５０に対して、定期的に映像認識装置４にアクセスするように指示する。通信部５０は、処理部５１からの指示に従って、定期的にイベント情報の要求情報を映像認識装置４に送信する。

映像認識装置４が備える認識部４１は、映像認識装置４が備える通信部４０により受信されたイベント情報の要求情報に対応する、イベント情報、イベント発生時刻および認識対象の映像データを、記憶部４２から読み出す。通信部４０は、認識部４１により記憶部４２から読み出されたイベント情報、イベント発生時刻および認識対象の映像データを、要求元の監視端末５に送信する。

監視端末５が備える処理部５１は、通信部５０によって映像認識装置４から受信されたイベント情報、イベント発生時刻および認識対象の映像データを提示部５２に出力する。提示部５２は、処理部５１から入力したイベント情報、イベント発生時刻および認識対象の映像データを、表示部５ａに表示して監視者に提示する。監視対象物の動きを動画表示する場合を示したが、文字表示してもよく、監視対象物の動きを示す音情報を出力してもよい。これにより、監視者は、定期的な映像から被監視場所の様子を確認でき、さらに、監視対象物の動きの経時的な変化を確認することが可能である。

なお、映像認識装置４は、監視対象物の動きが認識された映像の特徴を人工知能で学習してもよい。例えば、認識部４１が備える人工知能が、映像から監視対象物の動きを認識すると、当該映像の特徴をさらに学習する。人工知能は、映像の特徴の学習結果を利用して、映像から監視対象物の動きを認識する。これにより、映像認識の性能を向上させることができる。

また、監視者は、リアルタイムなイベント情報だけでなく、過去のイベント情報も閲覧することができる。例えば、監視端末５が備える処理部５１は、通信部５０に対し、監視者から指定されたイベント発生時刻のイベント情報を取得するように指示する。通信部５０は、処理部５１からの指示に従い、監視者から指定されたイベント発生時刻のイベント情報の要求情報を映像認識装置４に送信する。

映像認識装置４が備える認識部４１は、通信部４０によって受信されたイベント情報の要求情報に対応するイベント発生時刻のイベント情報および認識対象の映像データを記憶部４２から読み出す。続いて、通信部４０は、認識部４１によって記憶部４２から読み出されたイベント情報、イベント発生時刻および認識対象の映像データを、要求元の監視端末５に送信する。

監視端末５が備える提示部５２は、通信部５０によって映像認識装置４から受信されたイベント情報および認識対象の映像データを表示部５ａに表示して監視者に提示する。
監視対象物の動きを動画表示する場合を示したが、文字表示してもよく、監視対象物の動きを示す音情報を出力してもよい。これにより、監視者は、指定したイベント発生時刻におけるイベント情報および認識対象の映像データを閲覧することができる。

また、監視端末５は、監視カメラ２−１〜２−Ｎにより撮像された映像のうち、監視者から指定された１つまたは複数の映像を提示することができる。
例えば、監視者は、監視端末５が備える不図示の入力装置を用いて、監視カメラ２−１〜２−Ｎが撮像している複数の映像うち、１つまたは複数の映像を選択する。処理部５１は、監視者が選択した１つまたは複数の映像を撮像している監視カメラからＩＰデータｂを受信するように通信部５０に指示する。

次に、通信部５０は、処理部５１から指定された１つまたは複数の監視カメラが配信しているＩＰデータｂを選択的に受信する。処理部５１は、通信部５０によって受信されたＩＰデータｂから映像を復号し、復号した映像を提示部５２に出力する。提示部５２は、処理部５１により復号された映像を表示部５ａに表示して監視者に提示する。指定した監視カメラの映像を動画表示する場合を示したが、文字表示してもよく、被監視場所の様子を示す音情報を出力してもよい。これにより、監視者は、指定した監視カメラが撮像した映像を監視することができる。

また、映像記憶装置６には、監視カメラ２−１〜２−Ｎから配信されたＩＰデータｂが長期間保存される。例えば、映像記憶装置６が備える通信部６０は、監視カメラ２−１〜２−Ｎのそれぞれから配信された複数のＩＰデータａおよびＩＰデータｂのうち、動画表示に適したＩＰデータｂを選択的に受信する。処理部６１は、通信部６０により受信されたＩＰデータｂを記憶部６２に記憶する。これにより、監視カメラ２−１〜２−Ｎにより撮像された映像データ（ＩＰデータｂ）が、映像記憶装置６の記憶容量に応じた期間だけ保存される。

監視者は、リアルタイムな映像だけでなく、過去の映像も閲覧することができる。
例えば、監視端末５が備える処理部５１は、通信部５０に対し、監視者から指定された時刻に対応する符号化データを取得するように指示する。通信部５０は、処理部５１からの指示に従って、監視者から指定された時刻に対応する符号化データの要求情報を、映像記憶装置６に送信する。

映像記憶装置６が備える処理部６１は、通信部６０によって受信された要求情報に対応する時刻のＩＰデータｂを記憶部６２から読み出す。通信部６０は、処理部６１によって記憶部６２から読み出されたＩＰデータｂを要求元の監視端末５に送信する。監視端末５が備える処理部５１は、通信部５０により受信されたＩＰデータｂから映像を復号し、復号した映像を提示部５２に出力する。提示部５２は、処理部５１により復号された映像を表示部５ａに表示して監視者に提示する。これにより、監視者は、指定した過去の時刻の映像を閲覧することができる。

特許文献１に記載される監視カメラを用いて、映像認識機能がない監視カメラシステムに映像認識機能を追加する場合、システムに既存の監視カメラを、特許文献１に記載される監視カメラに交換する必要がある。このため、システムに映像認識機能を追加するために必要なコストは、交換する監視カメラの台数に応じて高くなる。

これに対して、実施の形態１に係る監視カメラシステム１では、監視カメラ２−１〜２−Ｎのそれぞれが映像認識機能を有しておらず、監視カメラ２−１〜２−Ｎとは独立して設けられた映像認識装置４が映像認識を行う。これにより、映像認識機能を有していない監視カメラシステムに対して映像認識装置４を追加するだけで、映像認識機能を持たせることができ、監視カメラシステム１を安価に提供できる。

さらに、映像認識機能の向上を目的としたバージョンアップを行う場合、特許文献１に記載される監視カメラを用いたシステムでは、監視カメラごとにバージョンアップを行う必要があった。このため、監視カメラの台数に応じた作業費用が発生する。
これに対して、実施の形態１に係る監視カメラシステム１では、監視カメラ２−１〜２−Ｎとは独立して設けられた映像認識装置４に対してバージョンアップ作業を行うだけでよい。これにより、監視カメラシステム１を安価に提供できる。

さらに、特許文献１に記載される監視カメラが有する映像認識機能の性能を向上させる場合、監視カメラが備える演算装置の処理性能以下の範囲でしか性能を向上させることができない。このため、監視カメラが備える演算装置の処理性能を超える性能を持たせるには、より高性能で高価な監視カメラに交換する必要があった。
これに対し、実施の形態１に係る監視カメラシステム１では、高性能な映像認識装置４に交換するだけで映像認識機能の性能を向上させることができる。従って、監視カメラの台数によらず、安価な監視カメラシステム１を提供することができる。

以上のように、実施の形態１に係る監視カメラシステム１では、監視カメラ２−１〜２−Ｎが、撮像した映像データを、Ｈ．２６４形式の符号化方法とＪＰＥＧ形式の符号化方法のそれぞれで符号化して、ネットワーク３に配信している。
映像認識装置４は、ＪＰＥＧ形式の符号化方法で符号化された符号化データから、監視対象物の動きを認識し、監視端末５が、Ｈ．２６４形式の符号化方法で符号化された符号化データを復号した映像を提示する。これにより、映像認識装置４および監視端末５は、それぞれの処理に適した符号化方法の符号化データを得ることができるので、監視業務に対する利便性を高めることができる。
また、監視カメラ２−１〜２−Ｎとは独立して設けられた映像認識装置４が映像認識を行うので、監視カメラシステムに映像認識装置４を設けるか、映像認識装置４のバージョンアップを行うだけで、映像認識機能の追加とそのバージョンアップを容易に行うことができる。

実施の形態１に係る監視カメラシステム１において、監視端末５は、監視カメラ２−１〜２−Ｎのそれぞれから配信された複数の符号化データのうちから、受信対象の符号化データを選択する機能を有する。このように構成することで、被監視場所のうち、監視者が要求した場所の映像が提示されるので、監視業務に対する利便性が向上する。

実施の形態１に係る監視カメラシステム１において、映像認識装置４は、監視対象物の動きの認識結果であるイベント情報を、イベント発生時刻および認識対象の映像データと併せて記憶する。このように構成することで、監視対象物の動きが発生した時刻とその動きの特徴を監視者に提示することが可能となり、監視業務に対する利便性が向上する。

実施の形態１に係る監視カメラシステム１において、映像認識装置４は、監視対象物の動きの特徴が認識された映像の特徴を人工知能で学習し、学習結果を利用して映像から監視対象物の動きを認識する。これにより、映像認識の性能を向上させることができる。

実施の形態１に係る監視カメラシステムにおいて、監視カメラ２−１〜２−Ｎは、映像の解像度、映像データの符号化速度および符号化データの送信速度を調整する機能を有する。これにより、映像認識の処理負荷を低減させることができるので、映像認識装置４を演算処理能力が低い安価な計算機で実現でき、監視カメラシステム１を安価に提供することができる。

実施の形態１に係る監視カメラシステム１において、監視カメラ２−１〜２−Ｎは、撮像した映像を補正する映像補正機能を有する。これにより、映像補正されて精細化された映像が映像認識処理の対象となるので、映像認識の性能が向上する。

実施の形態１に係る監視カメラシステム１において、映像認識装置４は、監視カメラ２−１〜２−Ｎのそれぞれよりも記憶容量が多い。
特に、映像認識装置４が備える記憶部４２の記憶容量を、監視カメラ２−１〜２−Ｎのそれぞれが有する記憶部２２の記憶容量の合計よりも多くし、さらに、記憶部４２における、個々の監視カメラからの符号化データを記憶する記憶容量を、個々の監視カメラが有する記憶部２２の記憶容量よりも多くする。これにより、映像認識装置４は、監視カメラ２−１〜２−Ｎよりも記憶可能な映像の期間が長くなり、その分、監視対象物の動きを認識できる期間も長くなるので、監視業務に対する利便性の高い監視カメラシステム１を提供することができる。

実施の形態２．
実施の形態１では、映像認識装置が、監視カメラから受信した符号化データを利用して監視対象物の動きを認識する構成を示した。これに対して、実施の形態２では、映像認識装置が、映像記憶装置に記憶された符号化データから監視対象物の動きを認識する構成について説明する。

図２は、この発明の実施の形態２に係る監視カメラシステム１Ａの構成を示すブロック図である。図２において、図１と同一の構成要素には同一符号を付して説明を省略する。監視カメラシステム１Ａは、監視カメラ２−１〜２−Ｎにより撮像された映像に基づいて被監視場所の様子を監視する。監視カメラシステム１Ａは、ネットワーク３に接続された監視カメラ２−１〜２−Ｎ、映像認識装置４Ａ、監視端末５および映像記憶装置６Ａから構成される。なお、図１と同様に、Ｎは監視カメラの台数であり、２以上の整数である。

監視カメラ２−１〜２−Ｎのそれぞれが、ＪＰＥＧ形式の符号化方法で映像データを符号化したＩＰデータａと、Ｈ．２６４形式の符号化方法で同一の映像データを符号化したＩＰデータｂとを生成して、ネットワーク３に同時に配信する。
なお、図２では、監視カメラ２−１のみがＩＰデータａおよびＩＰデータｂを配信しているが、監視カメラ２−２〜２−Ｎからも同様にＩＰデータａおよびＩＰデータｂが配信されているものとする。

映像認識装置４Ａは、監視カメラ２−１〜２−Ｎによって撮像された映像データを解析して監視対象物の動きを認識する装置であり、監視カメラ２−１〜２−Ｎのそれぞれとは独立して設けられる。監視カメラシステム１Ａにおいて、監視カメラ２−１〜２−Ｎは、映像認識機能を有しておらず、映像認識装置４Ａが、監視カメラ２−１〜２−Ｎのそれぞれで撮像された映像データから監視対象物の動きを認識する。
また、映像認識装置４Ａは、映像記憶装置６Ａから読み出した符号化データから、監視対象物の動きを認識する。

また、映像認識装置４Ａは、通信部４０Ａ、認識部４１Ａおよび記憶部４２を備える。通信部４０Ａは、ネットワーク３を介して、監視カメラ２−１〜２−Ｎと通信し、監視端末５と通信し、映像記憶装置６Ａと通信する。例えば、通信部４０Ａは、監視カメラ２−１〜２−Ｎのそれぞれから配信されたＩＰデータａおよびＩＰデータｂから、映像認識の処理負荷が少ないＩＰデータａを受信する。また、通信部４０Ａは、映像記憶装置６Ａに記憶された複数のＩＰデータａのうちから、監視者が要求したＩＰデータａを受信する。

認識部４１Ａは、通信部４０Ａによって受信された符号化データ（ＩＰデータａ）から映像を復号し、復号した映像を人工知能で解析して監視対象物の動きを認識する。監視対象物は、被監視場所に存在する移動物体であり、例えば、人間、車両が挙げられる。人工知能は、認識部４１Ａに設けられて、被監視場所における監視対象物の動き（例えば、人間の行動の特徴）を認識する。

記憶部４２は、認識部４１Ａによる監視対象物の動きの認識結果を記憶する。認識部４１には、その記憶容量に応じた期間分の認識結果が記憶されることになる。例えば、記憶部４２は、監視対象物の動きの認識結果であるイベント情報を、イベント発生時刻および認識対象の映像データと併せて記憶してもよい。これにより、監視対象物の動きが発生した時刻（イベント発生時刻）とその動きの認識結果とを監視者に提示することが可能となり、監視業務に対する利便性が向上する。

映像認識装置４Ａによる映像認識は、監視カメラ２−１〜２−Ｎの映像の解像度、符号化速度および符号化データの送信速度に応じてその処理負荷が変化する。
そこで、映像認識装置４Ａからの指示に従い、映像の解像度、映像データの符号化速度および符号化データの送信速度を調整する機能を監視カメラ２−１〜２−Ｎに持たせてもよい。

例えば、認識部４１Ａが、映像認識の処理負荷が演算処理能力または処理環境に応じた値となる解像度、符号化速度および送信速度を決定する。通信部４０Ａは、認識部４１Ａにより決定された解像度、符号化速度および送信速度を監視カメラ２−１〜２−Ｎのそれぞれに送信する。監視カメラ２−１〜２−Ｎにおいて、撮像部２０が、映像認識装置４Ａから指定された映像の解像度に調整し、符号化部２１が、映像認識装置４Ａから指定された符号化速度に調整し、通信部２３が、映像認識装置４Ａから指定された送信速度に調整する。これにより、映像認識の処理負荷を低減させることができる。この場合、映像認識装置４Ａを演算処理能力が低い安価な計算機で実現でき、監視カメラシステム１Ａを安価に提供することができる。

監視端末５は、ネットワーク３を介して監視カメラ２−１〜２−Ｎから符号化データを受信し、映像認識装置４Ａから対象物の動きの認識結果を受信し、符号化データを復号した映像および認識結果を提示する。表示部５ａは、監視端末５が備える表示装置であり、映像および認識結果は、例えば、表示部５ａに表示される。

映像記憶装置６Ａは、監視カメラ２−１〜２−Ｎのそれぞれから配信された複数の符号化データを記憶する記憶装置であり、通信部６０Ａ、処理部６１Ａおよび記憶部６２を備える。通信部６０Ａは、ネットワーク３を介して、監視カメラ２−１〜２−Ｎと通信し、映像認識装置４Ａと通信し、監視端末５と通信する。例えば、通信部６０Ａは、監視カメラ２−１〜２−Ｎのそれぞれから配信された符号化データを受信する。

処理部６１Ａは、記憶部６２に対する符号化データの読み出しと書き込みを管理する。例えば、処理部６１Ａは、監視カメラ２−１〜２−Ｎから同時に配信されて通信部６０Ａによって受信されたＩＰデータａとＩＰデータｂとを互いに対応付けて記憶部６２に記憶させる。また、処理部６１Ａは、映像認識装置４Ａから要求された符号化データを記憶部６２から読み出し、通信部６０Ａに指示して要求元の映像認識装置４Ａに送信させる。

映像記憶装置６Ａが備える記憶部６２は、通信部６０Ａにより監視カメラ２−１〜２−Ｎから受信された符号化データを記憶する。記憶部６２の記憶容量は、映像認識装置４Ａが備える記憶部４２の記憶容量よりも多い。これにより、映像記憶装置６Ａは、映像認識装置４Ａよりも長期間の映像データを記憶することができる。

次に動作について説明する。
監視カメラ２−１〜２−Ｎのそれぞれは、被監視場所を撮像した映像データを、ＪＰＥＧ形式の符号化方法で符号化したＩＰデータａと、Ｈ．２６４形式の符号化方法で符号化したＩＰデータｂとを生成して、ネットワーク３に同時に配信する。
映像記憶装置６Ａが備える通信部６０Ａは、監視カメラ２−１〜２−Ｎのそれぞれから配信された複数のＩＰデータａおよびＩＰデータｂを受信する。映像記憶装置６Ａが備える処理部６１Ａは、通信部６０Ａによって受信されたＩＰデータａおよびＩＰデータｂを記憶部６２に記憶する。これにより、監視カメラ２−１〜２−Ｎによって撮像された映像データ（ＩＰデータａおよびＩＰデータｂ）が映像記憶装置６Ａの記憶容量に応じた期間だけ保存される。

監視カメラシステム１Ａでは、映像認識装置４Ａが、監視カメラ２−１〜２−Ｎのそれぞれで撮像された映像の認識処理を一括して行っている。このため、映像認識装置４Ａの処理負荷が過大になると、映像認識処理が遅延もしくは停止する可能性がある。
なお、映像認識装置４Ａの処理負荷が過大になる要因としては、例えば、監視カメラ２−１〜２−Ｎによる符号化データの送信速度の変動が考えられる。

そこで、認識部４１Ａは、例えば、監視カメラ２−１〜２−Ｎによる符号化データの送信速度を許容閾値と比較して送信速度が許容閾値を超えた場合、映像認識が遅延もしくは停止する可能性があると判断する。このとき、認識部４１Ａは、通信部４０Ａに対して、映像記憶装置６Ａに記憶された符号化データから、認識対象の符号化データを受信するように指示する。通信部４０Ａは、認識部４１Ａの指示に従い、認識対象の時刻に対応する符号化データの要求情報を、映像記憶装置６Ａに送信する。
なお、監視カメラの台数等から、映像認識装置４Ａの処理負荷が過大になることが予想される場合、認識部４１Ａは、上記許容閾値との比較をすることなく、必ず通信部４０Ａに対して、映像記憶装置６Ａに記憶された符号化データから、認識対象の符号化データを受信するように指示してもよい。

映像記憶装置６Ａが備える処理部６１Ａは、通信部６０Ａにより受信された要求情報に対応する時刻のＩＰデータａを記憶部６２から読み出す。通信部６０Ａは、処理部６１Ａによって記憶部６２から読み出されたＩＰデータａを、要求元の映像認識装置４Ａに送信する。映像認識装置４Ａが備える認識部４１Ａは、通信部４０Ａによって受信されたＩＰデータａから映像を復号し、復号した映像を人工知能で解析して監視対象物の動きを認識する。

以上のように、実施の形態２に係る監視カメラシステム１Ａは、監視カメラ２−１〜２−Ｎから同時に配信された複数の符号化データを互いに対応付けて記憶する映像記憶装置６Ａを備える。映像記憶装置６Ａは、記憶した複数の符号化データのうち、要求された符号化データを要求元に送信する。映像認識装置４Ａは、映像記憶装置６Ａから送信された符号化データを受信して、受信した符号化データを復号した映像から対象物の動きの特徴を認識する。これにより、映像認識装置４Ａによる映像認識の処理負荷が過大になり得る状況になっても、映像認識の遅延もしくは停止に陥ることなく、安定した映像認識処理を行うことができる。

実施の形態３．
実施の形態１では、監視カメラ、映像認識装置、監視端末および映像記憶装置が同一のネットワークに接続された構成を示したが、実施の形態３では、これらが接続するネットワークとは別に設けられたネットワークに接続されている監視端末から被監視場所の監視を行う構成について説明する。

図３は、この発明の実施の形態３に係る監視カメラシステム１Ｂの構成を示すブロック図である。図３において、図１および図２と同一の構成要素には同一符号を付して説明を省略する。監視カメラシステム１Ｂは、被監視場所７の様子を監視するための監視カメラシステム１Ａ、および、監視場所８における監視端末９から構成されている。図１と同様に、Ｎは監視カメラの台数であり、２以上の整数である。被監視場所７は、監視場所８にある監視端末９から監視される場所であり、監視場所８とは異なる場所である。

監視端末９は、ネットワーク３およびネットワーク１０を介して、監視カメラ２−１〜２−Ｎから符号化データを受信し、映像認識装置４Ａから監視対象物の動きの認識結果を受信して、符号化データを復号した映像および認識結果を提示する。表示部９ａは、監視端末９が備える表示装置であり、映像および認識結果は、例えば、表示部９ａに表示される。

また、監視端末９は、通信部９０、処理部９１および提示部９２を備える。通信部９０は、ネットワーク３およびネットワーク１０を介して、監視カメラ２−１〜２−Ｎ、映像認識装置４Ａおよび映像記憶装置６Ａのそれぞれと通信する。例えば、通信部９０は、監視カメラ２−１〜２−Ｎのそれぞれから配信されたＩＰデータａおよびＩＰデータｂから、映像認識の処理負荷が少ないＩＰデータｂを受信する。また、通信部９０は、映像記憶装置６Ａに記憶された複数のＩＰデータｂのうちから、監視者が要求したＩＰデータｂを受信する。

処理部９１は、通信部９０により受信された符号化データから映像を復号して、復号した映像を提示部９２に出力する。また、処理部９１は、通信部９０によって映像認識装置４Ａから受信された監視対象物の動きの認識結果を提示部９２に出力する。

提示部９２は、処理部９１により復号された映像および監視対象物の動きの認識結果を監視者に視覚的または聴覚的に提示する。例えば、提示部９２は、表示部９ａを制御して映像データを表示させる。また、提示部９２は、提示すべきデータに関する音声を、不図示のスピーカから出力させてもよい。

処理部９１は、監視カメラ２−１〜２−Ｎのそれぞれから配信されている複数の符号化データのうちから、受信対象の符号化データを選択する。例えば、処理部９１は、通信部９０に対し、ネットワーク３に配信されたＩＰデータａおよびＩＰデータｂのうち、監視者から指定された監視カメラのデータを受信するように指示する。通信部９０は、処理部９１からの指示に従い、受信対象の監視カメラから送信された符号化データを選択的に受信する。これによって、被監視場所７のうち、監視者が要求した場所の映像が提示されるので、監視業務に対する利便性が向上する。

ネットワーク３は、ネットワーク１０とは別のネットワークであって、例えば、被監視場所７の構内ネットワーク（ＬＡＮ）により実現される。
ネットワーク１０は、ネットワーク３に接続されたネットワークであり、例えば、監視場所８の構内ネットワーク（ＬＡＮ）により実現される。

次に動作について説明する。
監視端末９は、監視カメラ２−１〜２−Ｎによって撮像された映像のうち、監視者から指定された１つまたは複数の映像を提示することができる。例えば、監視者は、監視端末９が備える不図示の入力装置を用いて、監視カメラ２−１〜２−Ｎが撮像している複数の映像うち、１つまたは複数の映像を選択する。処理部９１は、監視者が選択した１つまたは複数の映像を撮像している監視カメラからＩＰデータｂを受信するように通信部９０に指示する。

通信部９０は、ネットワーク３およびネットワーク１０を介して、処理部９１から指定された１つまたは複数の監視カメラが配信するＩＰデータｂを選択的に受信する。処理部９１は、通信部９０により受信されたＩＰデータｂから映像を復号して、復号した映像を提示部９２に出力する。提示部９２は、処理部９１により復号された映像を表示部９ａに表示して監視者に提示する。指定した監視カメラの映像を動画表示する場合を示したが、文字表示してもよく、被監視場所の様子を示す音情報を出力してもよい。
これにより、監視者は、指定した監視カメラによって撮像された被監視場所７の映像を監視することが可能である。

また、監視端末９は、映像認識装置４Ａによる認識結果を閲覧することができる。
例えば、監視端末９が備える処理部９１が、通信部９０に対し、監視者から指定されたイベント発生時刻に対応するイベント情報を取得するように指示する。通信部９０は、ネットワーク３およびネットワーク１０を介して、監視者から指定されたイベント発生時刻に対応するイベント情報の要求情報を映像認識装置４Ａに送信する。

映像認識装置４Ａが備える認識部４１Ａは、通信部４０Ａによって受信されたイベント情報の要求情報に対応するイベント発生時刻のイベント情報および認識対象の映像データを記憶部４２から読み出す。通信部４０Ａは、ネットワーク３およびネットワーク１０を介して、認識部４１Ａによって記憶部４２から読み出されたイベント情報、イベント発生時刻および認識対象の映像データを、要求元の監視端末９に送信する。

監視端末９が備える提示部９２は、通信部９０により映像認識装置４Ａから受信されたイベント情報および認識対象の映像データを表示部９ａに表示して監視者に提示する。
監視対象物の動きを動画表示する場合を示したが、文字表示してもよく、監視対象物の動きを示す音情報を出力してもよい。これにより、監視者は、指定したイベント発生時刻におけるイベント情報および認識対象の映像データを閲覧することができる。

監視者は、リアルタイムな映像だけでなく、過去の映像も閲覧することができる。
例えば、監視端末９が備える処理部９１は、通信部９０に対し、監視者から指定された時刻に対応する符号化データを取得するように指示する。通信部９０は、ネットワーク３およびネットワーク１０を介して、監視者から指定された時刻に対応する符号化データの要求情報を映像記憶装置６Ａに送信する。

映像記憶装置６Ａが備える処理部６１Ａは、通信部６０Ａによって受信された要求情報に対応する時刻のＩＰデータｂを記憶部６２から読み出す。通信部６０Ａは、処理部６１Ａによって記憶部６２から読み出されたＩＰデータｂを要求元の監視端末９に送信する。監視端末９が備える処理部９１は、ネットワーク３およびネットワーク１０を介して、通信部９０により受信されたＩＰデータｂから映像を復号し、復号した映像を提示部９２に出力する。提示部９２は、処理部９１により復号された映像を表示部９ａに表示して監視者に提示する。これにより、監視者は、指定した過去の時刻の映像を閲覧することができる。

なお、映像認識装置４Ａが備える記憶部４２の記憶容量を、監視カメラ２−１〜２−Ｎのそれぞれが有する記憶部２２の記憶容量の合計よりも多くし、さらに、記憶部４２における、個々の監視カメラからの符号化データを記憶する記憶容量を、個々の監視カメラが有する記憶部２２の記憶容量よりも多くしてもよい。これにより、映像認識装置４Ａは、監視カメラ２−１〜２−Ｎよりも記憶可能な映像の期間が長くなり、その分、監視対象物の動きを認識できる期間も長くなるので、監視業務に対する利便性の高い監視カメラシステム１Ｂを提供することができる。

以上のように、実施の形態３に係る監視カメラシステム１Ｂにおいて、映像認識装置４Ａが、監視カメラ２−１〜２−Ｎから受信した符号化データを復号した映像から監視対象物の動きを認識し、認識結果であるイベント情報を、イベント発生時刻および認識対象の映像と併せて記憶する。監視端末９は、映像認識装置４Ａから送信されたイベント情報を受信し、受信したイベント情報を提示する。
このように構成することで、監視カメラシステム１Ｂに映像認識装置４Ａを設けるか、映像認識装置４Ａのバージョンアップを行うだけで映像認識機能の追加とそのバージョンアップを容易に行うことができる。また、監視端末９は、監視カメラ２−１〜２−Ｎから符号化データを受信して映像認識を行わなくても、映像認識装置４Ａにアクセスするだけで監視対象物の動きの認識結果（イベント情報）を得ることができる。これにより、監視業務に対する利便性が高いシステムを提供することが可能である。

なお、実施の形態３では、実施の形態２に係る監視カメラシステム１Ａを被監視場所７に設けた場合を示したが、実施の形態１に係る監視カメラシステム１を、被監視場所７に設けてもよい。このように構成しても、上記と同様の効果が得られる。

実施の形態３に係る監視カメラシステム１Ｂにおいて、映像認識装置４Ａは、監視カメラ２−１〜２−Ｎのそれぞれよりも記憶容量が多い。
特に、映像認識装置４Ａが備える記憶部４２の記憶容量を、監視カメラ２−１〜２−Ｎのそれぞれが有する記憶部２２の記憶容量の合計よりも多くし、さらに、記憶部４２における、個々の監視カメラからの符号化データを記憶する記憶容量を、個々の監視カメラが有する記憶部２２の記憶容量よりも多くする。これにより、映像認識装置４Ａは、監視カメラ２−１〜２−Ｎよりも記憶可能な映像の期間が長くなり、その分、監視対象物の動きを認識できる期間も長くなるので、監視業務に対する利便性の高い監視カメラシステム１Ｂを提供することができる。

実施の形態４．
実施の形態１では、監視カメラ、映像認識装置、監視端末および映像記憶装置が同一のネットワークに接続されている構成を示したが、実施の形態４では、これらの装置が接続しているネットワークと無線通信によって接続された、監視カメラ、映像認識装置、監視端末および映像記憶装置からなる移動設備が、監視カメラ映像を使用して当該移動設備とは異なる被監視場所の監視を行う構成について説明する。

図４は、実施の形態４に係る監視カメラシステム１Ｃの構成を示すブロック図である。図４において、図１、図２および図３と同一の構成要素には同一の符号を付して説明を省略する。監視カメラシステム１Ｃは、被監視場所７の様子を監視する移動設備１０１と、移動設備１０１内の様子を監視する監視カメラシステム１Ａとを備える。

移動設備１０１は、被監視場所７の様子を監視する監視カメラシステム１００を備えている。被監視場所７には、無線装置１１０ａが設けられ、移動設備１０１には、無線装置１１０ｂが設けられる。監視カメラシステム１Ａと監視カメラシステム１００との間は、無線装置１１０ａと無線装置１１０ｂとによって、無線伝送路を介して接続されている。

監視カメラシステム１００は、監視カメラ１０２−１〜１０２−Ｎ、映像認識装置１０４、監視端末１０５および映像記憶装置１０６が同一のネットワーク１０３に接続されている。なお、Ｎは、監視カメラの台数であり、２以上の整数である。移動設備１０１は、被監視場所７とは異なる場所で移動する、公共の交通機関などで使用される設備であり、例えば、鉄道車両である。

監視カメラ１０２−１〜１０２−Ｎは、移動設備１０１内の様子を撮像した映像データを、動画の表示に適した符号化方法と、映像認識の処理負荷が少ない符号化方法とのそれぞれで符号化してネットワーク１０３に同時に配信する設備側監視カメラである。また、監視カメラシステム１００において、監視カメラ１０２−１〜１０２−Ｎは映像認識機能を有さない。

映像認識装置１０４は、ネットワーク１０３から、監視カメラ２−１〜２−Ｎによって映像認識の処理負荷が少ない符号化方法で符号化された符号化データを受信し、受信した符号化データを復号した映像から監視対象物の動きを認識する設備側映像認識装置である。なお、映像認識装置１０４は、監視カメラ１０２−１〜１０２−Ｎのそれぞれとは独立して設けられ、認識結果であるイベント情報を、イベント発生時刻および認識対象の映像データと併せて記憶する。

監視端末１０５は、ネットワーク１０３を介して、被監視場所７のイベント情報を映像認識装置１０４から受信して、受信したイベント情報を提示する設備側監視端末である。また、監視端末１０５は、監視カメラ１０２−１〜１０２−Ｎによってネットワーク１０３に配信された符号化データを受信し、監視対象物の動きの認識結果に関する情報を映像認識装置１０４から受信して、符号化データを復号した映像および監視対象物の動きの認識結果を提示してもよい。表示部１０７は、監視端末１０５が備える表示装置であって、映像および認識結果は、例えば、表示部１０７に表示される。

図５は、監視端末１０５の構成を示すブロック図である。図５に示すように、監視端末１０５は、通信部１５０、処理部１５１および提示部１５２を備える。通信部１５０は、ネットワーク１０３を介して、監視カメラ１０２−１〜１０２−Ｎ、映像認識装置１０４および映像記憶装置１０６のそれぞれと通信を行う。例えば、通信部１５０は、無線装置１１０ｂおよび映像記憶装置１０６を介してネットワーク１０３に送信された監視カメラ２−１〜２−Ｎのそれぞれからの符号化データを受信し、監視カメラ１０２−１〜１０２−Ｎのそれぞれからネットワーク１０３に配信された符号化データを受信する。

処理部１５１は、通信部１５０によって受信された符号化データから映像を復号して、復号した映像を提示部１５２に出力する。また、処理部１５１は、通信部１５０によって映像認識装置１０４から受信された監視対象物の動きの認識結果を提示部１５２に出力する。提示部１５２は、処理部１５１によって復号された映像または監視対象物の動きの認識結果を監視者に視覚的に提示する。例えば、提示部１５２は、表示部１０７を制御して映像データを表示させる。

処理部１５１は、監視カメラから配信された符号化データの中から、受信対象の符号化データを選択する。例えば、処理部１５１は、通信部１５０に対し、被監視場所７のネットワーク３に配信されたＩＰデータ（符号化データ）を受信するように指示する。通信部１５０は、処理部１５１からの指示に従って、受信対象の監視カメラから配信されたＩＰデータを選択的に受信する。これにより、被監視場所７のうち、監視者が要求した場所の映像が提示されるので、監視業務に対する利便性が向上する。

映像記憶装置１０６は、設備側映像記憶装置であり、監視カメラ１０２−１〜１０２−Ｎのそれぞれからネットワーク１０３に配信された符号化データを受信して記憶し、監視端末１０５からの指示に従って、再生対象の監視カメラ映像を再生する機能を有する。
また、映像記憶装置１０６は、監視カメラシステム１Ａが備える監視端末５からの指示に従い、無線装置１１０ｂを介して、監視カメラ１０２−１〜１０２−Ｎのそれぞれからネットワーク１０３に配信された符号化データを、無線装置１１０ａへ送信させる機能を有する。

ネットワーク１０３は、ネットワーク３とは別の設備内ネットワークであり、例えば、移動設備１０１が備える基幹ネットワーク（ＬＡＮ）によって実現される。無線装置１１０ａは、ネットワーク３に接続されており、無線装置１１０ｂは、ネットワーク１０３に接続されている。無線装置１１０ａおよび無線装置１１０ｂによって、移動設備１０１が地上を移動しても、ネットワーク３とネットワーク１０３との接続が保たれる。

図６は、実施の形態４に係る監視カメラによる顔切り出し機能の概要を示す説明図である。顔切り出し機能とは、監視カメラによって撮像された画像から人の顔を検知し、検知した人の顔を含む画像範囲を切り出す機能である。監視カメラによって撮影された、１９２０画素×１０８０ラインのサイズの画像２００に、人物２０１ａ、人物２０１ｂ、人物２０１ｃおよび人物２０１ｄが映っている場合、監視カメラは、それぞれの人物を中心とした２４０画素×３２０ラインの画像範囲を指定して切り出す。これにより、部分画像２０２ａ、部分画像２０２ｂ、部分画像２０２ｃおよび部分画像２０２ｄが生成され、監視カメラは、これらの部分画像を符号化してネットワークに配信する。例えば、部分画像２０２ａ、部分画像２０２ｂ、部分画像２０２ｃおよび部分画像２０２ｄが、映像認識の処理負荷が少ないＪＰＥＧ形式の符号化方法で符号化された符号化データがＩＰデータｃである。

次に動作について説明する。
監視カメラシステム１Ａが備える監視端末５は、監視カメラシステム１００が備える監視カメラ１０２−１〜１０２−Ｎによって撮像された映像のうち、監視者から指定された１つまたは複数の映像を提示することができる。例えば、監視者は、監視端末５が備える不図示の入力装置を用いて、監視カメラ１０２−１〜１０２−Ｎが撮像している複数の映像のうち、１つまたは複数の映像を選択する。処理部５１は、監視者が選択した１つまたは複数の映像を撮像している１つまたは複数の監視カメラからのＩＰデータａを、監視カメラシステム１Ａに送信するように通信部５０に指示する。
なお、移動設備１０１から監視カメラシステム１Ａに送信されるＩＰデータは、ＩＰデータａの代わりに、部分画像が符号化されたＩＰデータｃであってもよいが、以降では、説明の簡単のために、ＩＰデータａを扱うものとする。

通信部５０は、ネットワーク３、無線装置１１０ａおよび無線装置１１０ｂを介して、監視者によって選択された映像を撮像している、移動設備１０１の１つまたは複数の監視カメラから配信されたＩＰデータａを選択的に無線装置１１０ｂに送信するよう映像記憶装置１０６に指示する。映像記憶装置１０６は、監視カメラ１０２−１〜１０２−Ｎから配信されたＩＰデータａのうち、監視端末５からの指示に応じた１つまたは複数の監視カメラから配信されたＩＰデータａを、無線装置１１０ｂに送信する。

無線装置１１０ｂは、映像記憶装置１０６から受信したＩＰデータａを、無線伝送路を介して無線装置１１０ａに送信する。無線装置１１０ａは、移動設備１０１から受信したＩＰデータａを、ネットワーク３に送信する。映像認識装置４Ａは、監視カメラ１０２−１〜１０２−Ｎから配信された符号化データを復号した映像から監視対象物の動きを認識して、認識結果であるイベント情報を、イベント発生時刻および認識対象の映像データと併せて記憶する。監視端末５は、ネットワーク３を介して映像認識装置４Ａから受信したイベント情報を提示する。これにより、監視端末５において、監視者は、指定した監視カメラによって撮像された移動設備１０１の映像を監視することができる。

移動設備１０１から監視カメラシステム１Ａに送信されるＩＰデータがＩＰデータａである場合を示したが、ＩＰデータａの代わりに、部分画像が符号化されたＩＰデータｃであってもよい。部分画像が符号化されたＩＰデータｃでは、全体画像が符号化されたＩＰデータａに比べて画像容量が削減されるので、無線装置１１０ａと無線装置１１０ｂとの間の無線伝送路として、伝送容量が少ない携帯電話回線のような安価な回線を使用することができる。

また、監視端末５において、監視者は、指定した監視カメラによって撮像された被監視場所７の映像と、指定した監視カメラによって撮像された移動設備１０１の映像とを比較して、被監視場所７と移動設備１０１との間での人または物の同定を行うことができる。このように、複数の被監視場所（例えば、被監視場所７と移動設備１０１）における監視対象物を１つの監視端末５で監視することで、監視業務に対する利便性が高いシステムを提供することが可能である。

また、移動設備１０１が備える監視端末１０５は、監視カメラシステム１Ａが備える監視カメラ２−１〜２−Ｎによって撮像された被監視場所７の映像のうち、監視者から指定された１つまたは複数の映像を提示することができる。例えば、監視者は、監視端末１０５が備える不図示の入力装置を用いて、監視カメラ２−１〜２−Ｎが撮像している複数の映像のうち、１つまたは複数の映像を選択する。処理部１５１は、監視者が選択した１つまたは複数の映像を撮像している１つまたは複数の監視カメラのＩＰデータａを、監視カメラシステム１００に送信するよう通信部１５０に指示する。
なお、監視カメラシステム１Ａから移動設備１０１に送信されるＩＰデータは、ＩＰデータａの代わりに、部分画像が符号化されたＩＰデータｃであってもよいが、以降では、説明の簡単のために、ＩＰデータａを扱うものとする。

通信部１５０は、ネットワーク１０３、無線装置１１０ｂおよび映像記憶装置１０６を介して、監視者によって選択された映像を撮像している、被監視場所７の１つまたは複数の監視カメラから配信されたＩＰデータａを選択的に送信するように無線装置１１０ａに指示する。無線装置１１０ａは、監視カメラ２−１〜２−Ｎから配信されたＩＰデータａのうち、監視端末１０５からの指示に応じた１つまたは複数の監視カメラから配信されたＩＰデータａを、無線装置１１０ｂに送信する。

無線装置１１０ｂは、無線装置１１０ａから受信したＩＰデータａを映像記憶装置１０６に出力する。映像記憶装置１０６は、監視カメラシステム１Ａから受信したＩＰデータａを、ネットワーク１０３に送信する。映像認識装置１０４は、監視カメラ２−１〜２−Ｎから配信された符号化データを復号した映像から監視対象物の動きを認識し、認識結果であるイベント情報を、イベント発生時刻および認識対象の映像データと併せて記憶する。監視端末１０５は、ネットワーク１０３を介して映像認識装置１０４から受信したイベント情報を提示する。これにより、監視端末１０５において、監視者は、指定した監視カメラによって撮像された被監視場所７の映像を監視することができる。

監視カメラシステム１Ａから移動設備１０１に送信されるＩＰデータがＩＰデータａである場合を示したが、ＩＰデータａの代わりに、部分画像が符号化されたＩＰデータｃであってもよい。部分画像が符号化されたＩＰデータｃでは、全体画像が符号化されたＩＰデータａに比べて画像容量が削減されるので、無線装置１１０ａと無線装置１１０ｂとの間の無線伝送路として、伝送容量が少ない携帯電話回線のような安価な回線を使用することができる。

また、監視端末１０５において、監視者は、指定した監視カメラによって撮像された移動設備１０１の映像と、指定した監視カメラによって撮像された被監視場所７の映像とを比較して、被監視場所７と移動設備１０１との間での人または物の同定を行うことができる。このように、複数の被監視場所（例えば、移動設備１０１と被監視場所７）における監視対象物を１つの監視端末１０５で監視することによって、監視業務に対する利便性が高いシステムを提供することが可能である。

以上のように、実施の形態４に係る監視カメラシステム１Ｃにおいて、ネットワーク３には、無線装置１１０ａおよび無線装置１１０ｂを介して移動設備１０１が接続されている。移動設備１０１は、監視カメラ１０２−１〜１０２−Ｎと、映像記憶装置１０６とを備える。映像認識装置４Ａは、ネットワーク３から、監視カメラ１０２−１〜１０２−Ｎにより符号化された符号化データを受信し、受信した符号化データを復号した映像から監視対象物の動きを認識して、認識結果であるイベント情報を、イベント発生時刻および認識対象の映像データと併せて記憶する。監視端末５は、ネットワーク３を介して映像認識装置４Ａから受信したイベント情報を提示する。映像記憶装置１０６が、無線装置１１０ｂを介した通信機能を有するので、監視端末５は、無線装置１１０ａおよび無線装置１１０ｂを介して映像記憶装置１０６にアクセスするだけで、監視カメラ１０２−１〜１０２−Ｎによって撮像された移動設備１０１内の映像に基づく監視対象物の動きを認識することができる。これにより、移動設備１０１における監視対象物の動きの認識処理を、映像認識装置４Ａと映像認識装置１０４とに分散させることができるので、映像認識装置１０４の処理能力を低くすることが可能であり、映像認識装置１０４を安価に実現できる。

実施の形態４に係る監視カメラシステム１Ｃにおいて、映像記憶装置６Ａは、無線装置１１０ａおよび無線装置１１０ｂを介して、ネットワーク１０３に符号化データを送信する。移動設備１０１は、映像認識装置１０４と、監視端末１０５とを備える。映像認識装置１０４は、ネットワーク１０３から、監視カメラ２−１〜２−Ｎにより符号化された符号化データを受信し、受信した符号化データを復号した映像から監視対象物の動きを認識して、認識結果であるイベント情報を、イベント発生時刻および認識対象の映像データと併せて記憶する。監視端末１０５は、ネットワーク１０３を介して映像認識装置１０４から受信したイベント情報を提示する。これにより、被監視場所７で認識された人または物と、移動設備１０１内で認識された人または物との同定が可能であり、監視業務に対する利便性が高いシステムを提供することが可能である。

実施の形態４に係る監視カメラシステム１Ｃにおいて、映像認識装置４Ａは、監視カメラ１０２−１〜１０２−Ｎによって撮像された画像の部分画像が符号化された符号化データから監視対象物の動きを認識する。映像認識装置１０４は、監視カメラ２−１〜２−Ｎによって撮像された画像の部分画像が符号化された符号化データから監視対象物の動きを認識する。例えば、撮像画像から切り出された人の顔部分の画像が符号化された符号化データを、無線装置１１０ａと無線装置１１０ｂとの間でやり取りする。これにより、無線装置１１０ａと無線装置１１０ｂとの間の無線伝送路として、伝送容量が少ない携帯電話回線のような安価な回線を使用することができ、監視業務に対する利便性が高いシステムを安価に提供することが可能である。

なお、本発明は上記実施の形態に限定されるものではなく、本発明の範囲内において、実施の形態のそれぞれの自由な組み合わせまたは実施の形態のそれぞれの任意の構成要素の変形もしくは実施の形態のそれぞれにおいて任意の構成要素の省略が可能である。

１，１Ａ，１Ｂ，１Ｃ 監視カメラシステム、２−１〜２−Ｎ，１０２−１〜１０２−Ｎ 監視カメラ、３，１０，１０３ ネットワーク、４，４Ａ，１０４ 映像認識装置、５，９，１０５ 監視端末、５ａ，９ａ，１０７ 表示部、６，６Ａ，１０６ 映像記憶装置、７ 被監視場所、８ 監視場所、２０ 撮像部、２１ 符号化部、２２，４２，６２ 記憶部、２３，４０，４０Ａ，５０，６０，６０Ａ，９０ 通信部、４１，４１Ａ 認識部、５１，６１，６１Ａ，９１ 処理部、５２，９２ 提示部、１０１ 移動設備、２００ 画像、２０１ａ，２０１ｂ，２０１ｃ，２０１ｄ 人物、２０２ａ，２０２ｂ，２０２ｃ，２０２ｄ 部分画像。

Claims (12)

1. 撮像した映像データを、動画の表示に適した符号化方法と映像認識の処理負荷が少ない符号化方法とを含む複数の異なる符号化方法のそれぞれで符号化してネットワークに同時に配信する監視カメラと、
   前記監視カメラから同時に配信され、前記ネットワークを介して受信された複数の符号化データを、互いに対応付けて記憶する映像記憶装置と、
   前記監視カメラとは独立に設けられ、前記映像記憶装置に記憶された複数の符号化データのうち、要求した映像認識の処理負荷が少ない符号化方法で符号化された符号化データを、前記ネットワークを介して受信し、当該受信した符号化データを復号した映像を人工知能で解析して監視対象物の動きを認識する映像認識装置と、
   前記ネットワークを介して受信された、前記監視カメラから同時に配信された符号化データのうち動画の表示に適した符号化方法で符号化された符号化データを復号した映像を提示し、前記ネットワークを介して受信された、前記映像認識装置が認識した監視対象物の動きの認識結果を提示する監視端末と
   を備えたことを特徴とする監視カメラシステム。
2. 撮像した映像データを、動画の表示に適した符号化方法と映像認識の処理負荷が少ない符号化方法とを含む複数の異なる符号化方法のそれぞれで符号化してネットワークに同時に配信する監視カメラと、
   前記監視カメラとは独立に設けられ、前記監視カメラから同時に配信された符号化データのうち映像認識の処理負荷が少ない符号化方法で符号化された符号化データを、前記ネットワークを介して受信し、当該受信した符号化データを復号した映像を人工知能で解析して監視対象物の動きを認識する映像認識装置と、
   前記ネットワークを介して受信された、前記監視カメラから同時に配信された符号化データのうち動画の表示に適した符号化方法で符号化された符号化データを復号した映像を提示し、前記ネットワークを介して受信された、前記映像認識装置が認識した監視対象物の動きの認識結果を提示する監視端末を備え、
   前記監視カメラは、前記映像認識装置からの指示に従って、映像の解像度、映像データの符号化速度および符号化データの送信速度を調整する機能を有することを特徴とする監視カメラシステム。
3. 撮像した映像データを、動画の表示に適した符号化方法と映像認識の処理負荷が少ない符号化方法とを含む複数の異なる符号化方法のそれぞれで符号化してネットワークに同時に配信する監視カメラと、
   前記監視カメラとは独立に設けられ、前記監視カメラから同時に配信された符号化データのうち映像認識の処理負荷が少ない符号化方法で符号化された符号化データを、前記ネットワークを介して受信し、当該受信した符号化データを復号した映像を人工知能で解析して監視対象物の動きを認識する映像認識装置と、
   前記ネットワークを介して受信された、前記監視カメラから同時に配信された符号化データのうち動画の表示に適した符号化方法で符号化された符号化データを復号した映像を提示し、前記ネットワークを介して受信された、前記映像認識装置が認識した監視対象物の動きの認識結果を提示する監視端末と、
   前記ネットワークに無線装置を介して接続された移動設備を備え、
   前記移動設備は、
   撮像した映像データを、動画の表示に適した符号化方法と映像認識の処理負荷が少ない符号化方法とを含む複数の異なる符号化方法のそれぞれで符号化して、前記ネットワークとは別の設備内ネットワークに同時に配信する設備側監視カメラと、
   前記設備側監視カメラから同時に配信された符号化データを記憶する設備側映像記憶装置を備え、
   前記映像認識装置は、前記設備側映像記憶装置に記憶された複数の符号化データのうち、要求した映像認識の処理負荷が少ない符号化方法で符号化された符号化データを、前記無線装置および前記ネットワークを介して受信し、受信した符号化データを復号した映像から前記設備側監視カメラによる監視対象物の動きを認識し、当該認識結果であるイベント情報を、イベント発生時刻および認識対象の映像データと併せて記憶し、
   前記監視端末は、前記ネットワークを介して受信された、前記映像認識装置が認識した前記設備側監視カメラによる監視対象物に対するイベント情報を提示すること
   を特徴とする監視カメラシステム。
4. 撮像した映像データを、動画の表示に適した符号化方法と映像認識の処理負荷が少ない符号化方法とを含む複数の異なる符号化方法のそれぞれで符号化してネットワークに同時に配信する監視カメラと、
   前記監視カメラから同時に配信され、前記ネットワークを介して受信された複数の符号化データを、互いに対応付けて記憶する映像記憶装置と、
   前記監視カメラとは独立に設けられ、前記映像記憶装置に記憶された複数の符号化データのうち、要求した映像認識の処理負荷が少ない符号化方法で符号化された符号化データを、前記ネットワークを介して受信し、受信した符号化データを復号した映像を人工知能で解析して監視対象物の動きを認識する映像認識装置と、
   前記ネットワークを介して受信された、前記監視カメラから同時に配信された符号化データのうち動画の表示に適した符号化方法で符号化された符号化データを復号した映像を提示し、前記ネットワークを介して受信された、前記映像認識装置が認識した監視対象物の動きの認識結果を提示する監視端末と、
   前記ネットワークに無線装置を介して接続された移動設備を備え、
   前記移動設備は、
   前記映像記憶装置に記憶された複数の符号化データのうち、要求した映像認識の処理負荷が少ない符号化方法で符号化された符号化データを、前記ネットワーク、前記無線装置、および前記ネットワークとは別の設備内ネットワーク介して受信し、当該受信した符号化データを復号した映像から前記監視カメラによる監視対象物の動きを認識して、認識結果であるイベント情報を、イベント発生時刻および認識対象の映像データと併せて記憶する設備側映像認識装置と、
   前記設備内ネットワークを介して受信された前記設備側映像認識装置が認識した前記監視カメラによる監視対象物に対するイベント情報を提示する設備側監視端末を備えたことを特徴とする監視カメラシステム。
5. 撮像した映像データを、動画の表示に適した符号化方法と映像認識の処理負荷が少ない符号化方法とを含む複数の異なる符号化方法のそれぞれで符号化してネットワークに同時に配信する監視カメラと、
   前記監視カメラとは独立に設けられ、前記監視カメラから同時に配信された符号化データのうち映像認識の処理負荷が少ない符号化方法で符号化された符号化データを、前記ネットワークを介して受信し、当該受信した符号化データを復号した映像を人工知能で解析して監視対象物の動きを認識する映像認識装置と、
   前記ネットワークを介して受信された、前記監視カメラから同時に配信された符号化データのうち動画の表示に適した符号化方法で符号化された符号化データを復号した映像を提示し、前記ネットワークを介して受信された、前記映像認識装置が認識した監視対象物の動きの認識結果を提示する監視端末と、
   前記ネットワークに無線装置を介して接続された移動設備を備え、
   前記移動設備は、
   撮像した映像データを、動画の表示に適した符号化方法と映像認識の処理負荷が少ない符号化方法とを含む複数の異なる符号化方法のそれぞれで符号化して、前記ネットワークとは別の設備内ネットワークに同時に配信する設備側監視カメラと、
   前記監視カメラによって撮像された画像のうち指定された画像範囲により切り出された部分画像を映像認識の処理負荷が少ない符号化方法で符号化された符号化データを、前記ネットワーク、前記無線装置、および前記設備内ネットワークを介して受信し、当該受信した符号化データを復号した映像から前記監視カメラによる監視対象物の動きを認識する設備側映像認識装置と、
   前記設備内ネットワークを介して前記設備側映像認識装置が認識した前記監視カメラによる監視対象物の動きの認識結果を提示する設備側監視端末を備え、
   前記映像認識装置は、前記設備側監視カメラによって撮像された画像のうち指定された画像範囲により切り出された部分画像を映像認識の処理負荷が少ない符号化方法で符号化された符号化データを、前記設備内ネットワーク、前記無線装置、および前記ネットワークを介して受信し、当該受信した符号化データを復号した映像から前記設備側監視カメラによる監視対象物の動きを認識し、
   前記監視端末は、前記ネットワークを介して受信された、前記映像認識装置が認識した前記設備側監視カメラによる監視対象物の認識結果を提示すること
   を特徴とする監視カメラシステム。
6. 撮像した映像データを、動画の表示に適した符号化方法と映像認識の処理負荷が少ない符号化方法とを含む複数の異なる符号化方法のそれぞれで符号化してネットワークに同時に配信する監視カメラと、
   前記監視カメラから同時に配信され、前記ネットワークを介して受信された複数の符号化データを、互いに対応付けて記憶する映像記憶装置と、
   前記監視カメラとは独立に設けられ、前記映像記憶装置に記憶された複数の符号化データのうち、要求した映像認識の処理負荷が少ない符号化方法で符号化された符号化データを、前記ネットワークを介して受信し、受信した符号化データを復号した映像を人工知能で解析して監視対象物の動きを認識する映像認識装置と、
   前記ネットワークを介して受信された、前記監視カメラから同時に配信された符号化データのうち動画の表示に適した符号化方法で符号化された符号化データを復号した映像を提示し、前記ネットワークを介して受信された、前記映像認識装置が認識した監視対象物の動きの認識結果を提示する監視端末と、
   前記ネットワークに無線装置を介して接続された移動設備を備え、
   前記移動設備は、
   撮像した映像データを、動画の表示に適した符号化方法と映像認識の処理負荷が少ない符号化方法とを含む複数の異なる符号化方法のそれぞれで符号化して、前記ネットワークとは別の設備内ネットワークに同時に配信する設備側監視カメラと、
   前記監視カメラによって撮像された画像のうち指定された画像範囲により切り出された部分画像を映像認識の処理負荷が少ない符号化方法で符号化された符号化データを、前記ネットワーク、前記無線装置、および前記設備内ネットワークを介して受信し、当該受信した符号化データを復号した映像から前記監視カメラによる監視対象物の動きを認識する設備側映像認識装置と、
   前記設備内ネットワークを介して前記設備側映像認識装置が認識した前記監視カメラによる監視対象物の動きの認識結果を提示する設備側監視端末を備え、
   前記映像認識装置は、前記設備側監視カメラによって撮像された画像のうち指定された画像範囲により切り出された部分画像を映像認識の処理負荷が少ない符号化方法で符号化された符号化データを、前記設備内ネットワーク、前記無線装置、および前記ネットワークを介して受信し、当該受信した符号化データを復号した映像から前記設備側監視カメラによる監視対象物の動きを認識し、
   前記監視端末は、前記ネットワークを介して受信された、前記映像認識装置が認識した前記設備側監視カメラによる監視対象物の認識結果を提示すること
   を特徴とする監視カメラシステム。
7. 映像認識の処理負荷が少ない符号化方法は、ＪＰＥＧ形式の符号化方法であり、
   動画の表示に適した符号化方法は、Ｈ．２６４形式の符号化方法であること
   を特徴とする請求項１から請求項６のいずれか１項に記載の監視カメラシステム。
8. 前記ネットワークには、複数の前記監視カメラが接続されており、
   前記監視端末は、複数の前記監視カメラのそれぞれから配信された複数の符号化データのうちから、受信対象の符号化データを選択する機能を有すること
   を特徴とする請求項１から請求項７のいずれか１項に記載の監視カメラシステム。
9. 前記映像認識装置は、監視対象物の動きの認識結果であるイベント情報をイベント発生時刻および認識対象の映像データと併せて記憶し、
   前記監視端末は、前記映像認識装置が認識した監視対象物の動きの認識結果であるイベント情報を提示すること
   を特徴とする請求項１から請求項８のいずれか１項に記載の監視カメラシステム。
10. 前記映像認識装置の記憶容量は、前記監視カメラの記憶容量より多いこと
    を特徴とする請求項９記載の監視カメラシステム。
11. 前記映像認識装置は、監視対象物の動きが認識された映像の特徴を人工知能で学習し、学習結果を利用して映像から監視対象物の動きを認識すること
    を特徴とする請求項１から請求項１０のいずれか１項に記載の監視カメラシステム。
12. 前記監視カメラは、撮像した映像を補正する映像補正機能を有すること
    を特徴とする請求項１から請求項１１のいずれか１項に記載の監視カメラシステム。

Images