JP6112913B2 - 監視カメラシステム及び方法 - Google Patents

Description

本発明は監視カメラシステム及び方法に関するものである。

近年、ビデオカメラなどで撮影した映像をインターネットやＬＡＮなどのネットワークを介して送信し、遠隔地のクライアント（コンピュータ端末）によりモニタリングを可能としたネットワークカメラが多く提案されている。

また、このようなネットワークカメラを、セキュリティを目的として住宅に設置し、留守中などに撮影した映像を警備会社などのクライアントに送信して記録する監視カメラシステムも広く知られた技術である。更に、家庭内の事故防止などを目的として、住宅の屋内に監視カメラを設置する場合も増えてきている。このような住宅に設置された監視カメラを利用すれば、家族などのスナップ映像を撮影することが可能であり、スナップ映像のデータを家庭のパソコンに保存することも可能となる。

一般的に、スナップ映像として保存したい映像は、被写体となる人物が会話などの発声をしている映像であることが多い。このような被写体の音声を利用して、話者や被写体の状態を検出する方法や、これらの検出結果を利用して画像処理を行う方法などが多く提案されている（特許文献１、特許文献２参照）。

特開２００７−０１０９９５号公報 特開２００７−１９３８２４号公報

監視カメラが撮影した映像データは、監視に適した映像フォーマットで符号化して送信し、クライアントで記録する。具体的には、人物の顔が特定できる画質に適した映像フォーマットで符号化したり、クライアントに送信するためのネットワークの容量に適した映像フォーマットで符号化したりする。

一方、監視カメラが撮影した映像データをスナップ映像として記録する場合は、観賞や編集に適した映像フォーマットで符号化して送信し、クライアントで記録する必要がある。具体的には、高画質に適した映像フォーマットで符号化したり、スナップ写真として印刷できる静止画フォーマットで符号化したりしてから保存する必要がある。

したがって、住宅に設置した監視カメラを利用して、スナップ映像を記録するためには、監視用映像とスナップ用映像の異なる目的の映像データとして、２種類以上の映像フォーマットのデータを同時に記録していく必要がある。このような複数の映像記録のために、クライアントの記憶媒体の容量の増大、クライアントの記録処理の負荷の増大、送信データの増加にともなうネットワークの回線容量の制限などが問題となる。

また、スナップ映像は記録した映像データから抽出する必要がある。そのため、撮影した映像をすべて記録した後に、人手による映像データの選別や編集が必要となり、非常に煩雑な作業が必要になる。

このように、監視カメラを利用したスナップ映像の記録においては、監視用映像とスナップ用映像の同時記録による蓄積媒体の容量増大や、スナップ映像を全記録映像から抽出することが困難であるという問題点があった。
本発明は前述の問題点に鑑み、被写体の音声を利用してスナップ映像や監視映像などの映像の種別を判定し、映像の種別に適した映像フォーマットで保存できるようにすることを目的とする。

本発明の監視カメラシステムは、撮影した映像データを記録する監視カメラシステムであって、被写体を撮影する撮影手段と、音声信号を入力する音声入力手段と、前記音声入力手段で入力された音声信号を解析する解析手段と、前記解析手段の解析結果と前記撮影手段で得られた映像データとを送信先に送信する送信手段と、前記映像データの送信先で、前記解析手段の解析結果に応じて、記録する映像データのフォーマットを変更する変更手段とを有することを特徴とする。

本発明によれば、被写体の音声を利用してスナップ映像や監視映像などの映像の種別を判定し、映像の種別に適したフォーマットで記録するようにしたので、記録時の蓄積媒体の容量を低減することができる。

本発明の実施形態を示し、監視カメラシステムの構成例を示すブロック図である。 第１の実施形態の監視カメラシステムの制御手順の一例を示すフローチャートである。 第１の実施形態の監視カメラシステムの音声検出手順の一例を示すフローチャートである。 第１の実施形態の監視カメラシステムの音声スペクトルを説明する図である。 第１の実施形態の監視カメラシステムの音声スペクトルを説明する図である。 第２の実施形態の監視カメラシステムの制御手順の一例を示すフローチャートである。 第３の実施形態の監視カメラシステムの制御手順の一例を示すフローチャートである。

以下に、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。
＜第１の実施形態＞
図１は、本発明の実施形態に係る監視カメラシステムの構成例を示すブロック図である。この監視カメラシステムは、ネットワーク１３０を介して接続されたカメラサーバー（装置）１００とクライアント１２０とからなる。
撮像部１０１はズーム、フォーカス、露出などに関する不図示の制御回路を備え、レンズ制御部１０８からの制御データによって光学系を制御して最適な映像を撮影する。

撮像部１０１が撮影した映像データは映像処理部１０３に送信され、符号化部１０４で映像データの符号化を行う。映像データの符号化の方式としてはＪＰＥＧ、Ｈ.２６４、ＭＰＥＧ４などの手法があるが、本実施形態は符号化の方式に依存するものではないので、符号化の方式について詳細な説明を省略する。

撮像部１０１は、所望の位置に回転することを可能にするため、撮像部１０１が搭載された雲台部１０２をモーター１１１で駆動することができる。また、モーター１１１は、雲台制御部１０９の制御によって所望の位置に回転することができる。また、被写体が発する音を音声信号として音声入力するためのマイク１１２を有している。マイク１１２から入力される被写体の音声データは、音声処理部１１３に送信され、被写体はスナップ映像に適しているか否かを判定した後、 符号化部１０４で音声データの符号化を行う。音声データの符号化としてはＧ.７１１などの手法があるが、本実施形態は符号化の方式に依存するものではないので、詳細な説明を省略する。

映像処理部１０３、音声処理部１１３、符号化部１０４、ＣＰＵ１０５、ＲＯＭ１０６、ＲＡＭ１０７、レンズ制御部１０８、雲台制御部１０９は内部バスを通じて接続されている。また、通信部１１０を通じてネットワーク１３０に映像データや音声データを送信したり、撮影アングルの要求信号を受信したりする機能を備える。前述したＣＰＵ１０５、ＲＯＭ１０６、ＲＡＭ１０７よりなるコンピュータシステムが装置全体の動作を制御する。クライアント１２０は、カメラサーバー１００で撮影した映像データや音声データの再生や記録を行うことが可能であり、記録サーバーとして機能する。また、カメラサーバー１００の撮影アングルを遠隔制御することが可能である。

本実施形態では、被写体の音声信号から会話中や留守中などの被写体の状態を検出する被写体状態検出を行い、検出結果を示す状態情報に応じて映像データの符号化方式を変更することを特徴としている。以下、映像データの符号化方式を変更する処理手順（方法）を、図１の構成図と図２のフローチャートを用いて説明する。図２のフローチャートの処理は、ＲＯＭ１０６に格納されているプログラムをＲＡＭ１０７に展開し、ＣＰＵ１０５が実行することにより実現する。

Ｓ２０１では、マイク１１２から入力された被写体の音声信号を解析し、所定の時間が無音状態であるか否かを判定する。Ｓ２０１で無音状態であることを判定したら、Ｓ２０６で符号化部１０４によって映像データをＭＰＥＧ４フォーマットの６４０×４８０画素（ＶＧＡサイズ）で符号化する。符号化した映像データは通信部１１０、ネットワーク１３０を介してクライアント１２０に送信し、クライアント１２０では映像データの記録を開始する。

Ｓ２０７では、カメラが設置されている住宅の住人が帰宅したか否かを判定する。帰宅の検出方法については、ドアの解錠音や空調設備の動作音を事前に登録しておき、登録音とマイク１１２から入力される音声を比較する方法などがあるが、本実施形態はこれらの方法に依存するものではない。

ここで、登録音と駆動音の比較方法に関して、音声信号をスペクトルとして比較して音の発生源を特定する処理手順（方法）を、図３のフローチャートと、図４及び図５を用いて説明する。

Ｓ３０１では、マイク１１２から入力された図４（ａ）の駆動音の音声信号（音声入力波形）を一定時間tのデータに変換するため窓関数をかける。
Ｓ３０２では、窓関数をかけたデータをフーリエ変換して周波数毎のパワーである音声スペクトルを求める。

Ｓ３０３では、事前に登録されている登録スペクトル図４（ｂ）を選択する。登録スペクトル図４（ｂ）は、ドアの解錠音のスペクトルや空調設備の動作音のスペクトルで構成されており、ドアの解錠音のスペクトルは周波数範囲ＦｋとレベルＬｋ、空調設備の動作音のスペクトルは周波数範囲ＦａとレベルＬａの特性である。

Ｓ３０４では、Ｓ３０２で求めた音声スペクトル図４（ｃ）と、登録スペクトル図４（ｂ）とを比較して、ドアの解錠音のスペクトルが入力されたか否かを判定する。
ドアの解錠音のスペクトルが検出された場合は、ドア解錠のフラグを「１」に設定して次のステップに進む。

Ｓ３０５では、Ｓ３０２で求めた音声スペクトル図４（ｄ）と、登録スペクトル図４（ｂ）を比較して、空調設備の動作音のスペクトルが入力されたか否かを判定する。空調設備の動作音のスペクトルが検出された場合は、空調動作のフラグを「１」に設定して次のステップに進む。

Ｓ３０６では、ドア解錠のフラグと空調動作のフラグを確認し、どちらも「１」であった場合は帰宅したと判断する。
このように、ドアの解錠音や空調設備などのマイクから入力される音声信号は、周波数スペクトル化して比較することで特性が明確になり、誤判定を防止することが可能になる。

さらに、音声スペクトル図５（ａ）に対して、比較したい周波数帯域だけ抽出するバンドパスフィルタを使用することで、音声スペクトル図５（ｂ）のように監視カメラが設置されている環境音や電話の呼び出し音などのスペクトルを排除することが可能になる。これにより、音声の比較の精度を高めることが可能になる。

以上説明したような帰宅の検出方法などを利用して、Ｓ２０７で住人の帰宅を検出したら、Ｓ２０５で映像データの送信を停止し、クライアント１２０では映像データの記録を停止する。
一方、Ｓ２０１でマイク１１２から入力された被写体の音声信号を解析し、音が入力されたことを認識したら、Ｓ２０２で入力された音は会話であるか否かを検出する。
ここで、会話を検出する方法例として、音声認識を利用する方法を説明する。音声認識は一般的な発声の統計データを使用して行うことができる。多くの発話を記録した学習用データと、マイク１１２からの音声信号との特徴を抽出して比較し、発話した言語を推定する。

監視カメラにこのような音声認識の機能を搭載していれば、子供の名前や、「ただいま」などという特定の言語を発生した場合に、会話音であると判定することができる。また、複数のマイクを利用した指向性の情報や、前述のスペクトルの情報などを利用することで、精度の高い判定が可能になる。
本実施形態においては、このような音声認識のアルゴリズムに依存するものではなく、音声認識の結果を利用して会話をしているか否かを判定するものである。

Ｓ２０２で、被写体の音声が会話であると判定した場合は、Ｓ２０３で 符号化部１０４によって映像データをＨ.２６４フォーマットの１９２０×１０８０画素（ＨＤサイズ）で符号化する。符号化した映像データは通信部１１０、ネットワーク１３０を介してクライアント１２０に送信し、クライアント１２０では映像データの記録を開始する。
Ｓ２０４で音声認識を利用して会話が終了したことを確認したら、Ｓ２０５で映像データの送信を停止し、クライアント１２０での記録を停止する。

以上説明したように、被写体の音声信号から、留守中や会話中などの被写体の状態を判定し、これに応じて映像の符号化方式を変更して記録することが可能になる。符号化方式としては、Ｈ．２６４方式もしくはＭＰＥＧ４方式もしくはＪＰＥＧ方式などを考慮する。
本実施形態では、記録方式の変更例として符号化方式や解像度について説明したが、スナップ映像に望まれる高画質のファクターとなる圧縮率などの変更についても同様の処理が可能である。また、本実施形態では、符号化方式の変更例として動画フォーマットの変更について説明したが、スナップ写真として必要な静止画フォーマットへ変更する、フォーマット変更についても同様の処理が可能である。

＜第２の実施形態＞
第２の実施形態では、被写体の音声信号から会話をしている人数を検出し、会話をしている人数に応じて、記録する映像データのフォーマットをクライアント１２０で変更する処理手順（方法）を、図１の構成図と図６のフローチャートを用いて説明する。図６のフローチャートの処理は、ＲＯＭ１０６に格納されているプログラムをＲＡＭ１０７に展開し、ＣＰＵ１０５が実行することにより実現する。

Ｓ６０１では、カメラサーバー１００の符号化部１０４において、映像データを監視映像に適したＭＰＥＧ４と、スナップ映像に適したＨ.２６４の２種類の映像フォーマットで符号化する。符号化した２種類の映像データは通信部１１０、ネットワーク１３０を介してクライアント１２０に送信する。

Ｓ６０２では、クライアント１２０が受信したＭＰＥＧ４のフォーマットの映像データの記録を開始する。
Ｓ６０３では、マイク１１２から被写体の音声が入力されるまで待機しており、音声が入力された場合は音声信号を解析し、発声音であるか否かを判定する。Ｓ６０３で発声音があった場合はＳ６０４で会話をしている人数を検出し、音声処理部１１３において人数の情報を音声データに付加する。

ここで、会話をしている人数を検出する方法例として、話者認識を利用する方法を説明する。話者認識は個人がもつ声紋の情報を利用して行うことができる。事前に個人がもつ声紋の情報を登録するために、所定のテキストを登録者が読み上げる。さらに、所定のテキストに応じた発声によって話者の特徴を抽出し、代表的な音声モデルを学習しながら構築していく。このような音声モデルと入力される音声信号を比較して話者を特定することが可能になる。

監視カメラにこのような話者認識の機能を搭載していれば、家族の誰が話しているか、家族以外の訪問者が話しているか、などの話者や話者の人数を特定することができる。また、このような話者認識と映像からの顔認識を組み合わせることで、精度の高い認識を可能にする方法もある。
本実施形態においては、このような話者認識のアルゴリズムに依存するものではなく、話者認識の結果を利用して会話をしている人物や人数を判定するものである。

Ｓ６０５では、クライアント１２０が音声データに付加された人数の情報を確認する。もし３人以上の人数が確認された場合は、Ｓ６０６でＭＰＥＧ４の映像データの記録を停止し、クライアント１２０ではＭＰＥＧ４の映像データの記録を停止する。
Ｓ６０７では、クライアント１２０で受信したＨ.２６４のフォーマットの映像データの記録を開始する。

以上説明したように、本実施形態においては話者認識によって特定の発話者が検出された頻度に応じて、これらの情報をスナップ映像として保存するための優先度として音声データに付加する。クライアント１２０は、これらの優先度の情報によって記録する映像フォーマットを変更することが可能になる。

本実施形態では、記録方式の変更例として会話をしている人数を検出し、これに応じて映像の符号化方式を変更して記録する方法について説明したが、会話の重要度という観点では、会話の時間や音量といったファクターを利用しても同様の処理が可能である。

＜第３の実施形態＞
第３の実施形態では、会話をしている話者を前述の話者認識を利用して検出し、話者に応じて記録する映像フォーマットと記録サーバーを変更する処理手順（方法）を図７のフローチャートを用いて説明する。図７のフローチャートの処理は、ＲＯＭ１０６に格納されているプログラムをＲＡＭ１０７に展開し、ＣＰＵ１０５が実行することにより実現する。

Ｓ７０１では、マイク１１２から入力された被写体の音声信号を解析し、話者認識を利用して事前に登録された家族の声と比較して話者を特定する。
Ｓ７０１で話者は家族であることを認識したら、Ｓ７０２で、カメラサーバー１００の符号化部１０４において、映像データをＨ.２６４フォーマットの１９２０×１０８０画素で符号化して、住宅内にあるホームサーバー（図示せず）に送信し記録する。

Ｓ７０３では、マイク１１２から入力された被写体の音声信号を解析し、話者認識を利用して家族以外の話者を検出する。Ｓ７０３で家族以外の話者を検出したら、Ｓ７０４で、カメラサーバー１００の符号化部１０４において、映像データをＭＰＥＧ４フォーマットの３２０×２４０画素で符号化し、住宅外の警備会社などに設置されている監視サーバーに送信し記録する。

Ｓ７０５では、マイク１１２から入力された被写体の音声信号を解析し、話者認識を利用して家族だけの声になったことを検出する。Ｓ７０５で家族だけの声を確認したら、Ｓ７０６で、監視サーバーへの映像データの送信を停止する。

以上、説明したように、話者認識で監視すべき映像か否かを判定し、監視する映像は監視用サーバーに送信し、スナップ映像はホームサーバーに送信し、それぞれ最適な映像フォーマットで記録することが可能になる。

本実施形態では記録サーバーの変更について説明したが、記録する場所を変更するという目的においては、映像フォーマットの符号化の変更に応じて、記録するフォルダや記録媒体を変更することも同様の処理で可能である。

話者認識を利用すれば、家族のみでの会話、来訪者との会話などの認識結果をトリガとして符号化方式を変更することが可能になるが、話者認識に限らず、叫び声、笑い声などの声の質やドアや空調などの特徴音を利用することも可能である。このような特徴音の登録についてはスペクトルとして事前に登録し、入力音声のスペクトルと特性を比較することで精度の高い認識が可能になる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００ カメラサーバー
１０１ 撮像部
１０２ 雲台部
１０３ 映像処理部
１０４ 符号化部
１０５ ＣＰＵ
１０６ ＲＯＭ
１０７ ＲＡＭ
１０８ レンズ制御部
１０９ 雲台制御部
１１０ 通信部
１１１ モーター
１１２ マイク
１１３ 音声処理部
１２０ クライアント
１３０ ネットワーク

Claims (8)

1. 撮影した映像データを記録する監視カメラシステムであって、
   被写体を撮影する撮影手段と、
   音声信号を入力する音声入力手段と、
   前記音声入力手段で入力された音声信号を解析する解析手段と、
   前記解析手段の解析結果と前記撮影手段で得られた映像データとを送信先に送信する送信手段と、
   前記映像データの送信先で、前記解析手段の解析結果に応じて、記録する映像データのフォーマットを変更する変更手段とを有することを特徴とする監視カメラシステム。
2. 前記解析手段は、音声を発する話者を検出することを特徴とする請求項１に記載の監視カメラシステム。
3. 前記解析手段は、音声を発する話者の人数を検出することを特徴とする請求項１に記載の監視カメラシステム。
4. 前記変更手段は、前記解析手段の解析結果に応じて、記録する動画の符号化方式を変更することを特徴とする請求項１〜３の何れか１項に記載の監視カメラシステム。
5. 前記変更手段は、前記解析手段により特定の発話者が検出された頻度に応じて、記録する映像データのフォーマットを変更することを特徴とする請求項１又は２に記載の監視カメラシステム。
6. 撮影した映像データを記録する監視カメラシステムにおける記録方法であって、
   被写体を撮影し、
   音声信号を入力し、
   前記入力された音声信号を解析し、
   前記解析の解析結果と前記撮影により得られた映像データとを送信先に送信し、
   前記映像データの送信先で、前記解析の解析結果に応じて、記録する映像データのフォーマットを変更することを特徴とする監視カメラシステムにおける記録方法。
7. 前記解析は、音声を発する話者を検出することを特徴とする請求項６に記載の監視カメラシステムにおける記録方法。
8. 前記解析は、音声を発する話者の人数を検出することを特徴とする請求項６に記載の監視カメラシステムにおける記録方法。

Images