JP6016658B2

JP6016658B2 - 撮像装置及び撮像装置の制御方法

Info

Publication number: JP6016658B2
Application number: JP2013022521A
Authority: JP
Inventors: 崇博岩崎
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-02-07
Filing date: 2013-02-07
Publication date: 2016-10-26
Anticipated expiration: 2033-02-07
Also published as: JP2014155014A

Description

本発明は撮像装置及び撮像装置の制御方法に関し、特に、音声検知機能を備えた撮像装置において、音声検知結果に基づく記録制御に用いて好適な技術に関する。

監視用途に使用される撮像装置は、警備室等の操作端末へ撮像画像を配信するとともに、操作端末から送信される画質設定等の制御コマンドに従って処理を行う。このような撮像装置において、音声を識別する機能を備えるものがある。

特許文献１は、予め設定された事件等に結び付く可能性が高い音、例えば銃声や緊急自動車の発するサイレンを識別し、事件が発生した判定されると、撮像映像がデータ記録装置に記録される撮像装置が提案されている。前述の撮像装置によれば、事故と想定される事象発生の直後から撮像映像の記録を自動で開始することができる。

国際公開第０５／１０１３４５号

一方で、前述の撮像装置においては、特定音声の発生が検知され録画が開始されても、撮像映像が記録されるべき事件は撮像装置の監視エリアで発生していない場合も考えられる。例えば、前述の撮像装置においては、特定音声の音源となる緊急自動車が撮像装置の近辺を通過するだけで、事件が撮像装置の監視エリアで発生していない場合でも記録が開始されてしまう可能性がある。

即ち、記録の必要性の低い場合でも記録が開始され、例えば撮像装置の記録容量を不必要に消費するという課題があった。
本発明は前述の問題点に鑑み、特定音声の検知結果に基づいて映像記録を開始する機能を備えた撮像装置において、より記録の必要性に則した記録が行えるようにすることを目的とする。

本発明の撮像装置は、撮像画像と音情報を取得する取得手段と、前記取得手段により取得された音情報に所定音が含まれることを検知する検知手段と、前記検知手段による前記所定音の検知結果に応じて、前記撮像画像と前記音情報とメタデータのうち少なくとも１つの情報の記録を開始させる記録制御手段とを有し、前記記録制御手段は、前記少なくとも１つの情報の記録中に前記所定音の音量が所定の閾値以下になった場合、前記所定音の音量の減少率が所定の減少率以上であると、前記少なくとも１つの情報の記録を継続させ、前記所定音の音量の減少率が所定の減少率以上でないと、前記少なくとも１つの情報の記録を停止させることを特徴とする。

本発明によれば、より記録の必要性の高い場合のみ記録を行うことが可能となり、記録容量を不必要に消費されるのを防止することができる。

本発明の実施形態を説明する監視カメラ及び監視カメラを含むシステム構成を示す図である。監視カメラの内部構成の一例を示すブロック図である。外部機器から各種設定を行う場合の制御コマンドシーケンスを示す図である。監視カメラと外部機器とで使用される各制御コマンド、及びレスポンスの内容を示す図である。監視カメラと外部機器とで使用される各制御コマンド、及びレスポンスの内容を示す図である。監視カメラと外部機器とで使用される各制御コマンド、及びレスポンスの内容を示す図である。監視カメラと外部機器とで使用される各制御コマンド、及びレスポンスの内容を示す図である。第１の実施形態の監視カメラの音声解析処理を説明するフローチャートである。録画開始アクション処理、録画停止アクション処理を説明するフローチャートである。監視カメラに入力される特定の音声パターンの音量の変化と、監視カメラの振る舞いを時系列で説明する図である。第２の実施形態の監視カメラの内部処理を説明するフローチャートである。

［第１の実施形態］
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。
図１（ａ）は、本発明の実施形態を説明する監視カメラ１００を示す図であり、図１（ｂ）は、監視カメラ１００を含むシステム構成図である。
図１（ｂ）において、５００は、監視カメラ１００を操作するクライアントを示す外部機器である。監視カメラ１００と外部機器５００は、ＩＰネットワーク網３００を介して相互に通信可能な状態に接続されている。

外部機器５００は、監視カメラ１００に対して、撮像パラメータ変更や映像ストリーミング開始等の各種コマンドを送信する。監視カメラ１００は、それらのコマンドに対するレスポンスや映像ストリーミングを外部機器５００に送信する。

図２は、監視カメラ１００の内部構成の一例を示すブロック図である。
図２において、１０１は制御部であり、監視カメラ１００の全体の記録制御を行う。制御部１０１は、例えばＣＰＵ、ＲＯＭ、ＲＡＭで構成される。

１０２はメモリである。メモリ１０２は、主に制御部１０１が実行するプログラム格納領域、プログラム実行中のワーク領域、後述する撮像部１０３が生成する画像データの格納領域等、様々なデータの格納領域として使用される。

１０３は撮像部である。撮像部１０３は、被写体を撮影して取得したアナログ信号をデジタルデータに変換する。また、ＡＤＣＴ（適応離散コサイン変換）等によりデータの圧縮処理を行って撮像画像の画像データを生成し、メモリ１０２に出力する。撮像部１０３は、撮像画像をメモリ１０２に出力した後、制御部１０１に画像取得イベントを発行する。

１０４は通信部である。通信部１０４は、各制御コマンドを外部機器から受信する場合、また各制御コマンドに対するレスポンスを外部機器へ送信する場合使用される。
１０５は音声入力部である。音声入力部１０５は、監視カメラ１００の周辺の音情報を取得するための外部入力装置であり、例えばマイクで構成される。監視カメラ１００の周辺の音声は、音声入力部１０５によって監視カメラ１００に取り込まれ、デジタル信号に変換されて後述の音声識別部１０６に入力される。

音声識別部１０６は、音声入力部１０５によって入力された音声を、予め登録されている特定の音声パターンと比較し、合致する音声が発生しているかどうかを制御部１０１に通知する。また、音声識別部１０６は、特定の音声パターンの条件に合致している音声が音声入力部１０５から入力されている場合、音声の音量をデシベルで出力し、さらに特定の音声パターンの音量の減少率、或いは増加率を１秒毎にデシベル毎秒で出力し、制御部１０１に提供する。

１０７は記憶部である。記憶部１０７は、撮像部１０３がメモリ１０２に出力する撮像画像を保存するために使用され、ネットワークドライブや、フラッシュメモリ、ハードディスク等で構成される。

以上、図２を参照し監視カメラ１００の内部構成について説明したが、図２に示す処理ブロックは、本発明における監視カメラ１００の好適な実施形態の一例を説明したものでありこの限りではない。例えば、雲台制御部を備えるなど、本発明の要旨の範囲内で、種々の変形及び変更が可能である。

図３は、本発明の実施形態である監視カメラ１００が外部機器に提供する２つのサービスについて、外部機器５００から各種設定を行う場合の制御コマンドシーケンスを示している。２つのサービスとは、監視カメラ１００周辺の音声を解析する機能を提供する音声解析サービス、及び監視カメラ１００が取得する撮像画像を録画する機能を提供するアクションエンジンサービスである。

図４〜図７は、ＸＭＬで記述される図３にて使用される各制御コマンド、及びレスポンスの内容を示している。本実施形態においては、監視カメラ１００が提供する各サービスに対して、外部機器５００が制御コマンドを送信するための宛先アドレスは、予め両機器間で共有されているものとする。

図３のＳ５０において、外部機器５００は、ＧｅｔＳｅｒｖｉｃｅＣａｐａｂｉｌｉｔｉｅｓのトランザクションによって、監視カメラ１００が提供する音声解析サービスの機能を取得する。
図４（ａ）は、音声解析サービスのＧｅｔＳｅｒｖｉｃｅＣａｐａｂｉｌｉｔｉｅｓのリクエストとレスポンスの内容を示している。図４（ａ）において、ＣａｐａｂｉｌｉｔｉｅｓタグのＡｎａｌｙｔｉｃｓＭｏｄｕｌｅＳｕｐｐｏｒｔフラグ、及びＲｕｌｅＳｕｐｐｏｒｔフラグによって、監視カメラ１００が、音声解析エンジンAnalytics Module、及び音声解析結果判定ルールの設定変更を外部機器５００に許可しているか否かが示される。

Ｓ５１に示されるＧｅｔＳｅｒｖｉｃｅＣａｐａｂｉｌｉｔｉｅｓのトランザクションによって、外部機器５００は、監視カメラ１００が提供するアクションエンジンサービスの機能を取得する。
図４（ｂ）は、アクションエンジンサービスのＧｅｔＳｅｒｖｉｃｅＣａｐａｂｉｌｉｔｉｅｓのリクエストとレスポンスの内容を示している。図４（ｂ）において、ＣａｐａｂｉｌｉｔｉｅｓタグのＭａｘｉｍｕｍＡｃｔｉｏｎｓパラメータ、及びＭａｘｉｍｕｍＴｒｉｇｇｅｒｓパラメータは、それぞれ監視カメラ１００に設定可能なアクションの数、及びトリガの数を示している。アクションとトリガの詳細は後述する。

Ｓ５２に示されるＧｅｔＡｕｄｉｏＡｎａｌｙｔｉｃｓＣｏｎｆｉｇｕｒａｔｉｏｎｓのトランザクションによって、外部機器５００は、監視カメラ１００が保持する音声解析機能の設定値であるＡｕｄｉｏＡｎａｌｙｔｉｃｓＣｏｎｆｉｇｕｒａｔｉｏｎｓと、そのＩＤであるＴｏｋｅｎを取得する。
図４（ｃ）は、ＧｅｔＡｕｄｉｏＡｎａｌｙｔｉｃｓＣｏｎｆｉｇｕｒａｔｉｏｎｓのリクエストとレスポンスの内容を示している。図４（ｃ）において、レスポンスにおけるＣｏｎｆｉｇｕｒａｔｉｏｎＴｏｋｅｎはＡｕｄｉｏＡｎａｌｙｔｉｃｓＣｏｎｆｉｇｕｒａｔｉｏｎｓのＩＤを示しており、本図においては、ＡＡＣ−０である。ＡｕｄｉｏＡｎａｌｙｔｉｃｓＣｏｎｆｉｇｕｒａｔｉｏｎｓは、音声解析結果判定ルールＲｕｌｅＥｎｇｉｎｅＣｏｎｆｉｇｕｒａｔｉｏｎを保持するが、本図においてはまだ設定されていないため含まれていない。

Ｓ５３に示されるＧｅｔＳｕｐｐｏｒｔｅｄＲｕｌｅｓのトランザクションによって、外部機器５００は、指定したＡｕｄｉｏＡｎａｌｙｔｉｃｓＣｏｎｆｉｇｕｒａｔｉｏｎｓに対応して、監視カメラ１００がサポートする音声解析結果判定ルールＲｕｌｅの内容を取得する。
図４（ｄ）は、ＧｅｔＳｕｐｐｏｒｔｅｄＲｕｌｅｓのリクエストとレスポンスの内容を示している。図４（ｄ）において、リクエストのＣｏｎｆｉｇｕｒａｔｉｏｎＴｏｋｅｎには、Ｓ５２で取得したＡｕｄｉｏＡｎａｌｙｔｉｃｓＣｏｎｆｉｇｕｒａｔｉｏｎｓのＩＤが指定される。レスポンスのＲｕｌｅＤｅｓｃｒｉｐｔｉｏｎにおいて、監視カメラ１００がサポートする音声解析結果判定ルールの名称Ｎａｍｅと、これを設定するために必要なパラメータ群Ｐａｒａｍｅｔｅｒｓが提供される。

図４（ｄ）においてＳｏｕｎｄＳｏｕｒｃｅＤｅｔｅｃｔｏｒは、予め設定されている特定の音声パターンが、入力された音声情報に含まれているかどうかを判定し、その音量や音量の増加率、及び減少率を含む変化率を出力するという音声解析結果判定ルールである。音源接近音量閾値、及び離脱判定音量閾値は、整数のデシベル、音量変化率判定閾値は単位秒あたりのデシベル、音源離脱待ちタイマは時分秒で指定される。監視カメラ１００における各パラメータの使用方法については図８を参照しながら後述する。

Ｓ５４に示されるＣｒｅａｔｅＲｕｌｅｓのトランザクションによって、外部機器５００は、Ｓ５３において取得した監視カメラ１００がサポートする音声解析結果判定ルールの内容に基づいて、音声解析結果判定ルールの各パラメータの具体的な設定を行う。
図５（ａ）は、ＣｒｅａｔｅＲｕｌｅｓのリクエストとレスポンスの内容を示している。音源接近音量閾値（第１の閾値）は、監視カメラ１００の監視範囲に音源が接近していると判断できる程度の音量が設定されるべきである。離脱判定音量閾値（第２の閾値）は、音源が監視カメラ１００から離れたと判断できる程度の音量であり、音源接近音量閾値より小さい値が設定されるべきである。

Ｓ５５に示されるＧｅｔＳｕｐｐｏｒｔｅｄＡｃｔｉｏｎｓのトランザクションによって、外部機器５００は、監視カメラ１００がサポートするアクションの種類とパラメータの内容を取得する。
図５（ｂ）は、ＧｅｔＳｕｐｐｏｒｔｅｄＡｃｔｉｏｎｓのリクエストとレスポンスの内容を示している。図５（ｂ）のレスポンスにおいて、ＡｃｔｉｏｎＤｅｓｃｒｉｐｔｉｏｎの其々が、監視カメラ１００がサポートするアクションを示している。
図５（ｂ）の１つ目は、ＲｅｃｏｒｄｉｎｇＡｃｔｉｏｎであり、特定のトリガが発生したときに監視カメラ１００が内蔵するストレージに映像の記録を開始する、というアクションである。
２つ目は、ＲｅｃｏｒｄｉｎｇＳｔｏｐＡｃｔｉｏｎであり、特定のトリガが発生したときに映像の記録を停止する、というアクションである。ＲｅｃｏｒｄｉｎｇＡｃｔｉｏｎを設定するパラメータである、ＲｅｃｏｒｄｉｎｇＳｔｏｐＡｃｔｉｏｎの内容は後述する。ＲｅｃｏｒｄｉｎｇＳｔｏｐＡｃｔｉｏｎを設定するパラメータは、停止の対象となるＲｅｃｏｒｄｉｎｇＡｃｔｉｏｎのＩＤである。

Ｓ５６に示されるＣｒｅａｔｅＡｃｔｉｏｎｓのトランザクションによって、外部機器５００は、Ｓ５５において取得した監視カメラ１００がサポートするアクションの内容に基づいて、アクションの各パラメータの具体的な設定を行う。
図６（ａ）は、ＣｒｅａｔｅＡｃｔｉｏｎｓのリクエストとレスポンスの内容を示している。リクエストにおいて、Ａｃｔｉｏｎタグのそれぞれが、外部機器５００が設定しようとするアクションを示している。図６（ａ）においては、１つ目のＴｏｋｅｎ＝１のＡｃｔｉｏｎとしてＲｅｃｏｒｄｉｎｇＡｃｔｉｏｎを、２つ目のＴｏｋｅｎ＝２のアクションとしてＲｅｃｏｒｄｉｎｇＳｔｏｐＡｃｔｉｏｎが指定されている。
ＲｅｃｏｒｄｉｎｇＡｃｔｉｏｎのパラメータを説明する。ＰｒｅＲｅｃｏｒｄＤｕｒａｔｉｏｎは、録画を開始させるトリガが発生したタイミングから遡って録画を開始する時間を指定させる。ＰｏｓｔＲｅｃｏｒｄＤｕｒａｔｉｏｎは、録画を終了させるトリガが発生したタイミングから録画を継続させておく時間を指定させる。ＲｅｃｏｒｄＤｕｒａｔｉｏｎは、録画を開始させるトリガが発生してから録画を継続させる時間を指定させる。ＲｅｃｏｒｄＦｒａｍｅＲａｔｅは、録画する映像のフレームレートを指定させる。ＤｏＲｅｃｏｒｄＡｕｄｉｏは、画像の記録に併せて音声の記録を行うかどうかを指定する。

Ｓ５７に示されるＧｅｔＥｖｅｎｔＰｒｏｐｅｒｔｉｅｓのトランザクションによって、外部機器５００は、監視カメラ１００がサポートするイベントの種類と内容を取得する。
図６（ｂ）は、ＧｅｔＥｖｅｎｔＰｒｏｐｅｒｔｉｅｓのリクエストとレスポンスの内容を示している。図６（ｂ）において、レスポンスに含まれるＴｏｐｉｃＳｅｔは、監視カメラ１００がサポートするイベントの種類をトピックツリーで示しており、本図においては次の３種類がサポートされている。音源接近イベントであるＲｕｌｅＥｎｇｉｎｅ／ＳｏｕｎｄＳｏｕｒｃｅＤｅｔｅｃｔｏｒ／Ａｃｃｅｓｓｉｎｇ、音源離脱イベントであるＲｕｌｅＥｎｇｉｎｅ／ＳｏｕｎｄＳｏｕｒｃｅＤｅｔｅｃｔｏｒ／Ｌｅａｖｉｎｇ、及び音源離脱待ちタイムアウトイベントであるＲｕｌｅＥｎｇｉｎｅ／ＳｏｕｎｄＳｏｕｒｃｅＤｅｔｅｃｔｏｒ／ＬｅａｖｉｎｇＷａｉｔＴｉｍｅｏｕｔである。

Ｓ５８に示されるＣｒｅａｔｅＡｃｔｉｏｎＴｒｉｇｇｅｒｓのトランザクションによって、外部機器５００は、監視カメラ１００にＳ５６で設定した各アクションを発生させるためのトリガを設定する。
図７（ａ）は、ＣｒｅａｔｅＡｃｔｉｏｎＴｒｉｇｇｅｒｓのリクエストとレスポンスの内容を示している。図７（ａ）においては、音源接近イベントをＳ５６で設定したＴｏｋｅｎ＝１のＲｅｃｏｒｄｉｎｇＡｃｔｉｏｎのトリガとして設定し、音源離脱イベント、並びに音源離脱待ちタイムアウトをＴｏｋｅｎ＝２のＲｅｃｏｒｄｉｎｇＳｔｏｐＡｃｔｉｏｎのトリガとして設定している。

以下、図８及び図９を参照して、本発明の第１の実施形態である監視カメラ１００で行われる内部処理の一例を説明する。
図８は、監視カメラ１００の音声解析処理である。監視カメラ１００において、前述のＳ５４に示される音声解析結果判定ルールが設定されている場合に、１プロセスとして定期的に実行される処理である。

Ｓ８００において、制御部１０１は音源検知状態の判定を行う。制御部１０１は、音源検知状態が０：音源未接近の場合はＳ８０１へ、１：音量変化率判定中の場合はＳ８１０へ、２：音源近接中の場合はＳ８２０へ処理を移す。

Ｓ８０１において、制御部１０１は音声識別部１０６から特定パターン音声の検知音量を取得し、Ｓ５３において設定されている音源接近音量閾値とを比較する。制御部１０１は、音量が閾値以上であった場合は、音源が接近していると判断し処理をＳ８０２へ移し、音量が閾値以下であった場合は、Ｓ８０５へ処理を移す。

Ｓ８０２において、制御部１０１は、前述のＳ５７に示される音源接近イベントであるＲｕｌｅＥｎｇｉｎｅ／ＳｏｕｎｄＳｏｕｒｃｅＤｅｔｅｃｔｏｒ／Ａｃｃｅｓｓｉｎｇを発行する。

Ｓ８０３において、制御部１０１は、Ｓ５３において設定されているタイマ値に従って、音源離脱待ちタイマを起動する。
Ｓ８０４において、制御部１０１は、音源検知状態を１：音量変化率判定中に遷移させ、処理をＳ８０５に移す。

Ｓ８１０において、制御部１０１は、音源離脱待ちタイマがタイムアウトしているかどうかを判定し、タイムアウトしている場合は処理をＳ８２１に移す。

Ｓ８１１において、制御部１０１は、音声識別部１０６から特定パターン音声の検知音量を取得し、Ｓ５３において設定されている離脱判定音量閾値と比較する。制御部１０１は、音量が閾値以下であった場合は、音源が監視カメラ１００から離れたと判断し処理をＳ８１３へ移し、音量が閾値以上であった場合は、Ｓ８０５へ処理を移す。

Ｓ８１３において、制御部１０１は、音声識別部１０６から特定の音声パターンの音量の減少率を取得し、Ｓ５３において設定されている音量変化率判定閾値と比較する。制御部１０１は、減少率が音量変化率判定閾値以上であった場合は、音源が監視カメラ１００の監視範囲近辺で停止していると判断し、Ｓ８１７へ処理を移す。一方、減少率が音量変化率判定閾値以上でなかった場合は、音源が監視カメラ１００の監視範囲近辺を通過しただけと判断し、Ｓ８１４へ処理を移す。

Ｓ８１４において、制御部１０１は、前述のＳ５７に示される音源離脱イベントであるＲｕｌｅＥｎｇｉｎｅ／ＳｏｕｎｄＳｏｕｒｃｅＤｅｔｅｃｔｏｒ／Ｌｅａｖｉｎｇを発行する。
Ｓ８１５において、制御部１０１は、Ｓ８０３において起動した音源離脱待ちタイマを停止させる。

Ｓ８１６において、制御部１０１は、音源検知状態を０：音源未接近に遷移させ、処理をＳ８０５に移す。
Ｓ８１７において、制御部１０１は、音源検知状態を２：音源接近中に遷移させ、処理をＳ８０５に移す。

Ｓ８２０において、制御部１０１は、音源離脱待ちタイマがタイムアウトしているかどうかを判定し、タイムアウトしている場合は処理をＳ８２１に移す。

Ｓ８２１において、制御部１０１は、前述のＳ５７に示される音源離脱待ちタイムアウトイベントであるＲｕｌｅＥｎｇｉｎｅ／ＳｏｕｎｄＳｏｕｒｃｅＤｅｔｅｃｔｏｒ／ＬｅａｖｉｎｇＷａｉｔＴｉｍｅｏｕｔを発行する。
Ｓ８２２において、制御部１０１は、音源検知状態を０：音源未接近に遷移させ、処理をＳ８０５に移す。

Ｓ８０５において、制御部１０１は、Ｓ５５に示される録画開始アクションであるＲｅｃｏｒｄｉｎｇＡｃｔｉｏｎが設定されているかどうかを判定する。録画開始アクションが設定されている場合は、制御部１０１は、Ｓ８０６に処理を移し録画開始アクション処理を実行する。録画開始アクションが設定されていない場合は、制御部１０１は、処理をＳ８０７へ移す。

Ｓ８０７において、制御部１０１は、Ｓ５５に示される録画停止アクションであるＲｅｃｏｒｄｉｎｇＳｔｏｐＡｃｔｉｏｎが設定されているかどうかを判定する。録画停止アクションが設定されている場合は、制御部１０１は、Ｓ８０８に処理を移し録画停止アクション処理を実行する。録画停止アクションが設定されていない場合は、制御部１０１は、処理をＳ８００へ移す。

前述のようにすることで、特定パターン音声の検知音量が、第１の閾値以上になってから、所定の減少率以下で、第１の閾値より小さい第２の閾値未満になった場合、或いは、特定パターン音声の検知音量が第１の閾値以上になってから、所定の減少率以上で、第２の閾値未満になった場合とで、記録の期間が異なるように制御することができる。

図９（ａ）は、録画開始アクション処理を示している。
Ｓ９００において、制御部１０１は、図７（ａ）に示すＣｒｅａｔｅＡｃｔｉｏｎＴｒｉｇｇｅｒｓリクエストによってＲｅｃｏｒｄｉｎｇＡｃｔｉｏｎに対して設定されるトリガを取得する。本実施形態においては、Ｓ５８にて設定された音源接近イベントであるＲｕｌｅＥｎｇｉｎｅ／ＳｏｕｎｄＳｏｕｒｃｅＤｅｔｅｃｔｏｒ／Ａｃｃｅｓｓｉｎｇが取得される。

Ｓ９０１において、制御部１０１は、Ｓ９００にて取得したトリガのいずれかが発生しているかどうかを判定する。トリガが発生している場合は、制御部１０１は、処理をＳ９０２に移し、録画を開始する。トリガが発生していない場合は、制御部１０１は、録画開始アクション処理を終了する。

図９（ｂ）は、録画停止アクション処理を示している。
Ｓ９１０において、制御部１０１は、図７（ａ）に示すＣｒｅａｔｅＡｃｔｉｏｎＴｒｉｇｇｅｒｓリクエストによってＲｅｃｏｒｄｉｎｇＳｔｏｐＡｃｔｉｏｎに対して設定されるトリガを取得する。本実施形態においては、Ｓ５８にて設定された音源離脱イベントであるＲｕｌｅＥｎｇｉｎｅ／ＳｏｕｎｄＳｏｕｒｃｅＤｅｔｅｃｔｏｒ／Ｌｅａｖｉｎｇ、及び音源離脱待ちタイムアウトイベントであるＲｕｌｅＥｎｇｉｎｅ／ＳｏｕｎｄＳｏｕｒｃｅＤｅｔｅｃｔｏｒ／ＬｅａｖｉｎｇＷａｉｔＴｉｍｅｏｕｔが取得される。

Ｓ９１１において、制御部１０１は、Ｓ９１０にて取得したトリガのいずれかが発生しているかどうかを判定する。トリガが発生している場合は、制御部１０１は、処理をＳ９１２に移し、録画を停止する。トリガが発生していない場合は、制御部１０１は、録画停止アクション処理を終了する。

図１０を参照し、監視カメラ１００に入力される特定の音声パターンの音量の変化と、監視カメラ１００の振る舞いを時系列で説明する。
図１０（ａ）〜（ｄ）は、特定の音声パターンの音源が、監視カメラ１００に徐々に近づき、そのまま遠ざかった場合の監視カメラ１００の振る舞いを示している。

３０００は、音声識別部１０６が検出する特定の音声パターンの音量である。
３０１０、３０１１は、Ｓ５３において設定される音源接近音量閾値と、離脱判定音量閾値を示している。

３０１３は、音源離脱待ちタイマが起動中であることを示している。
３０１４は、監視カメラ１００が録画を行っていることを示している。３０２０は、音量が音源接近音量閾値を上回ったタイミングを示している。監視カメラ１００は、音源接近イベントを発行し、音源離脱待ちタイマを起動する。この時点で、音源接近イベントをトリガとする録画開始アクションが設定されている場合は、録画が開始される。

３０２１、３０２２は、音量が離脱判定音量閾値を下回ったタイミングを示している。監視カメラ１００は、音声識別部が出力する音量減少率を音量変化率判定閾値と比較する。３０２１は、減少率が閾値以下であった場合を示しており、監視カメラ１００は、音源離脱イベントを発行し、音源離脱待ちタイマを停止する。この時点で、音源離脱イベントをトリガとする録画停止アクションが停止されている場合は、録画が停止される。３０２２は、減少率が閾値以上であった場合を示している。このとき、監視カメラ１００は録画を継続する。

３０２３は、音源離脱待ちタイムがタイムアウトしたタイミングを示している。この時点で、音源離脱待ちタイムアウトイベントをトリガとする録画停止アクションが設定されている場合は、録画が停止される。

以上の処理により、例えば緊急自動車が特定パターンの音声の音源であった場合、緊急自動車が監視カメラ１００の周辺に停止し事件の発生確率が高いと思われる場合、或いは、近辺を通過した場合とで、録画時間を異なるよう制御することができ、より必要性の高い録画を行うことができる。これによって、例えば監視カメラ１００の記録容量を不必要に消費するという課題を解決することができる。

［第２の実施形態］
第１の実施形態においては、特定の音声パターンに関する音量の減少率によって録画時間を変化させることにより、より必要性の高い録画を行うことができる監視カメラに言及し、本発明の好適な実施形態を説明した。

第１の実施形態では、音量の減少率によって録画時間の制御が行われたが、本発明はこの限りではなく、例えば音量の増加率によって録画時間の制御が行われるようにしてもよい。以上の点を考慮した本発明の第２の実施の形態を以下に説明する。尚、第１の実施形態と同じ部分については説明を省略する。

図３において、Ｓ５４に示されるＣｒｅａｔｅＲｕｌｅｓのトランザクションによって、外部機器５００は、Ｓ５３にて取得した監視カメラ１００がサポートする音声解析結果判定ルールの内容に基づいて、音声解析結果判定ルールの各パラメータの具体的な設定を行う。

図７（ｂ）は、ＣｒｅａｔｅＲｕｌｅｓのリクエストとレスポンスの内容を示している。
音源接近音量閾値（第２の閾値）は、監視カメラ１００の監視範囲に音源が接近しつつあると判断できる程度の音量が設定されるべきである。離脱判定音量閾値（第１の閾値）は、音源が監視カメラ１００に十分接近していると判断できる程度の音量であり、音源接近音量閾値より大きい値が設定されるべきである。

図１１は、監視カメラ１００において行われる音声解析処理の一例を説明するフローチャートである。監視カメラ１００において、前述のＳ５４に示される音声解析結果判定ルールが設定されている場合に、１プロセスとして定期的に実行される処理である。

Ｓ１１００において、制御部１０１は、音声識別部１０６から特定パターン音声の検知音量を取得し、Ｓ５３において設定されている離脱判定音量閾値と比較する。制御部１０１は、音量が閾値以上であった場合は、音源が監視カメラ１００に十分接近したと判断し処理をＳ１１０１へ移し、音量が閾値以下であった場合は、Ｓ８０５へ処理を移す。

Ｓ１１０１において、制御部１０１は、音声識別部１０６から特定の音声パターンの音量の増加率を取得し、Ｓ５３において設定されている音量変化率判定閾値と比較する。制御部１０１は、増加率が音量変化率判定閾値以下であった場合は、音源が監視カメラ１００に徐々に近づいてきたと判断しＳ８１７へ処理を移す。一方、増加率が音量変化率判定閾値以下でなかった場合は、音源が監視カメラ１００の監視範囲近辺から突然発生していると判断し、Ｓ８１４へ処理を移す。

前述のようにすることで、所定のパターンの条件の音（所定音）の音量が、第１の閾値より小さい第２の閾値以上になってから、所定の増加率以上で、第１及び第２の閾値以上になった場合、或いは、所定のパターンの条件の音の音量が、第２の閾値以上になってから、所定の増加率以下で、第１及び第２の閾値以上になった場合とで、記録の期間が異なるように制御することができる。

図１０を参照し、監視カメラ１００に入力される特定の音声パターンの音量の変化と、監視カメラ１００の振る舞いを時系列で説明する。
図１０（ｃ）は、特定の音声パターンの音源が、監視カメラ１００に徐々に近づき、そのまま遠ざかった場合の監視カメラ１００の振る舞いを示している。

３１２０は、音量が音源接近音量閾値を上回ったタイミングを示している。監視カメラ１００は、音源接近イベントを発行し、音源離脱待ちタイマを起動する。この時点で、音源接近イベントをトリガとする録画開始アクションが設定されている場合は、録画が開始される。

３１２１、３１２２は、音量が離脱判定音量閾値を上回ったタイミングを示している。監視カメラ１００は、音声識別部が出力する音量増加率を音量変化率判定閾値と比較する。３１２１は、増加率が閾値以下であった場合を示している。この場合は、監視カメラ１００に音源が徐々に近づいてきたことを示しており、監視カメラ１００は録画を継続する。

３１２２は、増加率が閾値以上であった場合を示している。
この場合は、監視カメラ１００の近辺から音源が発生したことを示しており、監視カメラ１００は音源離脱イベントを発行し、音源離脱待ちタイマを停止する。この時点で、音源離脱イベントをトリガとする録画停止アクションが停止されている場合は、録画が停止される（図１０（ｄ））。

以上の処理により、例えば緊急自動車が特定パターンの音声の音源であった場合、緊急自動車が監視カメラ１００の周辺に徐々に近づいてきた、即ち事件の発生確率が高いと思われる場合と、監視カメラ近辺から緊急自動車が発進した場合とで、録画時間を異なるよう制御することができ、より必要性の高い録画を行うことができる。
これによって、例えば監視カメラ１００の記録容量を不必要に消費するという課題を解決することができる。

以上、本発明を実装した撮像装置の動作を第１の実施形態及び２に示したが、実施形態は必ずしも上述の限りでなく、部分的に変更されてもよい。
即ち、本実施形態においては、録画の必要性が低いと判断された場合は録画を停止するよう制御しているがこの限りではない。例えば、録画の必要が低い場合は、録画するデータの圧縮方法を変更したり、解像度、ビットレート、サンプリングレート、フレームレート等を下げたりするよう制御してもよい。このようにすることにより、必要性が低い場合の記録は低品質録画に切り替えるようにすることができる。

本実施形態においては、録画の必要性が低いと判断された場合の録画データが記憶装置に残るようになっているがこの限りではない。例えばＳ８１４の前で、記録が開始されているデータを記憶装置から削除するように制御し、必要性の低いと思われる録画データは記録されないようにしてもよい。

本実施形態においては、音量の変化率の大小に関わらず、音量が音源接近音量閾値以上になった場合は、まず記録が開始されるようになっているが、この限りではない。即ち、図１０において３０２０、３１２０のタイミングでは録画を開始せず、３０２１、３０２２、３１２１、及び３１２２のタイミングで音量の減少率或いは増加率に基づいて記録の必要性を判定する。そして、録画の必要性がより高いと判断される場合にのみ録画が開始されるように制御してもよい。
本実施形態においては、画像データのみが記録されるようになっているがこの限りではなく、音声データ、イベント、或いはメタデータ等も併せて記録されるようになっていてもよい。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００監視カメラ
１０１制御部
５００外部機器

Claims

撮像画像と音情報を取得する取得手段と、
前記取得手段により取得された音情報に所定音が含まれることを検知する検知手段と、
前記検知手段による前記所定音の検知結果に応じて、前記撮像画像と前記音情報とメタデータのうち少なくとも１つの情報の記録を開始させる記録制御手段とを有し、
前記記録制御手段は、
前記少なくとも１つの情報の記録中に前記所定音の音量が所定の閾値以下になった場合、前記所定音の音量の減少率が所定の減少率以上であると、前記少なくとも１つの情報の記録を継続させ、前記所定音の音量の減少率が所定の減少率以上でないと、前記少なくとも１つの情報の記録を停止させることを特徴とする撮像装置。
前記記録制御手段は、
前記少なくとも１つの情報の記録中に前記所定音の音量が所定の閾値以下になった場合、前記所定音の音量の減少率が所定の減少率以上でないと、前記記録を停止させ、記録された情報を削除させることを特徴とする請求項１に記載の撮像装置。
撮像画像と音情報を取得する取得手段と、
前記取得手段により取得された音情報に所定音が含まれることを検知する検知手段と、
前記検知手段による前記所定音の検知結果に応じて、前記撮像画像の記録を開始させる記録制御手段とを有し、
前記記録制御手段は、
前記撮像画像の記録中に前記所定音の音量が所定の閾値以下になった場合、前記所定音の音量の減少率が所定の減少率以上であると、前記撮像画像の記録を継続させ、前記所定音の音量の減少率が所定の減少率以上でないと、前記撮像画像の記録を低品質録画に切り替えさせることを特徴とする撮像装置。
前記記録制御手段は、
前記撮像画像の記録中に前記所定音の音量が所定の閾値以下になった場合、前記所定音の音量の減少率が所定の減少率以上でないと、前記撮像画像の圧縮方法、解像度、ビットレート、フレームレート、サンプリングレートのうち、少なくとも１つを含む記録方法を変更させることを特徴とする請求項３に記載の撮像装置。
撮像画像と音情報を取得する取得手段と、
前記取得手段により取得された音情報に所定音が含まれることを検知する検知手段と、
前記所定音の音量が所定の減少率以上で所定の閾値以下になった場合、前記撮像画像と前記音情報とメタデータのうち少なくとも１つの情報の記録を開始させる記録制御手段とを有することを特徴とする撮像装置。
撮像画像と音情報を取得手段により取得する取得手段と、
前記取得手段により取得された音情報に所定音が含まれることを検知する検知手段と、
前記検知手段による前記所定音の検知結果に応じて、前記撮像画像と前記音情報とメタデータのうち少なくとも１つの情報の記録を開始させる記録制御手段とを有し、
前記記録制御手段は、
前記少なくとも１つの情報の記録中に前記所定音の音量が所定の閾値以上になった場合、前記所定音の音量の増加率が所定の増加率以下であると、前記少なくとも１つの情報の記録を継続させ、前記所定音の音量の増加率が所定の増加率以下でないと、前記少なくとも１つの情報の記録を停止させることを特徴とする撮像装置。
前記記録制御手段は、
前記少なくとも１つの情報の記録中に前記所定音の音量が所定の閾値以上になった場合、前記所定音の音量の増加率が所定の増加率以下でないと、前記少なくとも１つの情報の記録を停止させ、記録された情報を削除させることを特徴とする請求項６に記載の撮像装置。
撮像画像と音情報を取得手段により取得する取得手段と、
前記取得手段により取得された音情報に所定音が含まれることを検知する検知手段と、
前記検知手段による前記所定音の検知結果に応じて、前記撮像画像の記録を開始させる記録制御手段とを有し、
前記記録制御手段は、
前記撮像画像の記録中に前記所定音の音量が所定の閾値以上になった場合、前記所定音の音量の増加率が所定の増加率以下であると、前記撮像画像の記録を継続させ、前記所定音の音量の増加率が所定の増加率以下でないと、前記撮像画像の記録を低品質録画に切り替えさせることを特徴とする撮像装置。
前記記録制御手段は、
前記撮像画像の記録中に前記所定音の音量が所定の閾値以上になった場合、前記所定音の音量の増加率が所定の増加率以下であると、前記撮像画像の記録を継続させ、前記所定音の音量の増加率が所定の増加率以下でないと、前記撮像画像の圧縮方法、解像度、ビットレート、フレームレート、サンプリングレートのうち少なくとも１つを含む記録方法を変更させることを特徴とする請求項８に記載の撮像装置。
撮像画像と音情報を取得手段により取得する取得手段と、
前記取得手段により取得された音情報に所定音が含まれることを検知する検知手段と、
前記所定音の音量が所定の増加率以下で所定の閾値以上になった場合、前記撮像画像と前記音情報とメタデータのうち少なくとも１つの情報の記録を開始させる記録制御手段とを有することを特徴とする撮像装置。
撮像画像と音情報を取得手段により取得する取得工程と、
前記取得手段により取得された音情報に所定音が含まれることを検知する検知工程と、
前記検知工程による前記所定音の検知結果に応じて、前記撮像画像と前記音情報とメタデータのうち少なくとも１つの情報の記録を開始させる記録制御工程とを有し、
前記記録制御工程は、
前記少なくとも１つの情報の記録中に前記所定音の音量が所定の閾値以下になった場合、前記所定音の音量の減少率が所定の減少率以上であると、前記少なくとも１つの情報の記録を継続させ、前記所定音の音量の減少率が所定の減少率以上でないと、前記少なくとも１つの情報の記録を停止させることを特徴とする撮像装置の制御方法。
撮像画像と音情報を取得手段により取得する取得工程と、
前記取得手段により取得された音情報に所定音が含まれることを検知する検知工程と、
前記所定音の音量が所定の増加率以下で所定の閾値以上になった場合、前記撮像画像と前記音情報とメタデータのうち少なくとも１つの情報の記録を開始させる記録制御工程とを有することを特徴とする撮像装置の制御方法。
撮像画像と音情報を取得手段により取得する取得手順と、
前記取得手段により取得された音情報に所定音が含まれることを検知する検知手順と、
前記検知手順による前記所定音の検知結果に応じて、前記撮像画像と前記音情報とメタデータのうち少なくとも１つの情報の記録を開始させる記録制御手順とをコンピュータに実行させ、
前記記録制御手順は、
前記少なくとも１つの情報の記録中に前記所定音の音量が所定の閾値以下になった場合、前記所定音の音量の減少率が所定の減少率以上であると、前記少なくとも１つの情報の記録を継続させ、前記所定音の音量の減少率が所定の減少率以上でないと、前記少なくとも１つの情報の記録を停止させるよう前記コンピュータに実行させることを特徴とするプログラム。
撮像画像と音情報を取得手段により取得する取得手順と、
前記取得手段により取得された音情報に所定音が含まれることを検知する検知手順と、
前記所定音の音量が所定の増加率以下で所定の閾値以上になった場合、前記撮像画像と前記音情報とメタデータのうち少なくとも１つの情報の記録を開始させる記録制御手順とをコンピュータに実行させることを特徴とするプログラム。