JP4449782B2

JP4449782B2 - 撮像装置および画像配信方法

Info

Publication number: JP4449782B2
Application number: JP2005050368A
Authority: JP
Inventors: 俊彦廣瀬
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2005-02-25
Filing date: 2005-02-25
Publication date: 2010-04-14
Anticipated expiration: 2025-02-25
Also published as: US8160129B2; CN1825953A; CN100473154C; TW200633532A; EP1696396A2; EP1696396A3; TWI355203B; JP2006238102A; US20060193534A1

Description

本発明は、ネットワークを介して撮像画像を配信可能な撮像装置、およびその装置における画像配信方法に関し、とくにネットワークの通信速度やストレージ容量など、その環境に応じた符号化方式の画像を得ることが可能な撮像装置および画像配信方法に関する。

従来、巨大建造物などを警備する方法として、警備エリア内に数百台の監視用カメラが設置され、それぞれの映像を数十台のモニタに時分割で映し出すなどして、監視員がこれらのモニタ画面をリアルタイムで監視することが行われている。近年になって、監視用カメラとしてイーサネット（Ethernet：登録商標）などでネットワークにつないだＩＰカメラ（Internet Protocol Camera：ネットワークカメラともいう。）が用いられるようになった。このＩＰカメラには、ＰＣ（パーソナルコンピュータ）などの複数のクライアント監視端末に映像を同時配信し、モニタリングを可能にするという特徴がある。これに加えて、クライアント監視端末からＩＰカメラのパン・チルト、ズーム、プリセット箇所の選択などのカメラコントロールをも可能とする利点もある。

このようなネットワークを用いた監視カメラシステムでは、システムの構成が大型化することによって、そのコストが高くなることから、各監視用カメラに対応して監視領域内の異常な動きを検出する動体センサを設けて、各監視用カメラの出力信号のうち、信号記録再生手段に送る信号を動体センサの検知出力に応じた監視用カメラの出力信号のみとしたものがあった（例えば、特許文献１参照）。これにより、モニタ手段に送られるビデオ信号を、動体センサの検知出力に応じて選択された監視用カメラの出力信号のみとすることができ、監視員がリアルタイムでモニタ手段のモニタリングをする必要がなく、その監視作業の効率化を図ることが可能となる。
特開平０７−２１２７４８号公報（段落番号〔００２７〕〜〔００４０〕、図６）

ところで、ネットワークを用いた従来の監視カメラシステムでは、特定の映像符号化方式を用いてあらかじめ決められた転送レートで映像信号が送信されていた。しかし、クライアント監視端末側のネットワーク環境は様々であり、それぞれのネットワーク環境に応じた最適な転送レートで信号を受け取ることができるようなシステムが求められていた。

また、例えば従来の監視カメラシステムにおいて、特定の領域で爆発物など不審物を検出しようとする場合、不動体検知により不審物の置き去り検知だけが行われるとすれば、その前後の画像からその不審物を運んだ人物についての映像を蓄積しておく必要があった。ところが、そのためにはネットワーク側にハードディスク装置（ＨＤＤ）などの大容量のストレージ手段が必要になる。これに対して、動体検知だけを行う構成としたシステムでは、単に動体の映像を記録できるだけで、必ずしも必要な映像を記録できるとは限らなかった。

本発明はこのような点に鑑みてなされたものであり、監視領域の撮像画像を基に必要な画像を確実に記録しながらもストレージ容量を削減できる撮像装置を提供することを目的とする。

また、本発明の他の目的は、監視領域の撮像画像を基に必要な画像を確実に記録しながらもストレージ容量を削減できる画像配信方法を提供することである。

本発明では上記問題を解決するために、ネットワークを介して撮像画像を配信可能な撮像装置において、所定の監視領域を撮像してその画像信号を出力する撮像手段と、前記画像信号をそれぞれ異なる符号化方式のビデオデータに同時に変換する符号化手段と、前記画像信号に基づいて前記監視領域に侵入した動体を検知する動体検知手段と、前記画像信号に基づいて、前記監視領域における背景とは異なる物体が一定時間動かない場合に当該物体を不動体として検知する不動体検知手段と、前記動体検知手段により動体が検知されている期間、および、前記不動体検知手段により不動体が検知されたタイミング、またはその検知タイミングを含む所定期間にのみ、前記符号化手段により符号化された前記ビデオデータを配信する伝送制御手段とを備え、前記伝送制御手段は、前記画像信号の各フレームに対応するフレーム番号に基づいて、前記符号化手段により変換された前記ビデオデータと、前記動体検知手段および前記不動体検知手段の各検知結果との同期を制御する機能を備え、前記符号化手段による符号化方式ごとの前記ビデオデータの変換処理と前記動体検知手段および前記不動体検知手段による各検知処理は、それぞれ処理対象のフレームを単位としたタスクとして管理され、前記各変換処理のタスクおよび前記各検知処理のタスクにはそれぞれ優先度が付与され、優先度の高いタスクから順に処理されるとともに、各タスクの処理結果にはそれぞれ処理対象のフレーム番号が付与され、前記伝送制御手段は、前記符号化手段、前記動体検知手段および前記不動体検知手段からの各処理結果に付与されたフレーム番号に基づいて、前記符号化手段により変換された前記ビデオデータと、前記動体検知手段および前記不動体検知手段の各検知結果とを同期させて配信する、ことを特徴とする撮像装置が提供される。

ここで、撮像手段は、所定の監視領域を撮像してその画像信号を出力する。符号化手段は、撮像された画像信号をそれぞれ異なる符号化方式のビデオデータに同時に変換する。動体検知手段は、撮像された画像信号に基づいて監視領域に侵入した動体を検知する。不動体検知手段は、撮像された画像信号に基づいて、監視領域における背景とは異なる物体が一定時間動かない場合にこの物体を不動体として検知する。伝送制御手段は、動体検知手段により動体が検知されている期間、および、不動体検知手段により不動体が検知されたタイミング、またはその検知タイミングを含む所定期間にのみ、符号化手段により符号化されたビデオデータを、動体検知手段および不動体検知手段の各検知結果と同期させて配信する。

また、本発明では、ネットワークを介して撮像画像を配信するための画像配信方法において、符号化手段が、所定の監視領域を撮像して得られた画像信号をそれぞれ異なる符号化方式のビデオデータに同時に変換し、動体検知手段が、前記画像信号に基づいて前記監視領域に侵入した動体を検知し、不動体検知手段が、前記画像信号に基づいて、前記監視領域における背景とは異なる物体が一定時間動かない場合に当該物体を不動体として検知し、タスク制御手段が、前記符号化手段による符号化方式ごとの前記ビデオデータの変換処理と前記動体検知手段および前記不動体検知手段による各検知処理を、それぞれ処理対象のフレームを単位としたタスクとして管理し、前記各変換処理のタスクおよび前記各検知処理のタスクを付与された優先度の高いタスクから順に処理するとともに、各タスクの処理結果にそれぞれ処理対象のフレーム番号を付与し、伝送制御手段が、動体が検知されている期間、および、不動体が検知されたタイミング、またはその検知タイミングを含む所定期間にのみ、符号化された前記ビデオデータを配信するとともに、前記符号化手段、前記動体検知手段および前記不動体検知手段からの各処理結果に付与されたフレーム番号に基づいて、前記符号化手段により変換された前記ビデオデータと、前記動体検知手段および前記不動体検知手段の各検知結果とを同期させて配信する、ことを特徴とする画像配信方法が提供される。

このような画像配信方法では、所定の監視領域を撮像して得られた画像信号がそれぞれ異なる符号化方式のビデオデータに同時に変換され、その画像信号に基づいて監視領域に侵入した動体が検知されるとともに、監視領域における不動体も検知される。この不動体の検知処理では、監視領域における背景とは異なる物体が一定時間動かない場合に、この物体が不動体として検知される。そして、動体が検知されている期間、および、不動体が検知されたタイミング、またはその検知タイミングを含む所定期間にのみ、符号化されたビデオデータが、動体検知手段および不動体検知手段の各検知結果と同期して配信される。

本発明によれば、一台の撮像装置により複数の符号化方式の符号化画像データが扱えることから、多数のユーザの端末に撮像画像が同時配信される場合に、撮像装置に接続されているそれぞれのユーザが自分のネットワーク環境に応じて特定のコーデックを選択することができる。これとともに、同時に動体検知、不動体検知が行われ、その検知結果に基づいて符号化画像データの配信が制御されることから、ユーザ側の端末では必要な画像についてのデータだけを受信して蓄積することができ、ストレージ容量を大幅に削減できる。

以下、図面を参照してこの発明の撮像装置の一例であるＩＰカメラについて説明する。

図１は、実施の形態に係るＩＰカメラの全体構成を示すブロック図である。

カメラモジュール１は、ＩＰカメラの主要部品であるレンズ、ＣＣＤ（Charge Coupled Devices）などの撮像素子、および映像信号処理回路などから構成されている。このカメラモジュール１の撮像素子からは、所定の監視領域を撮影したアナログコンポジット（Analog Composite）映像信号がビデオモニタ端子２に送出されるとともに、ビデオデコーダ（ＮＴＳＣデコーダ、ＮＴＳＣ：National Television Standards Committee）３に出力されている。アナログコンポジット映像信号はビデオデコーダ３で所定の映像処理が行われて、ＢＴ−６５６に準じたデジタル映像信号としてＤＳＰ（Digital Signal Processor）４に出力されている。

ＤＳＰ４の詳細構成については後述する図２に基づいて説明するが、このＤＳＰ４は主要には２つの機能を有している。第１は、デジタル映像信号を複数の符号化方式のビデオデータに変換する機能であり、ＤＳＰ４で符号化されたビデオデータはホストＣＰＵ（Central Processing Unit）５との間でローカルバス６を介して授受されている。またＤＳＰ４は、その第２の機能として動体検知と不動体検知を同時に実行する機能を備えており、ホストＣＰＵ５に対して、ＩＰカメラの監視領域にある動体、および不動体についての検知結果を同時に渡すことができる。

また、このＩＰカメラは、内蔵されたマイクからの音声の供給を受ける音声端子７、および外部マイクが接続される外部音声端子８を備え、これら２つの端子７，８は切換えスイッチ９を介して音声入力回路１０と接続可能に構成される。音声入力回路１０では、アナログ音声信号を増幅し、デジタル信号に変換して、ＤＳＰ４に供給している。

また、ＤＳＰ４には、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１１およびＤＡコンバータ１２が接続されている。このＳＤＲＡＭ１１は、ＤＳＰ４のワーキング領域として使用されるものであり、ＤＡコンバータ１２はオーディオデータのモニタ端子１３と接続され、このモニタ端子１３から撮影された映像に対応する音声信号を出力するように構成されている。

ホストＣＰＵ５は、カメラモジュール１、ＳＤＲＡＭ１４、およびモータドライブ回路１５と接続されている。ＳＤＲＡＭ１４には、符号化されたビデオデータが随時蓄えられ、ホストＣＰＵ５は、ＳＤＲＡＭ１４内のビデオデータを用いて、ＤＳＰ４による動体・不動体の検出結果などに基づき、ストリームデータやデータファイルを生成して、通信制御部１７を介してネットワークに送出させる。また、ネットワークを通じて受信された制御信号に応じて、指定された符号化方式のデータをネットワークに送出することもできる。

さらにホストＣＰＵ５は、モータドライブ回路１５によりパンモータＭ１とチルトモータＭ２を駆動できる。すなわち、このホストＣＰＵ５からカメラモジュール１をコントロールして、監視領域にある動体、および不動体についての検知結果に応じてカメラモジュール１をコントロールし、あるいはそのレンズ機構のズーム倍率を調整できる。

ホストＣＰＵ５には、ローカルバス６を介してＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）からなるローカルメモリ１６と、通信制御部１７が接続されている。ローカルメモリ１６は、符号化されたビデオデータおよびオーディオデータを格納するＡＶバッファや、イベントマネージャなどのプログラムを格納するプログラムメモリを構成するものである。

通信制御部１７には、ＲＪ４５などイーサネットへの接続端子１８が備えられており、ホストＣＰＵ５によって生成されたストリームデータやデータファイルをクライアント監視端末にネットワーク配信可能に構成されている。

つぎに、上述したＩＰカメラの回路ブロックのうち、ＤＳＰ４におけるデータフローについて説明する。

図２は、図１のＩＰカメラにおけるデータ処理部の全体構成を示すブロック図である。

ＤＳＰ４は、音声データ制御のためのオーディオコントロールブロック４１と、画像データ制御のためのビデオコントロールブロック４２とを備え、オーディオコントロールブロック４１は、オーディオエンコードのタスクを制御する機能を有しており、また、ビデオコントロールブロック４２は、ビデオ入力、ビデオ前処理、ビデオエンコード、静止画エンコード、動体検知、不動体検知、ビデオ出力、ホストインタフェース（Ｉ／Ｆ）、およびビデオ出力などの各タスクを制御する機能を有している。

また、このＤＳＰ４は、ビデオデータを出力するための第１のビデオポート４３と、ビデオデータを入力するための第２のビデオポート４４と、オーディオデータの入力を受けるためのオーディオポート（ＭｃＢＳＰポート）４５と、ホストＣＰＵ５との間でシリアルＩ／Ｆを構成するホストＩ／Ｆポート４６とを備え、それぞれオーディオデータのライン入力ブロック２１、カメラモジュール１などを含むカメラブロック２２、およびホストＣＰＵ５の間でデータのやり取りが行われる。

オーディオエンコードのタスクでは、オーディオポート４５からフレームバッファ４９を介して入力されたオーディオデータを、オーディオエンコーダ４７で圧縮符号化し、バッファ４８に出力する。

ビデオ入力のタスクでは、カメラブロック２２からのデジタルビデオデータを、ビデオポート４４を通じてフレームバッファ５１に蓄積する。ビデオ前処理のタスクでは、フレームバッファ５１から読み出したビデオデータに対して、入力変換部５０によりＶＧＡ（Video Graphics Array）へのフォーマット変換、ＩＰ（Interlace-Progressive）変換、正方格子化処理などを行い、４つのバッファ５２〜５５に出力する。

ビデオエンコードのタスクでは、バッファ５２から読み出したビデオデータにスケーリング処理を施した後、ビデオエンコーダ５６によりＭＰＥＧ（Moving Picture Experts Group）４方式で圧縮符号化し、バッファ６０に出力する。静止画エンコードのタスクでは、バッファ５３から読み出したビデオデータにスケーリングを施した後、静止画エンコーダ５７によりＪＰＥＧ方式で圧縮符号化し、バッファ６１に出力する。なお、静止画エンコーダ５７は、ＪＰＥＧ方式の静止画像を連続的に生成して、例えば３０ｆｐｓのフレーム間予測符号化手法を用いない動画像データを生成することもできる。

動体検知のタスクでは、バッファ５４から読み出したビデオデータにスケーリングを施した後、動体検知部５８により動体を検知し、検知結果をバッファ６２に出力する。不動体検知のタスクでは、バッファ５５から読み出したビデオデータにスケーリングを施した後、不動体検知部５９により不動体を検知し、検知結果をバッファ６３に出力する。なお、これらの検知結果としては、例えば後述するように、検知された動体・不動体の座標データ、大きさ、検知時刻、滞在時間などが記述された動体検知データ、不動体検知データや検知時のフレーム情報などが、バッファ６２および６３に入力される。

なお、バッファ６０〜６３に入力された画像データや検知結果のデータには、フレーム番号が付加され、データ間での同期がとれるようになっている。そして、ホストＩ／Ｆのタスクによりこれらのデータが読み出され、ホストＩ／Ｆポート４６を通じてホストＣＰＵ５に出力される。

また、ビデオコントロールブロック４２には、ビデオ信号をＩＰカメラから直接に取り出すための内部モニタセレクタ６４が設けられ、非圧縮のビデオデータをフレームバッファ６５を介して第１のビデオポート４３から非圧縮のビデオデータを出力可能な構成となっている。

次に、以上のような複数の符号化方式の画像を出力可能なＩＰカメラを用いた監視カメラシステムの構成例について説明する。

図３は、複数の符号化方式の画像を用いた監視カメラシステムを示すブロック図である。

この監視カメラシステムは、上述したネットワーク機能を有する、少なくとも１台のＩＰカメラ３０と、このＩＰカメラ３０で取得された映像および音声データを蓄積するネットワークデジタルレコーダ（以下、ＲＳＭ／ＮＳＲという。）３１と、ＪＰＥＧデータを配信する際に画像データを圧縮する圧縮サーバ（Compression Server）３２と、クライアントがＲＳＭ／ＮＳＲ３１に蓄積されたデータをモニタするクライアント監視端末３３ａ〜３３ｃと、ＩＰカメラ３０とＲＳＭ／ＮＳＲ３１とを結ぶデータネットワーク３４ａ〜３４ｃ、およびＲＳＭ／ＮＳＲ３１とクライアント監視端末３３ａ〜３３ｃとを結ぶデータネットワーク３５ａ〜３５ｃとから構成されている。

このＲＳＭ／ＮＳＲ３１は、ネットワークデジタルレコーダであるＮＳＲ（Network Severance Recorder）と、そこに複数のＩＰカメラ３０からの映像データを転送し、蓄積するためのソフトウェアであるＲＳＭ（Real Shot Manager）とを組み合わせて構成されている。

図１に示すＩＰカメラからは、ＲＪ４５などの接続端子１８に出力されたビデオデータがイーサネットやＩＳＤＮ（Integrated Services Digital Network）回線などの各種のデータネットワークを介して、ＲＳＭ／ＮＳＲ３１に送られる。ＲＳＭ／ＮＳＲ３１では、ＩＰカメラ３０との間を接続しているデータネットワーク３４ａが例えば１０Ｍｂｐｓといったブロードバンド（Broadband）ネットワークであれば、圧縮率の小さいＪＰＥＧデータに変換されたビデオデータを受けとることができる。しかし、データネットワーク３４ｂが例えばＩＳＤＮであれば、通信帯域に合わせて圧縮率の高いＭＰＥＧ４フォーマットで符号化したデータを受信することができ、データネットワーク３４ｃがアナログの電話回線でのダイヤルアップ接続であれば、２８．８〜５６Ｋｂｐｓ程度の通信速度となるため、さらに圧縮率の高いＨ．２６４フォーマットの符号化データを受信できるようにしてもよい。

また、クライアント監視端末３３ａがＪＰＥＧ形式の画像ファイルを要求している場合には、圧縮サーバ３２から所定の圧縮率で圧縮された画像ファイルをデータネットワーク３５ａに配信することができる。

図４は、２通りの監視カメラシステムにおける画像データの流れを示すデータフロー図である。

ここで、同図（Ａ）に示す第１の監視カメラシステムの構成では、監視領域（ローカルエリア）に設置されたＩＰカメラ３０に近接してローカルメモリ３６が配置され、この監視領域から離れた場所（リモートエリア）にクライアント監視端末３３と大容量ハードディスクを構成するＲＳＭ／ＮＳＲ３１がネットワークデジタルレコーダとして設置されている。この場合には、ＩＰカメラ３０で取得された画像データは、ＪＰＥＧデータとしてローカルメモリ３６に記録され、かつ同じ映像のＭＰＥＧ４データが、ネットワーク３４を介してクライアント監視端末３３側のＲＳＭ／ＮＳＲ３１に送信され、監視領域の映像がモニタ画面に映し出される。

また、図４（Ｂ）に示す第２の監視カメラシステムは、監視領域に近接してモニタ用ＰＣ３７とＲＳＭ／ＮＳＲ３１がネットワークデジタルレコーダとして設置されている。ＲＳＭ／ＮＳＲ３１には、ＩＰカメラ３０から出力されるＪＰＥＧデータおよびＭＰＥＧ４データが一旦格納されると同時に、複数のクライアント監視端末３３ａ，３３ｂにネットワーク３５を介してＭＰＥＧ４データとして画像データを送信するように構成されている。

いずれのシステム構成であっても、ＩＰカメラ３０が複数の符号化方式の画像データを送信することにより、画像データの保存にはＪＰＥＧデータが利用され、モニタリングにはＭＰＥＧ４データが利用される。したがって、このようなＩＰカメラ３０により構成されている監視カメラシステムでは、限られたネットワーク資源の最適な活用が可能になる。

つぎに、上述したＩＰカメラ３０による動体検知について説明する。

図５は、監視画像と動体検知データとの関係を示す図である。

いま、例えば監視画像６６内の動体として人物Ｙと汽車Ｒとがそれぞれ映し出されているものとする。動体検知では、特定のフレーム内で人物Ｙと汽車Ｒとが別々の動体として識別する必要があることから、フレーム番号［Ｎ］およびフレーム内の検知動体数ｎを含むフレーム情報と、検知された動体についての動体情報とに区分された動体検知データ６７とが生成される。

ここで、動体検知結果となるフレーム情報には、処理したフレーム番号、および検知された動体の数（ここでは人物Ｙと汽車Ｒの２種類であって、ｎ＝２）が含まれることになる。また、動体情報としては、それぞれ人物Ｙと汽車Ｒについての情報、すなわち座標データ、動体の大きさ、動体の速度、検知時刻、検知条件などが、それぞれ別個のファイルに記録される。このとき、各ファイルには、フレーム同期のためのフレームカウントが、検知時刻に対応する時刻情報として埋め込まれる。

図６は、監視画像と不動体検知データとの関係を示す図である。

監視画像６８には、爆発物Ｂと人物Ｈが不動体として映し出されている。この不動体検知は、特定のフレーム内で監視画像を構成する背景データを除いた領域で、設定された時間だけ動きのない爆発物Ｂと人物Ｈが、それぞれ不動体として認識される。このとき、これらの爆発物Ｂと人物Ｈは、動体検知と同様に別々の不動体として識別されなければならない。したがって、フレーム番号［Ｎ］およびフレーム内の検知不動体数ｎを含むフレーム情報（フレーム番号）と、検知された不動体についての不動体情報とに区分された不動体検知データ６９が生成される。

ここで、不動体検知結果となるフレーム情報には、処理したフレーム番号、および検知された不動体の数（ここでは爆発物Ｂと人物Ｈの２種類であって、ｎ＝２）が含まれることになる。また、不動体情報としては、それぞれ爆発物Ｂと人物Ｈについての情報、すなわち座標データ、不動体の大きさ、検知時刻、滞在時間などが、それぞれ別個のファイルに記録され、滞在時間が所定の基準値を超えたとき、アラームを生成する。なお、各ファイルの検知時刻および滞在時間に対応して、フレーム同期のためのフレームカウントが時刻情報として埋め込まれる。

つぎに、ＤＳＰ４におけるメッセージ通信の処理手順について、時分割で実行される各タスクとともに説明する。ここでは例として、静止画エンコードと動体検知とが実行される場合について説明する。

図７は、ＤＳＰにおける静止画処理と動体検知処理の手順を示すタイミング図である。図の縦方向には時間軸が示されており、横方向に各タスクを並べて示している。

なお、図７の上部で四角の枠内に示す各数字１〜６は、ＤＳＰ４での各タスク処理の優先度（Task Priority）を示している。

タイミングＴ１およびＴ２では、それぞれホストＣＰＵ５からの要求に応じて、ホストＩ／Ｆ７１のタスクの処理により静止画エンコードの開始、および動体検知の開始がビデオコントロール（Ｖｃｎｔｌ）７２のタスク処理に要求される。ビデオコントロール（Ｖｃｎｔｌ）７２のタスク処理では、まずＪＰＥＧのアルゴリズム生成とパラメータ初期化が行われ、タイミングＴ３でビデオ入力（ｖｉｎ）７６のタスク処理に対してフレーム取得の要求が送出される。

タイミングＴ４では、ビデオ入力（ｖｉｎ）７６のタスク処理は、フレーム取得要求を受けて、ビデオデコーダ３によりキャプチャされた１フレーム分のビデオデータを取り込み、それが完了すると、新規フレーム通知をビデオコントロール（Ｖｃｎｔｌ）７２のタスク処理に返す。このビデオデータのキャプチャは、Ｈｓｙｎｃ毎に繰り返される。

つぎに、タイミングＴ５では、ビデオコントロール（Ｖｃｎｔｌ）７２のタスク処理が新規フレーム通知を受けて、指定されたバッファ（ｓｉｎｃ０）への前処理を前処理（Ｐｐｒｏｃ）７３のタスク処理に要求する。

つぎに、タイミングＴ６では前処理要求を受けて、前処理（Ｐｐｒｏｃ）７３のタスク処理が実行される。タイミングＴ７で前処理（Ｐｐｒｏｃ）７３のタスク処理が完了したとき、前処理完了通知を送り返す。ビデオコントロール（Ｖｃｎｔｌ）７２のタスク処理では、前処理完了通知を受けて、タイミングＴ８で静止画エンコード（ｓｉｅｎｃ）７４のタスク処理に指定されたフレーム（ｓｉｎｃ０）の静止画処理要求を送る。

静止画エンコード（ｓｉｅｎｃ）７４のタスク処理では、タイミングＴ９でＪＰＥＧデータのエンコードの開始と同時に、ビデオコントロール（Ｖｃｎｔｌ）７２から動体検知（ｄｍｖｏｂｊｃｔ）７５へのタスク処理要求が出されるが、静止画エンコード（ｓｉｅｎｃ）７４より優先度の低いタスクであることから、タイミングＴ１２まで処理待ち状態となる。タイミングＴ１０で静止画エンコード（ｓｉｅｎｃ）７４が完了すると、ビデオコントロール（Ｖｃｎｔｌ）７２に対して静止画エンコード終了通知（ｓｉｎｃ０）が返され、タイミングＴ１１で、ホストＩ／Ｆ７１のタスク処理に対して静止画のホストＣＰＵ５への送信要求が出力される。これにより、ホストＣＰＵ５では割り込み処理により静止画データ（ＪＰＥＧデータ）の入力を受ける。

そして、タイミングＴ１２では、処理待ちとなっていた動体検知（ｄｍｖｏｂｊｃｔ）７５のタスク処理が開始され、この処理がタイミングＴ１３で終了すると、動体検知終了通知がビデオコントロール（Ｖｃｎｔｌ）７２のタスク処理に送られ、ホストＩ／Ｆ７１のタスク処理により検知結果がホストＣＰＵ５に対して割り込み処理により送信される（タイミングＴ１４，Ｔ１５）。この後、タイミングＴ１６で次のフレームのビデオデータの取り込みが開始され、完了すると新規フレーム通知がビデオコントロール（Ｖｃｎｔｌ）７２のタスク処理に返されて、新規フレームの静止画エンコードや動体検知が実行される。

なお、優先度が低い動体検知（ｄｍｖｏｂｊｃｔ）７５が、新規フレームの取り込み時（タイミングＴ１６）に終了していない場合、バッファ（ｓｉｎｃ０）が開放されないため、ビデオコントロール（Ｖｃｎｔｌ）７２のタスク処理では、前処理要求時に新たなバッファ（ｓｉｎｃ１）を作成する。ビデオコントロール（Ｖｃｎｔｌ）７２のタスク処理は、優先度の高い処理（静止画エンコードなど）を優先的に実行させ、これらの処理の間にバッファ（ｓｉｎｃ０）を用いた動体検知処理が実行されて、完了時にバッファ（ｓｉｎｃ０）が開放される。このように、ＤＳＰ４の処理能力によっては、１フレーム分の動体検知処理が複数のＨｓｙｎｃ期間に亘って実行される場合もあるが、動体検知結果にはフレーム番号が付加されるので、ホストＣＰＵ５では各フレーム間の同期を容易にとることができる。

以上では、静止画エンコードと動体検知処理との並列動作におけるメッセージ通信について説明したが、同様に不動体検知処理、ＭＰＥＧ映像のエンコード処理についても、並行処理が可能である。

つぎに、ホストＣＰＵ５におけるデータ転送制御について説明する。

図８は、本実施の形態に係るＩＰカメラにおける信号送出手順を示すデータフロー図である。ホストＣＰＵ５では、データ送信を３つに分けて考えることができる。

第１は、映像および音声についてのデータ送信である。これらのデータは、ＤＳＰ４のビデオエンコーダ５６および静止画エンコーダ５７により所定の選択された符号化方式で圧縮されたＪＰＥＧ／ＭＰＥＧ映像であって、これらはＡＶバッファ８１に格納された後、そこからビットストリーム（bit stream）データ８２として送出されて、データネットワークに配信される。

第２のデータは、動体検知結果や不動体検知結果に関するアラーム送信である。動体、不動体検知モードでは、動体検知データ６７あるいは不動体検知データ６９が、ホストＣＰＵ５上で全体のタスクを制御するイベントマネージャ８０に送られる。動体あるいは不動体が検知された場合、ＡＶバッファ８１のビットストリームデータ（ＪＰＥＧ／ＭＰＥＧ映像圧縮データ）の必要な情報のみが所定の大きさのファイル８４に切り出されて、例えばＦＴＰ（File Transfer Protocol）によりネットワークに送信される。ここで、必要な情報には、動体あるいは不動体が検知された前後の時点での監視画像が含まれている。

これら第１，第２のデータは、いずれもＳＤＲＡＭ１４に保存され、パケット生成部８３でそれぞれパケット化（Packetize）されてネットワークに出力される。これに対して第３のデータは、ホストＣＰＵ５から各クライアント監視端末に転送される各種データに関する情報を記述したメタデータ（Meta Data）８５である。このメタデータ８５は、イベントマネージャ８０により生成されて、動体検知情報、あるいは不動体検知情報としてパケット化された後、ネットワークを介して送信される。これらの情報には、例えば上記の動体検知データ６７や不動体検知データ６９の内容のうち任意の項目の情報を記載することができる。

また、ＤＳＰ４からホストＣＰＵ５へのデータには、すべてフレーム番号が振られている。したがって、ＡＶバッファ８１、イベントマネージャ８０では、これらのフレーム番号により、符号化画像データ／動体検知情報／不動体検知情報の間で同期をとることが容易になる。また、ＡＶデータの対応レコーダとの組み合わせによって、監視システムのインテリジェント化が可能になる。

図９は、本実施の形態に係るＩＰカメラにおける画像送信手順の一例を示すデータフロー図である。ここでは、横軸が時間軸である。

この図では、時刻Ｔ２１〜Ｔ２２とその後の時刻Ｔ２３〜Ｔ２４で、それぞれ動体検知が行われている。いま、２つの動体検知区間における動体検知の対象として、爆発物などの不審物を置き去りにした人物が想定され、その不審物が不動体検知の対象として想定されている。この場合に、最初の動体検知期間の終了（時刻Ｔ２２）の前後から不動体カウント時間が計時され、時刻Ｔ２６において不動体が検知されたものとする。

ホストＣＰＵ５は、ＪＰＥＧ／ＭＰＥＧ４などの複数の符号化方式の画像データをＡＶバッファ８１（図８）に常時書き込んでいる。そこで、動体検知結果に基づき、動体検知期間の画像（実際にはその前後の一定時間を含む）をＡＶバッファ８１から切り出し、ビットストリームデータとしてファイル化する。また、不動体の検知結果に基づき、その検知タイミング（時刻Ｔ２６）の前後の一定時間分（時刻Ｔ２５〜Ｔ２７）の画像をＡＶバッファ８１から切り出し、ＭＰＥＧ４（あるいはＭｏｔｉｏｎ−ＪＰＥＧ）などのビットストリームデータ、またはＪＰＥＧなどの静止画データとしてファイル化する。ファイル化したデータは例えばＦＴＰによりネットワークを介して送出し、レコーダ機能を持つクライアント監視端末はこれらのデータを保存できる。あるいは、動体検知期間の画像データを例えば低ビットレートの符号化方式（ここではＭＰＥＧ４）でストリーム配信し、不動体検知の前後の画像データを静止画データ（ＪＰＥＧ）としてＦＴＰにより送信してもよい。

このように、不動体検知と動体検知をＩＰカメラ自体の内部で同時に実行するようにしていることから、不審物を置き去りにした人物の移動経路を含む映像がネットワークを介して監視できるだけでなく、その人物や不審物を含む画像データのみを確実に保存できる。

例えば、動体検知のみ可能なシステムでは、動体を含む画像データを保存しておくことはできるが、それらのデータは不動体とは関係なく保存され、しかも不動体を確実に撮影したり、その位置を特定できるとは限らない。また、不動体検知のみ可能なシステムでは、動体（例えば爆発物を置いて立ち去った人物など）を含む画像を保存しておくためにはすべての画像を保存しなければならない。

これに対して、本実施の形態のシステムでは、不動体検知の画像と動体を含む画像とが確実に保存されるので、ストレージ容量を削減することができる。また、動体を含む画像のうち、不動体検知直前の画像のみを残してその他を削除してもよく、その場合には必要なストレージ容量が一層小さくなる。さらに、不動体検知直前の画像のみをＩＰカメラ側で選択して送信してもよい。そして、このように必要最低限の画像データのみ送信されるので、ネットワークトラフィックを軽減できる。

以上に説明したように、この発明の撮像装置によれば、その内部で不動体検知が実行され、例えば仕掛けられた爆発物（不動体）を検知することができ、しかも動体検知によってそれを仕掛ける不審な人間（動体）の映像データを記録できる。そのため、ＩＰカメラの監視領域に動体が存在する期間だけネットワークにデータを流すとともに、必要な動体、不動体を映している期間の映像だけを選択して、ストレージすることができる。したがって、例えば動体検知機能を備えた従来の監視カメラシステムに比較して、必要な映像を確実にストレージしながらも大幅にストレージ容量が削減され、その監視作業の効率化を図ることができる。

なお、上記の実施の形態では、複数の異なる符号化方式の画像データを生成し、送信するようにしているが、同じ符号化方式でビットレートの異なる複数の画像データを生成するようにしても、同様の効果を得ることができる。

実施の形態に係るＩＰカメラの全体構成を示すブロック図である。実施の形態に係るＩＰカメラにおけるデータ処理部の全体構成を示すブロック図である。複数の符号化方式の画像を用いた監視カメラシステムを示すブロック図である。２通りの監視カメラシステムにおける画像データの流れを示すデータフロー図である。監視画像と動体検知データとの関係を示す図である。監視画像と不動体検知データとの関係を示す図である。実施の形態に係るＤＳＰにおける静止画処理と動体検知処理の手順を示すタイミング図である。本実施の形態に係るＩＰカメラにおける信号送出手順を示すデータフロー図である。本実施の形態に係るＩＰカメラにおける画像送信手順の一例を示すデータフロー図である。

符号の説明

１……カメラモジュール、２……ビデオモニタ端子、３……ビデオデコーダ、４……ＤＳＰ、５……ホストＣＰＵ、６……ローカルバス、７……音声端子、８……外部音声端子、９……切換えスイッチ、１０……音声入力回路、１１……ＳＤＲＡＭ、１２……ＤＡコンバータ、１３……モニタ端子、１４……ＳＤＲＡＭ、１５……モータドライブ回路、１６……ローカルメモリ（ＲＯＭ／ＲＡＭ）、１７……通信制御部、１８……接続端子

Claims

ネットワークを介して撮像画像を配信可能な撮像装置において、
所定の監視領域を撮像してその画像信号を出力する撮像手段と、
前記画像信号をそれぞれ異なる符号化方式のビデオデータに同時に変換する符号化手段と、
前記画像信号に基づいて前記監視領域に侵入した動体を検知する動体検知手段と、
前記画像信号に基づいて、前記監視領域における背景とは異なる物体が一定時間動かない場合に当該物体を不動体として検知する不動体検知手段と、
前記動体検知手段により動体が検知されている期間、および、前記不動体検知手段により不動体が検知されたタイミング、またはその検知タイミングを含む所定期間にのみ、前記符号化手段により符号化された前記ビデオデータを配信する伝送制御手段と、
を備え、
前記伝送制御手段は、前記画像信号の各フレームに対応するフレーム番号に基づいて、前記符号化手段により変換された前記ビデオデータと、前記動体検知手段および前記不動体検知手段の各検知結果との同期を制御する機能を備え、
前記符号化手段による符号化方式ごとの前記ビデオデータの変換処理と前記動体検知手段および前記不動体検知手段による各検知処理は、それぞれ処理対象のフレームを単位としたタスクとして管理され、前記各変換処理のタスクおよび前記各検知処理のタスクにはそれぞれ優先度が付与され、優先度の高いタスクから順に処理されるとともに、各タスクの処理結果にはそれぞれ処理対象のフレーム番号が付与され、
前記伝送制御手段は、前記符号化手段、前記動体検知手段および前記不動体検知手段からの各処理結果に付与されたフレーム番号に基づいて、前記符号化手段により変換された前記ビデオデータと、前記動体検知手段および前記不動体検知手段の各検知結果とを同期させて配信する、
ことを特徴とする撮像装置。
前記伝送制御手段は、前記動体検知手段により動体が検知されている期間は前記ビデオデータのうち圧縮率が大きな符号化方式によるデータを配信し、前記不動体検知手段により不動体が検知されたタイミング、またはその検知タイミングの前後の所定期間では、前記圧縮率が小さな符号化方式の前記ビデオデータを配信することを特徴とする請求項１記載の撮像装置。
前記動体検知手段および前記不動体検知手段は、検知した動体および不動体の画像内の座標、大きさ、速度、検知時刻のうち少なくとも１つを含む検知情報を作成する機能を備え、
前記伝送制御手段は、動体または不動体の検知時に対応する前記検知情報を前記ネットワークを通じて配信する、
ことを特徴とする請求項１記載の撮像装置。
前記ネットワークを介して接続されたユーザ端末からの選択信号に応じて、前記伝送制御手段により前記ネットワークに出力される前記ビデオデータの符号化方式を切換える切換え手段をさらに備えたことを特徴とする請求項１記載の撮像装置。
前記ビデオデータを記録する録画手段をさらに備えたことを特徴とする請求項１記載の撮像装置。
ネットワークを介して撮像画像を配信するための画像配信方法において、
符号化手段が、所定の監視領域を撮像して得られた画像信号をそれぞれ異なる符号化方式のビデオデータに同時に変換し、
動体検知手段が、前記画像信号に基づいて前記監視領域に侵入した動体を検知し、
不動体検知手段が、前記画像信号に基づいて、前記監視領域における背景とは異なる物体が一定時間動かない場合に当該物体を不動体として検知し、
タスク制御手段が、前記符号化手段による符号化方式ごとの前記ビデオデータの変換処理と前記動体検知手段および前記不動体検知手段による各検知処理を、それぞれ処理対象のフレームを単位としたタスクとして管理し、前記各変換処理のタスクおよび前記各検知処理のタスクを付与された優先度の高いタスクから順に処理するとともに、各タスクの処理結果にそれぞれ処理対象のフレーム番号を付与し、
伝送制御手段が、動体が検知されている期間、および、不動体が検知されたタイミング、またはその検知タイミングを含む所定期間にのみ、符号化された前記ビデオデータを配信するとともに、前記符号化手段、前記動体検知手段および前記不動体検知手段からの各処理結果に付与されたフレーム番号に基づいて、前記符号化手段により変換された前記ビデオデータと、前記動体検知手段および前記不動体検知手段の各検知結果とを同期させて配信する、
ことを特徴とする画像配信方法。