JPWO2006085500A1 - 監視カメラ装置、それを用いた監視システムおよび監視画像伝送方法 - Google Patents

監視カメラ装置、それを用いた監視システムおよび監視画像伝送方法 Download PDF

Info

Publication number
JPWO2006085500A1
JPWO2006085500A1 JP2007502591A JP2007502591A JPWO2006085500A1 JP WO2006085500 A1 JPWO2006085500 A1 JP WO2006085500A1 JP 2007502591 A JP2007502591 A JP 2007502591A JP 2007502591 A JP2007502591 A JP 2007502591A JP WO2006085500 A1 JPWO2006085500 A1 JP WO2006085500A1
Authority
JP
Japan
Prior art keywords
image data
monitoring
image
motion
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007502591A
Other languages
English (en)
Inventor
松田　圭右
圭右 松田
樋口　学
学 樋口
亮司 荻野
亮司 荻野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2006085500A1 publication Critical patent/JPWO2006085500A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654—Details concerning communication with a camera
    • G08B13/19656—Network used to communicate with a camera, e.g. WAN, LAN, Internet
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19663—Surveillance related processing done local to the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Communication Control (AREA)

Abstract

監視対象の画像データを生成する撮像部（１１）と、この画像データから所定のフレーム周期毎の画像データを抽出する動画像抽出部（１２）と、抽出した画像データを圧縮符号化したモーション画像データを生成するモーション画像エンコーダ（１３）と、被写体の変化を示す変化検出信号を出力する変化検出部（１７）と、少なくとも２種類の通信プロトコルを、変化検出信号に応じて切り替えてデータ伝送処理を行なう伝送処理部（１９）とを備える。伝送処理部（１９）は、変化検出信号が変化なしを示すときコネクションレス型通信プロトコルに基づき、また、変化ありを示すときコネクション型通信プロトコルに基づいて、ネットワーク（３０）を介してモーション画像データを監視端末装置（４０）へ伝送する。このような構成により、監視対象の異常判別に必要な画像を的確に送出できる監視カメラ装置、および監視システムを提供する。

Description

本発明は、監視カメラ等で撮像した被写体画像を利用して遠隔地の監視を行なう監視カメラ装置およびそれを用いた監視システムに関し、特に、撮像した被写体画像の画像データを、ネットワーク等を介して遠隔地に伝送する監視システムおよびそのシステムで利用する監視カメラ装置および監視画像伝送方法に関する。
従来、様々な監視カメラ装置や監視システムに関する技術が提案されている。特に、近年では、インターネットなどのネットワークを利用し、監視場所に設置した監視カメラによる画像データを遠隔地の監視モニタに伝送することで監視を行なう監視システム、あるいはこの監視システムで利用される監視カメラ装置に関する技術が提案されている。これらの技術内容は、例えば特開２００１−１８９９３２号公報に開示されている。
図５は、このような従来の監視カメラ装置を用いた監視システムの一例を示すブロック図である。監視カメラ装置９２において、撮像部９１で撮像された監視対象の被写体画像は圧縮符号化される。監視カメラ装置９２からは、圧縮符号化された画像データが、インターネットなどのネットワークである伝送網９３を介して、監視モニタ装置９４に伝送される。
撮像部９１は、被写体を撮像し、撮像した被写体の画像データを、監視カメラ装置９２に設けた各エンコーダに供給する。動画エンコーダ９１３は、撮像部９１から供給された画像データを、動画像圧縮符号化方式に基づいて圧縮符号化し、圧縮符号化された動画像の画像データである動画像データを生成する。
ここで、このような動画像の画像データを圧縮符号化するデジタル技術の一つとして、一つのフレーム内の画像のデータを利用した圧縮符号化および隣接するフレーム間の画像のデータを利用した圧縮符号化を行なうフレーム間圧縮符号化方式がある。また、フレーム間圧縮符号化方式としては、画像符号化規格であるＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｉｍａｇｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）２方式やＭＰＥＧ４方式があり、デジタルテレビジョン放送や、インターネットを介した動画像の配信などで実用化されている。
静止画エンコーダ９１４は、撮像部９１から供給された画像データを、静止画像圧縮符号化方式に基づいて圧縮符号化し、圧縮符号化された静止画像の画像データである静止画像データを生成する。その際、静止画エンコーダ９１４は、動画エンコーダ９１３が動画像データを生成する周期よりも遅い周期で静止画像データを生成し、かつ、動画像データよりも解像度の高い静止画像データを生成する。
このような静止画像の画像データを圧縮符号化するデジタル技術の一つとして、一つのフレーム内の画像のデータを利用して圧縮符号化を行なうフレーム内圧縮符号化方式がある。また、フレーム内圧縮符号化方式としては、画像符号化規格であるＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｉｍａｇｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式があり、デジタルカメラの撮像画像データの記録や、インターネットを介した静止画像の配信などで実用化されている。
送信部９１５は、圧縮符号化された動画像データおよび静止画像データを、それぞれパケットの形態で、伝送網９３を介して監視モニタ装置９４に送信する制御を行なう。受信部９１６は、伝送網９３を介して監視モニタ装置９４から送られてきたデータを受信する制御を行ない、受信データを送信部９１５に転送する。送信部９１５は、受信部９１６からの受信データに基づいて、動画像データと静止画像データのいずれを送信するかを選択制御する。
変化検出部９１９は、例えば画像を複数ブロックに分割した各ブロックの、時間的な変化を検出する。そして、変化検出部９１９は、変化のあったブロックが所定の割合を超えると、静止画エンコーダ９１４に対して、その時点の静止画像データを生成するよう指示する。さらに、変化検出部９１９は、送信部９１５に対して、監視モニタ装置９４へその静止画像データを送信するよう指示する。
監視モニタ装置９４の内部には、受信部９２１と、動画デコーダ９２２と、静止画デコーダ９２３と、表示部９２４と、ユーザ入力部９２５と、送信部９２７とが設けられている。
受信部９２１は、監視カメラ装置９２からのデータを受信する。動画デコーダ９２２は、受信部９２１が受信したデータの中から動画像データを抽出し、ビデオ信号に変換する。静止画デコーダ９２３は、受信部９２１が受信したデータの中から静止画像データを抽出し、ビデオ信号に変換する。動画デコーダ９２２と静止画デコーダ９２３とで生成されたビデオ信号は、表示部９２４にて再生される。また、ユーザ入力部９２５は、ユーザからの指示を受け付け、受け付けた指示に関する情報を送信部９２７に通知する。送信部９２７は、通知されたユーザからの指示に関する情報を、伝送網９３を介して、監視カメラ装置９２の受信部９１６に通知する。
以上のような従来の監視システムは、動画像データの伝送とともに、監視対象に変化が生じると、その時点の監視対象の静止画像データを伝送する。よって、ユーザは、この静止画像データを必要に応じて表示させることができる。さらに、ユーザは、表示部９２４を目視し続ける必要がなくなるため負担が軽減し、監視対象の変化の見落としも低減できる。
上述のインターネットなどのネットワークを利用した監視システムの場合、データを伝送するための伝送網は、他のデータ通信と共用化したり、複数の監視カメラ装置により共用化された通信回線が使用される。そのため、通信回線の混雑度により、伝送可能な容量が一定しない。伝送負荷が重くなった場合は、伝送遅延が発生したり、パケット廃棄のような障害が発生したりする可能性があった。
このような、監視システムでの伝送負荷による不都合を解決するため、従来、ネットワークの混雑状態に基づいて監視画像を伝送する形態を変更し、伝送負荷の影響を軽減するような手法が提案されている。このような手法の一例として、例えば、上述の監視カメラ装置９２のような監視画像送出装置に、ネットワークの負荷状態を計測する計測手段を設け、計測の結果、ネットワークが軽負荷状態の場合には、動画像データを送出し、ネットワークが過負荷状態の場合には、静止画像データを送出するような監視システムが提案されている。このような監視システムを構成することで、ネットワークの混雑が少ない場合には、良好な動きの動画像で監視でき、ネットワークの混雑が大きい場合でも良好な画質の静止画像で監視を行なうことができる。なお、この技術内容は特開２００３−１６３９１４号公報に開示されている。
一般に、インターネットなどネットワークを利用して画像データを伝送する場合、伝送するデータの重要度や種別に応じて、異なった伝送プロトコルが選択される。例えば、インターネットでの静止画像データ配信では、通常、静止画像のリアルタイム性があまり要求されないため、一旦受信側で受信した静止画像データを蓄積した後、再生するようなダウンロード方式と呼ばれる方式が利用される。
このようなダウンロード方式を実現するため、通常、データ伝送において通信相互間での接続の確立を必要とするコネクション型通信のプロトコルが利用される。このようなコネクション型通信プロトコルでは、データ伝送の信頼性が最重要視され、双方向の確認応答手順や伝送エラーに対する再送処理などが盛り込まれている。よって、上述のようにネットワークの混雑が大きい場合でも、確実に送出されたデータが受信側に伝送される。しかし、このような複雑な処理や手順が必要なため、送出されたデータが受信側で受け取られるまでの時間遅延が発生する可能性がある。なお、このようなコネクション型通信プロトコルとして、トランスポート層で、信頼性あるコネクション型通信を行なうため規格化されたＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）が知られている。
一方、例えば、インターネットでの動画像データ配信では、通常、動画像ではリアルタイム性が要求されるため、受信側で正しい時間間隔で動画像を再生するような仕組みを盛り込んだストリーミング方式と呼ばれる方式が利用される。
このようなストリーミング方式を実現するため、通常、データ伝送において通信相互間での接続の確立を必要としないコネクションレス型通信のプロトコルが利用される。このようなコネクションレス型通信プロトコルでは、データ伝送のリアルタイム性が最重要視されるため、コネクション型通信プロトコルのような確認応答手順や再送処理などは盛り込まれておらず、高速伝送処理が可能である。しかし、上述のようにネットワークの混雑が大きい場合には、ネットワーク上においてパケット損失が発生するため、受信側での画像が崩れたり、動画像の動きが止まったりするなどの不都合が発生する可能性がある。なお、このようなコネクションレス型通信プロトコルとして、トランスポート層で、高速伝送を重視したコネクションレス型通信を行なうため提案されたＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）が知られており、さらにアプリケーション層で規定され、動画像などのリアルタイム性が要求されるデータ伝送に規格化されたＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）が知られている。
以上説明したように、通常、ネットワークを利用して画像データを伝送する場合、静止画像データの場合には、データ伝送の信頼性が最重要視されるＴＣＰのようなコネクション型通信プロトコルが利用される。また、動画像データの場合には、データ伝送のリアルタイム性が最重要視されるＵＤＰ、あるいはＲＴＰのようなコネクションレス型通信プロトコルが利用される。このような動画像伝送における従来技術の一例として、ネットワークの品質状況に応じて、ＵＤＰに基づく伝送プロトコルとＴＣＰに基づく伝送プロトコルとを適応的に切り替え伝送効率を高めるような画像伝送システムに関する技術も提案されている。この技術内容は、特開平１１−３１３３３０号公報に開示されている。
しかしながら、動画像データとともに、監視対象の画像の変化に応じて静止画像データをも伝送する監視システムの場合、上述したように、ネットワークの混雑が大きくなり過負荷状態になると、監視モニタ装置９４のような受信側において、監視中の動画像が崩れたり、動きが止まったりするなどの障害が発生するおそれがあった。特に、ネットワークが過負荷状態時に監視被写体に変化が生じた場合、なめらかな動画像表示ができなくなる。そのため、監視被写体の変化を観察しづらくなり、監視対象の異常を見落としたり、被写体の変化が監視対象の異常につながるものかどうかの判別が困難になったりするという課題があった。また、監視被写体の変化を検知して送出された静止画像データによる静止画像の表示は、高解像度であったとしても、間欠的な表示である。よって、監視被写体の変化が観察しづらく、監視対象での異常が発生したものかどうかの判別が困難になるという課題があった。
このような従来の監視システムにおける課題のより具体的な例として、例えば、監視カメラ装置の前を人物が通過した場合を挙げて次に説明する。まず、人物の通過により監視被写体に変化が生じるため、監視モニタ装置において、監視中の動画像とともに、人物が現れた静止画像が表示される。これにより、監視者は、監視対象に変化が生じたことをより認識しやすくなる。さらに、監視者は、同時に伝送される動画像により、その人物の行動を確認できるため、その人物が、例えば、窃盗など異常と認めるような行動を行なったかどうかを確認できる。しかし、ネットワークが過負荷状態のため監視中の人物の動画像が崩れたり、動きが止まるなどの障害が発生すると、その人物の行動を確認しづらくなり、その人物が窃盗などの行動、すなわち、監視対象の異常につながる行動を行なったものかどうかの判別が難しくなる。また、静止画像の表示は、高解像度であったとしても、間欠的な表示であるため、窃盗のような異常と認める行動の一瞬を見逃す可能性がある。
一般的なインターネットによる映画やテレビ番組の動画像配信の場合には、上述のようにリアルタイム性が要求される。これに対し、監視を主目的とする監視システムの場合、ある程度リアルタイム性は無視できるが、監視対象の異常の有無を明瞭に判別できることが重要である。よって、従来の監視システムのように必要な画像の欠落が発生すると、目的である監視に対する信頼性の低下を招くこととなる。
また、ネットワークの混雑状態に応じて監視対象の動画像データと静止画像データとを適応的に伝送する監視システムの場合であっても、ネットワークが過負荷状態時に監視対象に異常が生じたときには、過負荷状態時は静止画像データが伝送される。そのため、間欠的な監視画像の表示となり、監視被写体の変化が観察しづらく、監視対象での異常が発生したものかどうかの判別が困難となる。伝送する静止画像のコマ数を増加させることで、監視被写体の変化をより認識しやすくなる。しかし、一般にＪＰＥＧ方式のような静止画像データは動画像データに比べて、１コマあたりのデータ量が多いため、過負荷状態のネットワークに対する負荷をより重くすることとなり、コマ数を増加させるのにも限界があった。
上述の例のように監視カメラ装置の前を人物が通過した場合、監視者は、通常伝送される動画像により、その人物の行動を確認でき、その人物が窃盗など異常と認めるような行動を行なったかどうかを確認できる。このとき、ネットワークが過負荷状態であると、通常の動画像に代えて静止画像が伝送される。しかし、静止画像の表示は間欠的な表示であるため、窃盗のような異常と認める行動の一瞬を見逃す可能性がある。
さらに、ネットワークの品質状況に応じて、ＵＤＰとＴＣＰとの伝送プロトコルを適応的に切り替え伝送する画像伝送システムの場合、ネットワークが過負荷状態であるが監視対象には変化がないときであっても、双方向の確認応答手順や伝送エラーに対する再送処理などが盛り込まれたＴＣＰによる画像伝送が実行される。変化や異常のない画像の画像データが高品質な伝送プロトコルで伝送されるので、伝送データ量の増加を招き、ネットワークへの負荷を重くする。
上述の例のように監視カメラ装置の前を人物が通過した場合、監視者は、ネットワークの負荷状態にかかわらず伝送される動画像により、その人物の行動を確認でき、その人物が窃盗など異常と認めるような行動を行なったかどうかを確認できる。しかし、監視カメラ装置の前を人物が通過しないような場合、すなわち、全く異常とは認識されない場合であっても、ネットワークが過負荷状態であると、特に重要ではない画像が、高品質な伝送プロトコルで伝送される。そのため、結果的に、伝送データ量の増加を招く。
本発明は、上記課題を解決するためになされたもので、インターネットなどのネットワークの負荷状態に影響されず、かつネットワークへの負荷を抑制するとともに、監視対象の異常判別に必要な画像を的確に送出できる監視カメラ装置およびそれを用いた監視システムを提供することを目的とする。
上述したような課題を解決するために、本発明の監視カメラ装置は、通信回線網であるネットワークを介して、取り込んだ監視用の画像データを監視端末装置に伝送し、これによって遠隔地の監視を行なう監視システムの監視カメラ装置であって、監視対象である被写体を撮像し、撮像した被写体に応じた画像データを一定フレーム周期で生成する撮像部と、撮像部で生成された一定フレーム周期の画像データから、所定のフレーム周期毎における各フレームの画像データを抽出する動画像抽出部と、動画像抽出部で抽出した画像データを、静止画像圧縮符号化方式、あるいは動画像圧縮符号化方式に基づき圧縮符号化し、圧縮符号化された画像データであるモーション画像データを生成するモーション画像エンコーダと、画像データに基づき被写体の変化を検出し、検出した結果を変化検出信号として出力する変化検出部と、ネットワークを介して監視端末装置へデータ伝送を行なうため、伝送プロトコルとして、通信相互間での接続の確立を必要とするコネクション型通信プロトコルに基づく処理手段と通信相互間での接続の確立を必要としないコネクションレス型通信プロトコルに基づく処理手段とを有し、変化検出信号に応じて選択的に伝送プロトコルの処理手段を切り替えてデータ伝送処理を行なう伝送処理部とを備える。
さらに、伝送処理部は、変化検出信号が変化のないことを示すとき、モーション画像エンコーダで生成されたモーション画像データを、コネクションレス型通信プロトコルに基づき、ネットワークを介して監視端末装置へ伝送し、変化検出信号が変化のあったことを示すとき、モーション画像エンコーダで生成されたモーション画像データを、コネクション型通信プロトコルに基づき、ネットワークを介して監視端末装置へ伝送する構成である。
このような構成により、監視対象である被写体の画像に変化がない場合は、所定のフレーム周期の監視対象画像データがコネクションレス型通信プロトコルに基づいて監視端末装置へ伝送される。すなわち、変化や異常のない監視画像を伝送する場合には、品質を重視しない伝送プロトコルで伝送されるため、伝送データ量の増加を招くことなく、ネットワークへの負荷も軽くなる。これに対し、監視対象である被写体の画像に変化があった場合は、監視対象画像データがコネクション型通信プロトコルに基づいて監視端末装置へ伝送される。すなわち、変化のあった監視画像を伝送する場合には、ネットワークの負荷状態に影響されない高品質な伝送プロトコルで伝送される。よって、監視対象の異常のおそれがある画像は、監視端末装置において画像が崩れたり、動きが止まったりするなどの障害を有しない。また所定のフレーム周期毎に連続して観察でき、監視対象での異常発生を的確に判別できる。さらに、監視対象の変化があったときのみ、高品質なコネクション型通信プロトコルに基づきモーション画像データが伝送される。ゆえに、単位時間あたりのデータ伝送量を抑制でき、ネットワークへの負荷も抑制することができる。
また、本発明の監視カメラ装置は、さらに、撮像部で生成された一定フレーム周期の画像データから、任意のフレームにおける画像データを抽出する静止画像抽出部と、静止画像抽出部で抽出した画像データを、静止画像圧縮符号化方式に基づき圧縮符号化し、圧縮符号化された画像データであるスチル画像データを生成するスチル画像エンコーダとを備え、伝送処理部は、スチル画像エンコーダで生成されたスチル画像データを、コネクション型通信プロトコルに基づき、ネットワークを介して監視端末装置へ伝送するとともに、変化検出信号が変化のないことを示すとき、モーション画像エンコーダで生成されたモーション画像データを、コネクションレス型通信プロトコルに基づき、ネットワークを介して監視端末装置へ伝送し、変化検出信号が変化のあったことを示すとき、モーション画像エンコーダで生成されたモーション画像データを、コネクション型通信プロトコルに基づき、ネットワークを介して監視端末装置へ伝送する構成である。
このような構成により、監視端末装置において、モーション画像データによる動きのある画像とともに、スチル画像データによる、例えば、高解像度の静止画像や一部を切り出した静止画像を表示し、監視できるため、より監視の精度を高めることができる。さらに、スチル画像データを伝送するためにコネクション型通信プロトコルの処理手段を備え、この処理手段が動作状態であるため、監視対象である被写体の画像に変化があった場合、即座にコネクションレス型通信プロトコル処理からコネクション型通信プロトコルへと切り替えてモーション画像データを伝送できる。このため、伝送プロトコル処理切り替えのための処理時間が必要でなくなり、遅延を抑制して監視対象の異常のおそれがある画像を伝送することが可能となる。
本発明の監視カメラ装置および監視システムによれば、監視対象である被写体の画像に変化がない場合は、監視対象である被写体の画像に対応したモーション画像データが、品質を重視しない伝送プロトコルであるコネクションレス型通信プロトコルに基づいて伝送される。よって、ネットワークへの負荷を抑制できる。また、監視対象である被写体の画像に変化があった場合は、このモーション画像データが、ネットワークの負荷状態に影響されない高品質な伝送プロトコルであるコネクション型通信プロトコルに基づいて伝送される。ゆえに、監視端末装置において画像が崩れたり、動きが止まるなどの障害なく、また所定のフレーム周期毎に連続して観察できる。
さらに、本発明の監視カメラ装置および監視システムによれば、監視端末装置において、モーション画像データによる動きのある画像とスチル画像データによる静止画像とを表示し、監視できるため、より監視の精度を高めることができる。また、監視対象である被写体の画像に変化があった場合、スチル画像データを伝送するためのコネクション型通信プロトコルの処理手段を利用して、即座にコネクションレス型通信プロトコル処理からコネクション型通信プロトコルへと切り替えてモーション画像データを伝送できる。このため、伝送プロトコル処理切り替えのための処理時間が必要でなくなり、遅延を抑制して監視対象の異常のおそれがある画像を伝送することが可能となる。
以上のように、本発明によれば、インターネットなどのネットワークの負荷状態に影響されず、かつネットワークへの負荷を抑制する。また、監視対象の異常判別に必要な画像を的確に送出できる。さらに、処理による伝送遅延を抑制した監視カメラ装置およびそれを用いた監視システムを提供することができる。
図１は本発明の実施の形態１の監視カメラ装置を含む監視システムの構成を示すブロック図である。 図２は本発明の実施の形態１の監視カメラ装置における、モーション画像データを監視端末装置に伝送する手順を示したフローチャートである。 図３は本発明の実施の形態１の監視カメラ装置における、モーション画像データ、およびスチル画像データのそれぞれを監視端末装置に伝送する手順を示したフローチャートである。 図４は本発明の実施の形態２の監視カメラ装置を含む監視システムの構成を示すブロック図である。 図５は従来の監視カメラ装置を用いた監視システムの一例を示すブロック図である。
符号の説明
１０，９２ 監視カメラ装置
１１，９１ 撮像部
１２ 動画像抽出部
１３ モーション画像エンコーダ
１４ 静止画像抽出部
１５ スチル画像エンコーダ
１６ 動き処理部
１７，９１９ 変化検出部
１９ 伝送処理部
２０ 制御部
２１ ネットワーク監視部
２７ アラーム処理部
２８ センサ
２９ 記録再生部
３０ ネットワーク
４０ 監視端末装置
９３ 伝送網
９４ 監視モニタ装置
１２１，１４１ 解像度変換部
１９１ ＵＤＰ処理部
１９２ ＴＣＰ処理部
１９３ 接続切替部
１９４ 通信部
９１３ 動画エンコーダ
９１４ 静止画エンコーダ
９１５，９２７ 送信部
９１６，９２１ 受信部
９２２ 動画デコーダ
９２３ 静止画デコーダ
９２４ 表示部
９２５ ユーザ入力部
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
（実施の形態１）
図１は、本発明の実施の形態１の監視カメラ装置を含む監視システムの構成を示すブロック図である。図１に示すように、本監視システムは、監視用のカメラである撮像部１１で撮像した被写体画像を利用して監視を行なう。本監視システムは被写体の画像データを生成する監視カメラ装置１０、監視カメラ装置１０で撮像した被写体の画像データを遠隔地に伝送するネットワーク３０、および、ネットワーク３０を介して監視カメラ装置１０と通信接続された監視端末装置４０を含む。本監視システムでは、監視カメラ装置１０で取り込んだ監視用の画像データが通信回線網であるネットワーク３０を介して監視端末装置４０に伝送される。これによって、例えば、監視者が伝送された画像を監視端末装置４０でモニタし、遠隔地の監視を行なう。特に、本実施の形態１の監視システムでは、監視カメラ装置１０が、被写体画像の変化や監視対象の状況変化に応じて、監視カメラ装置１０と監視端末装置４０との間の通信規約であるプロトコルを適応的に切り替えて、監視用の画像データを伝送する機能を備えたことを特徴とする。
以下、図１を参照しながら、本実施の形態１の監視システムにおいて、特に本発明の特徴とする監視カメラ装置１０の構成を中心に説明する。
図１において、制御部２０は、監視カメラ装置１０の各種処理に対する制御や、以下で説明する各部に対して制御情報などの通知、および各部からの通知情報などの受け取りを行なう。制御部２０は、マイコンとメモリなどで構成され、マイコンが、メモリに記憶した各種のプログラムを実行することによって各種の制御や処理などを行なう。また、制御部２０は、ネットワーク３０を介して監視端末装置４０とのデータ通信が可能なように構成されている。例えば、監視者が監視端末装置４０に対して指示情報を入力することで、この指示情報が制御部２０に通知され、制御部２０は、この指示情報に従って各部の制御などを行なう。
撮像部１１は、監視対象である被写体を撮像し、撮像した被写体画像に応じた画像データを一定フレーム周期で生成する。撮像部１１は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子を有したビデオカメラである。撮像素子からは、撮像した画像に対応した画像信号が、例えば、一定のフレーム周期として３０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ、１秒あたりのフレーム数）で出力される。さらに、撮像部１１は、アナログ信号からデジタル信号に変換するＡ／Ｄ変換器等を有する。撮像素子からの画像信号は、このＡ／Ｄ変換器でデジタル信号である画像データに変換される。この画像データが撮像部１１から、例えば、３０ｆｐｓのフレーム周期で出力される。また、撮像部１１からの画像データは、動画像抽出部１２、および静止画像抽出部１４に供給される。
動画像抽出部１２は、撮像部１１で生成された一定フレーム周期の画像データから、所定のフレーム周期毎における各フレームの画像データを抽出、あるいは所定のフレーム周期の画像データに変換する。例えば、撮像部１１から３０ｆｐｓのフレーム周期で画像データが供給される場合、動画像抽出部１２は、２フレームに１回フレームを抽出することで１５ｆｐｓの画像データに変換したり、４フレームに１回フレームを抽出することで７．５ｆｐｓの画像データに変換したりするような処理を行なう。なお、動画像抽出部１２は、１フレームに１回フレームを抽出、すなわち３０ｆｐｓの画像データをそのまま出力するような機能をさらに有していてもよい。また、抽出するフレーム周期は、制御部２０からフレーム周期情報として通知される。動画像抽出部１２は、この通知されたフレーム周期情報に従ってフレーム数の変換を行なう。動画像抽出部１２からの画像データは、解像度変換部１２１に供給される。
解像度変換部１２１は、動画像抽出部１２からの画像データに対して、その画像における解像度を変換する。解像度変換部１２１は、画素データの間引き処理などを行なって、供給された画像データの１フレームあたり画素数を変換することで、所定の解像度に変換する。例えば、撮像部１１からの画像データを高解像度の４ＶＧＡ（１２８０Ｘ９６０画素）としたとき、解像度変換部１２１は、この４ＶＧＡ画像データから、中解像度のＶＧＡ（６４０Ｘ４８０画素）やＣＩＦ（３５２Ｘ２８８画素）、あるいは低解像度のＱＣＩＦ（１７６Ｘ１４４画素）に変換して出力する。なお、解像度変換部１２１が、この４ＶＧＡ画像データをそのまま出力する機能をさらに有していてもよい。なお、これら４ＶＧＡ、ＶＧＡ、ＣＩＦ、およびＱＣＩＦは、デジタル画像サイズの共通化を図るため規格化された画像フォーマットの名称である。解像度変換部１２１は、このような解像度の変換に加えて、１コマあたりの画像からある領域を切り出すような機能をさらに備えてもよい。例えば、この４ＶＧＡ画像データから、右上部の４分の１の領域の画像データを抽出し、ＶＧＡの画像データとして出力するような機能である。このような変換する解像度や、切り出し位置、切り出しサイズなどは、制御部２０から通知される。解像度変換部１２１は、通知されたこれらの情報に従って解像度変換や画像の切り出し処理などを行なう。解像度変換部１２１からの画像データは、モーション画像エンコーダ１３に供給される。
モーション画像エンコーダ１３は、解像度変換部１２１から供給された画像データを、静止画像圧縮符号化方式、あるいは動画像圧縮符号化方式に基づき圧縮符号化し、圧縮符号化された画像データであるモーション画像データを生成する。モーション画像エンコーダ１３で利用する圧縮符号化方式として、フレーム間圧縮符号化方式があり、より具体的には、動画像圧縮符号化規格であるＭＰＥＧ２方式、あるいはＭＰＥＧ４方式がある。モーション画像エンコーダ１３は、ＭＰＥＧ２方式、あるいはＭＰＥＧ４方式に基づき圧縮符号化処理を行なう。また、モーション画像エンコーダ１３は、静止画像圧縮符号化方式、すなわち、フレーム内圧縮符号化方式であるＪＰＥＧ方式に基づき、供給された画像データのフレーム周期で圧縮符号化を行なってもよい。なお、このようなＪＰＥＧ方式に基づきフレーム毎の圧縮符号化を行なう処理は、モーションＪＰＥＧ方式と呼ばれている。モーション画像エンコーダ１３には、画像データが周期的なフレーム単位で供給されるため、モーション画像エンコーダ１３は、周期的なフレーム単位で供給される画像データに対して圧縮符号化できればよい。このようにして、モーション画像エンコーダ１３は、圧縮符号化された周期的な複数フレーム分の画像データであるモーション画像データを生成する。なお、モーション画像エンコーダ１３は、制御部２０からの制御によって、上述の圧縮符号化方式が切り替え可能な構成であってもよい。例えば、ある画像データをフレーム間圧縮符号化方式に基づき、圧縮符号化し、さらに同一フレームの画像データをフレーム内圧縮符号化方式に基づき圧縮符号化し、双方を伝送処理部１９へ送っても良い。
静止画像抽出部１４は、撮像部１１で生成された一定フレーム周期の画像データから、任意のフレームにおける画像データを抽出する。静止画像抽出部１４は、供給された画像データから１フレーム分の画像データを抽出する。また、静止画像抽出部１４は、制御部２０からの指示に応答して、この１フレーム分の画像データを抽出する。静止画像抽出部１４からの画像データは、解像度変換部１４１に供給される。
解像度変換部１４１は、解像度変換部１２１と同様の機能を有する。解像度変換部１４１は、静止画像抽出部１４からの画像データに対して、その画像における解像度を変換する。また、解像度変換部１２１と同様に、解像度変換部１４１は、供給された画像データをそのまま出力する機能や、供給された画像データに対してある画像領域を切り出すような機能をさらに備えてもよい。このような変換する解像度や、切り出し位置、切り出しサイズなどは、制御部２０から通知される。解像度変換部１４１は、通知されたこれらの情報に従って解像度変換や画像の切り出し処理などを行なう。解像度変換部１４１からの画像データは、スチル画像エンコーダ１５に供給される。
スチル画像エンコーダ１５は、解像度変換部１４１から供給された画像データを、例えば、フレーム内圧縮符号化方式であるＪＰＥＧ方式のような静止画像圧縮符号化方式に基づき圧縮符号化し、圧縮符号化された画像データであるスチル画像データを生成する。スチル画像エンコーダ１５には、１フレーム分の画像データが任意のタイミングで供給される。スチル画像エンコーダ１５は、画像データが供給されるタイミングに応じて圧縮符号化を行ない、圧縮符号化された１フレーム分の画像データであるスチル画像データを生成する。
上述したような構成により、モーション画像エンコーダ１３からは、所定の時間間隔毎に撮像された画像に対応したモーション画像データが出力される。モーション画像データを復元することにより、テレビジョン映像のような動きを伴なった画像を再現することができる。このため、このようなモーション画像データを監視端末装置４０に伝送することにより、監視対象の時間的変化を観察することができる。一方、スチル画像エンコーダ１５からは、任意の時間に撮像された画像に対応したスチル画像データが出力される。例えば、監視者からの指示に応じてスチル画像データが出力されるように構成し、監視者は必要に応じて所望の画像を表示させることができる。
また、制御部２０から、解像度変換部１２１、解像度変換部１４１、および動画像抽出部１２に対して、解像度やフレーム周期を適宜設定する。これにより、広範囲な監視対象に対しては、解像度が低いモーション画像データとし、注目したい箇所のみ切り出して高解像度のスチル画像データとすることができる。監視者に見やすい画像が提供され、監視に対する信頼性を向上させることができる。
記録再生部２９は、記録媒体を有し、その記録媒体へのデータの記録や、記録したデータの読み出し処理などを行なう。記録再生部２９は、記録媒体として磁気ディスクを有したハードディスクドライブ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などである。あるいは、記録媒体として半導体メモリを有したメモリカードなどで、このメモリカードが挿抜可能な形態であってもよい。記録再生部２９は、上述したモーション画像エンコーダ１３で生成されたモーション画像データやスチル画像エンコーダ１５で生成されたスチル画像データなどの記録再生を行なう。記録再生部２９の記録処理や再生処理は、制御部２０から制御される。
記録再生部２９を設けることにより、監視対象の異常を見逃した場合でも、記録再生部２９に記録された画像データを再生して監視対象の状況や経過を後ほど確認できる。これによっても監視に対する信頼性を向上させることができる。
動き処理部１６は、撮像部１１で撮像した画像の動きに関する処理を行なう。モーション画像エンコーダ１３が、ＭＰＥＧ２方式、あるいはＭＰＥＧ４方式に基づき圧縮符号化処理を行なう場合、モーション画像エンコーダ１３はこれらの方式に基づき、動きベクトルを生成する。動き処理部１６にはこの動きベクトルが供給される。動き処理部１６は、この動きベクトルを利用して撮像画像における動き情報を生成する。また、モーション画像エンコーダ１３がＪＰＥＧ方式の場合には、モーション画像エンコーダ１３は動きベクトルを生成しない。この場合、動き処理部１６は、例えば、モーション画像エンコーダ１３に供給された画像データのフレーム差分値を求め、このフレーム差分値に基づき動き情報を生成してもよい。また、動き処理部１６は、これら動きベクトル、およびフレーム差分値の両者に基づき動き情報を生成するような構成であってもよい。さらに、動き処理部１６は、例えば画像を複数ブロックに分割した各ブロックにおける動き情報を生成するような機能を有した構成であってもよい。動き処理部１６で生成された動き情報は、後述する変化検出部１７、および伝送処理部１９に通知される。
変化検出部１７は、撮像部１１で撮像した画像の変化や監視対象の状況変化などを検出する。変化検出部１７は、動き処理部１６から通知された動き情報を利用して、撮像した画像の変化を検出する。例えば、監視カメラ装置１０の前を人物が通過した場合、この人物の通過により、動きのある監視被写体の連続画像となる。このため、動き処理部１６は、監視画像の動きが生じたとする動き情報を変化検出部１７に通知する。変化検出部１７は、この通知された動き情報に基づき、監視被写体に時間的変化が生じたものとして、撮像した画像の変化を検出する。また、監視対象の状況変化などを検出するため、変化検出部１７には、センサ２８が接続されている。センサ２８は、例えば、温度の変化を検出したり、監視カメラ装置１０の振動を検出したり、あるいは人や動物などの接近を検出したりする感知器であり、監視対象の状況変化を検出するために設けている。このように、変化検出部１７は、監視画像の変化や監視対象の状況変化などを検出し、このような変化に関する情報をアラーム処理部２７に通知する。さらに、変化検出部１７は、監視画像の変化や監視対象の状況変化などを検出すると、変化検出信号として伝送処理部１９に通知する。
アラーム処理部２７は、変化検出部１７から変化に関する情報が通知されるのに応答して、例えば、その変化の種類、変化のあった時間、そのときの監視カメラ装置１０の状態などを編集したアラーム情報を生成する。このアラーム情報は、記録再生部２９に通知され、記録再生部２９に記録される。アラーム処理部２７は、変化検出部１７において変化が検出される毎に、記録再生部２９にアラーム情報を累積記録する。これによって、記録再生部２９にアラーム情報を一覧にしたアラームリストを作成する。また、アラーム情報は、伝送処理部１９にも通知される。なお、変化検出部１７からの変化に関する情報に応答して、このアラーム情報とともに、スチル画像データやモーション画像データをも加えて記録再生部２９に記録するような構成としてもよい。このような構成とすることで、例えば、後から変化状況がより詳細に確認できるなど監視効果をさらに高めることができる。
伝送処理部１９は、ネットワーク３０を介して監視端末装置４０との通信接続を行なう通信インタフェースである。伝送処理部１９からは画像データなどの各種データが監視端末装置４０へと送出される。また、監視端末装置４０からの指示情報などのデータが伝送処理部１９により受信される。伝送処理部１９は、上述したモーション画像エンコーダ１３で生成されたモーション画像データ、スチル画像エンコーダ１５で生成されたスチル画像データ、アラーム処理部２７で生成されたアラーム情報、および動き処理部１６で生成された動き情報などを、ネットワーク３０を介して監視端末装置４０へ送出する。また、伝送処理部１９は、制御部２０とも接続されている。制御部２０と監視端末装置４０との間でのデータ通信は、伝送処理部１９を介して実行される。
図１に示すように、伝送処理部１９は、データを伝送するプロトコルとしてＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）に基づく処理を行なうＵＤＰ処理部１９１と、データを伝送するプロトコルとしてＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）に基づく処理を行なうＴＣＰ処理部１９２と、ネットワーク３０に接続され、ネットワーク３０を介してデータ通信を行なう通信部１９４と、切り替え制御に応じて、ＵＤＰ処理部１９１、およびＴＣＰ処理部１９２を通信部１９４に接続する接続切替部１９３とを備える。
ＵＤＰ処理部１９１は、ＵＤＰヘッダを付加したＵＤＰパケットを形成し、このＵＤＰパケットに、供給されたデータを格納する処理を行なう。また、ＵＤＰ処理部１９１には、モーション画像エンコーダ１３からのモーション画像データが供給され、ＵＤＰ処理部１９１は、このモーション画像データに対してＵＤＰに基づくパケット化を行なう。なお、上述したように、ＵＤＰは、トランスポート層での高速伝送を重視した通信を行なうため提案されたコネクションレス型通信プロトコルの一種である。ＵＤＰ処理部１９１は、トランスポート層であるＵＤＰを基本とし、その上位のプロトコルとして、動画像伝送に適したＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）を配して構成され得る。
ＴＣＰ処理部１９２は、ＴＣＰヘッダを付加したＴＣＰパケットを形成し、このＴＣＰパケットに、供給されたデータを格納する処理を行なう。さらに、上述したように、ＴＣＰは、コネクション型通信プロトコルの一種であり、データ伝送において通信相互間での接続の確立や、エラー時における再送のための処理などを必要とする。このため、ＴＣＰ処理部１９２は、データ伝送を行なうのに先立ち、ＡＣＫ信号やＮＡＣＫ信号と呼ばれる接続確認用の信号を利用して、監視端末装置４０との間での接続を確立するための処理を行なう。また、ＴＣＰ処理部１９２は、データ伝送中においても、監視端末装置４０との間の接続状態を判定する。データ伝送においてエラーが発生したと判定した場合には、再度エラー発生時のデータを伝送する再送処理を行なう。ＴＣＰ処理部１９２は、このような複雑な処理を実行することにより、ネットワーク３０の混雑が大きい場合でも、確実にデータを監視端末装置４０に伝送する。ＴＣＰ処理部１９２は、トランスポート層であるＴＣＰを基本とし、その上位のアプリケーションプロトコルとして、ファイル転送プロトコルとして規定されたＦＴＰ（Ｆｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）や、マルチメディアデータの転送用に規定されたＨＴＴＰ（Ｈｙｐｅｒ Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）配して構成され得る。なお、特に変化のあった場合に、サーバに保存するような場合は、ＦＴＰプロトコルを用いることが望ましい。
ＴＣＰは、上述したように信頼性の高い通信が可能であるため、ＴＣＰ処理部１９２を利用して、制御部２０と監視端末装置４０との間の各種制御情報や通知情報の相互伝送が行なわれる。また、ＴＣＰ処理部１９２には、アラーム処理部２７からのアラーム情報、および動き処理部１６からの動き情報が通知され、ＴＣＰ処理部１９２は、これらの情報を監視端末装置４０に伝送するのにも利用される。さらに、ＴＣＰ処理部１９２には、モーション画像エンコーダ１３で生成されたモーション画像データ、およびスチル画像エンコーダ１５で生成されたスチル画像データが供給され、ＴＣＰ処理部１９２は、これら画像データの伝送についても利用される。
接続切替部１９３は、切り替え制御に応じて、ＵＤＰ処理部１９１で生成されたＵＤＰパケット、およびＴＣＰ処理部１９２で生成されたＴＣＰパケットを通信部１９４に供給する。接続切替部１９３には、このような切り替え制御を行なうため、制御部２０から切替制御信号、および変化検出部１７から変化検出信号が供給されている。本発明の実施の形態１では、モーション画像データを伝送するとき、接続切替部１９３が、変化検出部１７から変化検出信号に基づいて、ＵＤＰ処理部１９１からのモーション画像データを含むＵＤＰパケットと、ＴＣＰ処理部１９２からのモーション画像データを含むＴＣＰパケットとを選択的に通信部１９４に供給することを特徴とする。接続切替部１９３は、変化検出信号が変化のないことを示すとき、ＵＤＰ処理部１９１からのモーション画像データを含むＵＤＰパケットを選択し、このＵＤＰパケットを通信部１９４に供給する。一方、接続切替部１９３は、変化検出信号が変化のあったことを示すとき、ＴＣＰ処理部１９２からのモーション画像データを含むＴＣＰパケットを選択し、このＴＣＰパケットを通信部１９４に供給する。
このように、伝送処理部１９は、通信相互間での接続の確立を必要とするコネクション型通信プロトコルに基づいた処理手段であるＴＣＰ処理部１９２と、通信相互間での接続の確立を必要としないコネクションレス型通信プロトコルに基づいた処理手段であるＵＤＰ処理部１９１とを有している。伝送処理部１９は、接続切替部１９３により、変化検出信号に応じて選択的に伝送プロトコルの処理手段を切り替え、選択されたプロトコルに基づいて通信部１９４からデータ伝送が実行される。伝送処理部１９は、接続切替部１９３により、変化検出信号が変化のないことを示すとき、モーション画像データをコネクションレス型通信プロトコルであるＵＤＰに基づき、ネットワーク３０を介して監視端末装置４０へ伝送する。また、変化検出信号が変化のあったことを示すとき、モーション画像データを、コネクション型通信プロトコルであるＴＣＰに基づき、ネットワーク３０を介して監視端末装置４０へ伝送する。
接続切替部１９３には、制御部２０から切替制御信号も供給されている。制御部２０は、スチル画像エンコーダ１５からのスチル画像データ、アラーム処理部２７からのアラーム情報、および動き処理部１６からの動き情報を伝送する場合には、この切替制御信号を利用して、接続切替部１９３によりＴＣＰ処理部１９２と通信部１９４とを接続し、ＴＣＰに基づいてこれらデータや情報を監視端末装置４０に伝送する。また、制御部２０は、監視端末装置４０との間で通信を行なう場合にも、この切替制御信号を利用して、接続切替部１９３によりＴＣＰ処理部１９２と通信部１９４とを接続し、ＴＣＰに基づいて監視端末装置４０との通信を行なう。
このように、制御部２０から接続切替部１９３の接続を制御できるため、例えば、変化検出信号が変化のあったことを示すとき、モーション画像データを、コネクションレス型通信プロトコルであるＵＤＰとコネクション型通信プロトコルであるＴＣＰとのそれぞれに基づき並行して、ネットワーク３０を介して監視端末装置４０へ伝送することも可能である。また、制御部２０にも変化検出信号を供給し、制御部２０がこの変化検出信号に応じた制御も可能な構成とすることで、例えば、変化検出信号が変化のあったことを示すとき、スチル画像データ、およびモーション画像データの双方を、ＴＣＰに基づき監視端末装置４０へ伝送することも可能である。
以下、このように構成された本実施の形態１の監視システムでの監視カメラ装置１０において、本発明の特徴とするプロトコルを適応的に切り替えて、監視用の画像データを伝送する動作を中心に、詳細について説明する。
図２は、監視カメラ装置１０において、モーション画像データを監視端末装置４０に伝送する手順を示した本発明の監視画像伝送方法としてのフローチャートである。以下、図２を参照しながら、監視カメラ装置１０の基本動作であるモーション画像データの伝送処理について説明する。
例えば、監視カメラ装置１０の電源立ち上げなどとともに、監視カメラ装置１０の初期設定が完了すると、監視カメラ装置１０は、監視処理を開始する。これにより、監視カメラ装置１０において、制御部２０が、ネットワーク３０を介して監視端末装置４０との通信が可能な状態となる。制御部２０は、監視端末装置４０からの指示情報による指示を待つ。
モーション画像データの伝送に関しては、図２に示すように、制御部２０は、モーション画像データの送信指示があるかどうかを判定する。制御部２０は、監視端末装置４０から、モーション画像データの送信指示がない場合には、その指示を待つ。また、制御部２０は、監視端末装置４０から、モーション画像データの送信指示があった場合には、ステップＳ１０２の処理を実行するよう制御する（ステップＳ１００）。
監視端末装置４０から、モーション画像データの送信指示があった場合、制御部２０からの制御に従い、モーション画像エンコーダ１３は、解像度変換部１２１から供給された画像データを圧縮符号化し、圧縮符号化された画像データであるモーション画像データを生成する（ステップＳ１０２）。生成されたモーション画像データは、伝送処理部１９に供給される。一方、伝送処理部１９には、上述したように変化検出部１７からの変化検出信号が供給されている。伝送処理部１９は、ＵＤＰ処理部１９１においてＵＤＰパケットを形成し、ＵＤＰパケットに、供給されたモーション画像データを格納する。また、ＴＣＰ処理部１９２においてＴＣＰパケットを形成し、ＴＣＰパケットにも、供給されたモーション画像データを格納する。
伝送処理部１９において、接続切替部１９３が、供給された変化検出信号の判定を行なう。接続切替部１９３は、変化検出信号が変化のないことを示すとき、ＵＤＰ処理部１９１からのＵＤＰパケットを選択する。また、変化検出信号が変化のあったことを示すとき、ＴＣＰ処理部１９２からのＴＣＰパケットを選択する（ステップＳ１０４）。接続切替部１９３により選択されたパケットは通信部１９４に供給され、通信部１９４からモーション画像データを含むパケットが監視端末装置４０へと送信される。
伝送処理部１９は、変化検出信号が変化のないことを示すとき、モーション画像エンコーダ１３で生成されたモーション画像データを、コネクションレス型通信プロトコルであるＵＤＰに基づき、ネットワーク３０を介して監視端末装置４０へ伝送する（ステップＳ１０８）。また、伝送処理部１９は、変化検出信号が変化のあったことを示すとき、ＴＣＰに基づき監視端末装置４０との接続を確立し、モーション画像エンコーダ１３で生成されたモーション画像データを、コネクション型通信プロトコルであるＴＣＰに基づき、ネットワーク３０を介して監視端末装置４０へと伝送する（ステップＳ１０６）。なお、伝送処理部１９は、例えば、監視カメラ装置１０の初期設定時のような監視処理を開始するときなどに、あらかじめＴＣＰに基づき監視端末装置４０との接続を確立するような構成であってもよい。
次に、制御部２０は、監視端末装置４０から要求されたモーション画像データの伝送処理が終了したかどうかを判定する。伝送処理が終了した場合には、ステップＳ１１２の処理へと進む。伝送処理が終了しない場合には、ステップＳ１０２からの処理を継続させる（ステップＳ１１０）。伝送処理が終了した場合には、制御部２０は、監視処理の終了が指示されたかどうかを判定する。監視処理の終了が指示された場合には、監視処理を終了する。監視処理の終了を指示されていない場合には、ステップＳ１００の処理に戻り、モーション画像データの送信指示を待つ（ステップＳ１１２）。
以上説明したように、本発明の監視カメラ装置１０は、監視対象である被写体の画像や、監視対象の状況変化において変化がない場合は、モーション画像データがコネクションレス型通信プロトコルであるＵＤＰに基づいて監視端末装置４０へ伝送される。変化や異常のない監視画像を伝送する場合には、品質を重視しない伝送プロトコルで伝送されるため、伝送データ量の増加を招くことなく、ネットワークへの負荷も軽くなる。
これに対し、監視対象である被写体の画像に変化があった場合は、監視対象のモーション画像データがコネクション型通信プロトコルであるＴＣＰに基づいて監視端末装置４０へ伝送される。変化のあった監視画像を伝送する場合には、ネットワークの負荷状態に影響されない高品質な伝送プロトコルで伝送されるため、監視対象の異常のおそれがある画像は、監視端末装置４０において画像が崩れたり、動きが止まったりするなどの障害なく、また所定のフレーム周期毎に連続して観察でき、監視対象での異常発生を的確に判別できる。また、監視対象の変化があったときのみ、高品質なコネクション型通信プロトコルであるＴＣＰに基づきモーション画像データが伝送される。よって、単位時間あたりのデータ伝送量を抑制でき、ネットワークへの負荷も抑制することができる。
図３は、監視カメラ装置１０において、モーション画像データ、およびスチル画像データのそれぞれを監視端末装置４０に伝送する手順を示した本発明の監視画像伝送方法としてのフローチャートである。以下、図３を参照しながら、監視カメラ装置１０の特徴であるモーション画像データ、およびスチル画像データの２種類の画像データを伝送する処理について説明する。なお、図２と同一のステップについては、同一の符号を付しており詳細な説明は省略する。
図２での説明と同様に、監視カメラ装置１０の電源立ち上げなどとともに、監視カメラ装置１０の初期設定が完了すると、監視カメラ装置１０は、監視処理を開始する。これにより、監視カメラ装置１０において、制御部２０が、ネットワーク３０を介して監視端末装置４０との通信が可能な状態となる。制御部２０は、監視端末装置４０からの指示情報による指示を待つ。また、スチル画像データは、上述したようにＴＣＰに基づき伝送される。このため、伝送処理部１９において、ＴＣＰ処理部１９２は、スチル画像データを伝送するためＴＣＰに基づく監視端末装置４０との接続を確立するための処理を実行する（ステップＳ２００）。これにより、例えば、監視者からのスチル画像データ伝送要求があると、監視カメラ装置１０は、この要求に即座に応答してスチル画像データを伝送できる。
次に、図３に示すように、制御部２０は、スチル画像データの送信指示があるかどうかを判定する。制御部２０は、監視端末装置４０から、スチル画像データの送信指示がない場合には、その指示を待つ。また、制御部２０は、監視端末装置４０から、スチル画像データの送信指示があった場合には、ステップＳ２０４の処理を実行するよう制御する（ステップＳ２０２）。
監視端末装置４０から、スチル画像データの送信指示があった場合、制御部２０からの制御に従い、スチル画像エンコーダ１５は、解像度変換部１４１から供給された画像データを圧縮符号化し、圧縮符号化された画像データであるスチル画像データを生成する（ステップＳ２０４）。生成されたスチル画像データは、伝送処理部１９に供給される。
制御部２０は、伝送処理部１９に対して、このスチル画像データを伝送するよう制御する。これに応じて、伝送処理部１９は、ＴＣＰ処理部１９２においてＴＣＰパケットを形成し、ＴＣＰパケットに供給されたスチル画像データを格納する。さらに、制御部２０は、接続切替部１９３に対してＴＣＰ処理部１９２からのＴＣＰパケットを選択するよう制御し、通信部１９４からスチル画像データを格納したＴＣＰパケットが監視端末装置４０に送信される（ステップＳ２０６）。
スチル画像データの伝送が終了すると、制御部２０は、監視処理の終了が指示されたかどうかを判定する。監視処理の終了が指示された場合には、監視処理を終了する。監視処理の終了を指示されていない場合には、ステップＳ１００の処理に戻り、モーション画像データ、あるいはスチル画像データの送信指示を待つ（ステップＳ１１２）。
以上、図３に示したような処理を実行することで、監視端末装置４０において、モーション画像データによる動きのある画像とともに、スチル画像データによる、例えば、注目したい画像などを並行して表示しながら監視できるため、より監視の精度を高めることができる。監視カメラ装置１０は、上述したように、モーション画像のフレーム周期を可変できる動画像抽出部１２、モーション画像の解像度や切り出し位置を可変できる解像度変換部１２１、およびスチル画像の解像度や切り出し位置を可変できる解像度変換部１４１を備えている。そこで、これらを利用して、モーション画像を、ある程度低解像度の所定のフレーム周期で表示させて動きのある画像として監視する。そして、この動きのある画像において変化を発見したとき、高解像度のスチル画像でその変化箇所の確認を行なったり、あるいはその変化箇所を切り出したり、高解像度のスチル画像で確認したりするなど監視の精度を高めることができる。また、スチル画像データを伝送するため、ＴＣＰ処理部１９２と監視端末装置４０との接続が確立され、ＴＣＰ処理部１９２は動作状態である。このため、モーション画像データの伝送において、監視対象である被写体に変化があった場合、即座にＵＤＰに基づく伝送からＴＣＰに基づく伝送へと切り替えてモーション画像データを伝送できる。よって、伝送プロトコル処理切り替えのための処理時間が必要でなくなり、遅延を抑制して監視対象の異常のおそれがある画像を伝送することが可能となる。
（実施の形態２）
図４は、本発明の実施の形態２の監視カメラ装置を含む監視システムの構成を示すブロック図である。
本実施の形態２でも、実施の形態１と同様に、本監視システムは、監視用のカメラである撮像部１１で撮像した被写体画像を利用して監視を行なう。本監視システムは、被写体の画像データを生成する監視カメラ装置１０、監視カメラ装置１０で撮像した被写体の画像データを遠隔地に伝送するネットワーク３０、およびネットワーク３０を介して監視カメラ装置１０と通信接続された監視端末装置４０を含む。監視カメラ装置１０で取り込んだ監視用の画像データが通信回線網であるネットワーク３０を介して監視端末装置４０に伝送される。また、図１と同一の構成要素については、同一の符号を付しており、これらの詳細な説明は省略する。図４に示す監視カメラ装置１０は、通信部１９４と接続されたネットワーク監視部２１をさらに備え、モーション画像データを伝送するプロトコルにおいて、変化検出信号による監視対象の変化に加えて、ネットワーク３０の混雑状況にも応じて、適応的にプロトコルを切り替えて、モーション画像データを伝送することを特徴としている。
図４において、ネットワーク監視部２１は、通信部１９４に接続され、ネットワーク３０の状況に応じた伝送負荷状態を監視し、監視に基づくネットワーク情報を、制御部２０に通知する。ネットワーク監視部２１は、例えば、定期的に監視端末装置４０から所定容量のデータを受信し、この受信状態に基づきネットワーク３０の伝送負荷状態、すなわち混雑状態を計測し、その計測の基づきネットワーク情報を生成する。
制御部２０は、このネットワーク情報に基づき、モーション画像エンコーダ１３の圧縮符号化方式を制御する。制御部２０は、ネットワーク情報において、ネットワーク３０が軽負荷状態を示すとき、ＪＰＥＧ方式などのフレーム内圧縮符号化方式である静止画像圧縮符号化方式を選択し、静止画像圧縮符号化方式に基づき生成したモーション画像データを伝送処理部１９に供給する。また、ネットワーク３０が過負荷状態を示すとき、ＭＰＥＧ４方式などのフレーム間圧縮符号化方式である動画像圧縮符号化方式を選択し、動画像圧縮符号化方式に基づき生成したモーション画像データを伝送処理部１９に供給する。
以上のような構成により、伝送データ量の多いモーション画像データを、ネットワーク３０の状況に応じて伝送することができる。例えば、ネットワーク３０が過負荷状態のとき、ＭＰＥＧ４方式などの静止画像圧縮符号化方式によるモーション画像データを伝送することで、モーション画像データの伝送によるネットワーク３０への負荷を抑制できる。
また、ネットワーク３０が過負荷状態のとき、ＪＰＥＧ方式などの動画像圧縮符号化方式によるモーション画像データを伝送する。これにより、ＵＤＰに基づきモーション画像データが伝送されているとき、ネットワーク３０の過負荷状態によるパケット廃棄の影響を抑制できる。特に、ＭＰＥＧ４方式のようなフレーム間圧縮符号化方式でのデータが廃棄されると、次のＩフレームまで、例えば、画像が静止することとなるため、このような制御により動き画像のつぶれなどを抑制できる。
本発明の監視カメラ装置、および監視システムを用いれば、インターネットなどのネットワークの負荷状態に影響されず、かつネットワークへの負荷を抑制する。また、監視対象の異常判別に必要な画像を的確に送出できるため、監視用の撮像装置やそれを用いた撮像システムとして有用である。
本発明は、監視カメラ等で撮像した被写体画像を利用して遠隔地の監視を行なう監視カメラ装置およびそれを用いた監視システムに関し、特に、撮像した被写体画像の画像データを、ネットワーク等を介して遠隔地に伝送する監視システムおよびそのシステムで利用する監視カメラ装置および監視画像伝送方法に関する。
従来、様々な監視カメラ装置や監視システムに関する技術が提案されている。特に、近年では、インターネットなどのネットワークを利用し、監視場所に設置した監視カメラによる画像データを遠隔地の監視モニタに伝送することで監視を行なう監視システム、あるいはこの監視システムで利用される監視カメラ装置に関する技術が提案されている。これらの技術内容は、例えば特開２００１−１８９９３２号公報に開示されている。
図５は、このような従来の監視カメラ装置を用いた監視システムの一例を示すブロック図である。監視カメラ装置９２において、撮像部９１で撮像された監視対象の被写体画像は圧縮符号化される。監視カメラ装置９２からは、圧縮符号化された画像データが、インターネットなどのネットワークである伝送網９３を介して、監視モニタ装置９４に伝送される。
撮像部９１は、被写体を撮像し、撮像した被写体の画像データを、監視カメラ装置９２に設けた各エンコーダに供給する。動画エンコーダ９１３は、撮像部９１から供給された画像データを、動画像圧縮符号化方式に基づいて圧縮符号化し、圧縮符号化された動画像の画像データである動画像データを生成する。
ここで、このような動画像の画像データを圧縮符号化するデジタル技術の一つとして、一つのフレーム内の画像のデータを利用した圧縮符号化および隣接するフレーム間の画像のデータを利用した圧縮符号化を行なうフレーム間圧縮符号化方式がある。また、フレーム間圧縮符号化方式としては、画像符号化規格であるＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｉｍａｇｅ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）２方式やＭＰＥＧ４方式があり、デジタルテレビジョン放送や、インターネットを介した動画像の配信などで実用化されている。
静止画エンコーダ９１４は、撮像部９１から供給された画像データを、静止画像圧縮符号化方式に基づいて圧縮符号化し、圧縮符号化された静止画像の画像データである静止画像データを生成する。その際、静止画エンコーダ９１４は、動画エンコーダ９１３が動画像データを生成する周期よりも遅い周期で静止画像データを生成し、かつ、動画像データよりも解像度の高い静止画像データを生成する。
このような静止画像の画像データを圧縮符号化するデジタル技術の一つとして、一つのフレーム内の画像のデータを利用して圧縮符号化を行なうフレーム内圧縮符号化方式がある。また、フレーム内圧縮符号化方式としては、画像符号化規格であるＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｉｍａｇｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式があり、デジタルカメラの撮像画像データの記録や、インターネットを介した静止画像の配信などで実用化されている。
送信部９１５は、圧縮符号化された動画像データおよび静止画像データを、それぞれパケットの形態で、伝送網９３を介して監視モニタ装置９４に送信する制御を行なう。受信部９１６は、伝送網９３を介して監視モニタ装置９４から送られてきたデータを受信する制御を行ない、受信データを送信部９１５に転送する。送信部９１５は、受信部９１６からの受信データに基づいて、動画像データと静止画像データのいずれを送信するかを選択制御する。
変化検出部９１９は、例えば画像を複数ブロックに分割した各ブロックの、時間的な変化を検出する。そして、変化検出部９１９は、変化のあったブロックが所定の割合を超えると、静止画エンコーダ９１４に対して、その時点の静止画像データを生成するよう指示する。さらに、変化検出部９１９は、送信部９１５に対して、監視モニタ装置９４へその静止画像データを送信するよう指示する。
監視モニタ装置９４の内部には、受信部９２１と、動画デコーダ９２２と、静止画デコーダ９２３と、表示部９２４と、ユーザ入力部９２５と、送信部９２７とが設けられている。
受信部９２１は、監視カメラ装置９２からのデータを受信する。動画デコーダ９２２は、受信部９２１が受信したデータの中から動画像データを抽出し、ビデオ信号に変換する。静止画デコーダ９２３は、受信部９２１が受信したデータの中から静止画像データを抽出し、ビデオ信号に変換する。動画デコーダ９２２と静止画デコーダ９２３とで生成されたビデオ信号は、表示部９２４にて再生される。また、ユーザ入力部９２５は、ユーザからの指示を受け付け、受け付けた指示に関する情報を送信部９２７に通知する。送信部９２７は、通知されたユーザからの指示に関する情報を、伝送網９３を介して、監視カメラ装置９２の受信部９１６に通知する。
以上のような従来の監視システムは、動画像データの伝送とともに、監視対象に変化が生じると、その時点の監視対象の静止画像データを伝送する。よって、ユーザは、この静止画像データを必要に応じて表示させることができる。さらに、ユーザは、表示部９２４を目視し続ける必要がなくなるため負担が軽減し、監視対象の変化の見落としも低減できる。
上述のインターネットなどのネットワークを利用した監視システムの場合、データを伝送するための伝送網は、他のデータ通信と共用化したり、複数の監視カメラ装置により共用化された通信回線が使用される。そのため、通信回線の混雑度により、伝送可能な容量が一定しない。伝送負荷が重くなった場合は、伝送遅延が発生したり、パケット廃棄のような障害が発生したりする可能性があった。
このような、監視システムでの伝送負荷による不都合を解決するため、従来、ネットワークの混雑状態に基づいて監視画像を伝送する形態を変更し、伝送負荷の影響を軽減するような手法が提案されている。このような手法の一例として、例えば、上述の監視カメラ装置９２のような監視画像送出装置に、ネットワークの負荷状態を計測する計測手段を設け、計測の結果、ネットワークが軽負荷状態の場合には、動画像データを送出し、ネットワークが過負荷状態の場合には、静止画像データを送出するような監視システムが提案されている。このような監視システムを構成することで、ネットワークの混雑が少ない場合には、良好な動きの動画像で監視でき、ネットワークの混雑が大きい場合でも良好な画質の静止画像で監視を行なうことができる。なお、この技術内容は特開２００３−１６３９１４号公報に開示されている。
一般に、インターネットなどネットワークを利用して画像データを伝送する場合、伝送するデータの重要度や種別に応じて、異なった伝送プロトコルが選択される。例えば、インターネットでの静止画像データ配信では、通常、静止画像のリアルタイム性があまり要求されないため、一旦受信側で受信した静止画像データを蓄積した後、再生するようなダウンロード方式と呼ばれる方式が利用される。
このようなダウンロード方式を実現するため、通常、データ伝送において通信相互間での接続の確立を必要とするコネクション型通信のプロトコルが利用される。このようなコネクション型通信プロトコルでは、データ伝送の信頼性が最重要視され、双方向の確認応答手順や伝送エラーに対する再送処理などが盛り込まれている。よって、上述のようにネットワークの混雑が大きい場合でも、確実に送出されたデータが受信側に伝送される。しかし、このような複雑な処理や手順が必要なため、送出されたデータが受信側で受け取られるまでの時間遅延が発生する可能性がある。なお、このようなコネクション型通信プロトコルとして、トランスポート層で、信頼性あるコネクション型通信を行なうため規格化されたＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）が知られている。
一方、例えば、インターネットでの動画像データ配信では、通常、動画像ではリアルタイム性が要求されるため、受信側で正しい時間間隔で動画像を再生するような仕組みを盛り込んだストリーミング方式と呼ばれる方式が利用される。
このようなストリーミング方式を実現するため、通常、データ伝送において通信相互間での接続の確立を必要としないコネクションレス型通信のプロトコルが利用される。このようなコネクションレス型通信プロトコルでは、データ伝送のリアルタイム性が最重要視されるため、コネクション型通信プロトコルのような確認応答手順や再送処理などは盛り込まれておらず、高速伝送処理が可能である。しかし、上述のようにネットワークの混雑が大きい場合には、ネットワーク上においてパケット損失が発生するため、受信側での画像が崩れたり、動画像の動きが止まったりするなどの不都合が発生する可能性がある。なお、このようなコネクションレス型通信プロトコルとして、トランスポート層で、高速伝送を重視したコネクションレス型通信を行なうため提案されたＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）が知られており、さらにアプリケーション層で規定され、動画像などのリアルタイム性が要求されるデータ伝送に規格化されたＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）が知られている。
以上説明したように、通常、ネットワークを利用して画像データを伝送する場合、静止画像データの場合には、データ伝送の信頼性が最重要視されるＴＣＰのようなコネクション型通信プロトコルが利用される。また、動画像データの場合には、データ伝送のリアルタイム性が最重要視されるＵＤＰ、あるいはＲＴＰのようなコネクションレス型通信プロトコルが利用される。このような動画像伝送における従来技術の一例として、ネットワークの品質状況に応じて、ＵＤＰに基づく伝送プロトコルとＴＣＰに基づく伝送プロトコルとを適応的に切り替え伝送効率を高めるような画像伝送システムに関する技術も提案されている。この技術内容は、特開平１１−３１３３３０号公報に開示されている。
しかしながら、動画像データとともに、監視対象の画像の変化に応じて静止画像データをも伝送する監視システムの場合、上述したように、ネットワークの混雑が大きくなり過負荷状態になると、監視モニタ装置９４のような受信側において、監視中の動画像が崩れたり、動きが止まったりするなどの障害が発生するおそれがあった。特に、ネットワークが過負荷状態時に監視被写体に変化が生じた場合、なめらかな動画像表示ができなくなる。そのため、監視被写体の変化を観察しづらくなり、監視対象の異常を見落としたり、被写体の変化が監視対象の異常につながるものかどうかの判別が困難になったりするという課題があった。また、監視被写体の変化を検知して送出された静止画像データによる静止画像の表示は、高解像度であったとしても、間欠的な表示である。よって、監視被写体の変化が観察しづらく、監視対象での異常が発生したものかどうかの判別が困難になるという課題があった。
このような従来の監視システムにおける課題のより具体的な例として、例えば、監視カメラ装置の前を人物が通過した場合を挙げて次に説明する。まず、人物の通過により監視被写体に変化が生じるため、監視モニタ装置において、監視中の動画像とともに、人物が現れた静止画像が表示される。これにより、監視者は、監視対象に変化が生じたことをより認識しやすくなる。さらに、監視者は、同時に伝送される動画像により、その人物の行動を確認できるため、その人物が、例えば、窃盗など異常と認めるような行動を行なったかどうかを確認できる。しかし、ネットワークが過負荷状態のため監視中の人物の動画像が崩れたり、動きが止まるなどの障害が発生すると、その人物の行動を確認しづらくなり、その人物が窃盗などの行動、すなわち、監視対象の異常につながる行動を行なったものかどうかの判別が難しくなる。また、静止画像の表示は、高解像度であったとしても、間欠的な表示であるため、窃盗のような異常と認める行動の一瞬を見逃す可能性がある。
一般的なインターネットによる映画やテレビ番組の動画像配信の場合には、上述のようにリアルタイム性が要求される。これに対し、監視を主目的とする監視システムの場合、ある程度リアルタイム性は無視できるが、監視対象の異常の有無を明瞭に判別できることが重要である。よって、従来の監視システムのように必要な画像の欠落が発生すると、目的である監視に対する信頼性の低下を招くこととなる。
また、ネットワークの混雑状態に応じて監視対象の動画像データと静止画像データとを適応的に伝送する監視システムの場合であっても、ネットワークが過負荷状態時に監視対象に異常が生じたときには、過負荷状態時は静止画像データが伝送される。そのため、間欠的な監視画像の表示となり、監視被写体の変化が観察しづらく、監視対象での異常が発生したものかどうかの判別が困難となる。伝送する静止画像のコマ数を増加させることで、監視被写体の変化をより認識しやすくなる。しかし、一般にＪＰＥＧ方式のような静止画像データは動画像データに比べて、１コマあたりのデータ量が多いため、過負荷状態のネットワークに対する負荷をより重くすることとなり、コマ数を増加させるのにも限界があった。
上述の例のように監視カメラ装置の前を人物が通過した場合、監視者は、通常伝送される動画像により、その人物の行動を確認でき、その人物が窃盗など異常と認めるような行動を行なったかどうかを確認できる。このとき、ネットワークが過負荷状態であると、通常の動画像に代えて静止画像が伝送される。しかし、静止画像の表示は間欠的な表示であるため、窃盗のような異常と認める行動の一瞬を見逃す可能性がある。
さらに、ネットワークの品質状況に応じて、ＵＤＰとＴＣＰとの伝送プロトコルを適応的に切り替え伝送する画像伝送システムの場合、ネットワークが過負荷状態であるが監視対象には変化がないときであっても、双方向の確認応答手順や伝送エラーに対する再送処理などが盛り込まれたＴＣＰによる画像伝送が実行される。変化や異常のない画像の画像データが高品質な伝送プロトコルで伝送されるので、伝送データ量の増加を招き、ネットワークへの負荷を重くする。
上述の例のように監視カメラ装置の前を人物が通過した場合、監視者は、ネットワークの負荷状態にかかわらず伝送される動画像により、その人物の行動を確認でき、その人物が窃盗など異常と認めるような行動を行なったかどうかを確認できる。しかし、監視カメラ装置の前を人物が通過しないような場合、すなわち、全く異常とは認識されない場合であっても、ネットワークが過負荷状態であると、特に重要ではない画像が、高品質な伝送プロトコルで伝送される。そのため、結果的に、伝送データ量の増加を招く。
本発明は、上記課題を解決するためになされたもので、インターネットなどのネットワークの負荷状態に影響されず、かつネットワークへの負荷を抑制するとともに、監視対象の異常判別に必要な画像を的確に送出できる監視カメラ装置およびそれを用いた監視システムを提供することを目的とする。
上述したような課題を解決するために、本発明の監視カメラ装置は、通信回線網であるネットワークを介して、取り込んだ監視用の画像データを監視端末装置に伝送し、これによって遠隔地の監視を行なう監視システムの監視カメラ装置であって、監視対象である被写体を撮像し、撮像した被写体に応じた画像データを一定フレーム周期で生成する撮像部と、撮像部で生成された一定フレーム周期の画像データから、所定のフレーム周期毎における各フレームの画像データを抽出する動画像抽出部と、動画像抽出部で抽出した画像データを、静止画像圧縮符号化方式、あるいは動画像圧縮符号化方式に基づき圧縮符号化し、圧縮符号化された画像データであるモーション画像データを生成するモーション画像エンコーダと、画像データに基づき被写体の変化を検出し、検出した結果を変化検出信号として出力する変化検出部と、ネットワークを介して監視端末装置へデータ伝送を行なうため、伝送プロトコルとして、通信相互間での接続の確立を必要とするコネクション型通信プロトコルに基づく処理手段と通信相互間での接続の確立を必要としないコネクションレス型通信プロトコルに基づく処理手段とを有し、変化検出信号に応じて選択的に伝送プロトコルの処理手段を切り替えてデータ伝送処理を行なう伝送処理部とを備える。
さらに、伝送処理部は、変化検出信号が変化のないことを示すとき、モーション画像エンコーダで生成されたモーション画像データを、コネクションレス型通信プロトコルに基づき、ネットワークを介して監視端末装置へ伝送し、変化検出信号が変化のあったことを示すとき、モーション画像エンコーダで生成されたモーション画像データを、コネクション型通信プロトコルに基づき、ネットワークを介して監視端末装置へ伝送する構成である。
このような構成により、監視対象である被写体の画像に変化がない場合は、所定のフレーム周期の監視対象画像データがコネクションレス型通信プロトコルに基づいて監視端末装置へ伝送される。すなわち、変化や異常のない監視画像を伝送する場合には、品質を重視しない伝送プロトコルで伝送されるため、伝送データ量の増加を招くことなく、ネットワークへの負荷も軽くなる。これに対し、監視対象である被写体の画像に変化があった場合は、監視対象画像データがコネクション型通信プロトコルに基づいて監視端末装置へ伝送される。すなわち、変化のあった監視画像を伝送する場合には、ネットワークの負荷状態に影響されない高品質な伝送プロトコルで伝送される。よって、監視対象の異常のおそれがある画像は、監視端末装置において画像が崩れたり、動きが止まったりするなどの障害を有しない。また所定のフレーム周期毎に連続して観察でき、監視対象での異常発生を的確に判別できる。さらに、監視対象の変化があったときのみ、高品質なコネクション型通信プロトコルに基づきモーション画像データが伝送される。ゆえに、単位時間あたりのデータ伝送量を抑制でき、ネットワークへの負荷も抑制することができる。
また、本発明の監視カメラ装置は、さらに、撮像部で生成された一定フレーム周期の画像データから、任意のフレームにおける画像データを抽出する静止画像抽出部と、静止画像抽出部で抽出した画像データを、静止画像圧縮符号化方式に基づき圧縮符号化し、圧縮符号化された画像データであるスチル画像データを生成するスチル画像エンコーダとを備え、伝送処理部は、スチル画像エンコーダで生成されたスチル画像データを、コネクション型通信プロトコルに基づき、ネットワークを介して監視端末装置へ伝送するとともに、変化検出信号が変化のないことを示すとき、モーション画像エンコーダで生成されたモーション画像データを、コネクションレス型通信プロトコルに基づき、ネットワークを介して監視端末装置へ伝送し、変化検出信号が変化のあったことを示すとき、モーション画像エンコーダで生成されたモーション画像データを、コネクション型通信プロトコルに基づき、ネットワークを介して監視端末装置へ伝送する構成である。
このような構成により、監視端末装置において、モーション画像データによる動きのある画像とともに、スチル画像データによる、例えば、高解像度の静止画像や一部を切り出した静止画像を表示し、監視できるため、より監視の精度を高めることができる。さらに、スチル画像データを伝送するためにコネクション型通信プロトコルの処理手段を備え、この処理手段が動作状態であるため、監視対象である被写体の画像に変化があった場合、即座にコネクションレス型通信プロトコル処理からコネクション型通信プロトコルへと切り替えてモーション画像データを伝送できる。このため、伝送プロトコル処理切り替えのための処理時間が必要でなくなり、遅延を抑制して監視対象の異常のおそれがある画像を伝送することが可能となる。
本発明の監視カメラ装置および監視システムによれば、監視対象である被写体の画像に変化がない場合は、監視対象である被写体の画像に対応したモーション画像データが、品質を重視しない伝送プロトコルであるコネクションレス型通信プロトコルに基づいて伝送される。よって、ネットワークへの負荷を抑制できる。また、監視対象である被写体の画像に変化があった場合は、このモーション画像データが、ネットワークの負荷状態に影響されない高品質な伝送プロトコルであるコネクション型通信プロトコルに基づいて伝送される。ゆえに、監視端末装置において画像が崩れたり、動きが止まるなどの障害なく、また所定のフレーム周期毎に連続して観察できる。
さらに、本発明の監視カメラ装置および監視システムによれば、監視端末装置において、モーション画像データによる動きのある画像とスチル画像データによる静止画像とを表示し、監視できるため、より監視の精度を高めることができる。また、監視対象である被写体の画像に変化があった場合、スチル画像データを伝送するためのコネクション型通信プロトコルの処理手段を利用して、即座にコネクションレス型通信プロトコル処理からコネクション型通信プロトコルへと切り替えてモーション画像データを伝送できる。このため、伝送プロトコル処理切り替えのための処理時間が必要でなくなり、遅延を抑制して監視対象の異常のおそれがある画像を伝送することが可能となる。
以上のように、本発明によれば、インターネットなどのネットワークの負荷状態に影響されず、かつネットワークへの負荷を抑制する。また、監視対象の異常判別に必要な画像を的確に送出できる。さらに、処理による伝送遅延を抑制した監視カメラ装置およびそれを用いた監視システムを提供することができる。
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
（実施の形態１）
図１は、本発明の実施の形態１の監視カメラ装置を含む監視システムの構成を示すブロック図である。図１に示すように、本監視システムは、監視用のカメラである撮像部１１で撮像した被写体画像を利用して監視を行なう。本監視システムは被写体の画像データを生成する監視カメラ装置１０、監視カメラ装置１０で撮像した被写体の画像データを遠隔地に伝送するネットワーク３０、および、ネットワーク３０を介して監視カメラ装置１０と通信接続された監視端末装置４０を含む。本監視システムでは、監視カメラ装置１０で取り込んだ監視用の画像データが通信回線網であるネットワーク３０を介して監視端末装置４０に伝送される。これによって、例えば、監視者が伝送された画像を監視端末装置４０でモニタし、遠隔地の監視を行なう。特に、本実施の形態１の監視システムでは、監視カメラ装置１０が、被写体画像の変化や監視対象の状況変化に応じて、監視カメラ装置１０と監視端末装置４０との間の通信規約であるプロトコルを適応的に切り替えて、監視用の画像データを伝送する機能を備えたことを特徴とする。
以下、図１を参照しながら、本実施の形態１の監視システムにおいて、特に本発明の特徴とする監視カメラ装置１０の構成を中心に説明する。
図１において、制御部２０は、監視カメラ装置１０の各種処理に対する制御や、以下で説明する各部に対して制御情報などの通知、および各部からの通知情報などの受け取りを行なう。制御部２０は、マイコンとメモリなどで構成され、マイコンが、メモリに記憶した各種のプログラムを実行することによって各種の制御や処理などを行なう。また、制御部２０は、ネットワーク３０を介して監視端末装置４０とのデータ通信が可能なように構成されている。例えば、監視者が監視端末装置４０に対して指示情報を入力することで、この指示情報が制御部２０に通知され、制御部２０は、この指示情報に従って各部の制御などを行なう。
撮像部１１は、監視対象である被写体を撮像し、撮像した被写体画像に応じた画像データを一定フレーム周期で生成する。撮像部１１は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子を有したビデオカメラである。撮像素子からは、撮像した画像に対応した画像信号が、例えば、一定のフレーム周期として３０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ、１秒あたりのフレーム数）で出力される。さらに、撮像部１１は、アナログ信号からデジタル信号に変換するＡ／Ｄ変換器等を有する。撮像素子からの画像信号は、このＡ／Ｄ変換器でデジタル信号である画像データに変換される。この画像データが撮像部１１から、例えば、３０ｆｐｓのフレーム周期で出力される。また、撮像部１１からの画像データは、動画像抽出部１２、および静止画像抽出部１４に供給される。
動画像抽出部１２は、撮像部１１で生成された一定フレーム周期の画像データから、所定のフレーム周期毎における各フレームの画像データを抽出、あるいは所定のフレーム周期の画像データに変換する。例えば、撮像部１１から３０ｆｐｓのフレーム周期で画像データが供給される場合、動画像抽出部１２は、２フレームに１回フレームを抽出することで１５ｆｐｓの画像データに変換したり、４フレームに１回フレームを抽出することで７．５ｆｐｓの画像データに変換したりするような処理を行なう。なお、動画像抽出部１２は、１フレームに１回フレームを抽出、すなわち３０ｆｐｓの画像データをそのまま出力するような機能をさらに有していてもよい。また、抽出するフレーム周期は、制御部２０からフレーム周期情報として通知される。動画像抽出部１２は、この通知されたフレーム周期情報に従ってフレーム数の変換を行なう。動画像抽出部１２からの画像データは、解像度変換部１２１に供給される。
解像度変換部１２１は、動画像抽出部１２からの画像データに対して、その画像における解像度を変換する。解像度変換部１２１は、画素データの間引き処理などを行なって、供給された画像データの１フレームあたり画素数を変換することで、所定の解像度に変換する。例えば、撮像部１１からの画像データを高解像度の４ＶＧＡ（１２８０Ｘ９６０画素）としたとき、解像度変換部１２１は、この４ＶＧＡ画像データから、中解像度のＶＧＡ（６４０Ｘ４８０画素）やＣＩＦ（３５２Ｘ２８８画素）、あるいは低解像度のＱＣＩＦ（１７６Ｘ１４４画素）に変換して出力する。なお、解像度変換部１２１が、この４ＶＧＡ画像データをそのまま出力する機能をさらに有していてもよい。なお、これら４ＶＧＡ、ＶＧＡ、ＣＩＦ、およびＱＣＩＦは、デジタル画像サイズの共通化を図るため規格化された画像フォーマットの名称である。解像度変換部１２１は、このような解像度の変換に加えて、１コマあたりの画像からある領域を切り出すような機能をさらに備えてもよい。例えば、この４ＶＧＡ画像データから、右上部の４分の１の領域の画像データを抽出し、ＶＧＡの画像データとして出力するような機能である。このような変換する解像度や、切り出し位置、切り出しサイズなどは、制御部２０から通知される。解像度変換部１２１は、通知されたこれらの情報に従って解像度変換や画像の切り出し処理などを行なう。解像度変換部１２１からの画像データは、モーション画像エンコーダ１３に供給される。
モーション画像エンコーダ１３は、解像度変換部１２１から供給された画像データを、静止画像圧縮符号化方式、あるいは動画像圧縮符号化方式に基づき圧縮符号化し、圧縮符号化された画像データであるモーション画像データを生成する。モーション画像エンコーダ１３で利用する圧縮符号化方式として、フレーム間圧縮符号化方式があり、より具体的には、動画像圧縮符号化規格であるＭＰＥＧ２方式、あるいはＭＰＥＧ４方式がある。モーション画像エンコーダ１３は、ＭＰＥＧ２方式、あるいはＭＰＥＧ４方式に基づき圧縮符号化処理を行なう。また、モーション画像エンコーダ１３は、静止画像圧縮符号化方式、すなわち、フレーム内圧縮符号化方式であるＪＰＥＧ方式に基づき、供給された画像データのフレーム周期で圧縮符号化を行なってもよい。なお、このようなＪＰＥＧ方式に基づきフレーム毎の圧縮符号化を行なう処理は、モーションＪＰＥＧ方式と呼ばれている。モーション画像エンコーダ１３には、画像データが周期的なフレーム単位で供給されるため、モーション画像エンコーダ１３は、周期的なフレーム単位で供給される画像データに対して圧縮符号化できればよい。このようにして、モーション画像エンコーダ１３は、圧縮符号化された周期的な複数フレーム分の画像データであるモーション画像データを生成する。なお、モーション画像エンコーダ１３は、制御部２０からの制御によって、上述の圧縮符号化方式が切り替え可能な構成であってもよい。例えば、ある画像データをフレーム間圧縮符号化方式に基づき、圧縮符号化し、さらに同一フレームの画像データをフレーム内圧縮符号化方式に基づき圧縮符号化し、双方を伝送処理部１９へ送っても良い。
静止画像抽出部１４は、撮像部１１で生成された一定フレーム周期の画像データから、任意のフレームにおける画像データを抽出する。静止画像抽出部１４は、供給された画像データから１フレーム分の画像データを抽出する。また、静止画像抽出部１４は、制御部２０からの指示に応答して、この１フレーム分の画像データを抽出する。静止画像抽出部１４からの画像データは、解像度変換部１４１に供給される。
解像度変換部１４１は、解像度変換部１２１と同様の機能を有する。解像度変換部１４１は、静止画像抽出部１４からの画像データに対して、その画像における解像度を変換する。また、解像度変換部１２１と同様に、解像度変換部１４１は、供給された画像データをそのまま出力する機能や、供給された画像データに対してある画像領域を切り出すような機能をさらに備えてもよい。このような変換する解像度や、切り出し位置、切り出しサイズなどは、制御部２０から通知される。解像度変換部１４１は、通知されたこれらの情報に従って解像度変換や画像の切り出し処理などを行なう。解像度変換部１４１からの画像データは、スチル画像エンコーダ１５に供給される。
スチル画像エンコーダ１５は、解像度変換部１４１から供給された画像データを、例えば、フレーム内圧縮符号化方式であるＪＰＥＧ方式のような静止画像圧縮符号化方式に基づき圧縮符号化し、圧縮符号化された画像データであるスチル画像データを生成する。スチル画像エンコーダ１５には、１フレーム分の画像データが任意のタイミングで供給される。スチル画像エンコーダ１５は、画像データが供給されるタイミングに応じて圧縮符号化を行ない、圧縮符号化された１フレーム分の画像データであるスチル画像データを生成する。
上述したような構成により、モーション画像エンコーダ１３からは、所定の時間間隔毎に撮像された画像に対応したモーション画像データが出力される。モーション画像データを復元することにより、テレビジョン映像のような動きを伴なった画像を再現することができる。このため、このようなモーション画像データを監視端末装置４０に伝送することにより、監視対象の時間的変化を観察することができる。一方、スチル画像エンコーダ１５からは、任意の時間に撮像された画像に対応したスチル画像データが出力される。例えば、監視者からの指示に応じてスチル画像データが出力されるように構成し、監視者は必要に応じて所望の画像を表示させることができる。
また、制御部２０から、解像度変換部１２１、解像度変換部１４１、および動画像抽出部１２に対して、解像度やフレーム周期を適宜設定する。これにより、広範囲な監視対象に対しては、解像度が低いモーション画像データとし、注目したい箇所のみ切り出して高解像度のスチル画像データとすることができる。監視者に見やすい画像が提供され、監視に対する信頼性を向上させることができる。
記録再生部２９は、記録媒体を有し、その記録媒体へのデータの記録や、記録したデータの読み出し処理などを行なう。記録再生部２９は、記録媒体として磁気ディスクを有したハードディスクドライブ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などである。あるいは、記録媒体として半導体メモリを有したメモリカードなどで、このメモリカードが挿抜可能な形態であってもよい。記録再生部２９は、上述したモーション画像エンコーダ１３で生成されたモーション画像データやスチル画像エンコーダ１５で生成されたスチル画像データなどの記録再生を行なう。記録再生部２９の記録処理や再生処理は、制御部２０から制御される。
記録再生部２９を設けることにより、監視対象の異常を見逃した場合でも、記録再生部２９に記録された画像データを再生して監視対象の状況や経過を後ほど確認できる。これによっても監視に対する信頼性を向上させることができる。
動き処理部１６は、撮像部１１で撮像した画像の動きに関する処理を行なう。モーション画像エンコーダ１３が、ＭＰＥＧ２方式、あるいはＭＰＥＧ４方式に基づき圧縮符号化処理を行なう場合、モーション画像エンコーダ１３はこれらの方式に基づき、動きベクトルを生成する。動き処理部１６にはこの動きベクトルが供給される。動き処理部１６は、この動きベクトルを利用して撮像画像における動き情報を生成する。また、モーション画像エンコーダ１３がＪＰＥＧ方式の場合には、モーション画像エンコーダ１３は動きベクトルを生成しない。この場合、動き処理部１６は、例えば、モーション画像エンコーダ１３に供給された画像データのフレーム差分値を求め、このフレーム差分値に基づき動き情報を生成してもよい。また、動き処理部１６は、これら動きベクトル、およびフレーム差分値の両者に基づき動き情報を生成するような構成であってもよい。さらに、動き処理部１６は、例えば画像を複数ブロックに分割した各ブロックにおける動き情報を生成するような機能を有した構成であってもよい。動き処理部１６で生成された動き情報は、後述する変化検出部１７、および伝送処理部１９に通知される。
変化検出部１７は、撮像部１１で撮像した画像の変化や監視対象の状況変化などを検出する。変化検出部１７は、動き処理部１６から通知された動き情報を利用して、撮像した画像の変化を検出する。例えば、監視カメラ装置１０の前を人物が通過した場合、この人物の通過により、動きのある監視被写体の連続画像となる。このため、動き処理部１６は、監視画像の動きが生じたとする動き情報を変化検出部１７に通知する。変化検出部１７は、この通知された動き情報に基づき、監視被写体に時間的変化が生じたものとして、撮像した画像の変化を検出する。また、監視対象の状況変化などを検出するため、変化検出部１７には、センサ２８が接続されている。センサ２８は、例えば、温度の変化を検出したり、監視カメラ装置１０の振動を検出したり、あるいは人や動物などの接近を検出したりする感知器であり、監視対象の状況変化を検出するために設けている。このように、変化検出部１７は、監視画像の変化や監視対象の状況変化などを検出し、このような変化に関する情報をアラーム処理部２７に通知する。さらに、変化検出部１７は、監視画像の変化や監視対象の状況変化などを検出すると、変化検出信号として伝送処理部１９に通知する。
アラーム処理部２７は、変化検出部１７から変化に関する情報が通知されるのに応答して、例えば、その変化の種類、変化のあった時間、そのときの監視カメラ装置１０の状態などを編集したアラーム情報を生成する。このアラーム情報は、記録再生部２９に通知され、記録再生部２９に記録される。アラーム処理部２７は、変化検出部１７において変化が検出される毎に、記録再生部２９にアラーム情報を累積記録する。これによって、記録再生部２９にアラーム情報を一覧にしたアラームリストを作成する。また、アラーム情報は、伝送処理部１９にも通知される。なお、変化検出部１７からの変化に関する情報に応答して、このアラーム情報とともに、スチル画像データやモーション画像データをも加えて記録再生部２９に記録するような構成としてもよい。このような構成とすることで、例えば、後から変化状況がより詳細に確認できるなど監視効果をさらに高めることができる。
伝送処理部１９は、ネットワーク３０を介して監視端末装置４０との通信接続を行なう通信インタフェースである。伝送処理部１９からは画像データなどの各種データが監視端末装置４０へと送出される。また、監視端末装置４０からの指示情報などのデータが伝送処理部１９により受信される。伝送処理部１９は、上述したモーション画像エンコーダ１３で生成されたモーション画像データ、スチル画像エンコーダ１５で生成されたスチル画像データ、アラーム処理部２７で生成されたアラーム情報、および動き処理部１６で生成された動き情報などを、ネットワーク３０を介して監視端末装置４０へ送出する。また、伝送処理部１９は、制御部２０とも接続されている。制御部２０と監視端末装置４０との間でのデータ通信は、伝送処理部１９を介して実行される。
図１に示すように、伝送処理部１９は、データを伝送するプロトコルとしてＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）に基づく処理を行なうＵＤＰ処理部１９１と、データを伝送するプロトコルとしてＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）に基づく処理を行なうＴＣＰ処理部１９２と、ネットワーク３０に接続され、ネットワーク３０を介してデータ通信を行なう通信部１９４と、切り替え制御に応じて、ＵＤＰ処理部１９１、およびＴＣＰ処理部１９２を通信部１９４に接続する接続切替部１９３とを備える。
ＵＤＰ処理部１９１は、ＵＤＰヘッダを付加したＵＤＰパケットを形成し、このＵＤＰパケットに、供給されたデータを格納する処理を行なう。また、ＵＤＰ処理部１９１には、モーション画像エンコーダ１３からのモーション画像データが供給され、ＵＤＰ処理部１９１は、このモーション画像データに対してＵＤＰに基づくパケット化を行なう。なお、上述したように、ＵＤＰは、トランスポート層での高速伝送を重視した通信を行なうため提案されたコネクションレス型通信プロトコルの一種である。ＵＤＰ処理部１９１は、トランスポート層であるＵＤＰを基本とし、その上位のプロトコルとして、動画像伝送に適したＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）を配して構成され得る。
ＴＣＰ処理部１９２は、ＴＣＰヘッダを付加したＴＣＰパケットを形成し、このＴＣＰパケットに、供給されたデータを格納する処理を行なう。さらに、上述したように、ＴＣＰは、コネクション型通信プロトコルの一種であり、データ伝送において通信相互間での接続の確立や、エラー時における再送のための処理などを必要とする。このため、ＴＣＰ処理部１９２は、データ伝送を行なうのに先立ち、ＡＣＫ信号やＮＡＣＫ信号と呼ばれる接続確認用の信号を利用して、監視端末装置４０との間での接続を確立するための処理を行なう。また、ＴＣＰ処理部１９２は、データ伝送中においても、監視端末装置４０との間の接続状態を判定する。データ伝送においてエラーが発生したと判定した場合には、再度エラー発生時のデータを伝送する再送処理を行なう。ＴＣＰ処理部１９２は、このような複雑な処理を実行することにより、ネットワーク３０の混雑が大きい場合でも、確実にデータを監視端末装置４０に伝送する。ＴＣＰ処理部１９２は、トランスポート層であるＴＣＰを基本とし、その上位のアプリケーションプロトコルとして、ファイル転送プロトコルとして規定されたＦＴＰ（Ｆｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）や、マルチメディアデータの転送用に規定されたＨＴＴＰ（Ｈｙｐｅｒ Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）配して構成され得る。なお、特に変化のあった場合に、サーバに保存するような場合は、ＦＴＰプロトコルを用いることが望ましい。
ＴＣＰは、上述したように信頼性の高い通信が可能であるため、ＴＣＰ処理部１９２を利用して、制御部２０と監視端末装置４０との間の各種制御情報や通知情報の相互伝送が行なわれる。また、ＴＣＰ処理部１９２には、アラーム処理部２７からのアラーム情報、および動き処理部１６からの動き情報が通知され、ＴＣＰ処理部１９２は、これらの情報を監視端末装置４０に伝送するのにも利用される。さらに、ＴＣＰ処理部１９２には、モーション画像エンコーダ１３で生成されたモーション画像データ、およびスチル画像エンコーダ１５で生成されたスチル画像データが供給され、ＴＣＰ処理部１９２は、これら画像データの伝送についても利用される。
接続切替部１９３は、切り替え制御に応じて、ＵＤＰ処理部１９１で生成されたＵＤＰパケット、およびＴＣＰ処理部１９２で生成されたＴＣＰパケットを通信部１９４に供給する。接続切替部１９３には、このような切り替え制御を行なうため、制御部２０から切替制御信号、および変化検出部１７から変化検出信号が供給されている。本発明の実施の形態１では、モーション画像データを伝送するとき、接続切替部１９３が、変化検出部１７から変化検出信号に基づいて、ＵＤＰ処理部１９１からのモーション画像データを含むＵＤＰパケットと、ＴＣＰ処理部１９２からのモーション画像データを含むＴＣＰパケットとを選択的に通信部１９４に供給することを特徴とする。接続切替部１９３は、変化検出信号が変化のないことを示すとき、ＵＤＰ処理部１９１からのモーション画像データを含むＵＤＰパケットを選択し、このＵＤＰパケットを通信部１９４に供給する。一方、接続切替部１９３は、変化検出信号が変化のあったことを示すとき、ＴＣＰ処理部１９２からのモーション画像データを含むＴＣＰパケットを選択し、このＴＣＰパケットを通信部１９４に供給する。
このように、伝送処理部１９は、通信相互間での接続の確立を必要とするコネクション型通信プロトコルに基づいた処理手段であるＴＣＰ処理部１９２と、通信相互間での接続の確立を必要としないコネクションレス型通信プロトコルに基づいた処理手段であるＵＤＰ処理部１９１とを有している。伝送処理部１９は、接続切替部１９３により、変化検出信号に応じて選択的に伝送プロトコルの処理手段を切り替え、選択されたプロトコルに基づいて通信部１９４からデータ伝送が実行される。伝送処理部１９は、接続切替部１９３により、変化検出信号が変化のないことを示すとき、モーション画像データをコネクションレス型通信プロトコルであるＵＤＰに基づき、ネットワーク３０を介して監視端末装置４０へ伝送する。また、変化検出信号が変化のあったことを示すとき、モーション画像データを、コネクション型通信プロトコルであるＴＣＰに基づき、ネットワーク３０を介して監視端末装置４０へ伝送する。
接続切替部１９３には、制御部２０から切替制御信号も供給されている。制御部２０は、スチル画像エンコーダ１５からのスチル画像データ、アラーム処理部２７からのアラーム情報、および動き処理部１６からの動き情報を伝送する場合には、この切替制御信号を利用して、接続切替部１９３によりＴＣＰ処理部１９２と通信部１９４とを接続し、ＴＣＰに基づいてこれらデータや情報を監視端末装置４０に伝送する。また、制御部２０は、監視端末装置４０との間で通信を行なう場合にも、この切替制御信号を利用して、接続切替部１９３によりＴＣＰ処理部１９２と通信部１９４とを接続し、ＴＣＰに基づいて監視端末装置４０との通信を行なう。
このように、制御部２０から接続切替部１９３の接続を制御できるため、例えば、変化検出信号が変化のあったことを示すとき、モーション画像データを、コネクションレス型通信プロトコルであるＵＤＰとコネクション型通信プロトコルであるＴＣＰとのそれぞれに基づき並行して、ネットワーク３０を介して監視端末装置４０へ伝送することも可能である。また、制御部２０にも変化検出信号を供給し、制御部２０がこの変化検出信号に応じた制御も可能な構成とすることで、例えば、変化検出信号が変化のあったことを示すとき、スチル画像データ、およびモーション画像データの双方を、ＴＣＰに基づき監視端末装置４０へ伝送することも可能である。
以下、このように構成された本実施の形態１の監視システムでの監視カメラ装置１０において、本発明の特徴とするプロトコルを適応的に切り替えて、監視用の画像データを伝送する動作を中心に、詳細について説明する。
図２は、監視カメラ装置１０において、モーション画像データを監視端末装置４０に伝送する手順を示した本発明の監視画像伝送方法としてのフローチャートである。以下、図２を参照しながら、監視カメラ装置１０の基本動作であるモーション画像データの伝送処理について説明する。
例えば、監視カメラ装置１０の電源立ち上げなどとともに、監視カメラ装置１０の初期設定が完了すると、監視カメラ装置１０は、監視処理を開始する。これにより、監視カメラ装置１０において、制御部２０が、ネットワーク３０を介して監視端末装置４０との通信が可能な状態となる。制御部２０は、監視端末装置４０からの指示情報による指示を待つ。
モーション画像データの伝送に関しては、図２に示すように、制御部２０は、モーション画像データの送信指示があるかどうかを判定する。制御部２０は、監視端末装置４０から、モーション画像データの送信指示がない場合には、その指示を待つ。また、制御部２０は、監視端末装置４０から、モーション画像データの送信指示があった場合には、ステップＳ１０２の処理を実行するよう制御する（ステップＳ１００）。
監視端末装置４０から、モーション画像データの送信指示があった場合、制御部２０からの制御に従い、モーション画像エンコーダ１３は、解像度変換部１２１から供給された画像データを圧縮符号化し、圧縮符号化された画像データであるモーション画像データを生成する（ステップＳ１０２）。生成されたモーション画像データは、伝送処理部１９に供給される。一方、伝送処理部１９には、上述したように変化検出部１７からの変化検出信号が供給されている。伝送処理部１９は、ＵＤＰ処理部１９１においてＵＤＰパケットを形成し、ＵＤＰパケットに、供給されたモーション画像データを格納する。また、ＴＣＰ処理部１９２においてＴＣＰパケットを形成し、ＴＣＰパケットにも、供給されたモーション画像データを格納する。
伝送処理部１９において、接続切替部１９３が、供給された変化検出信号の判定を行なう。接続切替部１９３は、変化検出信号が変化のないことを示すとき、ＵＤＰ処理部１９１からのＵＤＰパケットを選択する。また、変化検出信号が変化のあったことを示すとき、ＴＣＰ処理部１９２からのＴＣＰパケットを選択する（ステップＳ１０４）。接続切替部１９３により選択されたパケットは通信部１９４に供給され、通信部１９４からモーション画像データを含むパケットが監視端末装置４０へと送信される。
伝送処理部１９は、変化検出信号が変化のないことを示すとき、モーション画像エンコーダ１３で生成されたモーション画像データを、コネクションレス型通信プロトコルであるＵＤＰに基づき、ネットワーク３０を介して監視端末装置４０へ伝送する（ステップＳ１０８）。また、伝送処理部１９は、変化検出信号が変化のあったことを示すとき、ＴＣＰに基づき監視端末装置４０との接続を確立し、モーション画像エンコーダ１３で生成されたモーション画像データを、コネクション型通信プロトコルであるＴＣＰに基づき、ネットワーク３０を介して監視端末装置４０へと伝送する（ステップＳ１０６）。なお、伝送処理部１９は、例えば、監視カメラ装置１０の初期設定時のような監視処理を開始するときなどに、あらかじめＴＣＰに基づき監視端末装置４０との接続を確立するような構成であってもよい。
次に、制御部２０は、監視端末装置４０から要求されたモーション画像データの伝送処理が終了したかどうかを判定する。伝送処理が終了した場合には、ステップＳ１１２の処理へと進む。伝送処理が終了しない場合には、ステップＳ１０２からの処理を継続させる（ステップＳ１１０）。伝送処理が終了した場合には、制御部２０は、監視処理の終了が指示されたかどうかを判定する。監視処理の終了が指示された場合には、監視処理を終了する。監視処理の終了を指示されていない場合には、ステップＳ１００の処理に戻り、モーション画像データの送信指示を待つ（ステップＳ１１２）。
以上説明したように、本発明の監視カメラ装置１０は、監視対象である被写体の画像や、監視対象の状況変化において変化がない場合は、モーション画像データがコネクションレス型通信プロトコルであるＵＤＰに基づいて監視端末装置４０へ伝送される。変化や異常のない監視画像を伝送する場合には、品質を重視しない伝送プロトコルで伝送されるため、伝送データ量の増加を招くことなく、ネットワークへの負荷も軽くなる。
これに対し、監視対象である被写体の画像に変化があった場合は、監視対象のモーション画像データがコネクション型通信プロトコルであるＴＣＰに基づいて監視端末装置４０へ伝送される。変化のあった監視画像を伝送する場合には、ネットワークの負荷状態に影響されない高品質な伝送プロトコルで伝送されるため、監視対象の異常のおそれがある画像は、監視端末装置４０において画像が崩れたり、動きが止まったりするなどの障害なく、また所定のフレーム周期毎に連続して観察でき、監視対象での異常発生を的確に判別できる。また、監視対象の変化があったときのみ、高品質なコネクション型通信プロトコルであるＴＣＰに基づきモーション画像データが伝送される。よって、単位時間あたりのデータ伝送量を抑制でき、ネットワークへの負荷も抑制することができる。
図３は、監視カメラ装置１０において、モーション画像データ、およびスチル画像データのそれぞれを監視端末装置４０に伝送する手順を示した本発明の監視画像伝送方法としてのフローチャートである。以下、図３を参照しながら、監視カメラ装置１０の特徴であるモーション画像データ、およびスチル画像データの２種類の画像データを伝送する処理について説明する。なお、図２と同一のステップについては、同一の符号を付しており詳細な説明は省略する。
図２での説明と同様に、監視カメラ装置１０の電源立ち上げなどとともに、監視カメラ装置１０の初期設定が完了すると、監視カメラ装置１０は、監視処理を開始する。これにより、監視カメラ装置１０において、制御部２０が、ネットワーク３０を介して監視端末装置４０との通信が可能な状態となる。制御部２０は、監視端末装置４０からの指示情報による指示を待つ。また、スチル画像データは、上述したようにＴＣＰに基づき伝送される。このため、伝送処理部１９において、ＴＣＰ処理部１９２は、スチル画像データを伝送するためＴＣＰに基づく監視端末装置４０との接続を確立するための処理を実行する（ステップＳ２００）。これにより、例えば、監視者からのスチル画像データ伝送要求があると、監視カメラ装置１０は、この要求に即座に応答してスチル画像データを伝送できる。
次に、図３に示すように、制御部２０は、スチル画像データの送信指示があるかどうかを判定する。制御部２０は、監視端末装置４０から、スチル画像データの送信指示がない場合には、その指示を待つ。また、制御部２０は、監視端末装置４０から、スチル画像データの送信指示があった場合には、ステップＳ２０４の処理を実行するよう制御する（ステップＳ２０２）。
監視端末装置４０から、スチル画像データの送信指示があった場合、制御部２０からの制御に従い、スチル画像エンコーダ１５は、解像度変換部１４１から供給された画像データを圧縮符号化し、圧縮符号化された画像データであるスチル画像データを生成する（ステップＳ２０４）。生成されたスチル画像データは、伝送処理部１９に供給される。
制御部２０は、伝送処理部１９に対して、このスチル画像データを伝送するよう制御する。これに応じて、伝送処理部１９は、ＴＣＰ処理部１９２においてＴＣＰパケットを形成し、ＴＣＰパケットに供給されたスチル画像データを格納する。さらに、制御部２０は、接続切替部１９３に対してＴＣＰ処理部１９２からのＴＣＰパケットを選択するよう制御し、通信部１９４からスチル画像データを格納したＴＣＰパケットが監視端末装置４０に送信される（ステップＳ２０６）。
スチル画像データの伝送が終了すると、制御部２０は、監視処理の終了が指示されたかどうかを判定する。監視処理の終了が指示された場合には、監視処理を終了する。監視処理の終了を指示されていない場合には、ステップＳ１００の処理に戻り、モーション画像データ、あるいはスチル画像データの送信指示を待つ（ステップＳ１１２）。
以上、図３に示したような処理を実行することで、監視端末装置４０において、モーション画像データによる動きのある画像とともに、スチル画像データによる、例えば、注目したい画像などを並行して表示しながら監視できるため、より監視の精度を高めることができる。監視カメラ装置１０は、上述したように、モーション画像のフレーム周期を可変できる動画像抽出部１２、モーション画像の解像度や切り出し位置を可変できる解像度変換部１２１、およびスチル画像の解像度や切り出し位置を可変できる解像度変換部１４１を備えている。そこで、これらを利用して、モーション画像を、ある程度低解像度の所定のフレーム周期で表示させて動きのある画像として監視する。そして、この動きのある画像において変化を発見したとき、高解像度のスチル画像でその変化箇所の確認を行なったり、あるいはその変化箇所を切り出したり、高解像度のスチル画像で確認したりするなど監視の精度を高めることができる。また、スチル画像データを伝送するため、ＴＣＰ処理部１９２と監視端末装置４０との接続が確立され、ＴＣＰ処理部１９２は動作状態である。このため、モーション画像データの伝送において、監視対象である被写体に変化があった場合、即座にＵＤＰに基づく伝送からＴＣＰに基づく伝送へと切り替えてモーション画像データを伝送できる。よって、伝送プロトコル処理切り替えのための処理時間が必要でなくなり、遅延を抑制して監視対象の異常のおそれがある画像を伝送することが可能となる。
（実施の形態２）
図４は、本発明の実施の形態２の監視カメラ装置を含む監視システムの構成を示すブロック図である。
本実施の形態２でも、実施の形態１と同様に、本監視システムは、監視用のカメラである撮像部１１で撮像した被写体画像を利用して監視を行なう。本監視システムは、被写体の画像データを生成する監視カメラ装置１０、監視カメラ装置１０で撮像した被写体の画像データを遠隔地に伝送するネットワーク３０、およびネットワーク３０を介して監視カメラ装置１０と通信接続された監視端末装置４０を含む。監視カメラ装置１０で取り込んだ監視用の画像データが通信回線網であるネットワーク３０を介して監視端末装置４０に伝送される。また、図１と同一の構成要素については、同一の符号を付しており、これらの詳細な説明は省略する。図４に示す監視カメラ装置１０は、通信部１９４と接続されたネットワーク監視部２１をさらに備え、モーション画像データを伝送するプロトコルにおいて、変化検出信号による監視対象の変化に加えて、ネットワーク３０の混雑状況にも応じて、適応的にプロトコルを切り替えて、モーション画像データを伝送することを特徴としている。
図４において、ネットワーク監視部２１は、通信部１９４に接続され、ネットワーク３０の状況に応じた伝送負荷状態を監視し、監視に基づくネットワーク情報を、制御部２０に通知する。ネットワーク監視部２１は、例えば、定期的に監視端末装置４０から所定容量のデータを受信し、この受信状態に基づきネットワーク３０の伝送負荷状態、すなわち混雑状態を計測し、その計測の基づきネットワーク情報を生成する。
制御部２０は、このネットワーク情報に基づき、モーション画像エンコーダ１３の圧縮符号化方式を制御する。制御部２０は、ネットワーク情報において、ネットワーク３０が軽負荷状態を示すとき、ＪＰＥＧ方式などのフレーム内圧縮符号化方式である静止画像圧縮符号化方式を選択し、静止画像圧縮符号化方式に基づき生成したモーション画像データを伝送処理部１９に供給する。また、ネットワーク３０が過負荷状態を示すとき、ＭＰＥＧ４方式などのフレーム間圧縮符号化方式である動画像圧縮符号化方式を選択し、動画像圧縮符号化方式に基づき生成したモーション画像データを伝送処理部１９に供給する。
以上のような構成により、伝送データ量の多いモーション画像データを、ネットワーク３０の状況に応じて伝送することができる。例えば、ネットワーク３０が過負荷状態のとき、ＭＰＥＧ４方式などの静止画像圧縮符号化方式によるモーション画像データを伝送することで、モーション画像データの伝送によるネットワーク３０への負荷を抑制できる。
また、ネットワーク３０が過負荷状態のとき、ＪＰＥＧ方式などの動画像圧縮符号化方式によるモーション画像データを伝送する。これにより、ＵＤＰに基づきモーション画像データが伝送されているとき、ネットワーク３０の過負荷状態によるパケット廃棄の影響を抑制できる。特に、ＭＰＥＧ４方式のようなフレーム間圧縮符号化方式でのデータが廃棄されると、次のＩフレームまで、例えば、画像が静止することとなるため、このような制御により動き画像のつぶれなどを抑制できる。
本発明の監視カメラ装置、および監視システムを用いれば、インターネットなどのネットワークの負荷状態に影響されず、かつネットワークへの負荷を抑制する。また、監視対象の異常判別に必要な画像を的確に送出できるため、監視用の撮像装置やそれを用いた撮像システムとして有用である。
本発明の実施の形態１の監視カメラ装置を含む監視システムの構成を示すブロック図 本発明の実施の形態１の監視カメラ装置における、モーション画像データを監視端末装置に伝送する手順を示したフローチャート 本発明の実施の形態１の監視カメラ装置における、モーション画像データ、およびスチル画像データのそれぞれを監視端末装置に伝送する手順を示したフローチャート 本発明の実施の形態２の監視カメラ装置を含む監視システムの構成を示すブロック図 従来の監視カメラ装置を用いた監視システムの一例を示すブロック図
符号の説明
１０，９２ 監視カメラ装置
１１，９１ 撮像部
１２ 動画像抽出部
１３ モーション画像エンコーダ
１４ 静止画像抽出部
１５ スチル画像エンコーダ
１６ 動き処理部
１７，９１９ 変化検出部
１９ 伝送処理部
２０ 制御部
２１ ネットワーク監視部
２７ アラーム処理部
２８ センサ
２９ 記録再生部
３０ ネットワーク
４０ 監視端末装置
９３ 伝送網
９４ 監視モニタ装置
１２１，１４１ 解像度変換部
１９１ ＵＤＰ処理部
１９２ ＴＣＰ処理部
１９３ 接続切替部
１９４ 通信部
９１３ 動画エンコーダ
９１４ 静止画エンコーダ
９１５，９２７ 送信部
９１６，９２１ 受信部
９２２ 動画デコーダ
９２３ 静止画デコーダ
９２４ 表示部
９２５ ユーザ入力部

Claims (19)

  1. 通信回線網であるネットワークを介して、監視カメラ装置で取り込んだ監視用の画像データを、監視端末装置に伝送することにより遠隔地の監視を行なう監視システムの前記監視カメラ装置であって、
    監視対象である被写体を撮像し、撮像した被写体画像に応じた画像データを一定フレーム周期で生成する撮像部と、
    前記撮像部で生成された一定フレーム周期の画像データから、所定のフレーム周期毎における各フレームの画像データを抽出する動画像抽出部と、
    前記動画像抽出部で抽出した画像データを、静止画像圧縮符号化方式、あるいは動画像圧縮符号化方式に基づき圧縮符号化し、圧縮符号化された画像データであるモーション画像データを生成するモーション画像エンコーダと、
    画像データに基づき被写体の変化を検出し、検出した結果を変化検出信号として出力する変化検出部と、
    前記ネットワークを介して前記監視端末装置へデータ伝送を行なうため、伝送プロトコルとして、通信相互間での接続の確立を必要とするコネクション型通信プロトコルに基づく処理手段と通信相互間での接続の確立を必要としないコネクションレス型通信プロトコルに基づく処理手段とを有し、前記変化検出信号に応じて選択的に前記伝送プロトコルの処理手段を切り替えてデータ伝送処理を行なう伝送処理部とを備え、
    前記伝送処理部は、
    前記変化検出信号が変化のないことを示すとき、前記モーション画像エンコーダで生成されたモーション画像データを、前記コネクションレス型通信プロトコルに基づき、前記ネットワークを介して前記監視端末装置へ伝送し、
    前記変化検出信号が変化のあったことを示すとき、前記モーション画像エンコーダで生成されたモーション画像データを、前記コネクション型通信プロトコルに基づき、前記ネットワークを介して前記監視端末装置へ伝送することを特徴とする
    監視カメラ装置。
  2. 前記伝送処理部は、
    前記変化検出信号が変化のないことを示すとき、前記モーション画像エンコーダで生成されたモーション画像データを、前記コネクションレス型通信プロトコルに基づき、前記ネットワークを介して前記監視端末装置へ伝送し、
    前記変化検出信号が変化のあったことを示すとき、前記モーション画像エンコーダで生成されたモーション画像データを、前記コネクションレス型通信プロトコルおよび前記コネクション型通信プロトコルのそれぞれに基づき並行して、前記ネットワークを介して前記監視端末装置へ伝送することを特徴とする
    請求項１に記載の監視カメラ装置。
  3. 前記監視カメラ装置は、さらに、
    前記撮像部で生成された一定フレーム周期の画像データから、任意のフレームにおける画像データを抽出する静止画像抽出部と、
    前記静止画像抽出部で抽出した画像データを、前記静止画像圧縮符号化方式に基づき圧縮符号化し、圧縮符号化された画像データであるスチル画像データを生成するスチル画像エンコーダとを備え、
    前記伝送処理部は、
    前記スチル画像エンコーダで生成されたスチル画像データを、前記コネクション型通信プロトコルに基づき、前記ネットワークを介して前記監視端末装置へ伝送し、
    前記変化検出信号が変化のないことを示すとき、前記モーション画像エンコーダで生成されたモーション画像データを、前記コネクションレス型通信プロトコルに基づき、前記ネットワークを介して前記監視端末装置へ伝送し、
    前記変化検出信号が変化のあったことを示すとき、前記モーション画像エンコーダで生成されたモーション画像データを、前記コネクション型通信プロトコルに基づき、前記ネットワークを介して前記監視端末装置へ伝送することを特徴とする
    請求項１または請求項２のいずれか一つに記載の監視カメラ装置。
  4. 前記伝送処理部は、
    前記変化検出信号が変化のないことを示すとき、前記モーション画像エンコーダで生成されたモーション画像データを、前記コネクションレス型通信プロトコルに基づき、前記ネットワークを介して前記監視端末装置へ伝送し、
    前記変化検出信号が変化のあったことを示すとき、前記スチル画像エンコーダで生成されたスチル画像データを、前記コネクション型通信プロトコルに基づき、前記ネットワークを介して前記監視端末装置へ伝送し、前記モーション画像エンコーダで生成されたモーション画像データを、前記コネクション型通信プロトコルに基づき、前記ネットワークを介して前記監視端末装置へ伝送することを特徴とする
    請求項３に記載の監視カメラ装置。
  5. 前記スチル画像エンコーダで生成されたスチル画像データによる画像は、前記モーション画像エンコーダで生成されたモーション画像データによる画像よりも解像度が高いことを特徴とする
    請求項３に記載の監視カメラ装置。
  6. 前記静止画像抽出部は、前記撮像部からの画像データによる画像を複数のブロックに分割した各ブロックの画像から、一つのブロックに対応した画像を抽出することを特徴とする
    請求項３に記載の監視カメラ装置。
  7. 前記変化検出部は、画像データによる画像を複数のブロックに分割した各ブロックの変化をそれぞれ検出し、変化のあったブロックが所定の割合を超えると変化のあったことを示す前記変化検出信号を前記伝送処理部に通知し、前記静止画像抽出部に対して最も変化のあったブロックの情報を通知し、
    前記静止画像抽出部は、前記変化検出部からの最も変化のあったブロックの情報に応じて、最も変化のあったブロックの画像を抽出することを特徴とする
    請求項６に記載の監視カメラ装置。
  8. 前記監視カメラ装置は、さらに、前記ネットワークの状況に応じた伝送負荷状態を監視し、監視に基づくネットワーク情報を、前記モーション画像エンコーダに通知するネットワーク監視部を備え、
    前記モーション画像エンコーダは、前記ネットワーク監視部からのネットワーク情報に応じて、前記動画像圧縮符号化方式と前記静止画像圧縮符号化方式とを選択し、選択された圧縮符号化方式に基づき生成されたモーション画像データを、前記伝送処理部に供給することを特徴とする
    請求項１または請求項２のいずれか一つに記載の監視カメラ装置。
  9. 前記変化検出部は、前記撮像部で撮像した画像に対応した画像データの動きを示す動き情報に基づき被写体の変化を検出することを特徴とする
    請求項１または請求項２のいずれか一つに記載の監視カメラ装置。
  10. 前記動き情報は、前記モーション画像エンコーダにおける動画像圧縮符号化で生成した動きベクトルであることを特徴とする
    請求項９に記載の監視カメラ装置。
  11. 前記動き情報は、前記撮像部で撮像した画像に対応した画像データのフレーム差分値に基づき生成された情報であることを特徴とする
    請求項９に記載の監視カメラ装置。
  12. 前記変化検出部は、前記動き情報とともに、外部に設けられたセンサから供給された感知信号に基づき被写体の変化を検出することを特徴とする
    請求項９に記載の監視カメラ装置。
  13. 前記監視カメラ装置は、さらに、記録媒体へのデータの記録、および記録したデータの読み出し処理を行なう記録再生部を備え、前記記録再生部は、前記変化検出信号に応じて、前記スチル画像データおよび前記モーション画像データの少なくともいずれか一方の画像データを記録することを特徴とする
    請求項１２に記載の監視カメラ装置。
  14. 前記監視カメラ装置は、さらに、前記変化検出部において検出した変化に関する情報をアラーム情報として編集するアラーム処理部を有し、前記記録再生部は、前記変化検出信号に応じて、画像データの記録とともに、前記アラーム情報を記録することを特徴とする
    請求項１３に記載の監視カメラ装置。
  15. 前記コネクションレス型通信プロトコルは、データ伝送において通信相互間での接続の確立を必要としないプロトコルの一つであるＵＤＰであり、
    前記コネクション型通信プロトコルは、データ伝送において通信相互間での接続の確立を必要とするプロトコルの一つであるＴＣＰであることを特徴とする
    請求項１または請求項２のいずれか一つに記載の監視カメラ装置。
  16. 前記静止画像圧縮符号化方式は、一つのフレーム内の画像のデータを利用して圧縮符号化を行なうフレーム内圧縮符号化方式であり、前記動画像圧縮符号化方式は、一つのフレーム内の画像のデータを利用した圧縮符号化および隣接するフレーム間の画像のデータを利用した圧縮符号化を行なうフレーム間圧縮符号化方式であることを特徴とする
    請求項１または請求項２のいずれか一つに記載の監視カメラ装置。
  17. 前記静止画像圧縮符号化方式はＪＰＥＧ方式の画像符号化規格に準拠した方式であり、前記動画像圧縮符号化方式はＭＰＥＧ４方式の画像符号化規格に準拠した方式であることを特徴とする
    請求項１６に記載の監視カメラ装置。
  18. 監視用の画像データを生成する監視カメラ装置と、前記監視用の画像データを伝送するための通信回線網であるネットワークと、前記ネットワークを介して伝送された前記監視用の画像データを受信し、再生する監視端末装置とを含む監視システムであって、
    前記監視カメラ装置は、
    監視対象である被写体を撮像し、撮像した被写体画像に応じた画像データを一定フレーム周期で生成する撮像部と、
    前記撮像部で生成された一定フレーム周期の画像データから、所定のフレーム周期毎における各フレームの画像データを抽出する動画像抽出部と、
    前記動画像抽出部で抽出した画像データを、静止画像圧縮符号化方式、あるいは動画像圧縮符号化方式に基づき圧縮符号化し、圧縮符号化された画像データであるモーション画像データを生成するモーション画像エンコーダと、
    画像データに基づき被写体の変化を検出し、検出した結果を変化検出信号として出力する変化検出部と、
    前記ネットワークを介して前記監視端末装置へデータ伝送を行なうため、伝送プロトコルとして、通信相互間での接続の確立を必要とするコネクション型通信プロトコルに基づく処理手段と通信相互間での接続の確立を必要としないコネクションレス型通信プロトコルに基づく処理手段とを有し、前記変化検出信号に応じて選択的に前記伝送プロトコルの処理手段を切り替えてデータ伝送処理を行なう伝送処理部とを備え、
    前記監視カメラ装置における前記伝送処理部は、
    前記変化検出信号が変化のないことを示すとき、前記モーション画像エンコーダで生成されたモーション画像データを、前記コネクションレス型通信プロトコルに基づき、前記ネットワークを介して前記監視端末装置へ伝送し、
    前記変化検出信号が変化のあったことを示すとき、前記モーション画像エンコーダで生成されたモーション画像データを、前記コネクション型通信プロトコルに基づき、前記ネットワークを介して前記監視端末装置へ伝送することを特徴とする
    監視システム。
  19. 通信回線網であるネットワークを介して、監視カメラ装置で取り込んだ監視用の画像データを、監視端末装置に伝送することにより遠隔地の監視を行なう監視システムの監視画像伝送方法であって、
    監視対象である被写体を撮像し、撮像した被写体画像に応じた画像データを一定フレーム周期で生成する撮像部の前記一定フレーム周期の画像データから、所定のフレーム周期毎における各フレームの画像データを抽出するステップと、
    前記抽出した所定のフレーム周期毎における各フレームの画像データを、静止画像圧縮符号化方式、あるいは動画像圧縮符号化方式に基づき圧縮符号化し、圧縮符号化された画像データであるモーション画像データを生成するステップと、
    画像データに基づき被写体の変化を検出し、検出した結果を変化検出信号として出力するステップと、
    前記ネットワークを介して前記監視端末装置へデータ伝送を行なうため、伝送プロトコルとして、通信相互間での接続の確立を必要とするコネクション型通信プロトコルに基づく処理と通信相互間での接続の確立を必要としないコネクションレス型通信プロトコルに基づく処理とを、前記変化検出信号に応じて選択的にそれぞれの処理を切り替えてデータ伝送処理を行なうステップとを備え、
    前記データ伝送処理を行なうステップは、
    前記変化検出信号が変化のないことを示すとき、前記モーション画像エンコーダで生成されたモーション画像データを、前記コネクションレス型通信プロトコルに基づき、前記ネットワークを介して前記監視端末装置へ伝送し、
    前記変化検出信号が変化のあったことを示すとき、前記モーション画像エンコーダで生成されたモーション画像データを、前記コネクション型通信プロトコルに基づき、前記ネットワークを介して前記監視端末装置へ伝送することを特徴とする
    監視画像伝送方法。
JP2007502591A 2005-02-09 2006-02-06 監視カメラ装置、それを用いた監視システムおよび監視画像伝送方法 Pending JPWO2006085500A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005032554 2005-02-09
JP2005032554 2005-02-09
PCT/JP2006/301957 WO2006085500A1 (ja) 2005-02-09 2006-02-06 監視カメラ装置、それを用いた監視システムおよび監視画像伝送方法

Publications (1)

Publication Number Publication Date
JPWO2006085500A1 true JPWO2006085500A1 (ja) 2008-06-26

Family

ID=36793072

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007502591A Pending JPWO2006085500A1 (ja) 2005-02-09 2006-02-06 監視カメラ装置、それを用いた監視システムおよび監視画像伝送方法

Country Status (5)

Country Link
US (1) US20090135252A1 (ja)
EP (1) EP1806786A1 (ja)
JP (1) JPWO2006085500A1 (ja)
CN (1) CN100517746C (ja)
WO (1) WO2006085500A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10085000B2 (en) 2010-05-25 2018-09-25 Nikon Corporation Imaging device

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4317234B2 (ja) * 2007-03-05 2009-08-19 キヤノンマーケティングジャパン株式会社 画像表示制御装置および画像表示制御方法および画像表示制御プログラム
JP2009004931A (ja) * 2007-06-20 2009-01-08 Meidensha Corp 遠方監視システム
JP2009246935A (ja) * 2008-03-14 2009-10-22 Sanyo Electric Co Ltd 画像処理装置およびそれを搭載した撮像装置
KR20100133205A (ko) * 2009-06-11 2010-12-21 (주)씨디네트웍스 최적의 전송 프로토콜 선택 방법 및 그 장치
KR101039248B1 (ko) * 2009-07-09 2011-06-07 엠텍비젼 주식회사 차량용 영상 저장 장치 및 그 설치 상태 통지 방법
US8737825B2 (en) * 2009-09-10 2014-05-27 Apple Inc. Video format for digital video recorder
CN102045768A (zh) * 2009-10-26 2011-05-04 宏碁股份有限公司 数据传输方法及其用户装置与数据传输系统
WO2011059502A1 (en) * 2009-11-13 2011-05-19 Steven Donald Edelson Monitoring and camera system and method
CN102243856B (zh) * 2010-05-13 2013-12-04 华为技术有限公司 动态切换屏幕数据处理方式的方法及装置
JP5250065B2 (ja) * 2011-03-04 2013-07-31 株式会社コナミデジタルエンタテインメント 配信システム、端末装置、配信方法、端末方法、並びにプログラム
CN102184694B (zh) * 2011-03-24 2013-01-02 北京市速连科通信设备有限责任公司 采用视频图像和/或数码照片监测室外显示屏的系统和方法
CN102184723A (zh) * 2011-03-28 2011-09-14 广东威创视讯科技股份有限公司 多屏拼接处理系统回显装置和回显方法
JP5561433B2 (ja) * 2011-05-24 2014-07-30 日産自動車株式会社 車両用監視装置及び車両の監視方法
CN102387354B (zh) * 2011-11-25 2014-11-12 中山大学 一种基于嵌入式Web服务器的视频监控系统
JP5736341B2 (ja) * 2012-04-24 2015-06-17 株式会社 日立産業制御ソリューションズ カメラシステム、監視カメラ制御端末、プロトコル変更方法およびプログラム
JP6024952B2 (ja) * 2012-07-19 2016-11-16 パナソニックＩｐマネジメント株式会社 画像送信装置、画像送信方法、画像送信プログラム及び画像認識認証システム
CN103581697A (zh) * 2012-07-23 2014-02-12 宏碁股份有限公司 数据传送装置和方法
US10115431B2 (en) * 2013-03-26 2018-10-30 Sony Corporation Image processing device and image processing method
JP6235876B2 (ja) * 2013-11-13 2017-11-22 株式会社ザクティ 撮像装置及び画像転送方法
JP6237357B2 (ja) * 2014-03-11 2017-11-29 富士通株式会社 パケット転送システムおよびパケット転送方法
KR101637653B1 (ko) * 2014-06-09 2016-07-07 박상래 영상열선장치 및 이를 이용한 침입 감지 시스템
CN107924666B (zh) * 2015-08-31 2020-07-14 夏普株式会社 显示控制装置、显示装置、显示控制装置的控制方法以及存储介质
CN106375364B (zh) * 2015-12-18 2019-09-20 北京智谷睿拓技术服务有限公司 监控采集方法与设备以及监控播放方法与设备
JP6815926B2 (ja) * 2017-04-27 2021-01-20 キヤノン株式会社 撮像装置、撮像システム、移動体、チップ
CN107608376A (zh) * 2017-09-16 2018-01-19 北京神鹫智能科技有限公司 一种基于无人机的环境监察系统
JP7107596B2 (ja) * 2018-08-20 2022-07-27 株式会社音楽館 駅監視システム及び駅監視方法
JP2020170965A (ja) * 2019-04-04 2020-10-15 パナソニックＩｐマネジメント株式会社 カメラおよび通信方法
CN112489340A (zh) * 2019-09-12 2021-03-12 华为技术有限公司 消防终端、消防控制端以及消防方法
WO2022009356A1 (ja) * 2020-07-09 2022-01-13 三菱電機ビルテクノサービス株式会社 監視システム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0799662A (ja) * 1993-09-28 1995-04-11 Oki Electric Ind Co Ltd 動画像信号伝送方法
JPH1042185A (ja) * 1996-07-23 1998-02-13 Canon Inc 撮像サーバ及びその方法及び媒体
JPH11313330A (ja) * 1998-04-30 1999-11-09 Sharp Corp 画像伝送装置
JP2001189932A (ja) * 1999-12-28 2001-07-10 Toshiba Corp 画像伝送システムおよび画像伝送方法
JP2001298479A (ja) * 2000-04-12 2001-10-26 Nec Corp インターネット電話装置
JP2001325672A (ja) * 2000-05-16 2001-11-22 Mega Chips Corp 侵入者監視システム
JP2003163914A (ja) * 2001-11-26 2003-06-06 Kubota Corp 監視システム及び画像伝送ユニット
JP2004171936A (ja) * 2002-11-20 2004-06-17 Jeol Ltd 電子顕微鏡像の遠隔観察システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5999979A (en) * 1997-01-30 1999-12-07 Microsoft Corporation Method and apparatus for determining a most advantageous protocol for use in a computer network
US6930709B1 (en) * 1997-12-04 2005-08-16 Pentax Of America, Inc. Integrated internet/intranet camera
US7196720B2 (en) * 1998-03-06 2007-03-27 Intel Corporation Method and apparatus for powering on an electronic device with a video camera that detects motion
US7272658B1 (en) * 2003-02-13 2007-09-18 Adobe Systems Incorporated Real-time priority-based media communication

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0799662A (ja) * 1993-09-28 1995-04-11 Oki Electric Ind Co Ltd 動画像信号伝送方法
JPH1042185A (ja) * 1996-07-23 1998-02-13 Canon Inc 撮像サーバ及びその方法及び媒体
JPH11313330A (ja) * 1998-04-30 1999-11-09 Sharp Corp 画像伝送装置
JP2001189932A (ja) * 1999-12-28 2001-07-10 Toshiba Corp 画像伝送システムおよび画像伝送方法
JP2001298479A (ja) * 2000-04-12 2001-10-26 Nec Corp インターネット電話装置
JP2001325672A (ja) * 2000-05-16 2001-11-22 Mega Chips Corp 侵入者監視システム
JP2003163914A (ja) * 2001-11-26 2003-06-06 Kubota Corp 監視システム及び画像伝送ユニット
JP2004171936A (ja) * 2002-11-20 2004-06-17 Jeol Ltd 電子顕微鏡像の遠隔観察システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10085000B2 (en) 2010-05-25 2018-09-25 Nikon Corporation Imaging device
US10536680B2 (en) 2010-05-25 2020-01-14 Nikon Corporation Imaging device
US10893249B2 (en) 2010-05-25 2021-01-12 Nikon Corporation Imaging device
US11570414B2 (en) 2010-05-25 2023-01-31 Nikon Corporation Imaging device

Also Published As

Publication number Publication date
US20090135252A1 (en) 2009-05-28
CN101099240A (zh) 2008-01-02
CN100517746C (zh) 2009-07-22
WO2006085500A1 (ja) 2006-08-17
EP1806786A1 (en) 2007-07-11

Similar Documents

Publication Publication Date Title
JPWO2006085500A1 (ja) 監視カメラ装置、それを用いた監視システムおよび監視画像伝送方法
US10972519B2 (en) Real-time video streaming to client video element
KR100975311B1 (ko) 요청시 ｉ-화상 삽입
US20150373075A1 (en) Multiple network transport sessions to provide context adaptive video streaming
KR102077556B1 (ko) 가상 인트라-프레임을 사용하여 비디오 콘텐츠를 인코딩하기 위한 시스템 및 방법
US9585062B2 (en) System and method for implementation of dynamic encoding rates for mobile devices
US8434119B2 (en) Communication apparatus and communication method
JP5227875B2 (ja) 動画像符号化装置
JP2008193510A (ja) 映像送信装置、映像受信装置、及び映像伝送システム
US8908007B2 (en) Transmission device and transmission method
JP6319970B2 (ja) 画像通信装置およびその制御方法
JP2001189932A (ja) 画像伝送システムおよび画像伝送方法
JP2004266756A (ja) 送信制御装置および方法、記録媒体、並びにプログラム
JP4787303B2 (ja) 映像品質推定装置、方法、およびプログラム
JP3927422B2 (ja) 動画像送受信システム、動画像送受信方法及びそれらのプログラム
JP2010011287A (ja) 映像伝送方法および端末装置
KR100363550B1 (ko) 동영상 인코딩 장치 및 무선 단말기의 동영상 디코딩 장치
WO2021140768A1 (ja) 送信装置、送信方法
JP2007324722A (ja) 動画像データ配信装置及び動画像データ通信システム
JP7382689B1 (ja) ストリーミング配信システム、配信サーバおよび撮影者端末
WO2011142312A1 (ja) リモート型携帯通信システム、サーバ装置及びリモート型携帯通信システム制御方法
EP2417766A1 (en) Method and apparatus for asynchronous video transmission over a communication network
JP7264517B2 (ja) 送信装置、受信装置、制御方法、およびプログラム
JP2004349743A (ja) 映像ストリーム切替システム、方法、映像ストリーム切替システムを含む映像監視、映像配信システム
Methven Wireless Video Streaming: An Overview

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20091127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100112

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100311

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100413