JP4471362B2 - 監視カメラ装置 - Google Patents

監視カメラ装置 Download PDF

Info

Publication number
JP4471362B2
JP4471362B2 JP2004244826A JP2004244826A JP4471362B2 JP 4471362 B2 JP4471362 B2 JP 4471362B2 JP 2004244826 A JP2004244826 A JP 2004244826A JP 2004244826 A JP2004244826 A JP 2004244826A JP 4471362 B2 JP4471362 B2 JP 4471362B2
Authority
JP
Japan
Prior art keywords
abnormality
sound
voice
camera
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2004244826A
Other languages
English (en)
Other versions
JP2006067055A (ja
Inventor
春夫 小金
靖治 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2004244826A priority Critical patent/JP4471362B2/ja
Priority to EP05767170A priority patent/EP1791363B1/en
Priority to PCT/JP2005/013922 priority patent/WO2006022112A1/ja
Priority to US11/573,459 priority patent/US8330813B2/en
Publication of JP2006067055A publication Critical patent/JP2006067055A/ja
Application granted granted Critical
Publication of JP4471362B2 publication Critical patent/JP4471362B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/16Actuation by interference with mechanical vibrations in air or other fluid
    • G08B13/1654Actuation by interference with mechanical vibrations in air or other fluid using passive vibration detection systems
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Burglar Alarm Systems (AREA)

Description

本発明は、異常検知機能を備えた監視カメラ装置に関するものである。
従来、監視カメラ装置は、監視場所を撮影した監視画像を提供するだけでなく、監視場所の異常を検知する機能を備えている。
異常検出技術としては、監視カメラの画像から異常を検知する技術が知られている。例えば、画像に大きな動きが見られたときに異常が検知される。また、センサを使って異常を検知することも行われている。例えば、ドアの開閉センサ、赤外線センサ、温度センサなどが利用されている。さらに、音声を使った異常検知も知られている。例えば、マイクからの入力音声が所定の判定レベル以上であるときに異常が検知される(例えば、特許文献1参照)。
特開2002−300569号公報(第11ページ、図2)
しかしながら、従来の監視カメラ装置においては、画像の異常、センサで検出された異常、および音声の異常は別々に扱われており、そのために、異常検出が確実性が損なわれる可能性があるという問題があった。
本発明は、従来の問題を解決するためになされたもので、その目的は、異常検出をより確実に行うことができる監視カメラ装置を提供することにある。
本発明に関連する発明の監視カメラ装置は、監視場所から得られる監視音声を入力する音声入力手段と、前記監視場所から得られる監視画像を生成する画像生成手段と、前記監視音声に基づいて前記監視場所の音声異常を検出する音声異常検出手段と、前記監視画像に基づいて前記監視場所の画像異常を検出する画像異常検出手段と、前記音声異常検出手段および前記画像異常検出手段の検出結果に基づいて異常の有無を総合的に判定する総合異常判定手段と、前記総合異常判定手段により異常が有ると判定されたときに異常を通知する異常通知手段と、を備えている。
この構成により、音声異常および画像異常に基づいて異常の有無を総合的に判定する処理を行う総合異常判定手段を設けたので、異常を確実に検知することができる。
また、本発明に関連する発明の監視カメラ装置は、前記音声異常および前記画像異常の双方が検出されたときに異常有りと判定するか、前記音声異常および前記画像異常のいずれかが検出されたときに異常有りと判定するかの判定条件を選択する判定条件選択手段を備えている。
この構成により、音声異常および画像異常の双方が検出されたときに異常有りと判断するか、音声異常および画像異常のいずれかが検出されたときに異常有りと判断するかを状況に応じて適当に切り替えられる。
また、本発明に関連する発明の監視カメラ装置は、異常発生を検出するセンサを備え、前記総合異常判定手段は、前記音声異常検出手段および前記画像異常検出手段の検出結果に加えて、前記センサの検出結果に基づいて異常の有無を総合的に判定する。
この構成により、音声異常および画像異常に加えて、センサが検出するセンサ異常に基づいて異常の有無を総合的に判定する処理を行うので、異常を確実に検知することができる。
また、本発明に関連する発明の監視カメラ装置は、前記音声異常、前記画像異常および前記センサにより検出されるセンサ異常のうちのどの異常が検出されたときに異常有りと判定するかの判定条件を選択する判定条件選択手段を備えている。
この構成により、音声異常、画像異常およびセンサ異常のうちのどの異常が検出されたときに異常有りと判定するかを必要に応じて切り替えられる。
また、本発明に関連する発明の監視カメラ装置は、異常検知機能の抑制時期を設定するスケジュール設定手段と、前記スケジュール設定手段により設定されたスケジュールに従って異常検知機能を抑制する抑制手段とを備えている。
この構成により、異常の検知が不要なときに異常が検知されないようにすることができる。なお、異常検知機能を抑制するためには、異常の検出が抑制されてもよく、上述の総合判定機能が抑制されてもよく、また、異常通知機能が抑制されてもよい。
また、本発明に関連する発明の監視カメラ装置は、前記音声入力手段および前記音声異常検出手段が備えられたカメラと、前記音声入力手段における入力状況の統計情報を生成する統計情報生成手段と、前記カメラに接続され、前記カメラの監視画像および前記統計情報を表示するモニタと、前記音声異常検出手段の音声異常判定レベルを設定する操作を受け付ける操作手段と、を備えている。
この構成により、音声の伝送に時間がかかる場合でも、また、音声を伝送せずとも、統計情報を見ることで音声異常判定レベルを設定する操作を行える。例えば、法律等の観点から音声が伝送できない場合でも、音声異常判定レベルを設定できる。また、統計情報を表示することで、音声異常判定レベルを適当に設定するための有用な情報を提供できる。統計情報は例えば最大音量、最小音量、移動平均、周波数分布などである。
また、本発明に関連する発明の監視カメラ装置は、前記統計情報に基づいて自動的に前記音声異常判定レベルを設定する自動設定手段と、前記自動設定手段に前記音声異常判定レベルを設定させるモードと前記操作手段に受け付けられた操作に従って前記音声異常判定レベルを設定するモードとを選択する音声異常判定レベル設定モード選択手段とを備えている。
この構成により、音声異常判定レベルを自動設定できる。さらに、音声異常判定レベルを自動設定するか、表示される統計情報に基づいて手動操作で設定するかを切り替えられる。
また、本発明の別態様の監視カメラ装置は、カメラと、前記カメラに接続されたモニタと、操作手段とを備え、前記モニタと前記操作手段は、一つのコントローラに備えられるものであり、前記カメラは、監視場所から得られる監視音声を入力しかつ前記監視音声を前記コントローラに伝送しない音声入力手段と、前記監視音声に基づいて前記監視場所の音声異常を検出する音声異常検出手段と、前記音声入力手段における入力状況の統計情報を生成し、前記統計情報を前記コントローラに伝送する統計情報生成手段とを備え、前記モニタは、前記カメラから前記コントローラに伝送された前記統計情報を表示し、前記操作手段は、前記音声異常検出手段の音声異常判定レベルを設定するための操作を受け付けるように構成されている。
この構成により、音声の伝送に時間がかかる場合でも、また、音声を伝送せずとも、統計情報を見ることで音声異常判定レベルを設定する操作を行える。例えば、法律等の観点から音声が伝送できない場合でも、音声異常判定レベルを設定できる。また、統計情報を表示することで、音声異常判定レベルを適当に設定するための有用な情報を提供できる。統計情報は例えば最大音量、最小音量、移動平均、周波数分布などである。
また、本発明の監視カメラ装置は、前記統計情報に基づいて自動的に前記音声異常判定レベルを調整する自動設定手段と、前記自動設定手段に前記音声異常判定レベルを設定させるモードと前記操作手段に受け付けられた操作に従って前記音声異常判定レベルを設定するモードとを選択する音声異常判定レベル設定モード選択手段とを備えている。
この構成により、音声異常判定レベルを自動設定できる。さらに、音声異常判定レベルを自動設定するか、表示される統計情報に基づいて手動操作で設定するかを切り替えられる。
また、本発明に関連する発明の監視カメラ装置は、カメラと、前記カメラに接続されたモニタと、操作手段とを備え、前記カメラは、監視場所から得られる監視音声を入力する音声入力手段と、前記音声入力手段における入力状況の統計情報を生成する統計情報生成手段とを備え、前記モニタは前記統計情報を表示し、前記操作手段は、前記音声入力手段の入力レベルを設定するための操作を受け付けるように構成されている。
この構成により、音声の伝送に時間がかかる場合でも、また、音声を伝送せずとも、統計情報を見ることで音声入力レベルを設定する操作を行える。例えば、法律等の観点から音声が伝送できない場合でも、音声入力レベルを設定できる。また、統計情報を表示することで、音声入力レベルを適当に設定するための有用な情報を提供できる。統計情報は例えば最大音量、最小音量、移動平均、周波数分布などである。
また、本発明に関連する発明の監視カメラ装置は、カメラと、前記カメラに接続されたモニタと、操作手段とを備え、前記カメラは、監視場所に音声を出力する音声出力手段と、前記音声出力手段における出力状況の統計情報を生成する統計情報生成手段とを備え、前記モニタは前記統計情報を表示し、前記操作手段は、前記音声出力手段の出力レベルを設定するための操作を受け付けるように構成されている。
この構成により、音声の伝送に時間がかかる場合でも、また、音声を伝送せずとも、統計情報を見ることで音声出力レベルを設定する操作を行える。また、統計情報を表示することで、音声出力レベルを適当に設定するための有用な情報を提供できる。統計情報は例えば最大音量、最小音量、移動平均、周波数分布などである。
本発明は、音声異常と画像異常に基づいて異常の有無を総合的に判定する処理を行う総合異常判定手段を設けることにより、異常を確実に検知することができるという効果を有する監視カメラ装置を提供することができる。
以下、本発明の実施の形態の監視カメラ装置について、図面を用いて説明する。
本発明の実施の形態の監視カメラ装置を図1に示す。
図1において、監視カメラ装置10は、カメラ12とコントローラ14とで構成されており、両者は同軸ケーブル16で接続されている。カメラ12には、マイク121、スピーカ122および外部センサ123が設けられている。一方、コントローラ14には出力装置としてのモニタ141が備えられ、また、入力操作装置としてのカメラ制御パネル142が設けられている。同軸ケーブル16を通して、画像および音声が伝送され、また、検知された異常を通知するためのデータが伝送され、また、カメラ制御データが伝送される。
以下、カメラ12で撮影される画像を、適宜、監視画像といい、また、カメラ12のマイク121から入力される音声を適宜、監視音声という。監視画像および監視音声は、それぞれ、監視場所から得られる画像および音声を意味する。
また、監視カメラ装置10の音声関連の構成についてさらに説明しておくと、監視カメラ装置10は、カメラ側の音声をコントローラ側に伝達すると同時に、コントローラ側の音声をカメラ側に伝達可能に構成されている。そのために、カメラ側に、カメラ側集音マイク、カメラ側拡声スピーカ、カメラ側拡声スピーカ用復調回路、カメラ側集音マイク音声用変調回路、カメラ側音声信号分離合成復調回路が設けられており、カメラコントローラ間に同軸ケーブル、制御伝送通信路が設けられ、コントローラ側には、制御機器、テレビモニタ、制御機器操作パネルとともに、制御機器側拡声スピーカ、制御機器側集音マイク、制御機器側集音マイク音声用変調回路、制御機器側拡声スピーカ用復調回路、制御機器側音声信号分離合成復調回路が設けられている。
図2は、カメラ12の構成を示す図である。カメラ12は、画像の生成および処理に関連して、CCD20、CDS22、AGC24およびデジタル信号処理部(DSP)26を備えている。CDS22、AGC24、デジタル信号処理部26は、タイミングジェネレータの生成する信号に従って動作する。画像信号は、CCD20で生成され、CDS22、AGC24およびデジタル信号処理部26で処理を受けて、コントローラへと伝送される。
また、カメラ12は、音声入力に関連して、マイク30、インピーダンス変換部32、アンプ34、ローパスフィルタ36およびデジタル信号処理部38を備えている。音声は、マイク30から入力され、インピーダンス変換部32、アンプ34、ローパスフィルタ36およびデジタル信号処理部38の処理を受け、画像とともにコントローラへと伝送される。
また、カメラ12は、音声出力に関連して、スピーカ40およびアンプ42を備えている。音声は、コントローラから伝送されてきて、デジタル信号処理部38を経てアンプ42に伝えられ、アンプ42で増幅されてから、スピーカ40より出力される。
また、センサ44は、カメラ12の外部予備端子に接続されている。センサ44は、監視場所の異常を検知するセンサである。センサ44は、例えば、ドア開閉センサ、赤外センサ、温度センサまたは火災報知センサである。
さらに、カメラ12にはマイクロコンピュータ46が設けられている。マイクロコンピュータ46は、カメラ12の全体を制御している。マイクロコンピュータ46は、コントローラとの間で制御データを通信する。そして、マイクロコンピュータ46は、コントローラから送られてくる制御データに従ってカメラ12を制御する。
また、マイクロコンピュータ46は、画像系のデジタル信号処理部26および音声系のデジタル信号処理部38と接続され、これらから信号が入力される。さらに、マイクロコンピュータ46には、センサ44の検出信号が入力される。マイクロコンピュータ46は、入力信号を処理して異常の有無を判定し、異常を通知するデータをコントローラへ送出する機能を持っている。
また、マイクロコンピュータ46は、時計機能およびスケジュール設定機能を持っており、スケジュール設定機能で設定したスケジュールに従って動作する。
なお、上記のカメラ12の説明では省略したが、カメラ12は各種のAD変換機能およびDA変換機能をもっており、必要に応じてデジタル信号からアナログ信号への変換およびアナログ信号からデジタル信号への変換を行う。また、画像、音声および制御データは、伝送のために適当に合成および分離される。
図3は、監視カメラ装置10の機能ブロック図であり、主として異常検知機能に関連する構成を示している。図3において、画像生成部50は、図2のCCD20等で構成され、監視画像を生成する。また、音声入力部52は、図2のマイク30等で構成され、監視音声を入力する。また、センサ54は図2のセンサ44に相当する。
画像異常検出部56は、監視画像に基づいて監視場所の画像異常を検出する。画像異常は、画像から検出される異常をいう。画像異常検出部56は、例えば、輝度または色信号成分(例えばRGB)を処理して動き差分を求め、動き差分から異常を検出する。所定のしきい値以上の変化が生じたとき異常が発生したと判断される。より詳細には、例えば、時間的に前後する複数の画像を比較する際、画像間の画素値(輝度または色等)の差の合計が求められ、合計値が所定のしきい値と比較される。
音声異常検出部58は、監視音声に基づいて監視場所の音声異常を検出する。音声異常は、音声から検出される異常をいう。音声異常検出部58は、入力音声が所定の音声異常判定レベル(しきい値)以上になったときに、異常が発生したと判断する。
総合異常判定部60は、画像異常検出部56および音声異常検出部58から検出結果の情報、すなわち、画像異常および音声異常の情報を受け取る。また、総合異常判定部60は、センサ54の検出信号を受け取り、センサ異常が発生したか否かを判断する。センサ異常とは、センサで検出される異常をいう。
総合異常判定部60は、画像異常、音声異常およびセンサ異常に基づいて異常の有無を総合的に判定する処理を行う。この総合判定は、3つの異常検出結果を複合して異常の有無を決定する処理であり、本実施の形態では3つの異常検出結果が論理演算で処理される。そして、本実施の形態では、論理積が採用されており、画像異常、音声異常およびセンサ異常のすべてが発生したときに、異常が有ると判断される。
異常通知部62は、総合異常判定部60が異常有りと判定されると、コントローラ14に異常を通知する。ここでは、異常を示すアラームデータがコントローラ14に送られる。コントローラ14では、アラームがモニタ70に表示され、また、図示されないスピーカから出力される。
上記構成において、画像異常検出部56および音声異常検出部58は、それぞれ、図2の画像系のデジタル信号処理部26および音声系のデジタル信号処理部38で構成されている。そして、総合異常判定部60および異常通知部62としては、図2のマイクロコンピュータ46が機能する。すなわち、デジタル信号処理部26、38が、それぞれ、画像異常および音声異常の信号をマイクロコンピュータ46に供給し、マイクロコンピュータ46で、画像異常および音声異常の情報が処理される。
ただし、画像異常および音声異常の検出機能がマイクロコンピュータ46に備えられてもよい。この場合には、マイクロコンピュータ46のソフトウエア処理によって画像異常および音声異常が検出される。
図3を用いて本実施の形態の監視カメラ装置10の動作を説明する。通常時、すなわち異常が発生していないときは、監視画像が画像生成部50で生成され、コントローラ14に送られ、モニタ70に表示される。また、監視音声が音声入力部52に入力され、コントローラ14に送られ、図示されないスピーカから出力される。センサ54は、異常を示す検出信号は生成していない。
次に、異常が発生すると、画像異常検出部56により、監視画像から画像異常が検出される。また、音声異常検出部58により、監視音声から音声異常が検出される。センサ54は、センサ異常を示す検出信号を生成する。画像異常、音声異常およびセンサ異常の情報が総合異常判定部60に伝えられる。総合異常判定部60は、前述のように、画像異常、音声異常およびセンサ異常の情報から異常の有無を総合判定する。そして、異常が有れば、異常通知部62が、異常検知情報(アラーム)をコントローラ14に通知する。異常検知情報は、モニタ70およびスピーカを用いて出力される。
図4は、図3の変形例として、判定条件の選択機能と異常検知の抑制機能が追加された構成例を示している。図4において、総合異常判定部60は条件選択部64および抑制部66を備えている。条件選択部64は、音声異常、画像異常およびセンサ異常のうちのどの異常が検出されたときに異常有りと判定するかの判定条件を選択する処理を行う。また、抑制部66は、異常検知を抑制する処理を行う。抑制部66は、スケジュール設定部68により設定された異常検知機能の抑制時期のスケジュールを参照する。そして、抑制部66は、図示されない時計機能を利用し、スケジュール設定部68により設定されたスケジュールに従って異常検知機能を抑制する。例えば、昼間の所定の時間が抑制時期に設定される。
図5は、上述した判定条件の選択のための構成を概念的に示している。図5において、Aは、音声異常(Audio)を示し、Vは、画像異常(Video)を示し、AUXは、センサ異常(予備端子入力)を示している。また、演算記号「×」は、論理積を示している。
図5に示すように、本実施の形態では、判定条件101〜判定条件108が選択可能である。判定条件101は、A×U×AUXである。この判定条件が設定されると、音声異常、画像異常およびセンサ異常のすべてが検出されたときに異常有りと判定する。判定条件102は、A×Vであり、音声異常と画像異常が検出されたときに異常有りと判定する。同様に、判定条件103はV×AUXであり、画像異常とセンサ異常が検出されたときに異常有りと判定する。同様に、判定条件104はA×AUXであり、音声異常とセンサ異常が検出されたときに異常有りと判定する。判定条件105はAであり、したがって、音声異常が検出されれば、画像異常、センサ異常の有無に拘わらず異常有りと判定する。同様に、判定条件106はVであり、画像異常が検出されれば異常有りと判定する。判定条件107は、AUXであり、センサ異常が検出されれば異常有りと判定する。さらに、判定条件108はOFFであり、異常の判定が行われない。判定条件108は、異常検知機能の抑制処理に相当する。図5の状態では、判定条件108が選択されており、異常検知機能が抑制されている。
出力結果変換部109は、図4の異常通知部62に相当する。そして、出力結果変換部109は、選択された判定条件の判定結果を受け取り、判定結果を異常通知情報に変換する。判定結果が異常有りであれば、異常発生を示すデータ(アラーム)が生成される。異常通知情報はコントローラへと出力される。
図5の構成は、総合異常判定部60の他の機能と共に、図2のマイクロコンピュータ46によって実現される。判定条件を選択するときは、まず、コントローラ14にて、判定条件の選択操作が、操作装置72で受け付けられる。そして、判定条件を指示する制御データがコントローラ14から送られてくる。マイクロコンピュータ46は、受け取った制御データに従った判定条件を設定し、設定した判定条件で判定処理を行う。
次に、本実施の形態における音声異常判定レベル(検出感度)の設定機能について説明する。音声異常判定レベルとは、音声異常の検出のためのしきい値である。入力音声の大きさが音声異常判定レベル以上であれば、前述のように音声異常が検出される。
図6は、監視カメラ装置10に設けられた、音声異常判定レベルの設定のための構成を示している。統計情報生成部80は、音声入力部52での音声入力状況の統計情報を生成する。統計情報は例えば、最大レベル、最小レベル、移動平均および周波数分布である。統計情報はコントローラ14に送られ、モニタ70に表示される。オペレータは、モニタ70を見ながら、操作装置72を操作して、音声異常判定レベルを設定する操作を行う。この操作が受け付けられ、音声異常判定レベルが制御データのかたちでカメラ12に送られ、音声異常判定レベル記憶部82に記憶される。そして、音声異常検出部58は、音声異常判定レベル記憶部82に記憶された音声異常判定レベルを参照して、音声異常の検出処理を行う。
なお、図6の音声異常検出部58は、図2のマイクロコンピュータ46で構成される。マイクロコンピュータ46は、設定された音声異常判定レベルを記憶し、記憶した音声異常判定レベルを用いて音声異常を検出する。
図7は、モニタ70に表示される統計情報を示している。図7の例では、移動平均SMが表示される。移動平均SMは、適当な期間の音声入力データの平均である。そして、平均計算の対象期間P(移動平均計算のための過去データの演算対象範囲)が、図の下方に示されるように、順次ずらされる。操作者は、移動平均SMを見て、移動平均SMに適当なマージンを足して、音声異常判定レベルLTを設定する。統計情報を提供することで、音声異常判定レベルLTが突出データの影響を受けないようにできる。そして、このような音声異常判定レベルLTを用いることで、衝撃音などの突発的な入力を好適に検出できる。例えば、図7では、異常発生時、現在の入力SCが音声異常判定レベルLTを上回り、異常が検出される。
図8は、図6の変形例の構成を示している。図8では、音声異常判定レベルの自動設定機能が追加されている。すなわち、図8においては、自動設定部84が、統計情報生成部80により生成される統計情報を参照して、音声異常判定レベルを自動設定する。自動設定処理では、例えば、上述の移動平均が使われる。そして、移動平均に、所定のマージンが加算されて、音声異常判定レベルが自動的に算出される。この音声異常判定レベルが、音声異常判定レベル記憶部82に記憶され、異常検出に使用される。自動設定部84は定期的に音声異常判定レベルを自動設定し、これにより音声異常判定レベルが定期的に更新され、音声異常判定レベルが時間経過に伴って動的に変化する。
図8では、監視カメラ装置10が、下記のように、音声異常判定レベルを自動設定するモードと手動で設定するモードを選択可能に構成されている。操作者が、操作装置72に対して、音声異常判定レベルを自動設定するか、手動で設定するかを選択する操作を行う。この操作がコントローラ14に受け付けられる。コントローラ14は、操作に従い、カメラ12に自動設定を指示し、あるいは、操作者により入力される音声異常判定レベルをカメラ12に伝える。カメラ12では、マイクロコンピュータ(図2参照)が判定レベル設定モード選択手段として機能しており、自動設定の指示をコントローラから受けると、自動設定モードを設定する。自動設定モードが設定されると、自動設定部84が上述のように自動設定を行う。自動設定部84もマイクロコンピュータで実現される。
なお、上記の自動設定に関連して、簡易学習設定指示トリガが好適に設けられる。例えば、操作者が自動設定を指示すると、トリガが発生する。そして、トリガを受けて、指示後の入力音声の入力状況のデータが蓄積され、蓄積データに基づいて統計情報が生成され、そして、音声異常判定レベルが自動設定される。
図9は、モニタ70に表示されるメニュー画面を示している。図9の画面では、AUX入力がONであり、すなわち、カメラ側で外部センサが使用される。また、ALARM出力が、A×V×AUXであり、したがって、音声異常、画像異常およびセンサ異常のすべてが検出されたとき、カメラ側でアラームが出力される。アラーム出力のタイムアウト時間は100msに設定されている。さらに、アラームのLAN出力も同様にA×V×AUXである。一方、同軸線出力はOFFである。ここで、図9のメニュー画面は、カメラが前述したような同軸線でのコントローラとの通信の他に、自身のアラーム出力機能(例えばランプおよびブザー)をもち、また、LAN通信機能をもっている場合に対応している。そして、図9の状態では、同軸線がOFFであり(使われず)、アラーム自身の出力機能とLAN出力機能が使われている。
図9の画面では、下方に、音声入力に関する情報が示されている。すなわち、AUDIO入力基準が「自動更新」であり、したがって、音声異常判定レベルを自動設定するモードが選択、設定されている。そして、現在のAUDIO入力状態が36dBであり、音声異常判定レベルが50dBである。したがって、現在は音声異常が検出されていない。
また、統計情報としては、平均が40dB、最小が20dB、最大が46dB、中心周波数が500Hzである。音声異常判定レベル50dBは、平均40dBにマージン10dBを加算した値である。
次に、本実施の形態における音声入力レベルの設定機能について説明する。ここでも、音声入力状況の統計情報が好適に利用される。
図10は、音声入力レベルを設定するための構成を備えている。図10において、統計情報生成部80は、前述したように、音声入力部52に入力された音声の入力状況の統計情報を生成する。統計情報は例えば、最大レベル、最小レベル、移動平均および周波数分布である。統計情報はコントローラ14に送られ、モニタ70に表示される。オペレータは、モニタ70を見ながら、操作装置72を操作して、音声入力レベルを設定する操作を行う。この操作が受け付けられ、音声入力レベルの設定値が制御データのかたちでカメラ12に送られ、音声入力レベル設定部86に伝えられる。音声入力レベル設定部86は、コントローラ14からの指示に従って音声入力部52を制御して、音声入力レベルを調整する。図2の構成では、マイクロコンピュータ46が音声入力レベル設定部86として機能し、音声入力部52を構成するアンプ34を制御して、入力レベルを調整する。
次に、本実施の形態における音声出力レベルの設定機能について説明する。ここでも、音声出力状況の統計情報が好適に利用される。
図11は、音声出力レベルを設定するための構成を備えている。図11において、音声出力部90は、図2のスピーカ40およびアンプ42で構成されている。統計情報生成部92は、音声出力部90の出力状況の統計情報を生成する。統計情報はコントローラ14に送られ、モニタ70に表示される。オペレータは、モニタ70を見ながら、操作装置72を操作して、音声出力レベルを設定する操作を行う。この操作が受け付けられ、音声出力レベルの設定値が制御データのかたちでカメラ12に送られ、音声出力レベル設定部94に伝えられる。音声出力レベル設定部94は、コントローラ14からの指示に従って音声出力部90を制御して、音声出力レベルを調整する。図2の構成では、マイクロコンピュータ46が音声出力レベル設定部94として機能し、音声出力部90を構成するアンプ42を制御して、出力レベルを調整する。
なお、図10の構成と図11の構成は同時に機能してもよい。この場合、モニタ70には、入力レベルの統計情報と出力レベルの統計情報が同時に並んで表示されてよい。
以下、本実施の形態の各種の応用および変形、追加可能な構成等について説明する。
本実施の形態では、カメラとコントローラが同軸ケーブルで接続されていた。これに対して、カメラにWEBサーバの機能が設けられてもよい。コントローラは、WEBブラウザの機能を備えたコンピュータで構成されてよく、パーソナルコンピュータであってもよい。カメラとコントローラの間では、ネットワークを介して、画像、音声、異常検出データおよび制御データが通信される。コントローラはインターネット経由でカメラと接続されてもよい。
上述の実施の形態では、総合異常判定部60は、論理積に従った判定を行うように構成されていた。しかし、総合異常判定部60は、論理和に従った判定を行うように構成されてもよい。そして、論理和と論理積が複合されてもよい。例えば、(画像異常+センサ異常)×音声異常といった判定処理が行われる。
また、上述の実施の形態では、外部のセンサが一つであった。しかし、センサは複数でもよい。複数のセンサの検出結果と、画像異常の検出結果および音声異常の検出結果とに基づいて異常の有無が総合判定される。
また、異常の通知をネットワークで行う場合に関して、下記の各種の構成が利用可能である。通知の即時性と到達確実性が重視される場合はTCP/IPの常時接続中の特定のポートへのメッセージが好適に利用される。同時性を必要とせず、地理的到達性が重視される場合は、メールサーバ経由での端末への通知が行われてよい。サーバへの通知として蓄積が重視される場合は、FTP送信が好適に行われる。履歴や検索性が重視される場合は、ログ記録が好適に行われる。通知では、アラーム画像の蓄積などのために映像が添付されてもよい。この点も考慮し、使用状況および目的に応じて、適当な通知方法が採用されてよい。
本実施の形態では、入力レベルが調整されて、一定周波数の音声のレベルに置き換えられてもよく、これにより、運用時の音声が盗聴に相当しないように入力レベルの情報を変換できる。すなわち、上記変換により音声が人間に聞き取れないものになり、したがって、コントローラへ送られる音声情報は、盗聴には使えなくなり、異常判定レベルの設定に好適に利用される。また、音声調整時には、入力音声が断続的な音声に変えられてもよい。ある一定音の場合のみ実音を転送するような設定がなされてもよい。
本実施の形態では、音声の出入力レベルを調整するとき、上述のように出入力状況が画像でコントローラ側のモニタに表示される。この点に関して、コントローラ側でメニューなどを開いて出入力レベルが設定されなくてもよい。コントローラの要求に応じて、出入力レベルの設定時だけ、出入力状況の情報がカメラ画像に載せて転送されればよい。これにより被写体画像が隠れなくてすむ。また、出入力状況のデータは、画像自身である必要はない。直接表示すべき文字テキストデータが画像と一緒に転送されてもよい。JPEG圧縮ヘッダの任意のデータエリアが、出入力状況データの転送に利用されてもよい。MPEGのヘッダが同様に利用されてもよい。この場合には、例えば、データを受け取ったコントローラ側で、データが抜き出され、表示される。Webブラウザの小さな表示エリアにデータが常時表示されてもよい。これが実現されるように、プログラム言語などのスクリプトが用いられ、カメラ側にWebサーバが設けられ、HTMLなどので動作が記述され、埋め込まれてもよい。
また、本実施の形態では、出入力状況の情報をコントローラ側のモニタに表示する際、これら情報がカメラの撮影画像中に好適に組み込まれる。この場合に、文字が使われてもよい(例えばdB値)。また、レベルや相対値を示す図形が表示されてもよい。文字と図形の組み合わせが表示されてもよい。例えば、出入力の数値を示す数字が表示されたり、累積した値を示す図形が表示されてよい。タコメータのようなデザインが表示に使われてもよい。また、画像に関しては、画像からの動き検出について、エリアおよび強度が色または輝度によって示されてもよい。画像表示は運用時(アラーム検出)と設定時(感度設定)で分けられてもよい。そして、適宜、各種動作の選択と組み合わされて適当な画像が転送されてもよい。例えば、設定時は、前述したような検出レベルに基づく検出結果が、組み合わされて表示される。しかし、アラームの出力は抑制される。そして、設定後の実運用時のみアラーム効果がもたらされる。検出結果は運用時には表示されなくてもよい。画像信号またはデータが有効に使用され、他のデータのやりとりが行われずとも、情報が好適に取得され、また、機器の調整も可能である。
また、上述の実施の形態では、カメラの音声入力レベルを調整するとき、入力レベルの情報がコントローラへ伝送され、モニタに表示された。これにより、カメラから離れた場所で調整作業が行われた。これに対して、カメラの設置場所で作業者が入力レベルを調整してもよい。この場合、カメラにモニタが接続され、モニタ上に入力レベルが表示される。そして、カメラに内蔵された入力レベル調整用のスイッチが操作される。操作者は、モニタの画像を見ながら、入力レベルを把握して、レベル調整を行える。レベル調整では、モニタの出力画像画面に多重されたメニューを使って操作が行われてもよい。このような構成でも、カメラに入力された音声をスピーカから出力しないでも、すなわち実際の入力音声を耳で確認しないでも、入力レベル調整を好適に行える。なお、出力レベルの調整も、上記のように、カメラの設置場所でモニタを使って行われてよい。音声異常判定レベルについても同様である。
また、カメラ側の音声入力部分では、下記の構成が採用されてよい。音圧センサの出力回路のインピーダンスの整合と変換および増幅を行う回路が配置される。音声の離散的サンプルのAD変換が、所定の音声帯域例えば16kHzに対して、ナイキスト周波数を考慮したサンプリング周波数32kHzまたはオーバーサンプリング技法の周波数で行われる。この点を考慮したカットオフ周波数のアナログローパスフィルタが入力段の後段回路に付加される。信号はAD変換回路に入力され、サンプルされる。サンプル後にダウンサンプリングが行われてもよい。たたみ込み積分、FFTの演算等の処理が行われ、周波数毎あるいは全域のパワー指標への変換が行われてもよい。
以上に本発明の実施の形態に係る監視カメラ装置10について説明した。本実施の形態によれば、音声異常と画像異常に基づいて異常の有無を総合的に判定する処理を行うので、異常を確実に検知することができる。
また、本実施の形態によれば、図4および図5を参照して説明したように、音声異常と画像異常の双方が検出されたときに異常有りと判断するか、音声異常と画像異常のいずれかが検出されたときに異常有りと判断するかを、状況に応じて適当に切り替えることができる。
また、本実施の形態によれば、音声異常と画像異常に加えて、センサが検出するセンサ異常に基づいて異常の有無を総合的に判定する処理を行うので、異常を確実に検知することができる。
また、本実施の形態によれば、図4および図5を参照して説明したように、音声異常、画像異常およびセンサ異常のうちのどの異常が検出されたときに異常有りと判定するかを必要に応じて切り替えられる。
また、本実施の形態によれば、スケジュール設定に従って異常検知を抑制する機能を設けたので、異常検知が不要なときに異常が通知されないようにすることができる。なお、異常検知を抑制するためには、異常の検出が抑制されてもよく、上述の総合判定が抑制されてもよく、異常の通知(の出力)が抑制されてもよい。
また、本実施の形態によれば、カメラ側の音声入力状況の統計情報が生成および伝送され、モニタに表示され、モニタ側で音声異常判定レベルを設定する操作が行われる。従来は実際の音を聞いて音声異常判定レベルを調整していたが、本実施の形態では、実際の音声を確認しないでも、背景環境音を把握でき、音声異常判定レベルを設定できる。これにより、音声の伝送に時間がかかる場合でも、また、音声を伝送せずとも、統計情報を見ることで音声異常判定レベルを設定する操作を行える。制御機器側が遠隔にあるときでも好適に音声異常判定レベルを設定できる。また例えば、法律等の観点から音声が伝送できない場合でも、音声異常判定レベルを設定できる。また、統計情報を表示することで、音声異常判定レベルを適当に設定するための有用な情報を提供できる。統計情報は、既に説明したように、例えば最大音量、最小音量、移動平均、周波数分布などである。
また、本実施の形態によれば、音声入力状況の統計情報に基づくことで、自動的かつ適当に音声異常判定レベルを設定できる。また、音声異常判定レベルを自動設定するか、表示される統計情報に基づいて手動操作で設定するかを切り替えられる。
また、本実施の形態によれば、カメラ側の音声入力状況の統計情報が生成および伝送され、モニタに表示され、モニタ側で音声入力レベルを設定する操作が行われる。従来は実際の音を聞いて音声異常判定レベルを調整していたが、本実施の形態では、実際の音声を確認しないでも、背景環境音を把握でき、音声入力レベルを設定できる。これにより、音声の伝送に時間がかかる場合でも、また、音声を伝送せずとも、統計情報を見ることで音声入力レベルを設定する操作を好適に行える。制御機器側が遠隔にあるときでも好適に入力レベルを設定できる。また例えば、法律等の観点から音声が伝送できない場合でも、音声入力レベルを設定できる。
また、本実施の形態によれば、カメラ側の音声出力状況の統計情報が生成および伝送され、モニタに表示され、モニタ側で音声出力レベルを設定する操作が行われる。これにより、音声の伝送に時間がかかる場合でも、また、音声を伝送せずとも、統計情報を見ることで音声出力レベルを設定する操作を行える。制御機器側が遠隔にあるときでも好適に出力レベルを設定できる。
以上に本発明の好適な実施の形態を説明した。しかし、本発明は上述の実施の形態に限定されず、当業者が本発明の範囲内で上述の実施の形態を変形可能なことはもちろんである。
以上のように、本発明にかかる監視カメラ装置は、異常を確実に検知して通知できるという効果を有し、監視カメラ装置等として有用である。
本発明の実施の形態における監視カメラ装置のブロック図 本発明の実施の形態におけるカメラのブロック図 異常検知のための構成を示す機能ブロック図 判定条件の選択機能を備えた構成を示す図 判定条件の選択機能を示す図 音声異常判定レベルの設定機能に関する構成を示すブロック図 音声入力状況の統計情報を示す図 音声異常判定レベルの自動設定機能に関する構成を示すブロック図 メニュー画面を示す図 音声入力レベルの設定機能に関する構成を示すブロック図 音声出力レベルの設定機能に関する構成を示すブロック図
符号の説明
10 監視カメラ装置
12 カメラ
14 コントローラ
16 同軸ケーブル
20 CCD
26 デジタル信号処理部
30 マイク
34 アンプ
38 デジタル信号処理部
40 スピーカ
42 アンプ
44 センサ
46 マイクロコンピュータ
50 画像生成部
52 音声入力部
54 センサ
56 画像異常検出部
58 音声異常検出部
60 総合異常判定部
70 モニタ
72 操作装置
80 統計情報生成部
82 音声異常判定レベル記憶部
84 自動設定部
86 音声入力レベル設定部
90 音声出力部
92 統計情報生成部
94 音声出力レベル設定部

Claims (2)

  1. カメラと、前記カメラに接続されたモニタと、操作手段とを備え、
    前記モニタと前記操作手段は、一つのコントローラに備えられるものであり、
    前記カメラは、監視場所から得られる監視音声を入力しかつ前記監視音声を前記コントローラに伝送しない音声入力手段と、前記監視音声に基づいて前記監視場所の音声異常を検出する音声異常検出手段と、前記音声入力手段における入力状況の統計情報を生成し、前記統計情報を前記コントローラに伝送する統計情報生成手段とを備え、
    前記モニタは、前記カメラから前記コントローラに伝送された前記統計情報を表示し、
    前記操作手段は、前記音声異常検出手段の音声異常判定レベルを設定するための操作を受け付けることを特徴とする監視カメラ装置。
  2. 前記統計情報に基づいて自動的に前記音声異常判定レベルを調整する自動設定手段と、
    前記自動設定手段に前記音声異常判定レベルを設定させるモードと前記操作手段に受け付けられた操作に従って前記音声異常判定レベルを設定するモードとを選択する音声異常判定レベル設定モード選択手段とを備えたことを特徴とする請求項1に記載の監視カメラ装置。
JP2004244826A 2004-08-25 2004-08-25 監視カメラ装置 Expired - Lifetime JP4471362B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004244826A JP4471362B2 (ja) 2004-08-25 2004-08-25 監視カメラ装置
EP05767170A EP1791363B1 (en) 2004-08-25 2005-07-29 Monitoring camera device
PCT/JP2005/013922 WO2006022112A1 (ja) 2004-08-25 2005-07-29 監視カメラ装置
US11/573,459 US8330813B2 (en) 2004-08-25 2005-07-29 Monitoring camera device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004244826A JP4471362B2 (ja) 2004-08-25 2004-08-25 監視カメラ装置

Publications (2)

Publication Number Publication Date
JP2006067055A JP2006067055A (ja) 2006-03-09
JP4471362B2 true JP4471362B2 (ja) 2010-06-02

Family

ID=35967331

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004244826A Expired - Lifetime JP4471362B2 (ja) 2004-08-25 2004-08-25 監視カメラ装置

Country Status (4)

Country Link
US (1) US8330813B2 (ja)
EP (1) EP1791363B1 (ja)
JP (1) JP4471362B2 (ja)
WO (1) WO2006022112A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009021765A1 (de) * 2009-05-18 2010-11-25 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren zum automatischen Erkennen einer Situationsänderung
CN110519637B (zh) * 2019-08-27 2021-05-18 西北工业大学 基于音频视频监控结合的异常监测方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2642928B1 (fr) * 1989-02-03 1994-04-15 Guichard Jacques Terminal de communication sonore et visuelle a reglages perfectionnes
JP3812985B2 (ja) * 1997-04-04 2006-08-23 富士通株式会社 自動監視装置
JP2002300569A (ja) * 2001-03-30 2002-10-11 Fujitsu General Ltd ネットワークカメラによる監視方法と監視システム
JP2003174516A (ja) 2001-12-07 2003-06-20 Sony Corp 遠隔監視システム
JP2003189139A (ja) 2001-12-20 2003-07-04 Matsushita Electric Ind Co Ltd 音響変動検出によるカメラ制御装置
JP2003198716A (ja) 2001-12-26 2003-07-11 Hitachi Kokusai Electric Inc 携帯電話機
US20040143602A1 (en) * 2002-10-18 2004-07-22 Antonio Ruiz Apparatus, system and method for automated and adaptive digital image/video surveillance for events and configurations using a rich multimedia relational database
US7327885B2 (en) * 2003-06-30 2008-02-05 Mitsubishi Electric Research Laboratories, Inc. Method for detecting short term unusual events in videos

Also Published As

Publication number Publication date
US8330813B2 (en) 2012-12-11
WO2006022112A1 (ja) 2006-03-02
JP2006067055A (ja) 2006-03-09
EP1791363A1 (en) 2007-05-30
EP1791363A4 (en) 2010-11-03
US20090251543A1 (en) 2009-10-08
EP1791363B1 (en) 2011-10-19

Similar Documents

Publication Publication Date Title
JP6493860B2 (ja) 監視制御システム及び監視制御方法
JP6210458B2 (ja) 故障検知システム及び故障検知方法
JP4124246B2 (ja) 撮像装置、カメラコントロールユニット、ビデオカメラシステム及び警告情報伝送方法
JP2011512094A (ja) 有線ネットワーク用の信号及び装置
JP4474488B1 (ja) 音声受信装置、音声処理方法、プログラムおよび音声受信システム
JP4471362B2 (ja) 監視カメラ装置
JP3104019B2 (ja) ディジタル放送装置
JP4616211B2 (ja) 映像配信支援システム
JP5065214B2 (ja) インターホン装置
KR101017681B1 (ko) 디지털 네트워크 방송 시스템
JP2011055103A (ja) 集合住宅インターホンシステム
JP2011114720A (ja) 外部異常検知機能を有するインターホンシステム
KR101478177B1 (ko) 방범용 cctv에서 발생하는 하울링 제거 방법 및 그 장치
JP2003319095A (ja) 音声制御装置
JPH10191307A (ja) 画像監視システム
JP2003256958A (ja) 遠隔監視装置及び遠隔監視システム
JP4613679B2 (ja) 集合住宅用インターホンシステム
US20220415336A1 (en) Voice communication apparatus and howling detection method
JP2004129125A (ja) スピーカーシステム
JP4791808B2 (ja) テレビインターホン装置
US8482592B2 (en) Display apparatus and control method thereof
JP3147646U (ja) 監視画像送出装置
KR20230113017A (ko) 다양한 컨텐츠 출력이 가능한 청각보조시스템
KR20100070723A (ko) 통합 감시 시스템
JPS5817078A (ja) エレベ−タ−の監視装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100202

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100301

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130312

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4471362

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130312

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140312

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250